SECTION 6
EXAMEN DE QUALITÉ
DES ÉVALUATIONS
GUIDE D’ÉVALUATION DU PNUD
Mise à jour : JANVIER 2024
6. EXAMEN DE QUALITÉ DES ÉVALUATIONS
DÉCENTRALISÉES 1
La section 6 explique le système mis en place par le Bureau indépendant d’évaluation (BIE) du PNUD pour l’examen de qualité des évaluations décentralisées, notamment sa finalité, ses processus et ses outils, ainsi que les rôles et responsabilités qui y sont attachés. Cette section explique également le fonctionnement de l’indicateur de performance des évaluations du Plan d’action à l’échelle du système des Nations Unies (ONU-SWAP) pour l’égalité des sexes et l’autonomisation des femmes, et la façon dont les évaluations indépendantes et décentralisées sont analysées afin d’obtenir les données requises par cet indicateur.
Des évaluations de qualité sont cruciales pour permettre une gestion axée sur les résultats, l’acquisition de nouvelles connaissances et la redevabilité à l’égard des partenaires des programmes. L’une des exigences de la Politique d’évaluation révisée du PNUD est que les unités de programmes (bureaux du siège, régionaux et de pays) veillent à ce que les évaluations éclairent la gestion des programmes et contribuent aux résultats en matière de développement 2. L’accent est par conséquent plus largement mis sur le renforcement de l’appui aux évaluations décentralisées (c’est-à-dire commandées par les unités de programmes), afin d’améliorer leur respect de la Politique d’évaluation, la qualité des évaluations et l’exploitation des évaluations par les décideurs politiques et les parties prenantes.
Le BIE contrôle chaque année la qualité des évaluations décentralisées et rapporte les résultats au conseil d’administration du PNUD. Le processus d’examen de qualité appuie l’amélioration de la qualité des éléments factuels issus des évaluations, notamment de leurs constatations, couverture, champ et recommandations, grâce au contrôle indépendant des évaluations menées par les unités de programme. Le processus d’examen de qualité appuie aussi la gestion des évaluations et la mise en œuvre des plans d’évaluation par les unités de programmes, de même que le contrôle par les bureaux régionaux, le Bureau des politiques et de l’appui aux programmes (BPAP) et le BIE. Ce système d’examen de qualité des rapports des évaluations décentralisées favorise une analyse systématique et cohérente de la qualité des évaluations et rapports.
6.1 Finalité et champ
À l’aide d’un ensemble de paramètres, d’un système de notation et de coefficients de pondération, l’examen de qualité des rapports d’évaluation contrôle la conception, la qualité des constatations et des éléments factuels présentés, ainsi que la solidité des conclusions et recommandations des évaluations. En ce qui concerne les évaluations de projets financés par le Fonds pour l’environnement mondial (FEM), l’examen de qualité examine également dans quelle mesure les produits attendus d’un projet ou les réalisations visées par un programme ont été (ou seront vraisemblablement) concrétisés.
1 La section 6 a été entièrement mise à jour en janvier 2024 pour refléter les changements apportés au processus d'évaluation de la qualité qui entreraient en vigueur pour toutes les évaluations mises en œuvre en 2024 et au-delà. Toutes les évaluations mises en œuvre avant cela seront contrôlées conformément aux lignes directrices d'évaluation de la qualité de 2021
2 Politique d’évaluation du PNUD (http://web.undp.org/evaluation/policy.shtml).
L’examen de qualité des rapports d’évaluation vise notamment à :
améliorer la qualité des éléments factuels fournis afin de mieux gérer leur contribution aux résultats en matière de développement ;
appuyer la redevabilité par un contrôle indépendant de la qualité des rapports des évaluations décentralisées, dont les résultats sont communiqués au conseil d’administration du PNUD et aux équipes de direction ;
renforcer la cohérence dans l’établissement des rapports d’évaluation et systématiser la qualité à travers les projets ;
appuyer le contrôle par les bureaux, en leur fournissant une analyse détaillée de la qualité des rapports d’évaluation ainsi que des recommandations pour leur amélioration ; et
contribuer à ce que les enseignements des évaluations bien menées soient tirés à l’échelle de l’organisation, grâce à la présentation de ces dernières dans le rapport annuel sur les évaluations.
Ces lignes directrices renforcent le niveau de qualité des évaluations décentralisées, notamment leur exploitabilité, la clarté de leurs objectifs pour toutes les parties prenantes, leur crédibilité, l’exactitude et la fiabilité des éléments factuels qu’elles fournissent, la transparence des raisonnements aboutissant à leurs conclusions, ainsi que la clarté et l’exhaustivité des rapports.
Le système d’examen de qualité examine toutes les évaluations décentralisées commandées par les unités de programmes du PNUD, de même que les évaluations de thématiques et les évaluations des programmes, réalisations et projets du Fonds d’équipement des Nations Unies et du Programme des volontaires des Nations Unies. Les observations du BIE peuvent être utilisées par les unités de programmes et les bureaux de pays pour renforcer certains aspects des rapports d’évaluation et des éléments factuels qu’ils fournissent, de même que pour ajuster la gestion et la mise en œuvre des évaluations décentralisées de façon à garantir l’exploitabilité globale de leurs rapports, notamment de leurs constatations et recommandations. Les questions d’examen de qualité sont alignées sur les normes de qualité de la programmation du PNUD 3 .
Le champ des rapports d’évaluation des projets financés par le FEM est plus large que celui prévu pour les autres évaluations du travail du PNUD. L’analyse requise par le FEM porte aussi sur la documentation du projet (par exemple, ses objectifs, sa planification et sa mise en œuvre) et sur la validité des constatations et conclusions formulées.
6.2 Processus de l’examen de qualité
Les principales étapes du processus de l’examen de qualité sont les suivantes (voir aussi figure 1) :
1. Publication des évaluations dans le Centre de ressources des évaluations (ERC) 4
o Les unités de programmes publient le cahier des charges et le rapport final de chaque évaluation dans l’ERC dans les deux semaines de sa finalisation.
3 Voir https://popp.undp.org/_layouts/15/WopiFrame.aspx?sourcedoc=/UNDP_POPP_DOCUMENT_LIBRARY/Publ ic/PPM_Programming%20Standards_Quality%20Standards%20for%20Programming.docx&action=default
4 Voir http://erc.undp.org
o Seule la version définitive des documents doit être mise en ligne. Les ébauches des documents ne doivent pas figurer dans l’ERC, qui est un site internet public.
o La réponse de la direction et les actions clés doivent être publiées dans les six semaines de la finalisation du rapport.
2. Vérification
o Le BIE vérifie si chaque rapport publié dans l’ERC fait partie du plan d’évaluation de l’unité de programme et s’il s’agit de la version finale.
o Lorsqu’un cahier des charges ou un rapport d’évaluation publié ne semble pas constituer la version finale du document, ou lorsque des annexes sont manquantes, le BIE contacte le bureau de pays et le bureau régional pour s’assurer que les documents corrects soient mis en ligne 5
3. Contrôle qualité
o Le BIE envoie chaque rapport d’évaluation à un contrôleur qualité contractuel.
o La note de qualité attribuée est en principe disponible dans l’ERC dans les deux semaines de la finalisation et de la soumission du rapport de contrôle qualité.
4. Transmission à l’unité de programme avec observations éventuelles o À la réception du rapport du contrôleur qualité, le BIE l’examine puis le met à la disposition de l’unité de programme concernée via l’ERC.
Figure 1 – Processus d’examen de qualité
Les unités de programme publient les rapports d’évaluation finalisés dans l’ERC.
Le Bureau indépendant d’évaluation détermine les évaluations dont la qualité doit être examinée.
Les rapports d’évaluation concernés sont envoyés aux contrôleurs qualité.
Le BIE examine et vérifie les rapports de contrôle qualité.
Les rapports de contrôle qualité sont mis en ligne dans l’ERC.
Les unités de programme sont automatiquement informées de la mise en ligne des rapports.
5 L’ERC est un site internet public. Tous les documents doivent y être publiés dans leur version finale exclusivement et être de qualité. Les notes de qualité attribuées ne sont cependant visibles que par le PNUD
6.3
Rôles et responsabilités
Le BIE assume la responsabilité générale de l’examen de qualité des évaluations, de la préparation des rapports de contrôle qualité et de leur mise à disposition des unités de programme, avec observations éventuelles, dans les délais requis.
Les bureaux régionaux doivent contrôler le processus d’examen de qualité et l’exploiter pour mettre en lumière les faiblesses et les difficultés dans la mise en œuvre des évaluations dans leurs régions et dans le cadre de programmes de pays spécifiques. L’ERC propose un outil de visualisation de la qualité des évaluations au niveau régional et des bureaux de pays. Lorsque la qualité des évaluations est systématiquement insatisfaisante, les points focaux régionaux pour l’évaluation doivent travailler en collaboration étroite avec les bureaux de pays pour remédier aux problèmes de mise en œuvre et s’assurer que les unités de programme comprennent quels sont les aspects problématiques du processus d’évaluation mis en lumière et détaillés dans le rapport de contrôle qualité.
Le BPAP et le BIE appuient quant à eux les bureaux régionaux dans la résolution des difficultés de mise en œuvre des évaluations décelées par le processus d’examen de qualité, en particulier les problèmes décelés de manière systématique.
6.4 Fichier de contrôleurs qualité
Afin de garantir la qualité et la cohérence du contrôle qualité des rapports d’évaluation, le BIE gère un fichier de contrôleurs qualité spécialisés, qui sont des évaluateurs expérimentés dotés d’une connaissance approfondie des thématiques visées par le PNUD et de ses approches d’évaluation, ainsi que d’une connaissance/expérience du contexte mondial, régional et national. Pour garantir un contrôle qualité systématique et cohérent des évaluations, les contrôleurs sont formés à l’application des outils de contrôle qualité et le BIE vérifie périodiquement le processus d’examen de qualité pour s’assurer de sa fiabilité.
6.5 Élaboration du rapport de contrôle qualité
Le processus de contrôle qualité est entrepris à la fin de chaque trimestre, en avril pour le premier trimestre, en juillet pour le deuxième trimestre, en octobre pour le troisième trimestre et en janvier pour le quatrième trimestre. Pendant les périodes de forte activité de finalisation, normalement de novembre à janvier, le processus d’évaluation de la qualité est entrepris plus fréquemment. Le rapport de contrôle qualité de chaque évaluation est mis à disposition dès qu’il a été dûment vérifié par le BIE (en principe dans les deux semaines de la finalisation du rapport et de son envoi au BIE). Les résultats au niveau mondial, régional ou des bureaux de pays sont disponibles dans l’ERC.
Figure 2 – Synthèse de l’examen de qualité par région disponible dans l’ERC
Chaque année, le BIE communique les résultats du processus d’examen de qualité dans son rapport annuel sur l’évaluation, de même que dans un rapport annuel plus détaillé sur l’examen de qualité, qui est diffusé auprès du siège et des bureaux régionaux, ces derniers le diffusant à leur tour auprès des bureaux de pays et assurant le suivi.
6.6 Sections du contrôle qualité et coefficients de pondération
Les principaux critères du contrôle qualité découlent des exigences à remplir par un rapport d’évaluation, telles que définies dans ce guide. De manière générale, le contrôle qualité se répartit en quatre sections possédantes chacune un coefficient de pondération, et couvre 29 questions. Certaines questions peuvent être laissées sans note, lorsque le contrôleur les juge sans objet compte tenu des orientations du cahier des charges ou du contexte de l’intervention évaluée.
Les sections du contrôle qualité portent sur :
Le cahier des charges et la conception : cinq questions comptant pour 15 %
o Le cahier des charges définit-il clairement et de façon appropriée la finalité, les objectifs, les critères, la méthodologie et les questions centrales de l’évaluation conformément au guide d’évaluation du PNUD ?
Structure, méthodologie et sources de données du rapport : huit questions comptant pour 30 %
o Le rapport d’évaluation aborde-t-il clairement et de façon appropriée la finalité, les objectifs, les critères, la méthodologie et les questions centrales de l’évaluation conformément au guide d’évaluation du PNUD ?
Thématiques transversales : cinq questions comptant pour 15 %
o Le rapport d’évaluation aborde-t-il le principe de ne laisser personne de côté et les autres
thématiques transversales, lorsque cela est pertinent ?
Constatations, conclusions et recommandations : onze questions comptant pour 40 %
o Le rapport présente-t-il et étaye-t-il de manière claire et concise ses constatations, conclusions et recommandations ?
Réponse de la direction : deux questions non incluses dans la note globale de contrôle qualité.
o La réponse de la direction est-elle claire, réaliste et exploitable ?
Le contrôle qualité des évaluations finales de projets financés par le FEM comporte une section supplémentaire où le contrôleur qualité valide les notes attribuées au programme/projet par les évaluateurs, ou recommande leur ajustement. Les examens à mi-parcours de ces projets ne font actuellement pas l’objet d’un contrôle qualité, bien qu’ils soient inclus dans les plans d’évaluation.
Code Signification
HS Très satisfaisant
S Satisfaisant
MS Majoritairement Satisfaisant
MU Majoritairement Insatisfaisant
U Insatisfaisant
HU Très insatisfaisant
N/A Non applicable
6.7 Échelle de notation
Tous les critères sont entièrement satisfaits et le rapport d’évaluation ne présente aucune lacune. 6
Tous les critères sont entièrement satisfaits et le rapport d’évaluation présente des lacunes mineures. 5
Les critères sont partiellement satisfaits et le rapport d’évaluation présente des lacunes. 4
Plus d’un critère est insatisfait et le rapport d’évaluation présente des lacunes significatives. 3
La plupart des critères sont insatisfaits et le rapport d’évaluation présente des lacunes considérables. 2
Aucun critère n’est satisfait et le rapport d’évaluation présente des lacunes graves. 1
Sans objet
Pas de note
Les questions de contrôle qualité de chaque section sont notées sur une échelle allant d’insatisfaisant (1) à très satisfaisant (6) (voir figure 3), la note 0 signifiant que la question est sans objet. La note octroyée correspond à la mesure dans laquelle une évaluation répond aux attentes, normes et critères. Bien qu’une note de 4, 5 ou 6 puisse être considérée comme satisfaisante, une évaluation répondant à toutes les exigences du PNUD doit recevoir une note de 5 (satisfaisant) au minimum, ce qui constitue la note de référence d’une bonne évaluation.
Figure 3 – Échelle de notation de la qualité
6.8 Outil de contrôle qualité
L’outil de contrôle qualité est disponible sur le site internet de l’ERC (http://erc.undp.org). L’accès est réservé aux points focaux pour le suivi et l’évaluation (S&E) enregistrés. Les points focaux S&E doivent informer les commanditaires et les responsables des évaluations des résultats du contrôle qualité.
Les contrôleurs qualité utilisent des menus déroulants pour attribuer les notes et ajoutent des commentaires détaillés pour justifier celles-ci. La note globale est calculée automatiquement via l’ERC selon les pondérations indiquées plus haut. Les notes et les commentaires peuvent être consultés sur la page de l’évaluation lorsque le contrôle qualité est terminé.
6.9 Documents contrôlés
Tous les documents relatifs aux évaluations dont la qualité doit être contrôlée sont mis à disposition via l’ERC et transmis au contrôleur qualité.
Pour les projets du PNUD, ces documents comprennent :
le cahier des charges de l’évaluation (document clé pour le contrôle qualité) ;
le rapport d’évaluation final et ses annexes (document clé pour le contrôle qualité) ;
les informations sur le projet évalué et l’évaluation (descriptif du projet, budget de l’évaluation et calendrier) ;
les leçons et constatations de l’évaluation ;
les recommandations de l’évaluation ; et
la réponse de la direction et les actions clés.
Le cahier des charges et le rapport d’évaluation final ainsi que toutes leurs annexes constituent les documents clés pour le contrôle qualité.
L’ERC contiendra les mêmes informations pour les évaluations finales de projets financés par le FEM Cependant, le FEM fournira, via le BIE, des informations supplémentaires aux contrôleurs qualité afin de permettre la validation des notes de qualité attribuées par les évaluations finales à la mise en œuvre de ces projets. Ces documents ne sont actuellement pas disponibles dans l’ERC. Ces documents supplémentaires comprennent :
la note conceptuelle du projet et les formulaires d’identification (PIF/PDF A et B) ;
le document de projet (ProDoc), qui comprend le cadre de résultats ;
les examens de la mise en œuvre du projet (APR/PIR) ;
les outils de suivi (selon ceux disponibles) ;
l’évaluation à mi-parcours, le cas échéant ; et
le plan de mise en œuvre du projet.
6.10 Questions de contrôle qualité
6.10.1
Cahier des charges et conception
Le cahier des charges définit-il clairement et de façon appropriée la finalité, les objectifs, les critères, la méthodologie et les questions centrales de l’évaluation conformément au guide d’évaluation du PNUD ?
(section 4.3.2)
Le cahier des charges définit-il la finalité, le champ d’application et les objectifs de l’évaluation de façon logique et réaliste ? (Section 4, pages 14-15-16 et Annexe 1, pages 39-40)
Suit-il la structure proposée et détaillée dans le guide d’évaluation du PNUD ?
1.1
1.2
1.3
Fournit-il des détails sur le contexte de l’évaluation ?
Fournit-il des informations concernant le cadre de résultats dans le texte principal ou les annexes ?
Le cahier des charges établit-il clairement le calendrier de l’évaluation et les jours qui y sont alloués ? (Section 4, page 15, Annexe 1, page 49)
Les jours alloués pour chaque étape de l’évaluation sont-ils précisés et appropriés compte tenu du champ de l’évaluation ?
Fournit-il des informations sur l’équipe d’évaluation (y compris sa composition) et sur les rôles et responsabilités des membres de l’équipe ?
Le cahier des charges définit-il l’implication des partenaires de l’évaluation, les parties prenantes et le mécanisme de feed-back ?
Les partenaires impliqués dans l’évaluation sont-ils identifiés et les modalités de leur implication sont-elles précisées ?
Le mécanisme de feed-back, les parties correspondantes/déclarantes et le calendrier sont-ils définis ?
Le cahier des charges expose-t-il l’approche et la méthodologie de l’évaluation ? (Section 4, pages 14-15 et Annexe 1, page 45)
1.4
1.5
Le nombre de questions d’évaluation semble-t-il approprié compte tenu du champ de l’évaluation ?
L’approche méthodologique générale est-elle exposée ?
Les sources de données disponibles ainsi que les exigences de l’évaluation en matière de données sont-elles précisées ?
Le cahier des charges requiert-il d’examiner la prise en compte du principe de « ne laisser personne de côté » et des problématiques liées aux inégalités entre les sexes et au handicap ? (Section 4, pages 16-17 et page 20, Annexe 1, page 44)
Le cahier des charges demande-t-il des détails concernant des questions spécifiques liées au principe de « ne laisser personne de côté », à l’égalité des sexes et au handicap, complémentaires ou intégrées aux questions centrales de l’évaluation ?
Le cahier des charges demande-t-il que l’évaluation explique comment les outils, méthodologies et approches d’analyse des données proposés prendront en compte le principe de « ne laisser personne de côté », les questions de genre et les autres thématiques transversales ?
6.10.2 Structure du rapport d’évaluation, méthodologie et sources de données
Le rapport d’évaluation aborde-t-il de manière claire et appropriée la finalité, les objectifs, les critères, la méthodologie et les questions centrales de l’évaluation, conformément au guide d’évaluation du PNUD ?
STRUCTURE
Le rapport d’évaluation est-il bien équilibré et structuré ?
▪ Suit-il la structure détaillée proposée dans le guide d’évaluation du PNUD (section 4, pages 29-30, et Annexe 4) ?
2.1
▪ Couvre-t-il tous les critères d’évaluation conformément au cahier des charges ?
▪ Est-il d’une longueur raisonnable compte tenu des exigences de l’évaluation ?
▪ Les annexes requises sont-elles fournies ? (Cahier des charges de l’évaluation, matrice d’évaluation et instruments de collecte de données, liste des personnes ou des groupes interrogés ou consultés, sites visités, et liste des documents d’appui examinés)
2.2
2.3
Le rapport inclut-il une synthèse de bonne qualité reprenant ses principaux éléments ? (Section 4, Annexe 4, page 57)
Inclut-il une brève présentation de la finalité de l’évaluation : pourquoi l’évaluation est-elle menée ?
Inclut-il un résumé du champ de l’évaluation et des principaux domaines de recherche : qu’est-ce qui est évalué ?
Inclut-il un résumé des principales conclusions de l’évaluation ?
Inclut-il un résumé des déclarations finales et des recommandations proposées ?
La nature et l’étendue des rôles et de la participation des partenaires et des parties prenantes dans la mise en œuvre du projet sont-elles expliquées de façon adéquate ?
MÉTHODOLOGIE
2.4
2.5
Y a-t-il un examen de la théorie du changement (TDC) ou du cadre de résultats de l’intervention, ou une tentative de reconstruction de la TDC oudu cadre de résultats ?
L’approche méthodologique de l’évaluation est-elle clairement exposée ? (Section 4 Annexe 4, pages 58-59)
L’évaluateur a-t-il expliqué l’approche/le cadre général d’évaluation utilisé pour répondre aux questions de l’évaluation ? (c’est-à-dire, si l’impact ou l’attribution doit être découvert(e), méthodologie d’évaluation de l’impact ; si la contribution doit être découverte, d’autres cadres tels que la récolte des résultats, l’analyse des contributions, le traçage des processus, etc.)
L’évaluateur a-t-il fait une distinction entre la méthodologie adoptée pour l’évaluation et les outils de collecte de données (qui sont couverts à la question 6) ?
Y a-t-il des changements par rapport à l’approche décrite dans le cahier des charges détaillé ? Les éventuels changements par rapport à l’approche décrite dans le cahier des charges sont-ils détaillés ?
RECUEIL ET ANALYSE DES DONNÉES
Les méthodes de recueil et d’analyse des données sont-elles clairement exposées ? (Section 4 Annexe 4, page 59)
2.6
▪ Les sources de données sont-elles clairement exposées ?
▪ Les approches d’analyse des données (y compris les méthodes de triangulation) sontelles expliquées ?
▪ Les méthodes de recueil des données (y compris les méthodes d’échantillonnage) sontelles détaillées ?
Remarque : l’évaluateur doit expliquer s’il s’est appuyé sur des données primaires (données collectées) ou des données secondaires (les sources des documents du projet), s’il a réalisé des enquêtes, des études de cas, des entretiens, des groupes de discussion, ou s’il a eu recours à des méthodes de collecte de données géospatiales, etc.
L’approche de recueil et d’analyse des données est-elle appropriée au champ de l’évaluation ?
▪ Un jeu complet de sources de données est-il inclus lorsque cela est approprié ?
2.7
2.8
▪
▪
L’analyse des données et les citations sont-elles clairement présentées dans le rapport ?
L’évaluation a-t-il expliqué comment les données de suivi du projet ont été utilisées et vérifiées ?
Les limites dans la mise en œuvre de l’évaluation sont-elles clairement expliquées ainsi que les mesures d’atténuation ?
Les contraintes d’accès aux données (y compris les personnes interrogées et les sources de données quantitatives) sont-elles expliquées ?
La manière dont les contraintes d’accès aux données ont été abordées est-elle expliquée ?
6.10.3 Thématiques transversales
Le rapport d’évaluation couvre-t-il la prise en compte du principe de ne laisser personne de côté et d’autres thématiques transversales, lorsque cela est pertinent ?
3.1 Si le cahier des charges le demande, l’évaluation inclut-elle et analyse-t-elle correctement les thématiques transversales telles que :
Ne laisser personne de côté
https://erc.undp.org/methods-center/methods/assessing-crossing-cutting-themes/assessingleaving-no-one-behind
Les normes sociales et environnementales (ce qui est obligatoire pour les évaluations de projets financés par le Fonds pour l’environnement mondial (FEM))
https://erc.undp.org/methods-center/methods/assessing-crossing-cutting-themes/ses
3.2 L’égalité des sexes et l’autonomisation des femmes font-elles partie du champ de l’évaluation, et les critères et questions de l’évaluation sont-ils conçus de façon à garantir le recueil des données relatives à ces thématiques ?
- L’évaluation définit-elle un objectif visant spécifiquement l’égalité des sexes, les droits humains et/ou les problématiques liées aux inégalités entre les sexes, ou bien la prise en compte de ces thématiques est-elle systématiquement examinée pour tous les objectifs de l’évaluation ?
- L’évaluation prévoit-elle un critère visant spécifiquement l’égalité des sexes et/ou les droits humains, ou prévoit-elle l’examen systématique de la prise en compte de ces thématiques pour tous les critères d’évaluation ?
- L’évaluation comporte-t-elle une ou plusieurs questions visant spécifiquement la contribution à l’égalité des sexes et à l’autonomisation des femmes ?
Section 6.10.3, page 11 : https://erc.undp.org/pdf/UNDP_Evaluation_Guidelines.pdf
Tableau de bord des indicateurs de performance des évaluations ONU-SWAP : http://www.unevaluation.org/document/download/2149
3.3 Des méthodologies, méthodes, outils et techniques d’analyse de données sensibles au genre ont-ils été sélectionnés ?
▪ L’évaluation précise-t-elle comment la méthodologie intègre les problématiques liées aux inégalités entre les sexes, notamment la façon dont les méthodes de recueil et d’analyse des données intègrent ces problématiques et garantissent le recueil de données ventilées par sexe ?
▪ La méthodologie d’évaluation recourt-elle à une combinaison appropriée de méthodes afin d’analyser la contribution à l’égalité des sexes et à l’autonomisation des femmes ?
▪ Un éventail large et diversifié de sources de données et de processus (triangulation, validation) est-il employé afin de garantir le caractère inclusif, l’exactitude et la crédibilité de l’évaluation ?
▪ Les méthodes d’évaluation et la base d’échantillonnage tiennent-elles compte de la diversité des parties prenantes affectées par l’intervention, en particulier les plus vulnérables, le cas échéant ?
Section 6.10.3, page 11 : https://erc.undp.org/pdf/UNDP_Evaluation_Guidelines.pdf
Tableau de bord des indicateurs de performance des évaluations ONU-SWAP : http://www.unevaluation.org/document/download/2149
3.4 Les constatations, conclusions et recommandations de l’évaluation reflètent-elles une analyse des questions de genre ?
▪ L’évaluation comporte-t-elle une section consacrée au contexte qui couvre notamment les groupes sociaux spécifiques affectés et/ou expose les instruments ou politiques relatifs à l’égalité des sexes et aux droits humains ?
▪ Les constatations comprennent -elles une analyse de données qui triangule explicitement et de manière transparente les voix des différents groupes de rôles sociaux et/ou ventile les données quantitatives par sexe, lorsque cela est approprié ?
▪ Les effets inattendus de l’intervention sur l’égalité des sexes et les droits humains sontils décrits ?
▪ Le rapport d’évaluation fournit-il des recommandations visant spécifiquement l’égalité des sexes et l’autonomisation des femmes, et définit-il les priorités d’action visant à améliorer les résultats dans ces domaines, l’intervention elle-même ou les futures initiatives dans ces domaines ?
Section 6.10.3, page 11 : https://erc.undp.org/pdf/UNDP_Evaluation_Guidelines.pdf
Tableau de bord des indicateurs de performance des évaluations ONU SWAP : http://www.unevaluation.org/document/download/2149
3.5 L’évaluation examine-t-elle la prise en compte des problématiques liées au handicap ?
- Les questions d’évaluation couvrent-elles différents aspects de la prise en compte des problématiques liées au handicap ?
- Les constatations et les analyses consignées dans l’évaluation fournissent-elles des données et établissent-elles des faits concernant la prise en compte des problématiques liées au handicap ?
- Les conclusions et/ou les recommandations de l’évaluation tiennent-elles compte des constatations faites concernant la prise en compte des problématiques liées au handicap ?
Remarque : il s’agit d’une nouvelle exigence depuis 2019. Examinez-la uniquement si le cahier des charges demande la prise en compte des problématiques liées au handicap ou si le rapport comprend une analyse en la matière. S’il n’y a pas de demande dans le cahier des charges, indiquez S.O.
Section 6.10.3, page 11 : https://erc.undp.org/pdf/UNDP_Evaluation_Guidelines.pdf
La stratégie des Nations Unies pour l’inclusion du handicap exige d’inclure une analyse de l’inclusion du handicap dans les évaluations. La stratégie et les orientations sont disponibles ici : https://www.un.org/fr/content/disabilitystrategy/
6.10.4 Constatations, conclusions et recommandations de l’évaluation
Le rapport expose-t-il ses constatations, conclusions et recommandations de façon claire et concise, en veillant à les étayer ?
CONSTATATIONS ET CONCLUSIONS
4.1
4.2
Le rapport d’évaluation présente-t-il un ensemble de constatations formulées avec concision et s’articulant avec logique ? (Section 4, 4.4.5, p. 30; Annexe 4, Modèle de rapport d’évaluation du PNUD et normes de qualité, pages 59-60; Section 6, 6.10.4, p 12)
▪ Les constatations sont-elles structurées autour des critères et questions d’évaluation ?
▪ Les constatations sont-elles détaillées et étayées par des éléments factuels ?
L’évaluation aborde-t-elle la PERTINENCE de l’intervention, si le cahier des charges le demande ?
(Sous forme de section distincte consacrée à la pertinence ou de discours dans les constatations et conclusions)
Y compris, mais sans s’y limiter :
▪ Les priorités et stratégies gouvernementales
▪ Les résultats et produits indiqués dans le descriptif de programme du pays du PNUD
4.3
L’évaluation aborde-t-elle la COHERENCE de l’intervention, si le cahier des charges le demande ?
(Sous forme de section distincte consacrée à la cohérence ou de discours dans les constatations et conclusions)
Y compris, mais sans s’y limiter :
La cohérence interne : les synergies et les interconnexions entre l’intervention et les autres interventions réalisées par le PNUD.
La cohérence externe : la cohérence de l’intervention avec les interventions des autres acteurs dans le même contexte. (Complémentarité, harmonisation et coordination avec d’autres, et mesure dans laquelle l’intervention ajoute de la valeur tout en évitant la duplication des efforts).
4.4
L’évaluation aborde-t-elle l’EFFICACITE de l’intervention, si le cahier des charges le demande ?
(Sous forme de section distincte consacrée à l’efficacité ou de discours dans les constatations et conclusions)
4.5
L’évaluation aborde-t-elle l’EFFICIENCE de l’intervention, si le cahier des charges le demande ?
(Sous forme de section distincte consacrée à la l’efficience ou de discours dans les constatations et conclusions)
Y compris, mais sans s’y limiter :
Dans quelle mesure l’intervention a-t-elle bien utilisé et alloué ses ressources humaines et financières ?
Les écarts entre les dépenses prévisionnelles et réelles sur les résultats/produits sont-ils évalués et expliqués ?
4.6
4.7
4.8
L’évaluation aborde-t-elle clairement la DURABILITE de l’intervention, si le cahier des charges le demande ?
(Sous forme de section distincte consacrée à la durabilité ou de discours dans les constatations et conclusions)
L’évaluation couvre-t-elle le cadre de résultats, ses rapports et sa qualité globale ? (Section 6, p. 10)
▪
Existe-t-il une évaluation de la qualité du cadre de résultats, de ses indicateurs et du niveau de ventilation par sexe et autres groupes vulnérables ?
▪ Tous les indicateurs du cadre de résultats sont-ils évalués et analysés par l’évaluateur et les réalisations finales sont-elles notées ?
L’évaluation comprend-elle une évaluation du système de suivi de l’intervention et de sa qualité globale ? (Section 6, p. 10)
4.9
4.10
La gestion des risques et la qualité des mesures d’adaptation/d’atténuation, y compris les protections sociales et environnementales, sont-elles abordées et analysées dans le rapport d’évaluation ?
Le rapport d’évaluation présente-t-il un ensemble de conclusions formulées avec concision et s’articulant avec logique, chacune se suffisant à elle-même ? (Section 4, 4.4.5, p. 30; Annexe 4, Modèle de rapport d’évaluation et normes de qualité du PNUD, p. 60; Section 6, 6.10.4, p. 12)
Les conclusions s’appuient-elles sur les constatations ?
Sont-elles claires, concises et bien étayées ?
Répondent-elles aux objectifs de l’évaluation ?
RECOMMANDATIONS
4.11
Les recommandations de l’évaluation sont-elles claires, concises, ciblées (à l’intention du PNUD et/ou des partenaires d’exécution), réalistes et exploitables, compte tenu de l’envergure et du champ du projet/programme ? (Section 4, 4.4.5, p. 30; Annexe 4, Modèle de rapport d’évaluation et normes de qualité du PNUD, p. 60; Section 6, 6.10.4, p. 12)
6.10.5 Réponse de la direction
RÉPONSE DE LA DIRECTION
La réponse de la direction est-elle claire, réaliste et exploitable ?
5.1
5.2
La réponse de la direction est-elle formulée de manière adéquate et répond-elle à l’esprit des recommandations (si acceptées) ? En cas de rejet, la raison du rejet est-elle clairement formulée ? (Section 4, étape 4.5, page 34)
À faire uniquement si disponible au moment de l’évaluation de la qualité
Les actions clés sont-elles SMART (spécifiques, mesurables, accessibles, rationnelles et temporelles) (Si acceptées ou partiellement acceptées) ? (Section 4, étape 4.5, page 35)
À faire uniquement si disponible au moment de l’évaluation de la qualité
6.10.6 Constatations générales et enseignements tirés.
La plupart des évaluations devraient identifier plusieurs enseignements tirés de la mise en œuvre du projet. Cette section n’est pas notée dans l’évaluation globale de la qualité, mais donne à l’examinateur la possibilité d’identifier les principaux enseignements qui pourraient être tirés d’une évaluation et qui devraient être partagés plus largement au sein d’un bureau de pays, au niveau régional ou mondial.
CONSTATATIONS GÉNÉRALES ET ENSEIGNEMENTS TIRES
A compléter sous forme narrative et non notée. Cet espace permet à l’examinateur de formuler d’autres réflexions et considérations sur le rapport.
6.1
6.2
Enseignements pour les évaluations et les évaluateurs : Réflexions générales sur la qualité du rapport d’évaluation
Y a-t-il des aspects innovants du rapport d’évaluation que vous pouvez souligner ? Oui/Non Dans l’affirmative, veuillez étayer votre réponse dans les commentaires.
6.10.7 Validation des notes de qualité initiales attribuées par les évaluations finales aux projets financés par le FEM
Cette section concerne uniquement la validation des notes de qualité initiales attribuées par les évaluations finales aux projets financés par le FEM. Afin de permettre le contrôle qualité des évaluations finales des projets financés par le FEM ainsi que la validation des notes de qualité initiales, des documents supplémentaires sont transmis aux contrôleurs qualité. Ces documents comprennent :
la note conceptuelle du projet, les formulaires d’identification (PIF/PDF A et B) et le document de projet (ProDoc), qui comprend le cadre de résultats ;
les examens de la mise en œuvre du projet (APR/PIR) ;
les outils de suivi (selon ceux disponibles) ;
l’évaluation à mi-parcours, le cas échéant ; et
le plan de mise en œuvre du projet.
Tableau de validation des notes de qualité initiales attribuées par les évaluations finales aux projets financés par le FEM
Note ajustée après contrôle qualité (BIE du PNUD)
Note initiale attribuée par l’évaluation finale
Commentaires et/ou justification de l’ajustement
Évaluation des réalisations
Angle d’analyse
Indiquer les notes attribuées par l’évaluation finale concernant l’efficacité, l’efficience et la pertinence du projet, ainsi que vos propres notes sur la base des documents disponibles, en les justifiant. Indiquer également votre note en l’absence de note initiale attribuée par l’évaluation finale.
Suggestions d’amélioration
Angle d’analyse
Réalisation
Angle d’analyse
Indiquer les notes attribuées par l’évaluation finale concernant la viabilité/durabilité du projet, ainsi que vos propres notes sur la base des documents disponibles, en les justifiant. Indiquer également votre note en l’absence de note initiale attribuée par l’évaluation finale.
Indiquer les notes attribuées par l’évaluation finale concernant la qualité S&E du projet, ainsi que vos propres notes sur la base des documents disponibles, en les justifiant. Indiquer également votre note en l’absence de note initiale attribuée par l’évaluation finale.
Indiquer les notes attribuées par l’évaluation finale concernant la performance du PNUD en tant qu’agence de mise en œuvre du projet, ainsi que vos propres notes sur la base des documents disponibles, en les justifiant. Indiquer également votre note en l’absence de note initiale attribuée par l’évaluation finale.
Qualité de la mise en œuvre/du contrôle par le
14 Qualité de l’exécution par le partenaire de mise en œuvre
15
Qualité globale de la mise en œuvre et de l’exécution
Performance globale du projet
Angle d’analyse
16
L’évaluation finale présente-t-elle une analyse de synthèse ainsi qu’une note globale des résultats du projet ? Indiquer la note attribuée par l’évaluation finale ainsi que votre propre note sur la base des documents disponibles.
Justifier votre note, qu’elle diffère ou non.
6.10.8 Tableau de synthèse du contrôle qualité
La synthèse du contrôle qualité est automatiquement établie dans l’ERC et consultable par le contrôleur avant envoi au BIE pour approbation et finalisation.
CRITÈRE DE CONTRÔLE QUALITÉ
1. Structure et conception de l’évaluation
Le cahier des charges définit-il clairement et de façon appropriée la finalité, les objectifs, les critères, la méthodologie et les questions centrales de l’évaluation conformément au guide d’évaluation du PNUD ?
Note
2. Rapport d’évaluation et méthodologie
Le rapport d’évaluation couvre-t-il de manière claire et appropriée la finalité, les objectifs, les critères, la méthodologie et les questions centrales de l’évaluation, conformément au guide d’évaluation du PNUD ?
3. Problématiques liées aux inégalités entre les sexes et autres thématiques transversales
Le rapport d’évaluation couvre-t-il le principe de ne laisser personne de côté et d’autres thématiques transversales, lorsque cela est pertinent ?
4. Résultats, constatations, conclusions et recommandations de l’évaluation
Le rapport expose-t-il ses constatations, conclusions et recommandations de façon claire et concise, en veillant à les étayer ?
6.11 Indicateur de performance des évaluations ONU-SWAP et examen de qualité
La Politique sur la parité entre les sexes et l’autonomisation des femmes à l’échelle du système des Nations Unies a été adoptée par le Conseil des chefs de secrétariat pour la coordination en octobre 2006, afin de faire progresser les objectifs relatifs à l’égalité des sexes et à l’autonomisation des femmes dans les politiques et les programmes du système des Nations Unies. En 2012, les Nations Unies ont adopté un Plan d’action à l’échelle du système des Nations Unies (ONU-SWAP) pour l’égalité des sexes et l’autonomisation des femmes, en vue de mettre la politique susmentionnée en œuvre. Ce plan d’action a défini des normes de performance communes pour l’ensemble du travail des entités des Nations Unies visant les problématiques liées aux inégalités entre les sexes, y compris le travail d’évaluation, pour lequel le plan d’action a défini l’indicateur de performance des évaluations (IPE). En 2020, ce plan d’action a été mis à jour. Les rapports sur l’IPE suivent la note technique sur l’IPE (UNSWAP EPI Technical Note) publiée par le Groupe des Nations Unies pour l’évaluation (GNUE) 6 .
Le PNUD est tenu d’établir un rapport sur l’IPE chaque année, en couvrant tant les évaluations indépendantes que les évaluations décentralisées. Des informations détaillées concernant l’IPE sont disponibles ici. Cette section résume les éléments clés de l’IPE et explique son intégration dans le processus d’examen de qualité du PNUD.
6 Voir http://www.unevaluation.org/document/detail/1452
6.11.1 En quoi consiste l’IPE ?
L’IPE analyse la mesure dans laquelle les évaluations commandées par les entités appliquent les Normes et règles d’évaluation du GNUE concernant la prise en compte des inégalités entre les sexes, ainsi que les orientations du GNUE sur l’intégration des droits de l’homme et de l’égalité des sexes (Guidance on integrating human rights and gender equality), à chaque étape du processus d’évaluation.
6.11.2 Critères et tableau de bord de l’IPE
Un tableau de bord est utilisé pour examiner les rapports d’évaluation selon trois critères (un quatrième critère s’applique au niveau de l’agence). Les deux premiers critères visent la prise en compte des problématiques liées aux inégalités entre les sexes dans le champ de l’évaluation ainsi que ses méthodes et outils de recueil et d’analyse des données.
1. L’égalité des sexes et l’autonomisation des femmes sont-elles intégrées dans le champ de l’évaluation, et les critères et questions de l’évaluation sont-ils conçus de façon à garantir le recueil des données pertinentes ?
2. L’évaluation adopte-t-elle une méthodologie, des méthodes, des outils et des techniques d’analyse des données sensibles aux inégalités entre les sexes ?
Le troisième critère vise à déterminer si les problématiques liées aux inégalités entre les sexes sont prises en compte tout au long du rapport et de différentes manières.
3. Les constatations, conclusions et recommandations sont-elles sensibles aux inégalités entre les sexes ?
Le quatrième critère vise la fréquence à laquelle l’entité, en l’occurrence le PNUD, commande des évaluations examinant la systématisation de la prise en compte des inégalités entre les sexes.
4. L’entité commande-t-elle au moins une évaluation tous les cinq à huit ans afin d’examiner sa performance dans la systématisation de la prise en compte des inégalités entre les sexes ?
Chaque rapport d’évaluation est examiné selon les trois premiers critères, à l’aide d’une échelle de 0 à 3 :
▪ 0 = prise en compte inexistante : aucun des éléments du critère n’est satisfait.
▪ 1 = prise en compte partielle : un minimum d’éléments sont satisfaits mais des progrès restent à faire, et des actions correctives sont requises pour répondre aux exigences.
▪ 2 = prise en compte satisfaisante : de nombreux éléments sont satisfaits mais des améliorations sont encore possibles.
▪ 3 = prise en compte totale : tous les éléments du critère sont satisfaits, utilisés et pleinement intégrés à l’évaluation, et aucune action corrective n’est requise.
L’annexe de la note technique sur l’IPE (UN-SWAP EPI Technical Note 7) fournit des questions-guides pour l’analyse selon chaque critère. Après examen du rapport d’évaluation en fonction de chacun des critères, une note lui est attribuée comme suit :
7 Voir http://www.unevaluation.org/document/detail/1452
0-3 points = ne répond pas aux exigences
4-6 points = répond partiellement aux exigences
7-9 points = répond aux exigences
6.11.3 Processus d’ examen de qualité
Le BIE du PNUD est le point focal pour l’EPI. Avant 2020, le BIE faisait appel chaque année à un spécialiste externe afin de contrôler une série d’évaluations (toutes les évaluations indépendantes et un échantillon d’évaluations décentralisées) finalisées durant l’année civile concernée. En 2020, l’IPE a été intégré au système d’examen de qualité en ligne du BIE et toutes les évaluations décentralisées soumises au contrôle qualité sont depuis également examinées selon l’IPE. Les contrôleurs qualité examinent également toutes les évaluations indépendantes selon l’IPE. Les scores de toutes les évaluations (indépendantes et décentralisées) sont agrégés en un score final pour l’ensemble du PNUD. Selon ce score agrégé, le PNUD a pour la première fois « dépassé les exigences » en 2020.
Encadré 1 – Exemples d’évaluations ayant satisfait aux exigences de l’IPE
• Bangladesh, 2020, Évaluation finale du partenariat pour la tolérance et l’inclusion au Bangladesh (en anglais)
• Népal, 2020, Évaluation finale de la reconstruction et du redressement résilients des communautés vulnérables sévèrement touchées par le séisme de 2015 (EU II) (en anglais)
• Haïti, 2020, Évaluation finale du projet de promotion de la cohésion sociale à Jérémie
• Soudan du Sud, 2020, Évaluation finale du projet pour la paix et la cohésion communautaire (en anglais)
Remarque : l’IPE examine dans quelle mesure une évaluation prend en compte l’égalité des sexes et l’autonomisation des femmes. Un rapport peut donc obtenir une bonne note pour l’IPE même si les constatations de l’évaluation quant à la prise en compte des problématiques liées aux inégalités entre les sexes par le programme/projet sont négatives.
6.11.4
Élaboration du rapport
Le BIE prépare un rapport de synthèse final, qui est mis en ligne sur le portail du Plan d’action à l’échelle du système des Nations Unies (ONU-SWAP) pour l’égalité des sexes et l’autonomisation des femmes. ONU Femmes analyse tous les indicateurs de performance définis par ce plan d’action, y compris en matière d’évaluation, et un rapport consolidé est présenté chaque année dans le cadre du rapport du Secrétaire général au Conseil économique et social sur la « Prise en compte de la problématique femmes-hommes dans l’ensemble des politiques et programmes du système des Nations Unies 8».
8 Le rapport 2020 est disponible ici : https://documents-dds-ny.un.org/doc/UNDOC/GEN/N20/092/53/pdf/N2009253.pdf?OpenElement