2012 IHP+Results Report - Methodology Annex by ResultsLAB

ANNEXE MÉTHODOLOGIQUE

+ Related Initiatives

RAPPORT ANNUEL DE LA PERFORMANCE 2012

CONTEXTE DE L’APPROCHE D’IHP+RESULTS Le mandat d’IHP+Results est issu du Pacte mondial IHP+, qui requiert une évaluation indépendante des progrès.1 TLe cadre de production de rapports utilisé pour produire ce rapport a été élaboré et convenu par les signataires de l’IHP+ au cours du début de l’année 2010. En juillet 2011, le groupe de travail IHP+ sur la responsabilité mutuelle 2 a examiné l’expérience relative à la mise en œuvre de cette méthodologie qui a été convenue en 2010 et a convenu de quelques modifications mineures dans le but de renforcer l’approche en question. Le groupe de travail a convenu que l’ensemble des 10 mesures initiales pour les gouvernements des pays d’IHP+ et des 12 mesures initiales pour les partenaires de développement (PD) devraient être conservées dans le suivi 2012, à l’exception de la mesure de l’engagement de la société civil. 3 Cela a permis de conserver le lien existant avec les indicateurs sur l’efficacité de l’aide de la Déclaration de Paris 4 comme manière de minimiser les coûts de transaction associés au cadre de rapports. Cela a également permis une certaine analyse au fil des années de séries de données comparables qui ont été produites pendant le suivi 2010 et 2012 d’IHP+Results. Les mesures continuent de suivre les progrès accomplis par rapport aux résultats attendus de la mise en œuvre du Pacte mondial IHP+, mais n’incluaient pas les résultats et les impacts en matière de santé puisqu’ils sont suivis ailleurs (même si un nombre limité de ces types de mesures complémentaires sont rapportés dans le scorecard du pays pour mettre en contexte les conclusions d’IHP+Results). Les objectifs cibles de chaque mesure ont été laissés tels quels, à l’exception qu’un nouvel objectif cible de la société civile était nécessaire pour refléter les différentes données recueillies en 2012 et sur la mesure 4PD qui a été modifiée pour refléter les rapports de l’OCD 5 (voir ci-dessous pour plus de détails).

http://www.internationalhealthpartnership.net/fileadmin/uploads/ihp/Documents/Key_Issues/IHP_Global%20Compact_May%202012.pdf site consulté le 2 octobre 2012. 2 Présidé par ONUSIDA et incluant les membres suivants: les gouvernements du Burundi et de l’Éthiopie, le Fonds mondial de lutte contre le SIDA, la tuberculose et le paludisme, l’Alliance GAVI, l’UNICEF, l’Organisation mondiale de la Santé (OMS), la Banque mondiale, la coopération de développement allemande, le Netherlands Ministry of Foreign Affairs, le ministère du Développement international de la GB (DFID), Oxfam GB, la London School of Hygiene and Tropical Medicine et Re-Action! 3 L’indicateur de l’engagement de la société civile a été adapté pour suivre l’engagement «significatif» plutôt que l’engagement «actif». 4 http://www.oecd.org/dataoecd/57/60/36080258.pdf site consulté le 2 octobre 2012. 5 Aid Effectiveness 2005-10: Progress in Implementing the Paris Declaration, pp74. OCDE. Accessible sur le site: http://www.oecd.org/dac/aideffectiveness/48742718.pdf, site consulté le 2 octobre 2012.accessed 2 October 2012. 1

QUESTIONS PRÉCISES EXAMINÉES PAR L’IHP+ L’équipe dirigeante d’IHP+ a convenu de ce qui suit: • poursuivre la participation volontaire et le lobbying actif pour plus de participants (en plus du même groupe qu’avant) en poursuivant l’objectif d’augmenter la taille de l’échantillon; • continuer à seulement recueillir des données relatives aux PD pour les pays participants où les PD sont «actifs» pour minimiser les coûts de transaction des PD; • poursuivre sans dates cibles, accepter l’analyse relative aux limites à savoir si la vitesse de changement est suffisante (avec ou sans cible); • garder la série d’indicateurs sans changement, mais renforcer les définitions de termes clés précis; • localiser la cueillette de données à l’échelle des pays là où il y a de la demande. Le groupe de travail sur la responsabilité mutuelle a convenu de ce qui suit: • cette cueillette de données devrait être menée en fonction des préférences des signataires participants (au niveau de l’administration centrale ou des pays), mais à l’aide d’un examen des résultats préliminaires au niveau des pays (en utilisant notamment les réunions planifiées de coordination du secteur de la santé ou les revues annuelles conjointes du secteur de la santé) avant que les résultats soient finalisés ou rendus publics; • viser les données de 2011, mais accepter les données de 2010 lorsque celles-ci sont les données accessibles les plus récentes; • changer la politique relative à l’utilisation de la «non-applicabilité» afin que les PD ne puissent pas choisir de produire de rapports relativement aux mesures de la performance standard; • un nombre limité de questions volontaires supplémentaires pourraient être incluses dans le questionnaire (comme dans le suivi 2010); • effectuer des changements mineurs aux mesures de la performance standard sur l’engagement de la société civile, mais mettre l’accent sur la question dans l’outil d’enquête, à la fois pour les gouvernements et les partenaires de développement en utilisant des options à cocher; • une nouvelle définition relative à si un organisme est «actif» ou non dans un pays et devrait par conséquent présenter des rapports à IHP+Results relativement à ce pays: les PD devraient produire des rapports dans tout pays où ils offrent de l’aide dans le secteur de la santé (directement ou indirectement); • la série d’hypothèses sur l’utilisation d’un soutien budgétaire général relatif à tous les indicateurs d’IHP+Results. Comme en 2010, l’IHP+ SuRG et le groupe de travail désiraient s’assurer que l’enquête serait menée de manière à ce que les pays et les représentants des partenaires de développement défraient aussi peu de coûts de transaction que possible. Cela a eu une incidence sur les données accessibles car, dès le début, une certaine flexibilité a été permise pour demander aux participants de fournir des données existantes (assez récentes) plutôt que des nouvelles données (parfaites). Cependant, cela n’affaiblit pas les conclusions de l’enquête si ces résultats sont utilisés de manière appropriée. Les conclusions peuvent être utilisées pour orienter les conversations au sujet de si les partenaires reflètent précisément leurs progrès relativement à IHP+Results, pour augmenter la rigueur de leur production de rapports et pour demander ce qui a changé depuis la période de laquelle provient les données.

COMMENT LA REVUE DE LA PERFORMANCE 2010 A ÉTÉ EFFECTUÉE En mai 2011, l’équipe dirigeante d’IHP+ a convenu des échéances relatives à la cueillette de données et à la production de rapports. On a demandé aux signataires de l’IHP+ de choisir le processus de revue 2012 d’IHP+Results. 36 signataires ont accepté de participer, dont 19 gouvernements de pays (une augmentation par rapport à 2010 lorsqu’ils étaient 10 (les 10 pays qui ont participé à IHP+Results 2010 ont confirmé leur participation au cycle de suivi 2012) et 17 partenaires de développement (une augmentation par rapport à 2010 lorsqu’ils étaient 15, incluant également les même 15 partenaires qui avaient participé en 2010). Les autres signataires de l’IHP+ (parmi 56 signataires 6) ne se sont pas portés volontaires pour participer.

Participants au suivi 2012 d’IHP+Results Comme c’est le cas avec l’OCDE-CAD, le processus 2012 d’IHP+Results était volontaire. Les gouvernements des pays et les partenaires de développement suivants ont choisi de participer: 19 gouvernements des pays IHP+: Bénin, Burkina Faso, Burundi, Djibouti, RDC, El Salvador, Éthiopie, Mali, Mauritanie, Mozambique, Népal, Niger, Nigeria, Rwanda, Sénégal, Sierra Leone, Soudan, Togo et Ouganda. 17 partenaires de développement: Banque africaine de développement (BAD), AusAID, Belgique, UE, Allemagne, Alliance GAVI, GFATM, Pays-Bas, Norvège, Espagne, Suède, GB, ONUSIDA, FNUAP, UNICEF, OMS et Banque mondiale.

Pour obtenir la liste complète des signataires de l’IHP+, consulter le site: http://www.internationalhealthpartnership.net/en/ihp-partners/ site consulté le 2 octobre 2012.

CUEILLETTE ET ANALYSE DES DONNÉES IHP+Results a utilisé les mesures convenues pour formuler un outil d’enquête 7 fondé sur les questions et des documents d’orientation, se fondant le plus possible sur les directives de l’OCDE-CAD pour le processus d’enquête 2011 de la Déclaration de Paris pour s’assurer d’une certaine cohérence avec la méthodologie de l’enquête de Paris. On a demandé aux participants au suivi 2012 qui n’avaient pas produit de rapports dans le cycle 2010 de fournir des données de l’année de référence (2005, 2006 ou 2007) et des données de la dernière année (2011 ou 2010 si les données de 2011 ne sont pas accessibles). On a demandé aux signataires qui ont participé au suivi 2010 de seulement présenter des rapports sur les données de la dernière année. Les outils d’enquête et les documents d’orientation 8 étaient disponibles en anglais, en français et en espagnol. Pour chaque mesure de la performance standard (MPS), les données relatives au dénominateur et au numérateur ont été demandées, plutôt que les données relatives au pourcentage. Les participants avaient 6 semaines pour fournir leurs données (à partir du 20 février 2012). Des réponses ont été recueillies des gouvernements des pays de l’IHP+ participants par le biais de liaisons avec le haut fonctionnaire de l’IHP+ responsable du ministère de la Santé (MoH). À la demande du MoH, dans 2 des 19 pays (Burkina Faso et Mozambique), un consultant présent au pays a été nommé. Ces consultants ont travaillé avec les représentants du MoH, sous l’étroite supervision de l’équipe d’IHP+Results 9, pour recueillir les données et s’assurer que le haut fonctionnaire de l’IHP responsable du MoH avait approuvé l’outil d’enquête et le scorecard de pays complétés. Il était prévu que le processus inclue une consultation avec les équipes sectorielles du secteur de la santé des pays, fondée sur les directives du MoH, en poursuivant l’objectif d’utiliser les extrants du processus d’IHP+Results comme intrants légitimes et crédibles relatifs aux discussions continues à l’échelle des pays sur l’efficacité de l’aide sectorielle en santé, et pour renforcer la responsabilité mutuelle. Dans la pratique, cela s’est produit dans seulement un nombre de cas limité (Mozambique), principalement en raison des contraintes relatives au temps. Cela a réduit la visibilité et l’appropriation de cet exercice à l’échelle des pays, particulièrement pour les parties prenantes de la société civile. Les données des partenaires de développement ont été recueillies par chaque siège des organismes 10. Dans deux cas (Fonds mondial et FNUAP), les données ont principalement été tirées de l’enquête 2011 de la Déclaration de Paris) par IHP+Results et un engagement subséquent a été pris par les représentants des deux organismes pour combler les lacunes là où elles étaient présentes. Des données ont été recueillies pour les pays dans lesquels les organismes se considéraient actifs (mais en 2012, cela était fondé sur la définition convenue ci-dessus, un changement par rapport à 2010 lorsqu’aucune définition de ce genre n’avait été convenue) au sein des 19 pays participant à l’enquête. IHP+Results a revu les outils d’enquête complétés et nettoyé les données pour s’assurer, le plus possible, d’une application cohérente des directives sur les termes et définitions clés 11. Les ébauches des scorecards ont été présentées à tous les signataires participants pour s’assurer que l’interprétation et la présentation des données étaient exactes. Un texte qualificatif et explicatif a été convenu entre IHP+Results et chaque partenaire de développement et sera présenté à l’endos de leur scorecard. Le rapport sur la performance annuelle offre une synthèse indépendante des résultats, des conclusions et des recommandations fondées sur ces preuves. Un Groupe consultatif indépendant de représentants du milieu universitaire et de la société civile a revu cette méthodologie, les résultats et le rapport, pour donner son opinion de l’intégrité du processus et pour produire son évaluation, qui est incluse en avant-propos du rapport. Un outil d’enquête présenté en exemple est accessible sur le site: www.ihpresults.net/how/methodology/ Accessible sur le site: www.ihpresults.net/how/methodology/ 9 Cela incluait des appels téléphoniques réguliers pour clarifier les processus et garantir une compréhension commune des termes et définitions clés présentés dans les documents d’orientation sommaires et détaillés produits par IHP+Results (accessibles sur le site: www.ihpresults.net/how/methodology/ 10 IHP+Results a établi un contact direct avec le bureau d’AusAID au Népal, avec les bureaux des Pays-Bas au Burkina Faso, en Éthiopie, au Mali, au Mozambique et avec les bureaux de l’UNICEF dans les 19 pays. Dans tous les pays, ce contact suivait l’instruction de l’administration centrale d’AusAID, des Pays-Bas et de l’UNICEF respectivement. 11 Conformément aux documents d’orientation détaillés qui ont été distribués au début du processus de cueillette de données, qui sont accessibles sur le site: www.ihpresults.net/how/methodology/ 7 8

PORTÉE ET LIMITES

Analyse et interprétation des données Le cadre de production de rapports inclut à la fois des mesures standard de la performance qualitatives et quantitatives (voir ci-dessous pour obtenir la liste complète). Nous avons terminé notre analyse en traitant et en ajoutant des données de différentes façons qui sont décrites ci-dessous à la fin de la présente annexe: Données quantitatives • Pour offrir une indication générale à savoir si des progrès ont été accomplis et à savoir si les objectifs cibles ont été atteints. Au plus haut niveau, nous avons regroupé toutes les données des partenaires de développement pour montrer une valeur pour les données de l’année de référence, une valeur pour 2009 et une valeur pour 2011 12, pour chaque mesure de la performance standard quantitative (mesures 2PDa, 2PDb, 2PDc, 3PD, 4PD, 5PDa, 5PDb et 5PDc). • Pour offrir une perspective par agence et par pays sur les progrès accomplis en ce qui concerne chacune des mesures de la performance standard, à l’aide des scorecards des partenaires et des pays, nous avons fourni une évaluation objective ( , , ), fondée sur les données qualitatives et quantitatives et les objectifs cibles (selon la mesure). Ces évaluations ont été regroupées dans tous les pays où l’organisme joue un rôle actif. Pour les scorecards des pays, il n’y a pas de regroupement. Seules les données du gouvernement ont été utilisées comme base d’évaluation des progrès. Les évaluations sont dérivées de critères qui ont été publiés (voir les tableaux ci-dessous). Les données des partenaires de développement ont été regroupées à l’aide de la formule ci-dessous. Là où des données n’ont pas été fournies ou là où une évaluation n’a pas pu être calculée en raison de données tendancielles 13 manquantes, un point d’interrogation ( ) est utilisé. Une barre grise ( ) est utilisée là où aucune donnée dénominative n’a été fournie (indiquant qu’aucune action n’a été prise par l’organisme dans un secteur donné. Ce symbole a également été utilisé dans un certain nombre de cas où les partenaires de développement (PD) ne pouvaient pas mener d’action. Par exemple, l’utilisation d’un cadre d’évaluation national de la performance par les PD est seulement possible lorsqu’un tel cadre existe. Dans les pays où les gouvernements ont rapporté qu’aucun cadre d’évaluation national de la performance n’était en place, tous les PD qui ont fourni des données pour tous les pays où cela s’appliquait ont été évalués avec . Cela s’applique aux MPS, à 1PD, 6PD et 7PD de même qu’à 5PDb (voir ci-dessous). Cela a entraîné une possibilité de confusion car l’interprétation des termes clés par les partenaires de développement et les gouvernements des pays pouvait différer (voir ci-dessous). Pour les mesures de la performance standard 5Ga et 5Gb, les données utilisées ont été tirées des sources de la Banque mondiale et d l’OCDE 14. • Nous avons également fourni des données désagrégées par partenaire de développement et par pays comme annexes en ligne. Celles-ci sont présentées sur le site Web: www.ihpresults.net/how/data-and-analysis/. Ces annexes des partenaires de développement présentent les données calculées pour chacun des indicateurs et sont présentées par partenaire de développement (pour montrer comment la performance des partenaires de développement se compare selon les différents pays qu’ils soutiennent), par pays (pour montrer les évaluations de tous les partenaires de développement offrant un soutien à chaque pays) et par indicateur (pour montrer comment la performance des partenaires de développement se compare selon les différents indicateurs), avec des graphiques pour les indicateurs quantitatifs. Certaines préoccupations ont été soulevées au sujet des comparaisons qui peuvent être faites en utilisant ces tableaux, puisque la performance des partenaires de développement varie d’un pays à l’autre selon le contexte des pays concernés. Il est également possible que les partenaires de développement dans chacun de ces différents contextes aient interprété certains termes techniques et définitions de manière différente. Ces variations auront une incidence sur la comparabilité des résultats par pays.

Celles-ci peuvent être consultées dans les graphiques présentés dans le rapport annuel 2012 sur la performance et en ligne au www.ihpresults.net/data-and-anlaysis/. Une valeur présente des données comparables, p. ex. où un point de données existait pour l’année de référence et 2009 (les signataires qui ont participé au suivi 2010); et une valeur présente toutes les données, p. ex. les signataires qui n’ont pas participé au suivi 2010. 13 Lorsqu’un objectif cible est atteint, une coche est indiquée, quelle que soit la tendance ou l’existence de données de l’année de référence. Cependant, lorsqu’un objectif cible n’est pas atteint, l’évaluation est essentiellement fondée sur la comparaison entre les données de l’année de référence et les données de la dernière année. Voir les tableaux ci-dessous pour en savoir plus sur la manière dont chaque mesure de la performance standard est calculée. 14 Pour plus de renseignements, voir les documents d’orientation détaillés (www.ihpresults.net/how/methodology/). Davantage de renseignements sur 5PDb (gestion des finances publiques) sont présentés ci-dessous. 12

Formule permettant de regrouper les données présentées dans les évaluations des scorecards des partenaires (la même que l’approche utilisée pour calculer la valeur de l’indicateur (moyenne pondérée) dans l’enquête 2008 de la Déclaration de Paris) Numérateur agrégé ÷ dénominateur agrégé = Résultat Exemple: Numérateur (pays1) + Numérateur (pays 2) + Numérateur (pays 3) --------------------------------------------------------------------------------------------------------- = Résultat Dénominateur (pays1) + Dénominateur (pays 2) + Dénominateur (pays 3)

L’enquête 2008 de la Déclaration de Paris a fait appel à une approche alternative d’agrégation (moyenne non pondérée). Cela calcule le résultat (numérateur/dénominateur) pour chaque pays pour additionner ces résultats et ensuite diviser le total par le nombre de pays pour arriver à une moyenne non pondérée. Nous n’avons pas eu le temps de mener une analyse alternative à l’aide de l’agrégation non pondérée. Données qualitatives Les données qualitatives sont analysées et présentées de deux manières: 1. par le biais des scorecards des partenaires; 2. par le biais d’annexes désagrégées en ligne. Il est important de noter que nous disposons d’une quantité limitée de données qualitatives pour analyser ces indicateurs de manière complète. Les questions comprises dans l’outil d’enquête de ces mesures étaient axées, par exemple, sur l’existence d’un plan ou l’utilisation d’un cadre d’évaluation national de la performance et elles ont été interprétées comme données quantitatives. Des questions supplémentaires ont été posées au sujet de la qualité ou des obstacles à utiliser, etc. (voir l’outil d’enquête présenté en exemple sur le site Web: www.ihpresults.net.) Cependant, les réponses aux questions supplémentaires n’étaient pas obligatoires et par conséquent, la qualité et l’exhaustivité des données limitent notre capacité de proposer une évaluation qualitative des mesures quantitatives et qualitatives. Cela est particulièrement pertinent pour la compréhension cohérente de la qualité des accords, des plans nationaux, des cadres de la performance et des processus de responsabilité mutuelle. Un certain nombre de parties prenantes ont souligné l’importance des données qualitatives afin de mieux comprendre les mesures de la performance standard et, en particulier, de mettre en contexte comment ces résultats sont interprétés dans les scorecards des partenaires de développement et des pays. Ces scorecards ont été créés pour fournir une présentation claire et facilement accessible des renseignements complexes principalement destinés à des hauts fonctionnaires politiques de haut niveau. Pour cette raison, leur utilité peut être limitée pour ceux qui sont intéressés à ce qui se passe à l’échelle des pays, de façon individuelle. Les scorecards devraient être interprétés avec soin et devraient tenir compte des limites présentées ci-dessous. Cependant, nous avons aussi pris des mesures pour répondre à ces préoccupations en offrant un espace à l’endos des scorecards des partenaires, où les partenaires de développement peuvent qualifier les résultats rapportés dans les évaluations des scorecards, et en fournissant des données désagrégées en ligne pour chaque partenaire de développement et chaque pays 15.

Renseignements accessibles sur le site: www.ihpresults.net

Hypothèses et limites possibles Le cadre de production de rapports requiert de faire un certain nombre d’hypothèses en ce qui concerne la manière dont les mesures de la performance standard sont rapportées et interprétées. Un certain nombre d’objectifs cibles relatifs à la performance sont présentés comme objectifs cibles absolus précis (atteindre 66% de quelque chose), alors que les autres requièrent une démonstration des progrès au fil du temps à partir des données de l’année de référence (atteindre une réduction entre 66% et au moins 85% de quelque chose). Les énoncés relatifs aux objectifs-cibles doivent donc être lus avec attention pour comprendre comment la performance est présentée et évaluée. Biais et limites principaux • Autosélection et taille de l’échantillon L’échantillon des signataires de l’IHP+ qui se sont portés volontaires pour participer au suivi 2010 est limité et il s’agit de partenaires de développement clés qui ne sont pas des signataires de l’IHP+. Cela signifie que seul un portrait partiel des progrès accomplis par les partenaires de développement dans chaque pays peut être présenté. • La cohérence de l’interprétation est susceptible de varier en raison de la complexité de la terminologie. Dans certains cas, les termes clés sont susceptibles d’avoir été être interprétés différemment par différents participants de l’enquête, notamment en raison de la langue (par exemple, comprendre la nature des processus de responsabilité mutuelle et des cadres d’évaluation de la performance, qui peuvent être perçus assez différemment selon les différents acteurs). Certaines preuves anecdotiques indiquaient que quelques participants démontraient une plus grande compréhension de la terminologie et des concepts à la suite de leur participation antérieure au processus de suivi en 2010. Ainsi, il est probable que la qualité des réponses offertes était plus élevée. IHP+Results a fourni des documents d’orientation détaillés aux répondants 16, mais nous ne savons pas dans quelle mesure ces documents ont été appliqués de manière cohérente, utilisés ou suffisamment clairs. Différentes interprétations auraient pu être présentées en raison des traductions, des différentes compréhensions des concepts, des personnes qui remplissaient les formulaires et qui déterminaient quels critères étaient utilisés par les répondants pour se faire une opinion sur leurs niveaux de contribution ou de progrès. • L’utilisation des consultants des pays pour soutenir les gouvernements du Burkina Faso et du Mozambique pour compléter l’outil d’enquête peut avoir amené des biais d’interprétation supplémentaires ou des différences entre les manières dont les données ont été rapportées dans ces pays comparativement à d’autres où cette assistance technique n’a pas été utilisée. • Interpréter la mesure 4PD relative au pourcentage de décaissements faits dans le secteur de la santé selon les échéanciers convenus dans les cadres annuels ou pluriannuels. La mesure 4PD peut être interprétée de deux manières. La première manière est la proportion de financement prévu qui a réellement été décaissée au cours d’une année donnée par partenaire de développement. La deuxième manière est la proportion de décaissement réel au cours d’une année, qui a été prévue pour cette année. Les deux manières nous indiquent quelque chose de valide, quoiqu’un peu différent, sur la prévisibilité de l’aide en santé que reçoit le gouvernement. En 2010, l’enquête d’IHP+Results était involontairement ambiguë à ce sujet et a offert une analyse sur la seconde interprétation de même que fourni un énoncé indicateur provisoire pour refléter cela. Nous croyons toutefois que le groupe de travail avait la première interprétation en tête et par conséquent, nous avons fait des calculs et produit des rapports à cet effet en 2012. Par conséquent, puisque les données relatives à 4PD ne peuvent pas être comparées entre les données de la dernière année et les données de l’année de référence ou les données de 2009, seules les données relatives à la dernière année sont présentées ici.

Renseignements accessibles sur le site: www.ihpresults.net/how/methodology/

• L’utilisation de données sur la force des systèmes nationaux à des fins de gestion des finances publiques pour 5PDb. L’objectif cible de la Déclaration de Paris sur la gestion des finances publiques (GFP) (notre mesure de la performance standard 5PDb) inclut un objectif cible à deux volets: Réduction de 66% de l’aide ne faisant pas appel aux systèmes de GFP dans les pays ayant un résultat CPIA/GFP 17 de 5+ et une réduction de 33% dans les pays ayant un résultat de 3,5 ou plus. Aucun des 19 pays interrogés n’a un résultat CPIA/GFP de 5+ et 10 pays 18 ont obtenu un résultat de 3,5 ou plus. IHP+Results a par conséquent utilisé 33% comme objectif cible pour les évaluations. Les documents d’orientation d’IHP+Results indiquaient également que les organismes devraient seulement fournir des données pour les pays ayant un résultat de 3,5 ou plus 19. Alors que les partenaires de développement ont fourni un nombre important de données à ces pays ayant un résultat CPIA/GFP de moins de 3,5, nous avons décidé de ne pas compter ces données puisqu’il n’est pas possible de savoir dans quelle mesure des données étaient manquantes à la suite de la rédaction de nos documents d’orientation. Les évaluations désagrégées pour tous les organismes travaillant dans ces pays portaient plutôt la mention S/O ( ) 20; et la production de rapports d’IHP+Results sur 5PDb est fondée sur les 10 pays disposant de systèmes robustes de gestion des finances publiques. Cela signifie que les conclusions générales, les évaluations et les graphiques mettent davantage l’accent sur une bonne performance. o Une approche similaire à celle qui est utilisée pour l’analyse de l’utilisation des systèmes de GFP par les partenaires de développement a été utilisée pour l’utilisation des systèmes de systèmes d’approvisionnement nationaux par les PD. Selon les données de l’OCDE, seuls cinq pays détenaient une certaine forme d’évaluation de la force de leur système d’approvisionnement national (à l’aide de la méthodologie convenue de l’OCDE) 21. Les données relatives aux partenaires de développement ont seulement été comptées dans ces cinq pays. Cela signifie que nos conclusions sont susceptibles de sous-estimer l’utilisation de ces systèmes par les partenaires de développement. Cela est accentué par les difficultés à compter les données relatives à l’appui budgétaire des partenaires de développement, cas dans lequel nous savons que les fonds relatifs à l’approvisionnement font appel au système national, mais pas au volume de ces fonds. De plus, il existe des problèmes de définition relatifs à ce qui constitue l’utilisation de systèmes nationaux; ce qui signifie qu’il faut prêter une grande attention à cet indicateur avant de davantage l’utiliser dans un suivi futur (voir encadré 1 à la page 24 du rapport annuel 2012 d’IHP+Results sur la performance). Il est important de noter que l’approche décrite ici est différente de celle qui a été utilisée dans le suivi 2010 (car plus de pays disposaient d’une évaluation de l’approvisionnement (seulement un des pays participant au suivi 2010 avait mené une telle évaluation, ce qui a rendu l’approche utilisée en 2012 impossible)). • Données limitées sur un certain nombre d’indicateurs de quelques partenaires de développement (qui pourraient être biaisées en faveur de l’évaluation générale de certains partenaires de développement et pour des indicateurs précis). Le grand nombre de réponses S/O pour 5PDa et 5PDb est lié aux évaluations de la force des systèmes de gestion des finances publiques et d’approvisionnement nationaux (décrit dans l’énoncé ci-dessus): lorsqu’aucune information sur la force d’un système national n’était disponible, tous les PD qui produisaient des rapports dans le pays en question recevaient l’évaluation S/O (même s’ils fournissaient des données).

Mesure de la performance standard 5Ga Voir p. 14 du rapport annuel 2012 d’IHP+Results sur la performance. Nous avons inclus cela pour simplifier et réduire les coûts de transaction des PD. 20 Pour plus de renseignements, voir les évaluations désagrégées de 5PDb sur le site: www.ihpresults.net/data-and-analysis/ 21 Niger, Rwanda, Sénégal, Sierra Leone et Ouganda. 17 18 19

S/O

Résponse

Total

1DP

175

2DPa

175

2DPb

175

2DPc

134

175

3DP

116

175

4DP

125

175

5DPa

137

175

5DPb

175

5DPc

146

175

6DP

112

175

7DP

175

8DP

147

175

• Nous ne pouvons pas exclure la possibilité qu’il y ait une certaine réticence à rapporter des données qui indiquent une performance faible, mais de nombreux PD ont déjà délibérément rapporté ces données malgré tout. • Triangulation L’exercice a largement été autodéclaré et il est difficile de trouver des occasions de trianguler les données sans imposer des coûts de transaction importants aux représentants du ministère de la Santé. Cela signifie que nous n’avons pas été en mesure de vérifier, par exemple, si les partenaires de développement participent à un processus de responsabilité mutuelle dans un pays, et s’il s’agit du même processus de responsabilité mutuelle dont le gouvernement a indiqué l’existence. Cependant, les données rapportées dans l’enquête 2010 d’IHP+ ont une grande valeur car elles présentent un énoncé de ce que les gouvernements et les PD estiment qu’ils ont fait, et les résultats de l’enquête sont un outil précieux et un point de départ aux discussions sur la responsabilité mutuelle. • Risque de double comptage: selon les documents d’orientation 22 d’IHP+Results, les fonds devraient clairement être communiqués par l’organisme qui fait le dernier décaissement. Nous sommes confiants que cela a été suivi globalement, mais la possibilité de double comptage ne peut pas être écartée. Par exemple, le partenaire de développement X offre 200 000 $ au partenaire de développement Y pour développer les capacités dans le pays Z. Il est possible que dans certains cas, le partenaire X et le partenaire Y aient rapporté ce financement.

Accessibles sur le site: www.ihpresults.net/how/methodology/ : voir définition de décaissement.

• Données de l’année de référence: les partenaires de développement et les pays pourraient choisir les données de l’année de référence en respectant le principe «souple» de l’IHP+ et proposer d’être 2007 ou 2005. Ce tableau présente un résumé des données de l’année de référence choisie pour les indicateurs clés nécessitant une mesure du changement au fil du temps (2PDa, 2PDb, 2PDc, 5PDa et 5PDb). Nous avons choisi de ne pas désigner une année de référence précise en raison de la division approximativement égale entre les partenaires de développement utilisant 2005 ou 2007 dans leurs rapports. Certains répondants ont aussi rapporté des points de données de l’année de référence 2006 et 2008. Dans les calculs agrégés de la performance de tous les partenaires de développement, nous avons regroupé les données 2005-2007 comme données de l’année de référence et ajouté les données 2008-2009 comme à mi-chemin et 2010-2011 comme les plus récentes. Nous utilisons le terme «données de l’année de référence» dans tout le document. La principale implication de cela est que les lecteurs ne peuvent pas tirer une conclusion selon laquelle X a été atteint dans Y années. Une personne peut toutefois tirer une conclusion selon laquelle X a été atteint par 2011 au cours des dernières années. Nous n’avons pas été en mesure de calculer dans quelle mesure ces indicateurs ont été atteints ou non atteints car nous ne disposons pas d’une date cible pour l’atteinte de ceux-ci. Ainsi, le manque de données précises sur l’année de référence ne pose pas de problème à cet égard. • Imputer des valeurs du soutien budgétaire général: saisir des renseignements sur celles-ci et les incorporer dans l’enquête présente un certain nombre de défis si l’enquête doit rester «souple». Nous avons calculé la proportion du soutien budgétaire général pour la santé selon le % du budget national alloué à la santé. Nous assumons que cela est indiqué dans le budget, soit 100% par le biais de systèmes de gestion financière et 100% dans le cadre d’approches axées sur les programmes. Nous n’avons pas inclus cela dans les calculs relatifs au développement des capacités ou dans l’approvisionnement des pays. Il est important de noter que cela peut mener à une diminution de l’aide offerte dans le secteur de la santé, qui s’explique par des facteurs hors du contrôle des partenaires de développement décideurs (la diminution du soutien budgétaire général ayant été imputé à la santé ne s’explique pas par les décisions des partenaires de développement). Il est également important de noter que les données fournies par les gouvernements sur leur allocation du budget national à la santé n’étaient pas les mêmes (voir ci-dessus), ce qui a une incidence sur la comparabilité des conclusions. • Développement des capacités – les répondants francophones peuvent, dans certains cas, en raison des différences de signification de la terminologie traduite, avoir compris que le «développement des capacités» incluait l’ensemble de l’aide au développement, et cela peut avoir involontairement exagéré leurs réponses. Notre analyse initiale de cela suggère qu’il n’y a pas eu de déformation importante, mais des mesures devraient être prises pour le suivi 2011 afin de limiter cette possibilité.

Réflexions et enjeux liés à l‘amélioration de l’enquête 2011 • Faiblesse d’indicateurs précis Voici d’autres mesures de la performance qui bénéficieraient d’un examen plus approfondi: 2PDb: où de nombreux partenaires rapportent 0 ou 100% pour cet indicateur, suggérant que les calculs et les hypothèses à l’origine de cela sont trop approximatives pour pouvoir les mesurer précisément. 1PD/1G: la définition d´«entente équivalente» et de «soutien documenté pour un accord» doit être précisée et mieux communiquée. 6PD/6G: nécessité de promouvoir une meilleure compréhension selon laquelle les cadres d’évaluation de la performance uniques devraient être utilisés pour évaluer les programmes des partenaires de développement. 7PD/7G: une compréhension plus claire des évaluations mutuelles. La valeur de la cueillette de renseignements sur des indicateurs de santé précis devrait également être reconsidérée là où des données WHS ou d’autres données existent déjà. • Critères d’évaluation plus stricts: en général, il est important que tout suivi futur indique clairement si les évaluations sont fondées sur des données absolues ou tendancielles. Dans la majorité des cas, pour les mesures de la performance standard quantitatives, un objectif cible absolu a été établi (soit par le groupe de travail ou à l’aide du cadre de la Déclaration de Paris comme précédant). Les critères d’évaluation incluent toutefois une mesure des progrès, qui requiert les données de l’année de référence, qui n’ont pas toujours été accessibles, rendant l’évaluation impossible dans certains cas. Nous devons décider si nous évaluons les progrès au fil du temps OU selon la performance à un moment précis. • Risque de mesurer des priorités mal placées: comme c’est le cas avec l’enquête de Paris de l’OCDE-CAD, une préoccupation a été soulevée relativement aux mesures de la performance standard convenues par le SuRG pour suivre les progrès de l’IHP+ afin qu’elles «assument l’importance à part entière, devenant une barrière aux réflexions rigoureuses et aux pratiques innovatrices qui visent à atteindre l’objectif plus global d’efficacité de l’aide» 23 Vérification des données: les responsables du suivi futur devraient chercher des renseignements supplémentaires de la part des répondants afin de permettre la vérification des réponses autodéclarées qui ont été fournies. • Quand et où les partenaires de développement devraient rapporter des données. Même si le groupe de travail IHP+ sur la responsabilité mutuelle a convenu d’une définition plus précise lorsque les organismes sont «actifs» dans un pays et s’il devrait inclure les pays en question dans leur rapports, il est devenu clair, au cours du processus de suivi 2012 que cette définition doit faire l’objet d’une analyse plus poussée. La définition utilisée dans le suivi 2012 était fondée sur le fait qu’un partenaire de développement avait fourni ou non de l’aide publique au développement (APD) pour la santé. Même si cela est cohérent d’un point de vue global, il est devenu clair que certains partenaires de développement devraient produire des rapports pour les pays dans lesquels ils n’avaient pas l’intention ou la capacité de prendre part à la coordination dans le secteur de la santé, principalement car ils offraient de l’aide en santé à des ONG ou par le biais de l’appui budgétaire général. Dans ces cas, il n’y avait pas de chance de répondre de manière positive à certains indicateurs qui, à leur tour, pouvaient biaiser les évaluations agrégées pour tout partenaire de développement touché auquel cela s’appliquait. • Évaluation Les données rapportées soulèvent de nombreuses questions intéressantes au sujet des raisons pour lesquelles des progrès ont été accomplis ou non. Cependant, le cadre de production de rapports 2012 qui a été convenu n’a pas offert d’occasions d’évaluer systématiquement les conclusions par rapport aux critères d’évaluation de l’OCDE-CAD. Les questions d’évaluation essentielles seront de demander si les résultats présentés dans cette enquête ont réellement été obtenus et de demander «pourquoi?» pour tenter de comprendre les facteurs ou les actions susceptibles d’avoir contribué aux changements ou au manque de changements.

p. 27 – Enquête 2008 sur le suivi de la déclaration de paris: rendre l’aide plus efficace d’ici 2010.

MESURES DE LA PERFORMANCE STANDARD (MPS) D’IHP+ RESULTS Gouvernements membres du Partenariat IHP+

Partenaires de développement membres du Partenariat IHP+

Mesures standard de performance

Objectif

Mesures standard de performance

1G: Pacte IHP+ ou accord mutuel équivalent en place

Un pacte IHP+ ou accord mutuel équivalent est en place

1DP: Proportion des pays IHP+ où le partenaire a signé un engagement relatif au Pacte national IHP+ ou un accord similaire, ou a documenté son soutien à celui-ci

100% des pays IHP+ où le signataire opère ont un soutient ou un engagement pour le pacte IHP+ (ou équivalent), selon un accord mutuel et documenté

2Ga: Plans et stratégies nationaux du secteur de la santé en place, dont les objectifs et les budgets sont actuels et ont évalués conjointement

Un plan / une stratégie du secteur national de la santé est en place dont les objectifs et les budgets sont actuels et ont évalués conjointement.

2DPa: Pourcentage des apports d’aide au secteur de la santé qui est comptabilisé dans les budgets nationaux du secteur de la santé

Réduction de moitié la proportion des apports d’aide au secteur de la santé qui n’est pas comptabilisé dans les budgets du gouvernement (au moins 85% des apports d’aide étant comptabilisés dans les budgets)

2Gb: Plans de ressources humaines de la santé chiffré et basé sur des données probantes en place et intégrés dans le plan de santé national

Un plan national de ressources humaines de la santé chiffré et exhaustif (intégré dans le plan de santé national) est mis en œuvre ou en cours de développement

2DPb: Pourcentage de l’aide actuel à des fins de renforcement des capacités fourni à par le biais de programmes coordonnés compatibles avec les plans/ stratégies nationaux du secteur de la santé

50% des apports de coopération technique dans chaque pays IHP+ où le signataire opère sont mis en œuvre dans le cadre de programmes coordonées conformes aux plans/stratégies nationaux du secteur de la santé.

2DPc: Pourcentage des apports d’aide au secteur de la santé alloué fournie par le biais d’approches fondées sur des programmes

66% des apports d’aide au secteur de la santé sont fourni dans le cadre d’approches fondées sur des programmes.

Objectif

3G: Proportion du financement public alloué à la santé.

15% du budget national (ou un objectif équivalent publié) est alloué à la santé

3DP: Pourcentage de l’aide au secteur de la santé alloué dans le cadre d’engagements pluriannuels

90% (ou une cible équivalente publiée) du financement du secteur de la santé est allouée dans le cadre d’engagements pluriannuels d’au minimum 3 ans.

4G: Proportion du financement du secteur de la santé déboursés selon le budget annuel approuvé

Réduire de moitié la proportion du financement du secteur de la santé qui n’est pas déboursé selon le budget annuel approuvé.

4DP: Pourcentage des dépenses de l’aide au secteur de la santé qui se conforment aux échéances convenues dans des cadres annuels ou pluriannuels.

Réduction de moitié l’aide au secteur de la santé qui n’est pas déboursée au cours de l’année fiscale pour laquelle cette aide était prévue (avec au moins 71% de cette aide dépensée selon le calendrier convenu)

5Ga: Les systèmes nationaux de passation des marchés et de gestion des finances publiques pour le secteur de la santé (a) adhèrent d’ores et déjà aux bonnes pratiques généralement acceptées soit (b) ont mis en place un programme de réformes dans le but d’atteindre cet objectif.

Progrès d’au moins un degré (0.5 point) sur l’échelle de performance des systèmes de gestion des finances publiques de l’EPIN.

5DPb: Pourcentage de l’aide au secteur de la santé utilisant les systèmes de gestion des finances publiques

Réduction d’un tiers du pourcentage des apports au du secteur de la santé du secteur public qui ne fait pas appel aux systèmes de gestion des finances publiques des pays partenaires (avec au moins 80% de cette aide qui utilise les systèmes nationaux de gestion des finances publiques)

Lien avec l’objectif de Paris

PD3

PD4

PD9

PD7

PD5a

L’aide est alignée sur les priorités nationales

Renforcer les capacités par un appui coordonné

Utiliser des modalités ou procédures communes

L’aide est plus prévisible

Utiliser les systèmes nationaux de gestion des finances publiques

Gouvernements membres du Partenariat IHP+

Partenaires de développement membres du Partenariat IHP+

Mesures standard de performance

5Gb: Les systèmes nationaux de passation des marchés et de gestion des finances publiques pour le secteur de la santé (a) adhèrent d’ores et déjà aux bonnes pratiques généralement acceptées soit (b) ont mis en place un programme de réformes dans le but d’atteindre cet objectif.

Objectif Progrès d’au moins un degré sur l’échelle de quatre points utilisée pour évaluer les performances pour ce secteur.

Objectif

5DPa: Pourcentage des apports d’aide au secteur de la santé utilisant les systèmes nationaux de passation des marchés.

Réduction d’un tiers du pourcentage des apports au secteur de la santé pour la passation des marchés au secteur public qui ne fait pas appel aux systèmes de passation des marchés des pays partenaires (avec au moins 80% de cette aide utilisant les systèmes nationaux de passation des marchés).

5DPc: Nombre d’Unités de mise en œuvre de projets par pays.

Réduction des deux tiers le nombre d’unités de mise en œuvre de projets parallèles.

6G: Un cadre d’évaluation des performances conjointement décidé, transparent et contrôlable est utilisé pour évaluer les progrès dans le secteur de la santé

Un cadre d’évaluation transparent et contrôlable est en place afin d’évaluer les progrès dans le secteur de la santé

6DP: Proportion des pays où des cadres d’évaluation communément décidés, transparents et contrôlables sont utilisés pour évaluer les progrès dans le secteur de la santé.

Les cadres uniques nationaux d’évaluation des performances, là où ils existent, sont la base principale d’évaluation des progrès dans tous les pays où le signataire opère.

7G: Des évaluations mutuelles des progrès accomplis, telles que les revues annuelles conjointes du secteur de la santé, concernant la mise en œuvre des engagements dans le secteur de la santé, y compris en ce qui concerne l’efficacité de l’aide.*

Des évaluations mutuelles des progrès accomplis, telles que les revues annuelles conjointes du secteur de la santé, ont été conduites, concernant la mise en œuvre des engagements dans le secteur de la santé, y compris en ce qui concerne l’efficacité de l’aide.

7DP: Proportion des pays où des évaluations mutuelles des progrès de la mise en œuvre des engagements ont été faites au sein du secteur de la santé, y compris en ce qui concerne l’efficacité de l’aide.

Evaluations mutuelles annuelles des progrès de la mise en œuvre des accords (comme le pacte des pays IHP+ sur l’efficacité de l’aide dans le secteur de la santé) et des engagements du secteur de la santé dans tous les pays où le signataire intervient.

8G: Preuves que la société civile est engagée de manière significative dans les processus de politique du secteur de la santé, y compris la planification, la coordination et les mécanismes d’examen du secteur de la santé

Des membres de la Société civile sont représentés à tous les moments clés du processus d’établissement des politiques et de planification (Revues conjointes annuelles, réunions de coordination mensuelles/trimestrielles, groupes de travail techniques, budgets et processus d’allocation des ressources)

8DP: Preuves de soutien pour que la société civile soit engagée de manière significative dans les processus de politique du secteur de la santé, y compris la planification, la coordination et les mécanismes d’examen du secteur de la santé.

Tous les signataires peuvent fournir des preuves de soutien à un engagement significatif de la société civile.

*Pour examiner les progrès accomplis, il est préférable d’utiliser des indicateurs basés sur cette série de mesures standard de performance.

Lien avec l’objectif de Paris

PD5b

Utiliser les systèmes nationaux de gestion des achats

PD11

Cadres axés sur les résultats

PD12

Redevabilité mutuelle

COMMENT LES ÉVALUATIONS DES GOUVERNEMENTS SONT-ELLES CALCULÉES? Indicateurs

Outil d’enquête

No. indic

No. Q

Objectif cible

Questions

Critères d’évaluation Comment la performance de l’indicateur est calculée

Coche

Flèche

Exclamation

Point d’interrogation

Objectif cible atteint

Progrès accompli en ce qui concerne l’atteinte de l’objectif cible

Aucun progrès accompli en ce qui concerne l’atteinte de l’objectif cible ou régression

Aucune donnée n’est disponible (cellule vide dans l’outil d’enquête de MS Excel)

Objectif cible atteint: La Q2 et la Q3 incluent toutes deux des réponses positives

Progrès accompli en ce qui concerne l’atteinte de l’objectif cible: La Q2 ou la Q3 inclut des réponses positives ou la Q2 et la Q3 incluent des réponses en cours d’élaboration

La Q2 et la Q3 incluent toutes deux des réponses négatives

Aucune donnée n’est disponible (cellule vide dans l’outil d’enquête de MS Excel)

Objectif cible atteint

Progrès accompli en ce qui concerne l’atteinte de l’objectif cible

Aucun progrès accompli en ce qui concerne l’atteinte de l’objectif cible ou régression

Aucune donnée n’est disponible (cellule vide dans l’outil d’enquête de MS Excel)

Objectif cible atteint

Progrès accompli en ce qui concerne l’atteinte de l’objectif cible

Aucun progrès accompli en ce qui concerne l’atteinte de l’objectif cible ou régression

Aucune donnée n’est disponible (cellule vide dans l’outil d’enquête de MS Excel)

Objectif cible atteint

Progrès accompli en ce qui concerne l’atteinte de l’objectif cible

Aucun progrès accompli en ce qui concerne l’atteinte de l’objectif cible ou régression

Aucune donnée n’est disponible (cellule vide dans l’outil d’enquête de MS Excel)

Exceptions

Endos du scorecard des pays

2Ga1

2Ga

2Gb

Un accord IHP+ ou une entente mutuelle équivalente est en place.

Un plan et une stratégie nationaux sectoriels de santé ont été mis en place à l’aide des objectifs cibles et des budgets actuels qui ont été évalués conjointement.

Un plan national complet relatif aux HRH chiffré (intégré au plan de santé) est mis en œuvre ou élaboré.

Un accord national IHP+ (ou une entente mutuelle équivalente) était-il en place?

La stratégie nationale du secteur de la santé (ou son équivalent) incluait-elle les objectifs cibles et budgets actuels?

La stratégie nationale du secteur de la santé a-t-elle été évaluée conjointement?

Un plan chiffré complet et fondé sur des preuves relatif aux HRH (qui était intégré au plan de santé national) était-il mis en œuvre ou élaboré?

Quelle était la valeur de la contribution publique (domestique) totale au budget national (n’incluant pas le financement externe)?

15% (ou un objectif cible équivalent qui a été publié) du budget national est alloué à la santé.

Moitié de la proportion du financement alloué au secteur de la santé qui n’a pas été décaissée en fonction du budget annuel ayant été autorisé.

Quelle était la valeur totale du financement public (domestique) alloué à la santé (n’incluant pas le financement externe)?

Quelle était la valeur totale (incluant le financement externe/des bailleurs de fonds) du budget annuel ayant été approuvé pour le secteur de la santé?

Quelle était la valeur totale du financement décaissé en fonction du budget annuel approuvé pour le secteur de la santé?

Égale la Q1

Reflète à la fois la Q2 et la Q3

Égale la Q4

Égale la Q6 divisé par la Q5

Égale la Q8 divisé par la Q7

Le Népal a utilisé un objectif-cible national de 10%

Indicateurs

Outil d’enquête

No. indic

No. Q

Objectif cible

Questions

Critères d’évaluation Comment la performance de l’indicateur est calculée

Coche

Flèche

Exclamation

Point d’interrogation

Exceptions

Endos du scorecard des pays

5Ga

Augmentation d’au moins une mesure (0,5 point) sur l’échelle de performance PFM/ CPIA.

5Gb

Augmentation d’au moins une mesure sur l’échelle d’évaluation à quatre points qui est utilisée pour évaluer la performance de ce secteur.

Un cadre d’évaluation de la performance transparent et contrôlable a été mis en place pour évaluer les progrès accomplis dans le secteur de la santé.

Des évaluations mutuelles telles que les examens sectoriels annuels conjoints en matière de santé sont faites sur les progrès accomplis en ce qui concerne la mise en œuvre d’engagements dans le secteur de la santé, notamment en matière d’efficacité de l’aide.

Les organisations de la société civile (OSC) sont représentées à tous les points clés du processus d’élaboration de politiques et de planification (examens annuels conjoints, réunions de coordination mensuelles et trimestrielles, groupes de travail techniques, processus d’allocation de budget et de ressources)

Veuillez fournir les résultats en fonction de l’échelle de performance PFM/ CPIA.

Veuillez fournir les résultats de l’échelle d’évaluation à quatre points qui est utilisée pour évaluer la performance dans le secteur de l’approvisionnement pour 2007 et 2009.

Un cadre d’évaluation de la performance transparent et contrôlable a-t-il été mis en place pour évaluer les progrès accomplis dans le secteur de la santé?

Avez-vous mené une ou des évaluation(s) mutuelle(s) des progrès accomplis en ce qui concerne la mise en œuvre d’engagements dans le secteur de la santé, notamment en matière d’efficacité de l’aide?

Égale la Q10

Égale la Q11

Égale la Q12

Progrès accompli en ce qui concerne l’atteinte de l’objectif cible

Aucun progrès accompli en ce qui concerne l’atteinte de l’objectif cible ou régression

Aucune donnée n’est disponible (cellule vide dans l’outil d’enquête de MS Excel)

Objectif cible atteint

Progrès accompli en ce qui concerne l’atteinte de l’objectif cible

Aucun progrès accompli en ce qui concerne l’atteinte de l’objectif cible ou régression

Aucune donnée n’est disponible (cellule vide dans l’outil d’enquête de MS Excel)

Objectif cible atteint

Progrès accompli en ce qui concerne l’atteinte de l’objectif cible

Aucun progrès accompli en ce qui concerne l’atteinte de l’objectif cible ou régression

Aucune donnée n’est disponible (cellule vide dans l’outil d’enquête de MS Excel)

Objectif cible atteint

Progrès accompli en ce qui concerne l’atteinte de l’objectif cible

Aucun progrès accompli en ce qui concerne l’atteinte de l’objectif cible ou régression

Aucune donnée n’est disponible (cellule vide dans l’outil d’enquête de MS Excel)

Objectif cible atteint

Progrès accompli en ce qui concerne l’atteinte de l’objectif cible

Aucun progrès accompli en ce qui concerne l’atteinte de l’objectif cible ou régression

Aucune donnée n’est disponible (cellule vide dans l’outil d’enquête de MS Excel)

À quels moments du processus d’élaboration de politiques et de planification les OSC sont-elles impliquées de façon systématique? (veuillez saisir Oui (O) dans toutes les catégories applicables). 15

Examens annuels conjoints Réunions de coordination mensuelles et trimestrielles Groupes de travail thématiques Élaboration du budget/allocation de ressources

Égale la Q9

Objectif cible atteint (REMARQUE: Cette évaluation est aussi appliquée lorsqu’un résultat de 3,5 a été atteint, quelle que soit la tendance)

Égale la Q15

Une évaluation présentant un «objectifcible atteint» est aussi appliquée lorsqu’un résultat de 3,5 a été atteint, quelle que soit la tendance)

Indicateurs No. indic

Outil d’enquête Objectif cible

No. Q

Questions

Critères d’évaluation Comment la performance de l’indicateur est calculée

Coche

Flèche

Exclamation

Objectif cible atteint

Progrès accompli en ce qui concerne l’atteinte de l’objectif cible

Aucun progrès accompli en ce qui concerne l’atteinte de l’objectif cible ou régression

Objectif cible atteint

Progrès accompli en ce qui concerne l’atteinte de l’objectif cible

Aucun progrès accompli en ce qui concerne l’atteinte de l’objectif cible ou régression

Objectif cible atteint

Progrès accompli en ce qui concerne l’atteinte de l’objectif cible

Aucun progrès accompli en ce qui concerne l’atteinte de l’objectif cible ou régression

Objectif cible atteint

Progrès accompli en ce qui concerne l’atteinte de l’objectif cible

Aucun progrès accompli en ce qui concerne l’atteinte de l’objectif cible ou régression

Objectif cible atteint

Progrès accompli en ce qui concerne l’atteinte de l’objectif cible

Aucun progrès accompli en ce qui concerne l’atteinte de l’objectif cible ou régression

Point d’interrogation

Exceptions

Recto du scorecard des pays

Engagements documentés

Un accord national IHP+ (ou une entente équivalente) était-il en place?

La stratégie nationale sectorielle de santé (ou son équivalent) incluaitelle les objectifs cibles et budgets actuels?

La stratégie nationale sectorielle de santé a-t-elle été évaluée conjointement?

Q12

Q16

Quel était le nombre total de missions menées par les partenaires de développement et les bailleurs de fonds?

Q13

Quelle proportion de sièges était allouée aux représentants de la société civile relativement au mécanisme de coordination du secteur de la santé?

Quelle était la valeur totale du financement public (domestique) alloué à la santé (n’incluant pas le financement externe)?

Quelle était la valeur totale (incluant le financement externe/ des bailleurs de fonds) du budget annuel ayant été approuvé pour le secteur de la santé?

Quelle était la valeur de la contribution publique (domestique) totale au budget national (n’incluant pas le financement externe)?

Quelle était la valeur totale du financement public (domestique) alloué à la santé (n’incluant pas le financement externe)?

Q17

Combien de partenaires de développement ont utilisé un mécanisme de financement commun (s’il existe)?

Plan sectoriel de santé et stratégies sur le sida

Appropriation par le pays et responsabilité

Suivi de l’efficacité de l’aide sectorielle de santé

Financement de la santé total

Financement de la santé Budget national alloué à la santé

Financement commun

Égale la Q1

Égale la Q2

Égale la Q3

Égale la Q12

Égale la Q16

Égale la Q13

Financement domestique = Q6; Financement externe = Q7 moins Q6

Égale la Q6 divisé par la Q5

Égale la Q17

Indicateurs No. indic

Outil d’enquête Objectif cible

No. Q

Questions

Critères d’évaluation Comment la performance de l’indicateur est calculée

Coche

Flèche

Exclamation

Objectif cible atteint

Progrès accompli en ce qui concerne l’atteinte de l’objectif cible

Aucun progrès accompli en ce qui concerne l’atteinte de l’objectif cible ou régression

Recto du scorecard des pays

Veuillez fournir les résultats en fonction de l’échelle de performance GFP/ CPIA.

Égale la Q9

Q10

Veuillez fournir les résultats de l’échelle d’évaluation à quatre points qui est utilisée pour évaluer la performance dans le secteur de l’approvisionnement pour 2007 et 2009.

Égale la Q10

Assistance technique

(Outil d’enquête des partenaires de développement Q5 divisé par Q4)

Égale la somme de tous les retours des partenaires de développement pour 2PDb

Accès aux cliniques de soins de santé primaires (nombre de visites ambulatoires ministérielles par 10 000 personnes)

Q19

Veuillez saisir la population totale de votre pays.

Q20

Quel nombre total de visites ambulatoires ministérielles y a-t-il eu?

Q18

Combien d’employés médicaux qualifiés étaient en service?

Q19

Veuillez saisir la population totale de votre pays.

Q21

Quel montant total a été investi pour les ressources humaines de la santé?

Égale la Q21

Q22

L’HMIS propose-t-il des données en temps opportun, pertinentes et rigoureuses sur les résultats?

Égale la Q21

Q12

Égale la Q12

Q11

Un cadre d’évaluation de la performance transparent et contrôlable a-t-il été mis en place pour évaluer les progrès accomplis dans le secteur de la santé?assessment framework in place to assess progress in the health sector

Égale la Q11

Gestion des finances publiquesManagement

Systèmes nationaux Approvisionnement

Renforcement des systèmes de santé

Disponibilité des travailleurs de la santé (nombre d’employés médicaux qualifiés par 10,000 personnes)

Fonds pour les systèmes de santé

HMIS fonctionnel

Gestion axée sur les résultats en matière de développement

Examens conjoints menés dans le secteur de la santé

Décisions fondées sur les résultats

Cadre national des résultats convenu

Égale la Q20 divisé par la Q19 multiplié par 10,000

Égale la Q18 divisé par la Q19 multiplié par 10,000

Point d’interrogation

Exceptions

COMMENT LES ÉVALUATIONS DES GOUVERNEMENTS SONT-ELLES CALCULÉES? Indicateurs

Outil d’enquête

No. indic

Objectif cible

1DP

100% des pays IHP+ dans lesquels travaille le signataire soutiennent l’engagement à l’égard de l’accord IHP+ (ou son équivalent) se sont entendus mutuellement et ont offert de la documentation.

2DPa

Moitié de la proportion des flux d’aide allouée au secteur de la santé qui n’est pas indiquée dans les budgets nationaux (avec au moins 85% indiqués dans le budget)

2DPb

50% ou plus du soutien alloué au renforcement des capacités offert à chaque pays IHP+ dans lequel travaille le signataire sont fondés sur les plans et stratégies nationaux sectoriels de santé.

No. Q

Question

Avez-vous signé l’accord national IHP+ (ou une entente équivalente)?

Quelle valeur de l’aide offerte dans le secteur de la santé avezvous décaissé pour le secteur gouvernemental?

Quelle valeur de cela a été rapportée dans les budgets nationaux sectoriels de santé?

Quelle valeur de la coopération technique pour la santé avez-vous décaissée?

Quelle valeur de cela avezvous décaissée par le biais de programmes coordonnés conformes aux plans et stratégies nationaux dans le secteur de la santé?

Critères d’évaluation Comment la performance de l’indicateur est calculée

Égale la Q1

Q3 divisé par Q2

Q5 divisé par Q4

Coche

Flèche

Objectif cible atteint

Progrès accompli en ce qui concerne l’atteinte de l’objectif cible (REMARQUE: Au niveau désagrégé, cette évaluation n’est pas une option. Au niveau agrégé, une «flèche» est appliquée pour tout résultat agrégé <100% et >0%.)

Exclamation

Sans objet *(S/O)

Point d’interrogation

Aucun progrès accompli en ce qui concerne l’atteinte de l’objectif cible ou régression

Appliqué lorsque la performance du gouvernement ne permet pas la performance des PD; p. ex. aucun accord à signer n’existe

Aucune donnée n’est disponible (cellule vide dans l’outil d’enquête de MS Excel)

Objectif cible atteint

Progrès accompli en ce qui concerne l’atteinte de l’objectif cible

Aucun progrès accompli en ce qui concerne l’atteinte de l’objectif cible ou régression

Appliqué lorsqu’aucune donnée dénominative n’est disponible

Aucune donnée n’est disponible (cellule vide dans l’outil d’enquête de MS Excel)

Objectif cible atteint

Progrès accompli en ce qui concerne l’atteinte de l’objectif cible

Aucun progrès accompli en ce qui concerne l’atteinte de l’objectif cible ou régression

Appliqué lorsqu’aucune donnée dénominative n’est disponible

Aucune donnée n’est disponible (cellule vide dans l’outil d’enquête de MS Excel)

Exceptions

La performance des pays est considérée (indicateur 1G). Si aucun accord n’est rapporté, l’évaluation des PD est sans objet (S/O).

Indicateurs

Outil d’enquête

No. indic

No. Q

Objectif cible

2DPc

3DP

5DPa

66% des flux d’aide offerts dans le cadre d’approches axées sur les programmes.

90% (ou un objectif équivalent ayant été publié) du financement alloué au secteur de la santé offerts dans le cadre d’engagements pluriannuels (un minimum de 3 ans).

Réduction d’un tiers du pourcentage de l’aide offerte dans le secteur de la santé pour l’approvisionnement au secteur public n’utilisant pas les systèmes d’approvisionnement des pays. (avec au moins 80% utilisant les systèmes d’approvisionnement des pays)systems)

Question

Critères d’évaluation Comment la performance de l’indicateur est calculée

Flèche

Exclamation

Sans objet *(S/O)

Point d’interrogation

Objectif cible atteint

Progrès accompli en ce qui concerne l’atteinte de l’objectif cible

Aucun progrès accompli en ce qui concerne l’atteinte de l’objectif cible ou régression

Appliqué lorsqu’aucune donnée dénominative n’est disponible

Aucune donnée n’est disponible (cellule vide dans l’outil d’enquête de MS Excel)

Objectif cible atteint

Progrès accompli en ce qui concerne l’atteinte de l’objectif cible

Aucun progrès accompli en ce qui concerne l’atteinte de l’objectif cible ou régression

Appliqué lorsqu’aucune donnée dénominative n’est disponible

Aucune donnée n’est disponible (cellule vide dans l’outil d’enquête de MS Excel)

Exceptions

Quelle valeur de l’aide offerte dans le secteur de la santé avez-vous décaissée à l’échelle nationale?

Q7 divisé par Q6

Quelle valeur de l’aide offerte dans le secteur de la santé avez-vous décaissée au soutien d’initiatives adoptant des approches axées sur les programmes?

Quelle valeur de l’aide offerte dans le secteur de la santé (Q6) que vous avez décaissée a été fournir par le biais d’engagements pluriannuels (au moins trois ans)?

Quelle valeur de l’aide offerte dans le secteur de la santé pour l’approvisionnement a été décaissée?

Coche

What value of tQuelle valeur de cela a utilisé les systèmes d’approvisionnement nationaux?

Q8 divisé par Q6

Q11 divisé par Q10

Objectif cible atteint

Progrès accompli en ce qui concerne l’atteinte de l’objectif cible

Aucun progrès accompli en ce qui concerne l’atteinte de l’objectif cible ou régression

Appliqué lorsqu’aucune donnée dénominative n’est disponible

Aucune donnée n’est disponible (cellule vide dans l’outil d’enquête de MS Excel)

La performance des pays est considérée (indicateur 5Gb). Si les systèmes d’approvisionnement nationaux reçoivent une évaluation inférieure à “ « sur l’échelle d’évaluation à quatre points de l’OCDE (voir XXX pour obtenir plus de renseignements), ou si aucune donnée sur la force des systèmes d’approvisionnement nationaux n’est disponible, l’évaluation des PD est alors notée comme sans objet (S/O).

Indicateurs

Outil d’enquête

No. indic

Objectif cible

5DPb

Réduction d’un tiers du pourcentage de l’aide sectorielle en santé offerte au secteur public n’utilisant pas les systèmes de gestion des finances publiques des pays partenaires. (avec au moins 80% utilisant les systèmes de gestion des finances publiques des pays)

5DPc

6DP

Réduire le nombre d’unités de mise en œuvre de projets parallèles de deux-tiers.

Des cadres nationaux d’évaluation de la performance uniques sont utilisés, où ils existent, comme base première permettant d’évaluer les progrès réalisés dans tous les pays où travaille le bailleur de fonds.

No. Q

Question

Quelle valeur de l’aide sectorielle en santé offerte au secteur gouvernemental (Q2) a utilisé les systèmes de gestion des finances publiques?

Combien d’unités de mise en œuvre de projets parallèles avez-vous utilisé dans la fourniture d’aide sectorielle en santé pour le secteur gouvernemental?

Avez-vous utilisé un cadre d’évaluation national de la performance unique comme base première permettant d’évaluer les progrès réalisés par les programmes de votre organisation dans votre pays?

Critères d’évaluation Comment la performance de l’indicateur est calculée

Q12 divisé par la valeur de Q2

Égale la Q13

Égale la Q14

Coche

Objectif cible atteint

Flèche

Progrès accompli en ce qui concerne l’atteinte de l’objectif cible

Target achieved (NB: This rating is also applied where 0 PIUs are reported, irrespective of trend).

Progrès accompli en ce qui concerne l’atteinte de l’objectif cible

Objectif cible atteint

Progrès accompli en ce qui concerne l’atteinte de l’objectif cible (REMARQUE: au niveau désagrégé, cette évaluation n’est pas une option. Au niveau agrégé, une «flèche» est appliquée pour tout résultat agrégé <100% et >0%.)

Exclamation

Aucun progrès accompli en ce qui concerne l’atteinte de l’objectif cible ou régression

Sans objet *(S/O)

Appliqué lorsqu’aucune donnée dénominative n’est disponible

Point d’interrogation

Exceptions

Aucune donnée n’est disponible (cellule vide dans l’outil d’enquête de MS Excel)

La performance des pays est considérée (indicateur 5Ga). Si les systèmes nationaux de gestion des finances publiques reçoivent une évaluation inférieure à «3,5» en utilisant l’évaluation CPIA/GFP de la Banque mondiale (voir XXX pour obtenir plus de renseignements), ou si aucune donnée sur la force des systèmes d’approvisionnement nationaux n’est disponible, l’évaluation des PD est alors notée comme sans objet (S/O).

Aucun progrès accompli en ce qui concerne l’atteinte de l’objectif cible ou régression

S/O n’est presque pas utilisé dans le cas de 5PDc.

Aucune donnée n’est disponible (cellule vide dans l’outil d’enquête de MS Excel)

Une évaluation «objectif cible atteint» s’applique également lorsque 0 unité de mise en œuvre de projets parallèles est rapportée, quelle que soit la tendance. Les résultats de 2011 indiquent 3 cas de S/O dans les données désagrégées d’ONUSIDA (RDC, Mali, Niger). Cela s’explique par le fais qu’ONUSIDA a utilisé S/O dans les rapports de 2010 et qu’il n’a fourni aucune donnée alternative dans ces pays dans les rapports de 2012.

Aucun progrès accompli en ce qui concerne l’atteinte de l’objectif cible ou régression

Appliqué lorsque la performance du gouvernement ne permet pas la performance des PD; p. ex. aucun cadre d’évaluation de la performance national n’existe.

Aucune donnée n’est disponible (cellule vide dans l’outil d’enquête de MS Excel)

La performance des pays est considérée (indicateur 6G). Si aucun accord n’est rapporté, l’évaluation des PD est sans objet (S/O).

Indicateurs

Outil d’enquête

No. indic

Objectif cible

7DP

Une évaluation mutuelle annuelle des progrès relatifs à la mise en œuvre des engagements et ententes dans le secteur de la santé (notamment l’accord national IHP+ et au sujet de l’efficacité de l’aide dans le secteur de la santé) est réalisée dans tous les pays où le signataire travaille.

8DP

Tous les signataires peuvent fournir des données qui prouvent leur soutien à l’égard de l’engagement significatif de la société civile.

No. Q

Question

Avez-vous participé à une ou à des évaluation(s) mutuelle(s) des progrès accomplis en ce qui concerne la mise en œuvre d’engagements dans le secteur de la santé, notamment en matière d’efficacité de l’aide?

Quel soutien (s’il y en a un) avez-vous offert aux organisations de la société civile pour leur permettre de participer aux processus relatifs aux politiques dans le secteur de la santé, notamment la planification, la coordination et les mécanismes d’examen dans le secteur de la santé? (veuillez saisir Oui (O) dans toutes les catégories applicables).

Critères d’évaluation Comment la performance de l’indicateur est calculée

Égale la Q15

Égale la Q16

Coche

Flèche

Objectif cible atteint

Aucun progrès accompli en ce qui concerne l’atteinte de l’objectif cible ou régression

Objectif cible atteint

Progrès accompli en ce qui concerne l’atteinte de l’objectif cible (REMARQUE: au niveau désagrégé, cette évaluation n'est pas une option. Au niveau agrégé, une «flèche» est appliquée pour tout résultat agrégé <100% et >0%.)

Aucun progrès accompli en ce qui concerne l’atteinte de l’objectif cible ou régression

* REMARQUE: En 2011, les PD ne pouvaient pas choisir d’utiliser S/O comme évaluation discrétionnaire

Exclamation

Sans objet *(S/O)

Appliqué lorsque la performance du gouvernement ne permet pas la performance des PD; p. ex. aucun mécanisme relatif à la responsabilité mutuelle n’existe.

Point d’interrogation

Aucune donnée n’est disponible (cellule vide dans l’outil d’enquête de MS Excel)

Exceptions

La performance des pays est considérée (indicateur 7G). Si aucun accord n’est rapporté, l’évaluation des PD est dans objet (S/O).

PRODUIT PAR: Responsible Action UK Shoreditch Stables, 138 Kingsland Road, E2 8DY, London, Royaume-Uni Re-Action! (Pty) Ltd 24 Bolton Road, Parkwood, Johannesburg, Afrique du Sud | Tel: +27 11 880 6993