KIT DE FORMATION MODULE 7 GESTION AXÉE SUR LES RÉSULTATS: SUIVI-ÉVALUATION ET SYSTÈME D'INFORMATION
Sommaire ● Concepts de suivi et d'évaluation dans la GAR ● Différences et complémentarité entre suivi et évaluation ● Mise en œuvre du suivi ● Notions générales sur l'évaluation
● Système d'information en appui au S&E
Lien entre le Cadre Logique et le S&E (1/2) Le Cadre Logique peut être utilisé comme base pour le système de Suivi-Évaluation (S&E) d'un programme ou projet. Les 2ème et 3ème colonnes de la Matrice de Cadre Logique (MCL) fournissent les éléments de fondation d'un système de S&E: elles définissent les indicateurs de performance, fixent les paramètres-cibles à atteindre, et décrivent les sources d'information du système. Basé sur The Logical Framework Handbook de la Banque Mondiale
Source: FIDA, 2002
Lien entre le Cadre Logique et le S&E (2/2)
Suivi de performance en GAR
Qu'est-ce que le Suivi? Suivi = un processus systématique de vérification de l' efficacité [effets] et l'efficience [produits/extrants] de la mise en œuvre d'une intervention de développement (programme, projet) en vue de: – Apprécier l'avancement des résultats et identifier des insuffisances (ou des écarts); et, – Recommander des mesures correctives pour optimiser les résultats désirés.
Dans le cycle de vie d'un programme, le suivi ne prend place que pendant la phase de mise en œuvre. Il est basé sur des indicateurs spécifiés durant la phase de formulation du programme.
Particularité du Suivi en GAR Gestion Axée sur les Résultats = Stratégie de gestion d'un projet/ programme orientée vers la performance, la réalisation d'extrants et l'accomplissement d'effets directs. Dans le cas d'une approche GAR, le "bon suivi" équivaut à: Un suivi continu et systématique; Une participation des concernés clés d'une intervention de développement; et, Une attention particulière vis-à-vis de l'atteinte des résultats escomptés. Dans certains programmes, les concernés clés incluraient les bénéficiaires, l'agence d'exécution, le chargé et les cadres du programme, le ministère de tutelle, etc.
Intérêt du Suivi en GAR Impacts: Améliorations générales à moyen et long termes qu'une intervention de développement (politique, programme, projet) apportent à la société. Effets: Effets initiaux et intermédiaires engendrés par l'intervention de développement en raison de l'utilisation par les bénéficiaires des produits/extrants générés par cette intervention. Produits/Extrants: Biens et services produits et livrés par l'intervention de développement.
Différence entre Suivi et Évaluation Suivi = processus continu de collecte systématique d'information sur les indicateurs choisis d'une intervention de développement en cours. Évaluation = appréciation systématique de la formulation, de la mise en œuvre, de l'efficience, de l'efficacité, des processus, et des résultats d'un programme/projet en cours ou complétée. Le suivi est continu, l'évaluation est épisodique ou périodique (effectuée à un moment donné). L'évaluation peut avoir lieu à différents moments du cycle d'un programme et fait appel le plus souvent à des spécialistes externes, non impliquées dans la mise en œuvre du programme à évaluer.
Complémentarité entre Suivi et Évaluation (1/2)
Complémentarité entre Suivi et Évaluation (2/2) Critères
Suivi
Évaluation
Fréquence
Régulière, continue
Épisodique, périodique
Couverture
Tous les programmes
Certains programmes et aspects
Objet
Lier les activités et les ressources du Identifier des contributions causales programme aux objectifs/résultats des activités aux objectifs/résultats
Positionnement
Activité interne
Interne, externe, participative
Données
Générales aux bénéficiaires
Basées sur un échantillon
Profondeur de l'information
Compare les résultats aux cibles Intérêt: QUOI
Explore les résultats inattendus Intérêt: POURQUOI
Coût
Échelonné sur toute la durée
Peut être élevé
Utilité
Gestion et amélioration constante du Prise de décisions majeures sur un programme et de la performance programme
Diffusion
Rapporte l'avancement et alerte sur des problèmes
Fournit leçons et recommandations et signale des réalisations significatives
Responsabilité
Gestionnaire du programme
Évaluateur de concert avec le gestionnaire et le personnel
Pourquoi intervient le Suivi? Pour améliorer la performance du programme et la qualité des réalisations. Pour apprendre des expériences du terrain.
Pour deviser des mesures correctives éclairées et prendre de bonnes décisions. Enfin, pour s'assurer d' obtenir les résultats escomptés et planifiés lors de la formulation.
Où et comment intervient le Suivi? Sur tous les sites où intervient le programme. En impliquant les communautés et les bénéficiaires. Avec des outils appropriés de collecte de données.
Selon les indicateurs fixés lors de la formulation du programme. En appréciant quantitativement, qualitativement et en temps réel toutes les réalisations du programme…
Attention Ă la rĂŠsistance!!!
Comment réussir le Suivi? Réfléchir au et planifier le S&E à partir du moment où le programme n'est qu'au stade d'idée (1ère étape du cycle de vie) et durant la phase de formulation. Impliquer les concernés clés dans le montage du Plan de S&E du programme (promotion d'un accord sur les résultats escomptés et la performance requise, renforcement de l'engagement et de la confiance, etc.). Faire preuve de fermeté et de rigueur dans la mise en œuvre du Plan de S&E d'un programme.
Qui intervient dans le Suivi? Fortement recommandé de clarifier les intervenants dans le suivi et de préciser leurs rôles et responsabilités ("Qui fait quoi et quand?") Fortement recommandé d'impliquer les intervenants identifiés dans le montage du Plan de S&E du programme dès le départ. Nécessaire de former ces intervenants sur les concepts de S&E, selon les rôles et responsabilités assignés.
Évaluation des programmes
Définition et questions de l'évaluation Définition de l'évaluation Appréciation systématique et objective d'un projet, d'un programme ou d'une politique, en cours ou terminé, de sa conception, de sa mise en œuvre et de ses résultats, afin de déterminer la pertinence et l'accomplissement des objectifs, l'efficience en matière de développement, l'efficacité, l'impact et la durabilité.
L'évaluation aide à répondre à des questions telles que: Quels sont les effets et impacts du programme? Est-ce que le programme évolue tel qu'escompté? Est-ce que les activités réalisées ont été exécutées telles que planifiées (quantité, qualité, temps)? Qu'est-ce qui cause les changements relevés par le suivi? Est-ce que les différences relevées entre les divers sites du programme sont dues à la manière d'opérer du programme? Qui bénéficie réellement du programme et de ses retombées?
Évaluation: 3 questions fondamentales 1. Questions descriptives: montrer ce qui se passe (décrire les processus, les conditions prévalentes, les relations organisationnelles, et les points de vue des divers concernés par le programme).
2. Questions normatives: comparer ce qui se passe avec ce qui était planifié (activités réalisées, objectifs atteints ou non). Peuvent concerner les ressources/intrants, les activités, et les produits/ extrants. 3. Questions de cause à effet: se concentrer sur les résultats et chercher à déterminer dans quelle mesure le programme entraine des changements.
Que peut-on évaluer? Que peut-on évaluer? Projet
Action de développement unique exécutée sur un seul ou plusieurs sites. Programmes Intervention incluant divers projets contribuant à un objectif commun. Politiques Normes, instructions ou règlements établis par un organisme pour réguler, organiser ou mettre en œuvre des décisions de développement. Organismes Multitude de programmes d'intervention mis en œuvre par un organisme. Secteurs Interventions dans un même secteur tel que l'éducation, la santé, la foresterie, l'agriculture. Thèmes Aspects particuliers transversaux tels que l'équité et l'approche genre, les biens publics globaux. Assistance à un Avancement dans le plan national de développement, l'effet pays de l'aide au développement, et les enseignements tirés. Source: Morra Imas & Rist (2009).
Pourquoi doit-on évaluer une intervention? 1. Besoin de preuves évidentes sur ce qui fonctionne (les mauvaises performances et les restrictions budgétaires peuvent nuire!!!). 2. Besoin d'améliorer l'exécution d'un programme et la performance d'un organisme public (améliorer la conception des programmes sociaux et des méthodes de ciblage des bénéficiaires, par exemple). 3. Besoin d'avoir une information fiable sur la durabilité des résultats obtenus par un programme (est-ce que le programme apporte des solutions durables à une problématique en s'attaquant aux causes?).
Types d'évaluation et cycle d'un programme (1/2) Évaluation prospective: apprécie les résultats potentiels et objectifs d'un programme avant son démarrage et leur probabilité d'être atteints. Conduite avant le lancement, s'appelle aussi évaluation ex-ante. Exemple: Analyse coûts-avantages. Évaluation formative: vise à améliorer les performances, le plus souvent effectuée en cours de mise en œuvre d'un programme. S'appelle parfois évaluation de processus pour l'étude des dynamiques internes d'organismes. Exemple: Évaluation à mi-parcours. Évaluation sommative: conduite en fin de programme (ou à la fin d'une phase de ce programme), vise à déterminer le niveau d'atteinte des résultats escomptés. S'appelle parfois évaluation ex-post. Exemple: Évaluation d'impact. Sources: OCDE (2002); Morra Imas & Rist (2009).
Types d'ĂŠvaluation et cycle d'un programme (1/2)
Évaluation de projet ou de programme Évaluation de projet: évaluation d'une action de développement individuelle conçue pour atteindre des objectifs spécifiques avec des ressources et un plan de travail déterminés, souvent dans le cadre d'un programme plus large.
Évaluation de programme: évaluation d'un ensemble structuré d'actions de développement pour atteindre des objectifs de développement spécifiques à l'échelle d'un secteur, d'un pays, d'une région, ou global. L'évaluation peut être: • Interne: par des évaluateurs dépendants du bailleur ou de l'organisme. • Externe: par évaluateurs externes au bailleur et à l'organisme. • Indépendante: par des évaluateurs non liés aux responsables de la conception et de l'exécution.
Quoi évaluer: les 5 grands critères (Relevance)
Mesure selon laquelle les objectifs d'un programme correspondent aux attentes des bénéficiaires, aux besoins du pays, aux priorités globales, aux politiques des partenaires et des bailleurs de fonds.
Efficacité
Mesure des résultats atteints - ou en voie de l'être - d'un programme, compte tenu de leur importance relative.
Pertinence
(Effectiveness)
Efficience (Efficiency)
Impact (Impact)
Durabilité (Sustainability)
Mesure selon laquelle les ressources d'un programme sont converties en produits/extrants au meilleur coût. Nécessite parfois une analyse économique de différentes alternatives. Appréciation des effets à long terme, positifs et négatifs, primaires et secondaires, induits par un programme, directement ou non, intentionnellement ou non. Appréciation de la continuation des bénéfices résultant d'une action de développement après la fin d'un programme. Probabilité d'obtenir des bénéfices à long terme. Source: OCDE (2002)
Évaluation dans une perspective GAR
Source: Adapté de Rodriquez-Garcia & Kusek (2007). Traduit par MM
Quand l'évaluation devient-elle nécessaire? En règle générale, une évaluation devient nécessaire quand les données des mesures régulières de l'unité de suivi montrent que la performance en cours est clairement et significativement différente de celle planifiée.
EI
EI
EMP
EMP
Planifié
EMP
Réalisé
EI
Évaluation à mi-parcours Évaluation d'impact
Source: Adapté de Kusek & Rist (2004) par MM
Théorie de changement et Évaluation Une théorie du changement décrit un plan de changement social qui va de la formulation des hypothèses avant la conception à la définition des objectifs à long terme. Cette théorie est souvent présentée sous forme de schéma (modèle logique) qui analyse les liens entre les ressources et les résultats. Il est souvent présenté sous forme de tableau énumérant les étapes, des données ou ressources jusqu'à la réalisation de l'objectif visé par le programme (cadre logique). Construire une théorie du changement permet à l'évaluateur de: Comprendre la philosophie sur laquelle est basée le programme. Examiner l'évidence existante à travers une synthèse de recherche. Voir un programme complexe comme un ensemble de chaines d'intervention visant des changements de comportement. Source: Grantcraft (2006)
Évaluation et méthodes de collecte (1/2) Méthodes quantitatives: apprécier de manière chiffrée certains aspects de l'objet évalué. Conviennent mieux pour formuler statistiquement une conclusion généralisable. Exemple: Enquête-questionnaire. Défi: Échantillonnage (question de validité externe). Méthodes qualitatives: très souvent utilisées pour aller en profondeur des aspects qualitatifs de l'objet évalué. Conviennent bien pour leur flexibilité et leur utilisation rapide. Exemple: Focus groupe. Défi: Rôle de facilitateur pour l'évaluateur. Méthodes mixtes: combinaison complémentaire de méthodes quantitatives et qualitatives afin de collecter des données quantifiables et des appréciations qualitatives. Exemple: Observation directe pendant une entrevue d'enquêtequestionnaire. Défi: Bonne combinaison méthodologique et souci de triangulation.
Évaluation et méthodes de collecte (2/2) Entrevue avec des personnes bien informées
Entretien avec des individus concernés
Sondage de panel
Focus Groupe
Forum communautaire
Observation participative
Enquête Observation directe
Recensement
Revue de registres officielles (SIG et données admin.) Expérimentation au champ
Visites terrain
Questionnaire
Méthodes informelles / peu structurées
Méthodes formelles / plus structurées
Sources: Kusek & Rist (2004); Morra Imas & Rist (2009). Traduction de l'anglais par MM
30
Évaluation participative et programmes sociaux Évaluation participative: Méthode collective d'évaluation selon laquelle concernés et bénéficiaires collaborent pour concevoir et conduire une évaluation et en tirer les conclusions. Ses principes de base sont: Implication des bénéficiaires dans la fixation d'objectifs et des priorités, la sélection des questions et la prise de décisions. Appropriation par les participants de l'évaluation. Assurance que l'évaluation se concentre sur les méthodes et résultats qui sont importants aux participants. Participants travaillant ensemble, facilitant et promouvant l'unité du groupe. Tous les aspects de l'évaluation sont compréhensibles et pertinents à tous les participants. Évaluateurs agissant comme des facilitateurs; participants agissant comme preneurs de décision et évaluateurs. Sources: OCDE (2002); Morra Imas & Rist (2009)
Évaluation d'impact: causalité et attribution Fait partie des méthodes contribuant à l'apprentissage des spécialistes du développement et à l'amélioration de la conception des politiques et programmes. S'intéresse spécialement aux relations de cause à effet dans les programmes (structuré autour d'une question-clé: quel est l'impact – ou l'effet causal – d'un programme sur un résultat donné?). Cette dimension causale est primordiale. Vise à déterminer quels changements peuvent être attribués directement et exclusivement au programme.
Qu'est-ce que l'impact en GAR? L'impact d'un programme est la différence entre les effets observables engendrés par ce programme et ceux observés lorsque celui-ci n'intervient pas. Défi: il est difficile d'observer simultanément la situation des bénéficiaires… Avec le programme…
… et sans le programme!
Évaluation d'impact: nécessité d'un contrefactuel Pour estimer l'impact (ou effet causal) d'un programme, besoin d'un contrefactuel, i.e. le résultat obtenu par les bénéficiaires si le programme n'était pas là. Pour estimer le contrefactuel, on a besoin de trouver un groupe témoin (ou groupe de comparaison) conforme à ces critères: Le groupe témoin doit avoir les mêmes caractéristiques que le groupe des bénéficiaires du programme; La seule différence entre les deux groupes est que les membres du groupe témoin n'ont pas bénéficié du programme.
Évaluation d'impact: 2 erreurs souvent commises Avant-après (ou pré-post): Comparer simplement les résultats dans le groupe de bénéficiaires avant et après la mise en œuvre du programme. ! Il y a plusieurs d'autres facteurs variables dans le temps susceptibles d'avoir aussi influencé les résultats observés. Avec-sans: Comparer simplement des éléments ayant accepté de participer au programme avec des éléments ne participant pas au programme. ! Ceux qui ne participent pas au programme peuvent différer systématiquement de ceux qui y participent.
Évaluation d'impact: dispositifs d'étude Dispositifs expérimentaux: aléatoires, généralement considérés comme les plus robustes des dispositifs d'évaluation. Avec un groupe témoin, présentent une parfaite comparaison contrefactuelle libre des différents biais et distorsions. Avec une comparaison avant-après, permettent d'apprécier la contribution réelle d'un programme.
Dispositifs quasi-expérimentaux: utilisés quand une composition aléatoire des groupes à comparer n'est pas possible. Moins robustes que les dispositifs expérimentaux, sont utilisés selon le contexte et les ressources disponibles.
Mise en œuvre d'une évaluation
Conclusions et recommandations d'évaluation Conclusions d'une évaluation Fournir des réponses claires et précises aux questions d'évaluation posées dans les TdR (montrer des liens de causalité). Très souvent, présence de jugements de valeur (conflits potentiels). Par éthique, une conclusion doit être liée aux données et analyses. Toute question doit trouver réponse dans les conclusions. Sinon… Limites méthodologiques et contextuelles: montrer la robustesse du lien entre données et conclusions et si les constats sont généralisables.
Recommandations d'une évaluation Représentent des suggestions pour améliorer, réformer ou renouveler le programme. Dérivent d'une ou plusieurs conclusions vis-à-vis de problèmes. Sont priorisées et hiérarchisées avec des destinataires précisés. Source: Euréval(2010)
Diffusion/utilisation des résultats d'évaluation Diffusion des résultats d'évaluation Étape à part entière du processus évaluatif, après la production et validation du rapport d'évaluation, mais prévue dès le départ. Étape indispensable pour l'utilisation de l'évaluation par des utilisateurs potentiels (impératif de transparence). Selon les différents utilisateurs, différents supports de communication utilisés.
Utilisation des résultats d'une évaluation Préparer des décisions, aider à formuler des jugements, à connaître les effets d'un programme. Peut être de différente façon pour différents utilisateurs. Doit être anticipée et guider la démarche d'évaluation depuis le début. Source: Euréval(2010)
Système d'information en appui au S&E
Indicateurs Paramètres Données de départ
Regroupement dans une base de données ou un tableur
3. Enregistrement et regroupement des données Formulaire d’enregistrement
Formulaire de regroupement Entité 1 Entité 2 Entité 3
Implémentation et concrétisation de l’intervention
Sources de vérification
Conception d'un système d'information de gestion en appui au S&E
2. Développement de la matrice de suivi-évaluation
Indicateurs
Démarrage de l’intervention
1. Élaboration de la matrice du cadre logique de l'intervention
Conception de l’intervention
S&E et Rapportage: utilité d'un système d'info
4. Analyse visant à dégager des conclusions 25% 25%
5. Communication des résultats 25% 25%
Source: FIDA, 2002
Après le Cadre Logique, le Plan de S&E… Après finalisation du cadre logique du programme, il s'agira d'élaborer un plan de suivi-évaluation du programme incluant: La définition de la méthodologie de collecte des données du suivi (sources, périodicité, mode de transmission, etc.); La définition de la méthodologie de traitement et d’analyse des données collectées; Le désignation des formats des supports de diffusion de l'information du suivi; La définition de la méthodologie des différentes évaluations du programme et l'élaboration de leurs termes de référence; La définition de la méthodologie de conduite des différents audits (institutionnels et techniques), si besoin, et l’élaboration des termes de référence y afférent…
Après le Plan de S&E, le Système d'Information… Après l'élaboration d'un plan de suivi-évaluation du programme , il s'agira de concevoir et de mettre en place du Système d’information de Gestion en appui au suivi-évaluation du programme, incluant: L'élaboration d'un état des lieux en matière de système d'information (infrastructures, protocoles, liaisons, etc.); L'analyse conceptuelle et fonctionnelle du système d'information existant et la détection des gaps par rapport aux besoins du suivi-évaluation du programme en question; La mise en forme de la base de données du S&E; La programmation de l'application devant gérer la base de données du S&E; La finalisation de l'implantation du système d'information; La formation des utilisateurs du système d'information.
Système d'Info: centralité des bases de données Définition d'une base de données En général, une base de données est un ensemble organisé de documents, généralement structuré en colonnes et sous forme tabulaire. Pour ce qui est des bases de données électroniques, les spécialistes des sciences informatiques parlent d'un ensemble de données structuré et organisé afin qu'une application informatique puisse sélectionner rapidement les éléments désirés dans cet ensemble. La forme de base de données la plus courante dans le monde est la base de données relationnelle. Dans une telle base de données, toutes les données ne sont pas stockées dans le même tableau mais dans de différents tableaux liés entre eux.
Avantages d'une base de données de S&E Rendre les données immédiatement disponibles en cas de besoin; S'assurer toujours de la disponibilité des données dans un format facilitant différentes analyses sans effectuer des calculs manuels; Être plus efficace et précis dans la gestion et l'utilisation des données; Permettre la comparaison de différents ensembles de données; Traiter de grandes quantités de données rapidement et avec précision; Réduire le temps passé dans la gestion des données en réduisant les processus d'analyse des données; Transformer des données disparates en information consolidée; Améliorer la qualité, la rapidité et la cohérence de l'information; Soutenir l'analyse spatiale à l'aide d'un système d'informations géographiques (SIG) et la représentation des données sur les cartes pour une compréhension facile par les décideurs…
Usage de bases de données: ce qu'il faut retenir!!! Ne jamais compter sur la technologie pour "apporter toutes les réponses" à elle seule en matière de S&E. Prendre en considération la politique gouvernementale en matière de TIC dans le cas de bases de données des entités publiques. Veiller quotidiennement à la fonctionnalité et la sécurité d'une base de données afin d'assurer l'intégrité, la disponibilité et la qualité des données. Identifier quelles données doit contenir la base de données. Déterminer quel logiciel ou application utiliser pour l'analyse. Savoir que la disponibilité d'un logiciel d'analyse spatiale est utile. Prendre toutes les mesure nécessaires pour relier une nouvelle base de données à d'autres bases existantes (transfert de données) Identifier dès le départ les besoins en renforcement de capacités en matière de conception et de gestion pour améliorer l'utilisation de la base de données et l'accès à l'information.
Merci pour votre attention.
Site de l'AfCoP: http://cop-mfdr-africa-fr.ning.com/