EGCREG MODULO 1 by Ceddet

LA EVALUACIÓN Y LA GESTIÓN DEL CONOCIMIENTO EN LA COOPERACIÓN INTERNACIONAL

MÓDULO 1

¿POR QUÉ Y PARA QUÉ EVALUAR?

La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional

Módulo 1

Autor del curso Banco Interamericano de Desarrollo (BID) (www.iadb.org), a través de su Sector de Integración y Comercio (INT). Coordinador del curso Banco Interamericano de Desarrollo (BID) (www.iadb.org), a través de su Sector de Integración y Comercio, el Instituto para la Integración de América Latina y el Caribe (INTAL) (www.iadb.org/es/intal), el Instituto Interamericano para el Desarrollo Económico y Social (INDES) (www.indes.org), así como el Consejo Suramericano de Infraestructura y Planeamiento (COSIPLAN) de la UNASUR. Autora del módulo Miguel González Gullón. Coordinación pedagógica y de edición El Instituto Interamericano para el Desarrollo Económico y Social (INDES) (www.indes.org), en colaboración con la Fundación Centro de Educación a Distancia para el Desarrollo Económico y Tecnológico (CEDDET) (www.ceddet.org).

Copyright ©2017 Banco Interamericano de Desarrollo. Esta obra se encuentra sujeta a una licencia Creative Commons IGO 3.0 Reconocimiento-NoComercial-SinObrasDerivadas (CC-IGO 3.0 BY-NC-ND) (http://creativecommons.org/licenses/by-ncnd/3.0/igo/legalcode). Este documento es propiedad intelectual del Banco Interamericano de Desarrollo (BID). Cualquier reproducción parcial o total de este documento debe ser informada a: BIDINDES@iadb.org Cualquier disputa relacionada con el uso de las obras del BID que no pueda resolverse amistosamente se someterá a arbitraje de conformidad con las reglas de la CNUDMI (UNCITRAL). El uso del nombre del BID para cualquier fin distinto al reconocimiento respectivo y el uso del logotipo del BID no están autorizados por esta licencia CC-IGO y requieren de un acuerdo de licencia adicional. Note que el enlace URL incluye términos y condiciones adicionales de esta licencia. Las opiniones incluidas en los contenidos corresponden a sus autores y no reflejan necesariamente la opinión del Banco Interamericano de Desarrollo. Los presentes materiales han sido revisados a la luz de las decisiones ministeriales tomadas en el marco de la Novena Conferencia Ministerial de la Organización Mundial del Comercio celebrada en Bali, Indonesia, en diciembre de 2013. Los ajustes fueron realizados con la finalidad de reflejar un mayor alineamiento entre la temática del curso y las prioridades identificadas en la Declaración Ministerial y decisiones de Bali, en la que participaron todos los miembros del BID. Declaración de Bali

La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional

Módulo 1

Tabla de contenidos Índice de figuras .............................................................................................................. 5 Índice de tablas ............................................................................................................... 5 Acrónimos ....................................................................................................................... 6 Presentación del módulo ................................................................................................ 7 Objetivo general del módulo .......................................................................................... 8 Preguntas orientadoras de aprendizaje ......................................................................... 8 UNIDAD I. LA EVALUACIÓN EN EL CICLO DE PLANIFICACIÓN: DE LA TEORÍA DEL CAMBIO Y LOS MODELOS CAUSALES AL MODELO DEL MARCO LÓGICO .......... 9 Objetivo de aprendizaje .................................................................................................. 9 I.1. Introducción: la evaluación en la Agenda Internacional de Eficacia del Desarrollo ........................................................................................................................ 9 I.2. Conceptos básicos del Ciclo de Proyecto (Enfoque del Marco Lógico) ............... 13 SÍNTESIS DE LA UNIDAD ............................................................................................... 22 UNIDAD II. DECISIONES BASADAS EN EVIDENCIA: LA IMPORTANCIA DE LA MEDICIÓN DE RESULTADOS Y SU IMPORTANCIA EN LOS PROYECTOS Y EN LAS POLÍTICAS PÚBLICAS .................................................................................... 24 Objetivo de aprendizaje ................................................................................................ 24 II.1. La Línea de Base: concepto y características principales ..................................... 24 II.2. Los indicadores y su importancia en la generación de evidencia: los indicadores SMART ....................................................................................................... 28 II.3. La Iniciativa de Salud Mesoamericana (ISM) como ejemplo de buena práctica basada en la evaluación de desempeño ........................................................ 29 SÍNTESIS DE LA UNIDAD ............................................................................................... 34

La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional

Módulo 1

UNIDAD III. ¿QUÉ TIPOS DE EVALUACIÓN EXISTEN? ................................................. 35 Objetivo de aprendizaje ................................................................................................ 35 III.1. Las evaluaciones según su contenido .................................................................. 36 III.2. Las evaluaciones según cuándo se lleven a cabo ................................................ 37 III.3. Las evaluaciones según quién las realiza ............................................................. 39 III.4. Las evaluaciones según las entidades que la promueven .................................. 40 III.5. Las evaluaciones según su contenido .................................................................. 43 III.6. Las evaluaciones de la evaluación: las metaevaluaciones .................................. 44 III.7. Las evaluaciones participativas ............................................................................ 44 SÍNTESIS DE LA UNIDAD ............................................................................................... 45 UNIDAD IV. ¿QUÉ DEBEMOS EVALUAR? LOS ASPECTOS CLAVE EN UNA EVALUACIÓN: EFICACIA, EFICIENCIA, PERTINENCIA, IMPACTO Y SOSTENIBILIDAD ....................................................................................................... 47 Objetivos de aprendizaje .............................................................................................. 47 IV.1. Pertinencia ............................................................................................................. 48 IV.2. Eficacia ................................................................................................................... 48 IV.3. Eficiencia ................................................................................................................ 48 IV.4. Impacto ................................................................................................................. 48 IV.5. Sostenibilidad ........................................................................................................ 49 SÍNTESIS DE LA UNIDAD ............................................................................................... 53

Referencias y bibliografía ............................................................................................. 55

La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional

Módulo 1

Índice de figuras Figura 1. Política de evaluación de la Cooperación Española (MAEC, 2013) ................ 12 Figura 2. El ciclo continuo de planificación, seguimiento y evaluación .......................14 Figura 3. GCP: Unión Europea ........................................................................................ 15 Figura 4. Dos etapas del Enfoque de Marco Lógico ..................................................... 17 Figura 5. Pasos metodológicos de la Teoría del Cambio ............................................. 19 Figura 6. Modelo de financiamiento de la IMS (BID, 2015) ........................................ 33

Índice de tablas Tabla 1. Inversión combinada por país; primera y segunda operación ....................... 32 Tabla 2. Tipologías de evaluaciones (DGPOLDE, MAEC, 2007) .................................. 36 Tabla 3. Evaluación individual y evaluación conjunta. Manual de Gestión de Evaluaciones de la Cooperación Española (MAEC, 2007) .......................................... 43 Tabla 4. Criterios de evaluación y lógica de intervención ........................................... 49 Tabla 5. Preguntas de evaluación ................................................................................. 50

La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional

Módulo 1

Acrónimos n AECID: Agencia Española de Cooperación Internacional para el Desarrollo. n AOD: Ayuda Oficial al Desarrollo. n BID: Banco Interamericano de Desarrollo. n CE: Comisión Europea. n CEPAL: Comisión Económica para América Latina y el Caribe. n ECODE: Estudio de Cooperación al Desarrollo. n EML: Enfoque de Marco Lógico. n GCP: Gestión de un Ciclo del Proyecto. n GpRD: Gestión para Resultados de Desarrollo. n HIVOS: Instituto Humanista de Cooperación al Desarrollo. n MyE: Monitoreo y Evaluación. n NNUU: Naciones Unidas. n NORAD: Agencia Noruega para la Cooperación para el Desarrollo. n ODM: Objetivos de Desarrollo del Milenio. n ODS: Objetivos de Desarrollo Sostenible. n OECD/DAC: Organización de Cooperación Económica para el Desarrollo/Co-

mité de Ayuda para el Desarrollo. n ONGD: Organización No Gubernamental de Desarrollo. n PNUD: Programa de las Naciones Unidas para el Desarrollo. n SECIPI: Secretaría de Estado de Cooperación Internacional y para Iberoamé-

rica, España. n TdC: Teoría del Cambio. n UE: Unión Europea. n USAID: Agencia de los Estados Unidos para el Desarrollo Internacional.

La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional

Módulo 1

Presentación del módulo ¿Por qué y para qué evaluar? Con este título damos inicio al Curso sobre Evaluación y Gestión del Conocimiento en la cooperación internacional. Se trata de un módulo introductorio, que pretende acercar a sus participantes a la importancia de las evaluaciones en los proyectos de cooperación internacional. Lo haremos desde una perspectiva actual, para que puedan conocer las tendencias y prácticas más modernas, a fin de que puedan contribuir, desde sus diferentes ámbitos de competencia y desempeño profesional, a impulsar procesos de evaluación de proyectos de cooperación y/o de políticas públicas en las que la cooperación internacional haya contribuido de forma relevante en sus respectivos países. Para ello, comenzaremos realizando un breve recorrido por el paradigma actual de la Agenda de Eficacia del Desarrollo y de la Agenda 2030, y sus notables implicaciones en la evaluación. Continuaremos insertando la evaluación dentro de los procesos de planificación, para subrayar la pertenencia de la evaluación a un ciclo continuo (el ciclo de gestión del proyecto), en el que juega un papel clave a la hora de extraer recomendaciones y lecciones aprendidas que sean aplicables en el próximo ciclo de planificación o de formulación. Realizaremos un breve recorrido por la Teoría del Cambio y por el Enfoque del Marco Lógico. Analizaremos también la importancia de la toma de decisiones basadas en evidencias, y cómo debemos analizar los Indicadores y las Líneas de Base de los proyectos para poder evaluar sus avances o retrocesos. Veremos una iniciativa basada en la evaluación de desempeño, como ejemplo de buena práctica. Haremos también un recorrido por los diferentes tipos de evaluación existentes. Finalmente, analizaremos los criterios en los que debemos fijarnos a la hora de planificar una evaluación, basados en estándares internacionales. Se trata, en suma, de un módulo de arranque, que va a contextualizar a los participantes en el curso, y los va a preparar para profundizar a lo largo de los siguientes módulos en varios de los aspectos introducidos en este primer módulo.

La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional

Módulo 1

El presente módulo, al igual que el Curso en su conjunto, se abordará desde una perspectiva que busca combinar teoría con práctica, aportando ejemplos concretos que faciliten siempre la aplicación de los conocimientos y competencias adquiridas.

Objetivo general del módulo n Introducir conceptos teórico-prácticos relacionados con la evaluación en la

Agenda más actual de Eficacia del Desarrollo, su inserción dentro del Ciclo de Proyectos y los diferentes tipos de evaluación. n Establecer la importancia de la toma de decisiones basadas en evidencias.

Preguntas orientadoras de aprendizaje n ¿Qué funciones y retos tiene la evaluación en la actual Agenda Internacional de

Eficacia del Desarrollo? n ¿Cómo se inserta la evaluación en el Ciclo de Gestión del Proyecto? n ¿En qué consisten el Enfoque del Marco Lógico y la Teoría del Cambio? n ¿Qué características básicas deben tener las Líneas de Base y los Indicadores

para generar evidencias? ¿Hay alguna buena práctica concreta? n ¿Cuáles son las diferentes tipologías de evaluación? n ¿Qué criterios debe tener una evaluación?

La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional

Módulo 1

UNIDAD I LA EVALUACIÓN EN EL CICLO DE PLANIFICACIÓN: DE LA TEORÍA DEL CAMBIO Y LOS MODELOS CAUSALES AL MODELO DEL MARCO LÓGICO

Objetivo de aprendizaje n Comprender la importancia de la evaluación como parte integrante del ciclo de

planificación de proyectos y de políticas públicas.

I.1. Introducción: la evaluación en la Agenda Internacional de Eficacia del Desarrollo La evaluación debe ser primordial en toda política pública, y en la de Cooperación al Desarrollo no es una excepción, ya que resulta fundamental para promover el aprendizaje y la mejora continua y para impulsar el cambio y la rendición de cuentas. Además, la evaluación debe servir para informar la toma de decisiones y para generar transparencia y rendición de cuentas, teniendo en cuenta los diferentes públicos e intereses. Así, en materia de cooperación al desarrollo, la evaluación nos permitirá incrementar la eficacia y la calidad de dicha política, reflexionar críticamente en torno

La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional

Módulo 1

a ella, extraer y compartir lecciones aprendidas y comunicar de forma precisa y validada los resultados obtenidos. Todo ello contribuye a validar una política pública basada en la solidaridad internacional, y debe suponer un compromiso frente a las sociedades de los países “donantes”, que con sus impuestos aportan los recursos de AOD, y a las sociedades de los países socios, receptores y protagonistas principales de dichos esfuerzos compartidos.

I.1.1. Definición de evaluación En el presente curso vamos a tomar como referencia la definición de evaluación del desarrollo consensuada en el seno del Comité de Ayuda al Desarrollo de la OCDE1 y que adopta como referente principal para la evaluación los trabajos de la Red de Evaluación del CAD (EVALNET). Así, podemos decir que “la evaluación es un proceso sistemático y planificado de recogida de información con el objetivo de analizar, interpretar y valorar de manera crítica y objetiva una intervención o estrategia de cooperación para el desarrollo, incluyendo su diseño, su puesta en práctica, su estructura de gestión y sus resultados”.

I.1.2. Contexto y desafíos a los que responde la política de evaluación en la actual Agenda Internacional de Eficacia del Desarrollo La moderna Agenda Internacional de Eficacia del Desarrollo, a la que podemos dar seguimiento desde la Declaración de París sobre Eficacia de la Ayuda (2005), seguida por la Agenda de Acción de Accra (2008), la Alianza Global de Busan para una Cooperación Eficaz al Desarrollo (2011), la Cumbre de Addis Abeba y, sobre todo, la Agenda 2030 que consagra a los 17 Objetivos de Desarrollo Sostenibles, ha puesto particular énfasis, tal y como su nombre indica, en la eficacia. Las Cumbres y Reuniones de Alto Nivel de Monterrey, París, Roma, Acra, Busan, Addis Abeba, las Declaraciones del Milenio, primero, y de los Objetivos de Desarrollo Sostenibles (Agenda 2030) después,

Organización para la Cooperación y el Desarrollo Económico.

La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional

Módulo 1

han logrado crear una hoja de ruta, un acervo de principios, objetivos y filosofías de trabajo compartidas entre todos los países, que, cada día más, ponen el acento en la importancia de la eficacia en el desarrollo de los países menos favorecidos. Además de crear una relación entre socios, más horizontal, centrada en las prioridades definidas por los países en desarrollo, en la apropiación, en el enfoque a resultados y en la transparencia y la responsabilidad compartida, dicha Agenda ha colocado a la cooperación en un lado del debate, y no en el centro del mismo, definiendo la Ayuda Oficial al Desarrollo (AOD) como un factor más de desarrollo, junto con otros muchos, entre los que cabe destacar la incorporación del sector privado. Todo ello tiene claras implicaciones para que se lleve a cabo una mejor rendición de cuentas. La evaluación juega, por tanto, un papel cada vez más relevante. Como establece la Política de Evaluación de la Cooperación Española (Ministerio de Asuntos Exteriores y Cooperación, 2013), “la complejidad creciente de los escenarios y la ampliación del número y variedad de actores implicados han supuesto una revisión de las concepciones teóricas del desarrollo y una transformación de las prácticas de la cooperación, que, a su vez, implican nuevas demandas y retos para la evaluación”: n “La renovada articulación de las relaciones de asociación en el desarrollo, que

tiene su principal plasmación en la citada Agenda Internacional de Eficacia del Desarrollo, que actúa como la Hoja de Ruta a seguir por todos los países, concede un mayor protagonismo de los países socios. Ello deberá traducirse en el fortalecimiento y la utilización creciente de sus propios sistemas de evaluación. Al mismo tiempo, la necesidad de una rendición mutua de cuentas requiere ampliar las audiencias de las evaluaciones y adaptar en función de ellas la transmisión y difusión de los hallazgos y recomendaciones”. n “A su vez, la orientación hacia los resultados de desarrollo conlleva trasladar el

foco de atención desde las actividades y los productos hacia las transformaciones realmente acaecidas y a los impactos en el medio y largo plazo”.

La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional

Módulo 1

n “Estas transformaciones se manifiestan también en la complejización de los

instrumentos de la ayuda, entre los que los proyectos y programas clásicos tienen cada vez un menor peso relativo, al tiempo que emergen otros tipos de modalidades y alianzas y se subraya la importancia de ciertas dimensiones transversales, como el género, los derechos humanos o la diversidad cultural”. n La afirmación de la multidimensionalidad del desarrollo y la asunción del peso

relativo de la ayuda internacional en el mismo conlleva la necesidad de evaluar no sólo las políticas de cooperación, sino también la coherencia del conjunto de políticas que inciden en el desarrollo. En este marco de complejidad creciente y evolución acelerada del paradigma de la cooperación internacional, la evaluación afronta el desafío al reto de garantizar la robustez de sus procedimientos. Para que las conclusiones y recomendaciones sean válidas, deben ser sólidas y coherentes respecto a los hallazgos obtenidos y a los análisis efectuados. Y para que las evaluaciones sean útiles, deben ser suficientemente concretas y responder a necesidades reales de información, mostrando no sólo resultados, contribuyendo a la reflexión en torno a cómo y por qué las intervenciones operan de una determinada manera en un contexto específico.

I.1.3. Funciones de la evaluación

Figura 1. Política de evaluación de la Cooperación Española (MAEC, 2013).

La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional

Módulo 1

La evaluación es un medio para generar aprendizajes que permitan mejorar la eficacia y la calidad del sistema de cooperación. Además, la evaluación contribuye a la transformación de la realidad y proporciona elementos para la transparencia y la rendición de cuentas: 1) La evaluación permite valorar críticamente a los diferentes elementos y que componen un proyecto o una política de cooperación internacional para el desarrollo, favoreciendo el aprendizaje y la extracción de lecciones aprendidas y recomendaciones. 2) Una segunda función de la evaluación es la generación de evidencias que sean de utilidad para adoptar decisiones, tanto a nivel estratégico como programático, operativo, organizativo, etc., y del ciclo de gestión de las intervenciones, apoyando así el incremento de la calidad y la eficacia. 3) En tercer lugar, la evaluación contribuye a la rendición de cuentas. 4) Finalmente, la evaluación contribuye a la transformación social como catalizador de cambios en los niveles personal, organizativo y sistémico de las organizaciones e instituciones que la practican.

I.2. Conceptos básicos del Ciclo de Proyecto (Enfoque del Marco Lógico) I.2.1. La Gestión del Ciclo del Proyecto (GCP) Los proyectos de cooperación al desarrollo se planifican usando, con matices y diferencias entre las distintas agencias bi y multilaterales y bancos de desarrollo, una metodología llamada Gestión del Ciclo del Proyecto (GCP). La evaluación es una fase integrante de dicho ciclo continuo. Ya hemos visto las funciones de la evaluación, que se pueden resumir en el incremento de la calidad de la ayuda, a través del enjuiciamiento del diseño, la aplicación, los resultados y los efectos de la política de cooperación. Adicionalmente, la evaluación se orienta a mejorar la planificación y fortalecer las capacidades de las entidades relacionadas con los proyectos evaluados. 13

La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional

Módulo 1

Por tanto, la evaluación es una parte fundamental del ciclo continuo integrado del proyecto y de la política pública de cooperación para el desarrollo (figura 2), dando insumos de utilidad al proceso de planificación y contribuyendo a la mejora progresiva y constante de la calidad de la ayuda.

Figura 2. El ciclo continuo de planificación, seguimiento y evaluación. En González, J. A. y Osuna, J. L. (2007). Manual de gestión de evaluaciones de la cooperación española. Aprender para mejorar. Ministerio de Asuntos Exteriores y Cooperación.

Por eso, como indica el Manual de Gestión de Evaluaciones de la Cooperación Española (González, J. A. y Osuna, J. L , 2007), “una labor fundamental asociada a la evaluación consiste en la efectiva utilización y aplicación de sus conclusiones y recomendaciones, para que sea un verdadero instrumento de aprendizaje que permita mejorar la actividad evaluada o actividades similares, aspecto fundamental para la gestión y planificación de la ayuda al desarrollo en sus actuaciones presentes y orientaciones futuras”. La evaluación ya no es el último paso a realizar una vez finalizadas las intervenciones, sino que se integra desde el primer momento en que éstas se conciben y diseñan. La Gestión del Ciclo de Proyecto supone que las acciones de cooperación para el desarrollo pasan por una serie de etapas continuas y, por tanto, estrechamente interrelacionadas entre sí (desde su diseño hasta su evaluación).

La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional

Módulo 1

Así, la Unión Europea (UE), en la misma línea que la Cooperación Española, concibe el Ciclo de Gestión de Proyectos en cinco fases (figura 3).

Figura 3. GCP: Unión Europea. Fuente: CE (2004: 18). Líneas directrices Gestión del Ciclo del Proyecto - Manual de Gestión del Ciclo del Proyecto.

Este ciclo remarca tres principios importantes (Tutistar, BID, 2017): n El criterio y los procedimientos en toma de decisiones se definen en cada fase

(incluyendo información clave sobre requerimientos y criterios de evaluación cualitativa). n Las fases en el ciclo son progresivas —cada fase debe ser completada para ser

marcada como exitosa. n La subsecuente programación e identificación del proyecto se basa en los in-

sumos de evaluación como parte de un ciclo integrado de aprendizaje institucional.

La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional

Módulo 1

En definitiva, cada Agencia de Cooperación dispone de su propio manual, con nomenclaturas que difieren entre sí y con matices diversos, pero todas siguen un proceso homologable.

I.2.2. El Enfoque de Marco Lógico (EML) Existen diversas metodologías, herramientas y enfoques para la planificación y formulación de proyectos y programas de cooperación internacional para el desarrollo, uno de ellos es el Enfoque de Marco Lógico (EML). El EML, adaptado por numerosas agencias y bancos de desarrollo, es el enfoque mayormente difundido entre los socios de cooperación internacional, siendo un instrumento de planificación, ejecución y evaluación de proyectos. Si bien la herramienta por sí sola no es garantía de calidad ni de éxito, sí nos facilita y nos ordena de forma metódica el diseño, dimensionamiento y orientación de un proyecto, dado que presenta de forma sistemática y lógica los objetivos de desarrollo y su consecución (Tutistar, BID, 2017). El EML se estructura a través de dos etapas principales, que a su vez contienen los siguientes elementos: 1. La etapa de análisis a) Análisis de involucrados (partes implicadas). b) Análisis de problemas. c) Análisis de objetivos. d) Análisis de estrategias. 2. La etapa de programación o construcción de la matriz de planificación En esta etapa es donde la idea de proyecto se convierte en un plan operativo concreto. Por su parte, la matriz de planificación tiene 4 columnas: objetivo general o finalidad, objetivo específico, resultados, y actividades (lógica vertical) y 4 filas: lógica de intervención, indicadores, fuentes de verificación, y supuestos o hipótesis (lógica horizontal). 16

La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional

Módulo 1

Los componentes se pueden resumir en la figura 4.

Figura 4. Dos etapas del Enfoque de Marco Lógico. Fuente: González (2008: 25). Guía para la gestión de proyectos de cooperación al desarrollo.

“El marco lógico se ha definido como una herramienta analítica para la planificación y la gestión de proyectos orientada por objetivos o por resultados. Según la OECD/DAC (2002: 27), el marco lógico es una ‘Herramienta que se utiliza para mejorar el diseño de las intervenciones, más frecuentemente a nivel del proyecto. Comprende la identificación de elementos estratégicos (insumos, productos, efectos, impacto) y sus relaciones causales, indicadores y los supuestos o riesgos que pueden influir en el éxito o el fracaso. De esa manera, facilita la planeación, la ejecución y la evaluación de una intervención para el desarrollo’. El término de marco lógico está relacionado con el de ‘gestión basada en resultados’, entendido como la estrategia de gestión que se centra en el desempeño y el logro de productos, efectos e impacto” (Tutistar, BID, 2017). EL MARCO LÓGICO: Como método de planificación participativa está presente en todas las etapas de un proyecto (programación, identificación, formulación, ejecución, seguimiento y evaluación), constituyéndose en un método que nos ayuda a su desarrollo, la generación de consensos entre las partes

La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional

Módulo 1

implicadas y la preparación adecuada de un buen documento del proyecto. Por lo tanto, es un método muy útil para gestionar proyectos, dado que permite visualizar sus principales resultados en una matriz que describe de forma lógica los aspectos más importantes. Se denomina “lógico” porque todos sus elementos se relacionan entre sí a través de relaciones de causalidad. El marco lógico no puede ser visto como un simple “formulario” para ser cumplimentado rutinariamente, sino como un método para la formulación, el seguimiento y la evaluación de proyectos, que estructura y ordena su gestión. Por ello, entre las limitaciones de esta metodología se han reconocido las siguientes: n El instrumento sólo puede ser tan bueno como el equipo y los agentes intere-

sados que lo utilicen. Si los planes/programas/proyectos están mal diseñados, el marco lógico detectará las fallas y contradicciones que existan. n Si se utiliza el marco lógico únicamente como un formulario o procedimiento

administrativo para gestionar recursos y no como una herramienta de gestión, se desperdiciará gran parte del potencial del EML. n No garantiza por sí solo resultados positivos. n Si se ve como un marco rígido y no se adapta al contexto, no será de utilidad

para la gestión del proyecto.

I.2.3. La Teoría del Cambio y los modelos causales El Enfoque de Marco Lógico (EML) no es el único enfoque para la planificación de un proyecto de desarrollo; sin embargo, es el enfoque más utilizado por los organismos financiadores. Desde los fundamentos teóricos y prácticos, el EML ha sido objeto de diversas críticas que han dado lugar a otras alternativas, metodologías y herramientas complementarias. Siguiendo los aportes de ECODE (2011), frente a las debilidades detectadas del enfoque han surgido otros, bien sean como adaptaciones al EML o nuevos enfoques diferentes, entre las que se destaca la Teoría del Cambio (Tutistar, BID, 2017). 18

La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional

Módulo 1

La Teoría del Cambio es una hoja de ruta que nos ayuda a planificar, desde una situación presente (línea de base), los pasos y condiciones necesarios para alcanzar una situación deseada (objetivo de desarrollo). Esto es, conocer hacia dónde queremos llegar (visión a largo plazo) para determinar los pasos y el camino que nos ha de permitir alcanzar los cambios deseados (Tutistar, BID, 2017). Una Teoría del Cambio “nos permite ordenar nuestro pensamiento y configurar de manera abstracta, a partir del conocimiento y la experiencia, aquellas condiciones necesarias para lograr el cambio deseado en un contexto determinado” (PNUD/HIVOS, 2010: 2). La TdC es una hoja de ruta que ayuda a planificar el viaje, desde un punto inicial (situación presente/línea de base) hasta donde se quiere llegar (situación deseada), respondiendo a la pregunta: “¿Cuál es el cambio que deseamos alcanzar y qué tiene que pasar para que este cambio se alcance?” (Ortiz y Rivero, 2007: 1). En la figura 5 se visualiza la relación de los componentes que, en términos generales, define los pasos metodológicos para crear una teoría del cambio. Seguidamente, se profundiza y se puntualiza en los pasos, los componentes y algunas preguntas orientadoras que servirán de guía en nuestro trabajo (Tutistar, BID, 2017).

Figura 5. Pasos metodológicos de la Teoría del Cambio. Fuente: Tutistar (2017), con datos de PNUD/HIVOS, (2010)

La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional

Módulo 1

En un primer paso se define la visión del proceso de planificación. Desde una lógica prospectiva, esta imagen representa una situación a largo plazo, teniendo en cuenta las condiciones, las relaciones entre los actores y los resultados que harán posible este cambio positivo. La Teoría del Cambio se inicia “no a partir de la identificación de un problema a ser resuelto, sino desde la visualización creativa y positiva que hacemos de una situación que se quiere alcanzar en un tiempo posterior al actual” (PNUD/HIVOS, 2010: 14). Para la elaboración de la TdC es necesario contar con una imagen viva de nuestra realidad —análisis del contexto—, esto es, un análisis del presente para proyectar una imagen de futuro, considerando el contexto de la intervención (temporal, geográfico, social, cultural, económico, político, etc.). En este punto profundizamos en dos elementos fundamentales: por un lado, se analizan los temas y condiciones (precondiciones) que queremos incorporar en el proceso de cambio, y por otro, los actores involucrados (públicos, privados, sociedad civil, etc.), así como sus actitudes, potencialidades, relaciones, influencias y capacidad de articulación. En este paso es fundamental la participación de diversos actores, integrando su identidad, sus conocimientos y experiencias —de manera horizontal e incluyente (Tutistar, BID, 2017). También es conveniente dimensionar el nivel de los cambios que se quieren emprender, bien sea a nivel personal (ejemplos: procesos de formación y capacitación individual), organizacional, que implica cambios en las relaciones (ejemplos: la generación de espacios y procesos participativos, resolución y gestión de conflictos, intercambio de buenas prácticas y experiencias), de patrones culturales (ejemplos: campañas de comunicación y sensibilización, cambios de percepción sobre el machismo, la homosexualidad, el racismo, etc.) o cambios estructurales (ejemplos: incidencia en un cambio legislativo, fortalecimiento de las veedurías ciudadanas y las políticas públicas, reducción de la pobreza, etc.). Por lo tanto, el énfasis en una dimensión u otra dependerá de la naturaleza del cambio que se desea o necesita (PNUD/HIVOS, 2010: 8).

La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional

Módulo 1

Finalmente, es pertinente considerar “las instituciones formales y no formales (políticas, marcos legales, normas, costumbres, patrones culturales, valores, creencias, normas consuetudinarias, etc.) que sostienen ese cambio deseado (PNUD/HIVOS, 2010: 15). Una visión integral de las distintas dimensiones permitirá que estos cambios deseados sean sustentables. En este sentido, es conveniente hacer el proceso de forma participativa y combinar diversas fuentes de información para el análisis del contexto, tales como una evaluación de las necesidades, documentos, evaluaciones y estudios previos sobre programas y proyectos semejantes, asesores expertos en los temas prioritarios de actuación, consultas a los representantes de los colectivos con los que queremos construir la Teoría del Cambio (comunidades, agencias de cooperación, autoridades locales, contrapartes, etc.). En los procesos de cambio… “Las personas, tanto actuando de manera individual como colectivamente, pueden producir cambios. Estos cambios han de tener un objetivo claro, que es el de empoderar a los grupos más desfavorecidos… La ayuda inclusiva incide en destacar la importancia que tienen los individuos para impulsar los cambios, lo que requiere un entorno de trabajo abierto y flexible que pueda facilitar estos cambios y, asimismo, que las personas sean conscientes de su propio potencial como actores de cambio y que aprendan a convivir con la complejidad del desarrollo” (Boni, 2010: 47).

La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional

Módulo 1

SÍNTESIS DE LA UNIDAD En esta primera unidad hemos analizado el papel de la evaluación en el contexto más actual de la Agenda de Eficacia del Desarrollo y, en especial, de la Agenda 2030. Hemos visto cómo gobiernos, agencias bilaterales de cooperación, Sistema de Naciones Unidas y bancos multilaterales de desarrollo orientan sus esfuerzos hacia resultados de desarrollo, donde la evaluación juega un papel fundamental. El Ciclo de Proyecto incluye generalmente las siguientes etapas: programación, identificación, formulación, financiamiento, ejecución, seguimiento y evaluación. Se trata de un ciclo completo y continuo de planificación-implementación-seguimiento-evaluación, en el que la evaluación debe extraer recomendaciones y lecciones aprendidas que sean aplicables en próximos ciclos. El Enfoque del Marco Lógico (EML) sigue jugando un papel crucial en la cooperación internacional, al ser la herramienta de gestión más comúnmente utilizada. Así, el EML ha permitido una homogeneización de las metodologías de proyectos de cooperación internacional. Este enfoque, con las modificaciones y actualizaciones que se adaptan a las necesidades específicas, es un instrumento de planificación, ejecución y evaluación, que ordena de forma sistemática la definición, orientación y dimensionamiento de un proyecto. El EML se divide en dos momentos fundamentales: una primera etapa comprende el análisis de involucrados, problemas, objetivos y estrategias; y una segunda etapa, la elaboración de la matriz de planificación, que es donde la idea del proyecto se convierte en un plan operativo práctico para la ejecución. Conviene advertir que esta herramienta por sí sola

La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional

Módulo 1

no es garantía de calidad ni de éxito, de ahí que se desarrollen otras metodologías complementarias y con una visión más amplia y de largo plazo, tal es el caso de la Teoría del Cambio. La Teoría del Cambio es un enfoque complementario con el EML, y permite incorporar los modelos causales en la lógica de la cooperación. La evaluación de un proyecto, siguiendo la lógica de la Teoría del Cambio, debería dar respuesta a las siguientes preguntas: ¿Qué debe cambiar para lograr desarrollo? ¿Se ha logrado el cambio? ¿En qué medida?

La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional

Módulo 1

UNIDAD II DECISIONES BASADAS EN EVIDENCIA: LA IMPORTANCIA DE LA MEDICIÓN DE RESULTADOS Y SU IMPORTANCIA EN LOS PROYECTOS Y EN LAS POLÍTICAS PÚBLICAS

Objetivo de aprendizaje n Comprender la importancia de que los resultados, metas e indicadores de un

proyecto o política pública sean medibles y evaluables.

II.1. La Línea de Base: concepto y características principales Fundamentos de la Línea de Base Una vez establecida la definición de la evaluación, y contextualizada en el contexto de la actual Agencia Internacional de Eficacia del Desarrollo y de los Objetivos de Desarrollo Sostenibles, procede adentrarse en la generación de evidencias y en la “evaluabilidad” de los proyectos y de las políticas públicas. “La Línea de Base ofrece

La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional

Módulo 1

un conjunto de evidencias y apreciaciones sobre la situación inicial de un proyecto o política pública, así como del contexto en que interviene, de manera que esa información pueda compararse con los cambios logrados en análisis posteriores. La Línea de Base se define como un conjunto de indicadores seleccionados para el seguimiento y la evaluación sistemáticos de políticas y proyectos. Representa una primera medición, que deberá contrastarse con las evidencias registradas al final del proyecto, utilizando en ambos momentos la misma metodología de medición para que los datos sean comparables” (Guía para elaboración de los estudios de línea de base de los proyectos subvencionados por la Generalitat, DG Cooperación y Solidaridad, Generalitat Valenciana, 2017).

La Línea de Base debe: a) mostrar evidencias que definan y describan a la población meta al comienzo del proyecto, b) analizar el contexto y, sobre tdo, aquellos factores exógenos que podrían interferir con los resultados esperados del proyecto, c) definir la situación inicial de los indicadores de resultados e impacto del proyecto, (Generalitat Valenciana, 2017). Podemos decir, por tanto, que el objeto de contar con una adecuada Línea de Base permitirá: n Realizar una medición de la intervención en términos de logro de resultados y

cumplimiento de los objetivos propuestos siguiendo la lógica de intervención diseñada. n Dar insumos para que la evaluación final del proyecto pueda valorar si las es-

trategias implementadas en cada una de las líneas fueron acordes a las necesidades, demandas y condicionantes externos de los grupos meta o población potencialmente beneficiaria (Generalitat Valenciana, 2017).

La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional

Módulo 1

Así pues, las Líneas de Base se configuran como una investigación orientada a lograr la “evaluabilidad” del proyecto o política pública y contribuir así a una adopción de decisiones bien informadas. Su objetivo principal es cuantificar determinados indicadores en la población meta en un momento determinado. Implica la sistemática recolección estructurada y la presentación de datos para describir y definir un contexto determinado (Generalitat Valenciana, 2017). Las Líneas de Base permiten una comparación posterior de los indicadores medidos. Para ello, es fundamental que los Indicadores Objetivamente Verificables de la Línea de Base sean precisos, claros, fácilmente verificables, no excesivamente numerosos y que sean válidos para constituir un sistema de monitoreo y de las posteriores evaluaciones que se lleven a cabo (Generalitat Valenciana, 2017). Para su ejecución, podrán contratarse los servicios de una consultora externa o realizarlo la misma entidad ejecutora del proyecto con sus recursos humanos y técnicos. Es importante diferenciar entre Diagnóstico, Línea de Base y Sistema de Seguimiento. Los tres procesos pueden contener información similar y lograda con técnicas muy cercanas en los tres casos, pero cada uno de estos procesos tiene objetivos y funciones diferentes. Así, el diagnóstico busca retratar de forma integral el contexto del proyecto, de forma previa a la identificación del proyecto, la Línea de Base supone la recolección de los indicadores que queremos medir, y que estarán insertados en la matriz de resultados o de planificación del proyecto; finalmente, el sistema de seguimiento del proyecto monitorea la evolución de los resultados definidos en la matriz de planificación. En resumen, la Línea de Base nos ayuda a orientar el análisis evaluativo de los resultados esperados del proyecto (Generalitat Valenciana, 2017).

La construcción de la Línea de Base La Línea de Base debe llevarse a cabo al comienzo del proyecto. La Línea de Base es la primera medición de los indicadores previstos en la formulación del proyecto, y

La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional

Módulo 1

consecuentemente, permite definir con precisión el “punto de partida” del proyecto. Por ello, el monitoreo y la evaluación se deben comparar con los indicadores de la Línea de Base para medir los avances, resultados y metas obtenidos (Generalitat Valenciana, 2017).

Objetivos de la Línea de Base “El objetivo principal es generar información fiable y pertinente para construir la Línea de Base (Base Cero) del proyecto de intervención. Este objetivo es la definición de parámetros de comparación antes-después para identificar y explicar los efectos del proyecto en dimensiones y variables sobre los cuales el proyecto se propone incidir” (Generalitat Valenciana, 2017).

Objetivos específicos de la Línea de Base n Identificar indicadores clave objetivamente verificables (IOV) que definen y

describen el contexto en el que va a operar el proyecto. n Identificar y seleccionar metodologías convencionales o estandarizadas que

garanticen el logro de la información requerida con relación a los indicadores clave. n Organizar una base de datos adecuada a las necesidades de información iden-

tificadas en los indicadores. n Diseñar la herramienta de medición y seguimiento de evolución de los indica-

dores incluidos en la Línea de Base. n Contribuir a la eficiencia del proyecto. n Contribuir a la buena ejecución posterior de los procesos de la ejecución de

monitoreo y evaluación, para medir los efectos generados por las actividades del proyecto. n Ser información organizada y sistematizada que pueda servir posteriormente

para una eventual reformulación del proyecto.

La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional

Módulo 1

Pese a que la Línea de Bases debe ofrecer información numérica y cuantitativa, durante su elaboración se usan metodologías tanto cuantitativas como cualitativas, a fin de lograr hallazgos rigurosos y sólidos. Esto lo analizaremos con mayor profundidad en el Módulo 3.

II.2. Los indicadores y su importancia en la generación de evidencia: los indicadores SMART Los indicadores permiten elaborar, en torno a evidencias, información que facilite la adopción de decisiones correctamente informadas. Podemos definir a un indicador de la siguiente manera (Bauer en 19662): “Los indicadores sociales (...) son estadísticas, serie estadística o cualquier forma de indicación que nos facilita estudiar dónde estamos y hacia dónde nos dirigimos con respecto a determinados objetivos y metas, así como evaluar programas específicos y determinar su impacto”. Los indicadores que compongan un proyecto deben estructurarse contemplando: (Generalitat Valenciana, 2017): 1. Indicadores de resultados, que son los que se relacionan con el objetivo y propósito de los proyectos (Línea de Base). 2. Indicadores de proceso para los componentes de los proyectos (Marco de Monitoreo y Evaluación). Para una adecuada gestión de los proyectos de cooperación, es fundamental que un indicador sea verificable de forma rigurosa. De ahí, la importancia de que el proyecto determine adecuadamente las fuentes de verificación más adecuadas y confiables para la obtención de datos. Los indicadores deben establecerse siguiendo los estánderes de indicadores SMART.

Bauer, R. Social Indicators. Cambridge: MIT Press.

La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional

Módulo 1

Para que un indicador sea SMART3 (según la Organización Internacional del Trabajo), debe ser: n Específico, reflejando con claridad los cambios que el proyecto quiere provo-

car, sin ambigüedad y evitando medir las variaciones que se deben a otras influencias (factores externos). Muchas veces esta especificidad se logra combinando más de un indicador, por lo que si uno de ellos cambia siguiendo un patrón diferente al esperado, la conclusión lógica que se derive de ello será que está siendo afectado por factores externos. Es conveniente especificar con la mayor claridad posible la población meta y su localización en el enunciado del indicador. n Mensurable, asegurándonos que la información que vayamos a precisar se

puede lograr a través de fuentes de verificación adecuadas. n Acordados o consensuados por todas las partes involucradas. Los participan-

tes esenciales en el proyecto: la agencia cooperante, las entidades públicas nacionales o municipales, donantes, las asociaciones, sindicatos, organizaciones relacionadas y grupos de beneficiarios deben consensuar una interpretación común de las distintas mediciones posibles del indicador. n Relevantes en relación con el objetivo inmediato con el que están asociados,

para que el esfuerzo de conseguir la información no sea en vano. El análisis de costo económico y de tiempo de recolección de datos son criterios clave para elegir entre dos indicadores igualmente pertinentes.

II.3. La Iniciativa de Salud Mesoamericana (ISM) como ejemplo de buena práctica basada en la evaluación de desempeño La Iniciativa Salud Mesoamérica constituye una iniciativa innovadora que fue ejecutada por el Banco Interamericano de Desarrollo (BID), en alianza con la Fundación Bill

http://white.oit.org.pe/ipec/documentos/gia_indicadores.pdf

La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional

Módulo 1

& Melinda Gates, el Instituto Carlos Slim de la Salud (ICSS) y la Agencia Española de Cooperación Internacional para el Desarrollo (AECID). Su objetivo era reducir las brechas de equidad en salud en las poblaciones en extrema pobreza. La Iniciativa se ejecutó durante un periodo de cinco años y finalizó en 2015. Las citadas entidades aportaron un total de US$142 millones para la ejecución de acciones en materia de salud reproductiva; salud materna, neonatal e infantil; nutrición materna e infantil; y vacunación.

Objetivos de la Iniciativa Tras la elaboración de un diagnóstico consensuado entre las entidades miembros de la Iniciativa y los gobiernos de Mesoamérica, cada gobierno se comprometió con el cumplimiento de una serie de metas e indicadores específicos en cuanto a desnutrición, vacunación, mortalidad y morbilidad materna e infantil. A nivel regional, la Iniciativa Salud Mesoamérica se propuso: n “Reducir en alrededor 15% promedio la mortalidad infantil en los países de la

región en el 20% más pobre”. n “Atender a cerca de 260.000 niños pobres con intervenciones de salud para

reducir la desnutrición crónica”. n “Reducir la anemia en niños menores de 2 años en 15 puntos porcentuales en

siete de los ocho países de la región”. n “Lograr que el 90% de niños menores de 2 años del quintil más pobre tengan

esquemas de vacunación completos”. n “Incrementar en el 50% los partos que se atienden con personal cualificado y

así reducir la muerte de madres y recién nacidos, entre otros”.

La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional

Módulo 1

Principios: Los principios de la Iniciativa, que fueron la clave para convertirlos en una buena práctica de proyecto basado en la generación de evidencias y en la evaluación de desempeño, fueron: 1. Equidad y focalización en la población de pobreza extrema, centrando las actuaciones en el quintil más pobre de la población, y especialmente en mujeres y niños menores de cinco años. 2. Apropiación de los países y alineación con las políticas nacionales y regionales. Los gobiernos de Mesoamérica identificaron las intervenciones que recibirían el apoyo financiero de la Iniciativa, de forma que no fueran intervenciones paralelas, sino plenamente integradas en los modelos y políticas de salud pública de cada país. 3. Impacto y enfoque basado en resultados. Se utilizó un esquema de financiamiento basado en resultados, para lo cual el establecimiento de Líneas de Base, la definición de indicadores y la medición de avances intermedios y resultados finales resultó crucial. 4. Medición y evaluación del desempeño. La medición de resultados se llevó a cabo a través de los respectivos sistemas públicos de información en salud de cada país, encuestas rápidas a los hogares para determinar la cobertura y el establecimiento de parámetros de referencia relacionados con el desempeño. Esto supone un ejemplo de buena práctica que, como veremos más adelante, tenía implicaciones financieras, ya que la Iniciativa puso un incentivo financiero ligado al logro de terminados resultados. 5. Transparencia y rendición de cuentas. Se llevó a cabo un enorme esfuerzo para que a través de la página web del BID se pudiera compartir y difundir esta buena práctica.

La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional

Módulo 1

6. Adicionalidad. El financiamiento que se otorgó no sustituyó a los recursos públicos de cada país, sino que fue adicional y complementario. 7. Coordinación con organismos regionales. Se trabajó en estrecha coordinación con el Sistema Mesoamericano de Salud Pública y el Consejo de Ministros de Centroamérica. País

Aporte de la Iniciativa Contrapartida Total por país Monto Tramo Gobierno aprobado desempeño

El Salvador

7,833,484

2,611,161

5,222,323

15,666,968

Guatemala

13,634,645

4,544,882

9,089,763

27,269,290

Panamá

2,310,336

1,732,752

3,465,504

7,508,593

Belize

750,000

375,000

750,000

1,875,000

Costa Rica

1,989,456

1,492,092

2,984,184

6,465,733

Honduras

7,500,000

3,750,000

7,500,000

18,750,000

Nicaragua

6,190,979

2,063,660

4,127,320

12,381,959

México-Chiapas

5,171,810

3,878,857

7,757,714

16,808,381

Tabla 1. Inversión combinada por país; primera y segunda operación. Fuente: inversión de la IMS combinada por países (IMS, BID, 2015)

Lo más relevante de esta Iniciativa a efectos del presente curso es que se utilizó un modelo de financiamiento innovador basado en resultados, con la creación de incentivos financieros. Así pues, los fondos de la Iniciativa invertidos en cada país fueron complementados con recursos procedentes de los respectivos presupuestos nacionales de cada país. En los casos en que se alcanzaron los resultados pactados con los diferentes gobiernos, la Iniciativa desembolsó la mitad de lo aportado por aquéllos. Para comprobar los resultados, se llevaron a cabo evaluaciones rigurosas e independientes a lo largo de la implementación de los proyectos.

La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional

Módulo 1

Financiamiento basado en resultados y desempeño Una de las claves de esta Iniciativa es que utilizó un “modelo de financiamiento innovador basado en resultados. En el modelo de financiamiento basado en resultados se combinaron recursos financieros y las evaluaciones rigurosas e independientes para modificar los incentivos de los administradores de los programas de salud. Una parte del financiamiento se desembolsó después de que los gobiernos alcanzaran los resultados previstos en materia de cumplimiento de la cobertura o las metas asociadas a la calidad de los servicios de salud prestados” (IMS, BID, 2015).

Figura 6. Modelo de financiamiento de la IMS (BID, 2015). En este esquema de trabajo, una de las claves ha sido la incorporación de mecanismos altamente rigurosos para llevar a cabo un seguimiento del desempeño. Tramo de inversión Son los recursos aportados por las donaciones, que están destinados a sufragar una parte de los insumos y actividades necesarias para lograr los objetivos propuestos para cada operación. Tramo de desempeño 1)

“El tramo de desempeño fue igual al 50 por ciento de la contribución del país.

Los fondos se desembolsaron únicamente en los casos en que se alcanzaron las metas previamente definidas y consensuadas con cada país.

Se realizó una línea base para determinar los tiempos de cobertura.

Se hizo una definición conjunta de los indicadores.

Se llevó a cabo una medición independientemente los resultados”. 33

La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional

Módulo 1

SÍNTESIS DE LA UNIDAD La Línea de Base es una referencia inicial que marca el estado de los indicadores contemplados en la formulación de un proyecto de cooperación o de una política pública, estableciendo el punto de partida del contexto en que se va a implementar un proyecto o política pública. Así pues, un Estudio de Línea de Base es una investigación orientada a lograr la “evaluabilidad” del proyecto o política pública y contribuir así a una adopción de decisiones bien informadas. Su objetivo principal es cuantificar determinados indicadores en la población meta en un momento determinado. Implica la sistemática recolección estructurada y la presentación de datos para describir y definir un contexto determinado. Por su parte, los Indicadores de un proyecto son clave para elaborar, en torno a evidencias, información que nos permita monitorear el avance de un proyecto o política pública y adoptar decisiones adecuadamente informadas. Las características que los indicadores de un proyecto deben cumplir para ser considerados “SMART” (según los estándares definidos por la OIT) son: 1) específicos, medibles (o mensurables), acordados (o consensuados); y relevantes. Sin una buena Línea de Base y sin unos buenos Indicadores, no es posible pensar en una evaluación de ningún proyecto o política pública. Un magnífico ejemplo de iniciativa de cooperación internacional basada en la evaluación de desempeño lo constituye la Iniciativa Mesoamericana de Salud (IMS), ya que una parte de su financiación se otorga a los países mesoamericanos únicamente si se logran alcanzar las metas acordadas con los gobiernos de dichos países. Para ello, la Iniciativa se ha dotado de rigurosos mecanismos de seguimiento y evaluación, a fin de poder analizar de forma independiente si se dan o no las condiciones necesarias para acceder al tramo de financiación adicional, que supone, por tanto, un incentivo positivo para impulsar el buen desempeño de la Iniciativa. 34

La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional

Módulo 1

UNIDAD III ¿QUÉ TIPOS DE EVALUACIÓN EXISTEN?

Objetivo de aprendizaje n Distinguir las diferentes tipologías de evaluación existentes.

Existen numerosos criterios para clasificar las evaluaciones. A continuación, se muestra una clasificación utilizando los criterios más comunes, de forma que sea de utilidad a la hora de analizar las ventajas y limitaciones que cada una de ellas ofrece. Se ha optado por la clasificación realizada en la publicación “Manual de Gestión de las Evaluaciones de la Cooperación Española” (MAEC, 2007). De estas clasificaciones se deriva, en todo caso, la importancia de que la evaluación cumpla con los principios de imparcialidad, independencia, transparencia, credibilidad, utilidad, aprendizaje, calidad, participación y eficacia en términos de costos.

La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional

Módulo 1

Tabla 2. Tipologías de evaluaciones (DGPOLDE, MAEC, 2007).

III.1. Las evaluaciones según su contenido Según el contenido de las evaluaciones o las etapas de la intervención que se analizan se pueden gestionar los siguientes tipos de evaluaciones: 1. Evaluación de diseño: Evalúan la racionalidad y la coherencia del proyecto o política pública, verifican la calidad y analizan el diagnóstico realizado, constatando la existencia de objetivos claramente definidos, analizan su correspondencia con los problemas y examinan la lógica del modelo de intervención diseñado. 2. Evaluación de proceso o de gestión: “Valoran cómo un objetivo se gestiona y aplica la AOD en sus diferentes formatos y niveles de planificación. Se trata de analizar la capacidad de los centros de planificación y gestión de la intervención en relación con su diseño, aplicación, seguimiento y evaluación, y de examinar la implicación y coordinación de los centros gestores, de donantes y receptores, en dichas tareas, determinando el rol de cada uno, la

La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional

Módulo 1

idoneidad de la organización y la suficiencia en la dotación de recursos” (“Manual de Gestión de las Evaluaciones de la Cooperación Española”, MAEC, 2007). 3. Evaluación de resultados: Este tipo de evaluación busca analizar y “valorar hasta qué punto se pueden conseguir, se están consiguiendo o se han conseguido, los objetivos más inmediatos y directos establecidos (eficacia), y examinar a qué coste se alcanzan en términos de tiempo y recursos humanos, materiales y monetarios (eficiencia)” (“Manual de Gestión de las Evaluaciones de la Cooperación Española”, MAEC, 2007). 4. Evaluación de impactos: Este tipo de evaluación busca valorar los efectos más generales y menos inmediatos de la intervención sobre las necesidades de sus beneficiarios. Es un análisis profundo e integral, pues se adentra en las relaciones de causalidad entre la intervención y los cambios habidos (efecto neto), desligándolos de los efectos producidos por intervenciones distintas a la evaluada o por la propia evolución del contexto. Por ello, este tipo de evaluación no puede hacerse inmediatamente tras la finalización del proyecto, siendo además oportuno diferenciar entre resultados (que suponen la realización de las actividades del proyecto) de impacto (referido a los cambios de largo plazo en la vida de la población meta del proyecto).

III.2. Las evaluaciones según cuándo se lleven a cabo 1) Evaluación ex ante: Es la evaluación que se lleva a cabo antes del arranque del proyecto. Busca analizar su grado de adecuación a las necesidades que la motivan y contribuir a un adecuado pronóstico sobre sus posibilidades de éxito. Un segundo objetivo de este tipo de evaluación es analizar la coherencia interna de la lógica de planificación, la funcionalidad de los mecanismos de gestión y aplicación que se pretenden articular sobre la idoneidad del sistema de seguimiento diseñado para recoger la información, y sobre los resultados e impactos previsibles del programa. Es, en definitiva, una evaluación

La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional

Módulo 1

prospectiva. Las agencias de cooperación la suelen llevar a cabo en base a la formulación del proyecto presentado para decidir financiar o no el mismo. 2) Evaluación intermedia: Este tipo de evaluación se lleva a cabo en el ecuador de la implementación del proyecto. Realiza una valoración crítica sobre la pertinencia de los objetivos, la gobernanza del proyecto, su sistema de monitoreo, el modo en que los objetivos perseguidos se están consiguiendo y, en definitiva, pronunciarse sobre la validez de la intervención en curso, explicando

las

diferencias

respecto

esperado

estimando

anticipadamente los resultados finales de la intervención. 3) Evaluación ex post: Este tipo de evaluación “se implementa una vez el proyecto ha concluido su ejecución. Su objetivo es valorar el nivel de éxito o fracaso del proyecto implementado, el acierto de la estrategia diseñada, su grado de flexibilidad y capacidad de adaptación a una realidad siempre cambiante, su eficacia y eficiencia, la adecuación de los mecanismos de gestión y seguimiento aplicados, y los resultados e impactos logrados. Para este tipo de evaluaciones es preciso que exista un periodo de tiempo tras la conclusión del proyecto, a fin de que puedan visualizar los impactos y efectos más indirectos. Es importante diferenciar entre evaluación final (realizada nada más terminar la intervención) y evaluación ex post (realizada en un momento posterior). Ambas son evaluaciones retrospectivas. En realidad, las evaluaciones ex ante, intermedia y ex post no son propiamente una tipología de evaluaciones, sino una forma de clasificarlas en función del momento en que se ejecuten. Sin embargo, es habitual asociar el momento en que se desarrolla la evaluación con la etapa de la intervención, y cometer el error de interpretar que en las evaluaciones ex ante solamente se valora el diseño de la intervención, en las intermedias, el proceso y los resultados que se están alcanzando, y en las ex post, los resultados e impactos finales. Es verdad que las evaluaciones ejecutadas ex ante acostumbran a centrar su atención en analizar la pertinencia del diagnóstico y la coherencia interna y externa de la estrategia. Por su parte, en una evaluación intermedia se podrá evaluar,

La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional

Módulo 1

además del proceso de gestión del proyecto, la calidad de su diseño, o revisar los resultados y objetivos previstos. Por ello, cuando finalicen las actividades planificadas, puede plantearse una evaluación ex ante en la que, además de los resultados obtenidos, se analicen el diseño y el desarrollo del proyecto. Así, los criterios que clasifican a las evaluaciones en función de cuándo se lleven a cabo y según su contenido no son excluyentes. Las evaluaciones ex ante, intermedia y ex post pueden englobar todos los tipos de evaluación contemplados en la clasificación según su contenido (diseño, proceso, resultados e impactos). De este modo, la perspectiva que clasifica la evaluación según su contenido amplía la interpretación de la evaluación como una fase independiente de la intervención, para definirla como una “filosofía” o “cultura” que debe imbuir todas y cada una de las etapas de su ciclo de vida. Como conclusión, podemos afirmar que el diseño y planificación de la evaluación deben gestarse desde el comienzo de los proyectos, a fin de que pueda contribuir a mejorar los procesos de aprendizaje y capacitación institucional. Es decir, se debe planificar pensando en evaluar (al igual que se debe evaluar pensando en planificar). Así, planificación y evaluación se convierten en procesos interrelacionados que caminan a la par” (MAEC, 2007).

III.3. Las evaluaciones según quién las realiza En función de la relación entre las entidades que gestionan la intervención y quienes realizan la evaluación se puede diferenciar entre evaluaciones internas o autoevaluaciones, evaluaciones externas y evaluaciones mixtas (internas asistidas). 1) Internas o autoevaluaciones: Son aquellas evaluaciones implementadas por personal propio de la entidad gestora del proyecto que se evalúa, organizado o no en una unidad de evaluación, sin la contratación de especialistas externos. Su mayor ventaja es que son los que mejor conocen el proyecto a evaluar,

La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional

Módulo 1

aunque, por el contrario, su mayor debilidad es el elevado riesgo de que la evaluación lleve un sesgo importante que cuestione su credibilidad. 2) Externas: Son aquellas evaluaciones llevadas a cabo por personal externo a la entidad gestora del proyecto evaluado. Su principal ventaja es que suele ser más objetiva que la anterior, al evitar los riesgos de posibles sesgos que podrían aportar a la evaluación los directamente involucrados en el proyecto y, por tanto, suele generar mayor credibilidad. Una evaluación externa independiente suele ser la que exigen las agencias de cooperación financiadoras de intervenciones de cooperación. 3) Mixtas (o internas asistidas): Son aquellas evaluaciones ejecutadas por personal vinculado organizativamente al proyecto evaluado con una asistencia técnica externa, para que oriente el proceso o desarrolle el trabajo de evaluación sobre el terreno. Está siendo cada vez más considerada y utilizada, ya que combina credibilidad y objetividad con el mejor conocimiento posible del contexto y las particularidades de la ejecución del proyecto, lo que garantiza la adecuación del proceso de evaluación a la realidad. Pero, además, genera mayor apropiación del aprendizaje y las recomendaciones que la evaluación genera y, por tanto, garantiza mejores condiciones para que sean incorporadas en la intervención.

III.4. Las evaluaciones según las entidades que la promueven En función del número de entidades que promueven la evaluación, podemos diferenciar entre: 1) Individuales: Son las evaluaciones impulsadas por solo una entidad. 2) Conjuntas: Son aquellas evaluaciones impulsadas por un conjunto de entidades que colaboran durante todo o parte del ciclo de la evaluación. Las pautas definidas en la Agenda Internacional y en las cumbres y foros de alto nivel fomentan y animan la coordinación y armonización de esfuerzos entre 40

La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional

Módulo 1

donantes. La Agenda 2030 reconoce que los objetivos de desarrollo sólo pueden lograrse mediante alianzas estratégicas, y es ahí donde alcanzan máxima relevancia las evaluaciones conjuntas. Este tipo de evaluaciones se implementan en el marco de una alianza, por lo que son impulsadas por más de una entidad vinculada con la cooperación. El diseño de la evaluación, la coordinación de los trabajos y la comunicación e incorporación de las recomendaciones se llevan a cabo de forma conjunta. Como desventaja para este tipo de evaluaciones, cabe señalar que su diseño y desarrollo suele ser más complejo, lento y costoso que el de una individual, por varias razones. Primero, porque puede que la propia creación de la alianza sea compleja por la dificultad de encontrar a otro donante interesado en su evaluación. En segundo lugar, los miembros de dicha alianza pueden tener procedimientos diferentes, lo que conlleva que todo lo relativo a la elaboración de los términos de referencia, el proceso de difusión/invitación, selección y contratación de la entidad evaluadora sea aceptado por todos los miembros de la alianza, los consensos sobre la distribución de costes y responsabilidades, la elaboración de comentarios al borrador de informe de evaluación, etc., hacen que los plazos y procedimientos sean más largos y complejos hasta lograr un consenso entre todos los involucrados en la evaluación. No obstante, tal y como establece la Red de Evaluación del CAD, sus beneficios también pueden ser mayores de cara al aprendizaje y a la apropiación de sus resultados, ya que: n “Son un escenario adecuado para la armonización y el alineamiento de

los procesos de evaluación, favoreciendo el aprendizaje de modelos de evaluación y buenas prácticas de otros actores. n Reducen el número de evaluaciones llevadas a cabo, reduciendo con

ellos los costes de transacción (al compartir gastos) y de las demandas de información en los países receptores de la AOD (evitando la duplicidad de esfuerzos).

La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional

Módulo 1

n Fomentan la participación, la construcción mutua de capacidades y favo-

recen el consenso entre los miembros de la alianza que gestiona la evaluación. n Incrementan la aceptación y legitimidad de los resultados y recomenda-

ciones.” (González, J. A. y Osuna, J. L. (2007)) Las siguientes indicaciones pueden ayudar a decidir sobre la oportunidad y pertinencia de poner en marcha un proceso de evaluación conjunta: n “Cuando existe un interés compartido por el objeto de evaluación, por

ejemplo, cuando se trata de evaluar una intervención cofinanciada por más de un donante, o se quiere realizar una evaluación temática. n Cuando se quiera incrementar la armonización y alineamiento del pro-

grama de trabajo con otros donantes o con el país socio. n Cuando existen acciones similares o complementarias sobre un mismo

territorio, colectivo o sector de actuación. n Cuando el objetivo de la evaluación es valorar la consecución de obje-

tivos globales de desarrollo (sectoriales o temáticos en un país concreto) y no determinar exclusivamente los objetivos atribuibles a una intervención determinada. n Cuando es necesario generar una masa crítica suficiente y pertinente

de pequeñas intervenciones para que su evaluación sea viable. En la siguiente tabla se presentan algunos de los elementos a considerar para elegir entre una evaluación individual o conjunta”. (González, J. A. y Osuna, J. L. (2007).)

La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional

Módulo 1

Tabla 3. Evaluación individual y evaluación conjunta. Manual de Gestión de Evaluaciones de la Cooperación Española (MAEC, 2007).

III.5. Las evaluaciones según su contenido En función del nivel de planificación que es objeto de evaluación se distingue entre: 1) De estrategias: “Este tipo de evaluaciones tienen por objeto una política, plan o estrategia general de actuación, entendida ésta como un conjunto de directrices y principios que orientan la aplicación, en determinado territorio, sector o periodo de tiempo, de un conjunto de intervenciones de carácter más operativo. Estas evaluaciones se focalizan en la coherencia estratégica de la intervención en el sistema de ayuda: su pertinencia, armonización con otros donantes, alineamiento con las estrategias de desarrollo de los países receptores, apropiación de los procesos de desarrollo y contribución al logro de los ODS. Se pueden realizar tomando como insumos los resultados de las evaluaciones de las intervenciones de carácter más operativo integradas en la estrategia. Sus aprendizajes son de carácter general y son susceptibles de ser extrapolados a otros contextos y a políticas generales”. 2) De instrumentos operativos: “Estas evaluaciones se centran en intervenciones más operativas que las anteriores. Suelen apuntar hacia temas vinculados con la

La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional

Módulo 1

implementación del proyecto (eficacia, eficiencia, pertinencia), pero también estudian la coherencia externa con los marcos más amplios de planificación. Sus aprendizajes y recomendaciones suelen tener un elevado nivel de concreción, y pueden retroalimentar la gestión de la propia intervención o transformarse en buenas prácticas transferibles a otros proyectos o a la planificación de próximos proyectos”. (MAEC, 2007).

III.6. Las evaluaciones de la evaluación: las metaevaluaciones “Además de los tipos de evaluación anteriormente citados, es necesario indicar que la propia evaluación puede ser igualmente evaluada, lo que llamamos metaevaluación. Así, las metaevaluaciones analizan la calidad técnica y metodológica del proceso evaluativo, ofreciendo indicaciones sobre las estrategias de evaluación seguidas, su idoneidad en relación con el objeto evaluado y los propósitos e intereses a los que sirve. Por tanto, la metaevaluación cumple dos funciones: una normativa (describir cómo debe ser la evaluación), y otra positiva (describir cómo son las evaluaciones)” (MAEC, 2007).

III.7. Las evaluaciones participativas Aun reconociendo que ha habido un importante avance en las últimas décadas en la incorporación paulatina de la evaluación como parte de la cultura organizacional en el ámbito de la cooperación al desarrollo, no se puede desconocer que sigue generando temores en muchos casos. Las razones son variadas y van desde verla restrictivamente como una mera herramienta de control del desempeño, a pensar que generará mayores responsabilidades o a que es un mero trámite en el que en realidad no seremos tenidos en cuenta. Las evaluaciones participativas ayudan a contrarrestar el rechazo y las resistencias, poniendo el énfasis en el aprendizaje y empoderamiento de los involucrados.

La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional

Módulo 1

Como ya se ha mencionado en módulos anteriores, el enfoque participativo es de consenso en el ámbito de la cooperación al desarrollo, dado que facilita los principios de asociación, apropiación y fortalecimiento organizativo, propósitos transversales de la cooperación al desarrollo. Y las evaluaciones no son ajenas a ello. No tendría lógica involucrar a las personas beneficiarias en las etapas de identificación y formulación del proyecto y no hacerlo en la evaluación del mismo (Fernández, BID, 2017). Las evaluaciones participativas son aquellas en las que los protagonistas son las personas beneficiarias del proyecto y, para ello, participan en el diseño, el desarrollo y el proceso de utilización de sus resultados. La vinculación de la población beneficiaria en la etapa de evaluación contribuye al aprendizaje, la apropiación y el empoderamiento de la misma, así como a la sostenibilidad del proyecto.

SÍNTESIS DE LA UNIDAD La evaluación debe estar orientada a la utilidad, ser sistemática, útil, flexible, basarse en evidencias, establecer relaciones de causalidad y satisfacer las necesidades de información de todos los involucrados. Las evaluaciones pueden ser de diferentes tipos, de acuerdo a: 1. Su contenido u objeto (pueden ser de diseño, de proceso, de resultados, de impacto o metaevaluaciones, es decir evaluaciones de evaluaciones); 2. Según el momento en el que se realizan (ex ante, intermedia, final o ex post); 3. Según quién las realice (internas o autoevaluaciones, externas o mixtas); 4. Según las entidades que las promuevan (individuales, conjuntas, siendo estas últimas mucho más complejas pero mucho más representativas de los esfuerzos de partenariados que presiden la Agenda Internacional de Eficacia del Desarrollo actual); 5. Según su temática (de estrategias, de instrumentos operativos).

La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional

Módulo 1

En todo caso e independientemente de la tipología que se considere más adecuada en cada caso, la tendencia es a que las evaluaciones sean participativas dado que contribuyen al aprendizaje, la apropiación y el empoderamiento de los involucrados, así como a la sostenibilidad del proyecto. Las evaluaciones participativas son aquellas en las que las personas beneficiarias del proyecto se involucran en las diferentes etapas del proceso de evaluación (diseño, desarrollo y utilización de sus resultados) de manera conjunta con la entidad ejecutora del proyecto y, en su caso, el equipo evaluador.

La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional

Módulo 1

UNIDAD IV ¿QUÉ DEBEMOS EVALUAR? LOS ASPECTOS CLAVE EN UNA EVALUACIÓN: EFICACIA, EFICIENCIA, PERTINENCIA, IMPACTO Y SOSTENIBILIDAD

Objetivos de aprendizaje n Estructurar/delinear los aspectos claves a evaluar en un proyecto o política pú-

blica. Cinco son los criterios más comúnmente aceptados para acometer la evaluación de un proyecto de cooperación al desarrollo: eficacia, eficiencia, pertinencia, sostenibilidad e impacto. Vamos a analizar en profundidad qué es cada uno de ellos y a qué preguntas de evaluación tienen que dar repuesta (Fernández, BID, 2017).

La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional

Módulo 1

IV.1. Pertinencia Considera la adecuación de los objetivos y resultados al contexto donde se realiza la intervención (relación entre necesidades de la población, institucionales, etc.). Estudia la calidad del diagnóstico que sustenta el proyecto y su correspondencia con las necesidades que se manifiestan en la población objetivo y en el diseño del proyecto. Responde a la pregunta ¿es conveniente mantener, modificar o abandonar la línea de trabajo trazada?

IV.2. Eficacia Mide el nivel de alcance de los objetivos y resultados de un proyecto en una población objetivo (beneficiaria) y en un periodo temporal determinado en función de las actividades previstas o ejecutadas, es decir, valora la intervención en función de su orientación a resultados de desarrollo (sin considerar los costes). Responde a la pregunta: ¿se han alcanzado los objetivos y resultados propuestos?

IV.3. Eficiencia Valora los resultados esperados o alcanzados en función de los recursos (financieros, materiales, técnicos y humanos) previstos o utilizados, en la búsqueda de una combinación óptima de éstos. Responde a la pregunta: ¿qué resultados se han logrado y con qué medios?

IV.4. Impacto Se refiere a los efectos positivos y negativos, esperados y no esperados, directos e indirectos atribuibles al proyecto generado en su entorno.

La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional

Módulo 1

Responde a la pregunta: ¿contribuye el proyecto al logro del objetivo?

IV.5. Sostenibilidad Mide la probabilidad de mantener los impactos positivos del proyecto a lo largo del tiempo de manera autónoma, es decir, una vez terminado éste. Dependerá en gran medida del cumplimiento de los criterios anteriores, pero también de que se hayan potenciado factores clave de desarrollo (sociales, institucionales, culturales, técnicos, financieros) y el nivel de apropiación alcanzado por la comunidad o población objetivo de la intervención. Responde a la pregunta: ¿se mantienen los beneficios del proyecto una vez retirada la ayuda externa? En la tabla 4 se relaciona cada uno de los criterios de evaluación con los elementos de la lógica de intervención sobre los que se focaliza cada uno de ellos.

OBJETIVO ESPECÍFICO RESULTADOS

ACTIVIDADES

RECURSOS

Tabla 4. Criterios de evaluación y lógica de intervención. Fuente: MAE-SECIPI (2001). Metodología de gestión de evaluaciones de la cooperación española.

EFICIENCIA

OBJETIVO GENERAL

EFICACIA

IMPACTO

LÓGICA DE INTERVENCIÓN

PERTINENCIA

SOSTENIBILIDAD

CRITERIOS /

La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional

Módulo 1

En algunas evaluaciones es necesario complementar el análisis de estos criterios con otros aspectos relativos al proyecto. Para ello podemos echar mano a criterios complementarios, como son: n Coherencia: analiza si existe una adecuada relación entre los problemas identi-

ficados y la estructura del proyecto. n Apropiación: se refiere al liderazgo de los países socios en relación a su agenda

de desarrollo y la coordinación de la cooperación para tal fin. n Alineamiento: hace referencia a la adopción por parte del donante de la

agenda, políticas y procedimientos establecidos por el país receptor. n Armonización: valora el nivel de coordinación entre donantes para evitar dupli-

cidades y aprovechar sinergias, diferenciando roles en función de ventajas comparativas y armonizando procedimientos. n Participación: analiza la implicación de todos los actores vinculados al proyecto

en el proceso de evaluación. n Cobertura: focaliza su atención en el análisis del colectivo meta de la interven-

ción en relación a si ésta era adecuada para ellos o existieron barreas de acceso. A continuación, vamos a exponer algunas preguntas orientadoras para cada criterio de evaluación. Son preguntas que nos debemos formular en el momento de diseñar la evaluación y a las que esperamos que ésta dé respuesta (Fernández, BID, 2017). PERTINENCIA: Preguntas referidas a la adecuación de la intervención al contexto. ¿Se corresponde la intervención con las prioridades y necesidades de la población beneficiaria? ¿Han cambiado las prioridades de los beneficiarios desde la definición de la intervención? En caso afirmativo, ¿se ha adaptado la intervención a dichos cambios? ¿Han cambiado las prioridades de desarrollo del país receptor o del área de influencia? ¿Han cambiado las prioridades de la Cooperación Española para el Desarrollo? EFICIENCIA: Preguntas referidas a la asignación óptima de los recursos del proyecto.

La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional

Módulo 1

¿Se han respetado los presupuestos establecidos inicialmente en el documento? ¿Se han respetado los cronogramas y tiempos previstos? ¿Ha sido eficiente la transformación de los recursos en los resultados? ¿En qué medida la colaboración institucional y los mecanismos de gestión articulados han contribuido a alcanzar los resultados de la intervención? EFICACIA: Preguntas referidas al grado de consecución de los objetivos. ¿Se han alcanzado todos los resultados previstos de la intervención? ¿Se ha alcanzado el objetivo específico de la intervención? ¿Se han logrado otros efectos no previstos? ¿Han encontrado dificultades los destinatarios para acceder a las actividades de la intervención? IMPACTO: Preguntas referidas a los efectos globales de la intervención. ¿Ha contribuido la intervención a alcanzar el objetivo global propuesto? ¿Se ha logrado un impacto positivo sobre los beneficiarios directos considerados? ¿Se han producido impactos positivos no previstos sobre los beneficiarios? ¿Se han producido impactos negativos no previstos sobre los beneficiarios? ¿Se han realizado actividades dirigidas a la sensibilización sobre el objeto de intervención en España y en el país receptor? VIABILIDAD: Preguntas referidas a la sostenibilidad futura de la intervención. ¿Se mantienen los beneficios de la intervención una vez retirada la ayuda externa? ¿Se siguen generando los recursos necesarios para el mantenimiento de las actividades? ¿Se ha influido positivamente sobre la capacidad institucional? ¿Cómo se han contemplado las prioridades horizontales? ¿Se ha beneficiado a los colectivos más vulnerables? ¿Se ha actuado sobre la desigualdad de género? ¿Se ha promovido un progreso tecnológicamente apropiado? ¿Se ha velado por la protección del medio ambiente? COHERENCIA: Preguntas referidas a la idoneidad de la estructura interna de la intervención y a su complementariedad con otras intervenciones. ¿Se corresponden los problemas identificados con los objetivos propuestos? ¿Se ha definido correctamente la estructura de objetivos, resultados y actividades de la intervención? ¿Son adecuadas las actividades programadas para lograr los objetivos de la intervención? ¿Complementa la intervención a otras estrategias o programas aplicados en el mismo territorio,

La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional

Módulo 1

sector o población objetivo por la acción exterior del Estado español, la Cooperación Española, otros donantes y el país socio? ¿Se aprovechan las posibles sinergias que se puedan establecer entre estos programas y la intervención? APROPIACIÓN: Preguntas referidas al liderazgo de los socios locales. ¿En qué medida han participado las instituciones locales en el diseño de la intervención? ¿En qué medida participan las instituciones locales en la aplicación y gestión de la intervención? ¿En qué medida participan las instituciones locales en el seguimiento de la intervención? ¿En qué medida participan las instituciones locales en la evaluación de la intervención? ¿En qué medida han participado los beneficiarios en todo el proceso? ALINEAMIENTO: Preguntas referidas a la asimilación de estrategias y procedimientos locales. ¿Se adaptan los procedimientos presupuestarios y administrativos de la intervención a los de las instituciones locales? ¿Se han tenido en cuenta las estrategias y programas de desarrollo del país socio? ¿La intervención incluye medidas específicas para fortalecer las capacidades de las instituciones locales? ¿Se ha logrado? ¿En qué medida las entidades ejecutora y donante de la intervención han sido transparentes con las instituciones y los socios locales? ARMONIZACIÓN: Preguntas referidas a la coordinación entre actores donantes. ¿Existen otras entidades gestoras y organismos donantes que operen en el mismo territorio, sector o población objetivo? ¿Se han establecido mecanismos de coordinación con estas entidades? ¿De qué tipo? ¿A qué ámbitos alcanzan? ¿Qué resultados ha tenido esta coordinación? PARTICIPACIÓN: Preguntas referidas al papel asignado a los beneficiarios. ¿Se ha delimitado claramente quiénes van a participar en el proyecto, y cómo? ¿Qué actores han participado en cada fase de la intervención? ¿En qué medida? ¿Han sido eficaces los canales de participación establecidos? ¿La intervención incluye medidas específicas orientadas al empoderamiento de las personas beneficiarias y las organizaciones locales? ¿Se ha logrado este empoderamiento?

La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional

Módulo 1

COBERTURA: Preguntas referidas a los colectivos atendidos. ¿Las actuaciones desarrolladas en la intervención han alcanzado a todos los colectivos destinatarios? ¿Se han establecido mecanismos para facilitar a los beneficiarios el acceso a los servicios de la intervención? ¿Son diferentes los colectivos atendidos con respecto a los identificados durante el diseño de la intervención? ASPECTOS METODOLÓGICOS: Otras preguntas relacionadas con la intervención. ¿Ha sido correcta la formulación de la intervención según el EML? ¿Ha sido útil el sistema de indicadores predefinido? ¿Han sido bien identificadas las fuentes de verificación? ¿Han sido apropiados los métodos de recopilación y análisis de los datos? ¿Han sido útiles las conclusiones de los trabajos de evaluación previa? ¿Han sido correctamente identificados los factores externos? ¿Han evolucionado dichos factores conforme a lo previsto? ¿Se ha producido información suficiente para la evaluación?

Tabla 5. Preguntas de evaluación. Fuente: González, J. A. &yOsuna, J. L. (2007). Manual de gestión de evaluaciones de la cooperación española. Aprender para mejorar. Ministerio de asuntos exteriores y cooperación.

Las preguntas del siguiente cuadro han sido elaboradas por la Cooperación Española. Nos sirven por tanto como orientación, pero, para cada caso, deberán adaptarse a las particularidades de la evaluación que se vaya a realizar de acuerdo a las necesidades de información de cada uno de los actores vinculados a la misma.

SÍNTESIS DE LA UNIDAD De acuerdo a la metodología del EML, los cinco criterios de evaluación de un proyecto de cooperación al desarrollo son pertinencia, eficacia, eficiencia, sostenibilidad e impacto. Y otros criterios complementarios que suelen utilizarse son coherencia, apropiación, alineamiento, armonización, participación y cobertura. Cada uno de ellos abarca diferentes ámbitos complementarios entre sí y cada evaluación definirá por tanto

La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional

Módulo 1

en su etapa de diseño en cuáles de ellos pone el énfasis, de acuerdo a las necesidades de información que se identifiquen en cada caso. Para cada criterio se establecen preguntas orientadoras que faciliten acotar su ámbito y alcance. La pertinencia analiza la adecuación de los objetivos y resultados al contexto donde interviene el proyecto. La eficacia mide el nivel de alcance de los objetivos y resultados de un proyecto en una población meta y periodo de tiempo determinado. La eficiencia mide, adicionalmente, los recursos empleados para el logro de los objetivos y resultados. Por su parte, el impacto mide los efectos positivos y negativos, esperados y no esperados, directos e indirectos del proyecto. Finalmente, la sostenibilidad mide la probabilidad de que los efectos positivos se mantengan en el tiempo.

La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional

Módulo 1

Referencias y bibliografía n Agenda de Acción de Addis Abeba. Tercera Conferencia Internacional sobre la

Financiación para el Desarrollo. Asamblea General de las Naciones Unidas. 27 de julio de 2015. Disponible en: http://unctad.org/meetings/es/SessionalDocuments/ares69d313_es.pdf [consultado el 15 de diciembre de 2016]. n Alianza de Busan para la Cooperación Eficaz al Desarrollo. Cuarto foro de alto

nivel sobre la eficacia de la ayuda al desarrollo. Busan, Corea. 29 de noviembre1 de diciembre de 2011. Disponible en: https://www.oecd.org/dac/effectiveness/49650200.pdf [consultado el 15 de diciembre de 2016]. n Banco Interamericano de Desarrollo (1997). Evaluación: Una herramienta de

gestión para mejorar el desempeño de los proyectos. Oficina de Supervisión y Evaluación, Estados Unidos. n Banco Interamericano de Desarrollo (2015). Gestión de Proyectos de Desarrollo.

Rodolfo Siles, PMP y Ernesto Mondelo, PMP. n Boni, Boni, A. (2010). El sistema de la cooperación internacional al desarrollo:

evolución histórica y retos actuales. En Calabuig, C., y De Los Llanos, M. (Eds.). La cooperación internacional para el desarrollo, Cuadernos de cooperación al desarrollo, 1. Universidad Politécnica de Valencia, España. Recuperado de: http://www.upv.es/upl/U0566378.pdf [consultado el 3 de enero de 2017]. n Breve introducción a la evaluación en la Cooperación al Desarrollo, disponible en

http://www.portal-dbts.org/3_herramientas/evaluacion/0611_mosangini_introduccion_cast.htmlAPC (2012b). n Comité de Ayuda al Desarrollo (CDA) (1995). Principios del CAD para una Ayuda

eficaz. n Comisión Europea (2004). Líneas directrices Gestión del Ciclo del Proyecto. Ma-

nual de Gestión del Ciclo del Proyecto. Oficina de Cooperación EuropeAid. n CE (2001). Manual de Gestión del Ciclo del Proyecto. Disponible en:

http://www.centrourbal.com/sicat2/documentos/36_20065171532_PU-mp1spa.pdf

La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional

n Declaración

Módulo 1

de París sobre eficacia de la ayuda. Disponible en:

http://www.oecd.org/dac/effectiveness/34580968.pdf n Estándares de calidad para la evaluación del desarrollo. Comité de Ayuda al

Desarrollo de la OCDE, 2010. Disponible en https://www.oecd.org/dac/evaluation/dcdndep/46297655.pdf n Fernández, Begoña, BID (2017), Curso de gestión de proyectos de cooperación

internacional. n Gairín Salán, J. (1997). La planificación y el desarrollo de planes. En Gairín, J. y

Ferrández, A. (eds.). Planificación y gestión de instituciones de formación. Recuperado

de:

http://www.uned.es/ca-bergara/ppropias/docs/Euska-

rriak/2PIPa/elementos%20de%20planificacion.pdf. n Generalitat Valenciana (2014). Guía para la elaboración de los estudios de Línea

de Base de los proyectos subvencionados por la Generalitat Valenciana. Servicio de Cooperación. Unidad de Seguimiento y Evaluación. Recuperado de: http://www.bsocial.gva.es/documents/610754/161429313/GUIA+DE+LINEA+DE+BASE_(DEF)_2015.pdf/205bed0b-c7f0-47cf-ba58-1dc4e029b2b9. n Gómez Galán, M. y Cámara, L. (2003). Orientaciones para la aplicación del enfo-

que de marco lógico: Errores frecuentes y sugerencias para evitarlos. CIDEAL, Madrid. Recuperado de: http://biblioteca.hegoa.ehu.es/system/ebooks/13231/original/Orientaciones_para_la_aplicacion_del_enfoque_del_marco_logico.pdf. n Gómez, L. G. (2005). La evaluación en la gestión de proyectos y programas de

desarrollo: una propuesta integradora en agentes, modelos y herramientas. n González, J. A., y Osuna, J. L. (2007). Manual de gestión de evaluaciones de la

cooperación española. Aprender para mejorar. DGPOLDE. Ministerio de Asuntos Exteriores y Cooperación, disponible en http://www.xn--cooperacionespaola10b.es/sites/default/files/manualdegestiondeevaluaciones.pdf n González Gómez, L. (2008). Guía para la gestión de proyectos de cooperación

al desarrollo. Antioquía. Hegoa, disponible en http://publicaciones.hegoa.ehu.es/uploads/pdfs/119/Guia_para_la_gestion.pdf?1488539268

La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional

Módulo 1

n Grupo de Naciones Unidas para el Desarrollo (2011). Manual de Gestión basada

en resultados. n Iniciativa de Salud de Mesoamérica, BID (2015). Disponible en https://www.sa-

ludmesoamerica.org/es/iniciativa-salud-mesoamerica/iniciativa-salud-mesoamerica-inicio,1904.html n Manual de formulación de proyectos de Cooperación Internacional. Recupe-

rado

de:

http://www.igac.gov.co/wps/wcm/con-

nect/a6533a804d63d334a104b35fb5b7b042/Manual_de_Formulacion_de_ Proyectos_de_cooperacion_internacional.pdf?MOD=AJPERES n Metodología de evaluación de la ayuda exterior de la Comisión Europea. Guía para

la Evaluación Proyecto y Programa. E. O. (2006). n Ministerio de Asuntos Exteriores (MAE) - Secretaría de Estado para la Coope-

ración Internacional y para Iberoamérica (SECIPI) (2001). Metodología de gestión de evaluaciones de la cooperación española. n Ministerio de Asuntos Exteriores y de Cooperación (MAEC) (2007), Manual de

evaluación de proyectos de la Cooperación Española, disponible en http://www.xn--cooperacionespaola-10b.es/sites/default/files/manualdegestiondeevaluaciones.pdf n Ministerio de Asuntos Exteriores y de Cooperación (MAEC) (2013), La política

de evaluación de la Cooperación Española, disponible en https://issuu.com/publicacionesaecid/docs/o.l._politica_de_evaluacion__esp_ n La política de evaluación de la Cooperación Española, disponible en

http://www.exteriores.gob.es/Portal/es/SalaDePrensa/Multimedia/Publicaciones/Documents/Pol%C3%ADtica%20evaluaci%C3%B3n%20esp.pdf n OECD/DAC (2002). Glossary of Key Terms in Evaluation and Results-Based Man-

agement. Recuperado de: https://www.oecd.org/dac/evaluation/2754804.pdf n Oficina de evaluación de la OCDE: http://www.oecd.org/dac/evaluation/ n Oficina de evaluación de las Naciones Unidas: http://www.uneval.org/ y Centro

de recursos de evaluación de las Naciones Unidas: https://erc.undp.org/

La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional

Módulo 1

n Oficina de evaluación del BID: http://www.iadb.org/es/oficina-de-evaluacion-y-

supervision/ove,19686.html? n Ortiz, A. y Rivero, G. (2007). Desmitificando la Teoría del cambio. PACT Capacity

Building Brief. Recuperado de: http://www.rootchange.org/about_us/resources/publications/DemistificandolaTeoriadeCambio.pdf n Objetivos de Desarrollo Sostenible. Naciones Unidas. Disponible en:

http://www.un.org/sustainabledevelopment/es/objetivos-de-desarrollo-sostenible/ [consultado el 15 de diciembre de 2016]. n Programa de Acción de Acra. Tercer foro de alto nivel sobre la eficacia de la

ayuda al desarrollo. Acra, Ghana. 2-4 de septiembre de 2008. Disponible en: https://www.oecd.org/dac/effectiveness/34580968.pdf [consultado el 15 de diciembre de 2016]. n PNUD (2009). Manual de planificación, seguimiento y evaluación de los resulta-

dos de desarrollo. Recuperado de: http://web.undp.org/evaluation/handbook/spanish/documents/manual_completo.pdf n PNUD/HIVOS (2010). Teoría de Cambio. Un enfoque de pensamiento-acción para

navegar en la complejidad de los procesos de cambio social. Guatemala. Recuperado de: http://www.dhl.hegoa.ehu.es/recursos/545 n SECIPI (1997). Metodología de evaluación de la cooperación española. Ministerio

Asuntos

Exteriores

España,

Madrid.

Recuperado

de:

http://www.oecd.org/derec/spain/35639065.pdf. n Tutistar, Diana. BID (2017), Curso de gestión de proyecto de cooperación interna-

cional. n Unión Europea (2015). La evaluación importa. La política de evaluación de la

cooperación al desarrollo de la Unión Europea. Bélgica. n Video – MISEREOR, Los "efectos" en el trabajo de Cooperación al Desarrollo.

Disponible en: https://www.youtube.com/watch?v=KjaAsSwKr1Y