GPCREG2 MODULO 6 by Ceddet

LA GESTIÓN DE PROYECTOS DE COOPERACIÓN INTERNACIONAL PARA EL DESARROLLO EN AMÉRICA LATINA Y EL CARIBE

MÓDULO 6

EL SEGUIMIENTO, EL CIERRE Y LA EVALUACIÓN DEL PROYECTO

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

Autor del curso Banco Interamericano de Desarrollo (BID) (www.iadb.org), a través de su Sector de Integración y Comercio (INT). Coordinador del curso Banco Interamericano de Desarrollo (BID) (www.iadb.org), a través de su Sector de Integración y Comercio, el Instituto para la Integración de América Latina y el Caribe (INTAL) (www.iadb.org/es/intal), el Instituto Interamericano para el Desarrollo Económico y Social (INDES) (www.indes.org), así como el Consejo Suramericano de Infraestructura y Planeamiento (COSIPLAN) de la UNASUR. Autor del Módulo Begoña Fernández, Máster en derechos humanos y experta en cooperación al desarrollo. Coordinación pedagógica y de edición El Instituto Interamericano para el Desarrollo Económico y Social (INDES) (www.indes.org), en colaboración con la Fundación Centro de Educación a Distancia para el Desarrollo Económico y Tecnológico (CEDDET) (www.ceddet.org).

Copyright ©2017 Banco Interamericano de Desarrollo. Esta obra se encuentra sujeta a una licencia Creative Commons IGO 3.0 Reconocimiento-NoComercial-SinObrasDerivadas (CC-IGO 3.0 BY-NC-ND) (http://creativecommons.org/licenses/by-ncnd/3.0/igo/legalcode). Este documento es propiedad intelectual del Banco Interamericano de Desarrollo (BID). Cualquier reproducción parcial o total de este documento debe ser informada a: BIDINDES@iadb.org Cualquier disputa relacionada con el uso de las obras del BID que no pueda resolverse amistosamente se someterá a arbitraje de conformidad con las reglas de la CNUDMI (UNCITRAL). El uso del nombre del BID para cualquier fin distinto al reconocimiento respectivo y el uso del logotipo del BID, no están autorizados por esta licencia CC-IGO y requieren de un acuerdo de licencia adicional. Note que el enlace URL incluye términos y condiciones adicionales de esta licencia. Las opiniones incluidas en los contenidos corresponden a sus autores y no reflejan necesariamente la opinión del Banco Interamericano de Desarrollo.

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

Tabla de contenidos Índice de ilustraciones .................................................................................................... 5 Índice de tablas ............................................................................................................... 5 Glosario ............................................................................................................................ 5 Presentación.................................................................................................................... 7 Objetivos generales del módulo ..................................................................................... 8 UNIDAD I. SEGUIMIENTO Y EVALUACIÓN EN LA GESTIÓN DEL CICLO DEL PROYECTO ............................................................................................................... 9 I.1. Objetivos .................................................................................................................... 9 I.2. Contenido .................................................................................................................. 9 I.3. Resumen ................................................................................................................... 12 UNIDAD II. LA IMPORTANCIA DEL SEGUIMIENTO EN LA GESTIÓN DEL CICLO DEL PROYECTO Y COMO LLEVARLO A CABO.................................................... 13 II.1. Objetivos .................................................................................................................. 13 II.2. Definición, funciones y características ................................................................... 13 II.3. Fases ........................................................................................................................ 17 II.4. Herramientas del sistema de seguimiento y el informe de seguimiento como instrumento de consulta y ajuste del proyecto .................................................. 21 II.5. Resumen ................................................................................................................. 25 UNIDAD III. JUSTIFICACIÓN DEL PROYECTO............................................................... 28 III.1. Objetivos ................................................................................................................ 28 III.2. Introducción .......................................................................................................... 28 III.3. Justificación técnica .............................................................................................. 29 III.4. Justificación económica ....................................................................................... 29 III.5. Resumen ................................................................................................................. 31

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

UNIDAD IV. LA EVALUACIÓN EN LOS PROYECTOS DE COOPERACIÓN. SU IMPORTANCIA PARA LA CALIDAD DE LA AYUDA Y LA SOSTENIBILIDAD DE LOS PROYECTOS ...................................................................................................... 32 IV.1. Objetivos ................................................................................................................ 32 IV.2. Definición y funciones ........................................................................................... 32 IV.3. Tipologías de evaluación....................................................................................... 34 IV.4. Criterios y preguntas de la evaluación ..................................................................41 IV.5. Fases de la evaluación........................................................................................... 47 IV.5.1. Preparación y diseño de la evaluación ..................................................... 47 IV.5.2. Desarrollo de la evaluación ....................................................................... 51 IV.5.3. Difusión y aplicación de recomendaciones ............................................. 58 IV.6. Herramientas de evaluación................................................................................. 60 IV.7. Resumen ................................................................................................................ 66 UNIDAD V. RELACIÓN DE LA EVALUACIÓN CON LA GESTIÓN DEL CONOCIMIENTO Y LA CALIDAD DE LA AYUDA OFICIAL AL DESARROLLO ............... 69 V.1. Objetivos ................................................................................................................. 69 V.2. Contenido ............................................................................................................... 69 V.3. Resumen .................................................................................................................. 71

Referencias bibliográficas............................................................................................. 73 Material complementario ............................................................................................. 77

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

Índice de ilustraciones Ilustración 1. La espiral del ciclo del proyecto.............................................................. 10 Ilustración 2. La evaluación en el ciclo del proyecto ................................................... 36

Índice de tablas Tabla 1. Diferencias entre seguimiento y evaluación .................................................. 35 Tabla 2. evaluación, ciclo, herramientas y productos del proyecto............................ 38 Tabla 3. Criterios de evaluación y lógica de intervención............................................ 43 Tabla 4. Preguntas de evaluación ................................................................................. 44 Tabla 5. Guía para la elaboración de unos términos de referencia ............................. 49 Tabla 6. Técnicas de recogida de información cuantitativas y cualitativas ................ 61

Glosario n AECID: Agencia Española de Cooperación Internacional para el Desarrollo. n AOD: Ayuda Oficial al Desarrollo. n BID: Banco Interamericano de Desarrollo. n CAD: Comité de Ayuda para el Desarrollo, de la Organización de Coopera-

ción Económica para el Desarrollo. n CE: Comisión Europea. n CEPAL: Comisión Económica para América Latina y el Caribe. n CIDEAL: Centro de Investigación y Cooperación para el Desarrollo.

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

n EML: Enfoque de Marco Lógico. n FIDA: Fondo Internacional de Desarrollo Agrícola. n GCP: Gestión de un Ciclo del Proyecto. n GTZ: Agencia Alemana para la Cooperación Técnica, actualmente denomi-

nada GIZ. n ILPES: Instituto Latinoamericano de Planificación Económica y Social. n MAE: Ministerio de Asuntos Exteriores (de España), actualmente MAEC. n MAEC: Ministerio de Asuntos Exteriores y Cooperación (de España). n NORAD: Agencia Noruega para la Cooperación para el Desarrollo. n NNUU: Naciones Unidas. n OECD: Organización de Cooperación Económica para el Desarrollo. n ONGD: Organización No Gubernamental de Desarrollo. n ONU: Organización de las Naciones Unidas. n PNUD: Programa de las Naciones Unidas para el Desarrollo. n POA: Plan Operativo Anual. n SECIPI: Secretaría de Estado de Cooperación Internacional y para Iberoamé-

rica (de España). n TdR: Términos de Referencia. n UNESCO: Organización de las Naciones Unidas para la Educación, la Ciencia

y la Cultura. n UE: Unión Europea.

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

Presentación del módulo Un buen sistema de seguimiento y evaluación supone uno de los factores de éxito de una intervención de desarrollo. Así, este módulo pretende facilitar al alumno las nociones fundamentales relacionadas con los procesos de seguimiento, justificación y evaluación de un proyecto de desarrollo, como componentes constitutivos de la gestión del ciclo del proyecto y de acuerdo a la metodología del enfoque de marco lógico, la más utilizada en cooperación al desarrollo y que ha sido el eje vertebrador de este curso. Los participantes adquirirán los elementos conceptuales y metodológicos que les permitan estructurar el sistema de seguimiento y evaluación de las iniciativas de cooperación de manera efectiva para que resulten funcionales a la mejora continua de la gestión, al logro de los resultados del proyecto y a la consecución de impactos de desarrollo relevantes y sostenibles en el tiempo. Todo ello, desde un abordaje del tema muy práctico, basado en la experiencia, que arroja recomendaciones estratégicas y operativas que facilitarán el entendimiento, pero, sobre todo, la planificación y gestión de un sistema de seguimiento y evaluación en la vida real.

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

Objetivos generales del módulo n Objetivo general: Tener la capacidad de diseñar y llevar a cabo los procesos

de seguimiento, cierre y evaluación de un proyecto de cooperación al desarrollo. n Objetivo específico 1: Analizar los fundamentos teóricos de los procesos de

seguimiento, cierre y evaluación de los proyectos de cooperación al desarrollo. n Objetivo específico 2: Formular las diferentes propuestas metodológicas y

herramientas que existen para llevar a cabo estos procesos. n Objetivo específico 3: Desarrollar en la práctica una propuesta de sistema de

seguimiento y evaluación de un proyecto.

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

UNIDAD I SEGUIMIENTO Y EVALUACIÓN EN LA GESTIÓN DEL CICLO DEL PROYECTO

I.1. Objetivos n Situar el sistema de seguimiento y evaluación de las acciones de coopera-

ción internacional para el desarrollo en la gestión del ciclo del proyecto, de acuerdo al Enfoque del Marco Lógico (EML), y como factor clave para su calidad y éxito. n Establecer las características principales de los procesos de seguimiento y

evaluación así como las diferencias, coincidencias y complementariedades de ambos.

I.2. Contenido La metodología del EML que hemos venido desarrollando a lo largo de este curso es una herramienta que facilita, entre otras cosas, el seguimiento (también llamado monitoreo) y la evaluación de una acción, proyecto o programa de desarrollo. Tanto el seguimiento como la evaluación son etapas previstas en el EML como parte de la gestión del ciclo de un proyecto, tal y como muestra la siguiente ilustración.

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

Ilustración 1. La espiral del ciclo del proyecto

Fuente: Fernández, Begoña. La espiral del ciclo del proyecto (elaboración propia).

La espiral del gráfico pretende representar que la gestión del proyecto no es estática ni lineal en el tiempo, sino un ciclo que concatena de manera continuada diversos procesos relacionados entre sí y que se retroalimentan, buscando la mejora continua, es decir, una gestión virtuosa del proyecto. Como veremos más adelante, el seguimiento puede llevarnos a ajustar la formulación de un proyecto, solo por poner un ejemplo. Tanto el seguimiento como la evaluación de un proyecto son procesos que pretenden que los grupos de interés del mismo dispongan de información para su toma de decisiones. Por tanto, un objetivo principal de un sistema de seguimiento y evaluación es “medir y analizar el desempeño, a fin de gestionar con más eficacia los efectos y productos que son los resultados en materia de desarrollo”1.

Manual de seguimiento y evaluación de resultados. PNUD, Oficina de evaluación. Página 6 citado por Ortegón, E. y Prieto, A. (2005). Metodología del marco lógico para la planificación, el seguimiento y la evaluación de proyectos y programas (vol. 42). United Nations Publications.

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

Contar con un sistema de seguimiento y evaluación es de gran ayuda para la buena gestión, ya que permite: 1. Identificar progresos y mejorar el desempeño. 2. Detectar problemas en la planificación o la implementación y realizar ajustes al proyecto (o siguientes fases del mismo). 3. Contribuir al aprendizaje, el empoderamiento, la transparencia y la rendición de cuentas. Cuando hablamos de seguimiento y evaluación es bueno tener en cuenta que, si bien están interrelacionados, no son sinónimos. Por un lado, cabe señalar que tienen coincidencias y complementariedades claras, así: n Ambos son mecanismos para valorar intervenciones de desarrollo. n Ambos se realizan durante todo el ciclo del proyecto, son transversales a la

ejecución y deben estar previstos desde la planificación del proyecto. n Ambos se retroalimentan, se enriquecen y complementan. n Ambos verifican la implementación del proyecto. n Ambos están orientados a aprender de la experiencia para reorientar o me-

jorar el proyecto o para futuras formulaciones y ejecuciones. Pero hay que tener muy en cuenta que, mientras que el monitoreo es un proceso continuo y permanente, de acuerdo a una periodicidad establecida, la evaluación se realiza en momentos determinados entre lapsos de tiempo más largos. El monitoreo es un proceso continuo de análisis, observación y sugerencias de ajustes para asegurar que el proyecto esté encarrilado a alcanzar su objetivo. La evaluación, por su

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

parte, permite la formulación de conclusiones, lecciones aprendidas y buenas prácticas acerca de lo que se observa a una escala mayor, sobre aspectos tales como el diseño del proyecto y sus impactos, tanto los previstos como los no previstos2. Para poder contar con un buen sistema de seguimiento y evaluación, el punto de partida es disponer de un proyecto de calidad, tanto en relación a su diseño como a su ejecución. Esto tiene relación con una identificación clara de los beneficiarios sujetos de derechos; con contar con un diagnóstico que incluya una línea de base; disponer de indicadores coherentes y medibles con fuentes de verificación acordes y con una buena planificación que incluya el seguimiento y la evaluación, que enfatice en la participación y en la sistematización de información.

I.3. Resumen El EML considera el sistema de seguimiento y evaluación como parte de los procesos que componen la gestión del ciclo del proyecto de cooperación al desarrollo. En un contexto de alta vulnerabilidad y cambiante como en el que se implementan las intervenciones de desarrollo, contar con un sistema de seguimiento y evaluación es clave para poder realizar ajustes que permitan el camino, reorientando aquello que sea necesario para reconducir un proyecto y generar las condiciones para su éxito.

Ortegón, E. y Prieto, A. (2005). Metodología del marco lógico para la planificación, el seguimiento y la evaluación de proyectos y programas (vol. 42). United Nations Publications.

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

UNIDAD II LA IMPORTANCIA DEL SEGUIMIENTO EN LA GESTIÓN DEL CICLO DEL PROYECTO Y CÓMO LLEVARLO A CABO

II.1. Objetivos n Establecer las principales características del proceso de seguimiento de una

acción de cooperación al desarrollo. n Identificar las etapas, mecanismos y recursos necesarios para la implemen-

tación del proceso de seguimiento de un proyecto de cooperación al desarrollo.

II.2. Definición, funciones y características Es fundamental para el éxito de un proyecto de desarrollo contar con un buen sistema de seguimiento o monitoreo. Éste nos permitirá conocer en prácticamente tiempo real cómo está avanzando la ejecución del proyecto y detectar problemas en la misma para poder hacer los ajustes pertinentes, antes de que sea demasiado tarde.

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

Las definiciones de seguimiento para algunas de las agencias de cooperación de referencia se recogen a continuación: n Para el PNUD, el seguimiento es el “proceso continuo por el que las partes

interesadas obtienen regularmente una retroalimentación sobre los avances que se han hecho para alcanzar las metas y objetivos”3. n Para la UE, el monitoreo se entiende como el “proceso sistemático y conti-

nuo de recolección, análisis y uso de la información de administración, para apoyar de manera efectiva la toma de decisiones”4. El seguimiento es por tanto el proceso de recolección y análisis sistemático de información durante la ejecución de un proyecto para conocer cómo se está desarrollando éste, si lo hace de acuerdo a lo previamente planificado y que, en su caso, pueda ser reorientado o ajustado algún aspecto del mismo. Las medidas correctivas pueden abarcar múltiples ámbitos (técnicas, de enfoque, gestión, administración, etc.). El seguimiento tiene varias funciones, que van más allá de la función de mero control, como son: 1. Supervisar la ejecución del proyecto para ver si ésta se ajusta a lo previsto. 2. Mejorar la gestión del proyecto. 3. Profundizar en el contexto del proyecto y su evolución a lo largo de la vida del mismo. El seguimiento es, por tanto, una herramienta apropiada también para valorar el desempeño del equipo encargado de la ejecución del proyecto. Y, adicionalmente, otra función fundamental del seguimiento es recopilar datos que faciliten la evaluación del proyecto.

PNUD (2009). Manual de planificación, seguimiento y evaluación de los resultados de desarrollo. Comisión Europea (2004). Líneas directrices Gestión del Ciclo del Proyecto. Manual de Gestión del Ciclo del Proyecto. Oficina de Cooperación EuropeAid. 4

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

En relación con su ámbito y alcance, el seguimiento se centra en verificar: n El cumplimiento de planes de trabajo, cronogramas, plazos, si han sido im-

plementados en el tiempo y forma planeados. n La estructura de gestión, es decir, cómo resulta la asignación de funciones

y responsabilidades realizada, si el personal cuenta con cualificación y capacidad suficientes. n La ejecución de las actividades planificadas (si se han realizado y son cohe-

rentes con lo previsto en el plan de trabajo) y los productos obtenidos. n El avance hacia la consecución de los objetivos y resultados previstos (efica-

cia, eficiencia, primeros impactos) a través de la medición de indicadores establecidos en la Matriz del Marco Lógico mediante las fuentes de verificación previstas. n La situación financiera y la ejecución presupuestal del proyecto, es decir, los

gastos realizados en relación con el presupuesto, y si los recursos materiales y financieros son suficientes para la implementación según lo previsto. n La relación entre el contexto en el que se desarrolla el proyecto y el pro-

yecto (pertinencia). n El grado de implicación y satisfacción de los diferentes actores vinculados al

proyecto, sobre todo, los beneficiarios del mismo. n Dificultades e imprevistos encontrados y/o potenciales a futuro.

Una herramienta auxiliar que los proyectos suelen utilizar habitualmente es el plan operativo anual (POA). En él se presentan de manera detallada las actividades programadas para 12 meses, abarcando los objetivos, costes y tiempos. El POA permite por tanto un seguimiento exhaustivo para detectar desviaciones en periodos cortos y hacer los cambios necesarios. Por tanto, además de ser una herramienta de la pla-

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

nificación de mucha ayuda en la etapa de ejecución, es muy útil en la gestión del seguimiento del proyecto, no solo como mecanismo de control sino para la toma de decisiones (BID, 2016). En cuanto a sus características principales, el seguimiento es: n Continuo, es decir, se realiza de forma sistemática a lo largo de la ejecución

del proyecto. n Suele ser un proceso interno, aunque puede puntualmente apoyarse en al-

gún procedimiento externo de recogida de información si se requiere. n Sencillo y liviano, es decir, que incorpore herramientas sencillas para la re-

cogida de información y sea adecuado en relación a la demanda de tiempo y los recursos necesarios (financieros, materiales y humanos) para llevarlo a cabo con calidad. n Orientado, acotándolo a aquellos ámbitos e hitos del proyecto que se defi-

nan como los más relevantes. n Fiable y eficaz, para que contribuya a mejorar la ejecución del proyecto. n Integrado coherentemente en la estructura organizativa y en la planifica-

ción del proyecto. n Concertado, que haya sido acordado con los grupos de interés del proyecto

para cubrir sus necesidades de información y no generar falsas expectativas, evitando así que no se sientan motivados para involucrarse en el proceso de recogida de información. n Participativo, que implique a los principales involucrados en el proyecto, so-

bre todo, a las personas beneficiarias. n Que integre información cuantitativa y cualitativa, para que los datos arro-

jen toda la información posible.

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

II.3. Fases Por tanto, las principales fases y acciones que se podrían plantear en un sistema de seguimiento o monitoreo podría ser las siguientes: n Acordar la necesidad de hacer seguimiento y el modo de participación con

los diferentes involucrados en el proyecto, sobre todo, beneficiarios/as y otros informantes clave. n Planificar, estableciendo objetivos, acciones, tiempos, responsables, recur-

sos, así como el tipo de información necesaria y las técnicas de recogida de información a utilizar. n Comunicar, con acciones de socialización y difusión de los principales datos

y conclusiones a los diferentes grupos de interés del proyecto y estableciendo procesos de retroalimentación e incorporación de las principales recomendaciones, revisando la planificación cuando sea necesario. Para poder disponer de un buen plan de seguimiento se deberá pensar, desde la fase de diseño del proyecto, en la elaboración de indicadores adecuados para dar respuesta a las necesidades de información que se tendrán a lo largo de la ejecución del proyecto. El plan de seguimiento deberá responder a las siguientes preguntas: n ¿Qué indicadores considerar y cuáles son las fuentes de verificación?

Como ya se mencionó en el módulo anterior de este curso, una de las claves del éxito de un sistema de seguimiento es que el proyecto cuente con unos indicadores objetivamente verificables, que sean válidos, fiables, pertinentes, sensibles, específicos, eficientes y oportunos. Estos criterios se aplican tanto para indicadores técnicos como económicos o de impacto. En caso de no ser así, en la etapa de planificación del sistema de seguimiento deberá quedar establecida

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

una batería de indicadores suficientes con dichas características, por lo que se deberá formular, reformular o completar, según sea el caso. También cabe recordar aquí la importancia de haber incorporado en el diseño del proyecto y en su matriz de marco lógico los llamados enfoques o prioridades horizontales (género, derechos humanos, ambiental, diversidad cultural, etc.) y que hayan quedado recogidos tanto a nivel de resultados como de indicadores y actividades concretas. A estos indicadores también habrá que hacerles seguimiento y reporte desde el sistema de seguimiento.

Ejemplo sobe el enfoque de género: A modo de ejemplo, éstos son algunos aspectos a tener en cuenta en el enfoque de género en el seguimiento de un proyecto: Recopilar información suficiente sobre las necesidades y posiciones de mujeres y hombres (sobre todo, beneficiarios del proyecto). Para dar respuesta a los indicadores, se deberán desagregar los datos recopilados por sexos y que algunos de estos indicadores estén orientados a medir desigualdades entre mujeres y hombres. En cuanto a la participación en el proyecto, debe observarse en el seguimiento de qué manera lo hacen mujeres y hombres, qué obstáculos tienen para la participación, cómo puede fomentarse, cómo afecta a sus relaciones sociales y si éstas son causa de su falta de participación, qué medidas se pueden tomar al respecto. Debe revisarse de forma continua las necesidades identificadas y el alcance de los resultados esperados en este ámbito. Existe amplia bibliografía sobre metodologías para la transversalización de enfoques que se puede consultar. Algunas referencias bibliográficas al respecto se han incluido en el apartado Material complementario de este módulo.

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

¿Qué instrumentos se van a utilizar para la recogida de información y con qué periodicidad vamos a recogerla? Recomendación práctica: Utilizar técnicas participativas. ¿Cómo se va a analizar la información? ¿Para qué servirá la información recogida y analizada y quiénes serán los usuarios de dicha información? Los principales grupos de interés que tiene un proyecto son, primeramente, los/las beneficiarios/as del mismo, así como los responsables de la implementación del proyecto (directivos y trabajadores técnicos, administrativos y operativos de la entidad o entidades ejecutoras). También los financiadores del proyecto, que en el caso de ser agencias de cooperación suelen tener establecidos requerimientos de seguimiento con los que la entidad ejecutora tiene la obligación de cumplir, y que suelen incluir la entrega periódica de un informe de seguimiento del proyecto (normalmente, trimestral o semestral, y de finalización/cierre del proyecto). Además, el seguimiento permite mantener informado también a otros actores, como gobiernos de países receptores, políticos o a la sociedad civil, entre otros. No hay que tener miedo a que el seguimiento arroje inconvenientes que se están dando en la ejecución de los proyectos, al contrario, hay que entender que un buen sistema de seguimiento nos dará la oportunidad de tomar a tiempo las medidas correctivas necesarias para reencauzar la buena marcha del proyecto y garantizar el logro de los resultados previstos. En ese sentido, las necesidades correctivas pueden plantear pequeños cambios en el diseño, incorporando actividades complementarias, por ejemplo. Incluso si hemos sido demasiado ambiciosos y/o se da algún imprevisto, se podrían ajustar los resultados, metas o partidas presupuestales inicialmente planificados en el proyecto. Cabe señalar que si las modificaciones que consideramos son sustanciales será necesario que, en el caso de proyectos que están siendo financiados por alguna agencia de desarrollo, haya que solicitar la aprobación de ésta a los

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

cambios planteados, justificándolos adecuadamente. Y, a continuación, sería pertinente reflexionar sobre si esta desviación se debe a imprevistos o hubieran sido evitables en casos de mala gestión de los riesgos (previsibles) o de problemas de diseño (identificación y formulación poco rigurosas). Una recomendación práctica es que es conveniente conocer de antemano qué líneas rojas tenemos, es decir, hasta dónde podemos llegar y no. Por ejemplo, conocer las normas del financiador dado que hay agencias de cooperación cuyos procedimientos no permiten ciertos cambios (por ejemplo, de objetos y resultados), por lo que es importante conocer las reglas del juego para jugar de la mejor manera con lo que tenemos a disposición, sin generar bloqueos por algunas limitaciones estructurales. En esos casos, y dado que no tenemos capacidad de influir para cambiarlas, es recomendable hacer una mención al respecto (el diseño es deficiente, por ejemplo) y sortear la dificultad de la mejor manera que se nos ocurra para generar los menores inconvenientes posibles (sin cambiar objetivos y resultados, incluir algún indicador adicional a los previstos que nos dé información sobre aspectos no reflejados en el objetivo o resultados, pero que hemos concertado que es importante para todos los involucrados conocer). En todo caso, reconocer un error a tiempo es mejor que no hacerlo y seguir adelante con un proyecto que nos estamos dando cuenta que por problemas de enfoque o diseño no tiene posibilidades de lograr los objetivos o resultados previstos y está abocado al fracaso. En casos extremos, el seguimiento nos puede llevar a decidir desestimar alguna intervención, lo cual será más honesto que continuar cuando los datos arrojan que no hay posibilidades de reconducirla en aquellos términos que se consideren necesarios para garantizar su éxito, aun sin desconocer que esta decisión puede tener consecuencias negativas para la organización (reputacionales, por ejemplo).

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

II.4. Herramientas del sistema de seguimiento y el informe de seguimiento como instrumento de consulta y ajuste del proyecto Se mencionan a continuación algunas de las herramientas de recogida y registro utilizadas habitualmente en un sistema de seguimiento: n Reportes de visitas a terreno. n Reportes de observación directa. n Memorias de reuniones con beneficiarios del proyecto. n Formatos de sistematización de entrevistas con responsables de área y

otros informantes clave. n Diarios del equipo vinculado a la ejecución del proyecto. n Formularios de recolección de datos, específicamente diseñados para el se-

guimiento. n Documentos contables y de gestión (presupuesto, facturas, documentos

justificativos de gastos, etc.). n Otras fuentes de verificación (fotos, vídeos, notas de prensa, programas de

radio o televisión, etc.). n Formato de reporte estandarizado (narrativos y financieros) – EL INFORME

DE SEGUIMIENTO. En todo caso, independientemente de las herramientas de recogida de información que se utilicen, el éxito del sistema de seguimiento dependerá de que la información recopilada sea fiable a costes razonables, para lo que se debe contar con información completa y actualizada que responda a criterios de calidad, agilidad, método y periodicidad.

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

Una dificultad común en esta etapa de recogida de información es el factor humano. Normalmente la recogida es compleja, aun disponiendo de muy buenos indicadores diseñados, dado que involucra a varios actores que cuentan con diferentes roles, niveles de información y capacidades para recogerla (por ejemplo, técnicos de campo expertos sectoriales que deben recoger datos en las comunidades de intervención porque son los del contacto directo con ellas pero no solo de su área de especialidad, técnicos responsables de la entidad ejecutora en la oficina central o del seguimiento en la entidad financiadoras). Una recomendación práctica en relación a esto es analizarlo cuando el diseño del plan de seguimiento se está haciendo y en base a las necesidades y brechas detectadas incorporar algún apoyo que se considere necesario para superarlas (apoyo técnico externo adicional puntual, capacitación, incorporar ciertos flujos de comunicación…). La herramienta de seguimiento sin duda más utilizada en los proyectos de cooperación al desarrollo es el informe de seguimiento. Permite periódicamente sistematizar en un único documento la información que arroja el sistema de seguimiento a través de las diversas herramientas que lo integren y, además, hacerlo de manera acumulada, es decir, que recoja la sumatoria de avances a lo largo de la ejecución, resultando por todo ello en una memoria histórica del proyecto. Además, la mayoría de las agencias de cooperación que financian proyectos de desarrollo exigen a las entidades financiadas, como parte de los requisitos de información, informes de seguimiento periódico. Dicha periodicidad varía en función del plazo de ejecución del proyecto. Si dicho plazo es plurianual, una periodicidad habitual para los informes de seguimiento es anual o semestral. Si son proyectos de 12 o 18 meses, el reporte de seguimiento es común que se solicite de manera semestral. La periodicidad trimestral es poco común por la carga burocrática que supone para la entidad financiada.

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

Otras agencias de cooperación condicionan los informes de seguimiento a los desembolsos de la financiación aprobada para el proyecto. Suelen hacer un primer desembolso al inicio del periodo de ejecución, y cuando se han ejecutado esos recursos y se requiere el siguiente tramo de fondos, su desembolso se hace contra entrega del informe de seguimiento correspondiente, y así sucesivamente. Ésta es una práctica habitual de algunos instrumentos de financiación, por ejemplo, de la cooperación de la Comisión Europea y de algunas de las agencias de cooperación descentralizada de España. A continuación, se presenta a modo de ejemplo el índice del formato de informe de seguimiento técnico anual que utiliza la Agencia Española de Cooperación para el Desarrollo (AECID) en la financiación de Convenios a Organizaciones No Gubernamentales de Desarrollo (ONGDs), que son intervenciones de carácter plurianual. INFORME DE SEGUIMIENTO TÉCNICO DE AECID ÍNDICE 1. Datos generales a. Informe técnico anual del periodo b. Intervención código c. Título d. ONGD ejecutora/s e. País/es de ejecución f. Socios locales g. Otras entidades participantes h. Colectivo meta del convenio i. Fecha de inicio del convenio y prevista de finalización j. Coste total del convenio y subvención AECID total k. Estimación de la subvención gastada en el periodo informado l. Subvención AECID gastada acumulada m. Sistema de justificación económica elegida (solo en el primer informe) n. Autor/a/es de este informe o. Fecha de redacción de este informe

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

2. Resumen de los avances en el periodo reportado a. 2.1 Resumen de la intervención con énfasis en lo ocurrido en el periodo reportado b. 2.2 Resumen de los principales cambios respecto a lo previsto (contexto, actores, modificaciones sustanciales o accidentales) c. 2.3 Retrasos (indicar la causa) d. 2.4 Medidas tomadas para la participación del colectivo meta y del resto de titulares (derechos/obligaciones/ responsabilidades) para asegurar la pertinencia e. 2.5 Mecanismos adoptados relativos a la rendición de cuentas y el seguimiento f. 2.6 Medidas tomadas para garantizar la transversalización de prioridades horizontales 3. Reporte del marco lógico 3.1. Matriz del marco lógico de la formulación, reporte de objetivos y resultados (reportar avances de objetivos y resultados de acuerdo a los indicadores y fuentes de verificación, así como riesgos y medidas adoptadas, desagregando los datos del colectivo meta por género, edad o colectivos vulnerables) 3.2. Principales actividades ejecutadas en el periodo informado (reportar si son actividades planificadas o no, grado de ejecución y comentarios al respecto) 4. Resumen económico del periodo reportado a. 4.1.Datos generales (ejecución presupuestal por actividad y por rubro de gasto) b. 4.2. Cofinanciación (entidad y monto de cofinanciación por actividad y rubro de gasto) 5. Aprendizajes (o lecciones aprendidas) a. 5.1. Relativos a empoderamiento e incidencia política b. 5.2. Relativos a género en desarrollo c. 5.3. Relativos a fortalecimiento de capacidades, en especial de la sociedad civil d. 5.4. Relativos a seguimiento de resultados de desarrollo y evaluación

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

e. 5.5. Relativos a otras prioridades transversales u otros aspectos 6. Anexos a. Incluir, al menos, material de visibilidad, evaluaciones (si existen) y fuentes de verificación. Este informe técnico, que contempla información básica de ejecución económica, se complementa con unos formatos para un más detallado reporte financiero del proyecto que incluye datos sobre balance financiero, tesorería, operaciones de cambio de moneda y gasto de personal. Los detalles de este formato de informe técnico y financiero de seguimiento de AECID vienen referenciados en el apartado Material complementario de este módulo. Lo deseable sería que el formato de informe de seguimiento sea acordado por adelantado y común para los diferentes grupos de interés del proyecto, incluidos los financiadores del mismo. Sin embargo, a pesar de que las ventajas de la armonización de procedimientos en base a los de los socios nacionales es de amplio consenso en los foros internacionales de cooperación, es habitual que esto no sea del todo posible en la práctica porque las agencias de cooperación financiadoras suelen exigir sus propios formatos, orientados fundamentalmente a sus necesidades de información y no necesariamente teniendo en cuenta las de otros actores vinculados al proyecto. Por ejemplo, el formato de informe de AECID que acabamos de ver no contempla algunos ámbitos del seguimiento que serían imprescindibles para la organización ejecutora del proyecto, como son aspectos procedimentales o de estructura de gestión que permitan conocer cómo se adecúa la capacidad de la organización a las necesidades del proyecto y, en su caso, detectar problemas y posibles soluciones. Sólo a modo de ejemplo y en relación a aspectos correspondientes a personal, podría verse la necesidad de reforzar el equipo con nuevos miembros (analizando qué perfiles serían convenientes para ello), de fortalecer capacidades específicas del actual equipo o de hacer ajustes en relación a sus funciones y responsabilidades.

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

En estos casos, algo práctico puede ser tomar el formato de la agencia financiadora como base común para un informe de seguimiento que responda a las necesidades de todos los involucrados, incorporándole para ello a éste únicamente algún apartado o subapartado adicional que permita incluir información complementaria imprescindible para otros involucrados, con el objetivo de minimizar la carga de trabajo. Otra recomendación es la importancia de prestar la atención que merece la gestión económica de un proyecto. Ésta pasa muchas veces a un segundo plano en favor del ámbito técnico, que es el que se ocupa de lo estratégico en términos de resultados de desarrollo. Sin embargo, sin una buena gestión económica y un seguimiento que lo confirme, no es factible llevar a la práctica el mejor proyecto de desarrollo planteado. Un seguimiento económico riguroso permitirá evitar problemas de mala gestión, ya que se contará con información actualizada sobre la ejecución de actividades en relación al presupuesto previsto, detectará desviaciones y podrá valorar si están justificadas o se deben establecer medidas correctivas. En todo caso, como ya se mencionó anteriormente, el informe de seguimiento es la herramienta que incorporará información recogida, a través del sistema de seguimiento, por otras herramientas, mencionadas anteriormente, las que en cada caso se decida que son las más adecuadas para el tipo de información que se ha decidido recabar.

II.5. Resumen Este apartado dedicado al seguimiento de las acciones de cooperación al desarrollo aporta diferentes definiciones que manejan algunas de las agencias de cooperación de referencia, las funciones que cumple, las principales características que lo identifican y diferencian del proceso de evaluación, así como las principales etapas, acciones y herramientas que deben implementarse tanto para su planificación como para su puesta en marcha y desarrollo.

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

Así, el seguimiento es un proceso continuo de recolección y análisis de información (cuantitativa y cualitativa), mayoritariamente interno, sencillo y liviano, fiable y eficaz, concertado con los grupos de interés, participativo, integrado en la organización y orientado de acuerdo a la planificación del proyecto que busca supervisar la ejecución del mismo para ver si se ajusta a lo previsto y, en su caso y de acuerdo también a la evaluación del contexto, mejorar la gestión y/o reorientar el proyecto desde el punto de vista técnico, de enfoque, gestión, administración, etc. El seguimiento también permite valorar el desempeño del equipo ejecutor del proyecto así como recopilar información de cara a la evaluación del mismo. Es de suma importancia que el seguimiento se lleve a cabo de forma participativa, sobre todo, en relación con las personas beneficiarias del proyecto. Por tanto, el proceso de seguimiento debe iniciarse con un acuerdo respecto a su necesidad y los modos de participación, seguido de las etapas de planificación —en la que quede establecido un plan de seguimiento con indicadores (técnicos, como económicos o de impacto pero en todo caso, objetivamente verificables, válidos, fiables, pertinentes, sensibles, específicos, eficientes y oportunos), incluidos los relacionados con los enfoques horizontales; fuentes de verificación; herramientas para la recogida de información, etc.— y de comunicación/difusión de la información más relevante entre los diferentes grupos de interés. La información recabada y analizada durante el seguimiento de un proyecto suele plasmarse de forma periódica en informes de seguimiento, formato estandarizado que es la herramienta más utilizada para este fin y que recoge a su vez información sistematizada durante el seguimiento a través de otras herramientas (memorias, reportes, formularios, documentos de gestión y contables, notas de prensa, fotos/vídeos, etc.).

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

UNIDAD III JUSTIFICACIÓN DEL PROYECTO

III.1. Objetivos n Reconocer la importancia de una adecuada justificación de las acciones de

cooperación internacional para el desarrollo como exigencia por las principales agencias de cooperación. n Establecer los principales requisitos de la justificación de proyectos tanto

técnica como económico-financiera.

III.2. Introducción En el momento de la finalización de la ejecución de un proyecto y en el caso de que éste haya sido financiado por alguna agencia de cooperación o alguna otra entidad, se suele tener que proceder a la justificación del mismo. Las entidades financiadoras, sean éstas privadas o públicas, suelen exigir en casi todos los casos la justificación del proyecto financiado. Lo que varía es el nivel de requisitos que exigen para ello. En unos casos, los requerimientos de justificación son más laxos que en otros, y pueden ir desde una memoria de actividades hasta un informe final de seguimiento que incluya una justificación económica y financiera del proyecto, incluso exigiendo incluir en la misma un informe de evaluación final (o post) y/o un informe de auditoría.

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

III.3. Justificación técnica La justificación técnica de un proyecto suele llevarse a cabo a través de la entrega de un infirme final de seguimiento (de ejecución) o de una memoria de evaluación post o de resultados. No nos referiremos aquí al informe de seguimiento porque ha sido suficientemente desarrollado en el apartado anterior de este módulo. En cuanto a la evaluación, es sobre lo que versa la siguiente unidad, por lo que tampoco vamos a desarrollarlo en este momento.

III.4. Justificación económica Las agencias de cooperación que manejan fondos públicos suelen tener por esta misma razón niveles de exigencia altos, con los que la entidad beneficiaria del financiamiento y ejecutora del proyecto se compromete cuando acepta el mismo. Y los requisitos y condiciones fijados suelen abarcar la utilización y destino de la financiación, las condiciones de control y justificación, así como las condiciones de reintegro y sanción para casos de no justificación o justificación deficiente, en virtud de la norma aplicable en cada caso. Para la justificación de un financiamiento suele quedar establecido de antemano el plazo en el que se debe formalizar la justificación de la ayuda, en función del plazo de ejecución del proyecto, siendo normalmente unos meses después de finalizado éste. La ejecución económica del proyecto comprende documentación soporte de todos los gastos realizados, sus pagos correspondientes, así como de los cambios de moneda realizados y las tasas de cambio aplicadas, etc., por lo que es habitual tener que presentar extractos bancarios, justificantes de cambios de moneda realizados, etc., además de un cuadro comparativo del presupuesto aprobado y ejecutado, indicando las desviaciones y una lista de gastos realizados con sus correspondientes soportes de gasto (facturas, recibos, etc.), clasificados por partidas de gasto y por fechas.

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

Los gastos del proyecto deben ser justificados con soportes tanto de gasto como de pago, de acuerdo a lo establecido como admisible mercantilmente, bien sean originales o copias compulsadas. Y la clasificación de los gastos debe diferenciar gastos corrientes y de inversión, así como costes directos e indirectos. Una recomendación práctica es que se tenga en cuenta que la normativa del financiador en ocasiones no tiene del todo en consideración las normas del país receptor en el que se ejecuta el proyecto y esto puede ocasionar dificultades si no se toman de antemano medidas adecuadas. Por ejemplo, algunos soportes de gastos admisibles en el país receptor pueden no serlo para el donante. Normalmente hay procedimientos establecidos para poder legalizar estos gastos, pero tiene requisitos finales que cabe tener en cuenta para no encontrarnos con desagradables sorpresas. Es habitual que los financiadores también precisen justificación de las cofinanciaciones de las que ha sido beneficiario el proyecto, y exijan, como mínimo, una relación detallada de otros ingresos, públicos o privados, para la financiación del proyecto, con indicación del importe y su procedencia. En algunos casos, estas contrapartidas hay que justificarlas con soporte de gasto y en el caso de valorizaciones de aportes en especie (habituales las relacionadas con los beneficiarios —tiempo de dedicación a actividades de gestión, mano de obra, apoyos logísticos, etc.). La justificación económica o bien se entrega completa, con toda la documentación mencionada, directamente a la entidad financiadora o bien se pone a disposición de la firma auditora y es el informe de auditoría lo que se entrega en la justificación del proyecto, cuando así se establece en el procedimiento del financiador. En este último caso, la norma suele establecer cómo debe ser sellada la documentación original justificativa del gasto acreditando el origen de la financiación, así como el tiempo durante el cual debe guardarse la misma.

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

Cabe señalar, por último, que la falta de justificación o justificación deficiente suele dar lugar al reintegro de la ayuda total o parcial y, en algunos casos, puede derivar en sanciones adicionales económicas o de pérdida del derecho a otras financiaciones.

III.5. Resumen En este apartado se aportan las principales recomendaciones para poder llevar a cabo una buena justificación de las intervenciones de cooperación al desarrollo. Porque, además de “ser bueno”, hay que parecerlo, y es una exigencia de las agencias de cooperación financiadoras de muchas iniciativas de desarrollo. Los requisitos y modelos exigidos para la justificación de un proyecto son variados y dependen del financiador del mismo, pero una justificación abarca siempre los ámbitos técnico, centrado en las actividades llevadas a cabo y los logros alcanzados, y económico-financiero, que pretende dar cuenta de los gastos realizados y los procedimientos implementados para ello. Un mal manejo de este requisito puede poner en riesgo la viabilidad de la intervención y de la propia organización gestora de la misma.

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

UNIDAD IV LA EVALUACIÓN EN LOS PROYECTOS DE COOPERACIÓN. SU IMPORTANCIA PARA LA CALIDAD DE LA AYUDA Y LA SOSTENIBILIDAD DE LOS PROYECTOS

IV.1. Objetivos n Establecer las principales características del proceso de evaluación de una

acción de cooperación al desarrollo. n Identificar las funciones, tipologías, etapas, criterios y herramientas necesa-

rios para la implementación del proceso de evaluación de un proyecto de cooperación al desarrollo. n Diferenciar los procesos de seguimiento y evaluación, reconociendo sus

coincidencias y complementariedades.

IV.2. Definición y funciones Según el Comité de Ayuda al Desarrollo (CAD) de la Organización para la Cooperación y el Desarrollo Económicos (OCDE), “la evaluación es una apreciación, tan sistemática y objetiva como sea posible, sobre un proyecto en curso o acabado, un programa o 32

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

un conjunto de líneas de acción, su concepción, su realización y sus resultados. Se trata de determinar la pertinencia de los objetivos y su grado de realización, la eﬁciencia en cuanto al desarrollo, la eﬁcacia, el impacto y la viabilidad. Una evaluación debe proporcionar unas informaciones creíbles y útiles, que permitan integrar las enseñanzas sacadas en los mecanismos de elaboración de las decisiones, tanto de los países de acogida como de los donantes” (CAD, 1995: 178). En otras definiciones de evaluación se hace mención a los principales criterios de evaluación, que veremos en detalle un poco más adelante. Así: n La evaluación es un “examen periódico e independiente de un proyecto, a

fin de determinar su eficiencia, eficacia, impacto, viabilidad y la pertinencia de sus objetivos” (NORAD, 1997: 132). n “La evaluación es una valoración y reflexión sistemática sobre el diseño, la

ejecución, la eficiencia, la efectividad, los procesos, los resultados (o el impacto) de un proyecto en ejecución o completado” (CEPAL, 2005: 48). En lo que todos los autores y agencias de cooperación coinciden es que la evaluación es un proceso de análisis del proyecto en un momento puntual del ciclo de gestión (antes, durante, a su finalización o después), que permite valorar aspectos clave del mismo (contexto, objetivos, resultados, actividades, medios usados, etc.) para sacar conclusiones extrapolables y realizar recomendaciones para el proyecto o para otros proyectos futuros, en relación a impactos, eficacia, eficiencia, pertinencia y viabilidad. La importancia de la evaluación en la gestión del ciclo del proyecto se deriva de la relevancia de sus funciones: n Retroalimentar la gestión del proyecto con recomendaciones y lecciones

aprendidas aplicables en el momento oportuno. n Rendir cuentas, con el fin de demostrar su adecuación a lo previsto o espe-

rado del proyecto y, en este sentido, la evaluación se acerca notoriamente al seguimiento.

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

n Contribuir al empoderamiento y al fortalecimiento de la capacidad de los

involucrados. n Generar aprendizaje, lo que exige una motivación importante para compen-

sar el esfuerzo que supone a los involucrados. n Mejorar la calidad del proyecto y de la Ayuda Oficial al Desarrollo (AOD).

La evaluación debe estar por tanto orientada a la utilidad, ser sistemática, útil, flexible, basarse en evidencias, establecer relaciones de causalidad y satisfacer las necesidades de información de todos los involucrados. Algunas de las funciones y características importantes de una evaluación son destacadas por expertos en la materia, cuyas conferencias en vídeo han sido incluidas en el apartado Material complementario de este módulo como referencias bibliográficas.

IV.3. Tipologías de evaluación Como hemos visto, la evaluación se puede hacer en diferentes momentos del ciclo del proyecto. Y en función de cuándo se haga, podemos clasificar los tipos de evaluación en: n Evaluación ex-ante: se lleva a cabo en la etapa de preparación del proyecto,

antes del inicio de la ejecución del mismo y pretende, a través del análisis del contexto, los problemas identificados, la población objetivo, las estrategias de acción planteadas, etc., valorar la pertinencia del proyecto, la coherencia de la lógica de intervención planteada, los resultados esperados, los mecanismos de gestión y el sistema de seguimiento y evaluación planteados. Las agencias de cooperación la suelen llevar a cabo en base a la formulación del proyecto presentado para decidir financiar o no el mismo. n Evaluación intermedia (o intra): se lleva a cabo durante la ejecución del pro-

yecto. Se centra, sobre todo, en valorar la pertinencia, la calidad del sistema 34

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

de gestión y seguimiento y los avances en el logro de los objetivos. Pretende pronunciarse sobre la validez de la intervención en curso y detectar aciertos y errores para reconducir el enfoque o cualquier otro aspecto relacionado con la ejecución del proyecto, es decir, se pronuncia sobre el desempeño del mismo. En este punto, la evaluación intermedia y el seguimiento pueden llegar a asimilarse, sin embargo, sus diferencias principales se pueden observar en la tabla 1. Tabla 1. Diferencias entre los procesos de seguimiento y evaluación Seguimiento

Evaluación

Su énfasis es analizar qué estamos haciendo y

Analiza principalmente qué estamos logrando

cómo, para asegurar que el proyecto esté en-

para sacar conclusiones y recomendaciones a

cauzado correctamente para el logro de sus ob-

mayor escala sobre impactos – Aprendizaje

jetivos – Gestión Se concentra en el progreso de los principales

Pone especial énfasis en los objetivos e impac-

elementos del proyecto

tos

Tiene un carácter continuo y permanente

Se realiza en un momento puntual, en periodos establecidos

Normalmente, se realiza internamente durante

Suele tener un carácter externo y puede llevarse

la ejecución del proyecto

a cabo durante la ejecución (evaluación intermedia), pero también puede llevarse a cabo antes y después (ex-ante, final, ex-post)

Sus principales usuarios son la organización

Sus usuarios son la organización ejecutora del

ejecutora del proyecto y la población beneficia-

proyecto, la agencia financiadora, la población

ria del mismo

beneficiaria, gobiernos, sociedad civil, otros actores involucrados

Fuente: Fernández, Begoña. diferencias entre los procesos de seguimiento y evaluación. (elaboración propia).

n Evaluación final (o post): se lleva a cabo a la finalización del proyecto y per-

mite valorar los resultados inmediatos logrados por el mismo y concluir so-

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

bre su éxito o fracaso. Evalúa la adecuación de la estrategia y de los mecanismos de gestión y seguimiento llevados a cabo, así como los resultados alcanzados. n Evaluación ex-post (o de impacto): se lleva a cabo un tiempo después de

finalizada la ejecución del proyecto y evalúa los resultados consolidados en el tiempo, los impactos logrados por el proyecto de manera sostenible, tanto directos como indirectos, es decir, su contribución al desarrollo. Ilustración 2. La evaluación en el ciclo del proyecto

Fuente: Fernández, Begoña. La evaluación en el ciclo del proyecto. (elaboración propia).

El Banco Interamericano de Desarrollo (BID) considera que “la evaluación no tendrá mucho impacto en el mejoramiento del desempeño de los proyectos a menos que se planifique, administre e integre en todas las etapas del ciclo del proyecto. Si se respalda adecuadamente y se administra como es debido, la evaluación debería producir

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

una mejor participación de la responsabilidad ejecutiva y del desempeño de proyectos y programas”5. El contenido de las evaluaciones, sin embargo, no está únicamente relacionado con el momento en que se realizan. Se tiende a pensar que la evaluación ex-ante valora únicamente el diseño de la intervención, o la evaluación intermedia el proceso y el avance en el logro de los resultados. Si bien estos son los énfasis de cada una de ellas, la evaluación ex-ante también puede valorar aspectos relacionados con la gestión o los resultados esperados de la intervención, a pesar de que ésta no se haya iniciado. O la evaluación intermedia podrá valorar la gestión o el diseño del proyecto y sus consecuencias en la evolución del mismo. En conclusión, las evaluaciones podrán analizar los diferentes criterios de evaluación en todos los casos, pudiéndolas clasificar por tanto más por su contenido que por el momento de su realización. En función de su contenido, las evaluaciones pueden ser de diseño, de proceso (o gestión), de resultados o de impacto. Según el BID, las evaluaciones ex-ante e intermedia son formativas y las evaluaciones finales y ex-post son sumativas. La diferencia entre ambas es que la evaluación formativa busca mejorar el proyecto, y la evaluación sumativa, sin embargo, recoge conclusiones sobre el mismo que podrán generar aprendizajes aplicables a futuros proyectos, pero no al evaluado, que ya concluyó.

De Desarrollo, B. I. (1997). Evaluación: Una herramienta de gestión para mejorar el desempeño de los proyectos. Oficina de Supervisión y Evaluación, Estados Unidos.

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

Tabla 2. evaluación, ciclo, herramientas y productos del proyecto Ciclo de vida del proyecto Preparación

Ejecución

Tipo de evaluación

Herramientas formales de Productos resultados del evaluación

proceso

AprendiEvaluación ex-ante zaje formativo: "Durante"

- Marco lógico Diseño de proyectos me- Instrumentos de análisis jorados y "evaluables” económico, financiero, ambiental e institucional - Diagnóstico de evaluabilidad - Listado de datos de refeEvaluaciones intra y rencia post Ejercicios de proyectos - Matriz de marco lógico mejorados - Seguimiento o monitoreo Mejor desempeño de los de la ejecución proyectos

Evaluación ex-post

- Evaluación intermedia de ejecución "Pipeline" mejorado

Operación (post proyecto) Aprendi- Evaluación post Diseño de proyectos zaje sumativo: "Des- Evaluación ex-post o de im- Políticas y estrategias pués" pacto FUENTE: De Desarrollo, B. I. (1997). Evaluación: Una herramienta de gestión para mejorar el desempeño de los proyectos. Oficina de Supervisión y Evaluación, Estados Unidos.

De acuerdo con quien realiza las evaluaciones, pueden clasificarse en los siguientes tipos: n Interna: la realiza el propio equipo involucrado en la gestión del proyecto.

Tiene la ventaja de que nadie como él conoce todos los detalles del mismo, sin embargo, esta evaluación corre el riesgo de tener un sesgo importante que ponga en cuestión su credibilidad. n Externa: la lleva a cabo personal externo a la entidad gestora del proyecto,

personal especialista contratado ad hoc para realizarla. Tiene la ventaja de considerarse más objetiva dado que evita los sesgos que podrían aportar a la evaluación los directamente involucrados en el proyecto y, por tanto, de generar mayor credibilidad. Una evaluación externa independiente suele ser la que exigen las agencias de cooperación financiadoras de intervenciones de cooperación.

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

n Mixta: realizada por personal de la entidad gestora del proyecto con apoyo

de algún especialista externo. Está siendo cada vez más considerada y utilizada, ya que combina credibilidad y objetividad con el mejor conocimiento posible del contexto y las particularidades de la ejecución del proyecto, lo que garantiza la adecuación del proceso de evaluación a la realidad. Pero, además, genera mayor apropiación del aprendizaje y las recomendaciones que la evaluación genera y, por tanto, garantiza mejores condiciones para que sean incorporadas en la intervención. Según el número de entidades que la promueven, la evaluación puede ser individual o conjunta. Esta última es cada vez más promovida, en atención a las recomendaciones de armonización de procesos de los foros internacionales de cooperación y sobre la eficacia de la ayuda al desarrollo6. Se da cuando varias agencias de cooperación promueven coordinadamente la evaluación de un proyecto que cofinancian. Supone que realicen de manera coordinada el diseño, el desarrollo, la comunicación y la incorporación de recomendaciones de un proceso de evaluación. Hacer evaluaciones conjuntas puede resultar complejo, dado que supone tener que conciliar diversos objetivos e intereses y, por tanto, podrían llegar a ser más lentas y costosas. Sin embargo, tienen innegables ventajas, como favorecer la armonización, el alineamiento y el aprendizaje entre actores; reducir el número de evaluaciones y, por tanto, los costes de transacción, así como la carga de gestión para la entidad ejecutora del proyecto; favorecer la confianza y la construcción conjunta de capacidades; ejercitar la corresponsabilidad; compartir gastos e incrementar la legitimidad de los resultados. De estas clasificaciones se deriva, en todo caso, la importancia de que la evaluación cumpla con los principios de imparcialidad, independencia, transparencia, credibilidad, utilidad, aprendizaje, calidad, participación y eficacia en términos de costos.

Los principales foros han sido la Declaración de París (2002), la Agenda de Acción de Accra (2008) y la de Busan (2011).

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

De acuerdo al objeto de evaluación, las evaluaciones pueden ser: n De resultados, valora los resultados alcanzados (es el énfasis que, como se

ha visto anteriormente, suele tener la evaluación post). n De impacto, valora el impacto del proyecto, lo que tiene que hacerse cuando

ha pasado tiempo desde la finalización del mismo, por tanto, es el énfasis que tiene que tener la evaluación ex-post. Hay que diferenciar en este punto resultados, que suponen la realización de actividades y el logro del objetivo del proyecto, de impactos, que se refieren a los cambios de largo plazo en la vida de las personas. Evaluación participativa Aun reconociendo que ha habido un importante avance en las últimas décadas en la incorporación paulatina de la evaluación como parte de la cultura organizacional en el ámbito de la cooperación al desarrollo, no se puede desconocer que sigue generando temores en muchos casos. Las razones son variadas y van desde verla restrictivamente como una mera herramienta de control del desempeño a pensar que generará mayores responsabilidades o a que es un mero trámite en el que en realidad no seremos tenidos en cuenta. Las evaluaciones participativas ayudan a contrarrestar el rechazo y las resistencias, poniendo el énfasis en el aprendizaje y empoderamiento de los involucrados. Como ya se ha mencionado en módulos anteriores, el enfoque participativo es de consenso en el ámbito de la cooperación al desarrollo, dado que facilita los principios de asociación, apropiación y fortalecimiento organizativo, propósitos transversales de la cooperación al desarrollo. Y las evaluaciones no son ajenas a ello. No tendría lógica involucrar a las personas beneficiarias en las etapas de identificación y formulación del proyecto y no hacerlo en la evaluación del mismo.

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

Las evaluaciones participativas son aquellas en las que los protagonistas son las personas beneficiarias del proyecto y, para ello, participan en el diseño, el desarrollo y el proceso de utilización de sus resultados. Su participación en las diferentes etapas del proceso de evaluación implica llevarlas a cabo de manera conjunta con la entidad ejecutora del proyecto y el equipo evaluador. La vinculación de la población beneficiaria en la etapa de evaluación contribuye al aprendizaje, la apropiación y el empoderamiento de la misma, así como a la sostenibilidad del proyecto.

IV.4. Criterios y preguntas de la evaluación La metodología del EML establece cinco criterios de evaluación de un proyecto de cooperación al desarrollo: eficacia, eficiencia, pertinencia, sostenibilidad e impacto. Vamos a analizar profundamente qué es cada uno de ellos y a qué preguntas de evaluación tienen que dar respuesta. n PERTINENCIA:

Considera la adecuación de los objetivos y resultados al contexto donde se realiza la intervención (relación entre necesidades de la población, institucionales, etc.). Estudia la calidad del diagnóstico que sustenta el proyecto y su correspondencia con las necesidades que se manifiestan en la población objetivo y en el diseño del proyecto. Responde a la pregunta: ¿es conveniente mantener, modificar o abandonar la línea de trabajo trazada? n EFICACIA:

Mide el nivel de alcance de los objetivos y resultados de un proyecto en una población objetivo (beneficiaria) y en un periodo temporal determinado en

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

función de las actividades previstas o ejecutadas, es decir, valora la intervención en función de su orientación a resultados de desarrollo (sin considerar los costes). Responde a la pregunta: ¿se han alcanzado los objetivos y resultados propuestos? n EFICIENCIA:

Valora los resultados esperados o alcanzados en función de los recursos (financieros, materiales, técnicos y humanos) previstos o utilizados, en la búsqueda de una combinación óptima de éstos. Responde a la pregunta: ¿qué resultados se han logrado y con qué medios? n IMPACTO:

Se refiere a los efectos positivos y negativos, esperados y no esperados, directos e indirectos atribuibles al proyecto generado en su entorno. Responde a la pregunta: ¿contribuye el proyecto al logro del objetivo? n SOSTENIBILIDAD (o viabilidad):

Mide la probabilidad de mantener los impactos positivos del proyecto a lo largo del tiempo de manera autónoma, es decir, una vez terminado éste. Dependerá en gran medida del cumplimiento de los criterios anteriores, pero también de que se hayan potenciado factores clave de desarrollo (sociales, institucionales, culturales, técnicos, financieros) y el nivel de apropiación alcanzado por la comunidad o población objetivo de la intervención. Responde a la pregunta: ¿se mantienen los beneficios del proyecto una vez retirada la ayuda externa? En la siguiente tabla se relaciona cada uno de los criterios de evaluación con los elementos de la lógica de intervención sobre los que se focaliza cada uno de ellos.

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

Tabla 3. Criterios de evaluación y lógica de intervención EFICIENCIA

EFICACIA

DE INTER-

IMPACTO

LÓGICA

PERTINENCIA

SOSTENIBILIDAD

CRITERIOS

VENCIÓN

OBJETIVO GENERAL

OBJETIVO ESPECÍFICO RESULTADOS

ACTIVIDADES

RECURSOS

Fuente: MAE-SECIPI (2001). Metodología de gestión de evaluaciones de la cooperación española.

En algunas evaluaciones es necesario complementar el análisis de estos criterios con otros aspectos relativos al proyecto. Para ello, podemos utilizar criterios complementarios, como son: n Coherencia: analiza si existe una adecuada relación entre los problemas

identificados y la estructura del proyecto. n Apropiación: se refiere al liderazgo de los países socios en relación a su

agenda de desarrollo y la coordinación de la cooperación para tal fin. n Alineamiento: hace referencia a la adopción por parte del donante de la

agenda, políticas y procedimientos establecidos por el país receptor.

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

n Armonización: valora el nivel de coordinación entre donantes para evitar du-

plicidades y aprovechar sinergias, diferenciando roles en función de ventajas comparativas y armonizando procedimientos. n Participación: analiza la implicación de todos los actores vinculados al pro-

yecto en el proceso de evaluación. n Cobertura: focaliza su atención en el análisis del colectivo meta de la inter-

vención en relación a si ésta era adecuada para ellos o existieron barreras de acceso. A continuación, vamos a exponer algunas preguntas orientadoras para cada criterio de evaluación. Son preguntas que nos debemos formular en el momento de diseñar la evaluación y a las que esperamos que ésta dé respuesta. Tabla 4. Preguntas de evaluación PERTINENCIA: Preguntas referidas a la adecuación de la intervención al contexto. ¿Se corresponde la intervención con las prioridades y necesidades de la población beneficiaria? ¿Han cambiado las prioridades de los beneficiarios desde la definición de la intervención? En caso afirmativo, ¿se ha adaptado la intervención a dichos cambios? ¿Han cambiado las prioridades de desarrollo del país receptor o del área de influencia? ¿Han cambiado las prioridades de la Cooperación Española para el Desarrollo? EFICIENCIA: Preguntas referidas a la asignación óptima de los recursos del proyecto. ¿Se han respetado los presupuestos establecidos inicialmente en el documento? ¿Se han respetado los cronogramas y tiempos previstos? ¿Ha sido eficiente la transformación de los recursos en los resultados? ¿En qué medida la colaboración institucional y los mecanismos de gestión articulados han contribuido a alcanzar los resultados de la intervención? EFICACIA: Preguntas referidas al grado de consecución de los objetivos. ¿Se han alcanzado todos los resultados previstos de la intervención? ¿Se ha alcanzado el objetivo específico de la intervención? ¿Se han logrado otros efectos no previstos? ¿Han encontrado dificultades los destinatarios para acceder a las actividades de la intervención?

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

IMPACTO: Preguntas referidas a los efectos globales de la intervención. ¿Ha contribuido la intervención a alcanzar el objetivo global propuesto? ¿Se ha logrado un impacto positivo sobre los beneficiarios directos considerados? ¿Se han producido impactos positivos no previstos sobre los beneficiarios? ¿Se han producido impactos negativos no previstos sobre los beneficiarios? ¿Se han realizado actividades dirigidas a la sensibilización sobre el objeto de intervención en España y en el país receptor? VIABILIDAD: Preguntas referidas a la sostenibilidad futura de la intervención. ¿Se mantienen los beneficios de la intervención una vez retirada la ayuda externa? ¿Se siguen generando los recursos necesarios para el mantenimiento de las actividades? ¿Se ha influido positivamente sobre la capacidad institucional? ¿Cómo se han contemplado las prioridades horizontales? ¿Se ha beneficiado a los colectivos más vulnerables? ¿Se ha actuado sobre la desigualdad de género? ¿Se ha promovido un progreso tecnológicamente apropiado? ¿Se ha velado por la protección del medio ambiente? COHERENCIA: Preguntas referidas a la idoneidad de la estructura interna de la intervención y a su complementariedad con otras intervenciones. ¿Se corresponden los problemas identificados con los objetivos propuestos? ¿Se ha definido correctamente la estructura de objetivos, resultados y actividades de la intervención? ¿Son adecuadas las actividades programadas para lograr los objetivos de la intervención? ¿Complementa la intervención a otras estrategias o programas aplicados en el mismo territorio, sector o población objetivo por la acción exterior del Estado español, la Cooperación Española, otros donantes y el país socio? ¿Se aprovechan las posibles sinergias que se puedan establecer entre estos programas y la intervención? APROPIACIÓN: Preguntas referidas al liderazgo de los socios locales. ¿En qué medida han participado las instituciones locales en el diseño de la intervención? ¿En qué medida participan las instituciones locales en la aplicación y gestión de la intervención? ¿En qué medida participan las instituciones locales en el seguimiento de la intervención? ¿En qué medida participan las instituciones locales en la evaluación de la intervención? ¿En qué medida han participado los beneficiarios en todo el proceso? ALINEAMIENTO: Preguntas referidas a la asimilación de estrategias y procedimientos locales.

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

¿Se adaptan los procedimientos presupuestarios y administrativos de la intervención a los de las instituciones locales? ¿Se han tenido en cuenta las estrategias y programas de desarrollo del país socio? ¿La intervención incluye medidas específicas para fortalecer las capacidades de las instituciones locales? ¿Se ha logrado? ¿En qué medida las entidades ejecutora y donante de la intervención han sido transparentes con las instituciones y los socios locales? ARMONIZACIÓN: Preguntas referidas a la coordinación entre actores donantes. ¿Existen otras entidades gestoras y organismos donantes que operen en el mismo territorio, sector o población objetivo? ¿Se han establecido mecanismos de coordinación con estas entidades? ¿De qué tipo? ¿A qué ámbitos alcanzan? ¿Qué resultados ha tenido esta coordinación? PARTICIPACIÓN: Preguntas referidas al papel asignado a los beneficiarios. ¿Se ha delimitado claramente quiénes van a participar en el proyecto, y cómo? ¿Qué actores han participado en cada fase de la intervención? ¿En qué medida? ¿Han sido eficaces los canales de participación establecidos? ¿La intervención incluye medidas específicas orientadas al empoderamiento de las personas beneficiarias y las organizaciones locales? ¿Se ha logrado este empoderamiento? COBERTURA: Preguntas referidas a los colectivos atendidos. ¿Las actuaciones desarrolladas en la intervención han alcanzado a todos los colectivos destinatarios? ¿Se han establecido mecanismos para facilitar a los beneficiarios el acceso a los servicios de la intervención? ¿Son diferentes los colectivos atendidos con respecto a los identificados durante el diseño de la intervención? ASPECTOS METODOLÓGICOS: Otras preguntas relacionadas con la intervención. ¿Ha sido correcta la formulación de la intervención según el EML? ¿Ha sido útil el sistema de indicadores predefinido? ¿Han sido bien identificadas las fuentes de verificación? ¿Han sido apropiados los métodos de recopilación y análisis de los datos? ¿Han sido útiles las conclusiones de los trabajos de evaluación previa? ¿Han sido correctamente identificados los factores externos? ¿Han evolucionado dichos factores conforme a lo previsto? ¿Se ha producido información suficiente para la evaluación? Fuente: González, J. A. y Osuna, J. L. (2007). Manual de gestión de evaluaciones de la cooperación española. Aprender para mejorar. Ministerio de asuntos exteriores y cooperación.

Las preguntas del siguiente cuadro han sido elaboradas por la Cooperación Española. Nos sirven por tanto como orientación, pero, para cada caso, deberán adaptarse a las

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

particularidades de la evaluación que se vaya a realizar de acuerdo a las necesidades de información de cada uno de los actores vinculados a la misma.

IV.5. Fases de la evaluación IV.5.1. Preparación y diseño de la evaluación Durante el diseño de una evaluación, deben establecerse y planificarse los siguientes aspectos clave: a) Para emprender un proceso de evaluación es importante tener clara su motivación, poder dar respuesta a preguntas como por qué y para qué vamos a hacerla. En este punto deben quedar definidas las cuestiones estratégicas generales de la evaluación y los receptores que queremos que tenga la misma. b) Una clave del éxito de la evaluación es seleccionar de la forma más acotada posible sus objetivos, que vendrán en gran medida condicionados por las expectativas de información que tengan frente a ésta los diferentes actores involucrados en el proyecto y cuya participación debe asegurarse durante la evaluación. En este punto, y antes de seguir adelante, se debería llevar a cabo un análisis de evaluabilidad, es decir, una reflexión acerca de si existen condiciones mínimas para llevar a cabo la evaluación del proyecto. La evaluabilidad está condicionada por la calidad del diseño de la intervención (sólida lógica de intervención y buena matriz de marco lógico), la existencia de información disponible (extraída del sistema de seguimiento) y condiciones para la participación (implicación y disposición por parte de los actores clave y recursos que la garanticen). c) Los objetivos de evaluación serán el punto de partida para identificar el énfasis que van a tener en la misma los diferentes criterios de evaluación y a elaborar la batería de las preguntas que la evaluación quiere responder para cada uno

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

de ellos. Tanto los criterios como las preguntas de evaluación fueron desarrollados con detalle en el apartado anterior de este módulo. d) De acuerdo a lo anterior, debe definirse el tipo de evaluación que se quiere llevar a cabo, en función del momento de ciclo de ejecución del proyecto en el que estemos, del contenido que se quiere dar a la misma, de si se hace en alianza o no, etc. Las diferentes tipologías de evaluación son las que se han explicado en el apartado anterior de este módulo. También deberá hacerse en este momento del diseño de la evaluación una estimación de plazos y presupuestaria. En la práctica, el análisis de plazos y presupuesto ponderará las decisiones tomadas en los puntos anteriores y podrá suponer el tener que matizar algunas de ellas. Por ejemplo, si bien la participación es clave para la calidad de la evaluación, pensar en que todos los involucrados tengan mecanismos de participación individual puede resultar inasumible en términos de tiempo y costo. En ese caso, podrían buscarse medidas alternativas como involucrar a informantes clave, representativos de los diferentes grupos de interés, para garantizar un nivel de participación adecuado y que todos los puntos de vista que existen queden recogidos. e) Como parte del diseño también cabe abordar la planificación de la evaluación, que plasme en un documento todas las decisiones tomadas en las etapas antes expuestas. Si la evaluación se hace de forma interna, éste será el plan de trabajo que servirá de guía para la etapa de desarrollo de la evaluación. Si la evaluación se va a llevar a cabo de forma externa y, por tanto, hay que contratar los servicios de consultoría de expertos para ello, este mismo plan de trabajo tomará forma de Términos de Referencia (TdR). En la siguiente tabla se muestra la estructura y los contenidos que pueden servir de guía para la elaboración de los términos de referencia.

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

Tabla 5. Guía para la elaboración de unos términos de referencia Estructura de los TdR:

Control de contenidos:

Título

Nombre de la evaluación a realizar: nombre de la intervención a evaluar y tipo de evaluación.

Introducción

Por qué y para qué se evalúa (motivación, objetivos o propósitos generales, usuarios, usos y expectativas de la evaluación, recomendaciones esperadas), breve referencia al objeto de evaluación y tipología de evaluación solicitada.

Antecedentes de la interven-

Marco de planiﬁcación en el que se encuadra la intervención, fecha

ción

de inicio y ﬁnalización, presupuesto y lógica de intervención (objetivos, actividades, resultados y fases), colectivo beneﬁciario, contrapartes y breve referencia al contexto institucional y socioeconómico de la intervención.

Ámbito de la evaluación y ac-

Dimensiones de la intervención a evaluar: geográﬁcas, institucio-

tores implicados

nales, temporales, sociales y temáticas o sectoriales. Listado de actores implicados, miembros del Comité de Seguimiento y unidad gestora de la evaluación (estableciendo su participación en el proceso evaluativo). Matriz de documentación: documentos e información disponibles.

Preguntas, criterios y tipo de

Objetivos especíﬁcos de la evaluación (preguntas de evaluación).

evaluación Criterios de evaluación: deﬁnición, priorización y complementariedad. Tipo de evaluación que se solicita. Metodología, plan de trabajo

Metodología y técnicas requeridas (de recopilación y análisis de la

y estructura del informe

información y para la presentación y difusión de resultados). Solicitud del plan de trabajo: fases, plazos y productos que desea recibir. Se suelen agrupar en estudio de gabinete y trabajo de campo, indicando si se deben programar reuniones de devolución de resultados preliminares, y herramientas requeridas. Estructura orientativa

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

del informe de evaluación, formato, número de copias, extensión aproximada. Perﬁl solicitado del equipo de

Cualiﬁcación profesional, capacitación y experiencia profesional

evaluación

(temática, en evaluación y en cooperación).

Premisas de la evaluación y

Autoría del informe. Comportamiento ético y profesional de los

autoría

evaluadores: anonimato y conﬁdencialidad, responsabilidad, integridad, independencia, incidencias, convalidación, informes.

Plazo para la realización de la

Fecha de inicio y ﬁnalización. Calendario de entrega de productos.

evaluación

Devolución de resultados.

Presupuesto estimado

Presupuesto disponible para la realización de la evaluación.

Presentación de la propuesta

Características, estructura y requisitos que debe cumplir la pro-

técnica y criterios de barema-

puesta técnica. Plazos para su presentación. Criterios de valoración

ción

de la propuesta.

Fuente: González, J. A. y Osuna, J. L. (2007). Manual de gestión de evaluaciones de la cooperación española. Aprender para mejorar. Ministerio de asuntos exteriores y cooperación.

Una recomendación práctica es que los TdR incluyan también el formato de informe de evaluación que se espera (al menos, el índice). f) En el caso de evaluaciones externas, el siguiente paso será la selección del experto o equipo de evaluación, en base a las propuestas que se hayan recibido, acordes a los TdR. Para la elección de la propuesta se deben tener en cuenta tres aspectos: n Propuesta técnica: será valorada de acuerdo a la relación entre las pregun-

tas de evaluación y la metodología propuesta, la idoneidad de las herramientas planteadas para la recogida de información y que en la misma se garantice la participación de los informantes clave. n Propuesta de equipo evaluador: cabe analizar los perfiles del equipo pro-

puesto, su cualificación y experiencia.

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

Una recomendación práctica es que la importancia de que el equipo evaluador seleccionado combine experiencia metodológica en evaluación de proyectos con experiencia sectorial en el ámbito o ámbitos de intervención del proyecto (salud, derechos humanos, agua, gobernanza, género, desarrollo económico local, emprendimiento, etc.). n Propuesta económica: se analizará que el monto de la propuesta sea ade-

cuado a la metodología planteada y en comparación con las otras propuestas presentadas. Debería tener una importancia relativa frente a los otros dos aspectos, pero, evidentemente, debe estar dentro del valor que sea asumible para la evaluación. Una recomendación práctica es que en los TdR se establezca el máximo valor asumible para la realización de la evaluación como referencia de techo presupuestario para la propuesta económica. De esta manera se garantiza que ninguna de las propuestas lo excedan. En algunas ocasiones es necesario, una vez seleccionada la mejor propuesta, entrar en contacto con el equipo evaluador correspondiente para poder aclarar dudas o solicitar detalles que no hayan quedado del todo claros en la propuesta. También podría tratarse de negociar algún elemento que consideremos importante para el óptimo desarrollo de la evaluación y que no haya sido suficientemente considerado en la propuesta, siempre que sea asumible por el equipo evaluador. Esto será siempre que el ajuste propuesto no suponga entrar en grandes divergencias respecto a la propuesta desde el punto de vista metodológico, por cuestión de plazos o costos muy superiores a los planteados, lo que sería inasumible por su parte.

IV.5.2. Desarrollo de la evaluación El desarrollo de una evaluación suele tener tres etapas diferenciadas por el trabajo que se lleva a cabo en cada una de ellas, y son:

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

I. Trabajo de gabinete Es la etapa de análisis documental. En ella el equipo evaluador debe recopilar toda la documentación relativa a la gestión del proyecto que sea de interés para el proceso de evaluación (formulación, informes de seguimiento, otros informes o evaluaciones previas, etc.) y hacer el análisis documental correspondiente de manera pormenorizada, así como preparar las herramientas de recogida de información que se vayan a utilizar durante la etapa de trabajo de campo (encuestas, guiones de entrevistas, selección de estudios de caso, pautas de grupos de discusión, etc.). En esta etapa, además se revisará la metodología y se elaborará un plan de trabajo definitivo, lo más concreto posible, incorporándole ajustes a lo inicialmente propuesto en base a la documentación analizada y la negociación con todos los involucrados. Una recomendación práctica es que en este plan de trabajo es muy importante que queden muy claramente establecidos los plazos de elaboración y las fechas de entrega de los entregables definidos por la evaluación (fundamentalmente, los informes de evaluación que mencionaremos más adelante). Otra recomendación práctica es que, en aquellos casos en que durante el análisis documental constatemos que el diseño de la intervención es deficiente, con objetivos confusos o indicadores a los que se ha hecho seguimiento poco pertinente, se lleve a cabo durante esta etapa de trabajo de gabinete una reformulación de la matriz del marco lógico al menos, a nivel de objetivos, resultados e indicadores para que se haga sobre ésta el ejercicio de evaluación. Es muy importante que la nueva matriz sea de consenso, es decir, recoja el acuerdo al que lleguen los actores vinculados al proyecto respecto a qué se pretendía lograr y qué indicadores son los más adecuados para medirlo. Alcanzar este consenso y que sea el punto de partida de la evaluación es muy importante para no dificultar el trabajo del equipo evaluador y eliminar el riesgo de brechas entre lo

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

que cada actor vinculado interpreta que deberían ser los hallazgos de la evaluación y las verdaderas conclusiones de la misma, evitando la frustración que se derivaría de ello. Toda esta información analizada y generada durante el trabajo de campo suele quedar sistematizada en un informe intermedio de la evaluación que, en caso de que ésta haya sido encargada por alguna agencia de cooperación, es habitualmente el primer entregable que se establece para su validación. El informe intermedio suele contener la relación de informantes clave a los que se pretende consultar durante la evaluación, el detalle sobre cómo se prevé articular su participación, datos de contacto de los actores implicados, información sobre evaluaciones anteriores, agenda del trabajo de campo, entre otros. Este informe será un insumo clave para la elaboración del informe final de la evaluación, ya que, en gran medida, la información del informe intermedio quedará también consignada en él. En el caso de que la evaluación sea externa o se lleve a cabo por iniciativa de alguna agencia de cooperación, deberá quedar muy claro en esta etapa de la evaluación los mecanismos de coordinación e información que van a establecerse para garantizar la comunicación y el control de calidad durante el proceso.

II. Trabajo de campo En esta etapa, las funciones más importantes del equipo evaluador son recopilar la información a través de las herramientas establecidas en el plan de trabajo (reuniones, entrevistas, grupos de discusión, etc.) y hacer el análisis de dicha información para extraer los primeros resultados al respecto. A través de las diferentes reuniones y entrevistas es posible que los informantes faciliten documentación adicional a la vista en la etapa de gabinete y será analizada en este momento.

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

Una clave del éxito del trabajo de campo es haber preparado, durante la etapa de gabinete, una buena agenda que incluya todas las reuniones, entrevistas, etc., que es prioridad mantener, y asegurarse de que están confirmadas con informantes clave, lugar y hora definidos en todos los casos. Una recomendación es tratar de estructurar la agenda teniendo en cuenta desplazamientos y lugares de reunión en cada caso para, en la medida de lo posible, programar reuniones cercanas en horarios seguidos y no perder demasiado tiempo en los desplazamientos o tener que repetir viajes. Una buena agenda permitirá cumplir con el trabajo previsto, minimizando desagradables sorpresas. Por otro lado, es habitual que el equipo evaluador mantenga agendas paralelas, y de esta manera, lograr mayor cobertura en el levantamiento de información durante el trabajo de campo, sobre todo, cuando éste implica cubrir varios destinos geográficos, que suponen desplazamientos importantes y están distantes entre sí. Teniendo en cuenta todo esto, es muy importante que desde la entidad gestora del proyecto se apoye la estructuración y confirmación de agendas, dado que suelen disponer de relaciones de confianza con muchos de los informantes clave y, por tanto, su apoyo facilitará y agilizará la tarea del equipo evaluador. Por último, recordar que esta etapa es uno de los momentos clave para evidenciar el enfoque participativo de la evaluación y el éxito o fracaso de los mecanismos que se han previsto para garantizarla. Una recomendación práctica es que, si en la etapa de trabajo de campo se identifica algún grupo de interés no previsto, se considere ajustar la agenda para poderlo incorporar. Esto es importante por dos cuestiones fundamentales; la primera, que su valoración sea recogida y garantizar así un análisis lo más completo posible; la segunda, para evitar indisponerlo contra la evaluación y, por tanto, que genere distorsiones que afecten su buen desarrollo o deslegitimen sus resultados.

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

En esta etapa es habitual que el equipo evaluador sistematice la información recabada y los resultados preliminares de su análisis en un documento denominado memoria de campo. Es recomendable la elaboración de este documento para no perder u olvidar información importante. Cabe tener en cuenta que en esta etapa el equipo evaluador se desplaza a la zona de ejecución del proyecto y, para no aumentar costos, suele llevarse a cabo en el menor tiempo. Por eso las agendas del equipo evaluador suele ser apretadas e intensivas en información recabada. Hacer buenas memorias de las reuniones, entrevistas, etc., mantenidas y dejarlo todo sistematizado permite recoger los matices que se perciben en el momento y que con el tiempo se olvidan o desvirtúan.

III. Elaboración del informe de evaluación y presentación de resultados Una estructura habitual del informe de evaluación es organizar la información relevante de acuerdo a cuatro niveles de evaluación: hallazgos, conclusiones, recomendaciones y lecciones aprendidas, organizando la información expuesta en cada uno de ellos en base a los criterios de evaluación analizados. A continuación, se incluye la descripción de estos cuatro niveles de evaluación: 1. Hallazgos: Factores más relevantes encontrados en la evaluación basados en hechos registrados sobre el proyecto evaluado. 2. Conclusiones: Principales consecuencias o deducciones derivadas de los hallazgos, en base a la interpretación de los datos recopilados, que pueden ser positivas o negativas. 3. Recomendaciones: Sugerencias de acción para cada una de las conclusiones negativas que permitan la consolidación de fortalezas y la reducción de debilidades. Deben ser claras, concretas, realizables (teniendo en consideración costos y riesgos), dirigidas a personas que tengan capacidad de decisión sobre las mismas y, si es posible, ofrecer diversas opciones para la implementación (aumentando las probabilidades de que efectivamente se haga, ya que los responsables podrán decidir cómo). 55

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

Lecciones aprendidas: Enseñanzas derivadas de las experiencias del proyecto que pueden hacer referencia a cuestiones positivas o negativas, destacando debilidades y fortalezas del diseño, el desempeño y los resultados e impactos del proyecto.

Cada uno de los cuatro niveles de evaluación es secuencial, es decir, cada uno de ellos se elabora en base a la información del anterior. Así, la estructura de estos niveles de evaluación podría plantearse de la siguiente manera: 1. Hallazgos, en relación a: 1.1. Pertinencia 1.1.1. XXXXXXXXXX 1.1.2. XXXXXXXXXXXX 1.2. Eficiencia 1.2.1. XXXXXXXXXX 1.2.2. XXXXXXXXXXX 1.3. Eficiencia 1.3.1. XXXXXXXXXX 1.3.2. XXXXXXXXXXXX 1.4. Impacto 1.4.1. XXXXXXXXXX 1.4.2. XXXXXXXXXX 1.5. Viabilidad 1.5.1. XXXXXXXXXX 1.5.2. XXXXXXXXXX 2. Conclusiones, en relación a: 2.1. 2.2. .

. .

Y lo mismo aplicado a los apartados de Recomendaciones y Lecciones aprendidas.

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

Una posible estructura completa del informe final de evaluación podría ser la siguiente: 1. Introducción 1.1. Estructura del informe 1.2. Descripción de la intervención y del objeto de evaluación 1.3. Antecedentes, alcance y objetivos de la evaluación 2. Metodología de evaluación 2.1. Descripción del marco teórico-metodológico 2.2. Preguntas de evaluación y dimensiones de análisis 2.3. Procedimiento y técnicas de recogida de datos 2.4. Proceso y análisis de datos 2.5. Limitantes de la evaluación 3. Análisis e interpretación de la información de la evaluación 4. Hallazgos de la evaluación 5. Conclusiones de la evaluación 6. Lecciones aprendidas de la evaluación 7. Recomendaciones de la evaluación 8. Anexos

En los Anexos se debe incorporar toda la información y documentación complementaria que se ha incluido en el informe y que sea necesaria para disponer de todos los detalles y entender bien el proceso de evaluación (la metodología, etc.) y sus principales hallazgos, por ejemplo, herramientas utilizadas para la recogida de información o los TdR. Antes de la entrega final del informe de evaluación, el equipo que ha desarrollado la misma suele entregar un borrador a la entidad o entidades que la encargaron. Siguiendo los preceptos de una evaluación participativa, cabría compartir dicho borrador con los principales actores involucrados en la evaluación para su revisión y aportes. Ésta es la oportunidad de incorporar información complementaria, aclaratoria o ciertos matices a los resultados de la evaluación plasmados en el informe. Una vez analizados los aportes por el equipo evaluador y analizada su pertinencia, incorporarán todo aquello que consideran que enriquece el informe sin desvirtuar el espíritu de la evaluación y procederán a entregar el informe final.

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

Es importante que el equipo evaluador garantice que el informe final responde a los criterios de claridad y calidad. Por último, en este momento es importante aplicar el enfoque de género procurando que el informe final se elabore con un lenguaje inclusivo. Por otro lado, es habitual que los encargados de promover la evaluación, sea la misma entidad ejecutora o alguna de sus agencias financiadoras, encarguen, además del informe de evaluación, un resumen ejecutivo del mismo, que será una importante herramienta para dar a conocer y difundir el proceso y la información fundamental del mismo, como veremos en el siguiente apartado. El informe ejecutivo en muchas ocasiones se incorpora al informe de evaluación como su primer capítulo.

IV.5.3. Difusión y aplicación de recomendaciones Una evaluación debe cumplir con las expectativas de información de los diferentes actores involucrados en la ejecución del proyecto. Algunos de los habituales son la entidad ejecutora del mismo, los socios locales, las personas beneficiarias, las entidades financiadoras, los gobiernos de los países donante y receptor, así como la sociedad civil en general. Para ello, una vez realizada la evaluación, debe implementarse una estrategia de comunicación de sus resultados y para ello será de mucha utilidad el informe ejecutivo como extracto del mismo. La estrategia de comunicación debe definir cómo hacer llegar la información correspondiente a cada tipo de actor y cuál es el soporte más adecuado para ello. El mismo informe ejecutivo puede ser uno de estos soportes. Otros posibles son folletos, boletines, presentaciones… También es habitual llevar a cabo algún taller o reunión de socialización de los resultados de la evaluación. Así mismo, cabe valorar la posibilidad de utilizar medios audiovisuales como vídeos.

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

Todos estos soportes, además, pueden difundirse utilizando las posibilidades que actualmente ofrecen las TIC, como colgarlos en las webs de los actores clave vinculados al proyecto y a la evaluación. Una recomendación práctica es que todos los involucrados deben recibir los resultados de la evaluación, sobre todo, los beneficiarios del proyecto. Suele ser un error común no hacer llegar dichos resultados a todos los involucrados, solo a aquellos que se considera que, por ejemplo, están involucrados en la gestión del proyecto. Eso no significa que a todos los actores es pertinente hacerles llegar toda la información relativa a la evaluación o de la misma manera. A algunos de ellos, por ejemplo, será oportuno hacerles llegar las conclusiones y recomendaciones (a la entidad gestora del proyecto, por ejemplo, para que pueda aplicarlo y mejorar su desempeño) y, a otros, únicamente las lecciones aprendidas (a la agencia de cooperación para que las difunda, por ejemplo). Será pertinente que algunos de ellos dispongan del informe final de evaluación completo (el financiador que ha encargado la evaluación, por ejemplo), pero, en otros casos, será mejor hacerles llegar el resumen ejecutivo (directivos del financiador) o una presentación con la información principal (a algunos aliados del proyecto, por ejemplo, que tienen un papel concreto y limitado en el mismo). Los soportes a través de los cuales se piensa difundir la información clave de la evaluación (documentos técnicos, folletos, publicaciones, videos, etc.) pueden ser productos de conocimiento, facilitando el aprendizaje de su contenido, y cumpliendo así con la función de transferir conocimiento, si son pensados y elaborados, dándoles el enfoque adecuado para ello. Sobre la relevancia de la evaluación como herramienta de gestión del conocimiento se profundizará en el apartado 7 de este módulo.

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

Para cumplir cabalmente las funciones de aprendizaje y mejora de la gestión de un proyecto, las recomendaciones de la evaluación deben derivarse en acciones que las integren en su gestión. Por eso, de acuerdo a los resultados de la evaluación, se elabora un plan de mejora en el que consten para cada recomendación la acción o acciones que se derivan de la misma.

Recomendaciones prácticas: Es muy importante para su éxito que el plan de mejora sea elaborado con el equipo y actores involucrados en la ejecución del proyecto a través de un proceso de reflexión en el que no se busquen culpables y que cumpla la función de aprendizaje de la evaluación, buscando consensos al respecto con los responsables de aplicar las recomendaciones. Si no existe consenso y, por tanto, compromiso por su parte, dichas recomendaciones y las acciones derivadas de éstas y expresadas en el plan de mejora difícilmente serán implementadas. También es clave para su implementación oportuna que se haga un seguimiento conveniente a este plan de mejora y se establezcan incentivos para los actores que deben implementar las diferentes acciones establecidas en el mismo.

IV.6. Herramientas de evaluación Las evaluaciones pueden utilizar fuentes tanto primarias como secundarias para obtener la información requerida. Las fuentes primarias son aquellas de generación propia y las secundarias son fuentes documentales ya existentes. Pueden ser externas (datos estadísticos o estudios proporcionados por el gobierno y otras agencias), internas (diagnósticos o evaluaciones previas del proyecto) o provenientes del sistema de seguimiento (información sobre indicadores o informes de actividades). Una recomendación práctica es hacer primero un análisis de qué fuentes secundarias relevantes para el proceso de evaluación tenemos a disposición y, a partir de ahí, identificar qué información adicional es necesaria y qué herramientas es más adecuado diseñar para su levantamiento. 60

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

Para la recogida de la información las evaluaciones suelen utilizar una combinación de instrumentos cuantitativos (de los que se derivan datos numéricos) y cualitativos (de los que se deriva información no numérica). Los números pueden ser útiles para ver la evolución de un proyecto comparando, por ejemplo, el punto de partida con el alcanzado a la finalización del mismo o comparándolo con otro proyecto similar. Sin embargo, muchas veces, los datos numéricos aislados aportan poca información si no se analizan en conexión con lo que representan, con otras variables complementarias. Por ejemplo, en un proyecto del sector salud puede ser importante para su evaluación conocer datos cuantitativos, como cuántas personas acceden a un servicio concreto de salud como consecuencia de la intervención del proyecto. Esta información puede extraerse de listados de atención que proveen datos cuantitativos exactos (número de personas atendidas). Pero puede ser importante conocer, además de los datos de cobertura, aspectos relativos a la calidad del servicio para evaluar la eficacia de otras estrategias del proyecto, como la formación a personal sanitario u otras. Para ello, tendremos que extraer información cualitativa a través de, por ejemplo, la consulta a los usuarios sobre grados de satisfacción o al personal docente sobre su opinión respecto a los medios a disposición para el desarrollo de sus competencias. Tabla 6. Técnicas cuantitativas y cualitativas de recogida de información Técnicas cuantitativas

Técnicas cualitativas

Encuestas

Entrevistas abiertas

Medición directa cuantificable (indicadores,

Grupos de discusión

estadísticas, escalas, etc.) Entrevista estructurada Análisis coste beneficio Observación directa Observación participante Fuente: Fernández, Begoña. técnicas cuantitativas y cualitativas de recogida de información. (elaboración propia).

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

Para la selección de los métodos de recogida de información deben también tenerse en cuenta aspectos como plazos, recursos humanos disponibles con competencias en investigación, costes y adecuación al objeto de la evaluación según su dimensión y características. A continuación, vamos a explicar algunas de las herramientas de recogida de información más utilizadas en las evaluaciones de proyectos de cooperación al desarrollo: Entrevista individual Sin duda, la más utilizada en las evaluaciones. Permite la recopilación de información de forma sencilla, más o menos rápida y a un costo razonable. Es apropiada si el número de personas a entrevistar es limitado. En la práctica, se llevan a cabo sobre todo para obtener información de los que se consideran los informantes claves de un proyecto, es decir, aquellos que manejan una cantidad de información importante sobre diversos aspectos esenciales del proyecto. Permite recopilar información cuantitativa, pero, sobre todo, cualitativa, dado que el entrevistado puede dar opinión de manera abierta, por lo que resulta indispensable para el desarrollo del análisis, ya que proporciona respuestas más ricas y puntualizadas. La entrevista puede ser estructurada, semiestructurada o no estructurada, dependiendo de que se utilice total, parcialmente o no se utilice una guía de entrevista previamente construida a partir de los criterios y las preguntas de evaluación. Encuesta Consiste en una batería de preguntas relacionadas con las preguntas de evaluación. Las personas a las que va dirigida contestan directamente al encuestador por escrito, por teléfono, on line, etc.

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

Las encuestas se componen de preguntas sobre todo cerradas, lo que facilita su codificación, aunque éstas pueden combinarse con algunas preguntas abiertas que profundicen sobre algún aspecto que interese particularmente. Se dirige a una muestra representativa de la población objeto de evaluación y permite cuantificar el peso de cada una de las opiniones expresadas y comparar su importancia relativa para las personas que las emiten. Implica seleccionar la muestra para que sea representativa, elaborar la batería de preguntas que deben ser fácilmente entendibles por todos los encuestados, y codificar y analizar los resultados obtenidos para extraer conclusiones sobre los mismos. Permite en poco tiempo recabar información de muchas personas, pero se requiere así mismo tiempo para su preparación y el análisis de la información. Son, por ejemplo, muy útiles para conocer el grado de satisfacción de los beneficiarios de un proyecto. Grupos de discusión Se refiere a una entrevista grupal a un conjunto de personas no muy grande para facilitar el debate, que indaga sobre sus opiniones, experiencias o expectativas, permitiendo profundizar sobre la justificación de sus argumentos. Una recomendación práctica es que un grupo de discusión no exceda las 15 personas para que se puedan establecer relaciones entre ellas que propicien la profundización del debate. Los grupos de discusión, por pequeños que sean, requieren de un facilitador que anime y ordene dicho debate a través de diversas técnicas: en la tormenta de ideas el punto de partida es recopilar las ideas que los participantes aportan en voz alta, mientras que, en el grupo nominal, cada participante las escribe en un papel, para posteriormente en ambos casos pasar a la reflexión grupal sobre las mismas.

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

En algunas ocasiones se pueden organizar grupos más numerosos, buscando la representatividad de diferentes colectivos en el mismo. El papel del animador en este caso será clave para que el debate no se desvíe del objeto de evaluación. En todo caso, el grupo de discusión es una herramienta cualitativa, rápida, que permite identificar distintas posiciones inicialmente homogéneas. Resulta muy utilizada para entrevistar a los beneficiarios de un proyecto, sobre todo en relación a su percepción sobre el impacto del mismo, permite optimizar el tiempo de varias entrevistas y profundizar más en la justificación de los diferentes argumentos al verse confrontados con otros. Observación directa Es una herramienta que puede ser tanto cuantitativa como cualitativa, dependiendo del objeto de la observación (número de personas que acuden a un taller o tipo de intervenciones de dichas personas en el mismo). Pretende, a partir de lo observado, extrapolar conclusiones. Para ello, la observación debe ser planificada, tener definido previamente el objeto de análisis y establecer comprobaciones. Dependiendo de factores como la interacción del observador y el observado, pueden ser observaciones participantes o no participantes. En función del lugar donde se desarrollen pueden ser observaciones de campo o laboratorio. Y dependiendo del número de involucrados las observaciones son individuales o en grupo. Estudio de caso Pretende analizar ejemplos reales para profundizar en su conocimiento y extraer conclusiones extrapolables al conjunto de la evaluación. En evaluaciones complejas o en las que falla la información de base, esta herramienta permite obtener información empírica y verosímil.

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

Aunque puede completarse con análisis documental u otros, implica, sobre todo, la observación directa del caso y entrevistas a las personas involucradas en el mismo. Es clave establecer los criterios de selección de los estudios de caso para que éstos sean representativos de las diferentes casuísticas de un proyecto. Es una herramienta muy útil en la evaluación de proyectos que se han ejecutado en diferentes ámbitos geográficos y que, por cuestiones de costos y tiempo, no va a ser posible que sean incluidos todos en el trabajo de campo. La evaluación se lleva entonces a cabo a través del análisis de una muestra representativa de estos casos. Análisis coste-eficacia Es una herramienta cuantitativa, de análisis económico en relación al coste de alcanzar un objetivo, es decir, permite analizar la eficacia económica de un proyecto. Además, el análisis coste-eficacia permite comparar proyectos que pretenden un mismo objetivo mediante diferentes estrategias y acciones, y concluir cuál ha sido más eficaz, es decir, cuál ha tenido menor coste-eficacia. Esta herramienta es utilizada tanto en evaluaciones ex-post, finales, intermedias como ex-ante, si bien requiere que se disponga de datos fiables, resultados claros y costes medibles. Otras herramientas posibles son los indicadores de contexto, el análisis DAFO, el análisis multicriterio o el panel de expertos, que suelen utilizarse para evaluaciones de estrategias país o sectoriales y no tanto para las de proyectos concretos. Para profundizar en todas estas herramientas y algunas más, sobre qué tipo de herramienta son, qué información aportan, los consejos para su implementación y las ventajas e inconvenientes de utilizarlas, se pueden consultar algunas referencias bibliográficas que se han incluido en el apartado Material complementario de este módulo.

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

IV.7. Resumen La evaluación es un proceso de análisis del proyecto en un momento puntual del ciclo de gestión que permite valorar aspectos clave del mismo para sacar conclusiones extrapolables y realizar recomendaciones para el proyecto o para otros proyectos futuros, en relación a criterios establecidos previamente (impactos, eficacia, eficiencia, pertinencia, viabilidad…). Sus funciones son retroalimentar la gestión del proyecto; rendir cuentas (como el seguimiento); contribuir al empoderamiento y fortalecimiento de los involucrados; generar aprendizaje y mejorar la calidad del proyecto y de la AOD. La evaluación debe estar orientada a la utilidad, ser sistemática, útil, flexible, basarse en evidencias, establecer relaciones de causalidad y satisfacer las necesidades de información de todos los involucrados. Las evaluaciones pueden ser de diferentes tipos, de acuerdo a: 1. El momento en el que se realizan (ex-ante, intermedia, final o ex-post); 2. El contenido (de diseño, proceso, resultados o impacto); 3. Quién las realiza (internas, externas o mixtas); 4. El número de entidades promotoras (individuales o conjuntas); 5. El objeto (de resultados o de impacto). En todo caso, e independientemente de la tipología que se considere más adecuada en cada caso, la tendencia es a que las evaluaciones sean participativas, dado que contribuyen al aprendizaje, la apropiación y el empoderamiento de los involucrados, así como a la sostenibilidad del proyecto. Las evaluaciones participativas son aquellas en las que las personas beneficiarias del proyecto se involucran en las diferentes etapas del proceso de evaluación (diseño, desarrollo y utilización de sus resultados), de manera conjunta con la entidad ejecutora del proyecto y, en su caso, el equipo evaluador.

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

De acuerdo a la metodología del EML, los cinco criterios de evaluación de un proyecto de cooperación al desarrollo son eficacia, eficiencia, pertinencia, sostenibilidad e impacto. Y otros criterios complementarios que suelen utilizarse son coherencia, apropiación, alineamiento, armonización, participación y cobertura. Cada uno de ellos abarca diferentes ámbitos complementarios entre sí y cada evaluación definirá por tanto en su etapa de diseño en cuáles de ellos pone el énfasis, de acuerdo a las necesidades de información que se identifiquen en cada caso. Para cada criterio se establecen preguntas orientadoras que faciliten acotar su ámbito y alcance. Una evaluación se lleva a cabo de acuerdo a las etapas de: 1. Diseño, en la que se definen la motivación, objetivos, análisis de evaluabilidad, tipología, criterios y preguntas de evaluación, así como, en su caso, el equipo evaluador. En esta etapa suelen hacerse los TdR y el informe intermedio de la evaluación que sistematizan esta información, sobre todo cuando son evaluaciones externas que requieren una contratación. 2. Trabajo de campo, etapa en la que fundamentalmente se lleva a cabo el levantamiento y análisis de información. Las fuentes de información pueden ser primarias (de generación propia) o secundarias (fuentes documentales ya existentes), así como ser externas (datos estadísticos o estudios proporcionados por el gobierno y otras agencias), internas (diagnósticos o evaluaciones previas del proyecto) o provenientes del sistema de seguimiento (información sobre indicadores o informes de actividades). 3. Informe final y presentación de resultados, que habitualmente se estructuran de acuerdo a cuatro niveles de evaluación —hallazgos, conclusiones, recomendaciones y lecciones aprendidas—, que son secuenciales, ya que cada uno de ellos se elabora en base a la información del anterior. La difusión se realizará a través de aquellos soportes (documentos técnicos, folletos, publicaciones, vídeos, etc.) que, en cada caso, permita productos de conocimiento que faciliten el aprendizaje y la transferencia de cocimiento. Se recomienda así mismo la elaboración de un plan de mejora en el que consten para cada recomendación la acción o acciones que se derivan de la misma. 67

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

Por último, en cuanto a las herramientas de recogida de información, cabe decir que hay múltiples opciones. Las más utilizadas son la entrevista individual, la encuesta, los grupos de discusión, la observación directa, los estudios de caso y el análisis costeeficacia.

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

UNIDAD V RELACIÓN DE LA EVALUACIÓN CON LA GESTIÓN DEL CONOCIMIENTO Y LA CALIDAD DE LA AYUDA OFICIAL AL DESARROLLO

V.1. Objetivos n Identificar la relevancia de la gestión del conocimiento, función fundamen-

tal de la evaluación de los proyectos de desarrollo, tanto para los involucrados en el proyecto como para el sistema de cooperación.

V.2. Contenido La gestión del conocimiento dentro de las organizaciones ha venido adquirido un innegable protagonismo. Dicho de forma sencilla y en pocas palabras, la gestión del conocimiento es el proceso que permite que el conocimiento fluya en las organizaciones de manera que logre no solo resolver problemas, sino generar aprendizaje e innovación en los procesos organizacionales.

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

El conocimiento es inherente a las personas —sólo ellas pueden convertir datos en conocimiento— y es por ello que el capital humano en las organizaciones adquiere una relevancia transcendental, siendo clave ocuparse de las habilidades, cualidades, capacidades y competencias de las personas que las conforman. En este escenario, hay que ver la evaluación de los proyectos de cooperación como una oportunidad estratégica de generar conocimiento, y no sólo desde el punto de vista interno para la organización ejecutora, sino para el conjunto de actores involucrados en el proyecto y, por tanto, para el sistema de cooperación. Pero para que así sea, dicho sistema de cooperación debe contar con una estrategia que vele, primero, porque las evaluaciones generen resultados útiles para los involucrados y, segundo, porque éstos los utilicen. El sistema de cooperación deberá promover que las evaluaciones realicen un análisis sistemático de los proyectos que impulsa y garantizar que contribuyen a la formación, aprendizaje y capacitación de las organizaciones e instituciones que son parte de él, permitiendo la incorporación de las mejores prácticas y lecciones al sistema. Es por ello que una política de evaluación bien orientada puede ser una de las principales herramientas con las que cuente un sistema de cooperación para contribuir al cumplimiento de los estándares de calidad de la cooperación que plantea la agenda de eficacia de la ayuda, ya que aporta a la consecución de los principios de apropiación, alineamiento, armonización, gestión orientada a resultados y mutua responsabilidad en los que se basa dicha agenda, como hemos visto en los módulos anteriores de este curso. La evaluación aporta a los mencionados principios, dado que: n Al de apropiación, porque disponer de información sobre los resultados que

genera la ayuda oficial al desarrollo contribuye a fortalecer el liderazgo de los actores y países receptores y refuerza su capacidad de ejercerlo. n Al de alineamiento, en la medida en que en las evaluaciones se analizan la

gestión y los procedimientos buscando mejorarlos y contribuyendo al 70

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

desempeño, transparencia y responsabilidad de los sistemas de cooperación nacionales, por lo que ayudan a evidenciar los avances en la consecución de sus resultados de desarrollo. n A la armonización, dado que facilita la construcción de conocimiento con-

junto para compartir las lecciones aprendidas, así como a la identificación y aprovechamiento de las ventajas comparativas de cada actor. n A la gestión orientada a resultados, porque analiza la consecución de los re-

sultados deseados, facilitando una toma de decisiones que mejore la eficacia, y promueve enfoques participativos que refuercen las capacidades de gestión basada en resultados de los diferentes involucrados. n A la mutua responsabilidad, por cuanto contribuye a ampliar la responsabi-

lidad y la transparencia en la utilización de los recursos del desarrollo. Por último, cabe mencionar, por un lado, que las evaluaciones conjuntas potencian estos aportes a los principios de la agenda de eficacia de la ayuda. Y, por otro, que los procesos de evaluación participativa tienen además un alto potencial de contribuir al fortalecimiento y empoderamiento de personas y organizacional, énfasis y estrategia de trabajo habitual de la cooperación al desarrollo.

V.3. Resumen La gestión del conocimiento ha venido adquiriendo protagonismo en todos los ámbitos de las organizaciones, constituyéndose la evaluación en una de las herramientas fundamentales para el sector de la cooperación para el desarrollo, tanto para resolver problemas como para generar aprendizaje para el conjunto de actores involucrados e innovación en los procesos organizacionales, permitiendo la incorporación de las mejores prácticas y lecciones al sistema. Una política de evaluación bien orientada contribuye por tanto a que un sistema de cooperación cumpla con los estándares de calidad que plantea la agenda de eficacia 71

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

de la ayuda y sus principios (apropiación, alineamiento, armonización, gestión orientada a resultados y mutua responsabilidad). Por último, destacar que las evaluaciones conjuntas y participativas son las que mejor potencian dicha agenda de eficacia de la ayuda y contribuyen al fortalecimiento y empoderamiento de personas y organizaciones.

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

Referencias bibliográficas Referencias bibliográficas impresas n AGENCIA NORUEGA DE DESARROLLO (NORAD) (1997). Evaluación de pro-

yectos de ayuda al desarrollo. Manual para evaluadores y gestores. Madrid: Instituto de Desarrollo y Cooperación (IUDC), Universidad Complutense de Madrid, CEDEAL. n Camacho, H. C., Cascante, L., Sainz, H., Beccar, L. H., Kubach, P. T., Lage-

mann, J., ... y Chopra, G. (2001). El enfoque del marco lógico: 10 casos prácticos. Cuaderno para la identificación y diseño de proyectos de desarrollo (338.9 E56). Madrid: Fundación CIDEAL, Acciones de Desarrollo y Cooperación. n Gómez, L. G. (2005). La evaluación en la gestión de proyectos y programas de

desarrollo: una propuesta integradora en agentes, modelos y herramientas. n Gómez Galán, M. y Cámara, L. (2003). Orientaciones para la aplicación del

enfoque de marco lógico: Errores frecuentes y sugerencias para evitarlos. Madrid: CIDEAL. n Gómez Galán, M. y Sainz Ollero, H. (1999). El ciclo del proyecto de coopera-

ción al desarrollo. La aplicación del marco lógico. Madrid: CIDEAL. n González, J. A. y Osuna, J. L. (2007). Manual de gestión de evaluaciones de la

cooperación española. Aprender para mejorar. Madrid: Ministerio de Asuntos Exteriores y Cooperación. n Ministerio de Asuntos Exteriores (MAE) - Secretaría de Estado para la

Cooperación Internacional y para Iberoamérica (SECIPI) (2001). Metodología de gestión de evaluaciones de la cooperación española.

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

n Ortegón, E. y Prieto, A. (2005). Metodología del marco lógico para la planifi-

cación, el seguimiento y la evaluación de proyectos y programas (vol. 42). United Nations Publications. Referencias bibliográficas electrónicas n al Desarrollo, C. D. A. (1995). Principios del CAD para una Ayuda eficaz. Grupo

Mundi-Prensa. n Comisión Europea (2004). Líneas directrices Gestión del Ciclo del Proyecto.

Manual de Gestión del Ciclo del Proyecto. Oficina de Cooperación EuropeAid. n de Cooperación, E. O. (2006). Metodología de evaluación de la ayuda exterior

de la Comisión Europea. Guía para la Evaluación Proyecto y Programa. n de Desarrollo, B. I. (1997). Evaluación: Una herramienta de gestión para mejo-

rar el desempeño de los proyectos. Oficina de Supervisión y Evaluación, Estados Unidos. n de Desarrollo, B. I. (2015). Gestión de Proyectos de Desarrollo. Rodolfo Siles,

PMP y Ernesto Mondelo, PMP. n de Evaluación, O. (2009). Manual de evaluación. n Gisbert, Inma y Martín-Pérez, Alberto (2015). Módulo IV: seguimiento y eva-

luación. Elaboración y diseño de proyectos sociales para ONG. n Grupo de Naciones Unidas para el Desarrollo (2011). Manual de Gestión ba-

sada en Resultados. Una armonización de los conceptos y enfoques de GbR para fortalecer los resultados de desarrollo a nivel de país. n PNUD, P. D. (2009). Manual de planificación, seguimiento y evaluación de los

resultados de desarrollo. n UNESCO (2010). Por el buen camino: Guía para el seguimiento y evaluación de

proyectos comunitarios.

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

n Unión Europea (2015). La evaluación importa. La política de evaluación de la

cooperación al desarrollo de la Unión Europea. Bélgica. Referencias en línea n Agencia Española de Cooperación Internacional para el Desarrollo (AECID).

Documentos y publicaciones de la cooperación española. Disponibles en: http://www.aecid.es/ES/la-aecid/publicaciones-y-documentos n Agenda de Acción de Addis Abeba. Tercera Conferencia Internacional sobre

la Financiación para el Desarrollo. Asamblea General de las Naciones Unidas. 27 de julio de 2015. Disponible en: http://unctad.org/meetings/es/SessionalDocuments/ares69d313_es.pdf n Alianza de Busan para la Cooperación Eficaz al Desarrollo. Cuarto foro de

alto nivel sobre la eficacia de la ayuda al desarrollo. Busan, Corea. 29 de noviembre-1

diciembre

2011.

Disponible

en:

https://www.oecd.org/dac/effectiveness/49650200.pdf n Boletín Oficial del Estado (BOE): www.boe.es n Declaración de París sobre eficacia de la ayuda. Disponible en:

http://www.oecd.org/dac/effectiveness/34580968.pdf n Objetivos de Desarrollo Sostenible. Naciones Unidas. Disponible en:

http://www.un.org/sustainabledevelopment/es/objetivos-de-desarrollosostenible/ n Oficina de evaluación de la OCDE: http://www.oecd.org/dac/evaluation/ n Oficina de evaluación de las Naciones Unidas: http://www.uneval.org/ y Cen-

tro de recursos de evaluación de las Naciones Unidas: https://erc.undp.org/ n Oficina de evaluación del BID: http://www.iadb.org/es/oficina-de-evalua-

cion-y-supervision/ove,19686.html?

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

n Programa de acción de Accra. Tercer foro de alto nivel sobre la eficacia de

la ayuda al desarrollo. Accra, Ghana. 2-4 de septiembre de 2008. Disponible en: https://www.oecd.org/dac/effectiveness/34580968.pdf n Recursos de evaluación de la CEPAL: http://biblioguias.cepal.org/Evaluacion n Red internacional de evaluación: https://www.redinternacionalevalua-

cion.com/sitios-de-interes

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

Material complementario Guías y manuales elaborados por AECID para orientar la transversalización de diversos enfoques en los proyectos de cooperación: n Agencia Española de Cooperación Internacional para el Desarrollo (2015).

Guía de la AECID para la transversalización del enfoque de género. Disponible en:

http://www.aecid.es/Centro-Documentacion/Documentos/Publicacio-

nes%20AECID/GU%C3%8DA%20DE%20G%C3%89NERO.pdf n Agencia Española de Cooperación Internacional para el Desarrollo (2015).

Guía de la AECID para la transversalización del medio ambiente y el cambio climático. Disponible en: http://www.aecid.es/Centro-Documentacion/Documentos/Publicaciones%20AECID/151015guiaTMA.pdf n Agencia Española de Cooperación Internacional para el Desarrollo (2015).

Manual de la AECID para la aplicación del enfoque basado en derechos humanos. Disponible en: http://www.aecid.es/Centro-Documentacion/Documentos/Publicaciones%20AECID/Guia%20EDBH%20v4.pdf n Informe de seguimiento técnico anual para los Convenios a Organizaciones

No Gubernamentales de Desarrollo (ONGDs) financiados por la Agencia Española de Cooperación para el Desarrollo (AECID). Disponible en: http://www.aecid.es/ES/Paginas/La%20AECID/Nuestros%20Socios/ONGD/Subvenciones/guias-modelos-proyectos-conveniosONGDs.aspx Referencias bibliográficas sobre herramientas de recogida de información: n Comisión Europea:

de Cooperación, E. O. (2006). Metodología de evaluación de la ayuda exterior de la Comisión Europea. Volumen 4, Herramientas de evaluación.

Gestión de Proyectos de Coop. Intern. para el desarrollo en América Latina y el Caribe

Módulo 6

Disponible en: http://ec.europa.eu/europeaid/sites/devco/files/evaluation-methods-guidance-vol4_es.pdf n Fondo Internacional de Desarrollo Agrícola (FIDA): de Evaluación, O. (2009).

Manual de evaluación. n Disponible

en:

http://ong-adg.be/bibliadg/bibliothe-

que/opac_css/doc_num/fiches_techniques/fida_eval_manual_s.pdf Vídeos sobre evaluación: n Conferencia de Indra Naioo, director of Independent Evaluation Office

(United Nations Development Programme -UNDP) and UNEG Vice Chair for System-wide Initiatives. Releva la independencia, credibilidad y utilidad que deben guiar todos los ejercicios de evaluación, su capacidad de influencia y de producir cambios, así como la necesidad de su profesionalización. Disponible en: http://www.uneval.org/ n Conferencia de Frederic Martin, copresidente del Instituto de Desarrollo

Económico y de Administración (IDEA). Destaca la importancia de que exista en la organización una cultura de evaluación así como de la función de aprendizaje que tiene y su relevancia para poder mejorar y fortalecer las capacidades de los funcionarios. Menciona también la necesidad de disponer de datos de calidad y de diversas herramientas habitualmente utilizadas en las evaluaciones. Disponible en: https://www.youtube.com/watch?v=EYgjew7wAWQ n Video de MISEREOR sobe los efectos de la cooperación al desarrollo.

Partiendo de ejemplos concretos del trabajo en proyectos de cooperación, versa sobre sus "efectos" y cómo analizar los mismos. Disponible en: https://www.youtube.com/watch?v=KjaAsSwKr1Y