Evaluando Proyectos de Cooperación Triangular

DOCUMENTO DE TRABAJO

EVALUANDO PROYECTOS DE COOPERACIÓN TRIANGULAR SANTIAGO, 23 DE OCTUBRE 2014

DOCUMENTO DE TRABAJO

EVALUANDO PROYECTOS DE COOPERACIÓN TRIANGULAR

Los contenidos del documento son productos del taller “Evaluando Proyectos de Cooperación Triangular” realizado en octubre de 2014 en Santiago de Chile.

INTRODUCCIÓN La evaluación de proyectos de Cooperación Sur-Sur y Triangular es una de las fases del ciclo de gestión de proyectos sobre la que menos se ha avanzado a nivel internacional. Existe escasa investigación académica al respecto y tampoco hay muchos casos concretos de los que extraer experiencias. Por otro lado, la Agencia de Cooperación Internacional de Chile (AGCI) se ha marcado como desafío, la incorporación

El taller reunió a los principales socios triangulares de AGCI

de un sistema de seguimiento/monitoreo y evaluación a su gestión de proyectos, el cual se articulará a través de la constitución de una Unidad específica para dicho fin. Para lo anterior, se ha iniciado un proceso para diagnosticar las necesidades al respecto y la definición de los objetivos que se pretenden alcanzar. Si bien la gestión de proyectos en AGCI hasta la fecha se ha basado en el modelo de PCM (Ciclo de Gestión de Proyectos, por sus siglas en inglés), utilizando principalmente el marco lógico para estructurar el diseño de los proyectos y su posterior seguimiento, AGCI ha reconocido la necesidad de definir un sistema más estandarizado y riguroso para tal fin. En cuanto a los proyectos triangulares, la práctica más frecuente se ha basado en la aplicación de distintos modelos o sistemas de seguimiento/monitoreo y evaluación, dependiendo principalmente de las metodologías proporcionadas por los socios tradicionales, ya que a la fecha AGCI aún no ha desarrollado sus propias metodologías, modelos, o estándares mínimos en la materia. En ese marco, y con el objetivo de abrir un espacio para conocer y debatir en torno a las diferentes metodologías de evaluación de proyectos triangulares que han puesto en marcha algunos de los principales socios con los que la AGCI trabaja actualmente, el día 23 de octubre de 2014, se organizó en la sede de AGCI el Taller “Evaluando Proyectos de Cooperación Triangular”. Dicha actividad sirvió para conocer las estrategias, el enfoque y las metodologías de evaluación de la Cooperación Española, la Agencia Alemana de Cooperación (GIZ) y la Agencia Japonesa de Cooperación Internacional (JICA). Asistieron como invitados representantes de Argentina, Australia, Brasil, Canadá, Corea, Estados Unidos, Francia, Israel, Nueva Zelanda y Suiza. Asimismo, participaron delegaciones de la Unión Europea, del Banco Interamericano de Desarrollo (BID), del Programa de Naciones Unidas para el Desarrollo (PNUD) y de la Organización para las Naciones Unidas para la Alimentación y la Agricultura (FAO). Con el fin de contribuir al debate y la reflexión sobre la evaluación de proyectos triangulares, a continuación se presentan de forma sintética las principales ideas y conclusiones obtenidas a partir del taller.

ESTRATEGIAS Y MARCO GENERAL DE LA EVALUACIÓN DE PROYECTOS TRIANGULARES Las Cooperaciones Española, Alemana y Japonesa se encuentran entre los principales socios de AGCI para la puesta en marcha de proyectos triangulares. Por esta razón, resulta de especial interés conocer las estrategias y acercamientos metodológicos con los cuales estos países han venido abordando la evaluación de proyectos de cooperación en general, y de cooperación triangular en particular.

La Evaluación en la Cooperación Española La evaluación en la Cooperación Española (CE) está alojada institucionalmente en la Secretaría General de Cooperación Internacional para el Desarrollo (SGCID), institución responsable de planificar, evaluar, supervisar y poner en marcha las evaluaciones de políticas, estrategias, programas y proyectos de la cooperación española. Se trata de una Unidad independiente de la Agencia Española de Cooperación Internacional para el Desarrollo (AECID), organismo responsable de la ejecución de los proyectos, con el fin de ofrecer una mirada externa a los proyectos a evaluar y así asegurar una mayor calidad de las evaluaciones. La CE ha desarrollado una Política de Evaluación de la Cooperación, abogando por unos principios basados en la independencia, imparcialidad, transparencia, credibilidad, utilidad, la eficiencia de la propia evaluación, la participación y el refuerzo de capacidades, así como en la coordinación y complementariedad de las distintas evaluaciones. Además, existen cuatro enfoques transversales que se asumen en cada una de las etapas de gestión: género, derechos humanos, sostenibilidad ambiental y diversidad cultural. Esta política responde fundamentalmente a tres desafíos de la evaluación: i) avances y fortalezas; ii) retos del presente y; iii) los ámbitos de mejora. Su función es generar información robusta, que a su vez contribuya a aprender, mejorar y transformar la gestión de proyectos y que ofrezca un instrumento para la rendición de cuentas. Dado que no se evalúan todas las acciones que lleva a cabo la CE, para determinar cuáles serán evaluadas se emplea una variedad de criterios: por un lado se toma en cuenta qué potencial de generación de información oportuna y significativa puede tener una evaluación; es decir, si la información generada posee una naturaleza innovadora y si le puede ser útil a un determinado rango de personas u organizaciones. Por el otro, se considera la relevancia que puede llegar a tener y se reflexiona sobre la ausencia o insuficiencia de otras fuentes alternativas de información. Además se deben contemplar la oportunidad de la evaluación y su viabilidad, especialmente en cuanto a la relación coste y resultados.

Respecto a la metodología, la CE no ha establecido una metodología específica para evaluar proyectos triangulares, ya que tampoco cuenta con una única metodología de evaluación. Se trata de una decisión consciente, pues considera que es conveniente definir si el acercamiento al tema se realizará por criterios que se establecen en la Unidad de Evaluación, por determinado modelo teórico o por entrevistas a los involucrados, dependiendo las preguntas a las que se quiera dar respuesta. Más allá de la metodología específica, interesa determinar el enfoque específico de cada evaluación y de acotar las preguntas que se precisan contestar. Es fundamental que al momento de evaluar una acción, exista claridad del objetivo específico que se quiere lograr a través de ella. Éste puede ser cuantitativo o cualitativo y no necesariamente tiene que cubrir todas las fases del proyecto, sino que se puede enfocar en aspectos de interés muy puntuales. Con todo, la CE considera la evaluación enmarcada en el ciclo de gestión de proyectos PDCA (Planificación – Acción – Evaluación – Toma de Decisiones, por sus siglas en inglés), que entiende el seguimiento y la evaluación como uno de las cuatro columnas fundamentales de dicho ciclo. Para que este ciclo funcione, la interacción entre las partes es fundamental, de modo que la Unidad encargada de la ejecución debe hacerle preguntas específicas a la Unidad de evaluación, asegurando que la evaluación tenga un enfoque relevante para la gestión práctica. En ese sentido, la tarea de la División de Evaluación consiste en ser un mecanismo para responder las preguntas que la Unidad de acción/ejecución tiene en cuanto a sus acciones específicas. Asimismo, es imprescindible que la entidad de evaluación les comunique sus resultados a los encargados de la toma de decisiones con el fin de contribuir al mejoramiento de la gestión. Por lo tanto, es fundamental que el seguimiento de las evaluaciones asegure que los resultados de estas sean procesados y aprovechados por los responsables con fin de mejorar la gestión a futuro. Para ello es indispensable que la información se dirija de manera adecuada a los destinatarios relevantes, definiendo claramente a quién se le deben comunicar los resultados y con qué nivel de detalle. Agencia Alemana de Cooperación (GIZ) y la evaluación de proyectos de Cooperación Triangular Las primeras iniciativas triangulares en que participaron conjuntamente Chile y Alemania se remontan al año 2003, desarrollando alrededor de 20 iniciativas de pequeña escala, ampliando con esto el portafolio de cooperación bilateral. Desde un inicio estuvo presente la motivación por aprender y perfeccionar conjuntamente los alcances de esta nueva modalidad.

A partir del 2010, y con el creciente interés por esta modalidad de cooperación, se comenzó a operar a través de un instrumento de carácter regional denominado “Fondo Regional de Cooperación Triangular para América Latina y el Caribe”, al que los países de la región, incluyendo Chile, presentan sus respectivos proyectos. Ese mismo año, la Cooperación Alemana comenzó a construir un sistema de evaluación adaptada a la modalidad triangular. En cuanto al marco general de evaluaciones para proyectos bilaterales de la Cooperación Alemana, se posee una metodología que incluye, durante la fase de ejecución, una evaluación intermedia denominada Control de Avance del Proyecto (CAP). Según la magnitud del proyecto, el CAP se puede realizar a través de evaluadores externos o internos. Una vez finalizada la ejecución, se realiza una evaluación final y, en algunos casos, dependiendo de la disponibilidad presupuestaria, se aplica una evaluación ex post, la cual se lleva a cabo unos años después del término de proyecto. Para todas las etapas existe una variedad de indicadores, cada uno con su respectivo medio de verificación y respondiendo a un objetivo específico. Ahora bien, considerando la complejidad y desafíos que la cooperación triangular comporta, GIZ y AGCI se propusieron generar un procedimiento conjunto de evaluación que fuera flexible y amplio. Se buscó desarrollar un modelo aplicable con altos o bajos recursos, realizable por evaluadores internos o externos, que se pudiera efectuar dentro de un plazo acotado mediante cuestionarios auto-aplicados o entrevistas presenciales que requieren más tiempo. El objetivo es establecer un estándar mínimo para, a partir de ahí, seguir desarrollando y mejorando el mecanismo. Para ello, se elaboró una Guía para la Evaluación de Proyectos de Cooperación Triangular donde se propone un esquema que relaciona los criterios del Comité de Ayuda al Desarrollo (CAD) de la Organización para la Cooperación y el Desarrollo Económico1 (OCDE), (pertinencia, eficacia, eficiencia, sostenibilidad e impacto), con aquellos del modelo de gestión Capacity Works

(estrategia, cooperación, estructura de conducción,

procesos y aprendizaje e innovación), el cual fue desarrollado por la GIZ, en base al análisis de 70 iniciativas, con el fin de explorar los elementos que contribuyen al éxito de un proyecto. Junto a los precitados criterios del CAD, son utilizados hoy no sólo para evaluar proyectos triangulares, sino que además para su diseño. Este modelo actualmente está siendo aplicado de manera piloto a la evaluación de dos proyectos triangulares y puede graficarse en la matriz que se presenta a continuación, la cual relaciona de forma esquemática ambas tipologías de criterios de evaluación. Por ejemplo, tanto la estrategia como la pertinencia se relacionan, en mayor medida, con los objetivos y definiciones realizadas al inicio del proyecto.

1. Para mayor información sobre los criterios de evaluación del CAD de la OCDE, ver: http://www.oecd.org/development/evaluation/49756382.pdf 2. Mayor información disponible en: http://www.giz.de/expertise/html/4620.html

Capacity Works (CW) Ámbitos de la Evaluación

Estrategia

Cooperación Estructura

Procesos

Aprendizaje e innovación

Objetivos

Pertinencia

Procesos

Eficacia

(Indicadores)

Criterios

Eficiencia Sostenibilidad

Resultados

Impacto

C A D

Ilustración 1: Matriz de evaluación de iniciativas triangulares, GIZ

En la mencionada Guía se proponen dos instancias de evaluación, una a la mitad de la ejecución del proyecto y otra al final. Asimismo, se proponen dos modalidades de aplicación de la pauta, a partir de los distintos niveles de complejidad y coste de proyecto. La auto-evaluación grupal, realizada por la entidad ejecutora o las instituciones participantes en el ejecución del proyecto, y la evaluación mixta, que es realizada por un equipo evaluador mixto, que reúne personas que han participado en el proyecto, representantes de la población beneficiaria y expertos/as externos/as. Asimismo, a partir de la experiencia acumulada en la ejecución de proyectos triangulares, la GIZ junto a sus principales socios, ha sistematizado un conjunto de aprendizajes y criterios adicionales para que un proyecto tenga éxito, los cuales también se han ido incorporando al momento de evaluar las iniciativas. Algunos de los criterios y aprendizajes identificados son: •

Establecimiento formal de una estructura de coordinación y reglas de colaboración;

•

Respaldo político y jurídico en el país que se desarrolla el proyecto;

•

Constante flujo de información;

•

Rendición de cuentas.

•

Acompañamiento permanente y flexibilidad durante todo el proceso, entre otros.

La Metodología Japonesa de Evaluación de Proyectos Triangulares – JICA Los procedimientos de evaluación utilizados por la Cooperación Japonesa están estructurados de acuerdo a los criterios de la cooperación tradicional, aplicándose a todos sus proyectos, programas y cursos internacionales, sean éstos bilaterales o triangulares. El propósito de la evaluación consiste por un lado en mejorar la gestión de la cooperación japonesa y por el otro, en rendir cuenta a las contrapartes y los beneficiarios de las iniciativs. Utilizando los criterios de evaluación del CAD como base, JICA creó un esquema de evaluación estandarizado, intentando que fuera simple, claro y lógico, de modo de permitir el menor espacio posible para ambigüedades. Para lo anterior es fundamental un análisis preliminar reflejado en la matriz de marco lógico. Los criterios CAD se aplican en distintas etapas del ciclo de proyecto, existiendo cuatro instancias de evaluación a lo largo del mismo un proyecto: la evaluación ex-ante, intermedia, final y ex-post. Este alto nivel de abstracción tiene la ventaja de ofrecer un procedimiento bastante universal, el cual tiene una marcada orientación al aprendizaje. De sus resultados se extraen las lecciones aprendidas del caso analizado, lo que se traduce a recomendaciones para futuras iniciativas y la mejora de gestión en general. Generalmente las evaluaciones son desarrolladas por JICA en conjunto con los actores involucrados en la iniciativa. No obstante, en casos de proyectos de gran envergadura, JICA encomienda el estudio a especialistas externos. Sin perjuicio de lo anterior, cada evaluación se desarrolla en tres etapas: 1)

Se planifica la evaluación, definiendo su objetivo, organizando la información disponible mediante la matriz de marco lógico elaborada en la fase de formulación del proyecto y se establece un plan de trabajo;

Se recopilan, analizan e interpretan los datos, a partir de lo cual se elaboran recomendaciones y;

Está enfocada a la difusión de los resultados de la evaluación.

En concreto, JICA utiliza dos matrices para sus evaluaciones. La primera define el diseño de la propia evaluación, mientras la segunda da cuenta de sus resultados. Dado que la evaluación de proyectos triangulares generalmente conlleva una mayor complejidad al requerir la coordinación de tres actores, no siempre se utiliza la matriz de diseño para iniciativas de esta modalidad.

La matriz de evaluación presentada a continuación refleja las etapas utilizadas por JICA para el diseño de su plan de evaluación. En ella, elementos como las preguntas de evaluación, las bases de juicio, fuentes de información y métodos de recopilación de datos son integrados, junto a los criterios del CAD, a la matriz de evaluación que finalmente permitirá desarrollar el plan3 . Cada matriz debe tener cierta flexibilidad para llegar al objetivo de cada estudio de evaluación.

Puntos de Evaluación

Preguntas de Evaluación Preguntas Principales

Preguntas Secundarias

Bases de Juicio

Datos Necesarios

Fuentes de Información

Método de Recopilación de Datos

Verificación de Resultados Verificación del Proceso de Implementación Relevancia Efectividad Eficiencia Impacto Sustentabilidad Ilustración 2: Matriz de Diseño de Evaluación, JICA

Criterios

Preguntas

Respuestas y Razones

Conclusión

Recomendaciones y Lecciones

Relevancia Efectividad Eficiencia Impacto Sustentabilidad Ilustración 3: Matriz de Preguntas de Evaluación, JICA

3. Para mayor información sobre lineamientos respecto a la evaluación de proyectos de cooperación, ver: http://www.jica.go.jp/english/our_work/evaluation/tech_and_grant/guides/guideline.html

12 7

METODOLOGÍAS DE EVALUACIÓN DE PROYECTOS TRIANGULARES: ESTUDIOS DE CASO DE TRES EXPERIENCIAS Complementando los enfoques estratégicos y programáticos con respecto a la evaluación de proyectos de Cooperación para el Desarrollo en general, y de Cooperación Triangular en particular, de tres de los principales socios de AGCI, el segundo bloque del taller se centró en experiencias concretas de evaluación de proyectos triangulares realizados en conjunto con AGCI. El objetivo de conocer casos concretos y las metodologías empleadas, así como algunas conclusiones y lecciones aprendidas, permite contrastar modelos y extraer experiencias que pueden resultar de gran utilidad para AGCI y su voluntad por instaurar una Unidad de Monitoreo y Evaluación con acercamientos metodológicos más estandarizados, así como para

otros

actores

asociados.

Fortalecimiento de la Función Pública en Paraguay con apoyo de AGCI y AECID: El caso de una evaluación externa. La evaluación del proyecto “Fortalecimiento de la Gestión y el Desarrollo de las Personas del Sector Público al Servicio de la Ciudadanía de Paraguay” realizado entre AGCI, la AECID y la Secretaría de la Función Pública (SFP) de Paraguay, se contempló desde un inicio del proyecto, siendo incluida como una de las actividades del mismo y destinando los recursos necesarios para licitar y contratar una evaluación externa. Los términos de referencia de la evaluación fueron elaborados conjuntamente entre AGCI y la Cooperación Española, en los cuales se marcaban los objetivos que perseguía la evaluación: •

Determinar el cumplimiento de los resultados del proyecto y la pertinencia de las líneas de cooperación.

•

Identificar fortalezas y debilidades de la gestión del proyecto por parte del Fondo Mixto Chile-España. A través de este último aspecto se busca concluir si la modalidad triangular tuvo un efecto particular en el resultado del proyecto, y por lo tanto, si la Cooperación Triangular fue la mejor manera para realizarlo.

Para enfrentar este doble reto, el equipo evaluador formuló varios objetivos específicos relacionados con los resultados del proyecto: en primer lugar, se evaluó el cumplimiento de los resultados esperados; en segundo lugar, los costos requeridos (tiempo, recursos humanos, materiales y monetarios) para conseguir dichos resultados; en tercer lugar, la generación de recomendaciones para la sostenibilidad de los resultados del proyecto y de las capacidades instaladas. Para ello se evaluó la pertinencia de las líneas de trabajo recogidas en el proyecto, de forma de facilitar la toma de decisiones sobre su continuidad a futuro por parte de los socios. Finalmente, se llevó a cabo un análisis de los roles de cada actor, así como sobre el proceso de toma de decisiones, la coordinación y comunicación, tanto interna como interinstitucional, destacando las fortalezas y debilidades en relación a la gestión del ciclo del proyecto.

En relación a los objetivos que persiguen la revisión de la modalidad de Cooperación Triangular, el abordaje del problema se realizó mediante el análisis de los procedimientos y mecanismos de gestión internos del Fondo Mixto en las diferentes etapas del ciclo del proyecto, detectando fortalezas y debilidades en relación con la modalidad triangular, y en particular del Fondo Mixto. Además, se realizó una valoración de acuerdo al cumplimiento de principios que debieran guiar los proyectos de Cooperación Sur-Sur y Triangular: horizontalidad, equidad, consenso y aprendizajes compartidos. La falta de una metodología para evaluar proyectos triangulares es uno de los principales desafíos a los que se tuvo que enfrentar el equipo evaluador. Ante este escenario, desarrolló un procedimiento que permitiera responder a valoraciones de carácter micro (el proyecto en sí), y macro (las ventajas y el funcionamiento de la cooperación triangular) a la vez, enlazándolas a fin de evitar una fragmentación de la evaluación. Ambos aspectos estaban orientados a extraer conclusiones específicas y generales. Para definir la metodología de evaluación se tuvieron en cuenta dos marcos conceptuales: el referido a la realización de evaluaciones ex – post de proyectos de desarrollo, y aquel relacionado con las investigaciones realizadas hasta la fecha sobre acciones y proyectos de Cooperación Triangular. Sobre estos dos elementos se llevó a cabo la selección de criterios y la formulación de las preguntas de evaluación. Concretamente, se establecieron dos ejes principales para la evaluación: para el primero, se tomaron en consideración 4 de los criterios del CAD para evaluación de proyectos (pertinencia, eficacia, eficiencia y sostenibilidad4) . Para el segundo eje, orientado a extraer lecciones sobre el funcionamiento de la modalidad triangular, se definió una serie de ‘factores de influencia’, tanto para los que dicen relación con los procedimientos y recursos, como las relaciones y roles entre los actores. El sistema de análisis se resume en el siguiente cuadro: FACTORES DE INFLUENCIA OBJETO DE EVALUACIÓN PROCEDIMIENTOS Y RECURSOS • Institucionalidad • Especialización • Instrumentos • Presupuesto y Coste • Seguimiento

PROYECTO

• Pertinencia • Eficacia • Eficiencia • Sostenibilidad

RELACIONES Y ROLES ENTRE ACTORES • Apropiación • Horizontalidad • Equidad • Condicionalidad • Complementariedad

Conclusiones y Recomendaciones Lecciones aprendidas e innocaciones en relación a la cooperación triangular

Ilustración 4: Factores de Influencia, Evaluación proyecto Fortalecimiento de la Función Pública en Paraguay

4. El impacto no fue considerado en este caso por razones prácticas, pues para determinarlo se requiere una evaluación con un alcance mucho mayor, que debiera realizarse una vez transcurrido un período de tiempo mayor desde la finalización del proyecto.

En cuanto a las técnicas para la recolección de la información, en la evaluación se utilizaron entrevistas en profundidad, estructuradas en torno a temáticas predefinidas que permitieron la construcción de matrices de influencias y mapas de procesos. Asimismo, a partir de documentación interna y externa al proyecto, se llevó a cabo un análisis sobre el comportamiento de los indicadores utilizados en la Matriz de Planificación del Proyecto. Además, se recurrió a investigación bibliográfica de contexto e información publicada en periódicos u otros medios. El análisis de cada criterio permitió crear una matriz que permite enlazar la evaluación de los resultados del proyecto con aquellos de la modalidad triangular. El análisis matricial de influencias revela el grado de influenciabilidad que tiene cada uno de los cuatro criterios considerados, y hasta qué punto son influenciadores los principios de la Cooperación Sur-Sur y Triangular.

INFLUENCIA DE

PERTINENCIA

EFICACIA

SOSTENIBILIDAD

PROCEDIMIENTOS Y RECURSOS INSTITUCIONALIDAD ESPECIALIZACIÓN INSTRUMENTOS PRESUPUESTO Y COSTE SEGUIMIENTO RELACIONES ENTRE ACTORES APROPIACIÓN HORIZONTALIDAD EQUIDAD CONDICIONALIDAD COMPLEMENTARIEDAD

Ilustración 4: Matriz de Influencia, Evaluación proyecto Fortalecimiento de la Función Pública en Paraguay

Gráficamente los resultados agregados se presentaron de forma simplificada en la tabla anterior: el verde ilustra un impacto positivo, el rojo simboliza una influencia desfavorable y, para aquellos campos marcados en gris, no se constató ningún impacto. Asimismo, el esquema ilustra de manera simplificada las oportunidades y los riesgos de la cooperación triangular para este proyecto específico, permitiendo sensibilizar a los actores con respecto a los factores a tener en cuenta en futuras iniciativas5.

Comparando la evaluación de dos proyectos triangulares con participación de GIZ-AGCI A partir de la evaluación de un proyecto triangular realizado junto a República Dominicana (Promoción de la empleabilidad juvenil en zonas urbanas y rurales desfavorecidas de la República Dominicana), y de otro con Paraguay (Paraguay entre todos y todas – desarrollo social articulado en el territorio, que posee la particularidad de contar con cuatro países socios, incluyendo Australia), es posible apreciar diferencias significativas en los procedimientos y conclusiones a pesar de utilizar los mismos criterios de evaluación. Ambas evaluaciones fueron realizadas por consultores externos que no forman parte del personal de GIZ ni de AGCI, los cuales, sin embargo, participaron en diferentes momentos de la ejecución de los proyectos. En ese sentido, se trata de un acercamiento a la evaluación de tipo mixta, combinando personas que han participado en el proyecto y expertos externos. Utilizando como base los criterios del CAD y aquellos de la metodología Capacity Works mencionados más arriba (ver Ilustración 6: Matriz de evaluación de iniciativas triangulares, GIZ), las evaluaciones de proyectos triangulares puestas en marcha junto a GIZ han sido abordados de forma diversa. Para la evaluación final del proyecto con República Dominicana se decidió trabajar con métodos cualitativos, combinando los criterios e indicadores antes mencionados con aprendizajes de la propia GIZ y el Ministerio de Cooperación Económica y Desarrollo Alemán (BMZ). Las preguntas específicas a contestar durante la evaluación apuntaban, en primer lugar, a conocer cuáles de los resultados previstos en el marco de la intervención fueron logrados y cuáles no; en segundo lugar, se examinaron cuáles resultados no previstos se produjeron y; en tercer lugar, se investigó qué otros resultados se lograron, a los cuales la intervención contribuyó de forma directa o indirecta. Para lo anterior, se intentó determinar el cumplimiento de los objetivos establecidos al inicio del proyecto, tanto el superior como el objetivo específico. En términos generales, el proyecto cumplió de manera importante los objetivos trazados inicialmente, siendo

5. El informe completo de la evaluación final de este proyecto, está disponible en: http://www.cooperacionespanola.es/sites/default/files/informe_completo_evaluacion_triangular.pdf

un indicador de lo anterior la integración a la institucionalidad del país. El gobierno de República Dominicana lo ha adoptado como política pública del país, apalancando recursos con el fin de ampliarlo a otras regiones. Para ello, fue clave la estrategia de alta visibilidad que persiguió República Dominicana, complementada con diversas publicaciones, lo que se tradujo en mayores recursos. Del mismo modo, tener interlocución al más alto nivel político fue otro de los factores importantes para el éxito del proyecto. En lo que se refiere a la modalidad triangular, la evaluación evidenció la dificultad de comunicar que se trataba de una iniciativa en la que participaban tres socios. Sin embargo, se reconoce que el mismo hecho de abordar la iniciativa a través de esta modalidad, permitió subsanar algunas dificultades que se encontraron a lo largo de la ejecución. En ese sentido, se constató que un proyecto triangular ofrece un mayor nivel de flexibilidad y adaptación que una iniciativa bilateral, factor clave en el empoderamiento y apropiación por parte del socio beneficiario. Por otro lado, la iniciativa Paraguay entre todos y todas, en la que junto con Paraguay, Chile y Alemania también participó Australia, presentó desafíos considerables. En un contexto en el que tras seis décadas, el gobierno cambiaba de orientación política, las negociaciones para poner en marcha el proyecto no se dieron por el canal tradicional -las agencias de cooperación-, sino que por medio del contacto directo a nivel presidencial entre Chile y Paraguay. Si bien esto, por un lado, contribuyó a un rápido avance del proyecto, por el otro, provocó complicaciones con las respectivas agencias de cooperación. También el hecho de contar con cuatro socios, cuyos respectivos reglamentos y burocracia se debieron conciliar, incrementó el nivel de dificultad. Dichas circunstancias se enfrentaron con el rediseño permanente de los tiempos de ejecución y manteniendo cierta flexibilidad en los objetivos, de forma de permitir realizar los ajustes necesarios a lo largo del proyecto. La metodología empleada en la evaluación final combinó cuatro miradas: 1)

Los criterios de los proyectos triangulares y de la Cooperación Sur-Sur (Chile-Paraguay) de reconocimiento intercultural y construcción conjunta de objetivos.

Los criterios CAD de la OCDE para evaluar proyectos de cooperación.

Las claves del modelo Capacity Works de GIZ y la construcción de una red real de cooperación de los actores en su implementación.

Un esquema de influencia ascendente con el fin de constatar si los protagonistas del proceso crecen en influencia para transformar instituciones y hacer crecer la proyección y difusión de las nuevas prácticas construidas.

A partir de las evaluaciones de estos dos proyectos, además de otras iniciativas, la GIZ ha comenzado a construir un modelo que guía la evaluación de proyectos triangulares en los que participa junto a AGCI. Es decir, desde la práctica se han extraído aprendizajes y lecciones para ir avanzando y perfeccionando un modelo que actualmente se está utilizando para evaluar iniciativas en Colombia y Honduras, y más adelante, en El Salvador y otros países.

Metodologías de evaluación de proyectos triangulares y cursos internacionales. La experiencia de JICA Tal como se expuso anteriormente, JICA evalúa internamente todas las acciones que pone en marcha, sean estas bilaterales, triangulares o cursos internacionales. Para ello utiliza, en términos generales la misma metodología, basada en los cinco criterios del CAD (ver Ilustración 7: Matriz de Diseño de Evaluación, JICA). La evaluación se inicia en la fase de diseño del proyecto con una rigurosa elaboración de una matriz de marco lógico. Sin embargo, según se trate de cursos internacionales o proyectos triangulares, el proceso de evaluación presenta ciertas particularidades. Conforme a dicha metodología, en relación a los cursos internacionales, el análisis conducido se enfoca en cinco aspectos: 1)

Estudio del logro de los objetivos;

Evaluación de los resultados en base a los cinco criterios del CAD;

Análisis de los resultados a mayor nivel de detalle, que nutren la elaboración de propuestas de mejora con respecto al diseño del curso, sus contenidos, los materiales empleados, su enfoque en la entrega de conocimientos, la selección de los participantes, la estructura de implementación, sus costos, entre otros aspectos;

Formulación de recomendaciones generales y;

Lecciones aprendidas asociadas a la iniciativa.

Junto a la evaluación de los resultados según los criterios del CAD y la obtención de recomendación y lecciones aprendidas, las evaluaciones de los cursos internacionales buscan identificar el estado de avance de los planes de acción de las instituciones participantes de los cursos, con el fin de explorar potenciales proyectos triangulares futuros. El procedimiento de evaluación empleado por JICA para la evaluación de los cursos internacionales se inicia con la sistematización de la información que se levanta a través de los informes finales de cada curso. Con

dicha información se elabora la matriz de evaluación, las encuestas u otras herramientas a aplicar y se define qué lugar y quién recopilará la información necesaria. Finalmente se procesa la información recopilada y se elabora el informe de evaluación. En lo que se refiere a los proyectos triangulares, el objetivo del análisis es muy similar al caso de los cursos internacionales. Definido en el Plan de Evaluación, consiste en evaluar el proyecto en base a los cinco criterios del CAD, para entregar conclusiones, recomendaciones y lecciones aprendidas respecto al diseño y la ejecución del proyecto. Al igual que para la evaluación de los cursos internacionales, el marco lógico elaborado en la fase de diseño de la iniciativa constituye la base del análisis. A lo largo del proceso de evaluación, ésta es complementada por campos que dan cuenta del nivel de obtención de logros según indicadores anteriormente establecidos. Dada la mayor complejidad que representa la evaluación de un proyecto triangular, cuya ejecución dura por lo general tres años en el caso de los proyectos con JICA, la información para el análisis se extrae de distintas fuentes: por un lado, a través de la revisión de los medios de verificación establecidos en los indicadores del marco lógico; por el otro, mediante la percepción sobre el proceso, los resultados y los logros del proyecto por parte de los participantes y las personas vinculadas al proyecto. Del mismo modo, la evaluación considera la percepción de los beneficiarios finales. Toda la información relacionada a estas últimas dos fuentes, se recopila a partir de encuestas y entrevistas. A partir del análisis de esta información, se formulan las recomendaciones, enfocadas principalmente en la sustentabilidad de los logros del proyecto y la posibilidad de llevar a cabo una iniciativa de cooperación adicional.

CONCLUSIONES

CONCLUSIONES A la luz de la experiencia de tres de los principales socios de AGCI en la ejecución de proyectos triangulares y de algunos casos concretos anteriormente expuestos, es posible observar que en materia de evaluación, no existe un único modelo cuando se trata de iniciativas llevadas a cabo bajo esta modalidad. Si bien, en términos generales, los criterios del CAD utilizados para evaluar proyectos de cooperación tradicional guían las evaluaciones triangulares, el acercamiento a las mismas difiere en cuestiones metodológicas, el diseño de la evaluación, y los alcances esperados, entre otros. La modalidad triangular pone de manifiesto complejidades que requieren un acercamiento distinto al de proyectos bilaterales. En este sentido, por ejemplo la GIZ está en la búsqueda de un modelo general de evaluación de Cooperación Triangular, compartido con los demás actores que participan en una triangulación, y que pueda ser lo suficientemente flexible para ser aplicado a todos los proyectos en que participa. La Cooperación Española si bien reconoce las particularidades de la Cooperación Triangular, no está en la búsqueda de un modelo, pues su acercamiento es caso a caso. JICA por su parte, tiene un enfoque más pragmático y enfrenta las evaluaciones de proyectos triangulares de forma similar a un proyecto bilateral. Asimismo, es compartido el hecho que las complejidades adicionales de la modalidad triangular implican que es aún más importante definir claramente los objetivos de la evaluación y la posterior comunicación de los resultados de ella a todas las partes involucradas. En ese sentido, es fundamental adaptar los contenidos que se comunicarán como resultados según el destinatario del que se trate. Independientemente del enfoque con que se lleve a cabo una evaluación de Cooperación Triangular, pareciera haber cierto consenso que, además de “medir” y relevar los resultados de un proyecto particular, la evaluación debe tener un fin de aprendizaje para corregir cuestiones vinculadas a la gestión, coordinación y procedimientos propios de una triangulación. En otras palabras, el alcance de la evaluación no debiera limitarse únicamente a evaluar el proyecto en sí mismo, pues es una importante oportunidad para valorar la propia modalidad triangular. ¿Qué ventajas comparativas tiene la Cooperación Triangular?, ¿es más o menos eficiente que un proyecto bilateral?, ¿varían los resultados de desarrollo si el proyecto es triangular?. En una relativa ausencia de investigaciones empíricas sobre los alcances de la Cooperación Triangular, las evaluaciones son una importante oportunidad para extraer aprendizajes que permitan perfeccionar la modalidad, la cual ha ido ganando cada vez mayor protagonismo en el sistema internacional de cooperación, en el contexto en el que los países de renta media buscan tener mayor influencia en el desarrollo.

Todas estas lecciones y aprendizajes son de gran valor para la Agencia de Cooperación Internacional de Chile, sobre todo en un momento en que se está ultimando la Política de Cooperación Chilena y se espera poner en marcha una Unidad de Monitoreo y Evaluación, tanto para los proyectos bilaterales (sur-sur), como triangulares. Independientemente del enfoque sobre la evaluación que se adopte, se plantea un importante desafío para la AGCI, pues junto con la puesta en marcha de la Unidad, en el caso de los proyectos triangulares es necesario consensuar junto a los socios las metodologías y enfoques que guiarán las evaluaciones.

Material desarrollado por la Unidad de Prensa de AGCI- Marzo 2015