Metodologia de evaluacion de la Cooperación Sur - Sur by SETECI

METODOLOGÍA DE EVALUACIÓN DE LA COOPERACIÓN SUR-SUR Secretaría Técnica de Cooperación Internacional

SECRETARÍA TÉCNICA DE COOPERACIÓN INTERNACIONAL Metodología de evaluación de la Cooperación Sur-Sur Ricardo Patiño Aroca Ministro de Relaciones Exteriores y Movilidad Humana Gabriela Rosero Moncayo Secretaria Técnica de Cooperación Internacional Consejo Editorial Gabriela Rosero Moncayo Secretaria Técnica de Cooperación Internacional Ivan Martínez Dobronsky Coordinador Técnico de Cooperación Internacional Autoría del Documento Dirección de Seguimiento y Evaluación de la Cooperación Internacional Secretaría Técnica de Cooperación Internacional Diseño, diagramación e impresión Manthra Comunicación ISBN: 978-9942-22-011-0. Impreso en Quito - Ecuador 2016 Documento impreso en papel Earth Pact, 100% hecho en fibra de caña de azúcar, libre de químicos blanqueadores

ÍNDICE DE CONTENIDOS

1. INTRODUCCIÓN 11 2. MARCO NORMATIVO 17 3. MARCO TEÓRICO 21 3.1. ¿Qué representa la CSS para el Ecuador? 21 3.2. ¿Qué significa evaluar la CSS? 22 3.3. ¿Por qué evaluar? Objetivos de la evaluación de la CSS 24 3.4. ¿Qué evaluar? 25 3.5. ¿Qué principios debe cumplir la evaluación de la CSS? 26 3.6. ¿Quién hace qué? 27 3.7. Diferencias entre la evaluación de la cooperación tradicional y la evaluación de la CSS

4. MARCO METODOLÓGICO 31

4.1. Método de evaluación 32 4.2. Técnicas de levantamiento de información 33 4.3. Fases o etapas de evaluación 34 4.4. Criterios de evaluación 39 Pertinencia, coherencia y relevancia 43 Eficacia 44 Eficiencia 44 Sostenibilidad 45

4.5. Herramientas e instrumentos técnicos

4.5.1. Análisis FODA 47 4.5.2. Marco teórico de evaluación de impacto 48 4.5.3. Análisis de resultados y productos alcanzados 53 4.5.4. Análisis de complementariedad y apropiación 53 4.5.5. Análisis de sostenibilidad y replicabilidad 54 4.6. Equipo de trabajo requerido 55

5. LECCIONES APRENDIDAS Y RETOS A FUTURO 57 6. CONCLUSIONES 61 7. BIBLIOGRAFÍA 62 8. ANEXOS 65

8.1. Ficha de evaluación de cooperación técnica 8.2. Modelo básico de informe de evaluación de la Cooperación

Sur-Sur

76 77

en el Ecuador, 2013-2015

8.3. Instructivo de seguimiento de la CSS 8.4. Experiencias piloto de gestión de evaluaciones de CSS

FIGURAS Y TABLAS

FIGURA 1. Componentes de la metodología de

evaluación FIGURA 2. Diferentes niveles para evaluación FIGURA 3. Resumen de los principios de css para el Ecuador FIGURA 4. Criterios estándar de evaluación FIGURA 5. Criterios estándar de evaluación FIGURA 6. Pertinencia, coherencia y relevancia FIGURA 7. Eficacia FIGURA 8. Eficencia FIGURA 9. Sostenibilidad FIGURA 10. Causalidad y resultados no previstos FIGURA 11. Visión de la cadena generada por las acciones de un proyecto

32 38

TABLA 1. TABLA 2. TABLA 3.

42 55

Criterios de evaluación de la CSS Equipo mínimo requerido - Ecuador Balance de gestión - evaluaciones CSS, (2013-2015)

39 40 41 43 44 45 46 47 49

LISTADO DE ACRÓNIMOS

ABC AGCID

Agencia Brasileña de Cooperación Agencia Chilena de Cooperación Internacional para el Desarrollo

ALBA

Alianza Bolivariana para América

AOD

Ayuda Oficial al Desarrollo

APC

Agencia Presidencial de Cooperación de Colombia

ASA

Foro de cooperación América del Sur-África

AUCI BRICS CAN CELAC CINR CSS CSSCT

Agencia Uruguaya de Cooperación Internacional Brasil, Rusia, India, China y Sudáfrica Comunidad Andina de Naciones Comunidad de Estados Latinoamericanos y Caribeños Cooperación Internacional no Reembolsable Cooperación Sur Sur Conferencia de Alto Nivel de las Naciones Unidas sobre la Cooperación Sur-Sur

COOTAD

Código Orgánico de Ordenamiento Territorial, Atonomías y Descentralización

COPLAFIP CTPD ECOSOC

Código Orgánico de Planificación y Finanzas Públicas Cooperación Técnica entre Países en Desarrollo Consejo Económico y Social de la Organización de las Naciones Unidas

DGCIN

Dirección General de Cooperación Internacional de Argentina

DMECI

Dirección de Monitoreo y Evaluación de la SETECI

FODA

Fortalezas, Oportunidades, Debilidades y Amenazas

GADs

Gobiernos Autónomos Descentralizados

IBSA

India, Brasil y Sudáfrica.

MERCOSUR

Mercado Común del Sur

ONG

Organización No Gubernamental

ONU

Organización de las Naciones Unidas

PABA PIFCSS

Plan de Acción de Buenos Aires Programa Iberoamericano para el Fortalecimiento de la Cooperación Sur-Sur

PNBV RC SECI SEGIB

Plan Nacional para el Buen Vivir Responsables de Cooperación Sistema Ecuatoriano de Cooperación Internacional Secretaría General Iberoamericana

SENPLADES

Secretaría Nacional de Planificación y Desarrollo

SETECI

Secretaría Técnica de Cooperación Internacional

SIGECI

Sistema de Información de la Cooperación Internacional

UNASUR

Unión de Naciones Suramericanas

METODOLOGÍA DE EVALUACIÓN DE LA COOPERACIÓN SUR-SUR

Introducción

www.cooperacioninternacional.gob.ec

1. INTRODUCCIÓN

1.1. Perspectiva Nacional

uestro país ha asumido, como parte de su política exterior, el fortalecimiento de la Cooperación Sur-Sur (CSS) como herramienta fundamental para la consecución de objetivos nacionales y regionales de desarrollo. El fortalecimiento de este tipo de cooperación, impulsado especialmente por el Gobierno de la Revolución Ciudadana, ha tomado gran fuerza durante los últimos años y se ha convertido en un aporte del Sur para las relaciones internacionales, transformando la idea de asistencialismo asimétrico en una de solidaridad, ética y horizontalidad. Durante estos años también se ha experimentado un declive de la cooperación internacional tradicional, por la crisis económica que afecta al mundo y por el hecho de que algunos países, como el nuestro, son catalogados como naciones de renta media por lo que no es prioritaria la asignación de recursos financieros por parte de la cooperación internacional tradicional. Este contexto urgió a los países a fortalecer formas de cooperación innovadoras y de mayor impacto –en este caso, intensificar el relacionamiento Sur-Sur– para que los países en desarrollo intercambien experiencias, conocimientos, recursos y buenas prácticas logradas en el ejercicio cotidiano, principalmente en cuanto a la gestión pública nacional, dirigido al aprendizaje mutuo entre países que comparten contextos similares (Ayllón, 2013). El Ecuador concibe la CSS como un proceso permanente de aprendizaje e intercambio de conocimientos y experiencias entre países amigos del Sur, los cuales persiguen objetivos comunes, como pares, que procura la generación de capacidades para el logro de objetivos de desarrollo, y cuyos costos y beneficios son compartidos equitativamente. Los principios que sostienen las intervenciones de este tipo de cooperación son: horizontalidad, consenso, equidad, respeto e intercambio ético.

METODOLOGÍA DE EVALUACIÓN DE LA COOPERACIÓN SUR-SUR

La Comunidad de Estados Latinoamericanos y Caribeños (CELAC) y el Ecuador, como presidente pro témpore (2015) de este mecanismo intergubernamental de diálogo y concertación política, impulsan, en conjunto con el resto de países de América Latina y el Caribe, la CSS como un camino para acelerar el proceso de integración latinoamericana y como un agente movilizador de recursos económicos y humanos desde el Sur y para el Sur.

espacios regionales. Se ha buscado contribuir a la discusión general en materia de CSS y, con mucho agrado y gusto, se ha podido mostrar al mundo la capacidad intelectual y técnica del talento humano ecuatoriano, buscando contribuir a una sociedad del conocimiento a través de la generación de herramientas útiles para la gestión permanente de la CSS.

Este camino se construye gracias a las acciones de CSS que se desarrollan desde cada país. Por eso, conocer mejor y sistematizar las especificidades de este tipo de cooperación, mediante la creación de indicadores que permitan identificarla, medirla, caracterizarla y evaluarla son fundamentales para fortalecer su gestión y promover mejores resultados para el bienestar de los países que la implementan (PIFCSS, 2013).

Los procesos de evaluación han permitido también sustentar, validar, visualizar y reconocer la esencia de la CSS como intercambio ético y horizontal; nos ha permitido identificar su valor real a nivel cultural, político, económico y social y fortalecer el orgullo que se siente al llevar a cabo procesos permanentes de asocio para el desarrollo y al afianzar los lazos de amistad para alcanzar objetivos comunes.

Dichos indicadores fueron trabajados conceptualmente por las agencias y direcciones de cooperación internacional de los países de América Latina, en distintos espacios entre los que se destaca el Programa Iberoamericano para el Fortalecimiento de la Cooperación Sur-Sur (PIFCSS), el cual, por medio de talleres y el intercambio de experiencias, contribuyeron en las discusiones y consideraciones metodológicas que permiten a los países configurar herramientas técnicas útiles para la gestión de la CSS. En este trabajo, se establece la necesidad e importancia de contar con instrumentos útiles para la medición y creación de indicadores de la CSS, cuya finalidad sea visibilizar los efectos e impactos de sus intervenciones y brindar herramientas estratégicas para la planificación y las tomas de decisiones futuras (PIFCSS, 2013). De esta manera, la Secretaría Técnica de Cooperación Internacional (SETECI) ha documentado su experiencia metodológica en la evaluación de la CSS, desde el punto de vista del receptor, así como del proveedor. Con esta publicación, se busca contribuir con una sociedad del conocimiento en materia de seguimiento, monitoreo y evaluación, por lo que se considera la base conceptual y experimental y la experticia institucional desarrollada en los procesos de evaluación de la cooperación tradicional, aunque con un aterrizaje en las particularidades y características propias de la CSS. Este esfuerzo está en consonancia con el compromiso de la SETECI de visibilizar y transparentar el accionar de la cooperación internacional en el Ecuador y de generar información estratégica, oportuna y confiable sobre la cooperación internacional (Rosero, 2015). En la actualidad, se cuenta con sistemas nacionales y regionales de información, actualizados y en línea, que permiten generar los insumos necesarios para llevar a cabo los procesos de valoración y evaluación de la CSS y, así, alcanzar mejores resultados de desarrollo y maximizar el impacto de las intervenciones.

Introducción

www.cooperacioninternacional.gob.ec

Testimonio de Iván Martínez, Coordinador General Técnico de la SETECI

Para los funcionarios de la SETECI, los procesos de evaluación de la CSS han significado relevar la importancia que este tipo de cooperación tiene más allá de lo monetario o financiero; releva la riqueza de un verdadero marco de aprendizaje mutuo y de consolidación de relaciones entre países hermanos. La evaluación permite visibilizar las profundas dinámicas que ocurren entre dos países en calidad de socios y aliados más allá de oferente-receptor, y permite poner en valor el proceso de intercambio de saberes y conocimientos en beneficio de las instituciones y personas. Existen innumerables experiencias exitosas de CSS con alto impacto en los países y los procesos de evaluación permiten conocerlas y potenciarlas, a la vez que refuerzan los ejercicios de transparencia y rendición de cuentas mutua entre países.

Testimonio de Cristina Fuentes, Directora de monitoreo y evaluación de la SETECI

La evaluación de la CSS ha implicado un trabajo conjunto entre los funcionarios de la SETECI, agencias de cooperación y ejecutores, con el que se ha buscado, mediante un trabajo ético y de respeto mutuo, levantar todas las experiencias referidas a los principios de horizontalidad, equidad, consenso, solidaridad e intercambio ético. Cabe decir que la evaluación siempre será un proceso de enriquecimiento, pues deja lecciones que, en un futuro, permitirán repetir las buenas acciones y perfeccionar las prácticas disminuidas a fin de alcanzar una integración regional con desarrollo equitativo. Testimonio de Fredy Novillo, Analista de monitoreo y evaluación de la SETECI

1.2. Testimonios de experiencias institucionales ¿Qué ha significado, para los funcionarios de los SETECI, los procesos de evaluación de la CSS? El proceso de evaluación como tal ha implicado transitar por un camino complejo y en ciertos momentos incierto; ha implicado una fuerte reflexión interna sobre el trabajo y una valoración de los resultados obtenidos. A partir de algunos debates y discusiones teóricas, metodológicas y técnicas se ha podido consolidar una metodología de evaluación general, por lo que, hasta ahora, se ha convertido en un arte de generación de información estratégica para la toma de decisiones y la planificación. La evaluación de la CSS ha formado parte integral del arte metodológica generada, la cual ha sido compartida, con mucho orgullo y sin intereses particulares, en muchos

1.3. Testimonios regionales de evaluación de la CSS ¿Qué utilidad tiene para Colombia la evaluación y/o valoración de la CSS? La legitimidad y pertinencia de la cooperación sur sur se basa en su enorme potencial para generar contribuciones a los procesos de desarrollo de los países que participan en ella. Estas contribuciones pueden ser visibilizadas de manera más efectiva en la medida en que sustenten en evidencias obtenidas a través de procesos de evaluación. Evaluar le permite a las instituciones hacer mejor las cosas y aprender de los errores, cumpliendo su tarea de generar conocimientos para enfrentar retos complejos. James Leaver, Formulación, Seguimiento y Evaluación de la Cooperación Sur-Sur y Triangular, Agencia Presidencial de Cooperación Internacional de Colombia

www.cooperacioninternacional.gob.ec

¿Qué utilidad tiene para Uruguay la evaluación y/o valoración de la CSS? Hay dos aspectos que señalarían la utilidad de hacer evaluación y valorización de la CSS. Si bien se podría considerar por separado dado sus particularidades, en términos generales, lo primero y más obvio es la importancia que significa tener registro, datos, información para la planificación y estrategia de la CSS; esto en sí mismo (la sistematización de la CSS en todos sus aspectos) ya es muy útil y mejora un aspecto importante de la CSS que está muy “devaluado” y es su verdadero aporte financiero. Por otro lado, un aspecto muy importante de estos ejercicios, es lo que aporta al fortalecimiento y consolidación del Sistema Nacional de Cooperación de los países. El centro de la evaluación de las acciones y su valorización apunta a los verdaderos actores de la CSS, que son los sectores. Evaluando y dándole “valor” a sus intervenciones, contribuimos al cambio cultural (“rol dual”), favoreciendo los compromisos políticos y fortaleciendo la gestión corrigiendo errores y mejorando los procesos.

Introducción

METODOLOGÍA DE EVALUACIÓN DE LA COOPERACIÓN SUR-SUR

Felipe Ortiz de Taranco; Subdirector de la Agencia Uruguaya de Cooperación Internacional (AUCI)

¿Qué utilidad tiene para El Salvador la evaluación y/o valoración de la Cooperación Sur-Sur? La evaluación en la Cooperación Sur-Sur es necesaria, no solo por la implicancia que esta tiene en el ciclo total de proyectos de cooperación técnica, sino en particular por los elementos que pueden orientar al positivo desarrollo y ejecución de los compromisos que el país gestiona a nivel de la Cooperación para el Desarrollo. En ese marco, El Salvador orienta el trabajo de evaluación hacia la revisión y balance conjunto con sus Socios para el Desarrollo del grado de ejecución que se alcanza en un determinado proyecto y/o Programa Bilateral de Cooperación, ya sea para verificar el cumplimiento de los objetivos de desarrollo planteados, así como su corresponsabilidad y complementariedad a las apuestas del desarrollo nacional. En lo relativo a la valorización de la Cooperación Sur-Sur, El Salvador ha venido implementado un proceso denominado “Marco de Desempeño de la Cooperación Sur-Sur y Triangular”, el cual incluye dentro de sus actividades la generación de indicadores de medición y valorización de la Cooperación Sur-Sur, con el objetivo de tener una mejor referenciación del grado de aporte que la Cooperación Sur-Sur recibida u ofertada genera en las políticas públicas y/o esquemas de fortalecimiento institucional de las instituciones participantes de estas dinámicas del desarrollo. Edgar Huezo, Jefe del Departamento de Cooperación Bilateral Sur-Sur del Ministerio de Relaciones Exteriores de El Salvador

METODOLOGÍA DE EVALUACIÓN DE LA COOPERACIÓN SUR-SUR

Marco Normativo

www.cooperacioninternacional.gob.ec

2. MARCO NORMATIVO

as competencias y facultades de ley otorgadas a la SETECI, en materia de seguimiento, monitoreo y evaluación de las acciones, programas y proyectos de Cooperación Internacional No Reembolsable (CINR) ejecutadas en el Ecuador, incluyendo la CSS, se sustentan en los siguientes instrumentos legales vigentes en el país: •

El Código Orgánico de Planificación y Finanzas Públicas (COPLAFIP), publicado en el Registro Oficial N° 306, del 22 de octubre de 2010, en el Artículo 69, establece que: El registro obligatorio, con fines de información, de acciones, programas y proyectos de cooperación internacional ejecutados, se efectuará ante el organismo técnico competente. Este organismo será responsable de realizar el monitoreo y evaluación de la CINR y de implementar el sistema de información correspondiente (Asamblea Nacional de la República del Ecuador, 2010: 28).

• El Artículo 6 del Decreto Ejecutivo No. 699, del 30 de octubre de 2007, publicado en el Suplemento del Registro Oficial número 206, ratificado y complementado por los Decretos Ejecutivos Nº 429, del 15 de julio de 2010, Nº 812, del 5 de julio de 2011, Nº 16, del 4 de junio de 2013 y Nº 739, del 3 de agosto de 2015, en relación al Sistema Ecuatoriano de Cooperación Internacional (SECI), señala que la SETECI, dentro de sus funciones, debe: d) Apoyar y asistir dentro de sus competencias y responsabilidades en los procesos de formulación, negociación, acceso, implementación, monitoreo y evaluación de programas y proyectos, que cuenten con financiamiento externo no reembolsable. […]

METODOLOGÍA DE EVALUACIÓN DE LA COOPERACIÓN SUR-SUR

g) Efectuar el monitoreo al desembolso de los recursos comprometidos, para el logro de los resultados esperados; y, al desempeño de las entidades receptoras de la Cooperación Internacional, e informar este proceso. […] i) Organizar el acopio de conocimientos adquiridos a partir de las intervenciones realizadas con recursos de la Cooperación Internacional.[…]

de un marco de acción cuyo objetivo consistía en facilitar, a los países en desarrollo, un espacio que les permitiera no solo ser receptores, sino oferentes de cooperación. •

El 12 de septiembre de 1978, 138 países se reunieron en Buenos Aires y adoptaron el Plan de Acción para la promoción de la CTPD y resaltaron la necesidad de enfocarse en el fortalecimiento de las capacidades nacionales planteando un nuevo esquema para las acciones tradicionales de cooperación. El PABA conceptualiza la cooperación técnica como: Una fuerza decisiva para iniciar, diseñar, organizar y fomentar la cooperación entre los países en desarrollo con el fin de que puedan crear, adquirir, adaptar, transferir y compartir conocimientos y experiencias en beneficio mutuo, y para lograr la autosuficiencia nacional y colectiva, lo cual es esencial para su desarrollo social y económico (SETECI, 2015).

•

La Declaración de Nairobi. En diciembre de 2009, en Nairobi, Kenia, se celebró la Conferencia de Alto Nivel de las Naciones Unidas sobre la Cooperación Sur-Sur (CSSCT), en la cual se solicitó de manera expresa que se realizaran esfuerzos adicionales que respondieran a las expectativas de los Estados miembros respecto al apoyo a esta modalidad de cooperación. En esta Conferencia, todos los actores involucrados reafirmaron los compromisos adoptados en 1978 y contemplados en el PABA, así como la continuidad del impulso de la CSS. Esta Declaración alienta a los países a que elaboren sistemas propios para evaluar la calidad y los efectos de los programas de cooperación Sur-Sur y cooperación triangular y mejorar la recopilación de datos a nivel nacional con el fin de promover la cooperación en la elaboración de metodologías y estadísticas con tal fin, según proceda, teniendo presentes los principios específicos y las características singulares de la cooperación Sur-Sur

l) Diseñar y ejecutar el sistema de rendición de cuentas de sus acciones de manera oportuna a los organismos de control, a la sociedad civil y otros actores, de acuerdo con los mecanismos establecidos por la Función Ejecutiva. (Presidencia de la República del Ecuador, 2007: 3-4)

Por otro lado, el Artículo 31 del Decreto 739, ratifica: La Secretaría Técnica de Cooperación Internacional realizará el correspondiente control y seguimiento de las labores de las ONG extranjeras en el Ecuador, con el objeto de examinar sus actividades, según lo acordado en el Convenio Básico de Funcionamiento, para asegurar el fiel cumplimiento de sus obligaciones. La labor de las ONG extranjeras podría incluir, en algún momento, la gestión o apoyo de intervenciones relacionadas con la CSS, ya sea a través del financiamiento, triangulación o delegación de recursos para la gestión de acciones, programas y/o proyectos. Por esta razón, se ha considerado también el marco normativo que regula a las ONG por sí, en algún momento, se involucran en alguna actividad relacionada con la CSS. •

Los Artículos 8 y 9 (Capítulo 2 del Modelo de Gestión, Sección I) de la Resolución 009 del Consejo Nacional de Competencias, de conformidad con lo establecido en la Constitución de la República y el Código Orgánico de Organización Territorial, Autonomía y Descentralización (COOTAD), establece, en materia de gestión de la CINR, incluyendo la CSS, que son competencias del Gobierno Central (en este caso, de la SETECI como ente público del Ejecutivo responsable de la gestión de la CINR en el país):

(A/RES/64/222, 2009: página 4).

•

Art. 8.- La Administración del sistema nacional de información de la CINR, que incluya normativa para […] monitoreo y evaluación. Art. 9.- Realizar evaluaciones periódicas a los programas y proyectos de

cooperación internacional en ejecución a nivel nacional y local […]; realizar evaluaciones periódicas sobre el cumplimiento en la entrega de información para mantenimiento y actualización del sistema nacional de información […]; definir y diseñar mecanismos de rendición de cuentas, transparencia y acceso a la información, para medir los resultados de la gestión e impacto de la cooperación.

Adicionalmente al marco legal vigente en el Ecuador, en el ámbito de la CSS, existe un marco referencial a nivel internacional que se gesta como un compromiso entre países socios, el cual se plasma en varios acuerdos derivados de foros de alto nivel: •

El Plan de Acción de Buenos Aires (PABA) se configuró como un proyecto para promover y realizar la Cooperación Técnica entre Países en Desarrollo (CTPD) dentro

Marco Normativo

www.cooperacioninternacional.gob.ec

El Foro sobre Cooperación para el Desarrollo de 2012. Uno de los ocho temas centrales del evento fue la CSS. En el debate, se señaló la complementariedad de esta modalidad respecto a la Ayuda Oficial al Desarrollo (AOD), la necesidad de avanzar en el estudio de las lecciones aprendidas para entender mejor la ventaja comparativa de la CSS, de mejorar la coordinación, los mecanismos de evaluación y de fortalecer las instituciones proveedoras de esta cooperación (Programa Iberoamericano para el Fortalecimiento de la Coordinación Sur-Sur, 2014).

•

La Declaración de Addis Abeba. En julio de 2015, tuvo lugar la Tercera Conferencia Internacional sobre la Financiación para el Desarrollo, en la ciudad de Addis Abeba, Etiopía. La Declaración reconoce la importancia, las diferencias históricas y las particularidades de la Cooperación Sur-Sur y […] que ese tipo de cooperación se debe considerar como una expresión de solidaridad y cooperación entre países, basada en experiencias y objetivos comunes (ONU, 2014). Expresa, a su vez, la conformidad con las disposiciones de la Declaración de Nairobi, del año 2009, al destacar la contribución de la CSS en la erradicación de la pobreza y el desarrollo sostenible, y alienta a los países en desarrollo a que intensifiquen voluntariamente sus esfuerzos para fortalecer esta cooperación y, así, mejorar la eficacia de sus actividades (ONU, 2014).

Marco Teórico

www.cooperacioninternacional.gob.ec

3. MARCO TEÓRICO

3.1. ¿Qué representa la CSS para el Ecuador?

ara el Ecuador, la CSS es una forma distinta e innovadora de cooperación internacional, que surge de la solidaridad y afinidad de los pueblos y países del sur, que permite compartir conocimientos y experiencias en un marco de colaboración y respeto a la autodeterminación de los países, bajo principios de horizontalidad, consenso, equidad, respeto e intercambio ético. El Ecuador concibe la CSS como un proceso de intercambio ético y aprendizaje mutuo y como un espacio estratégico para compartir conocimientos, experiencias y buenas prácticas, desarrollado entre pares considerados como socios del desarrollo, que procura la generación de capacidades para lograr objetivos comunes y cuyos costos y beneficios son equitativos. La CSS en el Ecuador se concreta a través de varias modalidades, las cuales se describen a continuación: •

CSS Bilateral. Se da entre dos países en desarrollo, en calidad de socios del desarrollo, para el intercambio de conocimientos y experiencias. Este relacionamiento comprende tanto países latinoamericanos y caribeños, como países asiáticos o africanos.

•

CSS Regional. Tiene como objetivo el desarrollo y/o integración de una región, para lo cual participa un mínimo de tres países que consensuan un objetivo común. Ejemplos de esta cooperación son las acciones enmarcadas en la Unión de Naciones Suramericanas (UNASUR), CELAC, Alianza Bolivariana para América (ALBA), Foro de cooperación América del Sur-África (ASA), Secretaría General Iberoamericana (SEGIB), Comunidad Andina de Naciones (CAN), Mercado Común del Sur (MERCOSUR), etc.

METODOLOGÍA DE EVALUACIÓN DE LA COOPERACIÓN SUR-SUR

CSS Interregional. Se realiza entre diferentes regiones o en esquemas intercontinentales, como el caso de los BRICS o el G77 + China.

• •

•

CSS Multilateral Global. Se realiza mediante acciones entre países en el marco de su pertenencia a bloques u organismos multilaterales, como CEPAL, Consejo Económico y Social de la Organización de las Naciones Unidas (ECOSOC), etc.

• • • •

Evaluar la CSS implica un ejercicio de valoración de dos aspectos fundamentales: i) la relación paíspaís/país-organismo que se gesta en los compromisos establecidos en el marco de un acuerdo internacional en que se plasman las distintas modalidades antes señaladas, y ii) las intervenciones llevadas a cabo mediante programas, proyectos o acciones, las cuales, a su vez, sirven para la toma de decisiones futuras y la visibilización de los resultados y efectos de la cooperación (SETECI, 2015) En cualquier caso, el proceso de evaluación es esencialmente un ejercicio de valoración centrado en la comparación entre lo que ha sucedido y un patrón de deseabilidad. Su finalidad es emitir juicios críticos y de valor fundamentados y verificados sobre los resultados, efectos, impactos, fortalezas, debilidades, posibles oportunidades y amenazas, así como sobre aspectos a mejorar, profundizar y/o fortalecer en el relacionamiento derivado de acuerdos internacionales de CSS. Las principales fases de dichos acuerdos son: 1) prospección; 2) formulación; 3) evaluación ex-ante; 4) negociación a través de comisiones mixtas; 5) firma de acta de comisión mixta; 6) ejecución; 7) seguimiento; 8) evaluación de medio término o monitoreo; 9) cierre de ejecución y 10) evaluación final. Cada una debe ser definida y diferenciada claramente, para lo cual es necesario establecer metodologías y procesos técnicos claros para el logro de los objetivos, metas, resultados, efectos e impactos esperados del relacionamiento. En el ámbito de la CSS, la evaluación tiene un carácter político, técnico y estratégico y, además, sirve para la toma de decisiones. Sus objetivos son: • • • • • • •

Potenciar las relaciones bilaterales entre países amigos. Visibilizar el aprendizaje mutuo entre países. Rendir cuentas bajo parámetros de corresponsabilidad, tanto en el país receptor como en el país proveedor de la cooperación. Identificar nuevas posibilidades de cooperación a través de la réplica de experiencias exitosas. Valorar los resultados, efectos e impactos generados de relacionamientos Sur-Sur. Compartir experiencias en espacios regionales. Identificar buenas prácticas de la gestión pública.

Para lograr esto, los programas bilaterales/regionales/interregionales/multilaterales, así como las intervenciones que lo conforman, deben contar con: • • •

Convenios y actas de comisiones mixtas. Informes de seguimiento por parte de los Responsables de Cooperación de los países. Necesidades o requerimientos claramente identificados como prioritarios para los países socios.

•

Líneas de base, de ser posible. Documentos de proyectos, programas o acciones; en algunos casos, los términos de referencia del intercambio de experiencias, pasantías, donaciones, etc. Alcance, objetivos y metas realistas, medibles y verificables. Detalle de actividades, indicadores y medios de verificación. Información actualizada y suficiente. Definición clara de los actores involucrados directa e indirectamente, así como sus roles durante todo el ciclo del proyecto. Documentación de respaldo.

Marco Teórico

•

3.2. ¿Qué significa evaluar la CSS?

www.cooperacioninternacional.gob.ec

Por último, es importante mencionar que evaluar la CSS implica un ejercicio conjunto entre los países socios, liderado por las instancias rectoras o gestoras de la CINR, conocidas como Responsables de Cooperación de cada país (RC), las cuales coordinan acciones a la interna de los países con los ejecutores y beneficiarios de las intervenciones.

Tipos de evaluación •

Según el momento de la evaluación:

Evaluación ex-ante de acciones, programas o proyectos. Análisis de la factibilidad, viabilidad técnica, pertinencia, rentabilidad socio-económica y/o impacto de una intervención, previo a su ejecución o financiamiento. Evaluación ex-ante de la suscripción de un instrumento internacional de CSS. Análisis de la factibilidad, necesidad, pertinencia, planificación y priorización de la posible suscripción de un convenio, acta o acuerdo internacional de CSS; provee insumos técnicos para los procesos de negociación de un instrumento internacional, y es un instrumento necesario para la toma de decisiones. Evaluación de medio término o monitoreo. Análisis y valoración de los avances, resultados y/o efectos de un convenio, acta o acuerdo internacional en un momento dado durante su gestión, implementación o ejecución. Implica la revisión de las intervenciones que se deriven del instrumento internacional de CSS y genera insumos para modificar, incrementar, reprogramar, replantear, profundizar o fortalecer las actividades, acciones, programas, proyectos y/o compromisos considerados en un instrumento internacional de cooperación. Evaluación ex-post de acciones, programas o proyectos. Identificación, medición y valoración de los resultados, efectos y/o impactos de una acción, programa y/o proyecto, una vez que haya finalizado su periodo de ejecución. Esta puede ser por resultados o de impacto. Evaluación ex-post de instrumentos internacionales suscritos. Análisis del cumplimiento de compromisos, obligaciones y actividades derivadas de un convenio, acta o acuerdo internacional de CSS. Evaluación por resultados. Se realiza inmediatamente después de que la intervención concluya. Mide el cumplimiento de actividades, componentes y el logro de objetivos planteados en un inicio. Este análisis permite obtener información de los alcances del convenio, acta, acuerdo, acción, programa o proyecto en el corto plazo.

METODOLOGÍA DE EVALUACIÓN DE LA COOPERACIÓN SUR-SUR

• •

Analizar fortalezas y debilidades, así como externalidades derivadas de la ejecución de los Programas de CSS entre países socios. Generar recomendaciones de mejora y ajuste a los procesos involucrados en la ejecución de la cooperación técnica entre países. Complementar esfuerzos de gestión de programas/proyectos similares.

Evaluación a un Programa de CSS Bilateral. Evalúa la relación bilateral entre dos países socios, así como las intervenciones que la conforman.

Para el Ecuador, el marco para la evaluación de la CINR, en general, y de la CSS, en particular, se encuentra en el Plan Nacional para el Buen Vivir (PNBV), el cual determina los lineamientos para el accionar de los distintos agentes del SECI que ejecutan acciones, programas o proyectos, a fin de que su gestión responda efectivamente a las prioridades nacionales y alinea las agendas sectoriales y territoriales.

Evaluación a un Programa de CSS Triangular. Evalúa los mecanismos de cooperación entre tres países, considerando los distintos roles que cumplen durante el proceso: socio receptor; primer socio oferente (donante financiero) y segundo socio oferente (ejecutor técnico) (PIFCSS, página 3), así como las intervenciones que los conforman.

En este sentido, la sostenibilidad de las acciones, programas o proyectos debe anclarse en instituciones o entidades pertinentes, bajo un paraguas de políticas públicas sectoriales y territoriales de mediano y largo plazo, que permitan canalizar esfuerzos conjuntos y lograr impactos duraderos para la consolidación y fortalecimiento de la rectoría y apropiación nacional de la gestión del desarrollo.

Evaluación a un Programa de CSS en Bloque o Regional. Evalúa Programas en Bloque o Regional de CSS, en los que intervenga el Ecuador.

El fin último de la evaluación es proveer insumos para retroalimentar, mejorar, consolidar y replicar las buenas prácticas de la gestión pública y privada a favor del Buen Vivir o, en su defecto, identificar malas prácticas que permitan ejecutar de mejor manera los procesos futuros.

•

Según el alcance de la CSS:

3.3. ¿Por qué evaluar? Objetivos de la evaluación de la CSS Los procesos de evaluación de la CSS permiten: • En cuanto al relacionamiento entre países: • • • •

Potenciar las relaciones bilaterales entre países socios. Visibilizar el aprendizaje mutuo entre países. Rendir cuentas de forma mutua, entre países socios. Generar insumos técnicos para mejorar el relacionamiento entre los actores de los Programas de Cooperación. • Dar alertas oportunas para evitar inconvenientes o resolver problemas en la ejecución de programas/proyectos. • Generar información estratégica para una toma de decisiones adecuada y oportuna. • Establecer estrategias de sostenibilidad de los resultados e impactos, para contribuir a las prioridades de desarrollo y alcanzar el Buen Vivir, en el caso del Ecuador. • Identificar intervenciones exitosas, protagonizadas por países socios, que permitan incrementar la oferta de Cooperación Triangular. • Generar un aprendizaje mutuo sobre el funcionamiento de las agencias de cooperación que permita armonizar y optimizar futuros procesos y programas. • En cuanto a los programas, proyectos y acciones enmarcadas en los acuerdos de CSS: • Socializar acciones con los actores de la intervención y la ciudadanía en general. • Transparentar la gestión de los agentes involucrados en la ejecución de un programa/ proyecto. • Valorar los resultados, efectos e impactos de las intervenciones en una colectividad específica o en un ámbito sectorial y/o territorial de acción.

•

Marco Teórico

Evaluación de impacto. Se realiza después de un periodo ampliado de tiempo, luego de dos a cinco años de finalizada la intervención. Mide los efectos positivos y negativos, directos e indirectos, en el ámbito de acción derivado de un instrumento internacional de CSS. Este análisis permite obtener indicadores de cambio sostenido de una situación previa y una posterior a la ejecución o implementación de un convenio, acta, acuerdo, acción, programa o proyecto, en el mediano y largo plazo.

www.cooperacioninternacional.gob.ec

3.4.¿Qué evaluar? En el Ecuador, son susceptibles a evaluación por resultados o de impacto todas las intervenciones de CINR, en general, y de CSS, en particular, de conformidad con lo que establece el COPLAFIP y los Decretos Ejecutivos N° 699 (2007), N° 429 (2010), N° 812 (2011), N° 16 (2013) y N°739 (2015). En todos los casos, se identifica resultados y se analiza los efectos a partir de la medición de los aportes de la cooperación internacional a las prioridades de política pública del país y a las necesidades y requerimientos de las entidades y organizaciones involucradas y/o la ciudadanía. Para esto se considera la teoría del ciclo de proyectos, es decir la lógica de medición del logro de objetivos, resultados, componentes y actividades analizados a partir de indicadores cualitativos y cuantitativos y comprobados a partir de medios de verificación documental, testimonial o física. En el caso particular de la metodología de evaluación de la CSS, el Ecuador ha adoptado los siguientes principios, en los cuales debe enmarcarse toda intervención de CSS (Diccionario de Cooperación Internacional: 161): 1. Horizontalidad. Más allá de las diferencias en los niveles de desarrollo relativo entre los países, la cooperación y retroalimentación se establece de manera voluntaria, en búsquda de objetivos comunes y sin que ninguna de las partes ligue su participación a condiciones – SOCIOS. 2. Equidad. La CSS debe ejercerse de tal modo que sus beneficios se distribuyan de manera equitativa entre todos los involucrados y aquello debe incluir una participación equilibrada de costos/gastos. – GASTOS COMPARTIDOS 3. Consenso. La ejecución de acciones debe estar amparada en acuerdos previos y una aceptación mutua sin condiciones, en ámbitos de negociación común.

METODOLOGÍA DE EVALUACIÓN DE LA COOPERACIÓN SUR-SUR

4. Respeto/solidaridad. La CSS representa un modelo de cooperación basado en el respeto a la autodeterminación de los pueblos y a la no injerencia en asuntos internos de los Estados, así como a las prioridades y a los sistemas nacionales, según una lógica de reciprocidad. De esta manera, se remplaza la idea de ayuda por una de solidaridad mutua. 5. Intercambio ético. La cooperación como intercambio ético implica un nuevo paradigma de cooperación enmarcado en un intercambio justo, equitativo y no condicionado de conocimientos y experiencias, el cual pretende un aprendizaje mutuo, no desde las limitaciones y carencias, sino desde las riquezas como seres humanos. Considerando los principios de la CSS, la SETECI realiza un proceso de evaluación de instrumentos internacionales de CSS (convenios, actas, acuerdos, etc.) y de las acciones, programas o proyectos derivados de dichos instrumentos. Por lo tanto, dichos principios determinan los parámetros de referencia para la definición de criterios de evaluación.

Evaluación País de la Política Pública

Evaluación de la relación bilateral/ triangular/ regional.

Evaluación sectorial y territorial de intervenciones

• • • • • •

Porcentaje de crecimiento de proyectos de oferta de CSS ejecutados. Incremento en 70% del número de proyectos de oferta de CSS ejecutados. Sistematización de buenas prácticas que puedan ser replicadas. Evaluación del grado de financiamiento y operatividad efectiva de una oferta de cooperación ecuatoriana. Eficiencia en el uso del fondo de CSS. Mecanismos de alimentación del fondo de CSS.

• • • • • •

Revisión conjunta del cumplimiento de acuerdos, obligaciones, convenios. Nivel de ejecución de acciones, programas y proyectos. Análisis de los resultados y efectos de la relación bilateral. Recomendaciones para el fortalecimiento de la relación bilateral. Análisis costo-beneficio de la relación bilateral. Análisis FODA de la relación bilateral.

•

Análisis temáticos específicos (Amazonía, Galápagos - sectores estratégicos, refugio, movilidad humana). Intercambios a nivel territorial y/o sectorial. Dinámicas de gestión sectorial y/o territorial. Análisis por resultados de las intervenciones. Análisis de efectos y/o externalidades - impacto.

• • • •

Fuente: SETECI. Fecha: 29/10/2015. Elaborado por: SETECI.

3.5. ¿Qué principios debe cumplir la evaluación de la CSS? Todo proceso de evaluación de la CSS debe ser: • Estratégico a nivel político, para la toma de decisiones. • Neutral e imparcial. • Conjunto: no deviene de una demanda individual sino de la necesidad mutua de los involucrados. • De doble vía: se evalúa lo que se recibe y lo que se entrega, implica una autoevaluación.

• Transparente. • Confiable: es un insumo válido para las partes involucradas. • Objetivo, tanto a nivel cuantitativo como cualitativo. • De alta calidad. • Participativo e integral: considera a los responsables de cooperación de las partes involucradas. • Propositivo: genera consideraciones importantes. • Eficiente en el uso de recursos y tiempo. • Corresponsable: requiere asumir responsabilidades compartidas. • Socializable: tanto en el país receptor como en el país proveedor de la cooperación. • Práctico y proveedor de insumos, herramientas y/o soluciones.

Marco Teórico

www.cooperacioninternacional.gob.ec

Estos principios permiten una percepción ética, lógica, real y práctica de la realidad, minimizan los sesgos del proceso de evaluación, especialmente en cuanto a la autoevaluación de un país como oferente de cooperación, y permite orientar adecuadamente las interpretaciones derivadas del análisis realizado de forma conjunta.

3.6. ¿Quién hace qué? La evaluación de convenios, actas, acuerdos y acciones, programas o proyectos de la CSS, según las competencias que la ley ecuatoriana otorga, recae principalmente en el Gobierno Central, a través de las entidades rectoras de política pública, ejecutores, entidades de control, agencias de regulación, etc. Además, dicha ley también otorga competencias en el ámbito local a otros niveles de gobierno, como los Gobiernos Autónomos Descentralizados (GAD), los cuales deben generar procesos de evaluación de impacto en el ámbito de sus competencias y circunscripciones territoriales. En el caso específico de la evaluación de CSS, en el Ecuador se identifican los siguientes actores: 1. La SETECI. Es el RC en el Ecuador; cumple un doble rol: por una parte tiene la competencia de articular la identificación, formulación, negociación y acompañamiento a la ejecución de los procesos que derivan en Programas de CSS oficiales (bilaterales, triangulares, regionales). Por otra, es responsable de hacer un seguimiento, monitorar y evaluar las acciones, programas, proyectos y convenios de CSS. Este doble rol debe estar reflejado estructuralmente en distintas áreas, unidades y direcciones de la SETECI, para garantizar un proceso transparente, independiente, objetivo y confiable. – ROL COORDINADOR Y EJECUTOR DE EVALUACIÓN 2. Las agencias o entidades responsables de la cooperación internacional de diferentes países socios. Son la contraparte en la etapa de identificación, formulación, negociación, acompañamiento a la ejecución, seguimiento, monitoreo y evaluación de las intervenciones enmarcadas en los acuerdos de CSS establecidos. Cumplen el mismo rol dual amparado en los principios de objetividad e independencia mencionados. Para esto, es necesario que, en cada entidad de la contraparte, existan funcionarios o profesionales parciales en cuanto a los procesos de negociación/implementación de los acuerdos, para evitar sesgos de percepción. – ROL EJECUTOR DE EVALUACIÓN 3. Las entidades ejecutoras ecuatorianas. Son protagonistas de la CSS ya que implementan acciones en el marco de las intervenciones acordadas entre socios. Su rol es técnico pero al amparo del componente estratégico-político y la voluntad de las autoridades de su

METODOLOGÍA DE EVALUACIÓN DE LA COOPERACIÓN SUR-SUR

4. Las entidades ejecutoras del país socio. Las entidades contraparte o ejecutoras en el país/ países socio/s son las que hacen posible el intercambio de experiencias y conocimientos en un marco de compromiso. De igual forma, si bien su rol es principalmente técnico, cuentan con el respaldo permanente de las autoridades y tomadores de decisiones. En algunos casos, son también los beneficiarios de los acuerdos de CSS. – ROL PROVEEDOR DE INFORMACIÓN 5. Las entidades beneficiarias tanto ecuatorianas como del país socio. Son los actores que hacen uso o son favorecidos/beneficiados por las actividades, resultados, efectos e impactos derivados de un acuerdo de CSS. En algunos casos son también ejecutores de los acuerdos. – ROL PROVEEDOR DE INFORMACIÓN Tanto las entidades ejecutoras ecuatorianas como las del país socio tienen un rol dual. Por una parte, las personas o unidades responsables de la planificación/cooperación internacional/relaciones internacionales/CSS, cumplen el rol de puntos focales/contrapartes de la SETECI y de la agencia o RC de cada país, durante las etapas de identificación, formulación, negociación y acompañamiento a la ejecución. Por otra parte, el personal o unidades netamente técnicas, es decir, quienes se dedican exclusivamente a la ejecución de intervenciones, llevan a cabo las acciones y compromisos acordados. Todos los involucrados deben articularse y coordinar acciones conjuntas con el fin de evitar doblar esfuerzos, tomando en cuenta que el monitoreo y evalución deben comprender la planificación, negociación y el diseño de un convenio marco o específico que ampare la implementación de una intervención.

3.7. Diferencias entre la evaluación de la cooperación tradicional y la evaluación de la CSS Si bien, tanto para la cooperación tradicional como para la CSS, la esencia metodológica de evaluación es la misma, existen ciertas diferencias en el modo de gestión, de las que se destacan las siguientes:

Ítems

Cooperación tradicional

CSS

Tipo de análisis

Una sola vía: donante-receptor Doble vía: socio-socio

Tipo de medición

Cuantitativa y cualitativa

Principalmente cualitativa

Criterios de evaluación

Basados en los principios de la AOD

Basados en los principios de la CSS

Técnicas de evaluación

1. Investigación de campo 2. Grupos focales 3. Generación de cartografía temática 4. Entrevistas/encuestas de percepción 5. Comités técnicos interinstitucionales: cooperante + responsable CI + ejecutores

1. Entrevistas/encuestas de percepción 2. Actas de evaluación de medio término 3. Videoconferencias 4. Visitas bilaterales 5. Seguimiento bilateral por oficiales de escritorio de los países involucrados

Aplicación metodológica de la evaluación utilizada

Del cooperante o del receptor

Consensuada entre socios

1. Financiera Información disponible para la 2. Técnica evaluación 3. Legal 4. Ambiental

1. Técnica 2. Legal

Enfoque de la evaluación

Socio-económico

Socio-político

Quién realiza la evaluación

Individual: cooperante o RC

Conjunta: socio + socio (ambos pueden ser oferente y receptor de cooperación)

Financiamiento de la evaluación

Costos asumidos por el cooperante o el RC

Costos compartidos

Alto

Bajo

10 Costo de la evaluación 11

Instrumentos técnicos de referencia

Marco lógico de proyectos

Convenios/actas

Medios de verificación de la evaluación

Documentos técnicos

Actas de evaluación

Solo en el Ecuador

En el país oferente y en el país receptor

Beneficios tangibles

Beneficios tangibles e intangibles

13 Socialización de la evaluación 14

Visualización de resultados y efectos

Marco Teórico

institución para poner en marcha los compromisos establecidos en los acuerdos de CSS. En algunos casos, son también los beneficiarios de los acuerdos de CSS. – ROL PROVEEDOR DE INFORMACIÓN

www.cooperacioninternacional.gob.ec

Elaborado por: SETECI.

Los 14 ítems presentados en el cuadro anterior permiten observar, de forma general, la visión, enfoque, modos de gestión e instrumentos considerados en la cooperación tradicional y en la CSS; sin embargo, algunas herramientas utilizadas en una u otra forma de cooperación pueden adaptarse entre sí y complementarse técnica y metodológicamente.

Marco Metodológico

www.cooperacioninternacional.gob.ec

4. MARCO METODOLÓGICO ¿CÓMO EVALUAR?

ara definir la metodología de evaluación, es importante considerar aspectos normativos, administrativos, financieros y técnicos del trabajo. Asimismo, es necesario tomar en cuenta el objetivo y alcance del análisis y los recursos disponibles, resaltando la importancia de que, en la evaluación de la CSS, un país evalúa al otro y viceversa, en una dinámica de aprendizaje mutuo y consenso en la toma de decisiones derivadas del análisis. En este contexto, la SETECI ha establecido una metodología de evaluación general de la cooperación internacional, la cual es aplicable tanto para la cooperación tradicional como para la CSS. Contempla los siguientes componentes: 1) método de evaluación, 2) técnicas de levantamiento de información, 3) fases de evaluación, 4) criterios de evaluación, 5) herramientas e instrumentos técnicos y 6) definición del equipo de trabajo, tal como se muestra a continuación:

METODOLOGÍA DE EVALUACIÓN DE LA COOPERACIÓN SUR-SUR

Figura 1. Componentes de la metodología de evaluación

países están involucrados en un proceso de evaluación de doble vía, el método no experimental se considera como el más adecuado para identificar los resultados, efectos e impactos de las intervenciones desde una óptica centrada en las relaciones entre países e instituciones.

Método de evaluación

Debido a que este método arroja datos primordialmente cualitativos, se pensaría que los resultados que arroja son subjetivos; sin embargo, para reducir los sesgos en el levantamiento de información, se consideran las siguientes estrategias:

Definición del equipo de trabajo

Técnicas de levantamiento

Herramientas e instrumentos

Fases de evaluación

Criterios de evaluación

Fuente: SETECI (2013). Elaborado por: IMD/DMECI/SETECI.

La figura anterior muestra los componentes de la metodología de evaluación, la cual, como se mencionó anteriormente difiere de la tradicional en cuanto a visión, enfoque, modos de gestión e instrumentos utilizados. Estos componentes constituyen los requerimientos mínimos de definición que permiten ordenar y organizar el proceso de evaluación de la CSS, tanto a nivel documental como a nivel de observación. A continuación se describe cada componente de forma más detallada.

4.1. Método de evaluación En el Ecuador, en los procesos de evaluación de la CSS, se aplica un método no experimental, el cual busca comparar la situación de los involucrados antes y después de una intervención, por lo que mide y valora sus resultados en el corto plazo, así como sus efectos y posibles impactos en el mediano/largo plazo. El método arroja principalmente datos cualitativos, aunque también brinda información cuantitativa en función del nivel de documentación y evidencia empírica disponible (Salkind, 1999). El método no experimental se aplica a partir del levantamiento de información de percepción de todos los involucrados en la gestión de una intervención y de la observación directa por parte de un equipo técnico conjunto definido entre socios. Por lo general, es multidisciplinario y es implementado por los RC, quienes definen de forma conjunta el mecanismo de análisis documental, el levantamiento de fichas técnicas y la generación de entrevistas con los involucrados. Dada la naturaleza de la CSS, la cual se centra en las personas/instituciones y en el fortalecimiento de sus capacidades a partir de la transferencia efectiva de conocimientos, y el hecho de que dos o más

•

Incluir, en todo convenio, acuerdo, acta o compromiso bilateral/triangular/regional de CSS, cláusulas relativas a procesos de evaluación conjunta. • Definir instrumentos técnicos de base que faciliten los procesos de evaluación de medio término y final. • Involucrar, desde el inicio del proceso, a los oficiales de escritorio responsables de la relación bilateral de los países involucrados y utilizar, como insumos de base inicial para el análisis, reportes permanentes de seguimiento bilateral o triangular. • Entrevistar a los actores involucrados en las instituciones de ambos países, tanto de las agencias de cooperación como de las entidades ejecutoras y beneficiarias (a nivel de planificación/cooperación internacional y a nivel de ejecución/técnico). • Contrastar las percepciones de actores con características e intereses similares y sustentar los criterios emitidos con documentación de respaldo. • Generar espacios abiertos de debate en cuanto al Programa de CSS sus intervenciones. • Conformar equipos técnicos multidisciplinarios. • Fomentar la participación de los beneficiarios en los procesos de evaluación. • Realizar entrevistas independientes sin la presencia de actores influyentes; es decir, conversatorios en los que no participen personas o entidades que induzcan a los entrevistados a dar respuestas o percepciones erróneas o favorables a los intereses particulares. • Sustentar, con documentación técnica, todas las afirmaciones o aspectos observados. • Consensuar una sola valoración técnica de los resultados y efectos de una intervención, con la participación activa y equitativa de todos los técnicos que participaron en el proceso.

Marco Metodológico

www.cooperacioninternacional.gob.ec

Estas estrategias deben ser aplicadas por las unidades de evaluación, tanto del Ecuador como del/los país/es socio/s, con el fin de minimizar cualquier sesgo o rasgo de subjetividad y presentar resultados verificados y contrastados. El rol de las unidades de evaluación en las agencias o de los RC debe ser en todo momento imparcial y objetivo, ya que parte de los actores que serán entrevistados son de sus mismas instituciones y estoo no puede desviar de ninguna forma la valoración neutral de la intervención.

4.2. Técnicas de levantamiento de información Las técnicas son el conjunto de procedimientos y mecanismos para el levantamiento de información primaria y secundaria relacionada con un Programa de CSS y las intervenciones que lo conforman. Las técnicas de trabajo utilizadas y/o aplicadas por la SETECI en los procesos de evaluación de la CSS, las mismas que en un marco de evaluación conjunta y consensuada, también se aplicarían por los países socios, son: • •

Generación de Comités Técnicos de seguimiento, monitoreo y evaluación permanente entre RC. Reuniones periódicas de evaluación de medio término de los acuerdos.

METODOLOGÍA DE EVALUACIÓN DE LA COOPERACIÓN SUR-SUR

Análisis e investigación documental del programa/proyecto (convenios, agendas, documentos de proyecto, marcos lógicos, evaluaciones exante, intermedias y finales, publicaciones, informes de cierre, reportes, actas, etc.). • Entrevistas (beneficiarios, ejecutores, co-ejecutores, agencias o RC). • Testimonios (historias de vida, experiencias), retroalimentación entre actores, lluvia de ideas, grupos focales, opinión de expertos. • Levantamiento de encuestas de opinión y evaluación. • Visitas bilaterales que implican procesos de observación in situ, principalmente a nivel institucional. • Reportajes en audio, video y fotografía. • Videoconferencias. • Generación de redes interinstitucionales y ciudadanas para monitoreo y evaluación de gestión.

Nº

Actividades

Detalle

Construcción conjunta de la agenda/hoja de ruta de evaluación

Se determinan los hitos y una hoja de ruta conjunta.

Definición conjunta de objetivos y alcance de la evaluación

Se establecen las razones por las que se va a evaluar y hasta dónde evaluar.

Consenso sobre conceptos y terminología del proceso de evaluación

Se acuerdan los conceptos básicos de evaluación que se utilizarán en el marco del proceso conjunto.

Además, esta información permite llegar a conclusiones y proponer recomendaciones sobre los mecanismos de relacionamiento en el marco de los Programas de CSS y las intervenciones que los conforman. Asimismo, es útil para futuras tomas de decisiones, la sostenibilidad de acciones y la corrección de falencias detectadas en el camino.

Definición conjunta de técnicas, instrumentos y herramientas de evaluación

Se revisan las posibles técnicas y herramientas y se ajustan a las necesidades y requerimientos particulares del proceso conjunto de evaluación.

4.3. Fases o etapas de evaluación

Definición de los equipos de trabajo por país

Determinación de los funcionarios/as y roles, en la unidad de evaluación de cada país.

El proceso de la evaluación de la CSS contempla cinco fases o etapas, las cuales deben ser llevadas a cabo de forma conjunta entre los países socios, para garantizar la calidad de los hallazgos y resultados. Las fases son las siguientes:

Contacto con actores

Se informa a los actores sobre el proceso de evaluación conjunta y solicitud de punto focal y llenado de fichas para la posterior entrevista.

Definición de cronograma de visitas para entrevistas

Se establecen los tiempos y la hoja de ruta de la visita de campo.

Este conjunto de técnicas permite obtener información principalmente cualitativa, aunque, en ciertos casos, también se obtiene datos cuantitativos a partir de los indicadores definidos para cada intervención, todo lo cual servirá para el análisis posterior de los resultados, efectos e impactos, a partir de una lógica de análisis de costo-beneficio y de costos de oportunidad.

1. Planificación de la evaluación. 2. Levantamiento y análisis de información documental o trabajo de gabinete. 3. Trabajo in situ con actores involucrados. 4. Elaboración del informe de evaluación. 5. Socialización del informe de evaluación.

1) Planificación de la evaluación (periodo de tiempo estimado: 2 semanas) Marco Metodológico

•

www.cooperacioninternacional.gob.ec

METODOLOGÍA DE EVALUACIÓN DE LA COOPERACIÓN SUR-SUR

www.cooperacioninternacional.gob.ec

4) Elaboración del informe de evaluación (periodo estimado: 2 semanas) Nº

Nº

Actividades

Solicitud de documentación técnica a las unidades que gestionan la CSS en las Agencias de Cooperación, a los ejecutores, subejecutores y otros involucrados.

Análisis de la documentación técnica para la evaluación

Lectura y síntesis de información clave para la evaluación.

Revisión de fichas técnicas de evaluación

Revisión de la ficha completada por los ejecutores, previa entrevista personal.

3) Trabajo in situ con actores involucrados y análisis de la información levantada (periodo estimado: 1 mes) Nº

Actividades

Visitas para realizar las entrevistas de evaluación y visitas bilaterales según el financiamiento disponible

Visita técnica para llevar a cabo el trabajo in situ y la entrevista de evaluación.

Intercambio de hallazgos y retroalimentación sobre las visitas, por lo general, a través de videoconferencias

Reunión de retroalimentación entre las unidades de evaluación, sobre los hallazgos de las visitas y entrevistas efectuadas.

Sistematización de fichas técnicas de evaluación

Sistematización de la información recopilada en las entrevistas de evaluación, incluyendo lo enviado por cada actor y los datos adicionales recopilados en cada visita.

Análisis de la información levantada

Análisis de cada unidad de evaluación y de toda la información disponible, en base a los conceptos y criterios acordados inicialmente.

Detalle

Recolección de documentación técnica para la evaluación

Actividades

Detalle

Elaboración del documento técnico o informe de evaluación

Redacción del documento técnico o informe de evaluación, de forma consensuada entre ambos países. Esta fase implica que las partes se pongan de acuerdo para dividirse el trabajo de redacción y luego validarlo mutuamente o para coordinar sesiones de trabajo (videoconferencias) para hacerlo de forma conjunta.

Generación de expediente

Ordenamiento y archivo de toda la documentación recabada.

Presentación preliminar de resultados entre unidades de evaluación

Presentación en Power Point de los resultados para los funcionarios técnicos de la unidades de evaluación, tanto de la SETECI como de la agencia de cooperación del país socio.

Marco Metodológico

2) Levantamiento y análisis de información documental o trabajo de gabinete (periodo estimado: 2 semanas)

5) Socialización del informe de evaluación (periodo estimado: 2 semanas) Nº

Actividades

Detalle

Presentación preliminar de resultados entre agencias de cooperación

Presentación preliminar en Power Point de los resultados de la evaluación entre agencias de cooperación para receptar recomendaciones sobre el documento técnico.

Presentación preliminar de resultados ante ejecutores y otros actores involucrados

Presentación preliminar en Power Point de los resultados ante ejecutores, subejecutores y otros involucrados para receptar recomendaciones sobre el documento técnico.

Presentación final de resultados ante autoridades y actores involucrados

Presentación final en Power Point de los resultados de la evaluación ante autoridades y técnicos de las distintas entidades involucradas: agencias de cooperación, ejecutores, subejecutores y otros, que considera las recomendaciones recibidas en las etapas anteriores de socialización.

METODOLOGÍA DE EVALUACIÓN DE LA COOPERACIÓN SUR-SUR

www.cooperacioninternacional.gob.ec

4.4. Criterios de evaluación Para el Ecuador, la evaluación de la CSS parte de los principios señalados en el apartado 3.4 de este

Figura 3.

Considerando el tiempo estimado para cada etapa o fase, el periodo mínimo de gestión del proceso de evaluación es de tres meses. Es necesario tomar en cuenta que es un proceso conjunto que, en ocasiones, presenta retrasos por factores exógenos, como calamidades imprevistas, cambio de autoridades o de prioridades en el periodo, rotación del personal técnico, presupuesto institucional limitado,

A manera de resumen, el proceso general de evaluación de la CSS se describe de la siguiente manera: Figura 2.

Horizontalidad

Equidad

Diferentes niveles para evaluación

Consenso Investigación cualitativa

1. Revisión de información

4. Contacto con actores involucrados

7. Análisis de información

Respeto/ Solidaridad

•

Resumen de los principios de CSS para el Ecuador

Más allá de las diferencias en los niveles de desarrollo relativo entre países, la colaboración se establece de manera voluntaria y sin que ninguna de las partes ligue su participación al establecimiento de condiciones. Estatus de socios.

Marco Metodológico

de manera equitativa entre todos los participantes.

•

La ejecución de una acción de CSS debe someterse a consenso por parte de los responsables de cada país, en marcos de negociación común, como las comisiones mixtas o sus equivalentes.

•

La CSS representa un nuevo modelo de cooperación basado en el respeto a la soberanía de los pueblos y a la no injerencia en asuntos internos de los países socios, así como a las prioridades y a los sistemas nacionales, según una lógica de reciprocidad.

•

Intercambio justo, equitativo y no condicionado, de conocimientos y experiencias, que pretende el aprendizaje mutuo no desde las limitaciones y carencias, sino desde la riqueza como seres humanos.

Encuestas y análisis involucrados 2. Construción y validación de la ficha técnica

5. Levantamiento de información en campo

8. Informe de resultados

Intercambio ético

Muestra no probabilística, casos diversos

Observación

in situ

Fuente: SETECI. Fecha: 29/10/2015. Elaborado por: SETECI.

3. Elaboración de la agenda

6. Tabulación de información

9. Socialización

A partir de los principios de CSS, se determinan los criterios básicos de medida que permiten analizar el nivel de cumplimiento de dichos principios. A partir de la consideración de estos criterios básicos horizontalidad, equidad, consenso, respeto, solidaridad e intercambio ético. ciencia, coherencia, pertinencia, relevancia e impacto, los cuales son transversales al análisis general basado en los principios de CSS. Posteriormente, se realiza un análisis de las fortalezas, oportunidades, debilidades, amenazas (FODA) de la relación de CSS, tomando en cuenta los instrumentos internacionales (acuerdos, actas, convenios) y los resultados/efectos considerados por los actores inconcepto de costo de oportunidad. A continuación, se resume lo descrito anteriormente.

METODOLOGÍA DE EVALUACIÓN DE LA COOPERACIÓN SUR-SUR

Figura 4. Criterios estándar de evaluación

PRINCIPIO

Por otra parte, todo proceso de evaluación debe contener criterios a ser valorados, de forma que se sistematicen los hallazgos y resultados de forma comprensible y clara. Para la SETECI, estos se basan en los criterios estándar tradicionalmente aplicados para la evaluación externa, que son los siguientes.

CRITERIO

Figura 5. Criterios estándar de evaluación Horizontalidad

Cooperación desligada asociatividad Eficacia (logro de resultados) Proporcionalidad financiamiento

Equidad Equidad distribución de beneficios

Replicabilidad

Pertinecia, coherencia y relevancia (El programa/ proyecto responde a las necesidades y/o prioridades.)

Eficiencia (consecusión de los resultados al costo más bajo posible)

Evaluación por resultados

Marco Metodológico

www.cooperacioninternacional.gob.ec

Sostenibilidad (Se mantuvieron los resultados/efectos después del retiro del apoyo de cooperación internacional.)

Consenso Previsibilidad

Respeto/ Solidaridad

Causalidad (Efectos significativos positivos o negativos contemplados desde un inicio)

Resultados no previstos (Efectos significativos positivos o negativos no contemplados desde un inicio)

Complementariedad Fuente: IICA, Fecha: 21/01/2010. Elaborado por: GS/DESE/SETECI.

Intercambio ético

Transparencia - rendición cuentas - inclusivo - socialización - aprendizaje e intercambio

Criterios Estándar De Evaluación: eficacia, eficiencia, coherencia pertinencia, relevancia, impacto

Análisis Foda Transversal: utilización de parámetros de evaluación por fase del ciclo de gestión de la CSS

Los criterios indicados en la Figura 3 recogen los elementos básicos y fundamentales que se deben valorar en un proceso de este tipo y no son ajenos a los principios de CSS para el Ecuador, antes señalados. Adicionalmente, evaluar la CSS implica analizar otros criterios que, si bien están insertos de alguna forma en los arriba enunciados, se revierten de especial importancia a la luz de principios tales como la complementariedad, los costos compartidos y el aprendizaje mutuo. Lo antes señalado se puede plasmar en el siguiente cuadro, que relaciona los principios de CSS para el Ecuador con los criterios de evaluación:

Análisis Costo-Beneficio De La Relación Bilateral/Triangular/Regional

Fuente: SETECI. Fecha: 29/10/2015. Elaborado por: SETECI

METODOLOGÍA DE EVALUACIÓN DE LA COOPERACIÓN SUR-SUR

www.cooperacioninternacional.gob.ec

Principio

Criterio asociado

Parámetros guía para la medición de los criterios

1. Pertinencia/ relevancia/coherencia socio-política y/o económica Horizontalidad 2. Asociatividad para el desarrollo 3. Cooperación desligada

• • • • • • •

Consenso/ respeto

1. 2. 3. 4. 5. 6. 7.

Complementariedad Negociación común Replicabilidad Previsibilidad Eficacia Eficiencia Sostenibilidad

• • • • • • •

•

Equidad/ intercambio ético

1. Proporcionalidad de financiamiento 2. Distribución equitativa de beneficios 3. Aprendizaje mutuo 4. Visibilización conjunta 5. Transparencia 6. Rendición de cuentas mutua

• •

• • • •

Objetivos de las acciones versus objetivos de los involucrados objetivos comunes. Niveles de condicionalidad de las acciones. Nivel de colaboración conjunta y voluntaria. Coherencia del diseño (lógica de intervención). Nivel de iniciativa, compromiso y diálogo para cooperar sin condicionamientos previos. Consolidación de Relaciones Bilaterales/ Triangulares/Regionales. Aporte de las actividades a las prioridades de los involucrados. Objetivos planificados versus objetivos logrados. Uso de recursos de los objetivos planificados versus uso de recursos de los objetivos logrados. Objetivos logrados versus perspectivas de continuidad de beneficios a futuro. Toma de decisiones conjunta. Planificación conjunta de actividades. Consideración de aspectos culturales, institucionales, legales y administrativos de las partes involucradas. Marcos de Negociación consensuados, participativos e integrales, que consideren todas las partes involucradas. Equidad y proporcionalidad de aportes en costos de implementación entre los involucrados y costos compartidos, en consideración de las posibilidades reales de cada involucrado. Relación costo-beneficio equilibrado para las dos partes. Visualización de beneficios/costos tangibles e intangibles, considerando efectos transversales y/o externalidades positivas y negativas derivadas de las actividades. Beneficios compartidos y reconocidos por las partes. Grado de socialización de los resultados en los países involucrados. Grado de participación de los actores involucrados en todas las fases del ciclo de gestión. Consideración de costos administrativos, operativos o de gestión y los costos de oportunidad derivados de la relación de CSS.

Pertinencia, coherencia y relevancia El análisis de pertinencia, coherencia y relevancia de un programa o proyecto examina si sus objetivos, componentes, actividades y resultados son adecuados, congruentes y guardan relación directa con las prioridades definidas por los involucrados, y si estas atienden las necesidades del área de intervención en armonía con la cultura, el entorno, las costumbres, los hábitos y las lógicas de gestión. El análisis de estos criterios, por lo tanto, tiene dos dimensiones: una política y otra técnica. La primera tiene que ver con la decisión y definición competente de prioridades y la segunda, con el conjunto de actividades, instrumentos, metodologías y conocimiento puestos a disposición de los decisores, y que, de forma directa o indirecta, en mayor o menor medida, apoyan y constituyen la base de la toma de decisiones y contribuyen a transformarlas en políticas, agendas, programas, proyectos y acciones. En este sentido, el criterio de pertinencia, coherencia y relevancia tiene que ver con la correspondencia del programa o proyecto a la razón de ser de sus contrapartes, en las que se visualizan varias dimensiones1 como: • En la inserción en los objetivos y prioridades del país. Se evalúa la correspondencia y convergencia con los objetivos, metas y políticas del PNBV, de las agendas sectoriales y territoriales. • En la inserción en los objetivos y prioridades de la contraparte. Se evalúa cuál es la contribución de un programa/proyecto de CINR y de los cooperantes al fortalecimiento de capacidades de un actor o ámbito de acción sectorial y/o territorial en el país. • En la importancia a los objetivos, prioridades y necesidades de los involucrados. Se evalúa las convergencias y divergencias en las expectativas y requerimientos de los involucrados. En este caso, se establece si el programa/proyecto es prioritario para el ámbito o grupo de acción objetivo, si lo que se ofrece es suficiente para solventar el problema identificado y si se justifica la intervención. Lo que se busca en el análisis de pertinencia, coherencia y relevancia es valorar y medir el aporte de los responsables de la ejecución y el grado de correspondencia de gestión (Guanziroli, Buainain y Meirelles de Sousa, 2008). Figura 6. Pertinencia, coherencia y relevancia

Validez de los objetivos en la etapa de evaluación Criterios Objetivo general Objetivos específicos

¿Qué se debe contestar?

País Socio 1 País Socio 2 Beneficiario ¿Mantiene el proyecto su importancia en el marco de política del actor? ¿Mantiene relación lógica?

Resultados Inversión Fuente: JICA. Fecha: 21/01/2010. Elaborado por: GS/DESE/SETECI.

Fuente: SETECI. Fecha: 29/10/2015. Elaborado por: SETECI. 1

Marco Metodológico

Tabla 1. Criterios de evaluación de la CSS a partir de los principios

Todas las dimensiones son importantes; sin embargo, cada actor priorizará una según el nivel de correspondencia.

METODOLOGÍA DE EVALUACIÓN DE LA COOPERACIÓN SUR-SUR

El análisis de la eficacia valora y mide la consecución de los objetivos planteados de un programa/ proyecto, la magnitud o alcance y la calidad de los efectos de las acciones. Requiere el desarrollo de un vínculo entre objetivos, resultados e indicadores.

En la productividad de las acciones realizadas. Análisis de los resultados y efectos obtenidos en relación con los recursos utilizados por el programa/proyecto durante un determinado periodo de tiempo, observando los aportes con respecto a los resultados obtenidos (desde los gastos administrativos y operativos hasta la infraestructura fija y equipos) y si los gastos de los recursos se justifican y fueron utilizados de la mejor manera posible.

En algunas ocasiones, no se cuenta con indicadores propios o directos de la intervención por lo que, para llevar a cabo un proceso de evaluación, se debe utilizar indicadores relacionados o indirectos (proxys), cuyo uso requiere análisis previos para confirmar la correlación entre un aspecto y otro. Luego, se realiza un análisis de vinculación entre los objetivos e indicadores y los resultados.

Es necesario señalar que muchos de los resultados no son cuantificables en valor, como por ejemplo las asistencias técnicas, la formación de talento humano y el intercambio de experiencias. En estos casos, se utilizan nociones de costo de oportunidad para valorizar la intervención y se mide el aporte a partir de un análisis costo-beneficio.

De esta manera, el objetivo es determinar el grado de alcance o avance del objetivo general y específico de la intervención, a partir del logro proporcional de sus resultados, tanto en calidad como en alcance. Hay que tomar en cuenta que, por lo general, los programas/proyectos son de naturaleza “híbrida” e incluyen objetivos totalmente diferentes. Por tanto, es fundamental contar con una línea de base de referencia o crear un banco de datos o información relacionada con la intervención.

Figura 8. Eficencia

•

Eficacia

Figura 7. Eficacia

Grado en el que se ha logrado el objetivo del proyecto por medio de los resultados del mismo Criterios

¿Qué se debe contestar?

¿En qué grado contribuyeron los resultados al logro de los objetivos del proyecto?

Resultados

Dimensión País Socio 1 País Socio 2 Beneficiario

Objetivos específicos Resultados

¿Se logró el objetivo del proyecto como se esperaba?

Objetivos específicos

Inversión Fuente: JICA. Fecha: 21/01/2010. Elaborado por: GS/DESE/SETECI.

Eficiencia

Inversión

Fuente: JICA. Fecha: 21/01/2010. Elaborado por: GS/DESE/SETECI.

Sostenibilidad Es el análisis de cómo se mantienen en el tiempo los efectos positivos de una intervención y cómo estos se institucionalizan o se insertan en la gestión de procesos de los involucrados, donde se observa el grado de empoderamiento, apropiación de resultados y los niveles de dependencia de los recursos de la cooperación.

•

En los resultados. Se analiza en qué medida los resultados del programa/proyecto se mantienen luego de que este finalice o una vez que se hayan retirado los recursos externos.

•

En el aprendizaje. Se evalúa en qué medida los involucrados internalizaron la experiencia y fortalecieron sus capacidades para seguir adelante sin el apoyo de la cooperación internacional (Guanziroli, Buainain, Meirelles de Sousa, 2008).

•

En el empoderamiento e institucionalidad del proyecto. Se evalúa de qué manera los involucrados se apropian de manera positiva del programa/proyecto para seguir gestionando sus efectos positivos. Esto implica institucionalizar los procesos para que formen parte del orgánico funcional de una entidad u organización; es decir, crear o gestionar una unidad que se haga cargo de los procesos, resultados y efectos de la intervención.

Todo esto se asienta en dos dimensiones de eficiencia:

¿Se asignaron y utilizaron de manera oportuna las inversiones? ¿Fue apropiada la calidad y cantidad de las inversiones?

Existen tres dimensiones de sostenibilidad a considerarse:

El análisis de la eficiencia se refiere a la valoración de la manera en que se utilizaron los recursos para alcanzar los objetivos de la intervención. Un programa/proyecto es eficiente cuando alcanza el objetivo planteado inicialmente al menor costo posible o con el menor uso posible de los recursos disponibles.

•

¿Qué se debe contestar?

Objetivo general

País Socio 1 País Socio 2 Beneficiario

Objetivo general

La eficiencia con la cual la inversión se ha convertido en resultados.

Marco Metodológico

www.cooperacioninternacional.gob.ec

En la implementación de la intervención. Análisis de los procesos por los cuales los insumos, acciones, actividades y/o componentes se transforman en resultados; es decir, la medida en que las expectativas y los compromisos –los objetivos establecidos inicialmente– se cumplen de forma satisfactoria.

METODOLOGÍA DE EVALUACIÓN DE LA COOPERACIÓN SUR-SUR

www.cooperacioninternacional.gob.ec

¿Qué se debe contestar?

Dimensión País Socio 1 País Socio 2 Beneficiario ¿Cuál fue el inconveniente que impidió alcanzar los objetivos y qué resultado no previsto se ha identificado?

Objetivo general

Resultados

La continuidad en el futuro de los beneficios derivados del proyecto

¿Qué se debe contestar?

Dimensión País Socio 1 País Socio 2 Beneficiario

Objetivos específicos

Efectos positivos y negativos no previstos inicialmente

Objetivos específicos

Figura 9. Sostenibilidad

Objetivo general

Figura 10. Causalidad y resultados no previstos Marco Metodológico

Es importante considerar la diferencia entre sostenibilidad y sustentabilidad. Son conceptos diferentes que, en muchos casos, se relacionan como sinónimos. Sin embargo, tienen connotaciones distintas. La sostenibilidad hace referencia al mantenimiento en el tiempo de los resultados y/o efectos de una acción, programa o proyecto; se relaciona con un micro ámbito de acción. Por otro lado, la sustentabilidad tiene que ver con el mantenimiento en el tiempo de las condiciones socioeconómicas, ambientales, políticas y/o culturales de una sociedad; es decir, se refiere a la satisfacción de las necesidades de las generaciones actuales sin sacrificar las capacidades y posibilidades de satisfacer las de las generaciones futuras; se relaciona con un macro ámbito de acción.

¿Existen o se ha identificado los posibles actores que reemplacen a quienes gestionaron el programa/proyecto, con al menos la misma capacidad técnica, institucional/organizacional, presupuestal?

Inversión Fuente: JICA. Fecha: 21/01/2010. Elaborado por: GS/DESE/SETECI.

4.5. Herramientas e instrumentos técnicos Las herramientas e instrumentos técnicos son el conjunto de medios, procedimientos, formatos y fichas técnicas que facilitan el levantamiento y análisis de información estratégica, específica y estandarizada.

Resultados Inversión Fuente: JICA. Fecha: 21/01/2010. Elaborado por: GS/DESE/SETECI.

Otros factores: causalidad y efectos no previstos En este caso, se busca determinar cuáles son las diferentes causas que no permiten que se realice el programa/proyecto como fue planificado y en qué magnitud las recomendaciones dadas en los procesos de monitoreo y/o evaluaciones intermedias son acogidas. Adicionalmente, se debe realizar un análisis de los efectos positivos y negativos no previstos inicialmente o de aquellos efectos indirectos que no forman parte objetiva de la intervención.

Para cumplir con el objetivo antes citado, la SETECI ha desarrollado la Ficha técnica de evaluación de Cooperación Sur-Sur, la cual busca levantar información, principalmente cualitativa, sobre una intervención de CSS, siendo la fuente de información la propia entidad técnica ejecutora y dentro de ella todos los actores involucrados (autoridades, técnicos, usuarios finales, beneficiarios, etc.). A continuación, se detallan los ejes de análisis de dicha ficha.

4.5.1. Análisis FODA Para la evaluación de la cooperación técnica, la ficha técnica de evaluación es un documento que permite resumir los aspectos generales de la gestión realizada durante el proceso de CSS, tanto del receptor como del oferente, independientemente de la modalidad de cooperación técnica. Como parte de esta, el análisis FODA es una matriz apropiada para recopilar información y presentarla de manera organizada durante la retroalimentación y para la mejora de los procesos. El análisis FODA es una herramienta que busca establecer las fortalezas, oportunidades, debilidades y amenazas encontradas durante la ejecución de una acción, proyecto u organización. Estos criterios permiten retroalimentar la información que se recopila y utilizarla en la planificación de acciones futuras. Esta herramienta tiene una parte interna relacionada con las fortalezas y las debilidades de la organización, proyecto o actividad; es decir, con los aspectos sobre los que se tiene control en cuanto a disponibilidad, como los recursos. La parte externa, en cambio, considera las oportunidades y amenazas que representa el entorno; es decir, las características del ambiente que determinan el éxito o fracaso del logro de objetivos (Cervera, 2008).

METODOLOGÍA DE EVALUACIÓN DE LA COOPERACIÓN SUR-SUR

•

Amenazas. Situaciones que se presentan en las instituciones donde se llevan a cabo intervenciones de CSS, y que afectan de manera negativa las posibilidades de lograr los objetivos a largo plazo. Asimismo, son aquellas situaciones que arriesgan la continuidad de los beneficios derivados de una intervención. El análisis de este criterio permite prever posibles sucesos desfavorables. Oportunidades. Situaciones que se presentan en el entorno donde se ejecuta la actividad establecida en el marco de la CSS que favorecen el logro de los objetivos planteados, de acuerdo a tiempo y propósitos, así como que se mantengan en el tiempo los beneficios procedentes de una intervención.

•

Debilidades. Características de la institución o de la actividad que constituyen obstáculos para el logro de los objetivos del proyecto, condiciones desfavorables en los países socios de la CSS en comparación a su contraparte.

•

Fortalezas. Características de la institución que facilitan o favorecen el logro de los objetivos planificados. Los puntos fuertes se traducen en actividades, habilidades y aptitudes que le proporcionan las capacidades necesarias para que el proyecto de CSS tenga acogida y sea replicado (Rodríguez, 1998).2

Dentro de la CSS, la estructura de la ficha de evaluación de cooperación técnica que utiliza SETECI considera una división de acuerdo a las fases del ciclo del proyecto, para la primera parte de Fortalezas y Debilidades, que son: identificación, planificación, ejecución y seguimiento. En la segunda parte, “Oportunidades y amenazas”, los aspectos que la conforman no obedecen a una clasificación, ya que estos podrían ocurrir a futuro. En cada parte, se ha propuesto algunos aspectos que se ha considerado pertinentes como directrices de análisis en la evaluación de los proyectos. Cada uno, deberá ser identificado –como fortaleza, debilidad, oportunidad o amenaza, segúan el caso– por la persona que llene la ficha. Adicionalmente, de acuerdo a su percepción, deberá establecer el grado de importancia relativa y clasificarlos según esta sea alta (1), media (2) o baja (3) (ver Anexos). En cada aspecto propuesto, existe un espacio para escribir comentarios, lo que permite obtener información cualitativa adicional, que justifique la calificación establecida en la ficha, y otorgue elementos apropiados para realizar la evaluación del programa, así como la retroalimentación para un continuo fortalecimiento del trabajo.

4.5.2. Marco teórico de evaluación de impacto Evaluación de impacto Se define a un proyecto como un conjunto de inversiones y acciones interrelacionadas y coordinadas que tienen como fin, el cumplimiento de objetivos específicos referentes a la satisfacción de una necesidad o solución de un determinado problema dentro de un período de tiempo establecido. Estas inversiones y acciones generan resultados o productos, los cuales pueden provocar efectos. (Castro, R.; Marie, K., 1996: 106)

A los efectos se los define como los comportamientos o acontecimientos que, de una manera razonable, podría concluirse han sido influidos por alguna actividad del proyecto. El impacto, finalmente, es el resultado de los efectos del proyecto, y generalmente está dado a nivel de objetivos y de mediano plazo, y serán los que determinen el aporte del proyecto al incremento del bienestar3 (Castro y Marie, 1996:106). Figura 11. Visión de la cadena generada por las acciones de un proyecto

Inversión

Acción

Resultado

Efecto

Marco Metodológico

Descripción de los criterios

www.cooperacioninternacional.gob.ec

Impacto

Fuente: Castro y Marie, 1996.

Otros autores consideran que la evaluación de impacto puede realizarse ex ante, mediante simulaciones de los efectos que tendría un proyecto, antes de que este entre en operación, con ello busca establecer elementos de análisis previos a la intervención. (Navarro, King, Ortegón y Pacheco, 2006). En cambio, denominan a la evaluación posterior a las acciones, como evaluación ex post, la cual se la suele realizar al intermedio o al final de la operación de un proyecto, determinando si hubo cambios en el bienestar de la población objetivo, y si su magnitud es atribuible a la intervención (Navarro et al., 2006). En el presente manual de evaluación, cuando se mencione la evaluación de impacto nos referiremos a la evaluación ex post. La evaluación de impacto busca determinar la magnitud, efectividad, eficiencia y sostenibilidad de los efectos generados por la intervención, y para ello será necesario caracterizar los impactos. (Navarro et al., 2006). En esta metodología propuesta para evaluar proyectos de cooperación internacional, se considerará: los impactos sobre el nivel de bienestar, impactos directos sobre el consumo, e impactos sobre el uso de recursos (impacto indirecto sobre el consumo) (Castro y Marie, 1996). En cada caso se denominará a los impactos positivos como beneficios, y a los impactos negativos como costos. Costo de oportunidad El costo de oportunidad de un recurso es el valor del siguiente mejor uso (oportunidad) que se podría obtener de un bien, o sea, el valor de la alternativa sacrificada. El costo de oportunidad mide el “máximo” al que está renunciando un individuo cuando toma una decisión (Mankiw, 2012). En la metodología para la evaluación de impacto de la CSS, se planteará un análisis costo – beneficio, en el que además de considerar los costos administrativos de ambas partes, se buscará medir el costo de oportunidad de haber utilizado esos recursos en CSS, comparado con el escenario de haber contratado esa misma actividad en el mercado de bienes y servicios privado, y con el escenario de no haber invertido esos recursos en el proyecto de cooperación. Como menciona Amartya Sen4 (2012), en el prólogo del libro El costo de la inacción: “Si el mundo es excesivamente complaciente con no hacer cosas que son fáciles de realizar y que tienen grandes beneficios, la razón no puede ser la dificultad de medir los beneficios de las acciones omitidas”. Francisco Mejía (2012), evaluador del BID, señala la importancia de buscar metodologías para medir el costo beneficio: 3 Los autores cuando se refieren a bienestar, lo consideran como socio-económico, es decir consideran como elementos que crean bienestar: el consumo actual y futuro de bienes, servicios y bienes meritorios (bienes de valor social, los que permiten alcanzar estándares mínimos de bienestar social, como por ejemplo: la educación o la salud)

2 La descripción de los criterios del análisis FODA, tomados del libro de Rodríguez, han sido adaptados a la temática de CSS.

4 Amartya Sen ganó el Premio Nobel de Economía en 1998. El Índice de Desarrollo Humano (IDH) del PNUD fue desarrollado en gran parte sobre las ideas desarrolladas en sus investigaciones.

METODOLOGÍA DE EVALUACIÓN DE LA COOPERACIÓN SUR-SUR

donde se suele tratar superficialmente la complejidad de los beneficios perdidos por no haber hecho algo (costo de oportunidad), y la agrupación de beneficios y costos diversos para llegar a una conclusión (mensurabilidad de beneficios). Al no emprenderse algún proyecto, se abandonan sus beneficios potenciales. El análisis costo-beneficio es intrínsecamente un ejercicio de escoger alternativas a partir de las diversas opciones, y una de ellas es no hacer nada. Pero aunque el costo de oportunidad no es el costo de la inacción, sí es importante para entenderlo. Cuando no se hace nada, el sentido común nos dice que no hay costos a ser incurridos ni beneficios a ser cosechados. En el punto diez de la ficha de evaluación de cooperación técnica, de acuerdo a la modalidad de cooperación: asistencia técnica de expertos, intercambio de experiencias, transferencia tecnológica u otra, se establece el detalle de lo recibido o entregado por la institución que forma parte de la cooperación. Además, se determina el costo administrativo (para realizar documentos, metodologías, manuales, talleres, cursos, seminarios, pasantías, etc.), y el costo de oportunidad, de acuerdo a la metodología. Análisis costo-beneficio

En el caso del análisis de proyectos de cooperación internacional, se debe utilizar una tasa social de descuento, la cual considera los efectos de un proyecto en individuos de generaciones distintas. Es decir, se analiza la distribución intergeneracional de la renta o el bienestar. Es posible que los costos de las actividades recaigan en una generación y los beneficios, en las generaciones futuras (Stiglitz, 2000). Generalmente, en los proyectos de CSS los beneficios suelen ser limitados geográficamente. Es necesario considerar este criterio en el momento de sistematizar la información obtenida ya que, eventualmente, el procedimiento incluiría pesos distributivos sociales (Stiglitz, 2000). En términos matemáticos, el análisis costo-beneficio se define de la siguiente manera: CB =

Marco Metodológico

www.cooperacioninternacional.gob.ec

(∑ ni=1 Bt ) (∑ ni=1 Ct )

Variables: CB = costo-beneficio n

∑ Bt = sumatoria de beneficios sociales netos considerando sus tasas de descuento

(i=1)

La base del análisis costo beneficio, establece que un proyecto tiene impacto positivo si los beneficios de los actores son mayores a sus costos, siempre y cuando, potencialmente los beneficios compensen los costos a nivel agregado, es decir que el escenario con proyecto será mejor al escenario antes del proyecto.

∑ Bt =

(i=1)

De acuerdo al Banco Mundial, este análisis no está relacionado estrictamente con la medición de efectos, no obstante esta herramienta permite medir la eficiencia de los programas comparando intervenciones alternativas sobre la base del costo de producir un resultado determinado, es decir aumenta las implicaciones de la política de la evaluación (Baker, 2000), y por tanto aportaría mucho si fuere considerado en el estudio. Cuando se analiza proyectos sociales, la rentabilidad social tendrá dos elementos diferentes a los que se considera en la rentabilidad privada. En primer lugar, al Estado le interesa generar efectos que tengan consecuencias relativas al bienestar de la sociedad. Y como segundo criterio de importancia, deberá considerar precios de mercado para su valoración, y en caso de que no existieran, deberá considerarse otros métodos para estimar estos valores (Stiglitz, 2000). La propuesta metodológica considerará una tasa de descuento (valor de descuento) cuando el proyecto tenga la información necesaria para poder establecerla. En la evaluación de proyectos privados, al considerar ingresos y gastos futuros, se utiliza la tasa de interés (r) para equiparar a los valores actuales. El factor de descuento es menor cuanto más tiempo se tarda en obtener el beneficio.

Tasa de = descuento

1 (1+r)

B1 B2 B3 Bn + + + ... + (1+r)1 (1+r)2 (1+r)3 (1+r)n

∑ Ct = sumatoria de costos sociales netos considerando sus tasas de descuento

(i=1)

∑ Ct =

(i=1)

C1 C2 C3 Cn + + + ... + (1+r)1 (1+r)2 (1+r)3 (1+r)n

Si CB > 1, el impacto será positivo. Implica que los beneficios superan a los costos. Si CB < 1, el impacto será negativo. Es decir, los costos incurridos superan a los beneficios. Si CB = 1, no habrá impacto. Los costos y beneficios son de igual magnitud. En el primer caso, denotará que fue socialmente deseable la realización de la cooperación Sur-Sur, en el segundo y tercer caso, la sociedad perdió esos recursos, y su costo de oportunidad es alto. Pues los pudo haber invertido en otra actividad con mejor retorno social. En el cálculo de los costos y beneficios netos, se incluirá al costo de oportunidad, donde se buscará calcular el beneficio o costo que se hubiera generado si se hubiera usado esos recursos en otra actividad diferente a la realización del proyecto de CSS. Dentro de los costos se considerarán todos los costos administrativos en que se incurre al realizar la cooperación sur – sur, como por ejemplo: pasajes aéreos, traslados, subsistencias, alimentación, pago de consultorías, pago de servicios, donaciones en especie.

METODOLOGÍA DE EVALUACIÓN DE LA COOPERACIÓN SUR-SUR

•

Si la modalidad de la cooperación técnica fuera Fortalecimiento del Talento Huma-

no. Asesorías de expertos, prestación de servicios de consultoría, realización de seminarios y conferencias, que apoye a la ejecución de proyectos. El país A envía a dos funcionarios/as a capacitarse por un mes en el país B, con costos reales de alrededor de $ 3 000, que contemplan pasajes, viáticos, hospedaje, lugar del taller, materiales, entre otros. Costo administrativo de $ 3 000. Para valorar el costo de oportunidad, deberá considerarse el uso del tiempo que al Estado le cuesta, es decir el salario que reciben los dos funcionarios. Si el primero tuviera un salario mensual de $ 2.100 y el otro de $ 1.650, por los dos, el Estado está sacrificando $ 3 750 de sus recursos invertidos en el trabajo de estos funcionarios. Este es un costo de oportunidad, pues de este tiempo destinado a capacitarse, el siguiente mejor uso que se le podía dar era que cumplan sus funciones habituales de trabajo, por lo que el Estado deja de percibir su servicio laboral por ese lapso de tiempo, un beneficio no recibido

de $ 3 750.

•

Si se hubiera contratado la capacitación de manera privada en algún instituto de educación de otro país, por cada funcionario habría costado $ 2 000, en total $ 4 000 por los dos funcionarios, incluidos hospedajes y pasajes aéreos. De manera que comparado con los $ 3.000 gastados (ya considerados en los costos administrativos) habría existido un ahorro de $ 1.000 para el estado en el costo de capacitar a dos funcionarios, versus el costo actual. Que considerando la necesidad de capacitación, hubiera sido la siguiente mejor opción (costo de oportunidad) para usar esos recursos. Es un costo no incu-

rrido de $ 1 000.

•

Por otro lado, al ser capacitados este par de funcionarios, ellos pueden replicar el conocimiento en su institución. Y si consideramos que entre los dos funcionarios, repliquen la capacitación recibida, a 10 personas, cada 6 meses. En el año, 20 personas podrían recibir el conocimiento que de la capacitación original. Si consideramos que el curso contratado de manera privada (costo de oportunidad) cuesta $ 500 (sin viajes ni hospedaje), el Estado ahorraría $ 10 000, pues sería un costo no incurrido.

• Ahora, como se busca realizar un análisis costo beneficio, que acoja todo el conjunto de oportunidades, buscando optimizar el uso de los recursos, deberá considerarse el sacrificio de algunas opciones por conseguir otras, es decir, consideraremos los costos de oportunidad. Mediante la premisa de que un beneficio no recibido es un costo,

y un costo no incurrido es un beneficio; el costo beneficio se calculará de la siguiente manera: n

∑ Bt =

(i=1)

∑ Ct =

(i=1)

1000 10000 + (1+0)1 (1+0)2

Marco Metodológico

Un ejemplo sencillo del cálculo, sería:

www.cooperacioninternacional.gob.ec

3000 3750 + =6750 (1+0)1 (1+0)2

CB=

∑ Bt

(i=1) n

∑ Ct

11000 =1,63 6750

(i=1)

Como CB > 1, el impacto será positivo para el país A. Implica que los beneficios superan a los costos. Con esta metodología se pretende realizar una medición de impacto que contemple el costo de oportunidad del uso de los recursos por parte de los países cooperantes, procurando superar la complejidad que implica medir los beneficios perdidos y la mensurabilidad de los mismos.

4.5.3. Análisis de resultados y productos alcanzados El análisis de resultados y productos alcanzados en una intervención de CSS tiene que ver con el criterio de eficacia e implica comparar lo planificado y lo efectivamente logrado. Para esto, lo ideal es contar con indicadores o metas de gestión que permitan valorar este aspecto; sin embargo, de no ser el caso, se debe indagar sobre la base del objetivo planteado, a nivel general, y sobre los objetivos, a nivel específico.

• Para el cálculo del análisis costo beneficio, en primer lugar deberíamos establecer la tasa de descuento (r), en este caso por ser un ejemplo que requiere sencillez, y por no existir en los datos planteados la información necesaria para establecer los tiempos de retorno ni el plazo, consideraremos que r = 0. De esta manera el denominador siempre será 1, y solamente deberemos sumar los beneficios y restar los costos. En los casos de CSS donde existiere la información necesaria para establecer una tasa de descuento, se la incluirá en el cálculo.

La importancia de contar con todas las versiones del documento de diseño de la intervención permite valorar los cambios que se han dado sobre la marcha, los cuales también representan un aspecto que se debe analizar, ya que evidencian una falta de claridad al definir los objetivos e indicadores y se tuvo que ir corrigiendo a medida que se avanzaba en la implementación.

• Si solo se consideraría los costos administrativos asumidos por el país A, el valor final del análisis costo-beneficio sería negativo, lo cual realmente no considera todos los beneficios asociados.

4.5.4. Análisis de complementariedad y apropiación

Este análisis se realiza a partir de la información levantada por el ejecutor y validada con documentación de respaldo (informes, actas, oficios, etc.) en una escala de 0% a 100%.

La percepción de los actores involucrados sobre el nivel de complementariedad y apropiación de cada intervención de CSS se mide en un baremo de 0 a 5, en el que 0 representa el valor más bajo y 5, el más alto.

METODOLOGÍA DE EVALUACIÓN DE LA COOPERACIÓN SUR-SUR

•

Complementariedad a las políticas públicas nacionales. Con el fin de medir el grado en el que la intervención complementa políticas públicas de cada país, las entidades ejecutoras, conocedoras de las prioridades nacionales en el sector que corresponda, las cuales son plasmadas en los documentos de planificación nacional, expresan su percepción. En el caso del Ecuador, estas prioridades se concretan en el Plan Nacional de Desarrollo o PNBV y en las estrategias nacionales que lo conforman. Complementariedad a la planificación institucional. Se mide el grado en que la intervención complementa las prioridades de la institución ejecutora, lo cual necesariamente se refleja en aspectos como la definición formal de un programa/proyecto/acción con responsables identificados, la asignación de presupuesto para cumplir con los compromisos y actividades acordadas, la inclusión en el sistema de seguimiento y monitoreo institucional. En otras palabras, el nivel de inserción de la intervención en la dinámica de la institución permite valorarla como complementaria. Apropiación. Es el grado de asimilación o incorporación de los beneficios o logros derivados de una intervención, que se traduce en el fortalecimiento de las capacidades profesionales de los involucrados o de las capacidades institucionales. Para esto, se miden aspectos como la optimización del desempeño laboral, el incremento de la eficiencia en los procesos institucionales, la formalización de mejoras en ámbitos relacionados con la intervención y, en general, la institucionalización de los beneficios por medio de modelos de gestión, procesos, manuales, metodologías, políticas internas, normativas, resoluciones, actas, comités, etc.

Este punto es especialmente importante a la luz de la problemática de rotación de personal en las instituciones, cuyos efectos negativos deben minimizarse.

4.5.5. Análisis de sostenibilidad y replicabilidad Para analizar la sostenibilidad de los beneficios derivados de las intervenciones de CSS, es importante contar con una base de posibles acciones o estrategias que coadyuven a este fin. A partir de la experiencia de la Dirección de monitoreo y evaluación de la SETECI en años previos, se ha identificado estrategias relacionadas con la transferencia de conocimientos, el mejoramiento de procesos, acciones de sistematización de experiencias, el aseguramiento de la continuidad por medio de una inserción en los planes, equipos y presupuestos institucionales, las cuales son uno de los principales mecanismos para sostener los beneficios de este tipo de intervención. Todo lo anterior es viable en un contexto político favorable que fomente las relaciones bilaterales entre dos o más países socios que decanta en un compromiso técnico que permite operativizar exitosamente cualquier acción de CSS.

experiencias que merezcan ser compartidas, para convertirse en una ventana de posibilidades para exportar conocimiento en el marco de una cooperación solidaria.

4.6. Equipo de trabajo requerido Para llevar a cabo el proceso de evaluación de la CSS, es necesario contar con un equipo técnico experimentado y multidisciplinario que forme parte de la unidad de monitoreo y evaluación, así como el apoyo logístico y administrativo de las unidades de apoyo. En base a la experiencia de trabajo de la SETECI en los últimos años, se ha identificado el equipo mínimo requerido para la evaluación:

Marco Metodológico

•

www.cooperacioninternacional.gob.ec

Tabla 2. Equipo mínimo requerido - Ecuador

Equipo técnico Coordinador

Perfil Director/coordinador del proceso de monitoreo y evaluación

Analista

Analista de procesos de monitoreo y evaluación

Apoyo logístico

Asistente de procesos de monitoreo y evaluación

Función

Costo/día

Organizar y liderar la evaluación

$ 80

Levantamiento y análisis de información, elaboración de informes Apoyo logístico en la organización de las actividades de evaluación a las entidades a ser analizadas.

$ 48

$ 20

Fuente: SETECI, (2015). Elaborado por: CF/DMECI/SETECI.

En esta tabla, se observa que, para el Ecuador, el equipo mínimo requerido para un proceso de evaluación de la CSS es de dos personas a nivel técnico (de la unidad responsable de Monitoreo y Evaluación) y 1 a nivel logístico para organización de las actividades. Por otra parte, el equipo del país socio puede o no ser equivalente al del Ecuador, dependiendo de las condiciones específicas y preferencias del país; sin embargo, es importante que en todos los casos exista al menos una persona de la contraparte con un perfil de monitoreo y evaluación.

Adicionalmente, el tema de replicabilidad de una intervención de CSS, por lo general hacia terceros países, lo cual también constituye una oportunidad para potenciar la cooperación triangular. La replicabilidad implica que la entidad ejecutora de una buena práctica comparta su experiencia exitosa de forma metódica y sistemática sobre la base de un compromiso político y técnico y la disponibilidad de recursos y tiempo. Para coadyuvar a este propósito, la SETECI construye una plataforma informática para sistematizar experiencias exitosas de CSS, la cual busca que las instituciones públicas del Ecuador expongan

Lecciones Aprendidas

www.cooperacioninternacional.gob.ec

5. LECCIONES APRENDIDAS Y RETOS A FUTURO

esde 2013 hasta la fecha, la SETECI ha aprendido de cada proceso de evaluación de los programas bilaterales de CSS y ha incorporado ese aprendizaje a la metodología, instrumentos y herramientas aplicadas. Cabe indicar que estos elementos se basan en la retroalimentación de los demás países así como de las entidades ejecutoras evaluadas, las cuales han brindado sugerencias y aportado valiosos comentarios sobre la funcionalidad y practicidad del proceso. A continuación, se resumen las principales lecciones aprendidas a lo largo de estos años, las cuales constituyen retos a futuro: 1. La evaluación debe ser planificada desde la negociación del programa bilateral, de forma que se contemplen compromisos de ambos países que luego deberán ser cumplidos; de esta manera, se formalizará estos procesos como parte inherente del ciclo eficiente de la CSS. a. En dicha planificación, se definen elementos esenciales como la periodicidad de los ejercicios (por ejemplo, intermedia, final) o si será una evaluación conjunta o paralela de cada país, y qué entidades de cada país socio liderará el proceso. b. Los demás elementos de la evaluación, como la metodología, instrumentos, herramientas, equipo de trabajo en cada país, hoja de ruta, etc., se definen sobre la marcha a partir de reuniones técnicas por video/teleconferencia.

2. Una vez que se ha definido los macro elementos del proceso, es importante considerar el tiempo de preparación y de ejecución de la evaluación, ya que lo ideal es aplicar un proceso consensuado, lo que implica tiempos mayores que los destinados a un proceso de evaluación individual o de un solo país. La hoja de ruta debe marcar tiempos de holgura e hitos por cumplirse. 3. Si los países deciden llevar a cabo una evaluación de manera individual y aplicar sus propios instrumentos, es decir, una evaluación paralela, es importante establecer criterios mínimos, preguntas clave de evaluación de interés común y acuerdos básicos sobre el objetivo y alcance del proceso, con el fin de obtener resultados relevantes para ambos países socios. 4. Las agencias de cooperación juegan un rol fundamental en los procesos de evaluación ya que los lideran como entidades articuladoras en cada país, tanto con los organismos rectores de política exterior involucrados (cancillería, presidencia), como con las entidades técnicas responsables de la ejecución técnica e implementación de las intervenciones (ministerios, secretarías, institutos, etc.). 5. El rol de cada agencia de cooperación constituye un reto para cada una, ya que la unidad que lleva la relación bilateral debe participar (negociación/planificación) como un actor plenamente diferenciado de la unidad de evaluación, de forma que se garantice la objetividad e independencia del proceso. 6. Es necesario coordinar acciones con todos los actores involucrados en ambos países, los cuales incluyen las agencias de cooperación, las entidades ejecutoras, los beneficiarios y, de ser posible, las entidades rectoras de política exterior de cada país.

www.cooperacioninternacional.gob.ec

13. Como en toda evaluación, el análisis e interpretación de la información levantada debe ser un proceso transparente y debidamente respaldado/validado/contrastado, para evitar sesgos en las interpretaciones. Para esto se debe contar con evidencias, con el fin de minimizar la subjetividad. Este es un gran reto cuando se trata de dos o más países y múltiples ejecutores involucrados, pero es fundamental para lograr un proceso de alta calidad. 14. La elaboración del informe de evaluación debe ser un proceso en el que los países socios acuerden temas formales como la estructura, extensión, etc.; pero, sobre todo, implica llegar a conclusiones y recomendaciones basadas en un esfuerzo consciente de las partes por reflejar aquello que cuenta con una debida validación. Esto requier que se dedique el tiempo necesario en una o varias sesiones de diálogo analítico y crítico.

Lecciones Aprendidas

METODOLOGÍA DE EVALUACIÓN DE LA COOPERACIÓN SUR-SUR

15. Durante una evaluación, los países socios deben hacer un esfuerzo adicional para relevar y visibilizar los beneficios de la CSS, más allá de la inversión o costos asociados. Para esto, deben enfatizar en aquellos aspectos que, además de fortalecer a las entidades ejecutoras técnicas, fortalecen las relaciones bilaterales en un marco más amplio, en un sector determinado como, por ejemplo, justicia, derechos humanos, medio ambiente, etc.

7. Es importante configurar un equipo multidisciplinario y complementario en ambos países, para minimizar sesgos ideológicos, políticos y/o técnicos durante la evaluación. 8. Se debe utilizar un lenguaje comprensible para todos los agentes involucrados; un lenguaje netamente técnico puede perjudicar el desenvolvimiento óptimo de las entidades involucradas en la evaluación. 9. Se ha tenido mejores resultados cuando se llevan a cabo procesos evaluación conjunta, aunque estos tarden más que los procesos individuales (de un solo país) o paralelos (de los países socios, por separado). 10. Es importante mantener actualizada la información del seguimiento que efectúan las unidades o áreas de negociación de la CSS en cada Agencia de Cooperación, como insumo fundamental para los procesos de evaluación. 11. Es indispensable socializar los hallazgos y/o resultados del proceso evaluativo con el fin de garantizar la credibilidad y legitimidad de las acciones implementadas. 12. En la medida de lo posible, los países socios deben trabajar en una metodología consensuada; sin embargo, no hacerlo no significa que no se pueda avanzar con el proceso de evaluación, siempre y cuando, se acuerden parámetros determinados o criterios mínimos sobre cómo cada país desarrollará el proceso.

Conclusiones

www.cooperacioninternacional.gob.ec

6. CONCLUSIONES

En base a lo mencionado a lo largo de este documento se concluye lo siguiente: •

Para el Ecuador, la CSS es una nueva expresión de cooperación internacional que surge de la solidaridad y afinidad de los pueblos y los países del Sur, que busca el intercambio de conocimientos y experiencias en un marco de colaboración y respeto a la soberanía de los pueblos, según principios de horizontalidad, consenso y equidad.

•

Evaluar la CSS implica un ejercicio de valoración de dos aspectos fundamentales: i) el de la relación país-país que se gesta en los compromisos establecidos en el marco de un acuerdo internacional en que se plasman las distintas modalidades antes señaladas, y ii) las intervenciones llevadas a cabo mediante programas, proyectos o acciones, los cuales, a su vez, son acciones preparatorias o acciones puntuales.

•

En el Ecuador, son susceptibles de evaluación por resultados o de impacto, todas las intervenciones de CINR, en general, y de CSS, en particular, de conformidad con lo que establece el COPLAFIP y los Decretos Ejecutivos N° 699 (2007), N° 429 (2010), N° 812 (2011), N° 16 (2013) y N°739 (2015).

•

La evaluación de la CSS atiende los siguientes objetivos principales: potenciar las relaciones bilaterales entre países socios, visibilizar el aprendizaje mutuo entre países y rendir cuentas.

METODOLOGÍA DE EVALUACIÓN DE LA COOPERACIÓN SUR-SUR

La SETECI realiza la evaluación de la CSS según principios de horizontalidad, equidad, consenso, respeto/solidaridad e intercambio ético, los cuales se traducen en criterios de pertinencia/coherencia/relevancia, complementariedad, eficacia, eficiencia, sostenibilidad, costos compartidos y aprendizaje mutuo.

•

La SETECI aplica un método no experimental de análisis para la evaluación, lo que arroja datos cualitativos y cuantitativos de la intervención de la CSS.

•

Tanto las entidades ejecutoras ecuatorianas como las del país socio tienen un doble rol. Por un lado, las personas o unidades de dichas entidades son responsables de la planificación/cooperación internacional/relaciones internacionales/CSS, por lo que cumplen un rol de puntos focales/contrapartes de la SETECI y de la agencia de cooperación de cada país, durante las etapas de identificación, formulación, negociación y acompañamiento a la ejecución. Por otra parte, el personal o unidades netamente técnicas llevan a cabo las acciones y compromisos acordados; se encargan exclusivamente de la ejecución de intervenciones.

Mejía, F. (2012). El costo de la inacción. Namakforoosh, M. N. (2005). Metodología de la investigación (2ª Ed.). México: Limusa. Navarro, H., King, K., Ortegón, E. y Pacheco, J. (2006). Pauta metodológica de evaluación de impacto ex-ante y ex-post de programas sociales de lucha contra la pobreza. Chile: Instituto Latinoamericano y del Caribe de Planificación Económica y Social (ILPES) de CEPAL.

Bibliografía

•

www.cooperacioninternacional.gob.ec

Presidencia de la República del Ecuador. (2007). Decreto Ejecutivo 699. Quito. Rodríguez, J. (1998). Cómo aplicar la planeación estratégica a la pequeña y mediana empresa. México: Editorial ECAFSA. Rosero, G. (2015). Presentación. En: Informe de Cooperación Internacional no Reembolsable en el Ecuador 2011-2014. Quito: SETECI. Salkind, N. J. (1998). Métodos de investigación. México: Prentice Hall. Stiglitz, J. (2000). La economía del sector público. Barcelona: Antoni Bosch Editor.

7. BIBLIOGRAFÍA

Agencia de Cooperación Internacional del Japón (JICA). (2004). Lineamientos de la JICA para la evaluación de proyectos: métodos prácticos para la evaluación de proyectos. Secretaría Técnica De Cooperación Internacional (SETECI). (2014). Manual de evaluación por resultados de programas y proyectos de Cooperación Internacional No Reembolsable.

Arboleda Velez, G. (1998). Proyectos: formulación, evaluación y control. Cali: AC Editores.

SETECI. (2015). Diccionario de Cooperación Internacional. Quito: SETECI.

Asamblea General de las Naciones Unidas. (2009). Resolución 64/222. [Documento final de Nairobi de la Conferencia de Alto Nivel de las Naciones Unidas sobre la Cooperación Sur-Sur]. Nueva York.

Programa Iberoamericano de Fortalecimiento de la Cooperación Sur-Sur (PIFCSS). (2014). La conceptualización de la Cooperación Triangular en el espacio Iberoamericano. Montevideo: SEGIB.

Asamblea Nacional de la República del Ecuador. (2010). Código Orgánico de Planificación y Finanzas Públicas. Quito.

PIFCSS. (2013). Generando indicadores para la Cooperación Sur-Sur. [Documento de trabajo Nº 4].

Ayllón, B. (2013). La Cooperación Sur-Sur y Triangular: ¿subversión o adaptación de la cooperación internacional? Quito: Editorial IAEN.

PIFCSS. (2014). Cronología e historia de la Cooperación Sur-Sur. Un aporte desde Iberoamérica. [Documento de trabajo Nº 5].

Baker, J. (2000). Evaluación del impacto de los proyectos de desarrollo en la pobreza. Estados Unidos: Banco Mundial.

Organización de las Naciones Unidas (ONU). (2014). Tercera Conferencia Internacional sobre la Financiación para el Desarrollo: agenda de acción de Addis Abeba. [Documento final].

Castro, R. y Marie, K. (1996). Evaluación económica y social de proyectos de inversión. Bogotá: Universidad de los Andes. Cervera, M. (2008). FODA: un enfoque prospectivo. [Documento de trabajo 9]. México: Universidad Nacional Autónoma de México. Guanziroli, C., Buainain, A. y Meirelles de Sousa, H. (2008). Informe técnico: metodología de evaluación del impacto y de los resultados de los proyectos de cooperación técnica. Brasil: IICA. Mankiw, G. (2012). Principios de Economía. México: Cengage Learning Editores.

Anexos

www.cooperacioninternacional.gob.ec

8. ANEXOS

8.1 Ficha de evaluación de cooperación técnica FICHA DE EVALUACIÓN - COOPERACIÓN TÉCNICA

ENTREVISTA SEMI-ESTRUCTURADA 1) PAÍSES INVOLUCRADOS: 1.1.PAÍS AL QUE PERTENECE SU INSTITUCIÓN: 1.2.PAÍS SOCIO/CONTRAPARTE: 2) NOMBRE INSTITUCIÓN CONTRAPARTE/EJECUTORA DEL PAÍS SOCIO: 3) NOMBRE DE LA INTERVENCIÓN (PROGRAMA/PROYECTO/ACCIÓN): 4) SECTOR DE INTERVENCIÓN: 5) DATOS DE LA INSTITUCIÓN EJECUTORA Y DEL(A) ENTREVISTADO(A) Nombre institución:

Tipo de institución ejecutora (Gobierno Central, Gobierno Autónomo, etc):

Dirección:

Teléfono:

Ciudad:

Nombre del entrevistado:

email:

Cargo:

Área:

METODOLOGÍA DE EVALUACIÓN DE LA COOPERACIÓN SUR-SUR

6) DATOS GENERALES DEL PROYECTO: Objetivo general:

Objetivos específicos:

Fecha de inicio según planificación inicial:

Fecha de inicio según arranque de actividades:

7) DESCRIBA LOS RESULTADOS/PRODUCTOS ALCANZADOS. SEÑALE CON UNA “X” EL NIVEL DE CUMPLIMIENTO En esta sección se debe indicar lo planificado versus lo alcanzado, haciendo referencia al documento de diseño de la intervención, el cual debe contener los resultados planificados (llamados también componentes/productos/actividades) con indicadores objetivamente verificables y metas de gestión; por ejemplo, número de talleres, de funcionarios por taller, de documentos metodológicos, de visitas de intercambio de experiencias, etc. En la columna “Medios de verificación”, se solicita indicar el documento de respaldo que evidencie el logro de cada resultado; por ejemplo, actas de taller, ayudas memoria, documentos metodológicos, listas de participantes, oficios, etc.

Resultados/ productos esperados

Si existieron demoras, indique los motivos:

Fecha de finalización, según planificación inicial:

Fecha de finalización de acuerdo a prórrogas aprobadas:

Si existieron prórrogas, indique los motivos:

Ubicación geográfica del proyecto:

Provincia(s) Cantón(es) Parroquia(s) Planificado:

Resultados/ productos alcanzados

Nivel de cumplimiento

Medios de verificación

76-100% 51-75%

Anexos

www.cooperacioninternacional.gob.ec

26-50%

0-25%

Real:

Número de beneficiarios (indicar tipo: personas o instituciones) Planificado:

Real:

Planificado:

Real:

Inversión ecuatoriana ($)

Inversión internacional ($) • Nota: Incluir actividades en caso de ser necesario

METODOLOGÍA DE EVALUACIÓN DE LA COOPERACIÓN SUR-SUR

Anexos

www.cooperacioninternacional.gob.ec

8) MARQUE CON UNA “X” LOS ASPECTOS DEL ANÁLISIS FODA

F D

ASPECTO

Eficiencia en costos y gastos Eficiencia en tiempos

Baja (3)

Media (2)

Fortalezas: características o situaciones que facilitan o favorecen el logro de los objetivos planificados. Puntos fuertes que se traducen en actividades, habilidades y aptitudes que le proporcionan las capacidades necesarias para que tenga un efecto de acogimiento y réplica del proyecto de CSS. Debilidades: características o situaciones que constituyen obstáculos para el logro de los objetivos del proyecto o intervención.

Alta (1)

GRADO DE IMPORTANCIA DEL ASPECTO

FORTALEZAS Y DEBILIDADES

FASES

Profesionalismo de la contraparte

Comunicación con entidad contraparte

COMENTARIOS

Carga adicional de trabajo

Pertinencia/relevancia de la intervención para las entidades Identificación

Identificación clara del objetivo general

Ejecución

Innovación

Participación de actores clave en la identificación

Planificación

Cordialidad

Coordinación/comunicación en la etapa de formulación agencia de cooperación

Metodología de trabajo

Horizontalidad/Consenso con contraparte técnica

Trabajo en equipo

Coherencia del diseño de la intervención (objetivo general hasta resultados) Coordinación/comunicación en la etapa de negociación agencia de cooperación Coordinación/comunicación en la etapa de aprobación agencia de cooperación Claridad sobre mecanismos de implementación - agencia de cooperación Claridad sobre el esquema de costos/gastos - agencia de cooperación

Mecanismos de transferencia de conocimientos Fortalecimiento y/o formación del talento humano Tiempo de duración de la cooperación técnica (mayor/ menor) Seguimiento

Mecanismos de seguimiento (de la propia entidad) Mecanismos de seguimiento (agencia de cooperación)

METODOLOGÍA DE EVALUACIÓN DE LA COOPERACIÓN SUR-SUR

Anexos

www.cooperacioninternacional.gob.ec

ASPECTO

Baja (3)

Media (2)

Oportunidades: situaciones que se presentan en el entorno donde se ejecuta la actividad establecida en el marco de la CSS que favorecen el logro de los objetivos planteados, de acuerdo a tiempo y propósitos, así como que se mantengan en el tiempo los beneficios procedentes de una intervención. Amenazas: situaciones que se presentan en las instituciones donde se llevan a cabo intervenciones de CSS, y que afectan de manera negativa las posibilidades de lograr los objetivos a largo plazo. Asimismo, son aquellas situaciones que arriesgan la continuidad de los beneficios derivados de una intervención. El análisis de este criterio permite prever posibles sucesos desfavorables.

GRADO DE IMPORTANCIA DEL ASPECTO

Alta (1)

OPORTUNIDADES Y AMENAZAS

9) ¿QUÉ MODALIDADES DE COOPERACIÓN TÉCNICA APLICÓ SU INSTITUCIÓN? SEÑALE CON UNA “X”. # Modalidad de cooperación.

Asistencia técnica de expertos (se refiere a los servicios suministrados por expertos con el objetivo de transferir sus conocimientos especializados. Esta modalidad se puede concretar a través del envío de expertos entre países socios o a través de la contratación de estudios y/o consultorías especializadas para la generación de productos específicos previamente acordados.)

Intercambio de experiencias (se refiere a todo evento en que se presente las experiencias ecuatorianas y se conozca la experiencia de otros países. Se concreta por medio de pasantías o intercambios de servidores públicos de países socios, o seminarios y eventos internacionales).

Transferencia tecnológica (se refiere al mecanismo de transferencia de capacidades entre países para la aplicación y réplica con fines de desarrollo).

Otras (indique cuál):

COMENTARIOS

Segunda fase de intervención Nuevos aliados además de la contraparte Nuevas acciones con la contraparte Apoyo político Apoyo institucional (inserción en la planificación) Apoyo institucional (inserción en los presupuestos) Apoyo técnico (disponibilidad y voluntad) Convenios interinstitucionales Otros compromisos adquiridos Cambio de autoridades Cambio de personal técnico Cambios institucionales Otros

METODOLOGÍA DE EVALUACIÓN DE LA COOPERACIÓN SUR-SUR

10) SEGÚN LAS MODALIDADES DE COOPERACIÓN SEÑALADAS EN EL PUNTO 9, DETALLAR LO RECIBIDO Y ENTREGADO POR SU INSTITUCIÓN, SEGÚN LA DEFINICIÓN DE CADA MODALIDAD

Asistencia técnica de expertos

Intercambio de experiencias

Transferencia tecnológica

Otros

# beneficiarios

Costo de oportunidad

¿Qué entregó la institución? Según la modalidad ver cuadro numeral N° 9 (Expertos del país socio, productos de estudios y/o consultorías, pasantías, etc.)

Costo administrativo

# beneficiarios

Costo de oportunidad

Modalidad de cooperación

¿Qué recibió la institución? Según la modalidad ver cuadro numeral N° 9 (Expertos del país socio, productos de estudios y/o consultorías, pasantías, etc.)

Costo administrativo

(P. ej.: Documentos, metodologías, manuales talleres, cursos, seminarios, pasantías, etc. El Costo Administrativo incluye pasajes, viáticos, movilización, talleres, etc., y el Costo de Oportunidad, es aquel en que hubiera incurrido la institución para obtener lo recibido del país socio por fuera del proyecto de Cooperación Sur Sur. Un ejemplo de ello es: Sí se recibe un experto del país socio para que dé un seminario a un grupo de funcionarios públicos; cuánto habría costado traer ese mismo nivel de experto por fuera del proyecto y pagarle honorarios?

11) ¿CUÁL ES EL GRADO DE COMPLEMENTARIEDAD DE LA INTERVENCIÓN A LAS POLÍTICAS PÚBLICAS NACIONALES? Esta pregunta busca medir el grado en el que la intervención complementa esfuerzos que son política pública de cada país, según cuáles son las prioridades nacionales en el sector que corresponda, y que se plasman en los documentos de Planificación Nacional. Calificación Detalle

Muy alta (5)

Alta (4)

Media (3)

Baja (2)

Muy baja (1)

Nula (0)

Anexos

www.cooperacioninternacional.gob.ec

Indique qué política pública es complementada por la intervención.

12) ¿CUÁL ES EL NIVEL DE COMPLEMENTARIEDAD DE LA INTERVENCIÓN A LA PLANIFICACIÓN DE SU INSTITUCIÓN? Esta pregunta busca medir el grado en que la intervención complementa las prioridades de la institución ejecutora, lo que necesariamente se refleja en aspectos como la definición formal de un programa/proyecto/ acción con responsables identificados, la asignación de presupuesto para cumplir con los compromisos y actividades acordadas, y la inclusión en el sistema de seguimiento y monitoreo institucional. En otras palabras, el nivel de inserción de la intervención en la dinámica de la institución permite valorarla como complementaria. Calificación Detalle

Muy alta (5)

Alta (4)

Media (3)

Baja (2)

Muy baja (1)

Nula (0)

Indique a qué estrategia/programa/proyecto de su institución complementa su intervención.

13) ¿EN QUÉ NIVEL SU INSTITUCIÓN HA INCORPORADO EN SU GESTIÓN LABORAL, Y/O ASIMILADO COMO FORTALECIMIENTO DE SUS CAPACIDADES PROFESIONALES, LOS CONOCIMIENTOS COMPARTIDOS DURANTE LA INTERVENCIÓN? Esta pregunta busca medir el grado de asimilación o incorporación de los beneficios o logros derivados de una intervención que se traduce en el fortalecimiento de las capacidades profesionales de los involucrados o de las capacidades institucionales. Para esto, se valoran elementos como la optimización del desempeño laboral, el incremento de la eficiencia en los procesos institucionales, la formalización de mejoras en el ámbito relacionado a la intervención y, en general la institucionalización de los beneficios mediante modelos de gestión, de procesos, manuales, metodologías, políticas internas, normativas, resoluciones, actas, comités, etc. Calificación Detalle

Muy alta (5)

Alta (4)

Media (3)

Baja (2)

Muy baja (1)

Nula (0)

Indique las evidencias de la apropiación de los conocimientos compartidos por parte de su institución.

METODOLOGÍA DE EVALUACIÓN DE LA COOPERACIÓN SUR-SUR

Anexos

www.cooperacioninternacional.gob.ec

14) ¿QUÉ ESTRATEGIAS SE HA CONSIDERADO PARA QUE LOS RESULTADOS DE LA INTERVENCIÓN, AL INTERIOR DE SU INSTITUCIÓN, SEAN SOSTENIBLES? Estrategias de sostenibilidad

Marque con una X

Transferencia de conocimientos

Continuidad de acciones con la contraparte

Procesos de capacitación

Mejoramiento de procesos

Apoyo/creación de política pública

Apoyo/creación de modelos de gestión

Apoyo/creación de estrategias, procesos y metodologías Sistematización de la intervención

Publicaciones y material informativo

Material didáctico

Detalle y medios de verificación

16) ¿CUÁL ES SU OPINIÓN GENERAL TIENE DE LA COOPERACIÓN TÉCNICA COMPARTIDA? Indicar su percepción global del proyecto de CSS Calificación Comentarios

Excelente (5)

Muy buena (4)

Buena (3)

Regular (2)

Indiferente/ irrelevante (1)

No adecuada (0)

17) RECOMENDACIONES/OBSERVACIONES

Aseguramiento de la continuidad de los beneficios de la intervención Aseguramiento de la continuidad a nivel de planificación institucional Aseguramiento de la continuidad a nivel a nivel técnico (disponibilidad de técnicos) Aseguramiento de la continuidad a nivel presupuestario Otras (indicar cuáles)

15) ¿CREE QUE ESTA INTERVENCIÓN ENTRE PAÍSES SOCIOS ES REPLICABLE EN OTROS CONTEXTOS SIMILARES? Que una intervención sea replicable significa que puede ser puesta en marcha con una alta probabilidad de conseguir los mismos beneficios o resultados, siempre que se cumplan las condiciones técnicas y exista un contexto de razonable similitud con aquel donde se ejecutó inicialmente el proyecto. COMENTARIOS: SÍ: NO:

18)LUGAR, FECHA Y FIRMA Lugar:

Fecha: Nombre: ……………………………………………………….. Cargo: …………………………………………………………..

METODOLOGÍA DE EVALUACIÓN DE LA COOPERACIÓN SUR-SUR

8.3 Instructivo de seguimiento de la CSS 1. Antecedentes

ÍNDICE DE CONTENIDOS ÍNDICE DE GRÁFICOS ÍNDICE DE TABLAS LISTADO DE ACRÓNIMOS 1.

ANTECEDENTES Y OBJETIVO 1.1.

BASE LEGAL

1.2. GENERALIDADES 1.3. JUSTIFICACIÓN 1.4. OBJETIVO

1.5.

ALCANCE Y METODOLOGÍA

1.6.

LIMITANTES

DESARROLLO DEL ANÁLISIS 2.1.

ANÁLISIS POR CRITERIO DE EVALUACIÓN

2.2.

ANÁLISIS FORTALEZAS Y DEBILIDADES

CONCLUSIONES Y RECOMENDACIONES 3.1.

CONCLUSIONES

3.2.

RECOMENDACIONES

PASOS A SEGUIR

5. BIBLIOGRAFÍA 6. ANEXOS

Para el seguimiento de los Programas de CSS, desde la Dirección de Inserción Estratégica de Cooperación Internacional de la SETECI, se ha desarrollado dos instrumentos que permiten controlae la ejecución de los proyectos: • •

Anexos

8.2. Modelo básico de informe de evaluación de la Cooperación Sur - Sur

www.cooperacioninternacional.gob.ec

matriz de seguimiento informe de misión.

2. Matriz de seguimiento La matriz de seguimiento es un instrumento cuyo objetivo es detallar la ejecución del proyecto, mes a mes, durante la duración del Programa bilateral. La información de la matriz se obtiene del Acta de la Comisión Mixta, proyectos y la comunicación constante entre las partes involucradas. Se trata de una matriz en Excel en la que se debe completar la siguiente información: • Número de proyecto • Nombre del proyecto • Objetivos • Nombre de la entidad ecuatoriana • Datos de contacto de la entidad ecuatoriana • Nombre de la entidad extranjera • Datos de contacto de la entidad extranjera • Área temática para el Ecuador • Área temática para la contraparte • Estatus del proyecto • Estado del proyecto mensual • Monto del proyecto dado por la contraparte • Monto del proyecto dado por el Ecuador • Costo total del proyecto • Sector • Observaciones. Se debe realizar un seguimiento mensual de la ejecución de los proyectos para conocer su grado de avance, planificar próximas misiones y determinar problemas, inconvenientes, cambios, etc. Este se realiza directamente con la agencia de cooperación contraparte y la institución ecuatoriana. 3. Informe de misión • •

El informe de misión fue desarrollado para realizar un seguimiento más exhaustivo de las actividades realizadas en cada misión, sea en Ecuador o en otro país, de los proyectos que pertenecen a los programas bilaterales, y para conocer su grado de ejecución. Los informes de misión han sido incorporados en los lineamientos operativos de los programas bilaterales, los cuales constan como anexos en las Actas de las Comisiones Mixtas.

METODOLOGÍA DE EVALUACIÓN DE LA COOPERACIÓN SUR-SUR

• Se ha acordado que estos informes se presenten durante los 30 días posteriores a desarrollada la misión y sean validados por la persona responsable del proyecto en la institución. Para esto, después de cada misión se debe enviar un recordatorio a las instituciones para que completen el informe y lo remitan a la SETECI.

las contrapartes de cada país, en cada caso: el Ministerio de Relaciones Exteriores de El Salvador, la Agencia Brasilera de Cooperación (ABC) y Dirección General de Cooperación Internacional (DGCIN) de Argentina. Los resultados de estos ejercicios fueron presentados y se recibió retroalimentación por parte de cada país antes de contar con una versión final.

•

Por último, es menester mencionar los dos procesos de evaluación de los Programa Bilaterales Ecuador-Chile. El primero fue un proceso de evaluación final del Programa Bilateral 2011-2013,

La información que se solicita en el informe es:

• Datos de contacto • Lugar de la misión • Fechas • Nombre de los expertos ecuatorianos y de la contraparte • Beneficiarios • Resultados y actividades • Opinión general de la misión • Próximos pasos/actividades a realizar • Recomendaciones.

efectuado en 2014, en su momento no fue conjunto sino solo de Ecuador; mientras que el segundo, efectuado en 2015, corresponde a la evaluación al término del primer año del nuevo Programa Bilateral 2014-2017, el cual tuvo una alta participación de la Agencia Chilena de Cooperación Internacional para el Desarrollo (AGCID) en el mismo, desde la revisión de la metodología, las fichas e instrumentos a aplicar, hasta la implementación de dichos instrumentos, en análisis de hallazgos y el consenso sobre las conclusiones y recomendaciones finales. A continuación, se detalla lo mencionado: Tabla 3. Balance de gestión - evaluaciones CSS, 2013-2015

Con este informe se identifican recomendaciones, observaciones y avances del proyecto además de tener una fecha tentativa de la próxima misión o próximos pasos a seguir dentro del proyecto.

8.4. Experiencias piloto de gestión de evaluaciones de CSS en el Ecuador, 2013-2015 Desde finales del año 2013, la SETECI inició su gestión en el ámbito de la evaluación de la CSS con algunos pilotajes de gestión del proceso de evaluación de la CSS, el cual arrancó con una evaluación del Programa Bilateral Ecuador-México 2010-2012, el cual tuvo como objetivo revisar los resultados de las intervenciones aplicando la metodología, instrumentos y herramientas construidas, por lo cual el ejercicio tuvo un doble propósito, el conocer los resultados del Programa y el de validar la utilidad y funcionalidad de la metodología. A mediados de 2014 tuvieron lugar dos ejercicios de evaluación conjunta con resultados de gran interés para los países. El primero correspondió a la Evaluación del Programa Bilateral Ecuador-Uruguay 2013-2015 y el segundo a la Evaluación del Programa Bilateral Ecuador-Colombia 2012-2014. Ambos ejercicios tuvieron una participación de los países involucrados desde la definición de los objetivos y alcances, la metodología e instrumentos, la aplicación de los mismos en visitas técnicas tanto en Ecuador como en Uruguay y Colombia; el diálogo sobre los hallazgos y el consenso en la elaboración de informes finales con conclusiones y recomendaciones. Los aprendizajes de estos procesos conjuntos fueron que la horizontalidad, compromiso y comunicación fluida debe ser un tema transversal a lo largo de la evaluación para garantizar su éxito y por otro lado los sesgos se minimizan cuando se tiene la participación de ambos países en todo el transcurso del trabajo de gabinete, de campo y de redacción de informes, ya que se amplían las perspectivas, se recogen más insumos y se analizan desde cada lado los hallazgos y resultados, buscando siempre la mejora común. A finales del año 2014 y mediados de 2015, tuvieron lugar tres evaluaciones de los siguientes: Progra-

mas Bilaterales: Ecuador-El Salvador 2011-2013; Ecuador-Brasil 2012-2014 y Ecuador-Argentina 2013-2015, que si bien no fueron procesos conjuntos, los hallazgos fueron conocidos por

Anexos

www.cooperacioninternacional.gob.ec

N°

Programa evaluado

ECUADORMÉXICO 2010-2012

ECUADORURUGUAY 2013-2015

ECUADORCHILE 2011-2014

ECUADOR-EL SALVADOR 2011-2013

Año de evaluación

Resumen del proceso de evaluación

2013

Evaluación final. Proceso piloto llevado a cabo por Ecuador, metodología aplicada en entidades socias ecuatorianas. Resultados presentados ante la Embajada de México.

2014

Evaluación intermedia. Proceso conjunto, participación de equipos evaluadores de ambos países, metodología consensuada y aplicada en entidades socias ecuatorianas y uruguayas. Resultados presentados ante la Agencia Uruguaya de Cooperación Internacional (AUCI).

2014

Evaluación final. Proceso llevado a cabo por Ecuador, metodología aplicada en entidades socias ecuatorianas. Resultados presentados ante delegados chilenos en la última Comisión Mixta Ecuador-Chile.

2014

Evaluación final. Proceso llevado a cabo por Ecuador, metodología aplicada en entidades socias ecuatorianas. Resultados presentados ante delegados de El Salvador en la última Comisión Mixta.

METODOLOGÍA DE EVALUACIÓN DE LA COOPERACIÓN SUR-SUR

ECUADORCOLOMBIA 2012-2014

ECUADORBRASIL 2012-2014

ECUADORARGENTINA 2013-2015

ECUADOR CHILE 2014-2017

2014

Evaluación intermedia. Proceso conjunto, participación de equipos evaluadores de ambos países, metodología consensuada y aplicada en entidades socias ecuatorianas y colombianas. Resultados presentados ante la Agencia Presidencial de Cooperación (APC) de Colombia.

2015

Evaluación final. Proceso llevado a cabo por Ecuador, metodología aplicada en entidades socias ecuatorianas. Resultados presentados ante delegados brasileños en la última Comisión Mixta.

2015

Evaluación intermedia. Proceso llevado a cabo por Ecuador, metodología aplicada en entidades socias ecuatorianas. Resultados presentados ante delegadas argentinas de la Dirección General de Cooperación Internacional (DGCI).

2015

Evaluación al término del primer año. Proceso conjunto, participación de equipos evaluadores de ambos países, metodología consensuada y aplicada en entidades socias ecuatorianas y chilenas. Resultados presentados ante la Agencia Chilena de Cooperación Internacional para el Desarrollo (AGCID).

Fuente: SETECI (2015). Elaborado por: CF/DMECI/SETECI

Todos los eventos de evaluación piloto implementados hasta el año 2015 permitieron a la SETECI definir claramente los criterios, técnicas, herramientas y conceptualizaciones requeridas para la definición del proceso de evaluación, considerando como base metodológica el Manual de evaluación de la cooperación tradicional de SETECI, del año 2014.

Documento impreso en papel Earth Pact, 100% hecho en fibra de caña de azúcar, libre de químicos blanqueadores

METODOLOGÍA DE EVALUACIÓN DE LA COOPERACIÓN SUR-SUR