DISEÑO SISTEMA DE MONITOREO Y EVALUACIÓN PROGRAMA
GOBERNABILIDAD Y DERECHOS HUMANOS
Diseño sistema de monitoreo y evaluación Programa: Gobernabilidad y Derechos Humanos SME elaborado con el apoyo de OP Trocaire Programa de Gobernabilidad y Derechos Humanos, y las organizaciones contrapartes: UTC La Paz, FONAMIH, ASONOG, AMIR, ERIC, COFADEH TROCAIRE Honduras 2014 Consultora: Gloria A. Zepeda G. Edición y revisión: José Alfredo Coto Diseño y diagramación: Lisa Sheran Esta publicación puede ser reproducida total o parcialmente siempre y cuando se mencione la fuente. No se permite su venta o uso con fines comerciales.
DISEÑO SISTEMA DE MONITOREO Y EVALUACIÓN PROGRAMA
GOBERNABILIDAD Y DERECHOS HUMANOS
Dise帽o Sistema de Monitoreo y Evaluaci贸n | Programa Gobernabilidad y Derechos Humanos TROCAIRE Honduras
Diseño Sistema de Monitoreo y Evaluación | Programa Gobernabilidad y Derechos Humanos TROCAIRE Honduras
Contenido Resumen Ejecutivo
01
Sistema de Monitoreo, Evaluación y Aprendizaje (SME) Programa de Gobernabilidad y Derechos Humanos de Trocaire
02
Objetivos del SME
03
Estructura del SME
03
Proceso de Monitoreo y Evaluación
04
Aplicación del desarrollo del Monitoreo
04
Aplicación de los procesos de Evaluación
06
Estándares para el Sistema de Monitoreo y Evaluación (SME)
07
Flujo de Información
08
01
Diseño Sistema de Monitoreo y Evaluación | Programa Gobernabilidad y Derechos Humanos TROCAIRE Honduras
Resumen Ejecutivo TROCAIRE, a partir del año 2012, comienza a utilizar el enfoque de la Gestión Basada en Resultados (GBR), como una estrategia que permite la planificación, el monitoreo y la evaluación, incluyendo las herramientas de Modelo Lógico (ML) y Marco Resultado (MR). La Gestión Basada en Resultados (GBR) es un enfoque de gestión a través del cual una organización se asegura de que sus procesos, productos y servicios, contribuyan al logro de los resultados establecidos. Esta metodología ayuda a administrar los recursos y mejorar la toma de decisiones orientadas a los resultados, su logro es una responsabilidad mutua entre las organizaciones internacionales o donantes y las contrapartes / socios, por lo que fortalece el aprendizaje y la responsabilidad.
desde la participación de los grupos meta directos, personal técnico de las organizaciones socias y de Trocaire. Al implementar el SME, producirá una serie de información, la cual se mantendrá de forma automatizada en programas como Excel, Word y MS Project. Estos deberán estar en un directorio exclusivo para mantener todos los datos asegurados y ordenados. Se espera que con toda la información generada por el SME, esta sea utilizada para:
• Complementar los informes narrativos elaborados por personal de los proyectos y por el Oficial de Programas (OP), basados en la evidencia, • La toma de decisiones estratégicas y oportunas que mejoren la implementación de los proyectos y del Programa, • Analizar las lecciones aprendidas y mejores Para que este enfoque tenga éxito, es necesario definir prácticas, y que estas sean consideradas en futuros de manera realista los resultados que se esperan obtener, programas, luego se debe dar seguimiento cercano para conocer si • Mantener un archivo electrónico y físico de manera se están alcanzando estos resultados. sistémica. Con esta consultoría TROCAIRE trabaja en diseñar y elaborar el Sistema de Monitoreo y Evaluación (SME) del Programa de Gobernabilidad y Derechos Humanos en Honduras. El SME le permitirá a la organización monitorear y evaluar el avance de los proyectos a los cuales está apoyando, incluyendo la parte financiera. De igual manera, monitorear el logro de los resultados del Programa contenidos en los documentos ML y MR, y evaluar la eficiencia, eficacia y pertinencia del mismo. Además, se considera importante que se realice un análisis de los riesgos, durante el monitoreo y la evaluación, para saber si las estrategias para mitigarlos fueron las correctas, de la misma forma se hará el análisis de la incorporación del enfoque de género. La construcción de este SME se ha realizado con la participación de las organizaciones socias que coadyuvan al éxito del Programa de Gobernabilidad y Derechos Humanos. El SME tiene la premisa de que el mismo debe ejecutarse por todos los actores involucrados, es decir, se considera
02
Diseño Sistema de Monitoreo y Evaluación | Programa Gobernabilidad y Derechos Humanos TROCAIRE Honduras
Sistema de Monitoreo, Evaluación y Aprendizaje (SME) Programa de Gobernabilidad y Derechos Humanos de Trocaire A continuación se presenta de manera gráfica, en qué consiste el SME elaborado para el Programa de Gobernabilidad y Derechos Humanos. Esquema 1: Sistema Monitoreo y Evaluación Programa Gobernabilidad y Derechos Humanos Dos niveles: Actividades apoyadas y Resultados Proyectos: seguimiento al avance en las actividades, productos y resultados, y el uso transparente de los fondos.
Programa: seguimiento al avance en los resultados a través de las metas anuales
Monitoreo Proyectos
Actividades
Productos
Resultados Inmediatos a Corto Plazo
Resultados Intermedios a Corto Plazo
Resultados a Largo Plazo
Impacto
Monitoreo Programa
Autoevaluación Proyectos: - Avances en actividades, productos, resultados - Fortalezas y debilidades - Dificultades
Evaluación Programa: Medio Ciclo, Final y Expost
Relevancia
Eficiencia
Eficacia
Impacto
Género en desarrollo
Análisis, supuestos, riesgos, estrategias
03
Diseño Sistema de Monitoreo y Evaluación | Programa Gobernabilidad y Derechos Humanos TROCAIRE Honduras
Objetivos del SME 1. Establecer la reciprocidad de los objetivos, resultados y visiones: con esto Trocaire pretende conocer si el trabajo realizado está logrando los resultados / efectos deseados, y si estos responden al Programa de Gobernabilidad y Derechos Humanos, a la Política y Estrategia de Gobernanza y Derechos Humanos (2011 – 2016), Política de Género. 2. Aprendizaje institucional: se refiere al conocimiento interno a través de las reflexiones realizadas sobre lo que se ha logrado, sus dificultades, limitantes, factores (externos e internos), que irán mejorando la toma de decisiones, las políticas y estrategias, y todo el trabajo que realiza Trocaire, las organizaciones socias y sus grupos meta. 3. Transparencia en el manejo de los proyectos y los recursos financieros: se establecen tres (3) niveles, el primero es para Trocaire, ya que debe utilizar los recursos en relación a lo acordado con los donantes, según la planificación estratégica. La segunda, se trata de las organizaciones socias las que igual deben usar los recursos según lo establecido en los convenios firmados. La tercera se refiere a la población, que también estará inmersa en las actividades que se realicen. Esto permite la construcción de una cultura de confianza en los diferentes niveles. 4. Visibilizar los efectos producidos en la población: ya que se conocerá si el apoyo que el Programa está dando a los grupos meta directo e indirecto, a través del trabajo desarrollado por las organizaciones socias, da respuesta a los problemas y necesidades de la población excluida y los niveles de satisfacción de ésta población. Además, se recolectará información que permitirá conocer los cambios que ésta población ha tenido y el impacto en ellos/as, sus familias y sus comunidades.
Estructura del SME El SME, tal como se muestra en el esquema 2 y como su nombre lo indica, contará con dos (2) niveles: monitoreo y evaluación, para tener claridad de ambos en las páginas siguientes se encontrarán cuadros que darán orientaciones al manejo y uso de la información en ambos momentos. Para el monitoreo se define el cómo, cuándo, dónde y
de quién debe ser recolectada la información, y que esta pueda ser utilizada por Trocaire para la toma de decisiones y, que además, sea aprovechada en la evaluación. En el caso de la evaluación, se especifican los resultados e indicadores preguntándonos que estamos logrando, que es lo que queremos lograr, y cuál es la información que necesitamos para poder obtener esto. La información generada en el SME podrá ser utilizada para: Elaborar los informes anuales de Trócaire que son enviados a la oficina sede, que permitirá dar a conocer el trabajo realizado, y así asegurar recursos financieros para el siguiente periodo. Preparación de documentos institucionales y de los Planes de Actividades elaborados anualmente. Para la toma de decisiones sobre el Programa de Gobernabilidad y Derechos Humanos, de las contrapartes y de sus grupos meta. Revisión y modificación de los presupuestos. La información podrá ser compartida con la Dirección de Trocaire en la Oficina Sede, sus donantes, Dirección Regional, Dirección de País, equipos nacionales y regionales, organizaciones socias y aliadas. Como se ha venido expresando a lo largo de este documento, el SME hace un análisis de lo que se ha logrado, sus dificultades, limitantes, factores que posibilitaron las tareas; todo esto se basa en las experiencias durante el proceso de trabajo, por lo que el involucramiento activo de los diferentes actores que participan en darle vida al Programa es indispensable. En este sentido, las contrapartes, grupos meta, equipo técnico y directivo de Trocaire deberán tener un papel preponderante en el mismo. Para que el análisis de la información sea fácilmente verificable, es importante que exista la documentación requerida y que está se encuentre sistematizada. Cada nivel de seguimiento y evaluación genera información. Los roles de cada actor, podrán observarse con mayor claridad en los cuadros a continuación.
04
Diseño Sistema de Monitoreo y Evaluación | Programa Gobernabilidad y Derechos Humanos TROCAIRE Honduras
Proceso de Monitoreo y Evaluación Se ha elaborado un cuadro sobre la aplicación del monitoreo y la evaluación, el que permite visualizar los niveles a los que se pretende monitorear y evaluar, en este sentido, y tal como se muestra en el esquema 3, se realizará lo siguiente: Esquema de Monitoreo
El Monitoreo actividades apoyadas, se subdivide a su vez, en dos momentos: a. Primer momento que se realizará a través de una visita formal de monitoreo por Trocaire, a las oficinas de las organizaciones socias b. Segundo momento con la participación de Trocaire en una actividad que desarrollen las organizaciones socias, y que se consideren estratégicas para conocer el avance en el logro de los resultados. A continuación se presenta en una gráfica el detalle de las implicaciones de cada uno:
Este se divide en dos (2) partes: 1. Monitoreo actividades apoyadas 2. Monitoreo Resultados (cambios)
Aplicación del desarrollo del Monitoreo Esquema 2: Tipos
Componentes de monitoreo
Técnica
Periodicidad
Dónde
Información requerida a contrapartes
Información enviara OP
Herramienta que llenara OP
Monitoreo Actividades apoyadas, visita formal de Trocaire
Logro productos, avance resultados – Análisis de riesgos – Género en Desarrollo – Lecciones aprendidas – Ejecución presupuestaria
Visitas a las organizaciones contrapartes
Una (1) vez al año (de preferencia en los meses de marzo a abril)
Oficinas de las organizaciones contrapartes jornadas de un día
Plan Trimestral de Actividades Informes semestrales y anuales (modificados) Convenios, documento proyecto Informe monitoreo actividades apoyadas oficina
Agenda Informe monitoreo oficina (visita anterior)
Informe monitoreo actividades apoyadas oficina (Solo semáforo)
Monitoreo Actividades apoyadas, participación actividad por parte de Trocaire
Pertinencia de las estrategias Metodologías utilizadas Satisfacción de los grupos meta
Participación en alguna actividad que es estratégica para el Programa
Una vez al año (de preferencia antes del envío del informe anual)
En el lugar donde se realice la actividad
Informes financieros
Correo a contraparte informando su participación en la actividad programada
Informe Visita Participación Actividad
Monitoreo de Resultados (Cambios), realizado por las contrapartes
Metas anuales, que van indicando el avance en el logro de los indicadores / resultados del Programa
Formato Informe de Metas??
Revisión Base de datos Excel y Microsoft Project
Llenado de herramientas predefinidas (Caja de Herramientas)
Una vez al año
Plan Trimestral de Actividades
Trabajo de cada contraparte
Consolidado de herramientas Informes semestrales y anuales (modificados) Informe de Metas
05
Diseño Sistema de Monitoreo y Evaluación | Programa Gobernabilidad y Derechos Humanos TROCAIRE Honduras
En el esquema a continuación, se muestra gráficamente de que manera participan y se involucran los diferentes actores durante los niveles y subniveles del monitoreo: Esquema 3: Monitoreo actividades apoyadas, visita formal de TROCAIRE
Monitoreo actividades apoyadas, participación actividad
Monitoreo de resultados (cambios)
•
•
•
• •
Directamente con personal técnico organizaciones socias, responsables de la implementación del proyecto. Verificación avances en productos y resultados alcanzados. Grupos meta participan indirectamente, brindando información.
• •
Directamente con los grupos meta Conocer niveles de satisfacción de los grupos Verificar pertinencia estratégias y metodologías utilizadas por la organización socia.
•
Desarrollado por: personal técnico organizaciones socias responsables de la implementación del proyecto Grupos meta Ambos revisa, sugieren y brindan información.
Esquema de Evaluación La Evaluación es un proceso que procura determinar periódicamente y de manera sistemática y objetiva, la relevancia, eficacia, eficiencia e impacto de un proyecto o programa, a la luz de sus objetivos y/o resultados. Corresponde realizarla a las categorías de resultados inmediatos, intermedios y finales. Los diferentes momentos en que se realizan las evaluaciones, en la mayoría de los casos, son los siguientes: Esquema 4:
Línea Base
Evaluación a medio termino
Primera medición de todos los indicadores Proporciona una base de información que permitirá comparar con el monitoreo y la evaluación, el progreso y eficacia de las actividades,
Se realiza a mediados de la fase de ejecución de un programa / proyecto Facilitador/a externo, para asegurar su objetividad Toma los resultados para analizar si se están produciendo los cambios esperados. Se analiza también la capacidad organizacional
productos y resultados.
Evaluación final Evaluación de los cambios esperados, los efectos Incluye costo efectividad y costo eficiencia Compara el antes y el después, utilizando la información de la LB Se puede comparar también ciertos indicadores con grupos de personas que participaron en las actividades y otras que no
Evaluación ex post, de impacto Determinar la sostenibilidad de los cambios obtenidos por el programa o proyecto Se realiza unos años después de finalizado el programa o proyecto Utiliza la información obtenida de la LB, evaluación final y monitoreos
06
Diseño Sistema de Monitoreo y Evaluación | Programa Gobernabilidad y Derechos Humanos TROCAIRE Honduras
Aplicación de los procesos de Evaluación Esquema 5 Acción
Componentes a Evaluar
Periodicidad
Cantidad
Responsables
Información necesaria
Técnicas a utilizar
Evaluación a medio termino
Relevancia, Eficacia, Eficiencia Género en Desarrollo Análisis riesgos y supuestos Lecciones aprendidas, limitantes, ajustes realizados Ejecución presupuestaria
Al cumplir la mitad del tiempo de vida del Programa
Muestra
Equipo Programa Apoyo de: Organizaciones Socias Grupos meta
A nivel Programa: Documento Programa Modelo Lógico Marco Resultados Informe LB A nivel Proyectos: Informes monitoreo Informes semestrales, anuales
Según análisis de los/as responsables, pueden ser: Grupos Focales Entrevistas Encuestas Talleres Visitas de campo
Informes financieros
Evaluación Final
Autoevaluaciones proyectos (ver Caja Herramientas)
Viabilidad, Eficacia, Eficiencia, Pertinencia, Impacto Género en Desarrollo Análisis estrategias Análisis supuestos, riesgos Lecciones aprendidas, limitantes, ajustes realizados Ejecución presupuestaria
Al finalizar la vida del Programa
Muestra
Equipo Programa Apoyo de: Organizaciones Socias Grupos meta
A nivel Programa: Documento Programa Modelo Lógico Marco Resultados Informe LB Informes Programa Evaluaciones realizadas A nivel Proyectos: Informes monitoreo Informes semestrales y anuales
Avances en actividades, productos, resultados. Fortalezas, debilidades, dificultades
Anual, puede ser en diciembre
No más de 30 personas
Equipo técnico contraparte Apoyo de directivos/as y Trocaire
Informes financieros Documento Proyecto, ML, MR – informes narrativos, informes monitoreo
Según análisis de los/as responsables, pueden ser: Grupos Focales Entrevistas Encuestas Talleres Visitas de campo
Taller participativo, diferentes técnicas
07
Diseño Sistema de Monitoreo y Evaluación | Programa Gobernabilidad y Derechos Humanos TROCAIRE Honduras
Estándares para el Sistema de Monitoreo y Evaluación (SME) La siguiente es una propuesta de la consultora de los estándares que podrían ser utilizados por el SME, este ítem no fue solicitado por Trocaire, no obstante, se considera que sería importante que el equipo del Programa de Gobernabilidad y Derechos Humanos, los conozca, mejore e implemente. Estos estándares deben ser socializados con el personal de las contrapartes y los grupos meta, para conocer sus valoraciones con respecto a estos. Para la elaboración de estos estándares se toma en cuenta que “Trocaire trabaja para que las personas pobres y marginadas sean capaces de participar en los procesos de gobernanza, de reclamar sus derechos y de exigir responsabilidad al Estado”1, considerando esto se definen los estándares que a continuación se leerán. Se considera que un estándar del SME incorpora criterios y principios para definir elementos claves, para el monitoreo y la evaluación de los proyectos y del Programa. 1. Los proyectos son diseñados de manera participativa: personal técnico y directivo contrapartes, grupos meta y personal técnico Programa Trocaire. Estos deberán elaborarse de acuerdo a la Política y Estrategia Gobernanza y Derechos Humanos 2011 – 2016. 2. Al momento de aprobar los proyectos debe solicitarse a las organizaciones socias, el SME que se implementara para este, solicitando mínimamente el Plan de Monitoreo y Evaluación (PM&E) con su presupuesto coherente para implementarlo. 3. Se debe asegurar que tanto los documentos de proyecto como el PM&E incorporen el enfoque de género y la participación de los grupos meta y la comunidad. 4. El personal del Programa de Gobernabilidad y Derechos Humanos apoyara a las organizaciones socias, en brindarles la asesoría en monitoreo y evaluación y, en la elaboración de los PM&E. 5. El Programa y los proyectos deberán tener
instrumentos claros para recolectar información cualitativa y cuantitativa, que permitan conocer el alcance en productos y resultados. 6. Utilizar la información generada por el monitoreo y la evaluación para tomar decisiones estratégicas que beneficien a los grupos meta con los cuales se está trabajando. 7. El personal técnico del Programa compartirá la información obtenida del SME con las contrapartes y con los grupos meta. 8. Conjuntamente, personal técnico del Programa y organizaciones socias, desarrollan autoevaluaciones anuales para medir la eficiencia, eficacia, pertinencia, impacto, sostenibilidad de sus proyectos y del Programa de Gobernabilidad y Derechos Humanos. 9. El personal técnico del Programa y contrapartes, elaboran TdR para la realización de las diferentes evaluaciones y autoevaluaciones para el Programa, y ambas partes son responsables de su exitosa ejecución. 10. La información producida por las evaluaciones y autoevaluaciones es utilizada por las organizaciones socias y el Programa, para mejorar la efectividad de los proyectos y Programa. 11. Las organizaciones socias y el Programa compartirán la información obtenida a través de reportes y publicaciones, según sea acordado con Trocaire. 12. La relación entre la contraparte y Trocaire tiene base en el dialogo, respeto y buena comunicación para garantizar que la población meta recibe los beneficios convenidos por ambas partes.
1 Tomado de la Política y Estrategia Gobernanza y Derechos Humanos Trocaire 2011 – 2016 (Página 6)
Diseño Sistema de Monitoreo y Evaluación | Programa Gobernabilidad y Derechos Humanos TROCAIRE Honduras
Flujo de Información A continuación se presenta, de forma gráfica, como será el flujo de información de los documentos que serán utilizados según el SME:
SME Caja de Herramientas
Contrapartes elaboran con apoyo TROCAIRE:
Plan Operativo Anual
Informe narrativo semestral
Plan trimestral de actividades
Informe narrativo anual
Informes financieros
Informe metas anuales
Trocaire aprueba
Documentación para monitoreo actividades apoyadas Informes visita Monitoreo
Trocaire elabora:
Informe anual TROCAIRE
Monitoreo resultados (cambios)
08
TROCAIRE HONDURAS