DISEÑO SISTEMA DE MONITOREO Y EVALUACIÓN | PROGRAMA GOBERNABILIDAD Y DERECHOS HUMANOS

DISEÑO SISTEMA DE MONITOREO Y EVALUACIÓN PROGRAMA

GOBERNABILIDAD Y DERECHOS HUMANOS

Diseño sistema de monitoreo y evaluación Programa: Gobernabilidad y Derechos Humanos SME elaborado con el apoyo de OP Trocaire Programa de Gobernabilidad y Derechos Humanos, y las organizaciones contrapartes: UTC La Paz, FONAMIH, ASONOG, AMIR, ERIC, COFADEH TROCAIRE Honduras 2014 Consultora: Gloria A. Zepeda G. Edición y revisión: José Alfredo Coto Diseño y diagramación: Lisa Sheran Esta publicación puede ser reproducida total o parcialmente siempre y cuando se mencione la fuente. No se permite su venta o uso con fines comerciales.

DISEÑO SISTEMA DE MONITOREO Y EVALUACIÓN PROGRAMA

GOBERNABILIDAD Y DERECHOS HUMANOS

Dise帽o Sistema de Monitoreo y Evaluaci贸n | Programa Gobernabilidad y Derechos Humanos TROCAIRE Honduras

Diseño Sistema de Monitoreo y Evaluación | Programa Gobernabilidad y Derechos Humanos TROCAIRE Honduras

Contenido Resumen Ejecutivo

01

Sistema de Monitoreo, Evaluación y Aprendizaje (SME) Programa de Gobernabilidad y Derechos Humanos de Trocaire

02

Objetivos del SME

03

Estructura del SME

03

Proceso de Monitoreo y Evaluación

04

Aplicación del desarrollo del Monitoreo

04

Aplicación de los procesos de Evaluación

06

Estándares para el Sistema de Monitoreo y Evaluación (SME)

07

Flujo de Información

08

01

Diseño Sistema de Monitoreo y Evaluación | Programa Gobernabilidad y Derechos Humanos TROCAIRE Honduras

Resumen Ejecutivo TROCAIRE, a partir del año 2012, comienza a utilizar el enfoque de la Gestión Basada en Resultados (GBR), como una estrategia que permite la planificación, el monitoreo y la evaluación, incluyendo las herramientas de Modelo Lógico (ML) y Marco Resultado (MR).

La Gestión Basada en Resultados (GBR) es un enfoque de gestión a través del cual una organización se asegura de que sus procesos, productos y servicios, contribuyan al logro de los resultados establecidos. Esta metodología ayuda a administrar los recursos y mejorar la toma de decisiones orientadas a los resultados, su logro es una responsabilidad mutua entre las organizaciones internacionales o donantes y las contrapartes / socios, por lo que fortalece el aprendizaje y la responsabilidad.

desde la participación de los grupos meta directos, personal técnico de las organizaciones socias y de Trocaire.

Al implementar el SME, producirá una serie de información, la cual se mantendrá de forma automatizada en programas como Excel, Word y MS Project. Estos deberán estar en un directorio exclusivo para mantener todos los datos asegurados y ordenados. Se espera que con toda la información generada por el SME, esta sea utilizada para:

• Complementar los informes narrativos elaborados por personal de los proyectos y por el Oficial de Programas (OP), basados en la evidencia, • La toma de decisiones estratégicas y oportunas que mejoren la implementación de los proyectos y del Programa, • Analizar las lecciones aprendidas y mejores Para que este enfoque tenga éxito, es necesario definir prácticas, y que estas sean consideradas en futuros de manera realista los resultados que se esperan obtener, programas, luego se debe dar seguimiento cercano para conocer si • Mantener un archivo electrónico y físico de manera se están alcanzando estos resultados. sistémica.

Con esta consultoría TROCAIRE trabaja en diseñar y elaborar el Sistema de Monitoreo y Evaluación (SME) del Programa de Gobernabilidad y Derechos Humanos en Honduras.

El SME le permitirá a la organización monitorear y evaluar el avance de los proyectos a los cuales está apoyando, incluyendo la parte financiera. De igual manera, monitorear el logro de los resultados del Programa contenidos en los documentos ML y MR, y evaluar la eficiencia, eficacia y pertinencia del mismo. Además, se considera importante que se realice un análisis de los riesgos, durante el monitoreo y la evaluación, para saber si las estrategias para mitigarlos fueron las correctas, de la misma forma se hará el análisis de la incorporación del enfoque de género.

La construcción de este SME se ha realizado con la participación de las organizaciones socias que coadyuvan al éxito del Programa de Gobernabilidad y Derechos Humanos.

El SME tiene la premisa de que el mismo debe ejecutarse por todos los actores involucrados, es decir, se considera

02

Diseño Sistema de Monitoreo y Evaluación | Programa Gobernabilidad y Derechos Humanos TROCAIRE Honduras

Sistema de Monitoreo, Evaluación y Aprendizaje (SME) Programa de Gobernabilidad y Derechos Humanos de Trocaire A continuación se presenta de manera gráfica, en qué consiste el SME elaborado para el Programa de Gobernabilidad y Derechos Humanos.

Esquema 1: Sistema Monitoreo y Evaluación Programa Gobernabilidad y Derechos Humanos Dos niveles: Actividades apoyadas y Resultados Proyectos: seguimiento al avance en las actividades, productos y resultados, y el uso transparente de los fondos.

Programa: seguimiento al avance en los resultados a través de las metas anuales

Monitoreo Proyectos

Actividades

Productos

Resultados Inmediatos a Corto Plazo

Resultados Intermedios a Corto Plazo

Resultados a Largo Plazo

Impacto

Monitoreo Programa

Autoevaluación Proyectos: - Avances en actividades, productos, resultados - Fortalezas y debilidades - Dificultades

Evaluación Programa: Medio Ciclo, Final y Expost

Relevancia

Eficiencia

Eficacia

Impacto

Género en desarrollo

Análisis, supuestos, riesgos, estrategias

03

Diseño Sistema de Monitoreo y Evaluación | Programa Gobernabilidad y Derechos Humanos TROCAIRE Honduras

Objetivos del SME 1. Establecer la reciprocidad de los objetivos, resultados y visiones: con esto Trocaire pretende conocer si el trabajo realizado está logrando los resultados / efectos deseados, y si estos responden al Programa de Gobernabilidad y Derechos Humanos, a la Política y Estrategia de Gobernanza y Derechos Humanos (2011 – 2016), Política de Género.

2. Aprendizaje institucional: se refiere al conocimiento interno a través de las reflexiones realizadas sobre lo que se ha logrado, sus dificultades, limitantes, factores (externos e internos), que irán mejorando la toma de decisiones, las políticas y estrategias, y todo el trabajo que realiza Trocaire, las organizaciones socias y sus grupos meta.

3. Transparencia en el manejo de los proyectos y los recursos financieros: se establecen tres (3) niveles, el primero es para Trocaire, ya que debe utilizar los recursos en relación a lo acordado con los donantes, según la planificación estratégica. La segunda, se trata de las organizaciones socias las que igual deben usar los recursos según lo establecido en los convenios firmados. La tercera se refiere a la población, que también estará inmersa en las actividades que se realicen. Esto permite la construcción de una cultura de confianza en los diferentes niveles.

4. Visibilizar los efectos producidos en la población: ya que se conocerá si el apoyo que el Programa está dando a los grupos meta directo e indirecto, a través del trabajo desarrollado por las organizaciones socias, da respuesta a los problemas y necesidades de la población excluida y los niveles de satisfacción de ésta población. Además, se recolectará información que permitirá conocer los cambios que ésta población ha tenido y el impacto en ellos/as, sus familias y sus comunidades.

Estructura del SME El SME, tal como se muestra en el esquema 2 y como su nombre lo indica, contará con dos (2) niveles: monitoreo y evaluación, para tener claridad de ambos en las páginas siguientes se encontrarán cuadros que darán orientaciones al manejo y uso de la información en ambos momentos.

Para el monitoreo se define el cómo, cuándo, dónde y

de quién debe ser recolectada la información, y que esta pueda ser utilizada por Trocaire para la toma de decisiones y, que además, sea aprovechada en la evaluación.

En el caso de la evaluación, se especifican los resultados e indicadores preguntándonos que estamos logrando, que es lo que queremos lograr, y cuál es la información que necesitamos para poder obtener esto.

La información generada en el SME podrá ser utilizada para: Elaborar los informes anuales de Trócaire que son enviados a la oficina sede, que permitirá dar a conocer el trabajo realizado, y así asegurar recursos financieros para el siguiente periodo.

Preparación de documentos institucionales y de los Planes de Actividades elaborados anualmente.

Para la toma de decisiones sobre el Programa de Gobernabilidad y Derechos Humanos, de las contrapartes y de sus grupos meta.

Revisión y modificación de los presupuestos.

La información podrá ser compartida con la Dirección de Trocaire en la Oficina Sede, sus donantes, Dirección Regional, Dirección de País, equipos nacionales y regionales, organizaciones socias y aliadas.

Como se ha venido expresando a lo largo de este documento, el SME hace un análisis de lo que se ha logrado, sus dificultades, limitantes, factores que posibilitaron las tareas; todo esto se basa en las experiencias durante el proceso de trabajo, por lo que el involucramiento activo de los diferentes actores que participan en darle vida al Programa es indispensable. En este sentido, las contrapartes, grupos meta, equipo técnico y directivo de Trocaire deberán tener un papel preponderante en el mismo.

Para que el análisis de la información sea fácilmente verificable, es importante que exista la documentación requerida y que está se encuentre sistematizada. Cada nivel de seguimiento y evaluación genera información.

Los roles de cada actor, podrán observarse con mayor claridad en los cuadros a continuación.

04

Diseño Sistema de Monitoreo y Evaluación | Programa Gobernabilidad y Derechos Humanos TROCAIRE Honduras

Proceso de Monitoreo y Evaluación Se ha elaborado un cuadro sobre la aplicación del monitoreo y la evaluación, el que permite visualizar los niveles a los que se pretende monitorear y evaluar, en este sentido, y tal como se muestra en el esquema 3, se realizará lo siguiente: Esquema de Monitoreo

El Monitoreo actividades apoyadas, se subdivide a su vez, en dos momentos: a. Primer momento que se realizará a través de una visita formal de monitoreo por Trocaire, a las oficinas de las organizaciones socias b. Segundo momento con la participación de Trocaire en una actividad que desarrollen las organizaciones socias, y que se consideren estratégicas para conocer el avance en el logro de los resultados.

A continuación se presenta en una gráfica el detalle de las implicaciones de cada uno:

Este se divide en dos (2) partes: 1. Monitoreo actividades apoyadas 2. Monitoreo Resultados (cambios)

Aplicación del desarrollo del Monitoreo Esquema 2: Tipos

Componentes de monitoreo

Técnica

Periodicidad

Dónde

Información requerida a contrapartes

Información enviara OP

Herramienta que llenara OP

Monitoreo Actividades apoyadas, visita formal de Trocaire

Logro productos, avance resultados – Análisis de riesgos – Género en Desarrollo – Lecciones aprendidas – Ejecución presupuestaria

Visitas a las organizaciones contrapartes

Una (1) vez al año (de preferencia en los meses de marzo a abril)

Oficinas de las organizaciones contrapartes jornadas de un día

Plan Trimestral de Actividades Informes semestrales y anuales (modificados) Convenios, documento proyecto Informe monitoreo actividades apoyadas oficina

Agenda Informe monitoreo oficina (visita anterior)

Informe monitoreo actividades apoyadas oficina (Solo semáforo)

Monitoreo Actividades apoyadas, participación actividad por parte de Trocaire

Pertinencia de las estrategias Metodologías utilizadas Satisfacción de los grupos meta

Participación en alguna actividad que es estratégica para el Programa

Una vez al año (de preferencia antes del envío del informe anual)

En el lugar donde se realice la actividad

Informes financieros

Correo a contraparte informando su participación en la actividad programada

Informe Visita Participación Actividad

Monitoreo de Resultados (Cambios), realizado por las contrapartes

Metas anuales, que van indicando el avance en el logro de los indicadores / resultados del Programa

Formato Informe de Metas??

Revisión Base de datos Excel y Microsoft Project

Llenado de herramientas predefinidas (Caja de Herramientas)

Una vez al año

Plan Trimestral de Actividades

Trabajo de cada contraparte

Consolidado de herramientas Informes semestrales y anuales (modificados) Informe de Metas

05

Diseño Sistema de Monitoreo y Evaluación | Programa Gobernabilidad y Derechos Humanos TROCAIRE Honduras

En el esquema a continuación, se muestra gráficamente de que manera participan y se involucran los diferentes actores durante los niveles y subniveles del monitoreo: Esquema 3: Monitoreo actividades apoyadas, visita formal de TROCAIRE

Monitoreo actividades apoyadas, participación actividad

Monitoreo de resultados (cambios)

•

•

•

• •

Directamente con personal técnico organizaciones socias, responsables de la implementación del proyecto.

Verificación avances en productos y resultados alcanzados.

Grupos meta participan indirectamente, brindando información.

• •

Directamente con los grupos meta Conocer niveles de satisfacción de los grupos Verificar pertinencia estratégias y metodologías utilizadas por la organización socia.

•

Desarrollado por: personal técnico organizaciones socias responsables de la implementación del proyecto Grupos meta Ambos revisa, sugieren y brindan información.

Esquema de Evaluación La Evaluación es un proceso que procura determinar periódicamente y de manera sistemática y objetiva, la relevancia, eficacia, eficiencia e impacto de un proyecto o programa, a la luz de sus objetivos y/o resultados.

Corresponde realizarla a las categorías de resultados inmediatos, intermedios y finales.

Los diferentes momentos en que se realizan las evaluaciones, en la mayoría de los casos, son los siguientes: Esquema 4:

Línea Base

Evaluación a medio termino

Primera medición de todos los indicadores Proporciona una base de información que permitirá comparar con el monitoreo y la evaluación, el progreso y eficacia de las actividades,

Se realiza a mediados de la fase de ejecución de un programa / proyecto Facilitador/a externo, para asegurar su objetividad Toma los resultados para analizar si se están produciendo los cambios esperados.

Se analiza también la capacidad organizacional

productos y resultados.

Evaluación final Evaluación de los cambios esperados, los efectos Incluye costo efectividad y costo eficiencia Compara el antes y el después, utilizando la información de la LB Se puede comparar también ciertos indicadores con grupos de personas que participaron en las actividades y otras que no

Evaluación ex post, de impacto Determinar la sostenibilidad de los cambios obtenidos por el programa o proyecto Se realiza unos años después de finalizado el programa o proyecto Utiliza la información obtenida de la LB, evaluación final y monitoreos

06

Diseño Sistema de Monitoreo y Evaluación | Programa Gobernabilidad y Derechos Humanos TROCAIRE Honduras

Aplicación de los procesos de Evaluación Esquema 5 Acción

Componentes a Evaluar

Periodicidad

Cantidad

Responsables

Información necesaria

Técnicas a utilizar

Evaluación a medio termino

Relevancia, Eficacia, Eficiencia Género en Desarrollo Análisis riesgos y supuestos Lecciones aprendidas, limitantes, ajustes realizados Ejecución presupuestaria

Al cumplir la mitad del tiempo de vida del Programa

Muestra

Equipo Programa Apoyo de: Organizaciones Socias Grupos meta

A nivel Programa: Documento Programa Modelo Lógico Marco Resultados Informe LB A nivel Proyectos: Informes monitoreo Informes semestrales, anuales

Según análisis de los/as responsables, pueden ser: Grupos Focales Entrevistas Encuestas Talleres Visitas de campo

Informes financieros

Evaluación Final

Autoevaluaciones proyectos (ver Caja Herramientas)

Viabilidad, Eficacia, Eficiencia, Pertinencia, Impacto Género en Desarrollo Análisis estrategias Análisis supuestos, riesgos Lecciones aprendidas, limitantes, ajustes realizados Ejecución presupuestaria

Al finalizar la vida del Programa

Muestra

Equipo Programa Apoyo de: Organizaciones Socias Grupos meta

A nivel Programa: Documento Programa Modelo Lógico Marco Resultados Informe LB Informes Programa Evaluaciones realizadas A nivel Proyectos: Informes monitoreo Informes semestrales y anuales

Avances en actividades, productos, resultados. Fortalezas, debilidades, dificultades

Anual, puede ser en diciembre

No más de 30 personas

Equipo técnico contraparte Apoyo de directivos/as y Trocaire

Informes financieros Documento Proyecto, ML, MR – informes narrativos, informes monitoreo

Según análisis de los/as responsables, pueden ser: Grupos Focales Entrevistas Encuestas Talleres Visitas de campo

Taller participativo, diferentes técnicas

07

Diseño Sistema de Monitoreo y Evaluación | Programa Gobernabilidad y Derechos Humanos TROCAIRE Honduras

Estándares para el Sistema de Monitoreo y Evaluación (SME) La siguiente es una propuesta de la consultora de los estándares que podrían ser utilizados por el SME, este ítem no fue solicitado por Trocaire, no obstante, se considera que sería importante que el equipo del Programa de Gobernabilidad y Derechos Humanos, los conozca, mejore e implemente.

Estos estándares deben ser socializados con el personal de las contrapartes y los grupos meta, para conocer sus valoraciones con respecto a estos.

Para la elaboración de estos estándares se toma en cuenta que “Trocaire trabaja para que las personas pobres y marginadas sean capaces de participar en los procesos de gobernanza, de reclamar sus derechos y de exigir responsabilidad al Estado”1, considerando esto se definen los estándares que a continuación se leerán.

Se considera que un estándar del SME incorpora criterios y principios para definir elementos claves, para el monitoreo y la evaluación de los proyectos y del Programa.

1. Los proyectos son diseñados de manera participativa: personal técnico y directivo contrapartes, grupos meta y personal técnico Programa Trocaire.

Estos deberán elaborarse de acuerdo a la Política y Estrategia Gobernanza y Derechos Humanos 2011 – 2016.

2. Al momento de aprobar los proyectos debe solicitarse a las organizaciones socias, el SME que se implementara para este, solicitando mínimamente el Plan de Monitoreo y Evaluación (PM&E) con su presupuesto coherente para implementarlo.

3. Se debe asegurar que tanto los documentos de proyecto como el PM&E incorporen el enfoque de género y la participación de los grupos meta y la comunidad.

4. El personal del Programa de Gobernabilidad y Derechos Humanos apoyara a las organizaciones socias, en brindarles la asesoría en monitoreo y evaluación y, en la elaboración de los PM&E. 5. El Programa y los proyectos deberán tener

instrumentos claros para recolectar información cualitativa y cuantitativa, que permitan conocer el alcance en productos y resultados.

6. Utilizar la información generada por el monitoreo y la evaluación para tomar decisiones estratégicas que beneficien a los grupos meta con los cuales se está trabajando.

7. El personal técnico del Programa compartirá la información obtenida del SME con las contrapartes y con los grupos meta.

8. Conjuntamente, personal técnico del Programa y organizaciones socias, desarrollan autoevaluaciones anuales para medir la eficiencia, eficacia, pertinencia, impacto, sostenibilidad de sus proyectos y del Programa de Gobernabilidad y Derechos Humanos.

9. El personal técnico del Programa y contrapartes, elaboran TdR para la realización de las diferentes evaluaciones y autoevaluaciones para el Programa, y ambas partes son responsables de su exitosa ejecución.

10. La información producida por las evaluaciones y autoevaluaciones es utilizada por las organizaciones socias y el Programa, para mejorar la efectividad de los proyectos y Programa.

11.

Las organizaciones socias y el Programa compartirán la información obtenida a través de reportes y publicaciones, según sea acordado con Trocaire.

12. La relación entre la contraparte y Trocaire tiene base en el dialogo, respeto y buena comunicación para garantizar que la población meta recibe los beneficios convenidos por ambas partes.

1 Tomado de la Política y Estrategia Gobernanza y Derechos Humanos Trocaire 2011 – 2016 (Página 6)

Diseño Sistema de Monitoreo y Evaluación | Programa Gobernabilidad y Derechos Humanos TROCAIRE Honduras

Flujo de Información A continuación se presenta, de forma gráfica, como será el flujo de información de los documentos que serán utilizados según el SME:

SME Caja de Herramientas

Contrapartes elaboran con apoyo TROCAIRE:

Plan Operativo Anual

Informe narrativo semestral

Plan trimestral de actividades

Informe narrativo anual

Informes financieros

Informe metas anuales

Trocaire aprueba

Documentación para monitoreo actividades apoyadas Informes visita Monitoreo

Trocaire elabora:

Informe anual TROCAIRE

Monitoreo resultados (cambios)

08

TROCAIRE HONDURAS