Monitoreo y evaluacion de proyectos

Page 1

Monitoreo y Evaluaci贸n de Proyectos Jaqueline Berumen Milburn

Cuadernos de Cooperaci贸n para el Desarrollo No. 3 Especializaci贸n en Cooperaci贸n Internacional para el desarrollo

Monitoreo y Evaluaci贸n de Proyectos Jaqueline Berumen Milburn

Cuadernos de Cooperaci贸n para el Desarrollo No. 3 Especializaci贸n en Cooperaci贸n Internacional para el Desarrollo

Monitoreo y Evaluaciรณn de Proyectos Jaqueline Berumen Milburn

Cuadernos de Cooperaciรณn para el Desarrollo No. 3 Especializaciรณn en Cooperaciรณn Internacional para el Desarrollo

Con la ejecuciรณn de:

©Escuela Latinoamericana de Cooperación y Desarrollo, 2010 Director del proyecto Sebastian Vadalá Director de la Escuela Jairo Agudelo Taborda Coordinador de la Unidad de Investigación Gustavo Rodríguez Albor Autora Jaqueline Berumen Milburn Profesional en Relaciones Internacionales Especialista en Cooperación Internacional para el Desarrollo Asesores Carlo Tassara Silvia Favaron Primera edición Medellín (Colombia), noviembre de 2010 ISBN: 978-958-8590-10-3 Diagramación e Impresión: Pregón Ltda

PĂĄgina 5

La Escuela Latinoamericana de CooperaciĂłn y Desarrollo

s un proyecto colombo-italiano, fruto del convenio entre la Universidad de San Buenaventura de Cartagena de Indias, Colombia, la Universidad de Pavia y el Instituto Universitario de Estudios Superiores de la Universidad de Pavia, Italia. AdemĂĄs de un consorcio de las nanciado por el Ministerio de Asuntos Exteriores de Italia y por la Conferencia Episcopal Italiana.

E

Su propĂłsito es contribuir al fortalecimiento de la CooperaciĂłn Internacional para el Desarrollo, a travĂŠs de la formaciĂłn de profesionales autĂłctonos que operen en programas de cooperaciĂłn internacional, la realizaciĂłn de investigaciones en esta ĂĄrea del conocimiento, el apoyo a redes y al

trabajo interinstitucional con las organizaciones que promueven el desarrollo de la regiĂłn. La Escuela posee una estructura interna conformada por dos unidades operativas interdependientes: formaciĂłn e investigaciĂłn. La Unidad de InvestigaciĂłn tiene como objetivo realizar investigaciones en el campo de la CooperaciĂłn Internacional para el Desarrollo que ! " en herramientas bĂĄsicas en los procesos de gestiĂłn de proyectos. Los trabajos de investigaciĂłn guardan correspondencia con las ĂĄreas que conforman el programa acadĂŠmico de la EspecializaciĂłn en CooperaciĂłn Internacional para el Desarrollo: EconomĂ­a del desarrollo, SociopolĂ­tica y MetodologĂ­as sobre proyectos.

PĂĄgina 7

Tabla de contenido PrĂłlogo ...................................................................................................... 11 PresentaciĂłn ............................................................................................. 13 Contenido y organizaciĂłn del manual ..................................................... 15 CapĂ­tulo 1 Fundamentos del monitoreo y la evaluaciĂłn ........................................... 19 1.1 Importancia y funciĂłn del monitoreo y la evaluaciĂłn .............................................21 # $ % & ' .....................................................22 1.3 Monitoreo y evaluaciĂłn en el ciclo del proyecto ....................................................24 1.4 El Monitoreo y la EvaluaciĂłn en la etapa de formulaciĂłn del proyecto ..............25 1.5 La planeaciĂłn a travĂŠs del Marco LĂłgico ..................................................................25 CapĂ­tulo 2 Monitoreo .........................................................................................................29 2.1 PlaneaciĂłn del monitoreo ............................................................................................31 2.2 Formatos para el monitoreo .......................................................................................33 2.3 Desarrollo del monitoreo por niveles de la organizaciĂłn .....................................35 CapĂ­tulo 3 EvaluaciĂłn ........................................................................................................37 3.1 Criterios bĂĄsicos de la evaluaciĂłn ..............................................................................39 3.2 Tipos de evaluaciĂłn .......................................................................................................41 3.3 Desarrollo de la evaluaciĂłn .........................................................................................42 3.4 La evaluaciĂłn participativa ...........................................................................................46 CapĂ­tulo 4 SelecciĂłn de informaciĂłn para el sistema de monitoreo y evaluaciĂłn ...49 4.1 Preguntas de desempeĂąo .............................................................................................51 * $

+ ' ' ......................................................................53 4.3 LĂ­neas base y metas .......................................................................................................59 * * /

' ..................................................................................................60 CapĂ­tulo 5 RecolecciĂłn de informaciĂłn para el monitoreo y la evaluaciĂłn .............61 5.1 Muestreo .........................................................................................................................63 5.2 CategorĂ­as de informaciĂłn ...........................................................................................64 5.3 MĂŠtodos de recolecciĂłn de datos ..............................................................................65 5.4 TĂŠcnicas de ValoraciĂłn Participativa RĂĄpida (VPR) ..................................................73 5.5 CĂłmo mejorar la calidad de la informaciĂłn .............................................................77

Página 8

Monitoreo y Evaluación de Proyectos

Capítulo 6 Análisis y empleo de la información ..............................................................79 6.1 Sistematización y organización de datos ...................................................................81 6.2 Análisis e interpretación de datos ..............................................................................81 6.3 Empleo de la información ............................................................................................84 Capítulo 7 Monitoreo y evaluación en proyectos de incidencia y de emergencia ....87 7.1 Monitoreo y evaluación en proyectos de incidencia ...............................................89 7.2 Monitoreo y evaluación en proyectos de emergencia ............................................93 Referencias ................................................................................................ 97 Anexos ..............................................................................................................99 Anexo I. .....................................................................................................................101 Anexo 2. ......................................................................................................................107 Anexo 3. ......................................................................................................................111 Anexo 4. .....................................................................................................................117 Anexo 5. .....................................................................................................................125

Página 9

Índice de figuras y tablas Figura 1.

M y E en el Ciclo del Proyecto ...........................................................................................24

Figura 2.

Esquema para el “Análisis de las partes interesadas” ....................................................74

Figura 3.

Ejemplo de Diagrama de Venn.............................................................................................75

Tabla 1.

Diferencias entre el monitoreo y la evaluación ..............................................................23

Tabla 2.

Estructura de la Matriz de Marco Lógico .........................................................................26

Tabla 3.

Formatos para plan e informe de monitoreo ..................................................................34

Tabla 4.

Organización de las actividades de monitoreo por niveles de la organización .......36

Tabla 5.

Ventajas y desventajas de evaluaciones externas e internas ........................................42

Tabla 6.

Ejemplo de una matriz de evaluación ................................................................................44

Tabla 7.

Distinción entre evaluaciones convencionales y evaluaciones participativas ...........48

Tabla 8.

Preguntas de desempeño para cada nivel de intervención...........................................51

Tabla 9.

Preguntas e indicadores de proyecto para el sector agua (texto de ejemplo) ........52

Tabla 10.

Pasos para la formulación de indicadores (texto de ejemplo) ....................................54

Tabla 11.

Características de los indicadores .....................................................................................54

Tabla 12.

Resumen de indicadores por nivel de intervención.......................................................58

Tabla 13.

Indicadores, Líneas Base y Metas (texto de ejemplo) ....................................................60

Tabla 14.

Diferencias entre información cualitativa y cuantitativa ...............................................64

Tabla 15.

Cuadro resumen de métodos de recolección de datos ...............................................72

Tabla 16.

Errores comunes en la recolección de información ......................................................77

Tabla 17.

Tabla resumen de recomendaciones .................................................................................85

Tabla 18.

Ejemplo de Estrategia de Difusión .....................................................................................86

Tabla 19.

Tabla guía de indicadores para estrategias de incidencia ..............................................91

Tabla 20.

Preguntas e indicadores en un proyecto de atención humanitaria.............................95

Pรกgina 11

Prรณlogo

as actividades de monitoreo se realizan durante el periodo de ejecuciรณn de un proyecto y estรกn a cargo fundamentalmente del equipo que lo estรก ejecutando, sirven sobre todo para averiguar si se estรกn logrando los objetivos y los resultados esperados, y si es necesario mo

;< = +

L

Las actividades de evaluaciรณn se realizan en un momento determinado, estรกn a cargo fundamentalmente de un experto o de un equipo externo al proyecto, y sirven sobre todo para entender si el proyecto cumpliรณ con los criterios de pertinencia, =

Sin embargo, a pesar de las diferencias, se trata de dos caras de la misma moneda. Ambas actividades estรกn orientadas a aprender de la experiencia pasada, a travรฉs de la formalizaciรณn de las lecciones =

= & mejorar la formulaciรณn y la ejecuciรณn de nuevos proyectos, por un lado, y de orientar las polรญticas y las programaciones futuras, por el otro. Por eso su importancia nunca se evidenciarรก lo > donantes como a los demรกs actores involucrados en la formulaciรณn de las polรญticas y la realizaciรณn de los proyectos de cooperaciรณn internacional para el desarrollo para que no escatimen esfuerzos y recursos para el monitoreo y la evaluaciรณn.

PĂĄgina 12

Monitoreo y EvaluaciĂłn de Proyectos

Este manual es una herramienta de mucha utilidad para los dirigentes y los operadores que trabajan

=< = ' ? @ diariamente el desafĂ­o de diseĂąar y realizar proyectos con un impacto relevante sobre la calidad de vida de miles de hombres y mujeres; para los cuales la cooperaciĂłn internacional representa una oportunidad concreta de tener acceso a servicios educativos y sanitarios de buena calidad, disponer de microcrĂŠdito, oportunidades de ingresos, o fortalecer sus organizaciones de base. Este manual representa ademĂĄs uno de los resultados concretos de un esfuerzo, interinstitucional e internacional, orientado a la creaciĂłn de una escuela y de un centro de excelencia para la formaciĂłn de jĂłvenes especialistas latinoamericanos que decidieron dedicar su vida profesional a la cooperaciĂłn para el desarrollo. K < ! = = ? mas de monitoreo y evaluaciĂłn sean efectivos, es necesario que cumplan por lo menos con los requisitos y principios generales que se mencionan a continuaciĂłn: - Viabilidad: no es oportuno diseĂąar sistemas en extremo complejos, que normalmente requieren una enorme cantidad de tiempo y recursos humanos y materiales. La experiencia nos indica que estos sistemas se resuelven muy a menudo + = < N trario, es recomendable concentrar la atenciĂłn sobre una pequeĂąa cantidad de procesos e indicadores y asegurar que se cumpla cabalmente

con el levantamiento de la informaciĂłn esencial para medirlos de manera simple y efectiva. - AdopciĂłn de una polĂ­tica orgĂĄnica de evaluaciĂłn:

;< una organizaciĂłn decide evaluar cierta cantidad de los proyectos que realiza y las modalidades operativas para hacerlo. - FormaciĂłn: mĂĄs allĂĄ de los especialistas, que son necesarios y aseguran un valor agregado importante, todo el personal que trabaja en un proyecto tiene que contar con una formaciĂłn esencial sobre los conceptos, las metodologĂ­as > & ? a monitoreo y evaluaciĂłn. - ParticipaciĂłn: todas las partes interesadas de un proyecto tienen que involucrarse en la realizaciĂłn de las actividades de monitoreo y evaluaciĂłn y, sobre todo, tener la oportunidad de conocer sus informes y demĂĄs productos para opinar sobre ellos. - SistematizaciĂłn y retroalimentaciĂłn: hay que garantizar el acceso de todos los operadores de una organizaciĂłn que trabaja en la cooperaciĂłn para el desarrollo a la informaciĂłn producida. La disponibilidad y la circulaciĂłn de la informaciĂłn representan una herramienta importante para aprender de la experiencia, evitar asĂ­ los errores del pasado y aprovechar las buenas prĂĄcticas para el futuro. Carlo Tassara1

1. Experto, asesor y docente de cooperaciĂłn internacional. Profesor de Monitoreo y evaluaciĂłn de la Escuela Latinoamericana de CooperaciĂłn y Desarrollo (ELACID) y de Estrategias para la cooperaciĂłn internacional de la Universidad La Sapienza de Roma.

Pรกgina 13

Presentaciรณn

l monitoreo y la evaluaciรณn son reconocidos como dos fases fundamentales del ciclo del proyecto por todos los actores de la cooperaciรณn al desarrollo, incluidas las ONG, pero estas < = & = = como su modus operandi. Urgencias o cargas de trabajo excesivas se imponen y no consienten dedicar tiempo y recursos adecuados a la recopilaciรณn y el anรกlisis de datos para el monitoreo regular de los proyectos; otras veces, resistencias a poner en tela de juicio las propias acciones y ' ! o internos, obstaculizan una verdadera cultura de la evaluaciรณn, percibida errรณneamente como un + < =W ? diรกlogo, un veredicto no negociable, una intrusiรณn para robar poder, etc.

E

Por lo tanto, es absolutamente importante acercar conceptos y sobre todo herramientas para que las ONG puedan aplicarlos en su diario accionar al comprender el gran valor del monitoreo y la evaluaciรณn como oportunidad de aprendizaje y apertura a nuevas perspectivas de mejoramiento de la gestiรณn y organizaciรณn del trabajo. El โ Manual de monitoreo y evaluaciรณn de las ONG de Forum Solintโ (Gosparini, Russo, Sirtori y Valmarana, 2004) ostenta la gran calidad de surgir de la experiencia de las ONG y de estar basado en sus realidades.

PĂĄgina 14

Monitoreo y EvaluaciĂłn de Proyectos

Cuando me preguntaron sobre apoyar a Jaqueline Berumen en la construcciĂłn de un nuevo manual a partir de la revisiĂłn y actualizaciĂłn del Manual del Forum Solint aceptĂŠ la invitaciĂłn con mucho gusto, porque creĂ­a que algo faltaba en el Manual del Forum Solint que habĂ­a encontrado en el Manual “Sharpening the Development Process: a practical guide to Monitoring and Evaluationâ€? (Bakewell, Adams y Pratt, 2003), publicado por The International Training and Research Center X YZN [ = @ ! el concepto de informaciĂłn, base fundamental de cualquier sistema de Monitoreo y EvaluaciĂłn (MyE). La construcciĂłn de este nuevo manual ofre W =

! + sobre la posible fusiĂłn de estos dos enfoques, y fue acogida con gran entusiasmo e interĂŠs por Jaqueline Berumen, especialmente en nuestros encuentros de apasionado intercambio durante los dĂ­as en Cartagena en la Escuela Latinoamericana de CooperaciĂłn y Desarrollo (ELACID). N = ! @ ? dos manuales nace el acompaĂąamiento al lector, ? '

cuestiones hasta la elaboraciĂłn de indicadores y

herramientas de recopilaciĂłn de datos, utilizando dos supuestos del enfoque participativo: la triangulaciĂłn y la ignorancia Ăłptima (no recoger mĂĄs informaciĂłn de la que se necesita o se puede analizar); estas llaves de lectura son esenciales para guiar a los operadores de ONG que luchan todos los dĂ­as con recursos limitados para recopilar y analizar datos en los sistemas de monitoreo, o a los evaluadores que en un corto plazo tienen que ejecutar la evaluaciĂłn general de un proyecto. El trabajo exhaustivo de investigaciĂłn realizado = \ ? ] > validez de esta perspectiva de integraciĂłn entre enfoques, sino que la ha enriquecido y ampliado con otros enfoques y herramientas, explorando < = = ; este nuevo manual a un producto innovador. Al mismo tiempo, esta investigaciĂłn se ha convertido en una importante colecciĂłn de material sobre MyE, a disposiciĂłn del lector en el CD-ROM anexo, otro valor agregado de este manual que esperamos pueda devenir una herramienta de trabajo < >

/ ual del Forum Solint. Silvia Favaron2

2. Evaluadora y docente sobre monitoreo y evaluaciĂłn. Profesora del “International Master Program in Cooperation and Development, Institute for Advanced Studyâ€? (IUSS), Pavia, Italia.

PĂĄgina 15

Contenido y organizaciĂłn del manual

or mucho tiempo prevaleciĂł la ingenua convicciĂłn de que un proyecto de “ayudaâ€? social, al ser producto de buenas intenciones, garantizaba buenos resultados. Sin embargo, la experiencia en el campo de la cooperaciĂłn y el desarrollo ha demostrado que no basta la buena voluntad: en ocasiones los proyectos no generan los efectos deseados o incluso pueden llegar a tener impactos negativos sobre la poblaciĂłn y el medio en el que intervienen. Los procesos sociales son difĂ­ciles de predecir, por lo que debemos estar preparados para cuando las cosas no salgan exactamente como lo planeamos. Si bien esto puede parecer un escenario bastante incierto, es tambiĂŠn una oportunidad para aprender de los procesos, adaptarse al cambio, desarrollar soluciones creativas y propiciar que el mismo aprendizaje sea un resultado positivo de la intervenciĂłn, que sirva a la organizaciĂłn, a la teorĂ­a y a la experiencia, y de forma mĂĄs importante a @ ? las instituciones y personas involucradas en estas intervenciones dediquen una atenciĂłn especial al diseĂąo y seguimiento de la intervenciĂłn al igual que a la evaluaciĂłn de sus efectos e impactos.

P

Los procesos de MyE nos permiten medir el impacto real, como un proceso de introspecciĂłn y autocrĂ­tica en el que podamos mejorar nuestra acciĂłn y promover una mayor calidad de los pro-

PĂĄgina 16

Monitoreo y EvaluaciĂłn de Proyectos

yectos. Asimismo, permiten demostrar los logros, en medio de un contexto en el que hay poca ^ = venciones de la cooperaciĂłn para el desarrollo. La participaciĂłn y solidaridad de la poblaciĂłn general en estos procesos de cambio dependen en buena parte de nuestra capacidad de demostrar que es posible lograr un avance hacia mayor bienestar y equidad en la sociedad. Esto sĂłlo se puede hacer midiendo y evaluando nuestra acciĂłn, adoptando los aprendizajes y difundiendo los resultados. El presente manual ha sido elaborado con el objetivo de proporcionar una herramienta bĂĄsica que sirva de guĂ­a para el monitoreo y la evaluaciĂłn de proyectos sociales. Busca reunir, en un solo lugar, conceptos, descripciones de procesos y herramientas que permitan facilitar el MyE, asĂ­ como mejorar su calidad para que los proyectos logren impactos sociales positivos y sostenibles. El manual estĂĄ formulado y dirigido a personas involucradas en el diseĂąo y la implementaciĂłn de programas y proyectos: personal de Organizaciones No Gubernamentales (ONG), que incluye a directores y equipo de proyecto en el lugar de implementaciĂłn, asĂ­ como a coordinadores y dirigentes en las sedes principales; personal de agencias de cooperaciĂłn internacional; servido =< ; estudiantes. La informaciĂłn del manual ha sido reunida de diversas fuentes. Al tener el objetivo de adaptar y profundizar los contenidos del “Manual de monitoreo y evaluaciĂłn de las ONGs de Forum Solintâ€? (Gosparini et al., 2004), gran parte de la informaciĂłn incluida aquĂ­ ha sido retomada de este manual. Otras secciones se han elaborado con base en la informaciĂłn del libro “Sharpening the Development Process, guide to Monitoring and Evaluationâ€? (Bakewell, 2003), publicado por INTRAC. Se ha hecho una recopilaciĂłn de la in@ & ' < = sos y publicaciones disponibles, pero se invita a

consultar los documentos, investigaciones, guĂ­as, manuales y recursos en lĂ­nea incluidos para ahondar mĂĄs en los contenidos. El Manual estĂĄ dividido en dos partes. La primera secciĂłn revisa de forma general el monitoreo y la evaluaciĂłn, enfocĂĄndose en la parte conceptual y operativa. Esta revisiĂłn se hace en los primeros tres capĂ­tulos. En el capĂ­tulo 1 se desarrollan los fundamentos conceptuales y la importancia del monitoreo y la evaluaciĂłn. Se describe ademĂĄs la inclusiĂłn del MyE en el ciclo del proyecto, haciendo particular ĂŠnfasis en la etapa de formulaciĂłn. Si bien la intenciĂłn de este manual es servir de guĂ­a para el MyE (y no para el diseĂąo general de los proyectos), aquĂ­ se hace un breve resumen del diseĂąo de proyectos a travĂŠs de la metodologĂ­a de Marco LĂłgico. Esto debido a la importancia de la calidad en la etapa de formulaciĂłn para todo el MyE que se realizarĂĄ durante la vida del proyecto. El capĂ­tulo 2 & = W el Monitoreo, desde un enfoque mĂĄs operativo. Se describen las principales preguntas que se han de responder cuando se hace la planeaciĂłn del monitoreo y se ofrecen algunas herramientas para facilitar su desarrollo. El capĂ­tulo 3 se enfoca en la evaluaciĂłn, profundizando mĂĄs sobre algunos conceptos bĂĄsicos como criterios y tipos de evaluaciĂłn. Asimismo, aquĂ­ se describe el proce ' de los tĂŠrminos de referencia, la selecciĂłn del evaluador, la elaboraciĂłn del plan de evaluaciĂłn, > @ _ evaluaciĂłn participativa y sus principales caracterĂ­sticas y ventajas. La segunda parte del manual profundiza mĂĄs sobre el sistema de MyE. Los siguientes tres capĂ­tulos se enfocan a detallar los componentes y medios para la selecciĂłn, la recolecciĂłn, el anĂĄlisis y el uso de la informaciĂłn. AsĂ­, en el capĂ­tulo 4, se desarrollan

=

de informaciĂłn: las preguntas de desempeĂąo, los indicadores, las lĂ­neas base, las metas y los medios

PĂĄgina 17

' ` capĂ­tulo 5 se profundiza @ las categorĂ­as de informaciĂłn y se explica el proceso de muestreo. Posteriormente se presenta una lista de los distintos mĂŠtodos de recolecciĂłn de datos, y se describe brevemente cada uno, sus ventajas y sus desventajas. Se presentan asimismo algunas tĂŠcnicas complementarias de valoraciĂłn = = ' &=

` < pĂ­tulo se dan algunos consejos para mejorar la calidad de la informaciĂłn. En el capĂ­tulo 6 se describe el proceso necesario para el anĂĄlisis de la informaciĂłn obtenida: sistematizaciĂłn, organizaciĂłn, interpretaciĂłn y recomendaciones. TambiĂŠn se hace una revisiĂłn del empleo y la difusiĂłn de la informaciĂłn. Finalmente, en el capĂ­tulo 7 del manual, se des = = W / ` = =

=< = en emergencias. AquĂ­ se describen las principales diferencias y posibles obstĂĄculos en el diseĂąo, el monitoreo y la evaluaciĂłn de este tipo de intervenciones. Se incluyen recomendaciones y ejem= / ` = W = tipo de proyectos. Los anexos del manual buscan profundizar el contenido y proporcionar insumos adicionales que puedan facilitar el trabajo de MyE. Se incluyen entonces un glosario, formatos de MyE, algunas guĂ­as de indicadores, ejemplos de un marco lĂłgico, el plan y el informe de monitoreo correspondientes.

CapĂ­tulo 1 Fundamentos del monitoreo y la evaluaciĂłn

Fundamentos del monitoreo y la evaluaciĂłn

1.1 Importancia y funciĂłn del monitoreo y la evaluaciĂłn Es bien sabido que la implementaciĂłn de un programa o proyecto social o de desarrollo, de atenciĂłn humanitaria, de fortalecimiento de capacidades o de incidencia no garantiza por sĂ­ mismo la consecuciĂłn de los objetivos planteados ni un impacto positivo en la vida de las personas. Las buenas intenciones, los programas o proyectos de ; { por sĂ­ solos no garantizan resultados positivos. Para aumentar las posibilidades de efectividad de cualquier programa o proyecto social es necesario contar con un diseĂąo y una planeaciĂłn cuidadosos, = = ' MyE apropiados. Si bien la planeaciĂłn adecuada

= @ ; + inalterable: si nuestro proyecto no estĂĄ funcionando o si las circunstancias han cambiado, los planes deben cambiar tambiĂŠn. El MyE permite darnos cuenta si los planes estĂĄn fallando o si hay ; ' ! oportunidad de analizar y tomar decisiones sobre

? > = El monitoreo y la evaluaciĂłn generan informaciĂłn para mejorar la acciĂłn, reorientarla o hacer una planeaciĂłn futura mucho mĂĄs asertiva y efectiva. Sin un monitoreo y una evaluaciĂłn efectivos, no =

+ & encaminando en la direcciĂłn correcta, si el progreso o los cambios logrados se deben a nuestra = W > en la planeaciĂłn a futuro (Programa de Naciones Unidas para el Desarrollo [PNUD], 2009). El monitoreo y la evaluaciĂłn sirven para: - Mejorar el desempeĂąo: permiten la detecciĂłn de problemas de un proyecto en etapas iniciales de la implementaciĂłn, y de es-

PĂĄgina 21

ta forma reducen las posibilidades de fracaso y ahorran recursos y tiempo al posibilitar la adopciĂłn oportuna de medidas correctivas. - Fortalecer la toma de decisiones y la planeaciĂłn: permiten aprender de los logros y las

= ~ de decisiones y al diseĂąo de iniciativas presentes o futuras (para suspender, reformular o multiplicar un proyecto). Asimismo, permiten aproximar los proyectos a la realidad y a los resultados alcanzables. - Contribuir al aprendizaje: permiten a la organizaciĂłn y a los involucrados en el proceso aprender de la experiencia, con lo cual no sĂłlo se mejoran las acciones posteriores sino que se contribuye al aprendizaje institucional y al aprendizaje social. - Avanzar hacia el empoderamiento: el monitoreo y la evaluaciĂłn permiten fortalecer las capacidades de la poblaciĂłn involucrada, de los socios locales, del equipo encargado de la ejecuciĂłn y de la misma organizaciĂłn, ya que favorece el conocimiento de la problemĂĄtica, de los procesos y de las estrategias. - Mejorar la rendiciĂłn de cuentas: permiten a las organizaciones responsables informar a de los recursos y el impacto de los proyectos. ` = " @ = =< y polĂ­tico de las iniciativas. - Contribuir al conocimiento general: el anĂĄlisis de la evaluaciĂłn permite compartir con otros, difundir los aprendizajes y las mejores prĂĄcticas, contribuyendo al conocimiento general de los procesos y proyectos de desarrollo. Esto puede servir tanto a la misma organizaciĂłn como a otras organizaciones o instituciones gubernamentales y acadĂŠmicas.

Pรกgina 22

Monitoreo y Evaluaciรณn de Proyectos

1.2 De๏ฌ niciones bรกsicas de monitoreo y evaluaciรณn El monitoreo es un proceso continuo y sistemรกtico para obtener y analizar informaciรณn sobre el avance hacia la consecuciรณn de las metas y obje ' = ` ' = = yecto y de su primer impacto a travรฉs del proceso de recolecciรณn de datos y de sus anรกlisis, informe y uso de la informaciรณnโ (Gosparini et al., 2004). El monitoreo es un proceso continuo durante toda la vida de un proyecto y proporciona a las personas involucradas los insumos necesarios para

= ; =

dades y amenazas, de manera que se faciliten los ajustes al proyecto y se direccionen. El monitoreo nos sirve, entre otras cosas, para conocer: - Si los recurs ~ - Si el personal encargado de la ejecuciรณn tiene =

~ - Si el plan de trabajo ha sido implementado en los tiempos y en la forma planeada; - Si las actividades realizadas son coherentes con los planes de trabajo; - Si estamos progresando para avanzar hacia los resultados u objetivos propuestos; - Si la respuesta de la poblaciรณn involucrada en las actividades del proyecto es positiva; - Si hay participaciรณn y aceptaciรณn de las actividades y los procesos, y - Si existen circunstancias o eventos inesperados. La evaluaciรณn = mรกs sistemรกtica y objetiva posible, de un proyecto ^ = + cuciรณn o resultados. Su propรณsito es determinar la pertinencia y el cumplimiento de los objetivos,

^ = y la sostenibilidad (Organisation for Economic Development /Development Assistance Commitee [OECD/DAC], 2002). La evaluaciรณn, ademรกs de determinar la medida en que se ha logrado el cumplimiento de los objetivos de un proyecto ya ^ = = X [ = ~ W ' > = ^ ย ' to fundamental para la toma de decisiones, pues = !

gias del propio trabajo, proporcionando valiosos insumos para la planeaciรณn futura. Los criterios bรกsicos para la evaluaciรณn de un proyecto tienen que ver con la pertinencia (de los =

@ = [ ciencia (de los procesos de conversiรณn de insumos [ X ? "

= yecto puede producir los resultados esperados), el impacto (cรณmo contribuye a la introducciรณn de cambios a largo plazo) y sostenibilidad (permanencia o durabilidad de los cambios introducidos). Como se puede ver, el monitoreo y la evaluaciรณn estรกn interrelacionados pero son procesos distintos. Mientras que el monitoreo es un proceso continuo y permanente en la ejecuciรณn del proyecto, la evaluaciรณn se realiza en periodos establecidos, entre lapsos mรกs largos. El monitoreo es un proceso continuo de anรกlisis, observaciรณn y sugerencias de ajustes para asegurar que el proyecto estรฉ encaminado a alcanzar su objetivo. La evaluaciรณn, por su parte, permite la formulaciรณn de conclusiones acerca de lo que se observa a una escala mayor, del diseรฑo del proyecto y sus impactos (Ortegรณn, Pacheco y Prieto, 2005). Los procesos de monitoreo y de evaluaciรณn son complementarios: la evaluaciรณn depende en gran medida de la informaciรณn reportada y recolectada de forma periรณdica a travรฉs de los sistemas de monitoreo. Sin embargo, cada proceso tiene @ = W ! ;

@ fundamentales que se resumen en la Tabla 1.

Fundamentos del monitoreo y la evaluaciĂłn

PĂĄgina 23

Tabla 1. Diferencias entre el monitoreo y la evaluaciĂłn Monitoreo

EvaluaciĂłn ValoraciĂłn mĂĄs profunda enfocada en el aprendizaje y la rendiciĂłn de cuentas. Enfoque en los resultados, objetivos e impacto mĂĄs amplio y a largo plazo. InformaciĂłn proviene de la recolecciĂłn de datos para el monitoreo, para la lĂ­nea base, etc.

FunciĂłn

InformaciĂłn para la gestiĂłn del proyecto.

Enfoque

RevisiĂłn del progreso del proyecto.

Insumos

Levantamiento de datos/informaciĂłn.

Tiempo

Continuo, durante toda la implementaciĂłn del proyecto.

Responsable

Equipo responsable del proyecto.

PresentaciĂłn

PresentaciĂłn directa con base en formatos estandarizados.

DifusiĂłn

Entre el equipo del proyecto y los usuarios.

` = W = Evaluadores internos o externos al proyecto (o a la organizaciĂłn ejecutora). PresentaciĂłn menos estandarizada y enfocada en menos temas, pero analizados con mayor profundidad. MĂĄs amplia: partes involucradas, donantes, opiniĂłn =<

Fuente: ElaboraciĂłn propia con base en informaciĂłn de Gosparini et al., 2004.

Otros instrumentos Existen otras actividades de revisiĂłn de proyectos ? @ = W @ ? particular, y por lo tanto no deben confundirse con el monitoreo y la evaluaciĂłn. Estas son: - AuditorĂ­a: valoraciĂłn de los procesos y procedimientos administrativos para asegurar el

@ respeto a las polĂ­ticas, normas y criterios previamente establecidos. El objetivo de la auditorĂ­a se limita a examinar la conformidad con las obligaciones contractuales. La pregunta guĂ­a de la auditorĂ­a es: ÂżEstamos siguiendo los procedimientos adecuados? - Estudio de factibilidad: es una valoraciĂłn crĂ­tica de una propuesta de proyecto con el ' -

nanciamiento e implementaciĂłn. La valoraciĂłn estĂĄ encaminada a determinar la pertinencia, '

" socioeconĂłmica, asĂ­ como la sostenibilidad prevista de la propuesta. - RevisiĂłn: es una valoraciĂłn periĂłdica de todo el diseĂąo metodolĂłgico del proyecto para retroalimentar la planeaciĂłn y la gestiĂłn y hacer recomendaciones de acciones correctivas. Una revisiĂłn puede devenir en una evaluaciĂłn sobre > ; ' profundidad y de anĂĄlisis. - InvestigaciĂłn: < ? & = fundo y sistemĂĄtico para desarrollar un tema = W neralmente la investigaciĂłn documental sirve de insumo para la evaluaciĂłn, pero por sĂ­ sola =

PĂĄgina 24

Monitoreo y EvaluaciĂłn de Proyectos

Figura 1. M y E en el Ciclo del Proyecto

s %VALUACIĂ˜N Y EMPLEO DE LOS RESULTADOS

s -ONITOREO 2ECOLECCIĂ˜N

!NÉLISIS Y 3ISTEMATIZACIĂ˜N DE $ATOS

s )NCORPORAR APRENDIZAJES DE OTROS PROYECTOS

EvaluaciĂłn

EjecuciĂłn y Seguimiento

IdentificaciĂłn

DiseĂąo o FormulaciĂłn

s $EFINICIONES DE LA -ETODOLOGIA DE -Y%

s $ISEĂ—O DEL 3ISTEMA DE -Y%

Fuente: ElaboraciĂłn propia con base en ComisiĂłn Europea (CE), 2002

1.3 Monitoreo y evaluaciĂłn en el ciclo del proyecto En esta secciĂłn analizamos el papel del monitoreo y la evaluaciĂłn en el proceso de diseĂąo y desa = Z ' y los principios bĂĄsicos de la formulaciĂłn y la planeaciĂłn del proyecto con base principalmente en la metodologĂ­a del marco lĂłgico. Si bien este tema por sĂ­ solo conformarĂ­a un manual, es necesario mencionarlo para poder comprender todo el proceso de MyE en cada nivel de la lĂłgica de intervenciĂłn del proyecto. El proceso de diseĂąo y desarrollo de un proyecto puede resumirse de manera sencilla en el Ciclo del Proyecto. Este ciclo consiste en una serie de pasos estrechamente vinculados entre sĂ­ y acomodados = ?

ciĂłn del problema, la planeaciĂłn del proyecto, su ejecuciĂłn y seguimiento, y la evaluaciĂłn que nor &

de futuros proyectos (ver Figura 1).

En el ciclo del proyecto, el MyE se debe considerar desde la etapa de diseĂąo y formulaciĂłn, planeando los componentes del proyecto de tal forma que se tomen en cuenta, se faciliten y garanticen procesos de MyE. La etapa de planeaciĂłn y diseĂąo es crucial para todo el desarrollo del proyecto, pues sistema de MyE, estableciendo claramente la informaciĂłn disponible antes de la intervenciĂłn (lĂ­nea base) y determinando las necesidades de informaciĂłn (a travĂŠs de la formulaciĂłn de indicadores) que permitan ir midiendo avances, efectividad e impacto. N + = plan de MyE = = = W cĂłmo se deberĂĄn organizar las actividades, responsabilidades y recursos para realizar el monitoreo durante el desarrollo del proyecto. Este monitoreo se realizarĂĄ periĂłdica y sistemĂĄticamente durante todo el tiempo de implementaciĂłn del proyecto. Esto implica el seguimiento de las actividades y revisiĂłn de los objetivos, asĂ­ como la recolecciĂłn, sistematizaciĂłn y anĂĄlisis de

Fundamentos del monitoreo y la evaluaciĂłn

datos. Posteriormente, se lleva a cabo el proceso de evaluaciĂłn, como una etapa misma del ciclo del proyecto. La evaluaciĂłn producirĂĄ informaciĂłn que es fundamental para la rendiciĂłn de cuentas, la implementaciĂłn de recomendaciones y mejorar el desempeĂąo. Estos aprendizajes pueden ser valiosos tanto para determinar las necesidades de reformulaciĂłn del mismo proyecto o para ser considerados en la formulaciĂłn de otros proyectos.

1.4 El Monitoreo y la EvaluaciĂłn en la etapa de formulaciĂłn del proyecto Los primeros pasos de MyE se toman desde la etapa de formulaciĂłn del proyecto. En esta etapa, las personas que formulan el proyecto tienen la responsabilidad de asegurar que su diseĂąo lo haga evaluable y que disponga de un buen sistema de MyE. Un proyecto bien diseĂąado, con una cadena de efectos clara, serĂĄ fĂĄcilmente monitoreado y evaluado. Un proyecto que no cumpla con esta caracterĂ­stica muy probablemente fallarĂĄ en la consecuciĂłn de sus objetivos (o en la demostraciĂłn de los mismos). Asegurar la evaluabilidad es por lo tanto el primer control de calidad que se debe realizar sobre los documentos de formulaciĂłn de un nuevo proyecto. Incluye cuatro momentos principales, que se recomienda asegurar en la etapa de diseĂąo: - Que la lĂłgica de intervenciĂłn sea coherente y clara, que el diseĂąo de los resultados, los objetivos, las actividades y las estrategias estĂŠ

„ … / ` @ ; tivo con relación a los resultados y objetivos del proyecto, y que existan los medios para ' '

PĂĄgina 25

- Que los planes del proyecto prevean actividades de monitoreo y evaluaciĂłn adecuadas, y que exista un plan de monitoreo y evaluaciĂłn con mĂŠtodos, procedimientos y personas res=

- Que las lecciones y las buenas prĂĄcticas aprendidas de los proyectos anteriores se incluyan en el proyecto actual.

1.5 La planeaciĂłn a travĂŠs del Marco LĂłgico Existen distintos enfoques para la planeaciĂłn de proyectos o programas de desarrollo, siendo algunos de los mĂĄs comunes el Enfoque de Marco LĂłgi X`/Â [ Objetivos (ZOPP, por su sigla en alemĂĄn) y la GestiĂłn Basada en Resultados (GBR)3. En este manual, nos centraremos en el Enfoque de Marco LĂłgico, por ser uno de los mĂĄs ampliamente utilizados por diversos donantes bilaterales y multilaterales y por facilitar el diseĂąo, la ejecuciĂłn de los proyectos y procesos paralelos de MyE. La MetodologĂ­a de Marco LĂłgico es un enfoque de anĂĄlisis, diseĂąo, planeaciĂłn, ejecuciĂłn y evaluaciĂłn de proyectos que busca, a travĂŠs de una matriz, resumir de manera global la lĂłgica de funcionamiento de todo un proyecto o programa. Esta metodologĂ­a estĂĄ basada en la planeaciĂłn por objetivos y orientada a facilitar la participaciĂłn de los ; = Â ^ = > < = >

{ = = ; ^ = & de desempeĂąo del proyecto, puntos de referencia e indicadores. Al determinar los indicadores y sus =

' blecen las condiciones para futuras evaluaciones y ajustes al proyecto. Esto ayuda a formular, desde un inicio, el plan de MyE del proyecto que incluye el proceso de evaluaciĂłn (OrtegĂłn et al., 2005).

3. Para un anĂĄlisis mĂĄs detallado sobre los distintos enfoques de gestiĂłn de proyectos de desarrollo, ver el capĂ­tulo 1 del manual “FormulaciĂłn de proyectos: enfoques, procesos y herramientasâ€? (LondoĂąo, 2009), en donde se explican los antecedentes histĂłricos, las herramientas y las caracterĂ­sticas principales de cada uno.

Pรกgina 26

Monitoreo y Evaluaciรณn de Proyectos

Tabla 2. Estructura de la Matriz de Marco Lรณgico

LOGICA VERTICAL

LOGICA HORIZONTAL

Lรณgica de Intervenciรณn Objetivo General + ' ` = W Resultados Actividades

Indicadores

/

Medios

Costes

Supuestos

Condiciones Previas

` ;W = ' > < = =

@ ย =

= < te en cuatro tipos de anรกlisis: el de involucrados, el de problemas, el de objetivos y el de estrategias. Cada uno de estos anรกlisis se puede desarrollar a travรฉs de talleres y ejercicios participativos con la poblaciรณn involucrada4. En la etapa de planeaciรณn, estos anรกlisis se retoman para diseรฑar el proyecto y el plan operativo para su ejecuciรณn. Todo este trabajo de diseรฑo se resume en la matriz de marco lรณgico (ver Tabla 2), que sintetiza lo que el proyecto pretende hacer (Resultados, Objeti' = W + ' ; [ ' a hacer (Actividades), cuรกles son los supuestos claves (Hipรณtesis) y cรณmo serรกn monitoreados y ' X

_ ' [ los insumos y productos del proyecto.

1.5.1 La lรณgica de inter venciรณn La lรณgica de intervenciรณn indica la estructura de todo el proyecto y permite analizar las relaciones de causalidad de forma vertical: - Objetivo general ย + ' = W - Resultados - Actividades

Las actividades que se llevarรกn a cabo para producir los resultados; los resultados que se producen a partir del proyecto permitirรกn la realizaciรณn del + ' = W ' ^ ^ = ; + ' = W = & + ' ; ` < = > = = ? cunstancias ajenas al proyecto que deben existir para que puedan implementarse las actividades y puedan producirse los resultados y objetivos = W + ' ; N se describen de forma breve los componentes de esta lรณgica vertical. Objetivo general: es la descripciรณn de la contribuciรณn del proyecto a un problema mรกs amplio (sectorial, regional o nacional). El objetivo general, " = te el contexto y la problemรกtica general en la cual el proyecto se introduce, y describe el impacto que se espera tener en el largo plazo. Se espera ? = ; ' = = ? = W & = ; X

' = yectos o medidas, desde distintos actores, pueden =

[ Ob responde al problema cen

@

? ? ; =

4. Para mรกs informaciรณn ver: CE, 2002; Food and Agriculture Organisation [FAO], 2001; Guijt y Woodhill, 2002, y Ortegon et al., 2005. Varios ejemplos sobre los ejercicios de รกrbol de problemas, asรญ como tipos de Marco Lรณgico se pueden encontrar en Fundaciรณn CIDEAL, 2001.

Fundamentos del monitoreo y la evaluaciĂłn

` " = = ` + ' = W estĂĄ dirigido a reducir las causas que generan el problema central que el proyecto busca resolver. Resultados: son los componentes que deberĂĄ = = ' ^ ^ de vida. Si se producen los resultados, se podrĂĄ ^ + ' = W = ` una formulaciĂłn correcta, todos los resultados = ;

+ ' = W @ ; = conseguirlo. Si un resultado planteado depende mås de factores externos que del propio proyecto, no es un resultado adecuado. Los responsables del proyecto deben responder por la consecución de cada uno de los resultados. Un objetivo o resultado correctamente planteado, debe ser: „ ` = W X

@ = ticular deseada). - Medible. - Realista en el contexto y con los recursos disponibles. - Pertinente (responde a los problemas pre

> ; ' [ „ K =

@ > lĂ­mite de cumplimiento. Actividades: son todas las acciones que se deberĂĄn llevar a cabo para producir los resultados = = teriales y humanos. Las actividades dependerĂĄn de las estrategias seleccionadas en el diseĂąo del proyecto. Deben ser realistas en tiempo y recursos y considerar el contexto local, asĂ­ como las condiciones previas necesarias. Los tĂŠrminos empleados por distintos donantes para cada nivel de la lĂłgica de intervenciĂłn pueden ' ` =

PĂĄgina 27

de la ComisiĂłn Europea, por ser una de las mĂĄs utilizadas en la cooperaciĂłn internacional. Sin embargo, es recomendable tener en cuenta que existen diferencias en la terminologĂ­a de cada organizaciĂłn o donante: algunos denominan al Objetivo general como Fin, Finalidad (CIDA, DFID) u Objetivo de desarrollo (PNUD). Los Objetivos = W = " + ' diatos (PNUD) u Objetivos del proyecto (SIDA). Finalmente, los resultados tambiĂŠn son denomi < = X K% ] Mundial, CIDA y DFID). La lĂłgica horizontal de la matriz permite evaluar o medir los alcances del proyecto y es, por lo tanto, la parte central del monitoreo y de la evaluaciĂłn. EstĂĄ formada por: Indicadores: son descripciones operativas de los objetivos y resultados del proyecto en tĂŠrminos de cantidad, calidad, grupos metas, tiempo y localizaciĂłn. Los indicadores sirven para medir y dar seguimiento a lo que queremos lograr con el proyecto, presentando informaciĂłn necesaria para determinar el progreso hacia el logro de las metas establecidas. Los indicadores de actividades se representan con los recursos y medios empleados para llevar a cabo las actividades. Por ser un componente fundamental del sistema de MyE, los indicadores se verĂĄn con mayor detalle en el capĂ­tulo 4. establecen en dĂłnde y cĂłmo se pueden obtener los datos y comprobar la informaciĂłn para el cĂĄlculo de los indicadores. Supuestos o hipĂłtesis: a partir de un anĂĄlisis

; y polĂ­ticos que pueden limitar o hacer que fracase el proyecto, se desarrollan los supuestos, expresados como hipĂłtesis positivas que deben cumplirse para poder avanzar en las actividades, resultados y objetivos. Los supuestos son externos: no dependen ni pueden ser controlados por el proyecto. El MyE debe prestar especial atenciĂłn

Página 28

Monitoreo y Evaluación de Proyectos

al cumplimiento de las hipótesis pertinentes y darles seguimiento a lo largo del proyecto, y en la evaluación revisar si han cambiado las hipótesis planteadas en un principio. El tener en cuenta las hipótesis ayuda a revisar y prever lo necesario para una mayor viabilidad del proyecto y sostenibilidad de sus resultados e impacto. Como ya se mencionó, un diseño de calidad de la Matriz de Marco Lógico es fundamental para poder llevar a cabo un monitoreo y una evaluación adecuados y pertinentes. Si el diseño de la lógica de intervención no es claro y los indicadores están mal formulados, el proceso de MyE será sumamente complejo y será muy difícil para el equipo y el responsable del proyecto analizar el = ; =

de cambios en la acción.

CapĂ­tulo 2 Monitoreo

Monitoreo

En esta secciĂłn se revisa el monitoreo desde una perspectiva general, y se enfoca sobre todo en sus caracterĂ­sticas y procesos operativos. El diseĂąo del sistema de MyE se basa en la selecciĂłn de la informaciĂłn que serĂĄ requerida durante todo el proceso posterior de seguimiento y evaluaciĂłn del proyecto, asĂ­ como en la recolecciĂłn de los datos, su sistematizaciĂłn y su anĂĄlisis. Dada su importancia, estos temas se verĂĄn con mayor detalle en los capĂ­tulos 4, 5 y 6. El monitoreo es una continua comprobaciĂłn de la ejecuciĂłn del proyecto de acuerdo a lo planeado y de su impacto inicial a travĂŠs del proceso de recolecciĂłn y anĂĄlisis de los datos, de elaboraciĂłn de los informes y del uso de la informaciĂłn. Es un proceso continuo y estructurado de obtenciĂłn y anĂĄlisis de datos e informaciĂłn que involucra ; ^ proyecto. El monitoreo debe ser visto como un proceso integral de la ejecuciĂłn del proyecto, que se lleva a cabo de forma paralela a las actividades, las cuales son revisadas y actualizadas constante y sistemĂĄticamente durante toda la vida del proyecto. El monitoreo estĂĄ entonces tan ligado a las mismas actividades del proyecto que en muchas ocasiones es visto como una labor cotidiana de la implementaciĂłn y no como un proceso independiente y adicional.

2.1 PlaneaciĂłn del monitoreo Para realizar un seguimiento adecuado del proyecto, se recomienda contar con un plan de monitoreo que debe ser acordado entre los invo X = [ hacerse desde la etapa de diseĂąo del proyecto, pensando estratĂŠgicamente tanto en los procesos de monitoreo como en los de evaluaciĂłn. Esto es fundamental para que puedan considerarse los recursos necesarios y para posibilitar la operaciĂłn del monitoreo desde el inicio de las actividades. Este marco debe facilitar el monitoreo sistemĂĄtico y debe responder a las siguientes preguntas:

PĂĄgina 31

ÂżQuĂŠ polĂ­ticas y procesos deben guiar el monitoreo? ` = ; detalles acerca del procedimiento de monitoreo. N ; ; ? ' la priorizaciĂłn que tendrĂĄ el MyE en el proyecto, las = W ; ^ / `

= = & = W ? ' " ? & utilizadas, quiĂŠn lo prepara y quiĂŠn lo lleva a cabo. N ? " = / ` ; & = = otros involucrados en el proyecto.

ÂżQuĂŠ tipo de informaciĂłn serĂĄ necesaria? ÂżQuĂŠ se va a monitorear? Es fundamental discutir con los responsables y = ? " @ requiere y determinar las preguntas y los indicadores relevantes para obtenerla. Si bien la selecciĂłn de los indicadores es importante desde la planeaciĂłn, no siempre se podrĂĄn determinar todos los indicadores desde el inicio del proyecto, y serĂĄ necesario irlos adaptando conforme ĂŠste se desarrolle. La informaciĂłn que se determine para el monitoreo serĂĄ esencial para la evaluaciĂłn = tres categorĂ­as que corresponden a diferentes

- InformaciĂłn sobre la ejecuciĂłn de las actividades planeadas y nivel de participaciĂłn

= = gestiĂłn cotidiana de los proyectos sobre el terreno. Estos datos se obtienen con un monitoreo sistemĂĄtico sobre la marcha que permite

= surgen. - InformaciĂłn sobre los resultados obte

= = comprobar los avances y revisar los planes de trabajo. Esta informaciĂłn se puede obtener a

PĂĄgina 32

Monitoreo y EvaluaciĂłn de Proyectos

travĂŠs de un monitoreo periĂłdico, que permita analizar los problemas y obstĂĄculos principales y sugerir medidas correctivas. - InformaciĂłn sobre la consecuciĂłn del ob para revisar la lĂłgica de intervenciĂłn y el avance hacia la transformaciĂłn de problemas. Para este tipo de informaciĂłn se realiza el monitoreo en momen = W '

= X caso, a travĂŠs de evaluaciones intermedias), de manera que pueda sugerir ajustes en el diseĂąo o la intervenciĂłn.

ÂżQuiĂŠnes serĂĄn los responsables de levantar la informaciĂłn? Desde la etapa de diseĂąo, es necesario que las funciones y procedimientos del monitoreo sean conside ;< ; ; ^ del proyecto. Dependiendo del tipo de informaciĂłn que se vaya a recolectar, las fuentes y los mĂŠtodos, habrĂĄ distintas personas responsables de reunirla. La asignaciĂłn de responsabilidades debe estar clara y ser aceptada por todos los que van a intervenir. Es necesario determinar si las actividades de monitoreo y evaluaciĂłn serĂĄn realizadas por personal en terreno, por personal externo al proyecto (de la misma organizaciĂłn) o por personas externas ; ^ ` = & ^ administrativa, la credibilidad, la objetividad, el conocimiento del proyecto y el potencial para utilizar los resultados. No debe olvidarse que un proceso de monitoreo requiere recursos humanos capacitados, ; ? = = = ; recursos para la capacitaciĂłn del personal.

ÂżQuĂŠ presupuesto se requiere para las actividades de monitoreo? ` = yecto para el monitoreo y la evaluaciĂłn y asignar

= = = W = '

Se recomienda considerar los costos de personal e instalaciones, talleres y reuniones de capacitaciĂłn y costos de la recolecciĂłn de datos (dependiendo de la tĂŠcnica que se emplee, se deberĂĄn contemplar los recursos humanos y materiales necesarios).

ÂżCĂłmo se recolectarĂĄ la informaciĂłn? ÂżQuĂŠ mĂŠtodos se emplearĂĄn para llevar a cabo las actividades de monitoreo? `! < = " > = la recolecciĂłn de informaciĂłn, la selecciĂłn de las mĂĄs adecuadas dependerĂĄ de la naturaleza del proyecto, asĂ­ como de la capacidad del personal y de los involucrados, entre otros factores. Al decidir sobre la tĂŠcnica para obtener informaciĂłn, es bueno tener en cuenta que dicha herramienta serĂĄ empleada de forma sistemĂĄtica y periĂłdica, dado que el monitoreo es un proceso continuo. Tener esto en mente ayudarĂĄ tambiĂŠn a considerar la disponibilidad de recursos humanos y materiales.5

ÂżCuĂĄndo se planea la realizaciĂłn de las actividades de monitoreo? Si bien el monitoreo es un proceso continuo y sistemĂĄtico durante toda la vida del proyecto, la recolecciĂłn de datos debe ser realista, lo cual implica asegurar que la frecuencia y la cantidad de herramientas y datos requeridos no se vuelva una carga para los responsables del proyecto o = ; ; comienda una mayor frecuencia para indicadores y datos de proceso y una menor frecuencia para obtener informaciĂłn acerca del efecto o impacto del proyecto. Los cambios sociales por lo general toman mucho tiempo, e intentar comprobar los @ @

ver la diferencia de un momento a otro. En la mayor parte de los casos, la informaciĂłn sĂłlo es

5. Para mĂĄs informaciĂłn sobre los distintos tipos de mĂŠtodos de recolecciĂłn de datos, ver el capĂ­tulo 5.

Monitoreo

relevante cuando permite ver una tendencia, lo cual puede observarse solo a partir de la recolecciĂłn de datos en distintos momentos de la vida del proyecto (Bakewell et al., 2003).

ÂżQuiĂŠnes se encargarĂĄn de organizar y analizar la informaciĂłn? En la mayor parte de los casos, el personal a cargo de la ejecuciĂłn del proyecto es el responsable de organizar y analizar la informaciĂłn obtenida del monitoreo. Sin embargo, dependiendo de la organizaciĂłn, diferentes personas tendrĂĄn un rol distinto en el anĂĄlisis de los datos. De tal forma que el personal sobre terreno podrĂĄ tener la funciĂłn de organizar la totalidad de la informaciĂłn y hacer un primer nivel de anĂĄlisis, mientras que el personal de ; ^ X paĂ­s o regiĂłn) se encargarĂĄ de hacer un anĂĄlisis de la informaciĂłn seleccionada y previamente analizada (Bakewell et al., 2003).

PĂĄgina 33

un inicio quiĂŠn puede y quiere estar involucrado; asĂ­ como aclarar las expectativas de los participantes en los procesos. Un buen monitoreo sĂłlo se podrĂĄ efectuar si los involucrados lo consideran importante y valioso. Por esto, es recomendable que se tomen en cuenta los intereses de los bene = desde la etapa de diseĂąo y preparaciĂłn.

2.2 Formatos para el monitoreo Como ya se mencionĂł, el proceso de monitoreo involucra a distintos actores; sin embargo, el personal responsable de la ejecuciĂłn sobre el terreno es el que debe llevar el registro de las actividades y los resultados. Esta labor puede facilitarse si se tienen herramientas para registrar la informaciĂłn, tales como: - Formatos del Plan de Monitoreo

ÂżCĂłmo se emplearĂĄn los resultados del monitoreo?

- Formatos de reporte estandarizados (para in@ ' [

La difusiĂłn de los resultados del monitoreo es importante para el aprendizaje, pues sirve tanto para el mejoramiento del proyecto en ejecuciĂłn como para proyectos futuros. Por lo tanto, es fundamental que el plan de monitoreo contemple mecanismos, tiempos y recursos de difusiĂłn de resultados, de lecciones aprendidas y de mejores prĂĄcticas (Bakewell et al., 2003). Asimismo, al diseĂąar el plan de monitoreo se recomienda considerar e incluir los riesgos posibles que pueden presentarse durante el proceso. El anĂĄlisis y la difusiĂłn de resultados se explicarĂĄn con mĂĄs detalle en el capĂ­tulo 6.

- Reportes y minutas de reuniones

ParticipaciĂłn de las partes involucradas en el proceso de monitoreo

Como vemos, existen diversos formatos que pueden ayudar a organizar las actividades del monitoreo, asĂ­ como los tiempos, recursos y objetivos de las mismas. Estos formatos pueden ser elaborados con la periodicidad que se estime necesaria (mensual, semestral, etc.). Es importante desarrollar instrumentos y prĂĄcticas de monitoreo que respondan a las estructuras y estrategias de

El monitoreo debe contar con la participaciĂłn de las partes implicadas en el proyecto de tal forma que estĂŠn involucradas en su diseĂąo y ejecuciĂłn desde el comienzo y comprendan claramente sus =

- Reportes de visita - Reportes de las actividades de recolecciĂłn de datos - Diarios del equipo, en donde se registra infor

'

= W de monitoreo - Registro del proyecto por medios diversos como fotografĂ­as o notas en medios de comunicaciĂłn (prensa, entrevistas, video)

PĂĄgina 34

Monitoreo y EvaluaciĂłn de Proyectos

intervenciĂłn de cada organizaciĂłn, adaptando los formatos de acuerdo a las necesidades del propio proyecto u organizaciĂłn. En la Tabla 3 se muestran dos ejemplos de for ? = < = =

diseĂąo de un plan de monitoreo y el segundo para un registro o informe de monitoreo, los cuales = = ;<

cada organizaciĂłn6.

Tabla 3. Formatos para plan e informe de monitoreo Plan de monitoreo Nombre del Proyecto: DuraciĂłn del Proyecto: Equipo del Proyecto: LĂłgica de IntervenciĂłn

Indicadores

Responsable

Actividades

Tiempos

Y " = < @ @ ? = = ;<

; ^

Nombre del Proyecto: TĂŠcnica: LĂłgica de IntervenciĂłn

Registro o Informe de Monitoreo Fecha: Fuente: Periodo de Informe: Indicadores

Estado de Avance

Comentarios o Recomendaciones

Fuente: Tassara, 2010

El registro de los resultados del monitoreo se puede organizar de acuerdo a la lĂłgica de intervenciĂłn del proyecto, ordenando los indicadores para cada nivel y reportando sobre los avances y resultados de cada uno. En los comentarios y observaciones se pueden incluir explicaciones de la diferencia entre lo planeado y lo logrado, asĂ­ como recomendaciones de cambios en el sistema

de MyE (ya sea en los indicadores, la tĂŠcnica de recolecciĂłn de datos o la revisiĂłn de la fuente). N = @ + @ to se puede hacer un anĂĄlisis esquemĂĄtico del progreso logrado en el periodo, los puntos que se deben cuidar, las condiciones externas que es W = = de los indicadores y la utilidad de los mĂŠtodos

6. Ver tambiĂŠn el Anexo 4, donde se encuentran un ejemplo de un plan y un formato de monitoreo.

Monitoreo

de recolecciĂłn de datos. Con este resumen se =

? cuidar y hacer recomendaciones para cambios en la implementaciĂłn y en el sistema de monitoreo. De esta forma, el monitoreo puede servir no solo para alimentar la evaluaciĂłn, sino tambiĂŠn para la toma de decisiones en el dĂ­a a dĂ­a.

2.3 Desarrollo del monitoreo por niveles de la organizaciĂłn Por lo general, el monitoreo de una organizaciĂłn se realiza en tres niveles diferentes: - Equipo del proyecto sobre terreno - Coordinadores nacionales o regionales - Responsables de la sede principal (por sec & ; ; & [ Distintos niveles de gestiĂłn son responsables de distintos tipos y actividades de monitoreo, de acuerdo a las necesidades de informaciĂłn de la organizaciĂłn. Cada ĂĄrea determinarĂĄ quĂŠ actores deben estar involucrados y las tĂŠcnicas de recolecciĂłn de datos mĂĄs adecuadas. Generalmente, conforme los reportes del monitoreo son enviados a niveles mĂĄs altos de la organizaciĂłn la

@ &

= da. En cada ĂĄrea se analiza la informaciĂłn recibida y se incluye un nuevo anĂĄlisis.

Nivel del equipo del proyecto sobre terreno El primer nivel del monitoreo es responsabilidad del director y de los administradores del proyecto, que mantienen actualizados los documentos de registro y los archivos administrativos y de gestiĂłn. La informaciĂłn obtenida se resume en un formato de informe de monitoreo, aproximadamente cada mes o cada tres meses. El propĂłsito principal del monitoreo en este nivel es el de apoyar la gestiĂłn cotidiana a travĂŠs de la reuniĂłn de datos sobre

PĂĄgina 35

las actividades diarias, para tener la informaciĂłn requerida en anĂĄlisis posteriores (ya sea en este nivel o en el de los coordinadores regionales o nacionales).

Nivel de coordinadores nacionales o regionales ` ; ' na de coordinaciĂłn (del paĂ­s o regiĂłn), que se basa en los informes y reportes entregados por los responsables del proyecto y otros materiales relacionados con la planeaciĂłn. En esta etapa se hace una primera apreciaciĂłn de la estrategia de ejecuciĂłn, se revisan avances y limitantes y se sugieren posibles medidas correctivas para el seguimiento. A partir de este anĂĄlisis, los coordinadores deciden si es necesario llevar a cabo misiones de monitoreo para visitar los proyectos que presentan problemas. Este tipo de monitoreo pretende valorar la efectividad de las actividades, los avances hacia la sostenibilidad del proyecto, el sentido de apropiaciĂłn

=

+ institucional y de gestiĂłn operativa, y la coherencia y complementariedad con otras acciones realizadas en la misma regiĂłn o paĂ­s. Permite ademĂĄs generar conclusiones generales sobre la ejecuciĂłn

= hacer recomendaciones para el siguiente periodo

+ Y @ < breve informe para los directores del proyecto y para la sede principal. Este informe revisa los cro ; =

es necesaria una extensiĂłn del plazo del proyecto o una reasignaciĂłn del presupuesto.

Nivel de sede principal Â

' ^ informes que llegan del proyecto y los transmite = = < = = organiza misiones al lugar del proyecto con el objetivo de revisar la lĂłgica global de intervenciĂłn

; = @ = -

Pรกgina 36

Monitoreo y Evaluaciรณn de Proyectos

blemas que se hayan presentado. Estas misiones " = < = '

= ย de hacer o no una misiรณn sobre terreno dependerรก de la duraciรณn, el presupuesto del proyecto, la importancia estratรฉgica de la iniciativa o la di =

La Tabla 4 ayuda a tener una idea sobre cรณmo se pueden distribuir las actividades del monitoreo bajo la responsabilidad de distintos actores comprometidos en la gestiรณn del proyecto, desde el terreno hasta la sede principal.

Tabla 4. Organizaciรณn de las actividades de monitoreo por niveles de la organizaciรณn Informes

Frecuencia

Contenido Avances en el desarrollo Registros y reportes Regulares (mensual Apoyar la gestiรณn cotidel proyecto, participade monitoreo o trimestral) diana Calidad de los resultaApreciar los avances dos y coherencia con un Lapsos intermedios hacia los resultados pla- programa mรกs amplio Informes sintรฉticos (de trimestrales a neados y analizar cambios u otros proyectos de la semestrales) en los planes de acciรณn misma regiรณn. Respuesta

Apreciar la pertinencia Revisiรณn del proyecto, del proyecto o de la coherencia con estrategia Informes generales Anuales lรณgica de intenciรณn y de la organizaciรณn, impachacer recomendaciones a futuro Fuente: Gosparini et al., 2004

Finalidad

Responsables Directores y administradores del proyecto y equipo Coordinador/a a nivel regional o nacional

Director/a de la organizaciรณn

Capítulo 3 Evaluación

EvaluaciĂłn

La evaluaciĂłn es una apreciaciĂłn, lo mĂĄs sistemĂĄtica y objetiva posible, de un proyecto en curso o ya realizado, de su planeaciĂłn, ejecuciĂłn y resultados. Su propĂłsito es determinar la pertinencia, = + ' ^ = = y la sostenibilidad (OECD/DAC, 2002). La evaluaciĂłn se construye a partir del monitoreo periĂłdico y puede efectuarse en diferentes momentos del ciclo del proyecto, o incluso aĂąos despuĂŠs de completada la acciĂłn (en el caso de evaluaciones de impacto o sustentabilidad)(Ortegon et al., 2005). Una buena evaluaciĂłn se caracteriza por: - Ser imparcial y transparente - Tener credibilidad: ofrece informaciĂłn con

! entre resultados, conclusiones y recomendaciones.

PĂĄgina 39

- Pertinencia: estĂĄ relacionada con la formulaciĂłn del proyecto, esto es, quĂŠ tanto el diseĂąo de la intervenciĂłn responde a las necesidades

busca avanzar hacia la soluciĂłn de los proble

' a la consistencia de diseùo de acuerdo a la situación local y a las prioridades de desarrollo. Algunos factores para tomar en cuenta y asegurar la pertinencia de la acción son: „ cación y selección de grupos meta „

=

; = - ParticipaciĂłn de las partes interesadas locales en la fase de formulaciĂłn y en el ciclo del proyecto en general. - Calidad del Marco LĂłgico, incluyendo las > = ;

- Ser Ăştil: contribuye oportunamente al proceso de decisiĂłn de aprendizaje organizativo y de los involucrados.

- Realismo en la selecciĂłn de los objetivos y de los servicios que se pretende ofrecer.

- Tener elementos participativos: + intereses, necesidades y percepciones de las partes involucradas.

- ApreciaciĂłn de las capacidades locales de absorciĂłn y de ejecuciĂłn.

relaciĂłn equilibrada entre el - Retroalimenta la toma de decisiones y el aprendizaje organizativo y social: a travĂŠs del anĂĄlisis de la informaciĂłn y la difusiĂłn de los resultados.

3.1 Criterios bĂĄsicos de la evaluaciĂłn La evaluaciĂłn sirve para revisar si un proyecto estĂĄ funcionando y si se estĂĄn logrando los objetivos planteados. Esta valoraciĂłn del avance y la calidad del proyecto se fundamenta en cinco criterios bĂĄsicos (OECD/DAC 2002):

„ !

=

- Coherencia con otras iniciativas de desarrollo en el mismo paĂ­s, regiĂłn o sector.

proyecto produce los resultados esperados y = ; + ' = W del proyecto. Se valoran: „  @ ?

+ ' = W @ tores externos. - La capacidad de gestión para asegurar que los resultados conseguidos permitan lograr + ' = W „  = = rios.

PĂĄgina 40

- Los efectos potenciales obtenidos sobre los temas transversales (en diferentes casos podrĂĄn ser, por ejemplo, temas de gĂŠnero, medio ambiente, fortalecimiento de capacidades, etc.)

que se inscribe el proyecto, es decir, tomando en cuenta el papel de otros actores y variables sociales, econĂłmicas, polĂ­ticas y medioambientales nacionales o globales. El anĂĄlisis del impacto normalmente se concentra en:

brindan y gestionan los servicios y se realizan las actividades previstas del modo mĂĄs apropiado de acuerdo con los medios, recursos y tiempo disponibles para producir los resultados = ` & tra en la calidad de la gestiĂłn del proyecto y en el uso de la alternativa econĂłmicamente mĂĄs efectiva para conseguir los mismos resultados. Este anĂĄlisis se puede hacer a partir de:

- La medida en la cual se han logrado los objetivos globales y el aporte del proyecto para su consecución. „  @ ! ? >

bre el impacto global. - El impacto no planeado del proyecto. - Los posibles efectos a largo plazo del proyecto y su sostenibilidad. - El impacto del proyecto sobre temas transversales.

- Gestión del presupuesto. „ = = ' ;< el cronograma establecido. - Aprovechamiento de los recursos locales e involucramiento y alianzas con otros actores. - Calidad de los procedimientos y las pråcticas. „ N & = ' relación con otros proyectos similares. - Impacto: @ = (positivos y negativos; intencionales o no; directos e indirectos) sobre los grupos meta o bene W @ ; < = & ; ; & ` = ; ' = " nico, económico, sociocultural e institucional. El impacto estå vinculado a la relación entre el + ' = W + ' ; proyecto (aunque algunos donantes u organiza = = ^ ' + ' = W [ ` = tener en cuenta que en este nivel el proyecto es sólo una de muchas variables que contribuyen a un resultado mås amplio. Así, el impacto se ' <

! ;

- Sostenibilidad:

cual los impactos de la intervenciĂłn tienen la posibilidad de continuar despuĂŠs del cierre

= % ' < ; = ? = dar continuidad a los objetivos del proyecto (desarrollando actividades, gestionando apoyos, incidiendo en el gobierno local, etc.) aun despuĂŠs de la salida del personal del proyecto. Este criterio es muy amplio, y la importancia relativa de los diferentes temas depende de la naturaleza del proyecto y de su relaciĂłn con el contexto local. Los anĂĄlisis de sostenibilidad pueden centrarse en: - Sentido de apropiaciĂłn de los objetivos por parte de las personas involucradas (dependerĂĄ en parte de su participaciĂłn en el diseĂąo y la ejecuciĂłn del proyecto). - Sostenibilidad institucional la medida en la = = terĂ­sticas de las organizaciones o instituciones locales y en la capacidad de ĂŠstas de desempeĂąar su papel despuĂŠs del cierre del proyecto. si los servicios pueden seguir funcionando cuando se agoten los fondos externos, y si se genera una

EvaluaciĂłn

PĂĄgina 41

capacidad local para sostener los gastos de operaciones despuĂŠs del cierre del proyecto.

factibilidad o mejorar el diseĂąo del proyecto que se pretende implementar.

- Sostenibilidad sociocultural si el proyecto tiene en cuenta el contexto social y cultural, asĂ­ como la percepciĂłn local de las necesi Y " ' otras partes interesadas han aceptado y adoptado los cambios producidos por el proyecto.

- EvaluaciĂłn sobre la marcha: se realiza durante la ejecuciĂłn del proyecto para evaluar las actividades del proceso mientras estas se

= la introducciĂłn de ajustes.

- Sostenibilidad tĂŠcnica si la tecnologĂ­a y el conocimiento brindados se concilian con las tradiciones, capacidades, conocimientos > ! ciarios pueden mantener la tecnologĂ­a adquirida sin asistencia externa.

- EvaluaciĂłn al cierre: ^ = ^ ; resultados y efectos tempranos de la intervenciĂłn.TambiĂŠn puede dar recomendaciones para intervenciones futuras.

3.2 Tipos de evaluaciĂłn En el marco de un proyecto, programa, sector o paĂ­s se pueden hacer diversos tipos de evaluaciones. De forma general, se suelen dividir las evaluaciones en formativas y sumativas. Las evaluaciones formativas son evaluaciones intermedias y periĂłdicas sobre el desempeĂąo del proyecto, se consideran formativas porque su objetivo bĂĄsico es mejorar el desempeĂąo del proyecto. La evaluaciĂłn sumativa o postproyecto examina el impacto

= ' ^ ? > ^ !

{ ;

nes introducidas como resultado del monitoreo u otras evaluaciones, y el alcance en cuanto al objetivo de desarrollo del proyecto.TambiĂŠn existen las evaluaciones o apreciaciones de impacto, que valoran los efectos positivos o negativos de un proyecto o programa sobre individuos, hogares, instituciones o el medio ambiente. Estas evaluaciones pueden medir impactos de mediano o largo plazo. Otras distinciones de los tipos de evaluaciones son las siguientes:

Por etapas en el ciclo del proyecto - EvaluaciĂłn Ex ante: es un anĂĄlisis del contexto, de estudios preliminares o de intervenciones anteriores que permitan valorar la

- EvaluaciĂłn ex post: se realiza despuĂŠs (desde meses hasta varios aĂąos despuĂŠs) de concluido el proyecto, evaluando los resultados con la intenciĂłn de valorar el impacto del proyecto en el largo plazo y deducir indicaciones para futuras intervenciones similares.

Por agente - AutoevaluaciĂłn: la realizan personas involucradas directamente en la ejecuciĂłn del proyecto. Las autoevaluaciones se llevan a cabo para fortalecer las capacidades internas y empoderar el equipo del proyecto y los socios locales. Existe una modalidad de autoevaluaciĂłn asistida, en la que un externo apoya las acciones de evaluaciĂłn, pero ĂŠsta es realizada por los actores locales, fomentando su empoderamiento. - EvaluaciĂłn interna: la realizan personas que forman parte del equipo de la organizaciĂłn, pero que son externas al proyecto. - EvaluaciĂłn externa: La realizan personas externas al proyecto y a la organizaciĂłn (sin ;< " [ Â ' ? @ < = !ternas, a menudo se consideran mĂĄs objetivas y se llevan a cabo con = responsabilidad (ver Tabla 5).

PĂĄgina 42

Monitoreo y EvaluaciĂłn de Proyectos

Tabla 5. Ventajas y desventajas de evaluaciones externas e internas EvaluaciĂłn Interna Ventajas - El evaluador conoce la manera de operar de la organizaciĂłn. - Genera menos preocupaciĂłn y rechazo. - Se desarrollan capacidades internas. - Conclusiones y recomendaciones mĂĄs adaptadas a la realidad y por lo tanto mĂĄs fĂĄciles de implementar. Desventajas - Es mĂĄs difĂ­cil mantener una opiniĂłn objetiva frente al proyecto (se pueden evitar valoraciones crĂ­ticas o negativas). - Posibilidad que el evaluador carezca de las capacidades necesarias. - Posible tiempo limitado para comprometerse con la evaluaciĂłn.

Evaluación Externa Ventajas - Al no haber intereses personales, es mås objetiva. „  ; ^ ' - Al ser especialista, el evaluador tiene las capacidades y los conocimientos tÊcnicos necesarios. - Puede dedicarle mås tiempo. Desventajas - El evaluador puede estar descontextualizado sobre las políticas, procedimientos y características de la organización o el entorno. - No siempre se estå en condiciones de dar seguimiento a la efectiva implementación de las recomendaciones. - Por lo general es mås costosa. - Si bien es mås objetiva, tambiÊn puede haber un sesgo del evaluador por quedar bien con la organización y ser menos crítico en las conclusiones.

Fuente: Gosparini et al., 2004.

3.3 Desarrollo de la evaluaciĂłn

- Cuando un proyecto estĂĄ teniendo muchas limitaciones, atrasos o no ha logrado avanzar hacia la consecuciĂłn de los objetivos planteados.

Criterios de selecciĂłn de los proyectos para evaluar

- Cuando un proyecto tiene una larga duraciĂłn.

Por lo general, es difĂ­cil contar con recursos para evaluar todos los proyectos de un programa de una organizaciĂłn. Por otro lado, puede que no sea necesario evaluar todos los proyectos y & ; ' = W sĂłlo algunos (United Nation Educational, Scientifc and Cultural Organization [UNESCO], 2009). Los siguientes son posibles criterios de selecciĂłn de los proyectos a evaluar: - Cuando un proyecto tiene un presupuesto muy alto. - Cuando se estĂĄ proponiendo una segunda fase o una ampliaciĂłn del proyecto. - Cuando un proyecto es considerado nuevo o estratĂŠgico, y se quiere ampliar el conocimiento para mejorar otras acciones futuras.

- Cuando un proyecto se lleva a cabo bajo modalidades operativas particulares (por ejemplo, =

@ [ Al determinar quĂŠ proyecto se va a evaluar, es necesario preguntarse: ÂżQuĂŠ nos interesa evaluar en particular? ÂżSe quiere evaluar todo un proyecto o sĂłlo un componente? ÂżSe quieren evaluar todos los temas del proyecto o sĂłlo una estrategia o tema transversal del mismo?

PlaneaciĂłn de la evaluaciĂłn Es fundamental que el ĂĄmbito de la evaluaciĂłn sea claro desde un inicio, para asegurar resultados y = < bien las evaluaciones pueden enfocarse en distintos aspectos o temas; por lo general, se centran en un proyecto, un programa, un sector, una estrategia, un tema transversal o en las relaciones

EvaluaciĂłn

de una organizaciĂłn. Este manual se centra en el MyE de proyectos, pero los criterios y principios pueden ser aplicables tambiĂŠn para otros ĂĄmbitos. TambiĂŠn se debe tener claro cuĂĄl serĂĄ el propĂłsito de la evaluaciĂłn, ya sea que estĂŠ en funciĂłn de las necesidades de la agencia implementadora, de la ; ^ ^ Â

de la evaluaciĂłn pueden estar relacionadas con la gestiĂłn del proyecto, para introducir medidas correctivas; con el aprendizaje, para fortalecer el conocimiento de las organizaciones y mejorar el desempeĂąo, o con el fortalecimiento de las capacidades de socios locales, el equipo del proyecto La evaluaciĂłn requiere asignaciĂłn de tiempo y recursos para un trabajo especial, que puede involucrar la participaciĂłn de profesionales especializados no asignados al proyecto. En este caso, la organizaciĂłn que solicite una evaluaciĂłn debe tener claro los objetivos y metodologĂ­as, lo cual se puede facilitar mediante la elaboraciĂłn de tĂŠrminos de referencia y la selecciĂłn adecuada del evaluador.

TĂŠrminos de referencia Los tĂŠrminos de referencia (TdR) son elaborados por la organizaciĂłn que estĂĄ solicitando la evaluaciĂłn, sea ĂŠsta interna o externa. Sirven para guiar toda la evaluaciĂłn al determinar su enfoque y propĂłsito, y lo que se espera del evaluador. Los TdR deben desarrollarse en coordinaciĂłn cercana con = % + tivo (por quĂŠ se realiza la evaluaciĂłn); el alcance (quĂŠ se debe evaluar), y los parĂĄmetros generales para llevarla a cabo (actividades y metodologĂ­a). Los tĂŠrminos de referencia de una evaluaciĂłn por lo general incluyen: informaciĂłn bĂĄsica sobre el proyecto (datos, antecedentes, alcance, caracterĂ­sticas, e informaciĂłn bĂĄsica de la organizaciĂłn que lo implementa); propĂłsito y enfoque de la eva X + ' ; + ' = W [~ metodologĂ­a (parĂĄmetros generales para realizar la evaluaciĂłn: quĂŠ metodologĂ­as se necesita em-

PĂĄgina 43

plear, si se requiere llevar a cabo actividades particulares, preguntas clave, nivel de participaciĂłn de @ @ ' etc.), y condiciones del contrato de evaluaciĂłn (capacidades requeridas en el evaluador, responsabilidades, tiempos y costos).

SelecciĂłn del evaluador Una vez que se tengan los tĂŠrminos de referencia, se puede seleccionar al evaluador o al equipo de evaluaciĂłn. Tanto en una evaluaciĂłn interna como en una externa, es recomendable que el equipo de evaluaciĂłn estĂŠ formado por personas externas y personas involucradas directamente en la ejecuciĂłn del proyecto. En la selecciĂłn del evaluador es importante considerar la combinaciĂłn de cualidades, habilidades (de evaluaciĂłn o de conocimiento " = W [ != Â =

?

= ' ;< caracterĂ­sticas del proyecto, el objetivo de la evaluaciĂłn y los mĂŠtodos seleccionados. En cualquier caso, es necesario lograr un buen equilibrio entre capacidades de evaluaciĂłn, experiencia tĂŠcnicosectorial y conocimiento del contexto local.

Conviene preguntarse si el evaluador‌ - ¿Tiene las capacidades de evaluación solicitadas? - ¿Posee los requisitos de conocimiento tÊcnico-sectorial? - ¿Tiene experiencia en evaluaciones similares? - ¿Tiene una comprensión adecuada del contexto sociocultural local?, ¿habla el idioma local? - ¿Demuestra capacidades de liderazgo y de comunicación? - ¿Tiene capacidad de facilitación y manejo de grupos? - ¿Es asertivo para establecer sus propias con

= & ‰ „ ŠY != " = W cos de la organización (por ejemplo mÊtodos participativos)?

PĂĄgina 44

Monitoreo y EvaluaciĂłn de Proyectos

Plan de trabajo El primer producto elaborado por el evaluador es el plan de trabajo o plan de la evaluaciĂłn, que representa su propuesta para realizar el trabajo, teniendo en cuenta los tĂŠrminos de referencia. Es importante que dicho plan de trabajo sea compartido con el equipo del proyecto, pues es en este momento inicial cuando se puede hacer cambios al plan y asegurar la apropiaciĂłn del proceso de evaluaciĂłn. El plan de trabajo es fundamental, ya que serĂĄ un punto de referencia para todo el desarrollo de la evaluaciĂłn. Se recomienda incluir: - VisiĂłn general del proyecto y del contexto: comprensiĂłn del evaluador del contexto y los antecedentes, del proyecto y de la organizaciĂłn. Esto se desarrolla a travĂŠs de la revisiĂłn de los documentos y de la consulta con el equipo del proyecto. - DiseĂąo metodolĂłgico indicativo: el enfoque de la evaluaciĂłn, los objetivos (generales y espe W [ ; zaciĂłn contratante y a la propuesta del evaluador, y las preguntas de evaluaciĂłn o hipĂłtesis. - Matriz de evaluaciĂłn: reformulaciĂłn de las = ; = W ' de evaluaciĂłn, los indicadores, las fuentes de datos y los mĂŠtodos para su recolecciĂłn (ver Tabla 6). - MetodologĂ­a: es la estrategia para conseguir los objetivos de la evaluaciĂłn, teniendo en

cuenta la informaciĂłn disponible, los tiempos y los recursos. AquĂ­ se incluyen los mĂŠtodos de recolecciĂłn de datos, actividades y explicaciĂłn de los pasos previstos para la evaluaciĂłn. Si hay sistemas de MyE ya diseĂąados y adecuados a las necesidades de evaluaciĂłn, se recomienda que el evaluador los emplee para aprovechar la informaciĂłn existente. - Cronograma de actividades: tareas y fechas lĂ­mite de las fases de evaluaciĂłn (fase de preparaciĂłn, visitas sobre terreno, elaboraciĂłn del informe, presentaciĂłn de los resultados al ? = [ - ComposiciĂłn del equipo de evaluaciĂłn: composiciĂłn (evaluadores, coordinador sobre terreno, asistente de evaluaciĂłn, etc.) y responsabilidades de cada uno. Ă­ndice indicativo de los contenidos del informe de evaluaciĂłn y la estructura de la presentaciĂłn. En este apartado se incluyen tambiĂŠn la extensiĂłn, el tiempo de la ' ; = W =

ImplementaciĂłn de la evaluaciĂłn Una vez que la organizaciĂłn gestora de la evaluaciĂłn haya aceptado el plan de trabajo y se haya seleccionado y conformado el equipo de evaluaciĂłn, se puede comenzar la evaluaciĂłn. Como acciones previas, se recomienda: - Reunir y revisar la informaciĂłn disponible sobre el contexto y sobre el proyecto (propuesta ini-

Tabla 6. Ejemplo de una matriz de evaluaciĂłn Criterios

Preguntas de desempeĂąo

Pertinencia Impacto Sostenibilidad Fuente: Gosparini et al., 2004.

Indicadores

Fuentes de

MĂŠtodos de recolecciĂłn de datos

EvaluaciĂłn

=

@

W W ' ; nes y documentos sobre la problemĂĄtica o el contexto, etc.). - Programar que el evaluador o el equipo realicen al menos una visita previa al lugar del proyecto para recolectar informaciĂłn que no estĂŠ disponible, y para asegurar una contextualizaciĂłn adecuada si el evaluador es externo. En esta visita puede haber una reuniĂłn con las personas que estarĂĄn involucradas en la evaluaciĂłn (responsables de la ejecuciĂłn del proyecto, y quienes darĂĄn la informaciĂłn). - Entregar a los responsables del proyecto el cronograma, los itinerarios y el plan de evaluaciĂłn. - Considerar aspectos logĂ­sticos y organizativos antes de la salida, y planear agendas alternas a partir de un anĂĄlisis de riesgos. - Seleccionar y revisar las tĂŠcnicas para la recolecciĂłn de datos y los distintos mĂŠtodos de evaluaciĂłn, de acuerdo a los resultados de las visitas y reuniones preliminares. Durante el desarrollo de la evaluaciĂłn se recomienda la participaciĂłn activa de diversos acto

? = proyecto, otras organizaciones, donantes y otras partes interesadas, sobre todo del nivel local. El gestor de la evaluaciĂłn deberĂĄ decidir sobre el ' si es pertinente y existen las condiciones necesarias para realizar una evaluaciĂłn participativa. Para guiar el trabajo de la evaluaciĂłn se puede = & X=

= [ = cada uno a los objetivos y estrategias generales = W = =

que el enfoque de la evaluaciĂłn se concentre en una parte del proyecto, un tema transversal, un problema o un solo criterio de evaluaciĂłn (por + = = [

PĂĄgina 45

Al desarrollar la evaluaciĂłn, es posible que el evaluador se enfoque en: - Aspectos tĂŠcnicos y de proceso del proyecto X '

en el uso de los recursos). - Nivel de cumplimiento con la lĂłgica de inter' = ^ = + ' = W + ' ; - Los resultados o impactos que se generaron en relaciĂłn con las intenciones del proyecto. TambiĂŠn es posible que el evaluador establezca puntos de anĂĄlisis mĂĄs pertinentes o alternativos a los diseĂąados en el sistema de MyE del proyecto, puede por ejemplo enfocarse en un tema transversal o una = & = W X ' nivel de cumplimiento con parĂĄmetros de equidad de gĂŠnero, o una evaluaciĂłn para medir el impacto ambiental). Durante el desarrollo de la evaluaciĂłn quizĂĄ sea necesario incluir nuevos parĂĄmetros de

= = no considerados anteriormente y no incluidos en el diseĂąo del proyecto. En este caso, el evaluador puede desarrollar nuevas preguntas de evaluaciĂłn e indicadores que respondan a las necesidades de informaciĂłn que considere mĂĄs importantes.

Indicadores de evaluaciĂłn Los indicadores de evaluaciĂłn sirven para ayudar a respon = ; ' = W ; dar relaciĂłn con la lĂłgica de intervenciĂłn o estar enfocados en nuevas necesidades, problemas o desafĂ­os que han + ' Â

' pueden ser los propuestos en el sistema de MyE durante el diseĂąo del proyecto o pueden construirse despuĂŠs, = W = ' & allĂĄ de los indicadores formulados en el sistema de MyE. La construcciĂłn de indicadores nuevos durante la etapa de evaluaciĂłn normalmente se da cuando se busca iden = = W = = ; ' = versales, los factores de sostenibilidad, los efectos no esperados, la evoluciĂłn de las necesidades o la coherencia del proyecto. Sin embargo, es muy recomendable emplear los indicadores propuestos en el diseĂąo del proyecto, y despuĂŠs, si es necesario, incluir otros indicadores nuevos.

PĂĄgina 46

Monitoreo y EvaluaciĂłn de Proyectos

K ' ^

@ ? ? tendrĂĄ la evaluaciĂłn, se pueden seleccionar y desarrollar los instrumentos necesarios para la recolecciĂłn de datos que permitan reunir la informaciĂłn necesaria. Esta etapa del proceso de evaluaciĂłn es la que requiere mĂĄs tiempo y trabajo, por lo que es fundamental planearla y llevarla a cabo cuidadosamente. DespuĂŠs de la recolecciĂłn de datos, es necesario hacer una recopilaciĂłn y anĂĄlisis de los datos obtenidos y evaluarlos en relaciĂłn con los criterios y objetivos establecidos anteriormente, para poder interpretar los resultados, deducir conclusiones y lecciones aprendidas.7

Informe ďŹ nal de evaluaciĂłn El resultado de todo el proceso de evaluaciĂłn se + @ ' ` coherente con los requisitos de contenido de los tĂŠrminos de referencia y la propuesta del Plan de EvaluaciĂłn. Si bien los informes son extensos, basados en informaciĂłn diversa a partir de las < = @ @ ! del informe debe ser lo mĂĄs claro y conciso posible, e incluir solo la informaciĂłn mĂĄs relevante de la evaluaciĂłn y las recomendaciones a futuro. Esta claridad es importante para que la evaluaciĂłn pueda ser realmente una herramienta de apren

^ + = ; ^ Algunos elementos esenciales que debe considerar un informe de evaluaciĂłn son: - Resumen ejecutivo: en esta secciĂłn se res= ' = ;

los tĂŠrminos de referencia y en la matriz de evaluaciĂłn, y se exponen las principales conclusiones y recomendaciones de la evaluaciĂłn. - MetodologĂ­a: descripciĂłn de la metodologĂ­a usada durante la fase preparatoria de la evaluaciĂłn y de la misiĂłn sobre el terreno, los mĂŠtodos de recolecciĂłn de datos y de anĂĄlisis de la informaciĂłn.

- Resultados de la evaluaciĂłn: es el texto principal del informe. Esta secciĂłn debe responder los objetivos y las preguntas concre > =

" referencia y en la matriz de evaluaciĂłn. AquĂ­ se desarrollan al detalle los resultados de la evaluaciĂłn y las recomendaciones, incluyendo evidencia concreta de la informaciĂłn y las conclusiones. - Conclusiones y recomendaciones: puede < = los criterios de evaluaciĂłn y las recomendaciones en tĂŠrminos del objetivo general del proyecto, los objetivos y las estrategias espe W ? = ? > surgido como importante en los hallazgos de la evaluaciĂłn. - Anexos: TĂŠrminos de Referencia (TdR), cu W ' ; ! "

3.4 La evaluaciĂłn participativa “Es una dimensiĂłn participativa del desarrollo que abarca muchos conceptos similares, involucra a las partes interesadas y a los be = ; = anĂĄlisis colectivo y la evaluaciĂłn del mismo. EstĂĄ centrada en las personas: las partes in = actores clave del proceso de evaluaciĂłn, y no solamente un objeto de esto (PNUD, 1997)â€?.

La experiencia ha demostrado que los proyectos sociales tienen mĂĄs posibilidades de ĂŠxito cuando la poblaciĂłn local se apropia del proyecto y se involucra en los procesos de diseĂąo, implementaciĂłn, monitoreo y evaluaciĂłn. Ya se ha mencionado la importancia de que los proyectos sean diseĂąados e implementados en respuesta a una necesidad expresada por los

7. En el capĂ­tulo 6 se desarrollan en detalle las diversas tĂŠcnicas de recolecciĂłn de datos, y se dan algunas recomendaciones generales tanto para este proceso como para la interpretaciĂłn de resultados.

EvaluaciĂłn

propios implicados. Si las iniciativas responden a una necesidad planteada por la población local, necesariamente las mismas personas deberån determinar " ? " ? ; ' jora sustancial en cuanto a dicha problemåtica. Por eso es fundamental que las personas impactadas por el proyecto participen en determinar los paråmetros del monitoreo y la evaluación. Así, la participación debe ser una parte fundamental y natural del proceso de evaluación, tanto en los procesos de diseùo, como en las actividades de recolección de datos, el anålisis y la evaluación de los resultados y la formulación e implementación de recomendaciones. Algunas de las ventajas de un proceso de evaluación participativo son: - Pro ' = & partidos de resultado y desempeùo. - Fomenta la corresponsabilidad. „ _ ^ = - Crea compromiso entre los involucrados. - Fomenta el aprendizaje, la gestión y otras ca=

- Al incluir a las partes involucradas en el anĂĄlisis de problemas y en la propuesta de soluciones se refuerza el sentido de apropiaciĂłn. Esto genera mayor apertura a las recomendaciones de la evaluaciĂłn y facilita la introducciĂłn de cambios.

Principios bĂĄsicos de la evaluaciĂłn participativa Existen diferentes enfoques de evaluaciones participativas, que comparten ciertos principios bĂĄsicos

PĂĄgina 47

que los distinguen de los enfoques de evaluaciĂłn convencionales: - IntervenciĂłn: el mismo diseĂąo del proyecto lo abre a la participaciĂłn e intervenciĂłn de las personas directamente afectadas por un problema ' Â = debe estar involucrada en todas las etapas de la implementaciĂłn del proyecto, incluso en el seguimiento de las actividades y en la evaluaciĂłn. - NegociaciĂłn: se negocia y acuerda con los ? " & ' asĂ­ como los mĂŠtodos y las herramientas de recolecciĂłn de datos. Por otro lado, las estrategias y los procedimientos para el anĂĄlisis de informaciĂłn y la difusiĂłn de los resultados tambiĂŠn deben retomar los aportes de la poblaciĂłn local. - Aprendizaje: se acuerda con las personas involucradas cĂłmo se retomarĂĄn las lecciones aprendidas para lograr mejoras sustanciales en el futuro. En este proceso, es fundamental tener

@

& nas prĂĄcticas y su promociĂłn, de manera que el aprendizaje permanezca y sea apropiado por - Flexibilidad: los proyectos de desarrollo se afectarĂĄn por una diversidad de factores fuera del control de los responsables. Por lo tanto, es importante estar conscientes de la necesidad de ! adaptarse a cambios inesperados. La evaluaciĂłn participativa se distingue de las evaluaciones convencionales en diferentes aspectos (ver Tabla 7).

PĂĄgina 48

Monitoreo y EvaluaciĂłn de Proyectos

Tabla 7. DistinciĂłn entre evaluaciones convencionales y evaluaciones participativas EvaluaciĂłn Convencional MĂĄs orientadas por el donante y dirigidas a asegurar la responsabilidad y la rendiciĂłn de cuentas.

Evaluación Participativa = = prioridad al aprendizaje y la apropiación. Las partes interesadas deciden sobre los planes de traLas partes interesadas tienen un papel pasivo: proveen la inforbajo, realizan investigaciones, analizan datos y elaboran mación requerida sin participar en el proceso de evaluación. recomendaciones. Énfasis en el proceso: el objetivo no es sólo el de cumplir los requisitos formales, sino tambiÊn desarroEl Ênfasis se concentra en los resultados de la evaluación. =

= ' entorno y actuar con base en esta apreciaciĂłn.

"! = @ - La poblaciĂłn local determina sus propios indicadores ; = = de ĂŠxito. % { ! ; & = DiseĂąo predeterminado: mĂŠtodos convencionales, centrados “saberesâ€?, valores e intereses locales para guiar la en lograr el mayor rigor y objetividad posibles. evaluaciĂłn (empleando por ejemplo la autoevaluaciĂłn y mĂŠtodos simples adaptados a la cultura local). Se emplean mĂŠtodos convencionales, como entrevistas Se emplean mĂŠtodos mĂĄs participativos, como entreestructuradas, mediciones, datos estadĂ­sticos, revisiĂłn de la vistas abiertas, grupos focales y tĂŠcnicas de valoraciĂłn documentaciĂłn, observaciĂłn directa, etc. participativa rĂĄpida. Fuente: ElaboraciĂłn propia con base en diversos documentos de referencia

Es recomendable lograr un equilibrio entre evaluaciones participativas y convencionales, buscando la opciĂłn mĂĄs adecuada con relaciĂłn al proyecto, a las necesidades de evaluaciĂłn y al contexto. AsĂ­, puede ser que en ciertas circunstancias sea mucho & < ' ' = = ' N > ;< @ ?

' = ' = = ' = de ser adaptada al contexto y a las necesidades y combinarse con evaluaciones convencionales. La evaluaciĂłn participativa tiene la desventaja de que suele requerir mĂĄs tiempo y recursos para llevarse a cabo, y por lo general exige mayor capacitaciĂłn y preparaciĂłn por parte del facilitador de la evaluaciĂłn. Existen lĂ­mites a la viabilidad de la evaluaciĂłn participativa. A veces es demasiado = ' en una evaluaciĂłn, ya sea por el contexto, su disponibilidad o una limitada apropiaciĂłn del proyecto (al no haber estado involucrados en todas las etapas de diseĂąo, implementaciĂłn y seguimiento). En este sentido, es importante tener en mente ciertos factores acerca de la participaciĂłn en los procesos de MyE del proyecto (UNESCO, 2009):

„ = ? rrån involucrarse en el proceso de MyE. Esta participación requiere tiempo y energía que no todas las personas estarån preparadas o dispuestas a dar. - Es necesario adaptarse al contexto y a las necesidades de la población. En este caso, se pueden obtener muy buenos resultados empleando y combinando diferentes tÊcnicas y herramientas participativas de obtención de datos y de evaluación. - La participación de la población en la recolección de datos puede, por sí misma, empoderar a los involucrados al asignarles una responsabilidad en el proyecto y fortalecer su formación en las tÊcnicas y habilidades necesarias (investigación, entrevistas, etc.). - Las evaluaciones participativas pueden contribuir a la construcción social de aprendizaje. El proceso de anålisis colectivo sobre un tema en particular puede resultar en una comprensión y un aprendizaje mucho mås profundos, a travÊs de cuestionamientos, diålogos y generación de ideas.

Capítulo 4 Selección de información para el sistema de monitoreo y evaluación

SelecciĂłn de informaciĂłn para el sistema de monitoreo y evaluaciĂłn

En esta secciĂłn veremos en mayor profundidad los procesos y las herramientas necesarias tanto para el monitoreo como para la evaluaciĂłn. El diseĂąo del sistema de MyE se realiza desde el

= X =

> [

y la selecciĂłn del tipo de informaciĂłn que serĂĄ necesaria para el MyE y los medios para obtenerla. Un sistema completo de MyE consta de 6 fases (Guijt y Woodhill, 2002).8 Veamos: # = ; = { $

@ maciĂłn e indicadores 3. Conocer la informaciĂłn base que se requiere 4. Seleccionar los mĂŠtodos de recolecciĂłn de datos ÂŒ = = & = la recolecciĂłn de datos 6. Organizar el anĂĄlisis, la retroalimentaciĂłn y el cambio Â

= W @ =

! = ;

PĂĄgina 51

que se quieren responder (preguntas de desem= { ' [ / `~

cambios que se espera observar (indicadores); la comparaciĂłn de la situaciĂłn inicial (lĂ­nea base) con

X [

= ' ; X

' [

4.1 Preguntas de desempeĂąo < ^

{ sistema de MyE, se pasa directamente de elaborar los objetivos de la intervenciĂłn a la formulaciĂłn de los indicadores. Esto puede ser problemĂĄtico, pues existe el riesgo de perderse en el detalle de los indicadores y su adecuado diseĂąo, y no nos detenemos a pensar por quĂŠ los indicadores que proponemos son de utilidad y de quĂŠ forma podrĂ­an apoyar el proceso de adopciĂłn de decisiones. Formular preguntas de desempeĂąo claves para cada nivel de objetivos (ver Tabla 8), antes de la elaboraciĂłn de indicadores, puede ayudar

; ' ; / ` @ ma que realmente sirva a nuestras necesidades y permita mejorar el desempeĂąo del proyecto (Guijt y Woodhill, 2002).

Tabla 8. Preguntas de desempeĂąo para cada nivel de intervenciĂłn Nivel de intervenciĂłn

Tipo de preguntas

Objetivo general

ÂżQuĂŠ impacto ha tenido la intervenciĂłn del proyecto?

+ ' = W

ÂżQuĂŠ se ha conseguido como consecuencia de los resultados?

Resultado

ÂżQuĂŠ hemos producido como consecuencia de las actividades del proyecto?

Actividad

ÂżQuĂŠ hemos hecho? ÂżLa actividad se lleva a cabo adecuadamente y a tiempo?

8. En esta secciĂłn nos enfocaremos en las primeras tres fases, y las subsiguientes se verĂĄn en los capĂ­tulos 6 y 7.

PĂĄgina 52

Monitoreo y EvaluaciĂłn de Proyectos

En la Tabla 9 presentamos ejemplos de preguntas

= { X; = W [ =

nivel de intervenciĂłn, y los indicadores que se desprenden de ellas.

Tabla 9. Preguntas e indicadores de proyecto para el sector agua (texto de ejemplo) Nivel de intervenciĂłn

Pregunta clave

!

Indicador

Objetivos

- Aumento del % de poblaciĂłn rural en los distritos con acceso al agua potable (del actual 20% al 35%). - ReducciĂłn del tiempo neceÂżCuĂĄles son los efectos del ÂżDe quĂŠ manera el proyecto sario para las mujeres en el ha mejorado el acceso al agua abastecimiento de agua (de 2 uso de/ satisfacciĂłn con los = horas a 30 minutos en los 3 bienes o servicios entregados?

‰ pueblos de referencia para el monitoreo). - Aumento de la cantidad de agua utilizada en cada familia (de 20 a 40 litros).

Resultados

- ÂżCĂłmo son utilizados los resultados fĂ­sicos? - ÂżLos servicios o productos ; @ ;< lo planeado? - ÂżQuiĂŠn utiliza los servicios y productos? - ÂżCuĂĄles capacidades se han creado o fortalecido a travĂŠs de la entrega de los servicios o productos? - ÂżCĂłmo ha cambiado el siste- ma organizativo o estructural? - ÂżCĂłmo funcionan los servicios o productos despuĂŠs del cierre del proyecto?

Actividades

- ¿Se han creado y entregado los servicios o productos ;< = ‰ - ¿Cuåles son los resultados físicos?

Fuente: Gosparini et al., 2004.

ÂżCĂłmo ha mejorado la disponibilidad del agua a nivel comunitario? ÂżSe han desarrollado las capacidades de la comunidad para la operaciĂłn y el mantenimiento (O&M) de los puntos de agua? ÂżCĂłmo se han establecido las capacidades O&M a nivel de distrito?

- Capacidad de entrega de los puntos de agua (2.000 litros por dĂ­a). - ContribuciĂłn comunitaria (20% del total) a los costos de construcciĂłn e implementaciĂłn. - Nivel de contribuciĂłn de los usuarios (1$ por familia/semana). - Al menos el 50% de la manutenciĂłn de los puntos de agua estĂĄ a cargo de la comunidad. - Tipo y calidad de las actividades de O&M realizadas a nivel comunitario. - Al menos el 90% de la manutenciĂłn de los puntos de agua estĂĄ a cargo del distrito.

- ¿Cuåles son los resultados „ < ’ = ; físicos? en función. - ¿Se ha aumentado la dispo„ < ’ "

; ;< rios de agua establecidos. = ‰

SelecciĂłn de informaciĂłn para el sistema de monitoreo y evaluaciĂłn

Una vez formuladas las preguntas, el siguiente paso

@ = =

cadores para cada nivel de intervenciĂłn.

4.2 Indicadores objetivamente veriďŹ cables Los indicadores son las descripciones operativas (cantidad, calidad, grupo meta, tiempo y ubicaciĂłn) de los objetivos de un proyecto (ComisiĂłn Euro= $““$[ Â

= = @ ? ' & ; plimiento de los resultados y objetivos. Estos se formulan a manera del efecto esperado (o cambio que se quiere generar) para cada nivel de la lógica de intervención. En el caso de las actividades, los indicadores se formulan como medios (insumos) y recursos (presupuesto) necesarios. De manera general, los indicadores sirven para: „ ; '

resultados y los objetivos del proyecto. „ _ ^ @ & = W ciĂłn del proyecto, al indicar quĂŠ se quiere lograr, con quĂŠ caracterĂ­sticas, en dĂłnde, en quĂŠ tiempo, para quĂŠ poblaciĂłn, etc. - Medir el avance y los logros permiten saber si efectivamente se estĂĄ realizando lo planeado y conocer el impacto de nuestra acciĂłn. - Informar la toma de decisiones para hacer cambios en el curso de la acciĂłn. - Revisar el desempeĂąo del proyecto y del equipo encargado de su ejecuciĂłn, asĂ­ como los tiempos y recursos disponibles. Los indicadores describen el avance del proyecto y son esenciales para todo su MyE. Una formulaciĂłn correcta de los indicadores es crucial para todo el sistema de MyE, porque funcionan como “mapaâ€?

PĂĄgina 53

= ; '

cesidades y el enfoque para la recolecciĂłn de datos.

FormulaciĂłn de indicadores En la formulaciĂłn de los indicadores, se debe tomar en cuenta que: - Se pueden emplear varios indicadores para cada resultado y objetivo, pero es recomendable usar los menos posibles para = ' > / ` complejo, caro y poco gestionable. En cual? = <

se reduce a medida que se sube en la lĂłgica de intervenciĂłn, con mĂĄs indicadores para resultados y menos para objetivos especĂ­ ; - Usar diferentes tipos de indicadores (cuantitativos y cualitativos) ayuda a medir de mejor forma el avance y el impacto. Los cuantitativos permiten un anĂĄlisis mĂĄs simple y objetivo, mientras que los cualitativos &

@W ' =

mejor el cambio profundo que se estĂŠ dando (PNUD, 2009). „ Â

proceso participativo, para asegurar tanto la apropiaciĂłn del proyecto y de los procesos de MyE, como la efectividad de los mismos. Los principales involucrados en el proyecto tendrĂĄn una idea mĂĄs clara sobre los cam ? = '

y en dónde encontrar la información para medirlos. „  @ ! ? permite que los indicadores sean revisados ante cambios en el contexto y a partir de la experiencia de la implementación del proyecto. - Los indicadores deben poder emplearse en diferentes momentos del proyecto, no sólo ` = @

PĂĄgina 54

Monitoreo y EvaluaciĂłn de Proyectos

metas intermedias que permitan conocer el avance que tenemos para la consecuciĂłn

Para formular indicadores (ver Tabla 10) es necesario considerar los siguientes aspectos para cada re

= + ' = W caso de que sea necesario, para el objetivo general: „  Š? " ‰

- La cantidad: ÂżcuĂĄnto? - La calidad: ÂżquĂŠ? ÂżcĂłmo? - El periodo: Âża partir de cuĂĄndo? Âżpor cuĂĄnto tiempo? - El lugar: Âżen dĂłnde? - El punto de referencia: Âżen comparaciĂłn con quĂŠ o cuĂĄnto?

Tabla 10. Pasos para la formulaciĂłn de indicadores (texto de ejemplo) 1.er Paso

#

2.Âş Paso

Cantidad

3.er Paso

Calidad

4.Âş Paso

Tiempo

Los pequeĂąos agricultores mejoran el rendimiento de la producciĂłn de cafĂŠ. Mil pequeĂąos agricultores (2 hectĂĄreas o menos) aumentan el rendimiento promedio de cafĂŠ en un 30% (pasan de una producciĂłn “xâ€? a “yâ€?). Mil pequeĂąos agricultores (2 hectĂĄreas o menos) aumentan el rendi =

@" ”“• X !– –[ orgånica. Mil pequeùos agricultores (2 hectåreas o menos) aumentan el rendi =

@" ”“• X !– –[ orgånica, entre septiembre de 2009 y septiembre de 2011.

Fuente: elaboraciĂłn propia con base en CE, 2002.

CaracterĂ­sticas de los indicadores Si bien distintos tipos de proyectos requieren indicadores muy diferentes, cualquier indicador de calidad o “inteligenteâ€?9 debe cumplir ciertas caracterĂ­sticas (ver Tabla 11):

Tabla 11. CaracterĂ­sticas de los indicadores Un indicador debe ser: Medible Alcanzable Relevante Enmarcado en el tiempo

El indicador da informaciĂłn sobre los elementos particulares que se quieren

Š… "

? " = ? " ; ‰ `

=

+ ' Puede ser medible tanto un indicador cuantitativo como uno cualitativo. El indicador establece metas realistas y los datos para medirlo estĂĄn disponibles a un costo y esfuerzo razonables. `

' = = = W = objetivo deseado. Uno puede preguntarse: Âżes ĂŠsta la mejor manera de saber si se ha alcanzado el objetivo? El indicador debe expresar plazos y tiempos sobre cuĂĄndo se alcanzarĂĄn las metas.

Fuente: ElaboraciĂłn propia con base en CE, 2002.

9. /NZY = ; " = / N Z ' Y

SelecciĂłn de informaciĂłn para el sistema de monitoreo y evaluaciĂłn

Si bien la selecciĂłn de los indicadores es una parte importante de la planeaciĂłn del sistema de MyE, desarrollado desde la fase inicial del proyecto, no siempre se pueden determinar todos los indicadores desde un principio. Por esto es necesario dejar abierta la posibilidad de que los indicadores formulados se adapten a nuevas circunstancias

!

; ; nuevos indicadores cuando ya el proyecto y el proceso de MyE estĂŠn en marcha. Puede ser que los efectos no planeados de un proyecto hagan necesarios nuevos indicadores para medir el impacto. He aquĂ­ algunas de las razones por las que un indi = + < = X] — ˜ et al., 2003): - La informaciĂłn que se requiere para medir el indicador es demasiado difĂ­cil de obtener = - Factores externos al proyecto generan mĂĄs impacto y cambios en los indicadores que el mismo proyecto. „ > ; ' formaciĂłn del indicador conforme pasa el = = ; ? = yecto no estĂĄ teniendo un impacto notable o que no hay una relaciĂłn directa entre las actividades del proyecto y el indicador.

PĂĄgina 55

Categorías de indicadores Por sus características Cuantitativos: son medidas estadísticas que miden los logros en: „ <mero - Porcentaje - Frecuencia - Tasa (por ejemplo, tasa de mortandad infantil, 100 de cada 1.000) - Proporción (por ejemplo, proporción de mujeres del total de la población) Cualitativos: Z + un comportamiento, una situación o una descripción de cómo se hacen o perciben las cosas. Pueden ser opiniones, actitudes, pråcticas y comportamientos de la población hacia una situación o en relación con un tema. En las personas, los indicadores cualitativos pueden incluir cambios en actitudes, comprensión, conocimiento, sensibilización o empoderamiento. Miden los avances en tÊrminos de: - Cumplimiento con‌. - Calidad de‌. - Las características‌

Ser claros con los temas transversales

- Grado en el que‌

Los temas transversales (gÊnero, empoderamiento, participación, etc.) son fundamentales en la formulación de proyectos y esto se debe tener en conside /™` =

adecuados. De hecho, mientras todos estĂĄn de acuerdo con la promociĂłn de la participaciĂłn o de la igualdad de gĂŠnero, la interpretaciĂłn de estos conceptos puede variar. Por ejemplo, el anĂĄlisis de gĂŠnero en una acciĂłn de ayuda alimentaria podrĂ­a interpretarse como el acceso de las mujeres a la distribuciĂłn de alimentos o como el efectivo control de los recursos por parte de las mujeres. Los indicadores serĂĄn diferentes en los

= & < + que reciben alimentos, mientras que en el segundo serĂĄn mĂĄs cualitativos (por ej.: participaciĂłn y papel de las mujeres en los comitĂŠs de distribuciĂłn de alimentos).

- Nivel de‌. - PercepciĂłn acerca de‌. Indicadores sustitutos o “Proxyâ€?: para aquellos casos en los que no hay datos disponibles para los indicadores ideales, o que es muy difĂ­cil o costoso obtener estos datos, se pueden emplear indicadores sustitutos o “proxyâ€? para medir el objetivo. No es una medida directa de la situaciĂłn sino una forma paralela de obtener la informaciĂłn con base en una relaciĂłn conocida entre ambas variables. Por ejemplo, ante la falta de datos sobre la corrupciĂłn en algunos paĂ­ses, muchas agencias de

PĂĄgina 56

Monitoreo y EvaluaciĂłn de Proyectos

cooperaciĂłn emplean informaciĂłn de encuestas sobre la percepciĂłn del nivel de corrupciĂłn en el paĂ­s como un indicador alternativo. De forma similar, la mediciĂłn del Ă?ndice de Desarrollo Humano por agencias de la ONU emplea el indicador de “expectativa de vida al nacerâ€? como un indicador sustituto de las condiciones de vida y de servicios de salud (se puede hacer una correlaciĂłn entre < { ? ' ' ;

ciones de vida y de servicios de salud en un paĂ­s) (PNUD, 2009).

ÂżCĂłmo mejorar la calidad de los indicadores? K

< @

> ; < camente cuantitativos, por ejemplo: un indicador < / ? tienen una estrategia de equidad de gÊnero� no considera si esta estrategia es adecuada, si se aplica correctamente, si ha tomado en consideración las necesidades planteadas por la sociedad civil, etc. Un indicador mås completo podría complementar lo cuantitativo con elementos cualitativos, por + = < / ? tienen una fuerte estrategia de gÊnero, desarrollada en consulta con la sociedad civil�. Como se puede ' = ?

+ que es realmente importante, para saber si realmente hemos logrado nuestros objetivos. AsĂ­, para que un indicador sea lo mĂĄs completo posible, es necesario que estĂŠ desagregado e incluya indicadores tanto cuantitativos como cualitativos (PNUD, 2009).

Por el nivel de intervenciĂłn Se requieren diferentes tipos de indicadores para analizar y revisar el avance en cada etapa de la jerarquĂ­a de intervenciĂłn (ver Tabla 12). AsĂ­, en @ ? ; =

tres tipos de indicadores: - Indicadores de Proceso para las Actividades - Indicadores de Efecto (o impacto) para los Resultados - Indicadores de Impacto para el Objetivo ; + ' = W

Por lo general, a medida que se pasa de las actividades al objetivo general o meta en la jerarquĂ­a de intervenciĂłn, la informaciĂłn del MyE tiende a perder concreciĂłn. En el nivel de las actividades y los resultados es mucho mĂĄs fĂĄcil de medir y mostrar avances en los indicadores al ser informaciĂłn sobre procesos y productos. Sin embargo, el impacto del conjunto de productos o resultados es por lo general mĂĄs difĂ­cil de determinar y mĂĄs complicado de medir (Guijt y Woodhill, 2002). Indicadores de Proceso Son indicadores sobre la realizaciĂłn de las actividades, enfocados en medir eventos importantes ? = + + de varias actividades. Si bien estos indicadores describen acciones, etapas y procesos que conducen a los resultados, por sĂ­ mismos no aseguran que se logren los resultados. Sin embargo, son importantes, debido a que son insumos bĂĄsicos del proceso de MyE. Las fallas o el mal desempeĂąo de resultados u objetivos muchas veces dependen de fallas en la implementaciĂłn de las actividades, y

=

Los indicadores de proceso permiten ademås precisar la estrategia que se sigue al monitorear la calidad de los procesos en curso con la participación de la población involucrada. El nivel de cumplimiento con los tiempos y el presupuesto programado se puede medir como un indicador paralelo de proceso. La matriz de marco lógico no prevÊ la inclusión de indicadores de proceso (en la sección de actividades se incluye, en lugar de indicadores, un resumen de los recursos y costos del proyecto), aunque pueden ser incluidos para facilitar el monitoreo de los avances. Ejemplos de indicadores de proceso: „ < = = „ < = =

„ < ; ayuda alimentaria

SelecciĂłn de informaciĂłn para el sistema de monitoreo y evaluaciĂłn

Indicadores de Efecto Son indicadores para medir el progreso y los cambios generados a nivel de resultados y obje ' = W

los resultados, los indicadores de efecto emplean

= = W X

tiempo) de los productos generados. Es importante que los indicadores de efecto no sean un resumen de los productos generados, sino el efecto de tener dichos productos: deben medir cambios en las condiciones o capacidades y no la entrega de productos o servicios. Para que estos

+

@ ? produce, se recomienda considerar: - DescripciĂłn de la calidad: no basta con que ; = ^

? ` necesario que este cambio o logro tenga las cualidades que consideramos adecuadas. AsĂ­, los indicadores cuantitativos deben ir acompaĂąados

= ' ?

= - Sostenibilidad: un indicador esencial para medir la calidad es su capacidad de producir efectos aun despuĂŠs del cierre del proyecto. Algunos factores relacionados con la sostenibilidad son: aceptaciĂłn cultural, social e institucional de las soluciones y los cambios propuestos e introducidos; continuidad econĂł ~ =

adquiridos; variables organizativas, y participaciĂłn de la poblaciĂłn involucrada en el diseĂąo y la ejecuciĂłn del proyecto. - Fortalecimiento de capacidades: aunque no todos los proyectos tienen como componente central el fortalecimiento de capacidades =

+ en la mediciĂłn, pues estĂĄ directamente vinculado con el empoderamiento de la poblaciĂłn local y la sostenibilidad de los resultados. - ParticipaciĂłn: en la medida en que los grupos = = =

PĂĄgina 57

su diseĂąo y en su implementaciĂłn, el proyecto tendrĂĄ mĂĄs pertinencia con relaciĂłn a las necesidades de la poblaciĂłn local y tendrĂĄ mĂĄs posibilidades de ser sostenible en el tiempo. En este sentido, es fundamental incluir indicadores sobre el nivel de participaciĂłn que se ha logrado a raĂ­z de la intervenciĂłn. Ejemplo de indicador de efecto: Resultado - Servicio mejorado: del cuarto aĂąo de ejecuciĂłn del proyecto, 23 pueblos rurales de La Esmeralda, cada uno con una poblaciĂłn de 2.500, estĂĄn servidos con 115/ litros/persona por dĂ­a de servicio continuo de agua potable (OrtegĂłn et al., 2005). Indicadores de Impacto Son indicadores que miden el cambio logrado en

; = ^ = incluso despuĂŠs de su cierre. EstĂĄn directamente relacionados con la mediciĂłn de nuestro objetivo ; X ; + ' = W co) y ayudan a revisar que el cambio positivo que se buscaba realmente se haya logrado. El impacto puede ser un cambio social, econĂłmico, polĂ­tico, ambiental o de comportamiento y se puede dar a nivel local, regional o nacional. Cuando se habla de indicadores de impacto mĂĄs amplios, de contribuciĂłn a un objetivo general a nivel regional o nacional, su mediciĂłn puede ser mĂĄs complicada, debido a que involucra datos y estadĂ­sticas macro sobre niveles de bienestar social y econĂłmico que en algunos paĂ­ses o en ciertos momentos no estĂĄn disponibles. AdemĂĄs porque al ser problemĂĄticas mĂĄs amplias, es muy complejo determinar = = W = < = factores. En estos casos, para mejorar el alcance y la posibilidad de reunir los indicadores de impacto, se pueden emplear indicadores proxy o substitutos y es muy recomendable emplear indicadores complementarios, cuantitativos y cualitativos.

PĂĄgina 58

Monitoreo y EvaluaciĂłn de Proyectos

Ejemplo de indicador de impacto: # $ N del cuarto aĂąo de ejecuciĂłn del proyecto, el X% de diarrea infantil (niĂąos de 5 aĂąos o menos) en

los pueblos rurales de Esmeralda atendidos por el proyecto, ha declinado en un 15% con relaciĂłn al aĂąo base (OrtegĂłn et al., 2005).

Tabla 12. Resumen de indicadores por nivel de intervenciĂłn LĂłgica de IntervenciĂłn

Objetivo general

Tipo de Indicador

Indicador de impacto

Indicador de + ' = W efecto o de impacto

Resultados

Indicador de efecto

Actividades

Indicador de proceso

CaracterĂ­stica

ÂżQuĂŠ miden?

IMPACTOS: ÂżHa alcanzado los cambios sostenibles, de largo plazo? ÂżEn quĂŠ medida es responsable el proyecto de estos cambios? ÂżQuĂŠ otras consecuencias positivas o negativas tuvo el proyecto? DescripciĂłn de los cambios genera- CAMBIOS: dos que permiten conseguir el ob- ÂżQuĂŠ cambios se han registrado como + ' +

@ consecuencia de los resultados o proque se produce y la diferencia con la ductos y en quĂŠ medida contribuyen al situaciĂłn inicial. propĂłsito del proyecto? RESULTADOS: % = = W X ÂżQuĂŠ productos o servicios tangibles y dad, calidad y tiempo) del uso de los directos ha prestado el proyecto como productos que se generan. resultado de las actividades? Describen acciones, etapas y proce- ESFUERZOS sos que indican la implementaciĂłn ÂżSe han completado a tiempo las actide lo planeado y que conducen a los vidades planeadas? ÂżSe ha respetado el resultados. presupuesto? DescripciĂłn del cambio logrado en el

; = ^ = & & ^ ciĂłn, a nivel local, regional o nacional.

Fuente: ElaboraciĂłn propia con base en informaciĂłn de Guijt y Woodhill, 2002.

El proceso de MyE se basa primordialmente en la = Â

? permitirĂĄn obtener informaciĂłn sobre la situaciĂłn generada por la intervenciĂłn del proyecto. Para conocer el nivel de impacto de nuestra acciĂłn esta informaciĂłn debe ser comparada, y esta comparaciĂłn puede hacerse de tres formas (Guijt y Woodhill, 2002): 1. Comparar la situaciĂłn “inicialâ€? o anterior a la del proyecto con la situaciĂłn “despuĂŠs de la intervenciĂłnâ€?. 2. Comparar los cambios percibidos en el contexto o territorio del proyecto con los cambios en otros lugares similares.

3. Comparar las diferencias entre dos grupos: Uno que haya trabajado con el proyecto y otro que no (grupo de referencia). Para hacer una comparaciĂłn de los indicadores y medir nuestro impacto, es recomendable emplear informaciĂłn de lĂ­nea base, ya sea que haya sido recopilada antes de la intervenciĂłn, en la primera mediciĂłn de avances, o a travĂŠs de fuentes secundarias (documentaciĂłn existente: encuestas nacionales o estudios e investigaciones). Y " = ^ estableciendo claramente el nivel de cambio que se espera conseguir (PNUD, 2009).

SelecciĂłn de informaciĂłn para el sistema de monitoreo y evaluaciĂłn

4.3 LĂ­neas base y metas La lĂ­nea base es el estĂĄndar bĂĄsico contra el cual se medirĂĄn todas las metas futuras. Es la base para medir el cambio. La lĂ­nea base es importante porque establece el punto de comparaciĂłn desde el cual se

& = ' ' gro o el impacto contra una situaciĂłn que prevalecĂ­a antes de nuestra intervenciĂłn. Sin la informaciĂłn de lĂ­nea base es muy difĂ­cil valorar el cambio generado y hacer el MyE adecuadamente. En ocasiones, serĂĄ necesario adaptar la informaciĂłn de indicadores a los datos disponibles en lĂ­neas base que ya existen, tales como encuestas o estadĂ­sticas nacionales. @ < + = = diseĂąo. Se puede reunir a partir de la informaciĂłn recogida en los estudios de factibilidad y otros documentos relacionados con la preparaciĂłn del proyecto. Sin embargo, para algunos resultados programados o para ciertas actividades, es posible que esta informaciĂłn no haya estado disponible desde la formulaciĂłn del proyecto, por lo que serĂĄ necesario obtenerla durante la ejecuciĂłn.Ya sobre la marcha, la lĂ­nea base puede obtenerse de (Guijt y Woodhill, 2002): - Primeras mediciones como punto de partida. - Levantamiento de lĂ­neas base durante la implementaciĂłn, conforme se inician los procesos de cambio (por ejemplo, levantamiento de lĂ­nea base al formarse el grupo de microcrĂŠdito, al iniciar las capacitaciones sobre manejo de residuos, etc.). - UtilizaciĂłn de la documentaciĂłn existente. Cuando la lĂ­nea base se recoge despuĂŠs de implementado el proyecto y la informaciĂłn inicial no existe, es posible obtener informaciĂłn aproximada sobre la situaciĂłn inicial con “preguntas sustitutasâ€?. Estas preguntas estĂĄn relacionadas con la percepciĂłn de la gente acerca de sus circunstancias actuales en comparaciĂłn X> ! < { [ ` caso de que no haya informaciĂłn de lĂ­nea base y que = ; ' = <

=

PĂĄgina 59

Recomendaciones para el desarrollo de la LĂ­nea Base La mayorĂ­a de los proyectos tienen grandes

W = ? < = + ^; cambio. Algunos de los problemas mås comunes que plantean los estudios de base son que se hacen tarde o nunca, son excesivamente detallados o demasiado generales e irrelevantes, parten de una muestra demasiado grande que sobrepasa la capacidad analítica del proyecto o de los coejecutores, no prevÊn un grupo de referencia [‌] (Guijt y Woodhill, 2002).

Para evitar estos problemas, se recomienda realizar la lĂ­nea base una vez que se haya elaborado y revisado la matriz de marco lĂłgico del proyecto, = ; ? @ ? < acorde con los resultados, objetivos e indicadores. Se recomienda asimismo tener en cuenta lo siguiente (Guijt y Woodhill, 2002): 1. Recoja solamente la informaciĂłn que va a utilizar. Como regla general, se debe recopilar informaciĂłn de lĂ­nea base que estĂŠ relacionada directamente con las preguntas

? >

2. Planee la obtenciĂłn de informaciĂłn de lĂ­nea base al igual que en los demĂĄs procesos de recolecciĂłn y anĂĄlisis de datos. 3. Asegure que sea un proceso viable y realista. Tenga en cuenta que una lĂ­nea base siempre serĂĄ una aproximaciĂłn y nunca podrĂĄ ser exacta. 4. Adopte mĂŠtodos creativos de recolecciĂłn de la informaciĂłn. 5. Incluya informaciĂłn relativa al gĂŠnero.

Metas Una vez que tengamos la lĂ­nea base, existen ele = = Â = + = el tĂŠrmino del proyecto o para avances cada aĂąo,

PĂĄgina 60

Monitoreo y EvaluaciĂłn de Proyectos

semestre o trimestre. La meta dependerĂĄ del periodo de intervenciĂłn del proyecto, del programa en el que se inserta y de las actividades. TambiĂŠn dependerĂĄ del tipo de intervenciĂłn que sea, pues ciertos cambios toman mĂĄs tiempo que otros (por ejemplo: cambios en prĂĄcticas agrĂ­colas sustentables serĂĄn de mĂĄs largo plazo, mientras que la atenciĂłn inmediata en situaciones de emergencia serĂĄ una meta de corto plazo). Es importante tener en cuenta que aunque el desarrollo social sea un proceso de largo plazo, la inclusiĂłn de metas = W

= = '

{ cambio o de un impacto mĂĄs amplio.

ÂżCuĂĄl es la diferencia entre Indicadores y Metas? - Los indicadores son neutrales (por ejemplo: “N° de acciones independientes realizadas por parte de los grupos o instituciones localesâ€?). - Las metas son indicadores de avance, con un valor asociado (por ejemplo: “al menos 8 de las acciones independientes son realizadas por parte de los grupos o instituciones localesâ€?).

Es fundamental que la línea base y las metas sean coherentes y estÊn alineadas con los indicadores, usando las mismas unidades de medición (ver Tabla #”[  ? + = & " nivel de intervención y el tipo de indicador que se estÊ formulando (si es de proceso, de efecto o de impacto). Para el nivel de indicadores de efecto, las metas pueden ser mucho mås realistas y en perio = & = + metas para periodos de corto o mediano plazo, es posible que el indicador que se haya formulado sea demasiado ambicioso y sea necesario reformularlo.

4.4 Medios de veriďŹ caciĂłn Para que un indicador sea medible, la informaciĂłn debe estar disponible fĂĄcilmente y a un costo ra^ N + ' indicadores correspondientes, es importante considerar cĂłmo y en dĂłnde se obtendrĂĄn los datos durante el proceso de monitoreo y evaluaciĂłn. Y

'

@ @ ; ' asegurar que los proyectos sean evaluables. Â

' ^ de marco lĂłgico permite, al responsable del pro

@ ! @ ciĂłn y hacer la planeaciĂłn necesaria para reunir los

`

> ^ el proyecto, pues si los planes o indicadores son demasiado ambiciosos, puede ser muy difĂ­cil o muy costoso obtener evidencia acerca del avance y el impacto de la iniciativa. AsĂ­, los medios de ' @ ; ? los indicadores son medibles y que la iniciativa es realista y alcanzable (PNUD, 2009). Es muy importante revisar que los medios de ve = ?

Â

' > coordinaciĂłn con los actores clave involucrados en el proyecto, pues serĂĄn en gran parte los responsables de ofrecer la evidencia sobre los cambios y avances.

Tabla 13. Indicadores, LĂ­neas Base y Metas (texto de ejemplo) $ % el proyecto

2005: El 60% de la 2010: El 80% de la po2008: El 70% de la poblaciĂłn el Ă­ndice de analfabetismo entre la poblaciĂłn femenina blaciĂłn femenina de la femenina de la localidad de San poblaciĂłn femenina de la comunidad de San JosĂŠ sabe localidad de San JosĂŠ sabe JosĂŠ sabe leer y escribir. de San JosĂŠ, en un %. leer y escribir. leer y escribir. Indicador de Resultado

Fuente: ElaboraciĂłn propia

LĂ­nea Base

Meta al segundo aĂąo del proyecto

Capítulo 5 Recolección de información para el monitoreo y la evaluación

RecolecciĂłn de informaciĂłn para el monitoreo y la evaluaciĂłn

PĂĄgina 63

La recolecciĂłn de informaciĂłn puede ser necesaria en varios momentos del proyecto:

tanto permiten la participaciĂłn de la poblaciĂłn local.

- En la etapa de diseĂąo, para obtener datos de lĂ­nea base.

En resumen, los factores para examinar en la elecciĂłn de la tĂŠcnica de recolecciĂłn de datos son: su factibilidad (considerando el contexto y las =

= [ '

^ = ! ^

' y capacidad para reunir la información necesaria, „ = ? > '

- Durante la implementaciĂłn del proyecto, '

= W monitoreo (mensual, semestral o anual). „ N ^ = ' '

= W - DespuĂŠs del cierre del proyecto, para determinar los impactos y la sostenibilidad en el largo plazo. K ' ^ ? >

indicadores claves para monitorear, se debe elegir la forma mĂĄs adecuada de reunir dicha informaciĂłn. En la elecciĂłn de la tĂŠcnica de recolecciĂłn de datos se debe considerar el tipo de informaciĂłn que se quiere obtener, asĂ­ como tambiĂŠn el tamaĂąo del proyecto, el tiempo y los recursos disponibles, las personas que se encargarĂĄn de la recolecciĂłn de datos, las necesidades y disponibilidad de la gente involucrada. De forma concreta, se debe analizar el tipo de proyecto, los tipos de indicadores formulados, la duraciĂłn de la acciĂłn (cambios de largo plazo o de corto plazo), el contexto local, el interĂŠs de las partes involucradas en participar y la

X= + = si es para el aprendizaje interno o si es para rendir cuentas a donantes). Las tĂŠcnicas de investigaciĂłn y recolecciĂłn de informaciĂłn pueden ser cualitativas o cuantitativas, y estas pueden ser grupales o individuales. Hay ademĂĄs una gran variedad de tĂŠcnicas de apoyo que pueden emplearse de forma complementaria para reunir informaciĂłn. Es muy recomendable adaptar el mĂŠtodo seleccionado a las necesidades del proyecto y elegirlo de acuerdo a la informaciĂłn que se quiera obtener. Se debe tener en cuenta y analizar la diferencia entre informaciĂłn obtenida por un mĂŠtodo y por otro, las implicaciones de emplear mĂŠtodos individuales o grupales y quĂŠ

5.1 Muestreo En muchas ocasiones no es posible obtener la informaciĂłn deseada a travĂŠs de un censo general de la totalidad de la poblaciĂłn objetivo. Puede ser que el grupo poblacional sea demasiado amplio o que los recursos disponibles (humanos, econĂłmicos [ = ' cabo. En estos casos, es viable tomar una muestra representativa de la poblaciĂłn total, que permita generalizar sobre datos o conclusiones obtenidas del segmento de poblaciĂłn seleccionada. La se = = ; '

/ ` `

? muestra se seleccione de forma imparcial y sea lo mĂĄs representativa y amplia posible, la informaciĂłn

= & &

Por lo tanto, para asegurar un buen muestreo, se debe (Guijt y Woodhill, 2002): - Precisar el marco de muestreo: descripciĂłn de la unidad que se estudiarĂĄ (por ejemplo: individual, familiar, comunitaria u organizacional). - Determinar el tamaĂąo adecuado de la muestra: el tamaĂąo de una muestra determinarĂĄ en gran medida la validez de los resultados de la recopilaciĂłn de la informaciĂłn. El tamaĂąo de la muestra se debe determinar con base en el presupuesto y los recursos disponibles, el tiempo con el que se cuenta y el necesario para reunir la informaciĂłn; el tamaĂąo del grupo

PĂĄgina 64

Monitoreo y EvaluaciĂłn de Proyectos

" = & < ; = el margen de error aceptable para la muestra. - Seleccionar el mĂŠtodo de muestreo: una vez determinado el tamaĂąo de la muestra, se debe optar por un mĂŠtodo de muestreo: aleatorio o delimitado. El muestreo aleatorio consiste en seleccionar a la poblaciĂłn sin conocimiento previo o delimitaciĂłn de las caracterĂ­sticas representativas de la selecciĂłn. Este tipo de muestreo = < = lecciĂłn de datos mĂĄs amplios y no se recomienda cuando el tamaĂąo de la muestra es reducido, pues = & representativo. El muestreo delimitado o intencional (no aleatorio) consiste en seleccionar a la poblaciĂłn con base en criterios determinados. El muestreo delimitado se emplea mĂĄs en ejercicios de recolecciĂłn de datos pequeĂąos. Tiene la desventaja de no ofrecer la informaciĂłn mĂĄs representativa, diversa u objetiva al estar basada

en una poblaciĂłn predeterminada y seleccionada por el mismo evaluador.

5.2 Categorías de información Categorías de información por tipo  @ ? = en cualitativa y cuantitativa. La selección del tipo de datos dependerå de la variable que queremos medir y el tipo de anålisis que queremos hacer. La información cuantitativa es por lo general mås simple y consiste en datos numÊricos (como edad o ingreso), ' ? = (categorías a las que se les puede asignar un valor, como sexo). La información cualitativa es mås compleja y difícilmente se puede reducir en categorías

= = respuestas a preguntas abiertas, opiniones a partir de encuestas o entrevistas, etc. (ver Tabla 14).

Tabla 14. Diferencias entre informaciĂłn cualitativa y cuantitativa

AnĂĄlisis

Cualitativa ÂżQuĂŠ? ÂżQuiĂŠn? ÂżCĂłmo? ÂżPor quĂŠ? Abiertas ObservaciĂłn o diĂĄlogo PequeĂąo muestreo representativo seleccio = W = = necesidades. InterpretaciĂłn

MĂŠtodos

Entrevistas, observaciĂłn, textos escritos, etc.

Preguntas Tipo de preguntas InteracciĂłn ÂżA quiĂŠn?

Cuantitativa ÂżCuĂĄnto? ÂżCuĂĄntos? Cerradas Pregunta-Respuesta Muestreo amplio, seleccionado normalmente al azar. AnĂĄlisis estadĂ­stico InformaciĂłn secundaria, encuestas, observaciĂłn, etc.

Fuente: UNESCO, 2009.

Categorías de información por fuente  @ @ = en dos tipos: fuentes primarias y fuentes secundarias. Para obtener información completa y que responda a nuestras necesidades de MyE es muy recomendable emplear las dos fuentes de información.

InformaciĂłn secundaria: las fuentes secundarias son la primera fuente de datos que se debe considerar. Es informaciĂłn primaria que fue obtenida, recopilada y publicada por otras personas. Por lo general, son fuentes documentales, como

; & ; les, reportes nacionales o internacionales, indicadores sociales y econĂłmicos a partir de encuestas

RecolecciĂłn de informaciĂłn para el monitoreo y la evaluaciĂłn

y estadĂ­sticas nacionales, evaluaciones previas, planes estratĂŠgicos e investigaciones. La revisiĂłn de informaciĂłn secundaria o documental puede ser < = ! & = problemĂĄtica (por ejemplo, el contexto regional o nacional de un proyecto local), y para comprender la historia y la evoluciĂłn del tema sobre el cual se estĂĄ interviniendo en el proyecto. La informaciĂłn secundaria puede servir para generar informaciĂłn de lĂ­nea base y de metas, y ademĂĄs puede ser especialmente relevante para medir

' + ' = W ; nerales. Es asimismo una fuente de informaciĂłn de bajo costo, en comparaciĂłn con la obtenciĂłn de datos primarios. Sin embargo, en muchas ocasiones las fuentes secundarias no proveen los datos = W ?

= = X= general, son datos mĂĄs macro y sobre indicadores mĂĄs amplios), y la informaciĂłn disponible difĂ­cilmente estarĂĄ actualizada. Por estas debilidades, y por la necesidad de obtener informaciĂłn estrechamente vinculada con el proyecto, las fuentes secundarias siempre deben ser complementarias a la informaciĂłn primaria. InformaciĂłn primaria: es informaciĂłn que se observa o se obtiene directamente de las personas involucradas o vinculadas a la intervenciĂłn, acerca de su situaciĂłn o experiencia directa con el = = ; @ sobre circunstancias, opiniones, valores, actitudes, comportamientos, motivaciones, prĂĄcticas, conocimiento y experiencia. Es informaciĂłn crucial que por lo general no estĂĄ disponible en las fuentes de informaciĂłn existentes y que se debe construir como una tarea del mismo proceso de MyE. Por lo general, es informaciĂłn de un nivel mĂĄs local, cercano al proyecto.

PĂĄgina 65

5.3 MĂŠtodos de recolecciĂłn de datos Para la obtenciĂłn de informaciĂłn primaria existen diversos mĂŠtodos de recolecciĂłn de datos, y se recomienda emplear mĂĄs de una tĂŠcnica para @ ; +

(triangulaciĂłn de mĂŠtodos)(ver Tabla 15). A continuaciĂłn, se presentan los mĂŠtodos mĂĄs comunes10.

MĂŠtodos bĂĄsicos A. RecopilaciĂłn de mediciones Es la mediciĂłn fĂ­sica de cambios en el tiempo con relaciĂłn a un indicador, mediante el empleo de una unidad de medida y un procedimiento e

= W `+ = = de informaciĂłn son: peso y talla de niĂąos y niĂąas =

~ < monto de prĂŠstamos para indicadores de crĂŠdito; toneladas de producciĂłn o calidad de los suelos para indicadores de producciĂłn agrĂ­cola. Es una herramienta fundamental de MyE, pues permite ; W ' ? @ =

cambio logrado y el impacto generado. El mĂŠtodo que se emplee dependerĂĄ de los instrumentos disponibles y de la especializaciĂłn de la persona =

K ' ^ ? < los datos necesarios, se pueden vaciar en tablas

; < != riormente esta misma informaciĂłn se utiliza como marco de comparaciĂłn en periodos posteriores (Guijt y Woodhill, 2002). ` " < = = @ ciĂłn muy precisa. Sin embargo, es difĂ­cil emplear

10. La mayor parte del contenido de esta secciĂłn fue tomado del Anexo D de Guijt y Woodhill, 2002. Es un material muy completo y extenso que detalla mĂĄs de 30 mĂŠtodos de recolecciĂłn de datos. Se recomienda consultarlo si se quiere obtener ejemplos y mĂĄs informaciĂłn sobre tĂŠcnicas adicionales.

PĂĄgina 66

Monitoreo y EvaluaciĂłn de Proyectos

@W = W = ;

dores de proyectos sociales. Otra desventaja es que puede ser muy costoso y requerir en algunos casos una alta especializaciĂłn tĂŠcnica.

B. ObservaciĂłn directa Implica la observaciĂłn de eventos, sucesos, procesos, relaciones y comportamientos. Antes de la observaciĂłn se debe realizar un anĂĄlisis sobre la informaciĂłn que se quiere obtener. Se recomien > ' = ? considere los objetivos del ejercicio y los puntos o = = ;< @ la programaciĂłn del proyecto. Estos instrumentos base se pueden retomar en ejercicios de observaciĂłn posteriores, para comparar los resultados en el tiempo. Al tomar como base estas lĂ­neas guĂ­a, el observador se ubica en el lugar de interĂŠs y hace anotaciones sobre actividades, procesos, discusiones, comportamientos, interacciones, productos materiales y cualquier otra observaciĂłn pertinente. Es importante que las valoraciones hechas sean precisas, enfocadas y lo mĂĄs objetivas posible.TambiĂŠn se recomienda que el observador comparta y analice sus anotaciones y conclusiones de la observaciĂłn con otras personas involucradas, ya sea miembros del equipo de trabajo o los = Este mĂŠtodo es fundamental para el MyE, porque @ '

=

" ` " < pues permite revisar la operaciĂłn de un proyecto mientras estĂĄ en prĂĄctica.TambiĂŠn tiene la ventaja

! = = @& circunstancias cambiantes. Es ademĂĄs un mĂŠtodo relativamente sencillo, que se emplea fĂĄcilmente sin necesidad de una especializaciĂłn tĂŠcnica. Su desventaja es que existe el riesgo de que sea muy subjetivo o parcial, dependiendo mucho del lugar, el momento o la poblaciĂłn que se decida observar. Igualmente puede ser muy difĂ­cil interpretar comportamientos observados o una situaciĂłn ajena al observador. De ahĂ­ que la observaciĂłn

directa se recomiende como un mĂŠtodo complementario a otros mĂŠtodos. La observaciĂłn participativa Una alternativa a la observaciĂłn directa es la observaciĂłn participativa, la cual implica que el observador se involucra en las actividades y en el contexto, en vez de mantener su distancia. Por lo general se recomienda que el observador tome ' ^ ' = ? pueda introducirse de forma mĂĄs natural. Para un ejercicio de observaciĂłn directa mĂĄs profundo, el observador se inserta en el lugar de estudio por = '

cotidiana o la experiencia de un grupo en relaciĂłn con el proyecto, desde el interior del mismo grupo. El objetivo es que el observador pueda introducirse en el contexto y entre las personas, siendo aceptado como parte del grupo, con lo cual lograrĂĄ un conocimiento mucho mĂĄs profundo y relevante. La desventaja es que es difĂ­cil combinar los procesos de observaciĂłn y registro de informaciĂłn con los de participaciĂłn. AdemĂĄs, que el observador sea aceptado como parte del grupo puede tomar mucho tiempo, y es difĂ­cil asegurar que su = = del entorno.

Algunas recomendaciones para el observador (Bailey, 1995) - Recuerde que observar va mĂĄs allĂĄ de la vista: es necesario emplear todos los sentidos. - Hay que observar todo, el contexto fĂ­sico, los comportamientos y prĂĄcticas: quiĂŠn viene, quiĂŠn hace quĂŠ, con quiĂŠn, cuĂĄndo, cĂłmo, por quĂŠ, patrones, costumbres, sucesos inesperados, etc. - Poner atenciĂłn al lenguaje no verbal puede ser una > < = = + tudes y opiniones de las personas. - Al anotar sus observaciones, tome en cuenta que el + ' < = Â mejor forma de lograr esto es a travĂŠs de una inmersiĂłn profunda en el medio.

RecolecciĂłn de informaciĂłn para el monitoreo y la evaluaciĂłn

- Es necesario leer entre lĂ­neas y observar no sĂłlo lo que estĂĄ presente, sino tambiĂŠn lo que estĂĄ ausente. ÂżQuiĂŠn no estĂĄ? ÂżQuĂŠ no se dice? - Recuerde siempre ser respetuoso con las personas y el entorno. Se debe tener el permiso explĂ­cito de las personas para estar en un lugar y para observar un evento o una situaciĂłn.

C. Cuestionarios y encuestas Consiste en la obtención de datos mediante preguntas en cuestionarios entregados a la población. Las preguntas pueden ser de respuesta cerrada (sí – no), o abiertas.TambiÊn pueden formularse pre; = + ? información para ser analizada estadísticamente. Algunos puntos para tener en mente: - La lista de preguntas en un cuestionario nunca serå exhaustiva y debe estar abierta a recuperar información adicional, no necesariamente incluida desde un principio. - Es fundamental que la lista sea empleada y comparada en momentos distintos del proyecto para medir el avance. - Las preguntas son elaboradas de acuerdo a las necesidades de cada proyecto u objeti' = W ` = ? ? elabore tenga un conocimiento profundo sobre el tema y estÊ contextualizado con los procesos del proyecto. Los cuestionarios y las encuestas se emplean normalmente para un amplio grupo de personas. N " < = formación personal que difícilmente se comparte en una entrevista o un diålogo abierto. La mayor ventaja de las encuestas y los cuestionarios es que se puede obtener información variada, sobre temas distintos y de muestras de población mås grandes. Es tambiÊn información fåcil de analizar a costos relativamente bajos, aunque poco profunda o analítica en tÊrminos cualitativos. Por estas razones es un mÊtodo fundamental para muchas estrategias de MyE de proyectos.

PĂĄgina 67

Sin embargo, se recomienda poco su uso en contextos en donde puede haber altas tasas de analfabetismo. Por lo general los cuestionarios emplean preguntas cerradas, que ofrecen poca informaciĂłn cualitativa y con datos casi siempre descontextualizados. En resumen, se puede obtener una fotografĂ­a general de la situaciĂłn, pero quizĂĄ no se logre obtener informaciĂłn de anĂĄlisis mĂĄs profundo.

D. Entrevistas La entrevista es un diĂĄlogo con las personas a par = ; @ X ^

previamente, y adaptadas a las circunstancias o al curso de las circunstancias) para obtener informaciĂłn sobre su experiencia o su opiniĂłn acerca de una situaciĂłn, problemĂĄtica o proyecto. Dependiendo de la informaciĂłn que se quiere obtener, las entrevistas pueden ser individuales o colectivas (en grupos pequeĂąos o grandes). Si se necesita informaciĂłn personal, conviene hacer entrevistas individuales. Cuando son temas que requieren un anĂĄlisis mĂĄs profundo o incluso conocer percepciones y actitudes colectivas, las entrevistas grupales son mĂĄs adecuadas. Las entrevistas se pueden hacer a informantes clave (personas muy involucradas, que pueden tener una percepciĂłn y una experiencia ' [ ganizaciones, equipo encargado del proyecto, etc. ` > < = @

reducir las posibilidades de una interpretaciĂłn subjetiva (aunque siempre existe el riesgo de un sesgo por parte del entrevistador). Asimismo, = @ = W ? siempre se puede obtener por otros medios, ademĂĄs de que la informaciĂłn de las entrevistas suele ser de mayor profundidad al ser un proceso que @

& ; = ^ Las desventajas de las entrevistas es que requieren mucho tiempo y pueden ser bastante costosas " > Finalmente, por lo general la informaciĂłn obtenida es muy valiosa pero difĂ­cil de analizar.

PĂĄgina 68

Monitoreo y EvaluaciĂłn de Proyectos

Tipos de entrevistas - Estructuradas: entrevista tradicional basada en una lista de preguntas preestablecidas para ser respondidas por los entrevistados. Tiene la ' + ? @ lizaciĂłn oportuna de la entrevista sin desviarse

+ ' ; = ! al no permitir al entrevistador explorar otras respuestas alternativas o conocer perspectivas diferentes sobre una misma problemĂĄtica. Puede tambiĂŠn dar la impresiĂłn al entrevistado de estar sometido a una “evaluaciĂłnâ€? muy mecĂĄnica, lo ? ; ^ ? puede desalentar la participaciĂłn. - Semiestructuradas: son menos formales que las entrevistas estructuradas, se caracte ^ = = & ! del ejercicio y presentar preguntas abiertas, ? ;

& ; & ^ apertura y facilita aportes alternativos. La preparaciĂłn de este tipo de entrevistas requiere

= ; ; les, para posteriormente ir desarrollando las = ; = W ' recomienda que las preguntas sean sencillas, se inicia con las mĂĄs fĂĄciles y se termina con las mĂĄs complicadas o sensibles. Con este tipo de entrevistas se obtiene informaciĂłn focalizada sobre un tema, sin ser excluyente de visiones o perspectivas alternativas. Es posible asimismo obtener informaciĂłn variada en poco tiempo. - Entrevistas temĂĄticas: antes de la entre' @ < ; W = W ? ? preguntas se van formulando conforme se desarrolla la entrevista, en funciĂłn de la respuesta de la persona o grupo. Su desventaja es que es mĂĄs difĂ­cil obtener datos que sirvan para un anĂĄlisis estadĂ­stico sobre el conjunto de la poblaciĂłn, pues cada entrevista se adapta a las circunstancias y no se tiene una informaciĂłn = W =

- Entrevistas informales: se llevan a cabo durante una conversaciĂłn informal. Permiten obtener informaciĂłn y comprender, de manera discreta, la opiniĂłn y percepciĂłn de las personas sobre la problemĂĄtica o el proyecto. Requiere de habilidades especiales de comunicaciĂłn por parte del entrevistador, de tal forma que pueda las respuestas, al mismo tiempo debe evitar desviarse del tema y dirigir la conversaciĂłn para llegar a conclusiones concretas. Una de sus

' +

= ; la informaciĂłn obtenida, pues al ser un diĂĄlogo natural no se hacen anotaciones. AdemĂĄs es un ejercicio que puede tomar mucho tiempo, y puede ser difĂ­cil no desviar la conversaciĂłn y enfocarse sĂłlo en aquellos temas de los que se quiere obtener informaciĂłn. - Entrevistas a informantes clave: se hacen a especialistas sobre el tema en particular o a personas que puedan ofrecer un punto de vista o informaciĂłn clave sobre el proceso, por estar directamente involucrados. Normalmente son entrevistas en profundidad con expertos de la comunidad, que pueden, ademĂĄs de ofrecer conocimientos claves, hacer recomendaciones para mejorar la acciĂłn o solucionar problemas. Una de las principales ventajas de esta entrevista es que los informantes clave, al no estar directamente relacionados con la organizaciĂłn del proyecto, pueden dar una opiniĂłn sustentada y objetiva, asĂ­ como una idea general de la situaciĂłn, y no enfocarse tanto en lo individual (que podrĂ­a suceder con los entrevistados tradicionales). Una desventaja es que pueden ser bastante parciales, desde la misma selecciĂłn de los informantes. AdemĂĄs, suele considerarse que la informaciĂłn ofrecida por el entrevis ' ' ? esta debe comprobarse y ser tomada como una opiniĂłn adicional, no la absoluta.

RecolecciĂłn de informaciĂłn para el monitoreo y la evaluaciĂłn

(!) Algunos consejos båsicos para ser un buen entrevistador‌ - Recuerde escuchar mås y hablar menos. - Haga las preguntas de una forma directa, clara y amable. - Sea lo mås imparcial posible, evite palabras o tonos ? = = ' - No aparente estar aburrido o con prisa al realizar la entrevista. - Ponga atención al lenguaje no verbal.

E. Grupos focales ` " ? < ; =

de personas (entre 6 y 12) para entrevistarlas @

& ; de la tĂŠcnica de entrevistas como una entrevista grupal. El facilitador del grupo focal debe tener preparado previamente una guĂ­a de preguntas o de temas (dependiendo si se seguirĂĄ un formato de entrevista estructurado o semiestructurado). Las preguntas se hacen con la intenciĂłn de fo

= W =

;

& < ? entrevistador, en vez de tomar notas, grabe el ejercicio y despuĂŠs lo transcriba. La selecciĂłn del grupo de personas dependerĂĄ de las necesidades o intereses del recolector de informaciĂłn, pero por lo general tendrĂĄn cier W < = ' & ! ; ; & Â ; = @ @ < de saber la opiniĂłn y percepciĂłn de una muestra amplia de gente (representada por el grupo seleccionado). Asimismo, el hecho de poder separar a las personas involucradas en el proyecto en grupos diferentes puede generar respuestas que normalmente no habrĂ­amos obtenido. Â

" ?

@W ; un muestreo aleatorio, por lo que los resultados son difĂ­cilmente generalizables. Otro problema tiene que ver con la parcialidad de los resultados, = < ? ; = ; = @ = para decir o callar algo.

PĂĄgina 69

Se pueden emplear materiales especiales para provocar una reacciĂłn en el grupo que genere discusiĂłn, y fomente que las personas expresen sus perspectivas acerca del material. Los materiales se utilizan al principio de la actividad o durante su desarrollo (por ejemplo: fotos, artĂ­culos periodĂ­sticos, videos, anĂŠcdotas, materiales elabo = W = ; = @ [ TambiĂŠn se pueden emplear diversas tĂŠcnicas en el grupo focal para facilitar la participaciĂłn, tales como escalas de valoraciĂłn o anĂĄlisis del cambio & ; ' X= & + = ' de esta secciĂłn, TĂŠcnicas Complementarias).

Consejos para una entrevista o grupo focal exitoso (UNESCO, 2009) - Crear un ambiente favorable, relajado y cĂłmodo, que ; ^ ^ =

terrupciĂłn. - Es muy posible que las personas que vayan a participar en la entrevista o ejercicio de grupo focal estĂŠn un poco incĂłmodas o nerviosas al principio, al no saber quĂŠ esperar del ejercicio. Por esto es muy importante que el entrevistador explique desde un principio cuĂĄl es el objetivo de la entrevista, quĂŠ tipo de informaciĂłn se pretende obtener y cĂłmo se emplearĂĄn los resultados. Se recomienda aclarar a los participantes que no existen respuestas incorrectas. TambiĂŠn es bueno aclarar cualquier duda y dar oportunidad de que los participantes expresen sus inquietudes. - Se recomienda empezar siempre con las preguntas mĂĄs sencillas y menos sensibles e ir haciendo las preguntas mĂĄs complicadas conforme vaya avanzando la entrevista o ejercicio. - Es importante que el entrevistador tenga cosas en < = ' X= + = = > & ^ = mo sexo). Por otro lado, para evitar que las personas se sientan comprometidos a responder de una forma y para fomentar que los entrevistados se expresen con toda libertad, se recomienda que el entrevistador sea percibido como independiente y objetivo, sin un interĂŠs en los resultados. - No olvide tener las herramientas pertinentes a la mano, incluyendo la guĂ­a de preguntas o temas, grabadora (si es que serĂĄ empleada) y materiales que vayan a emplearse para incentivar la discusiĂłn. - Es importante tener en cuenta que las respuestas del ' < @ @ maciĂłn, sino que deben complementarse con otras tĂŠcnicas y mĂŠtodos.

PĂĄgina 70

Monitoreo y EvaluaciĂłn de Proyectos

MĂŠtodos complementarios F. AnĂĄlisis de acontecimientos crĂ­ticos Es un mĂŠtodo que implica hacer entrevistas a individuos o grupos sobre eventos o incidentes especĂ­ @ ; = W ` ; exhaustiva que implica cruzar y comparar varios resultados de entrevistas a partir de un mismo acontecimiento. Este mĂŠtodo sirve fundamentalmente para lograr dos objetivos: por un lado,

& ; ' en un periodo determinado y con relación al proyecto implementado; por otro lado, nos permite conocer en profundidad un caso seleccionado, lo cual ayuda a encontrar la relación causa–efecto que existe entre los acontecimientos estudiados y la intervención de nuestro proyecto. Es por tanto > < =

a nivel de impacto. Las desventajas de este mĂŠtodo es que requiere mucho tiempo y recursos, y ademĂĄs la informaciĂłn puede ser muy difĂ­cil de analizar. Tiene el riesgo de que el equipo encargado del anĂĄlisis del caso se sature de informaciĂłn detallada y contradictoria de distintas perspectivas. Asimismo, es difĂ­cil mantener la objetividad y no tomar una posiciĂłn respecto al acontecimiento estudiado.

G. Caminata transversal participativa Este mĂŠtodo consiste en realizar una excursiĂłn = ^ ; ; & = observar ciertos indicadores. Su objetivo es observar en el terreno una serie de parĂĄmetros que > = =

los cambios que se han producido en ellos y conocer las causas e implicaciones de dichos cambios. Es recomendable hacer la caminata con un pequeĂąo grupo de personas involucrados en el pro X W [ seleccionadas con anterioridad. TambiĂŠn es recomendable trazar el recorrido antes en un mapa o

diagrama. Una caminata transversal puede durar varias horas o un dĂ­a completo, dependiendo del lugar y la informaciĂłn que se quiere obtener. Mientras se hace el recorrido se elabora un diagrama ' = W los indicadores que se van a medir. DespuĂŠs de un tiempo determinado, se vuelve a hacer el mismo recorrido y se elabora otro diagrama, para comparar los cambios en el tiempo. Es muy impor

inesperados (no previstos en los indicadores preliminares), sobre todo en la primera caminata, pues esto permitirĂĄ recolectar datos muy valiosos para el monitoreo y evaluaciĂłn en etapas posteriores. Es un mĂŠtodo relativamente econĂłmico y puede emplearse para obtener tanto informaciĂłn cualitativa como cuantitativa. Su desventaja es que el proceso puede ser largo y no siempre se logra obtener la informaciĂłn planeada en un principio (Guijt y Woodhill, 2002).

H. Diarios El objetivo de un diario es obtener datos, eventos, reacciones y opiniones en el tiempo a partir de los registros de personas o grupos involucrados en el proyecto. Desde el MyE es una herramienta de mucha utilidad, porque permite obtener informaciĂłn detallada para entender el contexto y las razones detrĂĄs de los procesos de cambio. El diario se comienza a desarrollar desde el inicio del proyecto. Como paso preliminar se debe planear su forma y su enfoque, asĂ­ como la persona o personas responsables de llevarlo. Un diario puede ser estructurado (enfocarse en un indi = W [ & = X generales). Las entradas del diario pueden incluir descripciones escritas, fotografĂ­as, video, diagramas, etc. Los diarios se pueden escribir tambiĂŠn a partir de una reuniĂłn o discusiĂłn grupal. El anĂĄlisis de los cambios o efectos en el tiempo se hace al revisar las entradas pasadas y comparar con las mĂĄs recientes.

RecolecciĂłn de informaciĂłn para el monitoreo y la evaluaciĂłn

`

" < libertad de elegir cuĂĄndo y cĂłmo se registra la informaciĂłn. Es un buen mecanismo para la autoevaluaciĂłn; sin embargo, llevar un diario requiere mucha disciplina (para cumplir con el registro de entradas con una periodicidad determinada), asĂ­ como una buena capacidad de redacciĂłn. El anĂĄlisis de los diarios requiere ademĂĄs una lectura enfocada y muy analĂ­tica de los registros, lo cual puede demandar mucho tiempo. Por esto se re = = el tipo de informaciĂłn que se incluirĂĄ y sistematizarla en el diario de forma ordenada (Guijt y Woodhill, 2002).

I. Monitoreo fotogrĂĄďŹ co o de video Este mĂŠtodo permite revisar los cambios a partir de una serie de fotografĂ­as o videos tomados en diferentes momentos. Puede basarse en indica = W = = = cionando la cĂĄmara a las personas participantes del proyecto para que registren los cambios que consideren mĂĄs importantes. Hay una serie de pasos para este ejercicio: despuĂŠs de analizar los indicadores que se quieren monitorear, se toma la foto o la grabaciĂłn de la situaciĂłn actual de dichos parĂĄmetros. Es im= ?

? { + X? mantenga en el tiempo, como un poste de luz, una construcciĂłn o una marca sobre una piedra) ? =

; @ Â? grabaciĂłn en aĂąos posteriores. Se toman las fotografĂ­as o el video y se hacen anotaciones sobre cuĂĄndo y en dĂłnde fueron tomadas. Una vez que se tiene la fotografĂ­a o la grabaciĂłn, se discute con las personas involucradas para comprender '

chos cambios, y cualquier otro anĂĄlisis pertinente.

PĂĄgina 71

DespuĂŠs de un periodo determinado, se regresa al lugar y se vuelve a tomar la foto o video. Las distintas imĂĄgenes o grabaciones se ubican una despuĂŠs de otra, y se genera una discusiĂłn con las personas involucradas sobre los cambios que se observan, las causas de los cambios, el impacto, las acciones que se requieren, etc. Este mĂŠtodo se puede combinar con otros, como el uso de diarios, o puede ser un insumo para incentivar la discusiĂłn de los participantes en mĂŠtodos como grupos focales. Las imĂĄgenes = < = antes y despuĂŠs del proyecto, como medios de ' = = = la rendiciĂłn de cuentas con el donante. Sin embargo, no se debe caer en el error de emplear @ ; @W ; <

' '

? = del anĂĄlisis mismo.

J. Reportes del proyecto = @ = W en una serie de preguntas, todas dirigidas a evaluar los indicadores correspondientes a los resultados y objetivos de un proyecto. Los reportes pueden ser los mismos formatos donde se registran las actividades y las observaciones de dichas acciones. Como herramienta tienen la ventaja de ser muy accesibles, por ser una extensiĂłn del trabajo cotidiano. Es por lo general una herramienta muy econĂłmica y no requiere dedicarle demasiado tiempo. Su desventaja es depender mucho de que los encargados del proyecto en campo sean muy disciplinados y recojan los datos para los reportes sistemĂĄticamente; ademĂĄs, es necesario que sean muy analĂ­ticos y objetivos al reportar sus propias actividades.

PĂĄgina 72

Monitoreo y EvaluaciĂłn de Proyectos

Tabla 15. Cuadro resumen de mĂŠtodos de recolecciĂłn de datos TĂŠcnica

CaracterĂ­stica principal

Ventaja

Desventaja

MediciĂłn fĂ­sica de cambios en el tiempo en relaciĂłn con un indicador determinado, empleando una unidad de medida y un procedimiento e instrumentos = W

Permite generar datos = - - Puede ser muy costoso W ' - y requiere en muchos A. Recopilación de mediciones bles para medir el cam- casos una alta especialibio logrado y el impacto dad tÊcnica. generado. - Puede ser parcial (a par- Permite revisar la opeImplica la observación de eventir de la selección del heración de un proyecto B. Observación directa tos, sucesos, procesos, relaciones, cho a observar). mientras estå en pråctica. comportamientos, etc. - Es difícil interpretar „ ` ! comportamientos.

B.1 ObservaciĂłn participativa

- Permite al observador acercarse a conocer la - Es difĂ­cil combinar los El observador se involucra en las vida cotidiana o la expe- procesos de observaactividades y en el contexto en riencia de un grupo en ciĂłn y de participaciĂłn. vez de mantener su distancia. relaciĂłn con el proyec- - Es un proceso que toma to, desde el interior del tiempo. mismo grupo.

C. Lista de control de preguntas/ Cuestionarios

- Se puede obtener infor- - Los cuestionarios emmaciĂłn variada, sobre plean preguntas cerraSerie de preguntas que pueden temas distintos y de das, pueden obtener ser empleadas como guĂ­a para muestras de poblaciĂłn poca informaciĂłn cualientrevistas, conversaciones informĂĄs grandes. tativa y poco contextuamales o cuestionarios. - InformaciĂłn fĂĄcil de ana- lizada. lizar a costos relativa- - No se obtiene informamente bajos. ciĂłn muy profunda.

- Ăštil para obtener la in- Requiere mucho tiempo formaciĂłn directamente DiĂĄlogo en forma de preguntas, - Es bastante costosa en

diseùadas para obtener infortÊrminos de recursos D. Entrevistas - Da menos posibilidad de mación sobre la experiencia u > interpretación subjetiva. opinión de las personas. - Información muy valiosa - Permite obtener inforpero difícil de analizar. = W „ / < = - Es difícil lograr un muesla opinión y percepción treo aleatorio. < ; =

E.Grupos focales de una muestra amplia „ ` < ? ; personas (entre 6 y 12) para ende gente (representada nas personas en el grupo trevistarlas y fomentar el diålogo. por el grupo selecciona- = do). opinión de los otros. - Requiere mucho tiempo y recursos. Entrevistas con individuos o gru ž < - Puede ser información F. Anålisis de aconteci- pos sobre eventos o incidentes para medir indicadores muy difícil de analizar. mientos críticos = W de impacto. - Es difícil mantener la información general sobre un objetividad y no tomar = W una posición respecto al acontecimiento.

RecolecciĂłn de informaciĂłn para el monitoreo y la evaluaciĂłn

G. Caminata transversal participativa

H. Diarios

I. Monitoreo ! " o de video

J. Reportes del proyecto

- Es un mĂŠtodo econĂłmico. - Puede emplearse para Consiste en realizar una excurobtener tanto informasiĂłn planeada en una determinaciĂłn cualitativa como

^ ; ; & = ' cuantitativa. ciertos indicadores. - Se puede obtener información difícilmente accesible por otros mÊtodos. - Permite obtener información al detalle ? = < = Registro de datos, eventos, entender el contexto reacciones y opiniones en el y las razones detrås de tiempo a partir de las entradas los procesos de cambio. redactadas por personas o gru„ ` " < pos involucrados en el proyecto. accesible. - Es un buen mecanismo para la autoevaluación. - Se puede combinar fåcilmente con otros mÊtodos. Permite revisar los cambios a „ < = partir de una serie de fotografías trar la situación antes y o videos tomados en diferentes despuÊs del proyecto. momentos. - Sirve tambiÊn como

' o para la rendiciĂłn de cuentas con el donante. Reportes basados en un formato - Es muy accesible, al = W = ser una extensiĂłn del guntas, todas dirigidas a evaluar trabajo cotidiano. los indicadores correspondientes - Por lo general, es muy a los resultados y objetivos de un econĂłmico y no requieproyecto. re demasiado tiempo.

PĂĄgina 73

- Puede ser un proceso muy largo. - No siempre se logra obtener la informaciĂłn planeada en un principio. - Requieren de mucha disciplina (cumpliendo con el registro de entradas con una periodicidad determinada). - Requiere una lectura enfocada y muy analĂ­tica de los registros para hacer el anĂĄlisis en el tiempo.

- ConfusiĂłn del mĂŠtodo como mecanismo de rendiciĂłn de cuentas y no como un mĂŠtodo de anĂĄlisis en sĂ­ mismo.

- Depende mucho de que los encargados del proyecto en campo sean muy disciplinados y recojan los datos sistemĂĄticamente, de forma analĂ­tica y objetiva.

Fuente: elaboraciĂłn propia con base en diversos documentos de referencia.

5.4 TĂŠcnicas de ValoraciĂłn Participativa RĂĄpida (VPR) Existe una gran variedad de tĂŠcnicas complementarias a los diversos mĂŠtodos de recolecciĂłn de datos que suelen conocerse como herramientas de valoraciĂłn participativa rĂĄpida. Se pueden emplear para la recolecciĂłn de informaciĂłn, facilitar la participaciĂłn en la obtenciĂłn de informaciĂłn,

incentivar el diĂĄlogo o lograr un anĂĄlisis mĂĄs profundo sobre una problemĂĄtica o proyecto en diversos momentos: en la etapa de diseĂąo del proyecto, en el monitoreo, en la evaluaciĂłn o en el anĂĄlisis de la informaciĂłn. Algunas de las tĂŠcnicas de VPR se mencionan brevemente a continuaciĂłn11.

TĂŠcnicas de anĂĄlisis - AnĂĄlisis FODA: se discuten en grupo las for ^

X [ W oportunidades y amenazas (externas) en relaciĂłn

11. Para informaciĂłn mĂĄs detallada y ejemplos concretos de estas tĂŠcnicas, ver Guijt y Woodhill, 2002 o Department for International Development [DFID], 2002.

PĂĄgina 74

Monitoreo y EvaluaciĂłn de Proyectos

con un proyecto o un proceso. Se puede hacer el ejercicio nuevamente despuĂŠs de un tiempo, para comparar el anĂĄlisis. Es una herramienta < =

{ ' de una problemĂĄtica, sobre todo en las etapas iniciales de un proyecto. Sirve ademĂĄs para valorar cuantitativamente un proyecto o un proceso, y retomar debilidades o errores anteriores para transformarlos en un aprendizaje constructivo. ` = < = ' un grupo. Se puede hacer a travĂŠs de una tabla: Fortalezas

Oportunidades

'

Amenazas

- AnĂĄlisis de las partes interesadas: Esta tĂŠcnica de anĂĄlisis consiste en hacer una lluvia de ideas para analizar a los actores relacionados = ? " ? "nes lo implementan y quiĂŠnes toman decisiones que pueden afectarlo, entre otros. A partir de esta lista, se comienza a ubicar y priorizar a los

;< ' " = = = = ; & (ver Figura 2) de acuerdo a la importancia y el nivel de poder de un actor, e ir ubicando a los interesados en un punto del plano. Si bien esta tĂŠcnica se acostumbra emplear al inicio del proyecto en la etapa de diseĂąo, " = < = = teriores de recolecciĂłn de datos. Sirve tambiĂŠn =

= = ya presentes asĂ­ como soluciones y alternativas. Cuando la actividad se hace desde el diseĂąo del = = < =

a los actores que estarĂĄn involucrados en las mismas actividades de MyE. * " ! ejercicio que sirve =

; ' W (tanto positivos como negativos) en relaciĂłn con los objetivos del proyecto. Esta herramien < = ? ?

@W dir, tales como fortalecimiento de capacidades y avances en la equidad de gĂŠnero. Consiste en hacer reu-

Figura 2. Esquema para el “AnĂĄlisis de las partes interesadasâ€? Esquema de Importancia/Poder de Actores

Alta Importancia/ Bajo Poder

Alta Importancia/ Alto Poder * ACTOR A

* ACTOR B Baja Importancia/ Bajo Poder

Baja Importancia/ Alto Poder

Fuente: ElaboraciĂłn propia con base en Guijt y Woodhill, 2002.

RecolecciĂłn de informaciĂłn para el monitoreo y la evaluaciĂłn

niones periĂłdicas con un grupo de participantes. En la primera reuniĂłn se pregunta al grupo quĂŠ cambios o aspectos considera importante lograr. Estos cambios serĂĄn los parĂĄmetros que serĂĄn monitoreados y analizados por el grupo en reuniones posteriores (la frecuencia de las reuniones dependerĂĄ del tiempo que requieran los cambios). En las reuniones subsecuentes, se pregunta al grupo cuĂĄles han sido los cambios & ; ' = & ? ; < < Â = ; = & ;

? & < = conocer los cambios y las razones de estos.

Diagramas - Diagrama de Venn: Es una herramienta empleada para ilustrar las relaciones entre diversos actores, organizaciones, proyectos, servicios o instituciones vinculadas con la intervenciĂłn:

PĂĄgina 75

@ ? < W portancia o poder relativo de cada uno (ver _ ; ”[ ` " = < = comprobar cambios en las relaciones de poder =

= ? ? & atenciĂłn. Para realizarlo, en primer lugar se dibuja un cĂ­rculo con el tema/proyecto central. Se pide al grupo de participantes que hagan una lista de los grupos, personas, organizaciones o instituciones relacionadas con el cĂ­rculo central. Para cada uno, se dibuja un cĂ­rculo: el tamaĂąo deberĂĄ ser acordado por los participantes de acuerdo al poder o importancia que tengan los actores, y la proximidad entre los cĂ­rculos determinarĂĄ el nivel de interacciĂłn. Los cĂ­rculos que se superponen representan funciones compartidas y los cĂ­rculos dentro de otros representan unidades en grupos u organizaciones mĂĄs grandes.

Figura 3. Ejemplo de Diagrama de Venn

Lider de la comunidad

Escuelas primarias Gobierno Estatal

Iglesia

Junta de Padres EducaciĂłn Tradicional

Alumnos

Fuente: ElaboraciĂłn propia

- Diagrama de causa y efecto: en esta tĂŠcnica ; = @ = = W (puede ser una actividad del proyecto, un problema en la comunidad, una situaciĂłn, o cualquier otro relevante) como imagen central en un lugar visible. Posteriormente, se les pide a los participantes que comenten cuĂĄles han sido las causas

y consecuencias del hecho, actividad o problema. Estas se anotan de forma esquemĂĄtica arriba y abajo (o antes y despuĂŠs) de la idea central, y se ; > ? sal. Si se mencionan consecuencias indirectas, el facilitador debe intentar llegar a la consecuencia directa, incluyendo ambas en el diagrama.

PĂĄgina 76

Monitoreo y EvaluaciĂłn de Proyectos

TĂŠcnicas de jerarquizaciĂłn - Matriz de puntuaciĂłn: permite hacer una comparaciĂłn entre distintas opciones o soluciones a un problema y hacer un anĂĄlisis sobre la ^ = = = la otra. Se hace una matriz y se insertan en = prioridad. Se discute con el grupo las venta+ ' + = de determinar los criterios que servirĂĄn para comparar las diversas posibilidades. Cada criterio se ubicarĂĄ en las columnas de la matriz y se establece una puntuaciĂłn mĂĄxima para cada = ; & + capacidad de la soluciĂłn para cumplir con el

` + ' > partir de la comparaciĂłn de cada alternativa y se anota en la tabla la puntuaciĂłn para cada una. - Escalas de valoraciĂłn o de preferencias: se establece un parĂĄmetro en el cual las personas deben ubicar sus opiniones, percepciones o sentimientos sobre un tema. Por ejemplo, se =

; ? & de acuerdo, de acuerdo, no saben, en desacuerdo ciĂłn. TambiĂŠn se puede enumerar una serie de elementos (por ejemplo: causas de un problema o soluciones del mismo) y pedir que cada persona los enliste por orden de importancia. Para llegar a una conclusiĂłn grupal, se pueden resumir los elementos a los que en promedio se les dio mayor o menor importancia. Esto permite incentivar el diĂĄlogo y conocer en mĂĄs profundidad las razones detrĂĄs de la valoraciĂłn.

Mapas - Bosquejo de mapas comunitarios: es una " < = ' = @W ; ; & ; = de acuerdo a la percepciĂłn de las personas involucradas. Consiste en pedir a las personas que hagan un dibujo de una determinada ubi ; ; &

(dibujando carreteras, pueblos, rĂ­os, etc.) y seĂąalando los recursos disponibles. Una vez que se ha dibujado el ĂĄrea, se les pide a los participantes que agreguen informaciĂłn (con dibujos o palabras) sobre lo que es mĂĄs importante de la regiĂłn, los problemas que existen, las mayores necesidades o cualquier factor relevante.

' ? > que los participantes estĂŠn conformes con el ` + ' ' = tir despuĂŠs de un periodo determinado (de preferencia con los mismos participantes), se > = ' ? + actual y luego se los compara con los anterio X = >

el mismo mapa con colores o seĂąalamientos distintos).

Otras tĂŠcnicas - Lluvia de ideas: es una tĂŠcnica que consiste en pedir a las personas de un grupo que piensen tantas ideas como sea posible acerca

= W ` ' en un lugar visible. Posteriormente, las ideas, temas o preguntas pueden agruparse o priorizarse, para analizarlas de forma general. Es importante aclarar desde el inicio del ejercicio que no se trata de un anĂĄlisis profundo, para evitar juicios de valor sobre cada idea que surja. Por lo general, esta tĂŠcnica se emplea al inicio de otras actividades para generar discusiĂłn y

& ; = ' ` " < = obtener una gran cantidad de informaciĂłn de un grupo sin enredarse en una discusiĂłn muy detallada. AdemĂĄs, incentiva la creatividad de los participantes. - Juego de roles: dinĂĄmica en la que un grupo de = = '

cotidiana respecto a problemĂĄticas, percepciones o temas relacionados con la intervenciĂłn del proyecto para luego discutirlas con el mismo grupo. La dramatizaciĂłn debe ser construi = = facilitador debe registrar el ejercicio de forma

RecolecciĂłn de informaciĂłn para el monitoreo y la evaluaciĂłn

escrita o por medio de grabaciones. Esta es > < = @ cualitativa sobre un tema, pero antes de implementarla es importante tener presente quĂŠ tan cĂłmodos se sienten los participantes haciendo

5.5 CĂłmo mejorar la calidad de la informaciĂłn Para aumentar las posibilidades de que la informa

= = ' evitar errores e inconsistencias en el proceso de recolecciĂłn de datos y en su posterior anĂĄlisis.Algunos de los errores mĂĄs comunes y algunas propuestas para minimizarlos se muestran en laTabla 16.

PĂĄgina 77

(!) Siempre se debe considerar el contexto en el que se aplicarĂĄ un mĂŠtodo o tĂŠcnica determinados del lugar, la poblaciĂłn y los recursos disponibles. Esto es especialmente importante cuando se estĂĄ trabajando con poblaciĂłn que no sepa leer o escribir, en cuyo caso se deberĂĄn seleccionar los mĂŠtodos

focales o juegos de roles) o adaptar los mĂŠtodos (por ejemplo, usando sĂ­mbolos o imĂĄgenes en lugar de palabras escritas). AdemĂĄs del contexto, es muy

formaciĂłn que se quiere obtener, para seleccionar el mĂŠtodo adecuado y para considerar el nivel de sensibilidad sobre ciertos temas.

Tabla 16. Errores comunes en la recolecciĂłn de informaciĂłn Error SelecciĂłn de una TĂŠcnica Inadecuada: se eligen mĂŠtodos de recolecciĂłn de datos fuera de contexto, demasiado complicados o inoperables de acuerdo a los recursos disponibles. TambiĂŠn se puede caer en el error de emplear la tĂŠcnica de forma inadecuada, por ejemplo al plantear preguntas demasiado ambiguas o un mĂŠtodo inadecuado de acuerdo a la informaciĂłn que se quiere obtener (por ejemplo, tĂŠcnicas grupales para temas mĂĄs sensibles).

RecomendaciĂłn Se recomienda hacer un profundo anĂĄlisis previo a la selecciĂłn de la tĂŠcnica de recolecciĂłn de datos, considerando las posibilidades, las necesidades de informaciĂłn y el contexto.

Se puede reducir este riesgo, asegurando que el entrevistador y los involucrados conozcan los objetivos Sesgos del entrevistador: el entrevistador puede fĂĄcilmente indel proceso y valoren su importancia para el proyecto. = ; ' Asimismo, previo a la recolecciĂłn de datos, se pueden X = = ' practicar las tĂŠcnicas de entrevista y de facilitaciĂłn paa travĂŠs de su lenguaje verbal o no verbal) o de forma deliberada ra estar mejor preparados. Otra estrategia es enlistar (cuando el entrevistador es tambiĂŠn responsable del desempeĂąo con anterioridad todos los posibles problemas que se del proyecto y tiene un interĂŠs en los resultados del MyE). podrĂ­an presentar y proponer formas de evitarlos o solucionarlos. Sesgo de los Entrevistados: - Se recomienda plantear preguntas abiertas y mez- El sesgo de la empatĂ­a: al estar en un contexto muy posiclar preguntas positivas y negativas para evitar el tivo, en una situaciĂłn muy amable, puede ser que la poblaciĂłn sesgo de la empatĂ­a. evite decir cosas crĂ­ticas. - Garantizar el anonimato y la promesa, con lo cual - Autocensura: no explicarse libremente por temor a que se se evita la autocensura del entrevistado. perciba como un riesgo. Se recomienda procesar la informaciĂłn reunida y Errores en el procesamiento de la informaciĂłn: muchos vaciarla inmediatamente despuĂŠs del ejercicio de de los problemas en la calidad de la informaciĂłn se deben a un recopilaciĂłn de datos. AdemĂĄs, es muy recomenda ; ' & ble tener formatos estandarizados para la docucuidados de los resultados o a fallas en las herramientas empleamentaciĂłn, probarlos y adaptarlos previamente si das para vaciar la informaciĂłn. es necesario. Fuente: ElaboraciĂłn propia con informaciĂłn de Guijt y Woodhill, 2002.

PĂĄgina 78

Monitoreo y EvaluaciĂłn de Proyectos

car los datos obtenidos periĂłdicamente. Puede ser Ăştil

de recolecciĂłn de datos, por ejemplo, cuando: - No se perciben problemas (en la mayor parte de los casos, los problemas serĂĄn inevitables y el no reportarse puede ser seĂąal de alguna inconsistencia). - Los datos son demasiado precisos. - Se presentan grandes cambios de forma repentina. - Hay vacĂ­os de informaciĂłn.

Algunos consejos generales Â

@ tenida en el proceso de MyE son fundamentales para asegurar la credibilidad de los resultados. Algunos consejos bĂĄsicos para asegurar la calidad en la informaciĂłn se enlistan a continuaciĂłn: - Recoger Ăşnicamente la informaciĂłn que serĂĄ Ăştil y que podrĂĄ emplearse. < mente se cae en el error de reunir demasiados datos y de baja calidad y formulamos un sistema

/ ` = +

un anĂĄlisis adecuado. Menos datos (de mayor calidad) pueden ofrecer informaciĂłn mucho & < = = posteriores del proceso de manejo de informaciĂłn. - Realizar una planeaciĂłn adecuada: como se mencionĂł anteriormente, un diseĂąo adecuado del proyecto asĂ­ como del sistema de MyE es esencial para obtener informaciĂłn de calidad, esto incluye: formulaciĂłn de indicadores '

necesidades de informaciĂłn de lĂ­nea base, diseĂąo cuidadoso del plan de monitoreo, selecciĂłn de los mĂŠtodos y las tĂŠcnicas de recolecciĂłn de datos mĂĄs convenientes. " + aunque no sea un enfoque riguroso o cientĂ­-

? = = con una metodologĂ­a rigurosa y pertinente de acuerdo a las necesidades de informaciĂłn. Los

= lecciĂłn de una muestra representativa y de la unidad de anĂĄlisis adecuada. - ValidaciĂłn de la informaciĂłn: los datos obtenidos con un mĂŠtodo de seguimiento, se ' @

mĂŠtodo. - TriangulaciĂłn de las fuentes: para asegurar la calidad de la informaciĂłn, es muy importante contar con diferentes fuentes, con distintos tipos de mĂŠtodos e informantes diversos, para obtener una visiĂłn completa de la situaciĂłn. - Combinar datos cuantitativos con informaciĂłn cualitativa: esto facilita el anĂĄlisis, pues permite explicar, a travĂŠs de la informaciĂłn cualitativa, algunos de los resultados que se obtienen con los datos cuantitativos. esto es fundamental para asegurar la pertinencia de los mĂŠtodos y de la informaciĂłn obtenida. - CapacitaciĂłn y preparaciĂłn de quienes participan en la recolecciĂłn: los encuestadores y entrevistadores deben estar capacitados para hacer bien su trabajo. Previo al ejercicio de recolecciĂłn de informaciĂłn, se recomienda tener preparados los apoyos materiales (formatos y bases de datos para guardar la informaciĂłn) y de capacitaciĂłn, asegurando que todos tengan las herramientas necesarias - Flexibilidad en la revisiĂłn de indicadores: conforme se desarrolle el proyecto, serĂĄ necesario revisar las necesidades de informaciĂłn y los indicadores formulados en un inicio. Es nece ! '

o eliminar aquellas que ya no sean relevantes.

Capítulo 6 Análisis y empleo de la información

AnĂĄlisis y empleo de la informaciĂłn

Una vez que los datos de monitoreo y evaluaciĂłn hayan sido reunidos, deben ser sistematizados y organizados para facilitar su interpretaciĂłn y anĂĄlisis posterior. Este anĂĄlisis permite convertir los “datos brutosâ€? en “conocimientoâ€? para facilitar la toma de decisiones y el aprendizaje de la organi^ 12.

6.1 SistematizaciĂłn y organizaciĂłn de datos Los datos pueden ser sistematizados de diversas maneras, dependiendo de la tĂŠcnica de recolecciĂłn que se haya empleado (por ejemplo, algunas quizĂĄ requieran llenar formatos, otras podrĂĄn requerir grabaciones o notas detalladas). Es importante determinar desde un inicio cĂłmo se registrarĂĄn los diversos datos, de forma que puedan compararse y analizarse fĂĄcilmente. AdemĂĄs de saber cĂłmo recopilar datos, el personal debe saber cĂłmo registrar la informaciĂłn obtenida. Para esto se recomienda llevar a cabo una capacitaciĂłn que prepare al personal para vaciar los datos y manejar >

= en dĂłnde se almacenarĂĄ la informaciĂłn de tal forma que se guarde en un lugar seguro y accesible. Una vez que los datos hayan sido reunidos, se ; ^ @ = W datos electrĂłnicas. Esta organizaciĂłn de la infor < = = = @ maciĂłn distinta: cuando se quiere pasar de una unidad de anĂĄlisis mayor a una mĂĄs pequeĂąa o para homogeneizar informaciĂłn proveniente de distintas fuentes y recopilada a travĂŠs de distintos mĂŠtodos. En los formatos se vacĂ­a la informaciĂłn por unidades de anĂĄlisis, que pueden ser valores de mediciĂłn o valores asignados a los distintos datos cualitativos. Una vez organizada bajo categorĂ­as o unidades, la informaciĂłn puede resumirse en tablas

PĂĄgina 81

; & ? @ & ; variable o pregunta de evaluaciĂłn.

6.2 Anålisis e interpretación de datos Idealmente, los resultados obtenidos del MyE se analizan en comparación con los datos de las líneas base establecidas al inicio del proyecto y en relación con los indicadores establecidos en la planeación. Si la línea base no existe, el anålisis tenderå a ser mås descriptivo, mostrando una fotografía de la situación presente pero no un anålisis de cómo las circunstancias han cambiado a partir de la intervención. El anålisis de la información consiste en identi '" la valoración de hallazgos importantes (anålisis) o a partir de la agrupación de diversas fuentes de información para llegar a una comprensión global (síntesis). En este proceso de anålisis se recomienda preguntarse: - ¿Los hallazgos son realistas? „ Š` & involucrados con los resultados? - ¿La información demuestra que se han alcanzado los objetivos del proyecto? -

ÂżCuĂĄles son los efectos deseados y no deseados?

„ Šž = = W ? ? ción? - ¿QuÊ elementos explican el Êxito o fracaso del proyecto en cada nivel de intervención? - ¿Existen otros factores externos para ser considerados en los logros y fracasos?

12. Esta secciĂłn estĂĄ en su mayor parte basada en los capĂ­tulos 7 y 8 de Bakewell et al., 2003, Sharpening the Development Process: a Practical Guide to Monitoring and Evaluation. Oxford, UK: International NGO Training and Research Centre (INTRAC).

PĂĄgina 82

Monitoreo y EvaluaciĂłn de Proyectos

- ÂżFueron las preguntas y los indicadores los mĂĄs adecuados?

pretada en hojas de cĂĄlculo con el apoyo de programas como Microsoft Excel, EPI-INFO o SPSS.

- ÂżSe emplearon los mĂŠtodos correctos de recolecciĂłn de datos?

AnĂĄlisis cualitativo: este tipo de anĂĄlisis suele considerarse mĂĄs complejo que el cuantitativo y consiste en leer y examinar la informaciĂłn obte

= ; W = obtener una “fotografĂ­aâ€? general de lo que signi ' ' & ;< ; = subjetiva, por lo que es importante asegurar que estas interpretaciones no estĂŠn sesgadas hacia la obtenciĂłn de resultados positivos del proyecto. Para evitar esto, se recomienda que el anĂĄlisis sea realizado por mĂĄs de una persona o en una evaluaciĂłn participativa.

Consideraciones importantes para el anĂĄlisis de datos - El anĂĄlisis de la informaciĂłn debe hacerse en todos los niveles, desde el lugar de implementaciĂłn del pro > ; ^ - Asegurar, en la medida de lo posible, que las personas involucradas en la recolecciĂłn de informaciĂłn estĂŠn involucradas tambiĂŠn en el anĂĄlisis (si las personas ? < @ = & ;< " ; ?

; [ - El anĂĄlisis debe ser participativo e involucrar tanto al equipo responsable de la ejecuciĂłn del proyecto co ` & = ? > != ! = ' - El anĂĄlisis debe hacerse de forma regular, de preferencia despuĂŠs de la recolecciĂłn de datos, para permitir una mayor compresiĂłn sobre el desarrollo del proyecto. - La informaciĂłn no debe manipularse para producir resultados “correctosâ€?. „ ` & +

= = '

! = W X= + = ? ; ĂŠxito o un fracaso pueden variar sustancialmente desde distintos enfoques).

CategorĂ­as de anĂĄlisis Existen dos tipos distintos de anĂĄlisis de la informaciĂłn, el cuantitativo y el cualitativo. AnĂĄlisis cuantitativo: consiste en la interpreta

u otros valores numĂŠricos, que son analizados a partir de operaciones sencillas como sumas, porcentajes y promedios o por medio de mĂŠto W &

{ = comprobar la relaciĂłn entre distintas variables. Se recomienda mantener el anĂĄlisis cuantitativo lo mĂĄs sencillo posible para asegurar la exactitud y

` ? la informaciĂłn cuantitativa puede ser fĂĄcilmente organizada en distintas categorĂ­as, cruzada e inter-

Entre la gran cantidad de datos, es posible encontrar mucha informaciĂłn interesante. Para no perderse entre tanta informaciĂłn, es importante @ ? = W mente con los objetivos del MyE. Esto se logra revisando la evidencia de cambio para cada uno de los indicadores. AdemĂĄs de revisar los datos sistematizados y organizados, se recomienda regresar a las fuentes de ' X

; ; fotografĂ­as, etc.), que pueden dar mĂĄs informaciĂłn sobre puntos que no quedan claros con la informaciĂłn disponible. Existe tambiĂŠn la posibilidad de “traducirâ€? la informaciĂłn cualitativa en datos cuantitativos. Esto se hace asignando un valor numĂŠrico a las respuestas

= ; ? ; ^ a partir de un anĂĄlisis cualitativo previo. Ejemplo de asignaciĂłn de valores cuantitativos datos cualitativos: Pregunta: ÂżEn dĂłnde ha percibido un mayor impacto a partir del apoyo crediticio? En el ingreso En la educaciĂłn En la salud No ha habido impacto

Valor asignado +1 +1 +1 - 1

AnĂĄlisis y empleo de la informaciĂłn

InterpretaciĂłn de los resultados El proceso de interpretaciĂłn de los resultados ; > ^; los anĂĄlisis cualitativo y cuantitativo. Es un juicio

' ? ; obtenidos de los datos duros, las opiniones y los documentos. A partir de estas conclusiones se = @ =

^ + ? " funciona y quĂŠ no en tĂŠrminos de actividades, estrategias, enfoques y polĂ­ticas; tambiĂŠn se hacen recomendaciones para acciones futuras. Si el anĂĄlisis de datos se hace para el monitoreo, esto puede resultar en una revisiĂłn del proyecto (actividades, objetivos, etc.) o en una revisiĂłn del sistema de monitoreo (nuevos indicadores, nuevos mĂŠtodos de recolecciĂłn, etc.). Si el anĂĄlisis se hace como parte de una evaluaciĂłn, se incluirĂĄn tambiĂŠn recomendaciones sobre la totalidad del proyecto, su orientaciĂłn y su impacto. Para facilitar la interpretaciĂłn de los datos se puede emplear una tabla con los indicadores para cada nivel de intervenciĂłn, y enseguida se describen los resultados que muestran los cambios para cada uno. La interpretaciĂłn de avances en relaciĂłn con los indicadores es una de las partes mĂĄs importantes del proceso de MyE, pues permite mostrar el avance y derivar los aprendizajes del proyecto. Distintas interpretaciones de los resultados darĂĄn recomendaciones diferentes, por ello es importante que la interpretaciĂłn sea un proceso colectivo, que involucre preferentemente

ConclusiĂłn del anĂĄlisis: recomendaciones El anĂĄlisis permite mostrar los avances del proyecto y explicar el porquĂŠ de los logros (o en su caso, de los fracasos). A partir de este anĂĄlisis, es posible sacar conclusiones, hacer recomendaciones de cambios futuros que requiera el proyecto y para la organizaciĂłn, e incluso puede generar aprendizajes para otras organizaciones.

PĂĄgina 83

Las recomendaciones son propuestas de implementaciĂłn de cambios o nuevas acciones basadas en la evidencia y las conclusiones del anĂĄlisis. Implican comparar alternativas, revisar prioridades

=

contexto mĂĄs amplio. Al elaborar las recomendaciones, vale la pena preguntarse: - ÂżExisten limitantes al proyecto generados por la falta de capacitaciĂłn o de recursos del proyecto? - ÂżExisten limitantes que son externas al proyecto? Si es asĂ­, ÂżquĂŠ se puede hacer para minimizar su efecto? - ÂżSon los resultados y las actividades implementadas los mĂĄs apropiados? ÂżSiguen siendo ĂŠstas las necesarias y adecuadas? - ÂżSon los objetivos del proyecto los adecuados? - ÂżExisten preguntas sobre el progreso del proyecto que no pueden responderse a partir del proceso actual de monitoreo y evaluaciĂłn? Para hacer recomendaciones pertinentes, se debe tener conocimiento sobre el contexto organizacional en donde se tomarĂĄn las decisiones programĂĄticas, y sobre el contexto social y econĂłmico en donde opera la iniciativa. Para asegurar que las ! nar sobre lo que es realmente viable teniendo en cuenta los tiempos y recursos y el contexto del proyecto. Por otro lado, las recomendaciones deben dialogarse y acordarse con los responsables = @ manera que ayuden realmente a introducir cambios en la acciĂłn y no solo a seĂąalar un problema existente. Cada recomendaciĂłn debe mostrar las

= W ? ;

= = bles de los cambios. AdemĂĄs de las recomendaciones para el proyecto, las conclusiones del anĂĄlisis pueden arrojar tambiĂŠn recomendaciones mĂĄs generales y buenas = & < = = metodologĂ­as o contextos similares.

PĂĄgina 84

Monitoreo y EvaluaciĂłn de Proyectos

Diferencia entre lecciones, buenas pråcticas y recomendaciones‌ Lecciones Aprendidas: mås relacionadas con el proceso de gestión del proyecto, y sobre todo en relación con el impacto. Buenas Pråcticas: cuando una experiencia resulta ser muy exitosa y se quiere destacar entre otras organizaciones. Las buenas pråcticas muchas veces se desarrollan mås en el nivel de las metodologías empleadas, y son transferibles a otros casos similares. Recomendaciones: estån vinculadas a conclusiones &

;

@

ciencia.

PresentaciĂłn del anĂĄlisis La presentaciĂłn del anĂĄlisis y las recomendaciones que hayan resultado del proceso de MyE puede hacerse a travĂŠs de: - Reportes: es el registro escrito del anĂĄlisis y es importante para transferir los aprendizajes a proyectos futuros. - Reuniones: suelen hacerse con los responsables del proyecto o los donantes. - Talleres: se emplean sobre todo para compartir las conclusiones y revisar las recomendaciones con un grupo mĂĄs amplio de involucrados, = W ciaros. Es muy recomendable que la informaciĂłn del anĂĄlisis sea presentada de forma visual y esquemĂĄtica =

; ; &

6.3 Empleo de la informaciĂłn ? ? + ' / ` < tener en cuenta las siguientes consideraciones para la difusiĂłn de la informaciĂłn: - Asegurar claridad en el mensaje. - Facilitar la comunicaciĂłn empleando mĂŠtodos ; & - Acordar desde un inicio la frecuencia con la que se comunicarĂĄ la informaciĂłn.

- Promover que la informaciĂłn se comunique en los tiempos adecuados y mĂĄs oportunos. - Tener en cuenta el contexto para determinar el lugar y la forma de comunicar los avances o resultados. El uso de la informaciĂłn por lo general estĂĄ enfocado a lograr alguno de los siguientes objetivos principales:

RendiciĂłn de cuentas La rendiciĂłn de cuentas “hacia arribaâ€? (a los directores de la organizaciĂłn o a los donantes) es por ; + ' & < / ` = muchas veces es requisito para dar continuidad al proyecto. Sin embargo, es importante que la rendiciĂłn de cuentas sea tambiĂŠn hacia los involu = ` forma natural en los procesos de MyE participati' @ ? hagan su propio anĂĄlisis, den recomendaciones al proyecto, e implementen los cambios sugeridos en la evaluaciĂłn.

Mejorar el desempeĂąo Unos de los objetivos principales de las evaluaciones es el de capacitar a las organizaciones y a las personas para que aprendan de la propia experiencia con miras a mejorar el rendimiento en el futuro. Para esto, las recomendaciones de cambio surgidas deben analizarse, difundirse y ponerse en prĂĄctica. La implementaciĂłn de los cambios puede ser un proceso difĂ­cil, pues requiere un alto nivel de introspecciĂłn y autocrĂ­tica por parte de los responsables del proyecto. Algunas preguntas guĂ­a para facilitar este proceso son: - ÂżQuiĂŠn es responsable de implementar los cambios? ÂżQuiĂŠn debe aprobar estos cambios dentro de la organizaciĂłn? ÂżSe requiere aprobaciĂłn del donante? - ÂżCĂłmo se darĂĄ seguimiento a los cambios?

AnĂĄlisis y empleo de la informaciĂłn

- ÂżQuĂŠ impacto tendrĂĄn estos cambios sobre la ; X > y de tiempo)? - ÂżQuĂŠ posibles resistencias se pueden enfrentar y cĂłmo se manejarĂĄn? Una evaluaciĂłn debe contar con un mecanismo para seguir las recomendaciones e implementar las acciones necesarias para reencaminar el proyecto. ` < & ' tienen que ver con la gestiĂłn y administraciĂłn de la organizaciĂłn, el uso inadecuado de los recursos

= ' Si bien la implementaciĂłn de cambios puede ayudar a mejorar sustancialmente el desempeĂąo del proyecto, se debe evitar hacer demasiados cambios con demasiada frecuencia, pues se puede poner en riesgo la estabilidad del proyecto. Algunas veces, puede ser mĂĄs recomendable dejar que las circunstancias se desarrollen por sĂ­ solas: = = ; el paso del tiempo, o su misma resoluciĂłn puede fortalecer a los actores involucrados. K @ < = ; = las recomendaciones se presenta en la Tabla 17.

PĂĄgina 85

Esto permitirå que la organización pueda continuamente mejorar su capacidad de alcanzar objetivos y metas y logre satisfacer las necesidades != ' demås involucrados. Si esto no ocurre, se corre el riesgo de malgastar los recursos, repetir los mismos errores y no aprender de la experiencia para mejorar el desempeùo y fortalecer la organización. Actualmente hay diferentes factores que afectan los procesos de aprendizaje de las actividades de MyE al interior de las organizaciones. Veamos: „ % = + @ cuando puede poner en riesgo la continuidad de los proyectos o las probabilidades de apro ' - Limitada cultura de evaluación, al no reconocer las ventajas del MyE para el proyecto o para la organización. - Debilidades organizativas, como la falta de estandarización de los procesos de MyE, la alta rotación de personal o priorización de las acciones cotidianas, y poca inversión de tiempo o recursos para la planeación del MyE.

Aprendizaje

- Falta de apropiaciĂłn de las conclusiones y recomendaciones por parte de los encargados de la planeaciĂłn y ejecuciĂłn de nuevos proyectos.

Responder a las recomendaciones para mejorar el proyecto en marcha puede ser mĂĄs fĂĄcil que asegurar que el aprendizaje sirva para el futuro. Las lecciones aprendidas tendrĂĄn que institucionalizarse para que haya cambios en los proyectos, programas, prĂĄcticas, procedimientos y polĂ­ticas futuras de la organizaciĂłn.

- Valor limitado del mismo MyE, ya sea porque los resultados y recomendaciones no estĂĄn vinculados a la realidad del proyecto, las recomendaciones no son pragmĂĄticas o realistas, o = ? >

; ' el contexto que hacen que los resultados de la evaluaciĂłn sean irrelevantes.

Tabla 17. Tabla resumen de recomendaciones Recomendaciones (formuladas en el informe de evaluaciĂłn) 1. 2. Fuente: Bakewell et al., 2003.

Responsabilidad (dirigentes, coordinadores, directores de proyecto)

Fecha lĂ­mite (3 a 6 meses, 1 aĂąo)

PĂĄgina 86

Monitoreo y EvaluaciĂłn de Proyectos

Un adecuado aprendizaje requiere el desarrollo

= W = @ cionalizaciĂłn de las lecciones aprendidas y tomar medidas para que estos sistemas sean realmente @ ' ` ; - Garantizar la memoria de la organizaciĂłn: los aprendizajes deben ser institucionalizados a travĂŠs de mecanismos que aseguren que el conocimiento adquirido por las personas se mantenga en la organizaciĂłn, aun cuando los individuos ya se hayan ido. Esto se puede lograr fĂĄcilmente a travĂŠs de medios electrĂłnicos que permitan almacenar los reportes de MyE. - Asegurar que los aprendizajes sean accesibles: ; ; ^ = el acceso a los informes y reportes, asĂ­ como facilitar su revisiĂłn en un archivo fĂĄcilmente

; X@W [ - Aplicar el aprendizaje: solo cuando las lecciones son realmente tomadas en cuenta e implementadas, se puede alcanzar un proceso de aprendizaje continuo. - Aprendizaje compartido: las lecciones que pueden funcionar para la propia organizaciĂłn muy probablemente podrĂĄn ser de utilidad para otras organizaciones, y viceversa.

Comunicación y difusión Los resultados (positivos o negativos) de todo el proceso de MyE deben ser difundidos entre diversos actores directa o indirectamente involucrados en el proyecto, para asegurar la implementación y continua retroalimentación de aprendizajes. La adecuada difusión de los resultados es fundamental para optimizar el valor agregado del MyE. No existe solo una forma para desarrollar una estrategia ^ X' Y #¥[ = puede guiarse por algunas preguntas båsicas: - Š… " =< / `‰ „ Š & @ & = < para compartir? - ¿Cuål es la m + = ; =< ‰ Las estrategias y mensajes de comunicación, que van desde boletines informativos, reuniones de diålogo y talleres hasta la difusión en materiales impresos, dependerån del tipo de audiencia: „ -

Equipo responsable de la implementaciĂłn ] Donantes Donantes potenciales Individuos asociados a la organizaciĂłn Otras organizaciones

Tabla 18. Ejemplo de Estrategia de DifusiĂłn Medios de difusiĂłn Informes de monitoreo Informes de evaluaciĂłn Z < + ' Â? `! PĂĄginas web Intranet Seminarios / Talleres Fuente: Gosparini et al., 2004.

Sede Coordinadores y principal equipo del proyecto X X X x X X X x

Otras ONG

Donantes

X

x

Involucrados/ ; X X

X

X

X

x

X

CapĂ­tulo 7 Monitoreo y evaluaciĂłn en proyectos de incidencia y de emergencia

Monitoreo y evaluaciĂłn en proyectos de incidencia y de emergencia

En esta secciĂłn revisaremos algunas consideraciones importantes del MyE para proyectos de campaĂąas e incidencia y proyectos de atenciĂłn a la poblaciĂłn en situaciĂłn de emergencia. El anĂĄlisis de estas intervenciones es relevante, pues representa dos extremos de la cooperaciĂłn internacional, uno de ayuda inmediata y otro de atenciĂłn de las causas estructurales de problemĂĄticas sociales. AdemĂĄs, por su propia naturaleza, son intervenciones generalmente mĂĄs difĂ­ciles de monitorear y evaluar e involucran procesos de MyE distintos a las intervenciones tradicionales. Sin embargo, dada su relevancia y generalizaciĂłn, es fundamental medir los avances y el impacto de este tipo de iniciativas.13

7.1 Monitoreo y evaluaciĂłn en proyectos de incidencia Ante las limitantes que pueden tener los proyectos sociales que se desarrollan en medio de un contexto mĂĄs amplio de inequidad, injusticia y limitado acceso a la participaciĂłn ciudadana, la necesidad de lograr cambios de fondo en las estructuras polĂ­ticas, econĂłmicas y sociales ha sido cada vez mĂĄs evidente. Diversas organizaciones han afrontado esta necesidad por medio de estrategias de campaĂąas e incidencia (ya sea como su estrategia central o complementaria a los proyectos), enfocadas a generar los cambios estructurales requeridos. La incidencia es el empleo estratĂŠgico de la in@ = = W acciones de quienes detentan el poder, con el objetivo de lograr cambios positivos en las vidas de las personas.AsĂ­, una campaĂąa puede tener co-

PĂĄgina 89

mo objetivo de cambio la incidencia en una ley, en = W =< = = @ y participaciĂłn de la sociedad civil, apertura democrĂĄtica y defensa de derechos, etc. % ? + ' cidencia consiste en generar cambios en las vidas de las personas, las acciones tambiĂŠn deben estar basadas en el conocimiento y en la experiencia

= N W igual que en cualquier otro tipo de iniciativa, se recomienda que la incidencia sea esencialmente participativa, que retome necesidades reales y estĂŠ dirigida a empoderar a individuos y comunidades para que incidan en las decisiones que les afectan. Las razones para monitorear y evaluar proyectos de incidencia son las mismas que para otros proyectos de desarrollo: rendiciĂłn de cuentas, mejora en el desempeĂąo, aprendizaje y difusiĂłn. Poder evaluar el impacto de este tipo de intervenciones es fundamental, pues lograr un objetivo de incidencia no necesariamente se traduce en un cambio positivo en la vida de las personas (por ejemplo, si se logra la aprobaciĂłn de una polĂ­tica en defensa de los derechos de las personas con discapacidad en las escuelas primarias, pero no se asigna presupuesto para la capacitaciĂłn del personal escolar en el tema, habrĂĄ pocos cambios para la poblaciĂłn infantil con discapacidad). Es posible ademĂĄs que > ^ + ' < dencia, pero se logre un impacto secundario a raĂ­z de la estrategia implementada (por ejemplo, ; = = W =< pero se genera mayor concientizaciĂłn sobre las necesidades y los derechos de las personas con discapacidad). Por estas razones, es importante desarrollar una evaluaciĂłn que mida el impacto de este tipo de acciones.

13. Esta secciĂłn se basa en su mayor parte en dos publicaciones de INTRAC: CapĂ­tulos 9 y 11 de Bakewell Adams y Pratt, 2003, y el documento de O´Flynn 2009, asĂ­ como de “A Guide to Measuring Advocacy and Policyâ€? de Reisman, Gienapp y Stachowiak, 2007. AquĂ­ se desarrolla tan solo de manera breve el tema de MyE en proyectos de incidencia y de emergencia, por lo que se recomienda consultar estas fuentes para mĂĄs informaciĂłn, asĂ­ como los recursos adicionales electrĂłnicos adjuntos a este manual.

PĂĄgina 90

Monitoreo y EvaluaciĂłn de Proyectos

Diferencias en el diseĂąo de la inter venciĂłn La labor de monitorear y evaluar el trabajo de incidencia es compleja, sobre todo al diseĂąar un sis / ` <

' ^ - El diseĂąo de objetivos claros puede resultar mĂĄs complicado que para otro tipo de proyectos. Esto es especialmente cierto en el caso del diseĂąo de objetivos intermedios o de corto plazo, pues por lo general aparecen como logros de proceso y no de impacto. - Las estrategias de incidencia no se adaptan fĂĄcilmente a la matriz de marcĂł lĂłgico, ya que la relaciĂłn entre actividades, resultados y objetivos no es tan directa al depender de otros (aliados, grupos objetivo de la incidencia, sociedad civil, medios, etc.). - Si bien puede emplearse tambiĂŠn la metodologĂ­a de marco lĂłgico, la lĂłgica de intervenciĂłn

> & ! Â objetivos de incidencia de una campaĂąa son revisados y adaptados de forma mĂĄs frecuente que en otro tipo de intervenciones. - A diferencia de proyectos de desarrollo, que son generalmente apoyados por la mayor parte de los involucrados, los proyectos de incidencia, por su propia naturaleza, parten del supuesto de que habrĂĄ oposiciĂłn abierta a sus objetivos.

dir, especialmente los logros intermedios o de avance. - Existen diversas fuerzas externas que pueden contribuir u obstaculizar el logro de los ob+ '

de los avances, logros o fracasos a la propia organización. - En comparación con otros proyectos de desarrollo, la incidencia es de largo plazo: toma mås tiempo comprobar cambios sustantivos. „ ` < ? >

@ en las estrategias y hasta en los objetivos: el contexto y los actores clave estĂĄn en constante cambio. Aun cuando la formulaciĂłn de objetivos sea la mĂĄs adecuada, es casi imposible iden = ' ' ? =

= Â ? ; ^

+ ' ^ determinado momento, puede ser completamente irrealizable poco tiempo despuĂŠs. - Los impactos en muchas ocasiones son mĂĄs difĂ­ciles de medir, pues los cambios deseados suelen ser en un nivel mucho mĂĄs amplio (mayor poblaciĂłn, varios territorios, etc.), y por lo tanto mĂĄs costosos de monitorear y evaluar en tĂŠrminos de recursos y tiempo. - Por lo general, es difĂ­cil contar con informaciĂłn de lĂ­nea base (por ejemplo, para un tema polĂ­ticamente sensible es mĂĄs difĂ­cil tener informaciĂłn sobre las posiciones u opiniones de = ? ir.

- Mientras que los objetivos de proyectos tradicionales son formulados como un logro de “progresoâ€?, los objetivos de incidencia pueden, en ocasiones, formularse en tĂŠrminos de “defensivosâ€? (por ejemplo, evitar que pase una ley que atenta contra la seguridad alimentaria de la poblaciĂłn).

Recomendaciones claves para Monitoreo y EvaluaciĂłn en proyectos de incidencia

Diferencias para el monitoreo y la evaluaciĂłn

DiseĂąo y formulaciĂłn de objetivos de incidencia claros

„ < + '

intangibles y por lo tanto mĂĄs difĂ­ciles de me-

Al igual que con otros proyectos, las estrategias de incidencia (ver Tabla19) requieren una formu-

Las siguientes consideraciones pueden ayudar a facilitar el MyE de proyectos de incidencia:

Monitoreo y evaluaciĂłn en proyectos de incidencia y de emergencia

lación clara de objetivos y resultados, así como un sistema de MyE adecuado. Para desarrollar los objetivos de incidencia, es necesario preguntarse: ¿QuÊ cambios se quieren lograr con el proyecto? ¿QuÊ estå mal, quÊ debe cambiar? ¿QuÊ soluciones alternativas pueden adoptarse? Los objetivos de cambio de una campaùa pueden ubicarse dentro de las siguientes categorías: - Lograr mayor concientización sobre un tema. - Contribuir al debate sobre un asunto en particular. - Fortalecer las capacidades de incidencia de la propia organización o de organizaciones aliadas o socias. „  ; = =< „  ; = W =< - Conseguir la implementación de políticas (nuevas o existentes). Uno de los errores mås comunes de los proyectos de incidencia es que se plantean objetivos demasiado ambiciosos e irrealizables de acuerdo al contexto social, económico y político (local,

PĂĄgina 91

nacional y global). De tal forma que al desarrollar los objetivos es fundamental entender claramente cuĂĄl es la situaciĂłn actual y quĂŠ es realmente alcanzable durante el periodo del proyecto. Cualquiera que sea el nivel de impacto que se busque, los objetivos de incidencia deben ser claros y realistas, lo cual puede facilitarse con un anĂĄlisis detallado de la realidad a travĂŠs de distintas herramientas, como los mapas de poder y las teorĂ­as de cambio14.

Desarrollo de metas e indicadores medibles Se recomienda establecer indicadores y metas es= W

? = ' luar el avance y logro de los objetivos de incidencia y la calidad de lo que se ha hecho (actividades). Dada

ha encontrado de gran utilidad emplear indicadores substitutos o “proxyâ€? (ver secciĂłn 5.2). Asimismo es importante tener en mente que para responder a circunstancias cambiantes, es muy probable que los objetivos y las actividades de un proyecto de incidencia tengan que adaptarse con el transcurso del tiempo, para lo cual tambiĂŠn tendrĂĄn que adaptarse los indicadores.

Tabla 19. Tabla guĂ­a de indicadores para estrategias de incidencia Tipo de estrategia

Ejemplo de Indicadores de Proceso Ejemplo de Indicadores de Efecto „ <

'

campaùa. „ < =

? = - Cantidad de cobertura de la campaùa en sobre actividad de la campaùa (prensa escrita, radio, medios. Internet, televisión; medios especializados o generales; 1. Difusión e im- Calidad de cobertura de la campaùa en medios invitados frente a medios atraídos, etc.) pacto en medios medios (profundización del tema, prioriza„ < "= ción, rÊplicas, message echoing, etc.) „ < & X; por la campaùa). - Respuestas de especialistas y líderes de opinión.

14. Para mĂĄs informaciĂłn ver Coffman, 2007.

PĂĄgina 92

Monitoreo y EvaluaciĂłn de Proyectos

„ / =< = - Porcentaje de personas que conocen la problemåtica, & = W =< porcentaje de personas que conocen las propuestas de relacionadas. la campaùa. - Cambio en la percepción sobre el proble2. Sensibilización y - Cantidad registrada de acciones colectivas. ma (se considera positivo o negativo, se participación de - Cantidad registrada de acciones individuales. conocen riesgos, se le da mayor importanla ciudadanía „ < W = ? cia, etc.). favor de las demandas de la campaùa. - Mayor conocimiento de las propuestas y „ < = = = { objetivos de la campaùa. „ < ; ^

'

= ^ - Mayor disposición de la ciudadanía a actuar de la campaùa. para incidir en las políticas gubernamentales. „ <

Â? =< ante instancias gubernamentales. - Nivel de comunicaciĂłn y colaboraciĂłn con funcionarios =< =

& ; ~ =

= =

= { = enviar el mensaje correspondiente a las autoridades. - Desarrollo de políticas o leyes „ < ; ? = = - - Adopción o cambios en políticas o leyes 2. Incidencia en puesta - Implementación de políticas o leyes gobierno - Cambio en percepciones y opinión, en porcentaje, de - Observancia de políticas o leyes = @ ' + ' - - Incremento o redistribución de presupuesdencia tos - Investigaciones, diagnósticos e informes entregados, propuestas presentadas a instancias de gobierno. „ W ?

= W nuestras demandas - Nivel de colaboración y coordinación con aliados (reuniones, estructura, rol de la di„ < = = rección, rol de la propia organización en - Fortalecimiento de las capacidades de cada organizala alianza, participación activa de todos los 3. Generación o ción y de la alianza en su conjunto miembros, etc.). fortalecimiento - Logros conjuntos en acciones de concientización so- Capacidad para alinear esfuerzos (coinde alianzas = =< cidencia de prioridades y objetivos; re = W =< partición de actividades; acuerdo sobre el trabajo que corresponde a cada quien; negociaciones, cabildeo y actividades de incidencia realizadas en conjunto). - Nivel de colaboración y coordinación con aliados (reuniones, estructura, rol de la dirección, rol de la propia „ < = = organización en la alianza, participación activa de todos tema 3. Generación o los miembros, etc.). - Fortalecimiento de las capacidades de cada fortalecimiento - Capacidad para alinear esfuerzos (coincidencia de organización y de la alianza en su conjunto de alianzas prioridades y objetivos; repartición de actividades; - Logros conjuntos en acciones de concienacuerdo sobre el trabajo que corresponde a cada tización sobre un tema, cambios en la opiquien; negociaciones, cabildeo y actividades de inciden =< = W =< cia realizadas en conjunto). Fuente: Elaboración propia con información de Reisman et. al, 2007.

Establecer unidades o niveles de evaluaciĂłn La incidencia involucra e impacta a diversos ti= X ? & = W

;

= -

Ăąa), poblaciĂłn en general, organizaciones locales, organizaciones aliadas, tomadores de decisiĂłn X ; '

=< [ =

acadĂŠmicos y lĂ­deres de opiniĂłn. Esta variedad

=< + ' > un anĂĄlisis de involucrados desde el inicio, tanto

Monitoreo y evaluaciĂłn en proyectos de incidencia y de emergencia

para el diseùo de la intervención como para el diseùo del sistema de monitoreo y evaluación. En este sentido, se recomienda hacer monitoreo en varios niveles: - Monitoreo del grupo objetivo - Monitoreo de relaciones y aliados - Monitoreo de medios „ / = =<

Mantener el sistema de monitoreo y evaluaciĂłn simple y sencillo Con tantas consideraciones de factores externos, niveles de anĂĄlisis, actores e implicaciones de contexto, el sistema de MyE para proyectos de incidencia puede volverse demasiado complejo. Por eso se recomienda que las herramientas de MyE sean lo mĂĄs sencillas posible, y se debe evitar dedicar demasiado tiempo y recursos a estas actividades. Si los objetivos e indicadores son claros, no se requieren sistemas de evaluaciĂłn muy complejos. Asimismo, buena parte del monitoreo de las acciones puede darse de manera informal, con la informaciĂłn disponible y las acciones que de cualquier forma se llevarĂ­an a cabo (revisiĂłn de medios, diĂĄlogo con aliados, etc.). El resto de la informaciĂłn no disponible se puede reunir por medio de tĂŠcnicas de recolecciĂłn de datos como encuestas, grupos focales, observaciĂłn en reuniones y diĂĄlogos. En este sentido, es muy recomendable que la informaciĂłn sea triangulada (que provenga de fuentes distintas) para asegurar

Dedicar suďŹ ciente tiempo al anĂĄlisis y la reexiĂłn sobre los avances y limitantes En proyectos de incidencia es especialmente ! ; ? permitan analizar en profundidad y crĂ­ticamente los avances y las limitantes de las acciones de la

PĂĄgina 93

campaĂąa. Si bien parece algo sencillo, es algo que < + `

& ; = hacer en los espacios regulares de reunión entre el equipo encargado de la labor y miembros de organizaciones aliadas, y es un momento ideal para: - Actualizar información sobre los indicadores y el progreso logrado. - Revisar otra información que muestre los avances o limitantes. „ ; @ ! X ternos) que hayan cambiado. - Hacer recomendaciones, adaptarse a nuevos escenarios y desarrollar nuevos planes, objetivos e indicadores, si es necesario. En este anålisis es muy importante monitorear tambiÊn la contribución general de la campaùa, independientemente de haber alcanzado o no los objetivos principales planteados. Existen muchas contribuciones positivas que se pueden estar logrando y que no estån siendo consideradas dentro de los logros. Por ejemplo, el posicionar un = =< = = terreno para acciones posteriores, sino que es un logro en sí mismo al generar cambios en el nivel de concientización de la sociedad sobre una problemåtica.

7.2 Monitoreo y evaluaciĂłn en proyectos de emergencia Los proyectos de emergencia son aquellos que se llevan a cabo en situaciones de crisis, ocasionadas por desastres naturales (huracanes, terremotos, etc.), un colapso repentino en los medios de vida

= X> ? W [ social generalizado. En medio de situaciones de emergencia como estas, la acciĂłn de las organizaciones se concentra en la entrega inmediata de la asistencia para salvar vidas y aliviar el sufrimiento de las personas afectadas por el desastre.

PĂĄgina 94

Monitoreo y EvaluaciĂłn de Proyectos

Por lo general, son circunstancias que inician de forma repentina, sin posibilidades de detenerse a planear cuidadosamente la intervenciĂłn.15 En momentos tan crĂ­ticos, la planeaciĂłn del MyE es < < =

? entrega de la ayuda equivale a una acciĂłn positiva por sĂ­ misma, sin necesidad de evaluar el efecto de dicha acciĂłn. Sin embargo, la prĂĄctica ha demostrado que esto no es necesariamente cierto, y en muchas ocasiones los proyectos de intervenciĂłn en situaciones de emergencia no alcanzan sus objetivos o incluso pueden llegar a causar mayor daĂąo. Veamos algunos ejemplos de posibles efectos negativos de este tipo de intervenciones: - Se entrega la ayuda inadecuada (alimentos que no pueden ser preparados o medicinas inapropiadas para el tipo de padecimiento). - La ayuda de emergencia incrementa la vulnerabilidad econĂłmica de una comunidad al deteriorar el tejido productivo local (por ejemplo, al introducir alimentos bajan los precios de los alimentos, perjudicando a los productores locales).

- Mala administraciĂłn de la ayuda (ante situaciones de emergencia, suelen incrementarse los + =

mismos). Una planeaciĂłn y un proceso de monitoreo y evaluaciĂłn adecuados son cruciales para evitar o minimizar este tipo de problemas. Incluso se podrĂ­a decir que el monitoreo y la evaluaciĂłn son = < & ' emergencia que en circunstancias normales, pues las consecuencias negativas de una intervenciĂłn inadecuada son mĂĄs inmediatas y pueden ser mĂĄs = +

; >

que es importante tener en cuenta.

DiďŹ cultades relacionadas al MyE en acciones de emergencia - El equipo de trabajo estĂĄ completamente concentrado en la entrega de ayuda inmediata. - Existe por lo general un cambio constante de personal, por lo que es difĂ­cil mantener y aprovechar los aprendizajes.

- La respuesta humanitaria menoscaba las instituciones locales, como instancias de gobierno, organizaciones o lĂ­deres locales (al responsabilizarse de la situaciĂłn, las organizaciones que intervienen no permiten que las instituciones locales adopten y fortalezcan su conocimiento sobre cĂłmo actuar ante crisis futuras).

- Es probable que la comunidad afectada tenga pocas posibilidades para participar activamente en la intervenciĂłn o en el MyE.

- Se genera una “cultura de dependenciaâ€? cuando la ayuda no estĂĄ acompaĂąada de una estrategia para fortalecer capacidades y asegurar la independencia de la ayuda exterior.

- La situaciĂłn tiende a cambiar rĂĄpidamente, y hace que la informaciĂłn de lĂ­nea base y de avance cambie tambiĂŠn.

„  ; = políticos por parte de actores locales (lo que = [

- La poblaciĂłn puede estar desplazada de sus > ;

= ; al impacto del proyecto.

- El proyecto puede desarrollarse en un ambien ;

?

diarias del equipo, incluyendo los procesos de MyE.

15. Muchos proyectos de emergencia, incluyen tambiĂŠn componentes de prevenciĂłn o gestiĂłn de desastres y reconstrucciĂłn de medios de vida. Estas intervenciones pueden considerase mĂĄs similares a proyectos de desarrollo tradicionales, por lo que las W / ` ; = ` =W ' = W tres, y no a proyectos de prevenciĂłn o gestiĂłn de riesgos o de restituciĂłn de medios de vida.

Monitoreo y evaluaciĂłn en proyectos de incidencia y de emergencia

- En situaciones de emergencia a gran escala, < ? ' ; > ; ; ^

@ ? < objetivos y estrategias distintas. „ ` ; = = = " estar involucrados, lo cual genera dilemas sobre su rol en el manejo, el monitoreo y la evaluación de proyecto.

PĂĄgina 95

DiseĂąo del sistema de MyE para emergencias Al ser los objetivos de los proyectos de emer; ; '

considerar preguntas para el seguimiento y la evaluaciĂłn e indicadores adaptados a la realidad del tipo de proyecto. AsĂ­, se encontrarĂĄ que por lo general los indicadores parecerĂĄn menos de impacto y mĂĄs de efecto o resultado. En la Tabla 20 se muestra un ejemplo de preguntas e indicadores para un proyecto de atenciĂłn humanitaria.

Tabla 20. Preguntas e indicadores en un proyecto de atenciĂłn humanitaria Proyecto de emergencia: DistribuciĂłn de raciones alimentarias secas o hidratadas a la poblaciĂłn en riesgo Preguntas clave ! Posibles indicadores + ' ` = W

ÂżCuĂĄles son los efectos del acceso / uso / satis@ rios con respecto a los bienes recibidos y a los servicio brindados?

ÂżCĂłmo ha contribuido la distribuciĂłn de raciones alimentarias (secas o hidratadas) a la reducciĂłn de la tasa de mortalidad o de malnutriciĂłn entre la poblaciĂłn meta?

Š >

ciĂłn de raciones alimentarias (secas o hidratadas) sobre las estrategias de supervivencia y de adaptaciĂłn de la poblaciĂłn meta?

- Tasa de mortalidad bruta para hombres, mujeres, madres { X < = # “““ = do de X% en un periodo determinado) - Tasa de malnutrición para la población meta (por sexo, grupo de edad, etc.) (mantenido / bajado a X%). - Porcentaje de niùos meta menores de 5 aùos con problemas de malnutrición (reducido de X%). - Porcentaje de ingreso de las familias gastado en alimentos (reducido de X%). - Porcentaje de personas objetivo, hombres, mujeres y niùos que se han quedado o se han desplazado a lugares adecuados (X%). „ < = ? > = programa (X y X% personas que ya no encajan en los criterios de elegibilidad). - Porcentaje de la población meta que vende sus bienes para sobrevivir (reducido de X%).

Fuente: Gosparini et al., 2004.

Monitoreo de proyectos de emergencia La primera etapa del monitoreo consiste en reportes situacionales, en donde se describen cambios en la situaciĂłn general, las actividades del proyecto y

los objetivos inmediatos. La necesidad de generar nuevos reportes dependerĂĄ de la rapidez con que se desarrollen los cambios (que pueden desarrollarse con mayor o menor periodicidad y generar menos reportes a medida que la situaciĂłn se estabilice). Los reportes de monitoreo pueden incluir:

PĂĄgina 96

Monitoreo y EvaluaciĂłn de Proyectos

„ < = „ N '

< porte. - Cambios en el plan del proyecto y razones de estos cambios. Es muy probable que estos reportes sean ela = = embargo, la participaciĂłn debe ser considerada ;< = yecto, por ejemplo levantando encuestas entre la poblaciĂłn sobre la calidad y los efectos de la intervenciĂłn. Otro aspecto que debe cuidarse con especial atenciĂłn en proyectos de emergencia es

` > ocasiones, ante la situaciĂłn de urgencia y la relativa disponibilidad de recursos, los controles ! ^ < ? existan vacĂ­os de informaciĂłn sobre cĂłmo se ha gastado el recurso.

EvaluaciĂłn de proyectos de emergencia En este tipo de proyectos de corto plazo es mucho mĂĄs difĂ­cil hacer una distinciĂłn entre los procesos de monitoreo y los de evaluaciĂłn. Por lo general, ' > & > venciĂłn. Los objetivos de la evaluaciĂłn son los mismos que en otro tipo de proyectos, con grandes posibilidades de aprovechar el aprendizaje para futuras situaciones de emergencia. En este caso,

' X = =

[ reformulados para adaptarlos a las necesidades de evaluaciĂłn en circunstancias de crisis.Veamos:

- AdecuaciĂłn (pertinencia): ; sĂłlo asegurar la pertinencia del proyecto, sino tambiĂŠn su adecuaciĂłn a las prioridades, formas = & adaptaciĂłn de las actividades humanitarias a las necesidades locales para asegurar su apropiaciĂłn (por ejemplo entrega de ayuda alimentaria adecuada, de tal forma que pueda ser preparada en el contexto local). - ArticulaciĂłn (sostenibilidad): necesidad de garantizar que las actividades de emergencia a corto plazo tomen en cuenta el largo plazo y el contexto mĂĄs amplio, considerando todas las interrelaciones, los efectos e impactos que puede tener la acciĂłn inmediata en la situaciĂłn posterior de estabilidad (por ejemplo, contratar a personal local capacitado puede generar su salida de escuelas u hospitales locales). Para poder atender las necesidades inmediatas hay que considerar el impacto de las actividades en un contexto mĂĄs amplio. - Coherencia: analizar la forma en que el proyecto de la propia organizaciĂłn se introduce en coordinaciĂłn con otras organizaciones, con el gobierno local y otras autoridades. Es importante evaluar si la intervenciĂłn logra evitar o duplicar esfuerzos y no obstaculizar la labor de otros actores. - Cobertura: es necesario valorar quĂŠ tanto alcanza la intervenciĂłn a llegar a toda la poblaciĂłn afectada, y si todos los grupos fueron incluidos sin distinciĂłn de gĂŠnero, grupo ĂŠtnico o posiciĂłn polĂ­tica.

Página 97

Referencias

Bailey, C. (1995). A Guide to Field Research. EEUU: Pine Forge Press. Bakewell O., Adams J. y Pratt B. (2003). Sharpening the Development Process: a Practical Guide to Monitoring and Evaluation. Oxford, UK: INTRAC, The International Non-governmental Organisation Training and Research Centre. CE, Comisión Europea (2002). Manual Gestión del Ciclo de Proyecto. Unidad de Evaluación de la = ` = N

CE, (2006). Metodología de Evaluación de la Ayuda Exterior de la Comisión Europea. Bases Metodologías de Evaluación. Francia. Cohen, Ernesto, y Martínez, Rodrigo (2003). Manual de Formulación, Evaluación y Monitoreo de Proyectos Sociales. Santiago de Chile: CEPAL, Comisión Económica para América Latina y el Caribe. Coffman, J. et al. (2007). Using the Composite Logic Model to Articulate an Advocacy Strategy or Theory of Change [En línea]. Disponible en: http://www.gse.harvard.edu/hfrp/eval/issue34/ index.html DFID, Department for International Development (2002). Tools for Development. A handbook for those engaged in development activity. ECHO, European Comision Humanitarian Aid and ' @ X$ ¢[ `' @ manitarian Aid by and for NGOs. A guide with ideas to consider when designing your own eva ' ` = N

= ración.

PĂĄgina 98

Monitoreo y EvaluaciĂłn de Proyectos

Food and Agriculture Organisation [FAO] (2001). Programa de anĂĄlisis socioeonĂłmico y gĂŠnero. Roma: Autor. FundaciĂłn CIDEAL (2001). El enfoque del marco lĂłgico: 10 casos prĂĄcticos. Cuaderno para la identifcaciĂłn y diseĂąo de proyectos de desarrollo. Madrid: Centro de CooperaciĂłn y Ayuda al Desarrollo. Giffen J. (2009). The Challenges of Monitoring and Evaluating Programmes. Oxford UK: INTRAC. Gosling, L., and M. Edwards (1995). Toolkits: A Practical Guide to Assessment, Monitoring, Review and Evaluation. Development Manual 5. London: Save theChildren. Gosparini, P., Russo, L., Sirtori, M., Valmarana, C. (2004). Manual de monitoreo y evaluaciĂłn de las ONGs de Forum Solint. Roma: CISP, DNR. Guijt I. y Woodhill J. (2002). GuĂ­a para el Seguimiento y EvaluaciĂłn de Proyectos. GestiĂłn orientada al impacto en el desarrollo rural. Roma: IFAD, International Fund for Agricultural Development. `' `

Kusek J. y Rist R. (2004).Ten steps to a results-based monitoring and evaluation system: A handbook for development practitioners. Washington, DC: World Bank. Londoùo, N. (2009). Formulación de Proyectos: Enfoques, Procesos y Herramientas� Anålisis de 40 guías metodológicas producidas por agencias de cooperación internacional. Medellín, Colombia: Escuela Latinoamericana de Cooperación y Desarrollo. OECD – Organization for Economic Co-operation and Development / DAC – Development Assistance Committee (1998). Review of DAC Principles for Evaluation of Development Assistance. Paris. OECD / DAC (2002). Glosario de los principales tÊrminos sobre evaluación y gestión basada en resultados, París, DAC, Evaluation and Aid Effec ' ’ £ W O’Flynn (2009).Tracking Progress in Advocacy:Why

and How to Monitor and Evaluate Advocacy Projects and Programmes. Oxford UK: INTRAC. OrtegĂłn, E., Pacheco, J.F y Prieto, A. (2005). Meto ;W ; = = el seguimiento y la evaluaciĂłn de proyectos y programas. Ă rea de proyectos y programaciĂłn de inversiones, CEPAL. Santiago de Chile: ILPES, Instituto Latinoamericano y del Caribe de Plani ` OXFAM (1995).A Basic Guide to Evaluation for Development Workers. UK. PNUD, Programa de Naciones Unidas para el Desarrollo (1997). Who are the Question-makers? A Participatory Evaluation Handbook. [En lĂ­nea]. Disponible en: http://www.undp.org/evaluation/ documents/who.htm [Consultado: 12 de agosto de 2010]. PNUD (2009). Handbook on Planning. Monitoring and Evaluating for Development Results. Nueva York Reisman J., Gienapp, y Stachowiak, S. (2007). A Guide to Measuring Advocacy and Policy. Maryland: EEUU: Annie E. Casey Foundation Robson C. (1993). Real World Research: A resource for social Scientists and Practitioner Researchers. Oxford UK: Blackwell. Shapiro, J. (2003). Monitoring and Evaluation. CIVICUS. United Nation Educational, Scientifc and Cultural Organization [UNESCO], 2009).A guide for monitoring and evaluating comunity-based projects. Paris: Autor. Tassara C. (2010). Formulazione e gestione dei progetti nella cooperazione internazionale. Roma: Associazione delle ONG Italiane. UNICEF (1990). Monitoring and Evaluation Guide. USAID, United States Agency for International Development, Centre for Development Information and Evaluation (1996). Performance Monitoring and Evaluation: TIPS.

Anexos

PĂĄgina 101

Anexo I.

conclusiones se integran en el diseĂąo y la formulaciĂłn del proyecto.

Glosario

AnĂĄlisis de problemas: investigaciĂłn estructurada de los aspectos negativos de una situaciĂłn para establecer sus causas y efectos. AnĂĄlisis de los problemas que enfrenta un grupo meta y que se pretenden resolver a travĂŠs de la realizaciĂłn del proyecto.

16

Actividad: acciĂłn realizada, utilizando varios medios (fondos, materiales, recursos humanos, etc.), para generar determinados productos. El conjunto de las actividades sintetiza lo que se quiere realizar durante el proyecto. < " comparaciĂłn entre los costos de la inversiĂłn y operaciĂłn y los be =

inversiĂłn en una determinada intervenciĂłn. AnĂĄlisis de estrategias: apreciaciĂłn crĂ­tica de las diferentes posibilidades para conseguir los objetivos, y selecciĂłn de una o mĂĄs de ellas para incluirlas en el proyecto. AnĂĄlisis de gĂŠnero: anĂĄlisis de las posibles diferencias en el impacto de un proyecto sobre mujeres y hombres. Se focaliza en los papeles diferentes (producciĂłn, reproducciĂłn, decisiĂłn) de la mujer y del hombre; en el acceso diferencial a los recursos ~

= W intereses y problemas; en los obstĂĄculos para la plena y equitativa participaciĂłn de las mujeres y los hombres en la realizaciĂłn de actividades y en

AnĂĄlisis de objetivos:

' = ' ? rios y las partes interesadas consideran prioritarias y que deberĂ­an lograrse con la realizaciĂłn del proyecto. El producto de un anĂĄlisis de objetivos es el ĂĄrbol [jerarquĂ­a] de objetivos. AnĂĄlisis de las partes interesadas: implica la

; = = de ser afectados (de manera positiva o negativa) = = ~

& sus intereses, problemas potenciales, y otros. Sus

Aprendizaje: ! != = ra ver el modo de mejorar una situaciĂłn o las acciones futuras y utilizar este conocimiento para introducir mejoras efectivas. Puede basarse en un ejercicio individual o de grupo. AuditorĂ­a: actividad de control independiente y objetiva que averigua si, y en quĂŠ medida, los procesos, directivas y prĂĄcticas organizativas estĂĄn conforme a las normas y criterios previamente establecidos. Ayuda a una organizaciĂłn (o a un proyecto) a lograr sus objetivos aportando un enfoque sistemĂĄtico para evaluar y mejorar la ; ; procesos y procedimientos internos. ; quienes (individuos, grupos u ; ^ [

tamente, de la realizaciĂłn de un proyecto, hayan sido o no sus destinatarios explĂ­citos. Ciclo de proyecto: secuencia de las seis fases de un proyecto desde la idea inicial hasta su cumpli = ;

+ ' _ dinĂĄmica orientada a la consulta de las partes in ' las necesidades informativas y las responsabilidades. Se apoya en la evaluaciĂłn para aprovechar las lecciones aprendidas y utilizarlas en el diseĂąo de los nuevos proyectos. Coherencia: conformidad con las polĂ­ticas, lĂ­neas ; W =

= una instituciĂłn.

16. Tomado de Gosparini et al., 2004, OECD/DAC 2002, y Anexo A de Guijt y Woodhill, 2002.

PĂĄgina 102

Monitoreo y EvaluaciĂłn de Proyectos

* coherencia y consistencia de los datos recolectados y utilizados y de las apreciaciones que se desprenden de su anĂĄlisis. EstĂĄ relacionada con la calidad de los instrumentos y procedimientos empleados. CreaciĂłn de capacidades: proceso a travĂŠs del cual se crean capacidades nuevas, tanto a nivel personal como institucional. Es un tema transversal cada dĂ­a mĂĄs importante en los proyectos orientados a la reducciĂłn de la pobreza. Cronograma o calendario de actividades: = ; & ? = periodo, la secuencia y la duraciĂłn de las actividades

=

" = importantes para el monitoreo de los avances y repartir las responsabilidades con vistas a lograrlas. Efecto: cambio, intencional o no, originado directa o indirectamente de un proyecto. Efecto directo: cambio intencional producido directamente por un proyecto para cumplir con + ' = W Efecto indirecto: cambio no planeado que se ha producido como resultado de una intervenciĂłn. Empoderamiento: proceso de fortalecimiento de la capacidad de las personas para tomar decisiones y generar cambios en el entorno fĂ­sico y social. Enfoque participativo: ^ = indicar la participaciĂłn activa de los grupos y de las partes directamente interesadas en una tarea (por + =

{ = el monitoreo y la evaluaciĂłn de un proyecto). Es muy apropiado para proyectos orientados a la generaciĂłn de procesos sociales, pero requiere =

= W & =

= Su uso aumenta la apropiaciĂłn del proyecto por = = nibilidad potencial de sus resultados. Estrategia de proyecto: marco general que formaliza los mĂŠtodos y las modalidades previstas por un proyecto para utilizar los recursos dispo-

nibles y realizar las actividades para obtener los resultados. Estudio de factibilidad: estudio realizado du @ = ' propuesta de proyecto estĂĄ bien fundamentada, y si es susceptible de cumplir con las necesidades

%

todos los aspectos polĂ­ticos, tĂŠcnicos, econĂłmicos, ; socioculturales y de gĂŠnero. Estudio de lĂ­nea base: anĂĄlisis que describe la situaciĂłn previa a la recepciĂłn de la ayuda. Se utiliza para determinar los resultados y su cumplimiento, y sirve de referencia para el monitoreo de los avances y la evaluaciĂłn. Evaluabilidad: medida en que puede evaluarse un proyecto (sus acciones, prestaciones, impactos, [ W `'

evaluabilidad depende mucho de la manera como haya sido formulado el proyecto. EvaluaciĂłn: anĂĄlisis, lo mĂĄs sistemĂĄtico y objetivo posible, de un proyecto en curso o ya terminado, de su formulaciĂłn, ejecuciĂłn y resultados. El propĂłsito es determinar el cumplimiento de los objetivos y las prestaciones del proyecto (pertinencia, =

[ GestiĂłn del ciclo del proyecto: metodologĂ­a para la preparaciĂłn, implementaciĂłn y evaluaciĂłn de proyectos basada en el enfoque del marco lĂłgico. Grupo de control: grupo que no estĂĄ expuesto directa o indirectamente a las actividades de un proyecto. Se utiliza normalmente en el marco de la evaluaciĂłn de impacto para medir y evaluar las diferencias respecto al grupo meta del proyecto. Grupo(s) meta: ; =

= W = ? = >

= diseĂąado y que serĂĄn afectados positivamente por ; + ' = W ` X [ los interlocutores mĂĄs importantes del proyecto.

Anexos

PĂĄgina 103

Indicador: variable o factor, cuantitativo o cuali ' ? = =

=

; + bios obtenidos por un proyecto o una entidad.

evaluaciones realizadas en circunstancias especĂ­ = ? ; '

^ ; y que se puedan aplicar de manera mĂĄs amplia a varias situaciones parecidas.

InformaciĂłn secundaria: datos que ya existen en forma de publicaciones o de archivos (de un proyecto o de otras fuentes), que se pueden utilizar para una evaluaciĂłn.

LĂłgica de intervenciĂłn: estrategia que estĂĄ en la base de un proyecto. Es la descripciĂłn de lo relacionado con cada uno de los cuatro niveles de objetivos usados en el Marco lĂłgico (objetivos ; + ' = W '

des). Coincide con la primera columna del Marco lĂłgico.

Impacto: efecto de un proyecto sobre los bene

W & amplio, al interior de un sector o en un ĂĄrea geogrĂĄ " @ " socioculturales e institucionales. Evidencia la relaciĂłn + ' ; + ' = W Indicadores objetivamente verificables (IOV): indicadores medibles de los diferentes niveles de objetivos (objetivos generales /globales, + ' = W '

[ ? seĂąalan si estos se han logrado o no. Representan la segunda columna de la matriz de marco lĂłgico y sirven de base para el diseĂąo de un sistema de monitoreo adecuado. Indicador substituto o “proxyâ€?: variable o indicador que se utiliza en sustituciĂłn de otra/o que resulta demasiado difĂ­cil de medir. Informantes clave: personas en una comunidad, regiĂłn u organizaciĂłn que, por su posiciĂłn, pueden brindar informaciĂłn o conocimientos sobre aspectos relevantes para un proyecto. Tienen un papel fundamental en la evaluaciĂłn, especialmente en sus aspectos cualitativos, pero a veces pueden expresar puntos de vista subjetivos. Por lo tanto los evaluadores deberĂĄn obtener la informaciĂłn

= < @ ' JerarquĂ­a de objetivos (ĂĄrbol de objetivos): = ; & ' = ;< ; con base en un anĂĄlisis de los problemas, y que

Lecciones aprendidas: generalizaciones aproximadas basadas en las conclusiones de una o mĂĄs

MĂŠtodos cualitativos: pertenecen a la tradiciĂłn de las ciencias sociales y se basan en la observaciĂłn de las personas en su mismo territorio, en la interacciĂłn con ellas en su propio idioma, posiblemente en sus propios tĂŠrminos. Enfatizan la comprensiĂłn de la manera como las personas estudiadas construyen la realidad. La mayorĂ­a de estudios cualitativos cuentan con anĂĄlisis descriptivos mĂĄs que estadĂ­sticos. MĂŠtodos cuantitativos: se apoyan en instrumentos estructurados para recolectar informaciĂłn estandarizada de una muestra cuidadosamente seleccionada de individuos, unidades o eventos. La informaciĂłn es analizada a travĂŠs de una comparaciĂłn estadĂ­stica entre grupos o de un anĂĄlisis multivariado. Monitoreo o seguimiento: actividad sistemĂĄtica y permanente de recolecciĂłn y anĂĄlisis de datos para proveer, al equipo de gestiĂłn y a las principales partes interesadas, indicaciones sobre el avance y el logro de los objetivos, asĂ­ como sobre la utilizaciĂłn de los fondos disponibles. Es muy importante para retroalimentar la gestiĂłn y la toma de decisiones. Muestra/Muestreo: grupo de personas, familias, comunidades, u otras unidades seleccionadas para estimar las caracterĂ­sticas de la poblaciĂłn de la cual se obtuvieron. La muestra generalmente se utiliza en el marco de las evaluaciones de impacto. Los mĂŠtodos muestreo pueden ser probabilĂ­sticos (todo

PĂĄgina 104

Monitoreo y EvaluaciĂłn de Proyectos

elemento de la poblaciĂłn tiene la misma probabilidad de integrar la muestra) o no probabilĂ­sticos. Muestreo aleatorio: se hace una lista de todas las unidades que componen la poblaciĂłn. Luego,

? X= + <meros al azar) se sortean las unidades que componen la muestra. Muestreo delimitado o intencional: se ;< rísticas que son particularmente pertinentes para el estudio. Supone un buen conocimiento previo de la población. Es una tÊcnica muy económica para obtener información, pero no se presta para hacer generalizaciones. Partes interesadas o Stakeholders: individuos, grupos, empresas, organizaciones o instituciones que tengan un vínculo con un proyecto. Pueden afectar —directa o indirectamente, positiva o negativamente– el proceso y los resultados del proyecto o ser afectados por estos. Periodo de arranque: periodo comprendido entre el inicio del proyecto y la formulación de algunos documentos båsicos (plan de trabajo actualizado, matriz del marco lógico, estudio del marco de evaluación). Suele durar entre uno y tres meses y termina con el primer informe, o informe de arranque. Pertinencia: compatibilidad de la formulación

= X ;< = eventuales reajustes introducidos despuĂŠs de su inicio) con los problemas reales, las necesidades

; = & el entorno fĂ­sico y polĂ­tico en el que opera. Plan de trabajo: ? vidades, los recursos y el tiempo necesarios para ; + ' = W un proyecto. proceso a travĂŠs del cual se de + ' ; = W =

'

= '

se establece el cronograma de actividades, y se

= ? se puedan conseguir puntual y oportunamente los efectos directos y los productos esperados. Producto: materiales, bienes y servicios que resultan de las actividades realizadas por un proyecto. Pueden incluir tambiĂŠn los cambios generados por un proyecto. Normalmente son tangibles y son necesarios para llegar a los efectos directos. Proyecto: intervenciĂłn que consiste en una serie de actividades planeadas interrelacionadas, desti ^ + '

= puesto determinado y en unos plazos concretos. RendiciĂłn de cuentas: obligaciĂłn de demostrar que el trabajo se ha cumplido en conformidad con las reglas y los estĂĄndares acordados o de informar precisa e imparcialmente sobre los resultados obtenidos en comparaciĂłn con las funciones o planes encomendados. Resultados: productos, efectos directos e impactos (intencionales o no, positivos o negativos) generados por la realizaciĂłn de un proyecto. En la terminologĂ­a de la ComisiĂłn Europea representan el producto de las actividades realizadas, datos que permitan: (a) la retroalimentaciĂłn informativa permanente sobre todos los aspectos clave del proyecto; (b) la utilizaciĂłn de la misma para orientar las decisiones relativas a su gestiĂłn. Sostenibilidad: =

? + @ ; = = < = " = " ? ; ! /

? los grupos que recibieron la ayuda quieren y pueden realizar las actividades necesarias para seguir cumpliendo con los objetivos del proyecto. TĂŠrminos de referencia: ? ne las tareas que le corresponden a una persona u organizaciĂłn contratada e indica el contexto, los + ' '

= y productos esperados, el presupuesto, el cronograma y la descripciĂłn del trabajo.

Anexos

TriangulaciĂłn: uso sistemĂĄtico y comparativo de tres o mĂĄs teorĂ­as o mĂŠtodos de anĂĄlisis, fuentes o = @ =

= ' y sustentar una evaluaciĂłn. Se utiliza para aumen ; ^ ValidaciĂłn: = ' = ; que los datos obtenidos con un mĂŠtodo de segui =

con otro mĂŠtodo. ValoraciĂłn Participativa RĂĄpida: mĂŠtodos utilizados para comprobar, de manera rĂĄpida y barata, las condiciones de una comunidad o ĂĄrea = = ` tos mĂŠtodos se concentran en los procesos y el sentido de apropiaciĂłn de los participantes.

PĂĄgina 105

Anexos

PĂĄgina 107

Anexo 2. Formatos de monitoreo y evaluaciĂłn Matriz de Sistema de MyE Pregunta de desempeĂąo

Necesidades de MĂŠtodo de Formularios, capaciIndicadoPeriodici- ResponinformaciĂłn de recolecciĂłn de taciĂłn, conocimienres dad sable lĂ­nea base datos tos tĂŠcnicos, etc.

Objetivo General:

+ ' ` = W

Resultado 1:

Adaptado de Guijt I. y Woodhill, J. (2002). GuĂ­a para el Seguimiento y EvaluaciĂłn de Proyectos. GestiĂłn orientada al impacto en el desarrollo rural. Roma: IFAD.

Formato para guiar el Plan de EvaluaciĂłn Formato para plan de evaluaciĂłn Enfoque de la EvaluaciĂłn ÂżQuĂŠ se va a evaluar? ÂżTodo el proyecto? ÂżUna parte? ÂżUn tema transversal? RecolecciĂłn de Datos Indicadores Preguntas Tiempo Fuentes ÂżCĂłmo lo sabreMĂŠtodo/Herramienta ÂżQuĂŠ queremos ÂżEn cuĂĄnto ÂżEn dĂłnde enmos? ÂżQuĂŠ evidenÂżCĂłmo se reunirĂĄ esta saber? tiempo? contramos esta cia lo demuestra? informaciĂłn? informaciĂłn? a) 1. b) c) a) 2. b) a) 3. b) c)

Muestra ÂżA quiĂŠn se va a interrogar?

Tomado de: Smith, J. (2009). On Target: A Guide for Monitoring and Evaluating Community-Based Projects. Paris: K ` K ` ; ^

PĂĄgina 108

Monitoreo y EvaluaciĂłn de Proyectos

Formato para Informes de EvaluaciĂłn AquĂ­ se presenta un ejemplo de los contenidos para un informe de evaluaciĂłn, a partir de un formato empleado por la CE. En cualquier caso, la estructura de cada informe y los contenidos se adaptarĂĄn a + ' ' = = = W = de la organizaciĂłn contratante. (Gosparini et al., 2004)

I. Resumen ejecutivo NĂşmero de pĂĄginas: 5-6 ` + ' = @ > ? & @& de consultar que las otras partes. Se debe enfocar en los propĂłsitos y temas principales de la evaluaciĂłn, enfatizar los puntos de mayor interĂŠs sobre el rendimiento, e indicar de manera clara las conclusiones, las =

= W Â @ ' > =&; < =& @ =

! = = El resumen ejecutivo debe contener la siguiente informaciĂłn sobre la evaluaciĂłn: (a) PropĂłsito(s); (b) Contexto; (c) MetodologĂ­a; (d) AnĂĄlisis de los resultados; (e) Conclusiones y recomendaciones.

II. IntroducciĂłn NĂşmero de pĂĄginas: 1-2 Describe brevemente el propĂłsito del informe, el alcance y el contexto del proyecto evaluado. Puede incluir reconocimientos a quienes contribuyeron en la realizaciĂłn de la evaluaciĂłn.

III. Conclusiones NĂşmero de pĂĄginas: 30. Esta es la secciĂłn mĂĄs larga del informe. Â @ ;

` = @ ; ' > > = ^ ;< = ; clave relativas a cada criterio.

@ = ; 'W ; = = + = =

=

` = W ; @ ~ > W diferentes y mĂĄs apropiadas para conseguir los mismos resultados.

` ' ; ; + ' = W = ' = ' ~ ;

> ' ' + ' = W del proyecto. iv. Impacto: detectar si existen las condiciones para introducir cambios a largo plazo en el entorno. Se re & ; =

grupo mĂĄs amplio de personas o toda una sociedad; el ĂŠxito y el fracaso en la consecuciĂłn de los objetivos generales, y sus razones principales. '

+ = ' = = ; puede continuar o no despuĂŠs del cierre del proyecto, y por quĂŠ.

Anexos

PĂĄgina 109

IV. MetodologĂ­a NĂşmero de pĂĄginas: 3 Indica cĂłmo se elaboraron las preguntas relativas a la evaluaciĂłn y cuĂĄles limitaciones se encontraron al = % "

^ =

W @

@ " ^ = & @ % = tambiĂŠn el nivel de participaciĂłn y la contribuciĂłn de las partes interesadas a la evaluaciĂłn.

V. Conclusiones y recomendaciones NĂşmero de pĂĄginas: 3-6 Â ; = != '

= @ = Â ? ' las evidencias registradas y determinan quiĂŠn deberĂ­a hacer quĂŠ cosa en el futuro, y brindan sugerencias = +

= ? ? = ; posterior. Si es posible, para cada conclusiĂłn deberĂ­a haber una recomendaciĂłn correspondiente. ` ' ' =

 daciones deben ser lo mĂĄs realistas, pragmĂĄticas y operativas posible; o sea, deben tener cuidadosamente en cuenta las circunstancias que prevalecen en el contexto del proyecto en el momento de la evaluaciĂłn, y los recursos disponibles para implementarlas. Â

;

=<

tintos niveles, especialmente al interior de la estructura operativa de las ONG (coordinadores nacionales o regionales, responsables del proyecto, dirigentes y responsables de ĂĄrea en la sede principal, administraciĂłn en la sede principal, responsable de la evaluaciĂłn).

Anexos El informe debe generalmente incluir los siguientes anexos: 1. TĂŠrminos de referencia de la evaluaciĂłn. 2. ComposiciĂłn del equipo de evaluaciĂłn (las hojas de vida deben estar incluidas, mejor si estĂĄn formuladas en una versiĂłn sintĂŠtica). 3. Matriz de marco lĂłgico (la versiĂłn original y, si es posible, las versiones posteriores con las mejoras o actualizaciones eventualmente introducidas). 4. Anexos tĂŠcnicos (por ej.: anĂĄlisis estadĂ­stico). 5. Mapa del ĂĄrea del proyecto, si es relevante. 6. Listado de las personas u organizaciones encontradas o consultadas. 7. Literatura y documentos consultados.

Anexos

PĂĄgina 111

Anexo 3. GuĂ­as de indicadores GuĂ­a de Indicadores por categorĂ­a Fortalecimiento Fortalecimiento Seguridad Alimentaria Pobreza de organizaciones locales de capacidades de GĂŠnero ÂŚ ; reales de las familias ÂŚ = ÂŚ ÂŚ = = ÂŚ W @ alimentos grupos en la adopciĂłn de decila enseĂąanza primaria ingresos no agrĂ­colas ÂŚ ^ ÂŚ siones a nivel local/ de proyecto ÂŚ < ; = vadas mujeres constituidos en la zona del ÂŚ @ ; capitales ÂŚ

proyecto ÂŚ pos autĂłnomos en la zona del de los cultivos alimentarios ÂŚ < = " mano de obra proyecto bĂĄsicos aprobados/ desembolsados para los ÂŚ ÂŚ =

= ÂŚ grupos de mujeres blaciĂłn de practicar el autoseservicios de riego los alimentos bĂĄsicos guimiento y la evaluaciĂłn de los ÂŚ < + ÂŚ

= ÂŚ = progresos que son miembros de asociaciones lidad de servicios para alimentos bĂĄsicos locales de producciĂłn/servicios atender necesidades bĂĄ- ÂŚ =

ÂŚ mercializar los propios produc- ÂŚ =

= sicas cados de decisiones de las mujeres a nivel ÂŚ tos ÂŚ =

de la familia ÂŚ " agua potable almacenamiento de alimenÂŚ diciones de los dispositivos de ÂŚ = = tos mujeres en la adopciĂłn de decisiocomercializaciĂłn educaciĂłn bĂĄsica ÂŚ nes a nivel local/del proyecto ÂŚ crĂłnica de niĂąos servicios sanitarios bĂĄsicos Tomado de Guijt I. y Woodhill, J. (2002). GuĂ­a para el Seguimiento y EvaluaciĂłn de Proyectos. GestiĂłn orientada al impacto en el desarrollo rural. Roma: IFAD. Indicadores de los Objetivos de Desarrollo del Milenio (PNUD) Objetivo 1: Erradicar la pobreza extrema y el hambre Meta 1A: Reducir a la mitad entre 1990 y 2015 el porcentaje de personas con ingresos inferiores a un dĂłlar ÂŚ # # + = ; @ # = W ÂŚ # $ > = ^ # = W ÂŚ # ” = ; ? = ? = & = = Meta 1B: Alcanzar el empleo pleno y productivo y el trabajo decente para todos, incluidas las mujeres y los jĂłvenes ÂŚ # * Y ] = = = ÂŚ # ÂŒ Z = „= ÂŚ # ÂŁ + = = ; @ # = W X' N[ ÂŚ # ¢ + + @ = = = = = Meta 1C: Reducir a la mitad, entre 1990 y 2015, el porcentaje de personas que padezcan hambre ÂŚ # ÂĄ ' { ÂŒ { = @ ÂŚ # § + = = + ' W ;W X [

PĂĄgina 112

Monitoreo y EvaluaciĂłn de Proyectos

Objetivo 2: Lograr la enseĂąanza primaria universal Meta 2A:Velar por que, para el aĂąo 2015, los niĂąos y niĂąas de todo el mundo puedan terminar un ciclo completo de enseĂąanza primaria ÂŚ $ # Y W = ÂŚ $ $ +

? ^ = ; ; < ; = Œ $ ” Y @ ^ + > =

#ÂŒ $* { Meta 2A:Velar por que, para el aĂąo 2015, los niĂąos y niĂąas de todo el mundo puedan terminar un ciclo completo de enseĂąanza primaria ÂŚ $ # Y W = ÂŚ $ $ +

? ^ = ; ; < ; = Œ $ ” Y @ ^ + > =

#ÂŒ $* { Objetivo 3: Promover la igualdad de gĂŠnero y la autonomĂ­a de la mujer Meta 3A: Eliminar las desigualdades entre los gĂŠneros en la enseĂąanza primaria y secundaria, preferiblemente = { $““Œ ' { ^ { $“#ÂŒ ÂŚ ” # Z { { = = ÂŚ ” $ = + = ; W ÂŚ ” ” = = = = + = Objetivo 4: Reducir la mortalidad infantil Meta 4A: Reducir en dos terceras partes, entre 1990 y 2015, la mortalidad de los niĂąos menores de 5 aĂąos ÂŚ * # Y

{ ÂŒ { ÂŚ * $ Y

@ ÂŚ * ” + { # { ' = Objetivo 5: Mejorar la salud materna Meta 5A: Reducir, entre 1990 y 2015, la mortalidad materna en tres cuartas partes 4. 5.1 Tasa de mortalidad materna 5. 5.2 Porcentaje de partos con asistencia de personal sanitario especializado Meta 5B: Lograr, para 2015, el acceso universal a la salud reproductiva ÂŚ ÂŒ ” Y = ' ÂŚ ÂŒ * Y

ÂŚ ÂŒ ÂŒ = X ' ' [ ÂŚ ÂŒ ÂŁ

@ > = @ Objetivo 6: Combatir el VIH/SIDA, el paludismo y otras enfermedades Meta 6A: Haber detenido y comenzado a reducir, para el aĂąo 2015, la propagaciĂłn del VIH/sida ÂŚ ÂŁ # '

= #ÂŒ $* { ÂŚ ÂŁ $ K = ' ' = & ! ; ÂŚ ÂŁ ” + = #ÂŒ $* { ; žÂ?

ÂŚ ÂŁ * Z W { > " @ W { > " @ #“ #* { Meta 6B: Lograr, para 2010, el acceso universal al tratamiento de la infecciĂłn por VIH a quienes lo necesiten ÂŚ ÂŁ ÂŒ + = @ ' ^ = ž

' Meta 6C: Haber comenzado a reducir, para el aĂąo 2015, la incidencia del paludismo y otras enfermedades graves ÂŚ ÂŁ ÂŁ Y

=

ÂŚ ÂŁ ¢ + { ÂŒ { ? + ?

ÂŚ ÂŁ ÂĄ + { ÂŒ { ?

= <

Œ £ § Y = '

Œ £ #“ = ' + '

Anexos

PĂĄgina 113

Objetivo 7: Garantizar la sostenibilidad del medio ambiente Meta 7A: Incorporar los principios del desarrollo sostenible en las políticas y los programas nacionales e invertir la pÊrdida de recursos del medio ambiente Œ ¢ # = = = ? Œ ¢ $ `

!

= &= = # ] X N[ ÂŚ ¢ ” ? ; = ^ ÂŚ ¢ * = = = W ; ; $ =; > ! ! @KWK ! de pĂŠrdida ÂŚ ¢ ÂŒ = >W ÂŚ ¢ ÂŁ = & = ;

ÂŚ ¢ ¢ = = ^ ! Meta 7C: Reducir a la mitad, para el aĂąo 2015, el porcentaje de personas que carezcan de acceso sostenible a agua potable ÂŚ ¢ ÂĄ = = ? ^ @ ; = + ÂŚ ¢ § = = ? ^ ' + Meta 7D: Haber mejorado considerablemente, para el aĂąo 2020, la vida de por lo menos 100 millones de habitantes de tugurios ÂŚ ¢ #“ = = ? ' ' ; ¨ = = = ? ' ' de tugurios se mide mediante una variable sustitutiva representada por la poblaciĂłn urbana que vive en hogares con al menos una de las cuatro caracterĂ­sticas siguientes: a) falta de acceso a un mejor abastecimiento de agua; b) falta de acceso a un mejor saneamiento; c) hacinamiento (3 o mĂĄs personas por habitaciĂłn); y d) viviendas construidas con material de corta duraciĂłn.] Objetivo 8: Fomentar una asociaciĂłn mundial para el desarrollo $ X< ' Y " + + criminatorio. = ; ; =< = ^ en cada paĂ­s y en el plano internacional. Meta 8B: Atender las necesidades especiales de los paĂ­ses menos adelantados. Se incluye el acceso libre de aranceles y cupos de las exportaciones de los paĂ­ses menos adelantados; el programa mejorado de alivio de la deuda de los paĂ­ses = = & generosa a los paĂ­ses que hayan expresado su determinaciĂłn de reducir la pobreza. Meta 8C: Atender las necesidades especiales de los paĂ­ses sin litoral y de los pequeĂąos Estados insulares en desarrollo (mediante el Programa de AcciĂłn para el desarrollo sostenible de los pequeĂąos Estados insulares en desarrollo y los resultados del vigĂŠsimo segundo periodo de sesiones de la Asamblea General). Meta 8D: Encarar de manera general los problemas de la deuda de los paĂ­ses en desarrollo con medidas nacio Z ! % [

Œ ¥ #  N % = + = X ][ = W " N para el Desarrollo (CAD) de la OCDE Œ ¥ $ = N % ' & X & = ción, abastecimiento de agua potable y servicios de saneamiento) Œ ¥ ” = N % ? &

ÂŚ ÂĄ * Â N %

= W = = = ÂŚ ÂĄ ÂŒ  N %

= ? { ` = = = Acceso a los mercados ÂŚ ÂĄ ÂŁ = != X= ' [

> = Œ ¥ ¢ N =

= = ; W ! '

ÂŚ ÂĄ ÂĄ

!= = = ; W = W ; ^ = Desarrollo Económicos (OCDE) Œ ¥ § = N % @

= =

PĂĄgina 114

Monitoreo y EvaluaciĂłn de Proyectos

Sostenibilidad de la deuda Œ ¥ #“ < = W ? ^ = ' = de los países muy endeudados Œ ¥ ## N ' + ' = = W = ' para el Alivio de la Deuda Multilateral Œ ¥ #$ ' = + != ' Meta 8E: En cooperación con las empresas farmacÊuticas, proporcionar acceso a los medicamentos esenciales en los países en desarrollo Œ ¥ #” = =

= ^ $ X \ Z vas tecnologĂ­as, en particular de las tecnologĂ­as de la informaciĂłn y de las comunicaciones. ÂŚ ÂĄ #*  W "@ = #““ > ÂŚ ÂĄ #ÂŒ N "@ = #““ > ÂŚ ÂĄ #ÂŁ K = #““ >

GuĂ­a de Indicadores de ParticipaciĂłn Con el objetivo de garantizar la sostenibilidad de los cambios, la gran mayorĂ­a de las intervenciones sociales han incorporado el fortalecimiento de capacidades y la participaciĂłn como componentes del proyecto (y no solo como estrategias transversales) o incluso como objetivos centrales de la interven ` ; ; ' " =

; deros. Sin embargo, este tipo de objetivos son muy difĂ­ciles de medir por dos razones principalmente: Primero, el producto que resulta de la participaciĂłn y el fortalecimiento de capacidades es intangible. Segundo, porque la relaciĂłn entre la intervenciĂłn y el efecto generado es mucho mĂĄs lejana y mĂĄs difĂ­cil

= N =

= ' = haciendo un adecuado diseĂąo del sistema de MyE, con indicadores tanto cualitativos como cuantitativos. Los indicadores cuantitativos de capacitaciĂłn o participaciĂłn pueden utilizarse para monitorear los procesos. Los indicadores cualitativos de capacitaciĂłn y participaciĂłn describen aspectos de la par = ? = = '" < % ^ = ;

+ ' = W ` ; ; W

; =

` = ^ =

& el åmbito del proyecto y cuåles aspectos averiguar durante una misión de monitoreo, una revisión a mediano plazo, una evaluación, etc. (Gosparini et al., 2004). Ejemplos de Indicadores de Capacitación y Participación Indicadores Cuantitativos „ < + � > = = ¿QuiÊn estå participando? „ < = + = & ' „ < = ? =

@ ; = " „ < ; =

¿Cuåntas personas estån participando? „ < - Tasa de crecimiento y tasa de retiro de miembros. ¿Cuål es el nivel de participación en las activida„ < = ? = = = des clave? ¿Los participantes estån movilizando sus mismos „ < W + >

= recursos? como contribuciĂłn por parte de los usuarios.

Anexos

PĂĄgina 115

„ < "

„ < = ; = ' - Parcelas experimentales cultivadas o viveros logrados. - Frecuencia de los encuentros de los grupos o comisiones de trabajo. „ < = = X;"

ción económica, etc.). ¿Las instituciones locales se estån desarrollando / - Reducción de la dependencia del equipo del proyecto. & ' ' ‰ „ < =

^ = = ; pos o instituciones locales. „ < = = + nera independiente. Indicadores cualitativos - Efectiva distribución de papeles y funciones importantes al interior de los miembros del grupo. - Rotación del liderazgo en el tiempo. - Pruebas de una menor dependencia del equipo del proyecto. ¿Cómo se pretende que los grupos logren - Aumento del nivel de capacidades tÊcnicas y de gestión en el mantenimiento de las instalaciones habilitadas por el proyecto.

= X ^ - Evidencias de acciones colectivas independientes realizadas por el mismos)? grupo para futuros proyectos. „ `'

= = = = ticipantes para adecuar los insumos y el estilo de gestión del proyecto a las condiciones locales. - Toma de decisiones - Roles de gestión „ =

&

=

ÂżCuĂĄles capacidades estĂĄn siendo desarrolladas des existentes a nivel local. en los grupos participantes? - IndividuaciĂłn realista de las oportunidades prioritarias. - Capacidad de formular microproyectos y planes de trabajo anuales. - Capacidad de auto-monitorear sus propias actividades y avances. - Altos niveles de capacidades logradas en el mantenimiento de las instalaciones habilitadas por el proyecto. ÂżCuĂĄl es la calidad esperada de la contribuciĂłn - Uso efectivo de tĂŠcnicas de conocimiento indĂ­genas (locales) en la de los participantes? realizaciĂłn de actividades relevantes, como parcelas de granja. - ProvisiĂłn de materiales de buena calidad para la construcciĂłn de

- Altos niveles de compromiso de todos los miembros del grupo en las reuniones y en las discusiones. - Evidencias de una toma de decisiones consensual. ¿QuÊ cambios de comportamiento se pretende - Rapidez en llegar a las decisiones. que muestren los participantes? - Aumento de las evidencias de identidad y solidaridad colectivas. „ ^ != =

- Compromiso activo en los procesos de toma de decisiones. ÂżSe mantienen las inversiones / instalaciones del proyecto?

PĂĄgina 116

Monitoreo y EvaluaciĂłn de Proyectos

Una manera de combinar las dos dimensiones de la participaciĂłn es la de utilizar conjuntamente los indicadores de participaciĂłn (medidas cuantitativas) y de madurez socio-institucional (medidas cualitativas). Por ejemplo, en un proyecto de desarrollo comunitario, el siguiente listado puede representar los aspectos clave (cuantitativos y cualitativos) que deben ser tomados en consideraciĂłn: ÂŚ < ; = @ ÂŚ _ = = ÂŚ < ; = ? 'W ; = ÂŚ = ; = = =

^; ÂŚ Y + '

; = ÂŚ &

^; = X [ ÂŚ ` = = = + ÂŚ Z = = + ; = W ÂŚ N= @ ' =

?

= ; = X nes, equipos, instalaciones para el agua, etc.). ÂŚ = ; = '

! = ÂŚ `+ = ; ' ÂŚ N ! = = = ; =

Anexos

PĂĄgina 117

Anexo 4. Ejemplos de marco lĂłgico, plan de monitoreo y formato de monitoreo Los materiales presentados en este anexo hacen parte del curso de “Monitoreo y EvaluaciĂłn: enfoques, mĂŠtodos e instrumentosâ€? que el Profesor Carlo Tassara dicta en la EspecializaciĂłn en CooperaciĂłn internacional para el desarrollo de la ELACID desde el 2004. En el aĂąo 2010, los materiales fueron publicados en italiano en el libro “Formulazione e gestione dei progetti nella cooperazione internazionaleâ€?, del mismo autor. Marco lĂłgico del proyecto “RehabilitaciĂłn de las comunidades rurales del Distrito de Kedaf involucrado por la guerra civil en el Kualand meridionalâ€? El proyecto tiene una duraciĂłn prevista de 18 meses y se realiza en un ĂĄrea rural que incluye 8 pueblos ÂŒ “““ @ & @ @ = ? W  ; = > suspendido las hostilidades desde hace unos meses. La zona estĂĄ bajo el control de una fuerza multinacional de peace-enforcing que colabora con el gobierno local, reciĂŠn creado. Acaba de concluirse un proyecto de ayuda humanitaria.

LĂłgica de intervenciĂłn Objetivo general

Objetivo

Indicadores objetiva

Condiciones externas

Contribuir a mejorar las condi- Indicadores econĂłmicos - Datos del Ministerio de ciones de vida de la poblaciĂłn y de pobreza. rural en el Kualand meridional.

Reducir la inseguridad alimentaria a corto plazo y mejorar los estĂĄndares de vida de la poblaciĂłn.

- El porcentaje de familias - Ausencia de que dependen de la ayuda otras sequías. alimentaria disminuye del - Se mantiene la 50% al 25%. - Archivos de las agencias paz en el årea - La disponibilidad de de emergencia. de operaciones alimentos esenciales en - Encuestas muestrales del proyecto. los mercados locales realizadas por el pro- El gobierno aumenta del 20% al 50% yecto. local asegura de la demanda. „ N > ' las condicio- Los precios de los princiDistrital de Agricultura. nes logísticas pales productos agrícolas necesarias para en los mercados locales operar. disminuyen el 20%.

PĂĄgina 118

Resultados esperados

Monitoreo y EvaluaciĂłn de Proyectos

1. Resueltos los problemas de inseguridad alimentaria a corto plazo.

- El porcentaje de niĂąos menores de 5 aĂąos que presenta sĂ­ntomas de malnutriciĂłn disminuye del 60% al 25%.

2. Asegurada la producciĂłn agrĂ­cola tambiĂŠn fuera de la temporada de lluvias.

- El ĂĄrea regada durante la - Archivos de monitoreo estaciĂłn seca aumenta del proyecto. de 25 a 750 hectĂĄreas.

3. Rehabilitada la producciĂłn agrĂ­cola.

- El årea cultivada aumenta de 1.500 a 7.500 „ N > ' Distrital de Agricultura. hectåreas. - La producción de maíz - Archivos de monitoreo aumenta de 2 a 6 quinta- del proyecto. les por hectårea.

1.1 DistribuciĂłn de 250 ton. de ayuda alimentaria a los grupos vulnerables. 1.2 ActivaciĂłn de 75.000 dĂ­as de trabajo comunitario con el mĂŠtodo “alimentos por trabajoâ€? (food for work). 2.1 RehabilitaciĂłn de 6 km de canales de riego con mĂŠtodos de alta intensidad de trabajo. 2.2 RealizaciĂłn de 20 cursos (15 participantes c/u) en manejo del agua. Actividades 2.3 EdiciĂłn de 3 folletos de sensibilizaciĂłn sobre la importancia del pago de los servicios = = 3.1 DistribuciĂłn de 1.000 q. de semillas y 5.000 juegos de herramientas agrĂ­colas. 3.2 RealizaciĂłn de 30 cursos (15 participantes c/u) en gestiĂłn y cultivo de tierras ĂĄridas. 3.3 Siembra de 100 ha. de ĂĄrboles (50 ha producciĂłn, 50 ha bosque y lucha contra la erosiĂłn).

Recursos - Recursos humanos. - VehĂ­culos y otros equipos. - Ayuda alimentaria. - Semillas. - Herramientas agrĂ­colas. - Capital de trabajo para microcrĂŠdito. - Actividades formativas. - Gastos de operaciones. - Imprevistos.

- Archivos de monitoreo del proyecto.

- Disponibilidad en los mercados locales de alimentos no producidos en el ĂĄrea. - Ausencia de sabotajes de los canales de riego por parte de los actores armados. - Los campesinos aceptan el mĂŠtodo “alimentos por trabajoâ€?.

- Oportuna Costos (â‚Ź) [ver Presudisponibilidad de puesto] los recursos de 100.000,00 contrapartida a 75.000,00 cargo del gobier450.000,00 no local. 85.000,00 - Ausencia de 120.000,00 180.000,00 nitarios sobre 85.000,00 los derechos de 75.000,00 uso del agua. 45.000,00 - Pleno apoyo de - Presupuesto del proyeclas organizacioto. nes de base en la - Informes del proyecto. implementaciĂłn - Reuniones con las comude las actividanidades. des previstas.

Condiciones previas - Las autoridades internacionales con jurisdicciĂłn sobre el ĂĄrea (fuerza multinacional) otorgan los permisos.

Anexos

PĂĄgina 119

Proyecto Kualand meridional: Ejemplo “Plan de monitoreoâ€? [Primera parte] El proyecto tiene una duraciĂłn prevista de 18 meses y se realiza en un ĂĄrea rural que incluye 8 pueblos ÂŒ “““ @ & @ @ = ? W  ; = > suspendido las hostilidades desde hace unos meses. La zona estĂĄ bajo el control de una fuerza multinacional de peace-enforcing que colabora con el gobierno local, reciĂŠn creado. Acaba de concluirse un proyecto de ayuda humanitaria. Nota: El equipo del proyecto estĂĄ compuesto por: 1 Director; 1 Responsable de la distribuciĂłn de las ayudas; 3 LogĂ­sticos; 1 Responsable del componente agrĂ­cola (agrĂłnomo); 1 Experto en capacitaciĂłn; 3 Divulgadores agrĂ­colas; 1 Responsable administrativo; 1 Secretaria; 4 Conductores. Por ende, no hay una persona responsable de las actividades de monitoreo.

LĂłgica de intervenciĂłn

Indicadores objetivamente

Responsabilidad Actividades y Cronograma

# - a. Elaborar cada mes una hoja elec- El porcentaje de familias trĂłnica con los datos de las famique dependen de la ayuda X

= alimentaria disminuye del Consejo de Distrito local) y de las - Responsable 50% al 25%. ayudas distribuidas. b. Transmitir distribución de las Reducir la inseguridad - La disponibilidad de alimencada tres meses los datos respectiayudas. alimentaria a corto plazo y tos esenciales en los mercavos al Director del proyecto. - Responsable mejorar los eståndares de dos locales aumenta del 20% - a. Visitar cada mes los mercados administrativo. vida de la población. al 50% de la demanda. locales, medir la dinåmica de los - Responsable - Los precios de los principroductos (vendido, no vendido, administrativo. pales productos agrícolas demanda insatisfecha) y los precios en los mercados locales respectivos. b. Elaborar y transmitir disminuyen del 20%. cada tres meses los datos respectivos al Director del proyecto. Resultados esperados - a. Visitar cada mes los puestos de salud y levantar los datos sobre el estado nutricional de los niùos atendidos. b. Elaborar y transmitir cada tres meses los datos respectivos al Director del proyecto. - El porcentaje de niùos me„ % ? = 1. Resueltos los problemas - Responsable nores de 5 aùos que presento, un muestreo de niùos de las de inseguridad alimentadistribución de las ta síntomas de malnutrición @ ria a corto plazo. ayudas. disminuye del 60% al 25%. alimentaria. b. Levantar, al momento de la distribución de alimentos, los datos nutricionales relativos a los niùos del muestreo. c. Elaborar y transmitir cada tres meses los datos respectivos al Director del proyecto. 2. Asegurada la producción - El årea regada durante la agrícola tambiÊn fuera de estación seca aumenta de 25 - (‌) - (‌) la temporada de lluvias. a 750 hectåreas.

PĂĄgina 120

Monitoreo y EvaluaciĂłn de Proyectos

3. Rehabilitada la producciĂłn agrĂ­cola.

- El årea cultivada aumenta de 1.500 a 7.500 hectåreas. - (‌) - La producción de maíz au- (‌) menta de 2 a 6 quintales por hectårea.

- (‌) - (‌)

Actividades 1.1 DistribuciĂłn de 250 - Responsable ton. de ayuda alimenta- - Toneladas de ayuda alimentadistribuciĂłn ria a los grupos vulne- ria distribuida. de las ayudas. rables. 1.2 ActivaciĂłn de 75.000 dĂ­as de trabajo comunitario con el mĂŠtodo - DĂ­as de trabajo activados. “alimentos por trabajoâ€? (food for work). 2.1 RehabilitaciĂłn de 6 km. de canales de riego - Km de canales de riego rehacon mĂŠtodos de alta bilitados. intensidad de trabajo. 2.2 RealizaciĂłn de 20 cur„ < ^ sos (15 participantes < = = c/u) en manejo del agua.

Responsable de la componente agrĂ­cola.

- a. Al momento de la distribuciĂłn, levantar los datos sobre cantidades de alimentos y familias bene ` cada tres meses los datos respectivos al Director del proyecto.

- (‌)

Responsable de la componente agrí- (‌) cola.

(‌)

- (‌)

Proyecto Kualand meridional: Ejemplo “Plan de monitoreoâ€? [Segunda parte] El proyecto tiene una duraciĂłn prevista de 18 meses y se realiza en un ĂĄrea rural que incluye 8 pueblos ÂŒ “““ @ & @ @ = ? W  ; = > suspendido las hostilidades desde hace unos meses. La zona estĂĄ bajo el control de una fuerza multinacional de peace-enforcing que colabora con el gobierno local, reciĂŠn creado. Acaba de concluirse un proyecto de ayuda humanitaria. Nota: El equipo del proyecto estĂĄ compuesto por: 1 Director; 1 Responsable de la distribuciĂłn de las ayudas; 3 LogĂ­sticos; 1 Responsable del componente agrĂ­cola (agrĂłnomo); 1 Experto en capacitaciĂłn; 3 Divulgadores agrĂ­colas; 1 Responsable administrativo; 1 Secretaria; 4 Conductores. Por ende, no hay una persona responsable de las actividades de monitoreo.

LĂłgica de intervenciĂłn Recursos

Indicadores objetivamente

§ Ayuda alimentaria. (...) - â‚Ź 450.000,00 previstos. § Actividades formati- - â‚Ź 85.000,00 previstos. vas.

Responsabilidad

Actividades y Cronograma

- Cada mes: a. Elaborar una sĂ­ntesis de: a1. Primera nota de los gastos - Responsable admirealizados, a2. Elenco de bienes distribuidos; a3. Inventario de bienes nistrativo. almacenados en bodega. b. Transmitirlas al Director del proyecto.

Anexos

Lรณgica de intervenciรณn Actividades

Indicadores objetivamente horizontales

Responsabilidad

Actividades y Cronograma

Responsabilidad -

- Elaboraciรณn de los informes de monitoreo.

- Director del proyecto. -

- Elaboraciรณn de los informes del proyecto.

- Director del proyecto. -

- Realizaciรณn de una misiรณn de monitoreo de la sede principal de la entidad ejecutora.

- Director del proyecto.

- Realizaciรณn de una misiรณn de eva proyecto establecida por el donante y realizada por expertos externos.

- Director del proyecto.

Pรกgina 121

Actividades y Cronograma Analizar los datos recibidos y redactar un informe sintรฉtico de monitoreo (cada tres meses) y un informe consolidado de monitoreo (cada seis meses). En el informe consolidado, formalizar los ajustes operativos necesarios de las actividades que hayan presentado problemas o atrasos relevantes. Utilizar el anรกlisis de los datos de monitoreo para decidir si presentar al donante solicitudes de variaciรณn X = =

del presupuesto, etc.). Incluir en cada informe de proyecto la situaciรณn relativa al logro del Ob+ ' = W Z esperados y a la realizaciรณn de las Actividades previstas. Anexar a cada informe de proyecto los informes consolidados (semestrales) de monitoreo. La misiรณn de monitoreo estรก prevista para el 9ยฐ mes. Antes de su inicio: a. Preparar el listado de informes y otros documentos producidos por el proyecto. b. Leer los TdR de la misiรณn # ' ; + ' = W y Resultados; b2. Realizar reuniones informativas y preparatorias con el ? = = rios. La misiรณn de evaluaciรณn estรก prevista por el 18ยฐ mes. Antes de su inicio: a. Preparar el listado de informes y otros documentos producidos por el proyecto. b. Leer los TdR de # de avance en el logro de Objetivo = W Z ~ $ Z ^ reuniones informativas y preparatorias con el equipo del proyecto y los

PĂĄgina 122

Monitoreo y EvaluaciĂłn de Proyectos

Proyecto Kualand meridional: Ejemplo “Formato de monitoreoâ€? DuraciĂłn global del proyecto:

18 meses

Informe de monitoreo despuĂŠs de:

12 meses

El proyecto tiene una duraciĂłn prevista de 18 meses y se realiza en un ĂĄrea rural que incluye 8 pueblos ÂŒ “““ @ & @ @ = ? W  ; = > suspendido las hostilidades desde hace unos meses. La zona estĂĄ bajo el control de una fuerza multinacional de peace-enforcing que colabora con el gobierno local, reciĂŠn creado. Acaba de concluirse un proyecto de ayuda humanitaria. LĂłgica de intervenciĂłn

+ ' = W Reducir la inseguridad alimentaria a corto plazo y mejorar los estĂĄndares de vida de la poblaciĂłn.

Indicadores objetivamente

Estado de avance

- El % de familias que dependen de - El % de familias que depende la ayuda alimentaria de emergen- de la ayuda alimentaria disminuyĂł del 50 al 40%. cia disminuye del 50% al 25%. - La disponibilidad de alimentos - La disponibilidad de alimenesenciales en los mercados loca- tos aumentĂł del 20 al 35% les aumenta del 20% al 50% de la de la demanda. - Los precios de los producdemanda. - Los precios de los principales tos agrĂ­colas en los mercaproductos agrĂ­colas en los mer- dos locales aumentaron el cados locales disminuyen el 20%. 10%.

Resultados esperados 1. Resueltos los proble- mas de inseguridad alimentaria a corto plazo.

Explicaciones/Comentarios/ Recomendaciones - Considerando el tiempo que fue necesario para la activaciĂłn inicial del proyecto, el indicador parece alcanzable. - El aumento de la disponibilidad

+ = mente el aumento de la producciĂłn agrĂ­cola local. - Los precios no disminuyeron debido a la distorsiĂłn generada por la presencia del proyecto (efecto no previsto durante la

[ ` = licitar al donante una variaciĂłn del Marco lĂłgico.

El porcentaje de niùos menores - El porcentaje de niùos mal- No hay comentarios o recode 5 aùos que presenta síntomas nutridos disminuyó del 60% de malnutrición disminuye del mendaciones especiales. al 40%. 60% al 25%. - El escaso aumento del årea regada se debe al atraso en la distribución de alimentos por trabajo. Con los ritmos actuales, 2. Asegurada la produc- El årea regada durante la estación se prevÊ alcanzar el resultado ción agrícola tambiÊn - El årea regada aumentó de seca aumenta de 25 a 750 hectåesperado sólo al 70% (¿solicitar afuera de temporada 25 a 250 hectåreas. reas. un cambio en el ML?). de lluvias. „ /

"

tribuciĂłn de alimentos y de control de la participaciĂłn en el trabajo comunitario. - Es probable que se logre reba- El ĂĄrea cultivada aumentĂł de - El ĂĄrea cultivada aumenta de

= 1.500 a 6.500 hectĂĄreas. 3. Rehabilitada la pro- 1.500 a 7.500 hectĂĄreas. El ĂĄrea cultivada aumentĂł gra- La producciĂłn de maĂ­z auducciĂłn agrĂ­cola. - La producciĂłn de maĂ­z aumenta cias a los buenos resultados lomentĂł de 2 a 5 quintales por de 2 a 6 quintales por hectĂĄrea. grados en la capacitaciĂłn y en hectĂĄrea. la producciĂłn en ĂĄreas ĂĄridas.

Anexos

Actividades 1.1 DistribuciĂłn de 250 ton. de ayuda alimentaria a los grupos vulnerables. 1.2 ActivaciĂłn de 75.000 dĂ­as de trabajo comunitario con el mĂŠtodo “alimentos por trabajoâ€? (food for work). 2.1 RehabilitaciĂłn de 6 km. de canales de riego con mĂŠtodos de alta intensidad de trabajo. 2.2 RealizaciĂłn de 20 cursos (15 participantes c/u) en manejo del agua. Recursos

- Toneladas de ayuda alimentaria distribuida. - Días de trabajo activados. - Km de canales de riego rehabilitados. „ < ^ < = =

§ Ayuda alimentaria. - â‚Ź 450.000,00 previstos. (...) (...) § Actividades formativas. - â‚Ź 85.000,00 previstos.

140 ton. de ayuda alimentaria distribuida. 20.000 dĂ­as de trabajo activados. 3 Km de canales de riego rehabilitados. 25 cursos realizados con 500 participantes en total.

- â‚Ź 150.000,00 gastados. (...)s- â‚Ź 80.000,00 gastados.

PĂĄgina 123

- La ayuda alimentaria llegĂł tarde y no serĂĄ posible distribuir

= X' Z = #[ /

el presupuesto: disminuir los recursos para los alimentos y aumentarlos para los cursos, que han tenido gran ĂŠxito. - (...) - (...) - (...)

- AdemĂĄs del atraso antes seĂąalado, los precios de compra fueron inferiores. Solicitar al donante la disminuciĂłn de este rubro. (...) - Solicitar el aumento de este rubro.

Anexos

PĂĄgina 125

Anexo 5. Recursos adicionales Recursos del Manual de MyE Documentos, guías y manuales BID (INDES): EL M y E: herramientas indispensables de la gerencia social, Mokate CE: Gestión del Ciclo de Proyecto CE: Manual Corto Gestión del Ciclo de Proyecto 2001 CE: Guía para la integración de la igualdad de gÊnero en la CI CE: Project Cycle Management Guidelines CEPAL: Formulación, Evaluación y Monitoreo de Proyectos Sociales, Cohen y Martínez CIVICUS: Monitoring and Evaluation Toolkit, Janet Shapiro DFID: Tools for Development: A handbook for those engaged in development activity EML: 10 Casos Pråcticos FAO: Guía Sectorial GCP FAO: Manual para el Nivel del Campo. Programa de Anålisis Socioeconómico y de GÊnero. Wilde,V. Forum Solint: Manual de monitoreo y evaluación de las ONGs. Gosparini, P., Russo, L. GTZ: Monitoreo y valoración del impacto Instrumentos a usar en proyectos de desarrollo rural con un enfoque en el manejo sostenible de la tierra JICA: Lineamientos de la JICA para la Evaluación de Proyectos  ` / ;W ; = = ; ' = = ; INTRAC Newsletter: Rethinking Monitoring and Evaluation YZN / ; `' ; = ]

; >

@ ‰ INTRAC: The Monitoring and Evaluation Toolkit INTRAC: The Challenges of Monitoring and Evaluating Programmes Monitoring Comunications PNUD: Gender and Pro Poor Indicators PNUD: Handbook on Planning, Monitoring and Evaluating for Development Results UNFPA: Program Managers Planning and M and E Toolkit UNESCO: On Target, A Guide for Monitoring and Evaluating Community-Based Projects WB: 10 Steps to a Results-Based Monitoring and Evaluation System, A Handbook for Development Practitioners, Kusek and Rist

Pรกgina 126

Monitoreo y Evaluaciรณn de Proyectos

Secciรณn 1. Presentaciรณn de la Guรญa de SyE Secciรณn 2. Utilizar el SyE para la gestiรณn orientada al impacto ย

{ = = SyE Secciรณn 4. Establecer el sistema de SyE Secciรณn 5. Decidir el objeto del SyE Secciรณn 6. Recoger, gestionar y comunicar la informaciรณn IFAD: 2002 Guรญa para el Seguimiento y Evaluaciรณn de Proyectos, Gestiรณn orientada al impacto Secciรณn 7. Establecer las capacidades y condiciones necesarias en el desarrollo rural. Guijt I. y Woodhill J. ยก ! W = + Anexo A. Glosario de conceptos y tรฉrminos de SyE Anexo B. Ejemplo anotado de la matriz del marco lรณgico de un proyecto Anexo C. Ejemplo anotado de una matriz de SyE Anexo D. Mรฉtodos de SyE Anexo E. Modelos de descripciones de puestos de trabajo y tรฉrminos de referencia Proyectos de Emergencia

Declaraciรณn Estocolmo.pdf Handbook Proyecto Esfera

Proyectos de Incidencia

ECHO, European Commission Humanitarian Aid and Civil Pro @ X$ย ย ยข[ `' @ ย N

@ NGOs. A guide with ideas to consider when designing your own ' ' ` = N

= The Annie E. Casey Foundation: A Guide to Measuring Advocacy and Policy USING THE COMPOSITE LOGIC MODEL: To Articulate an Advocacy Strategy or Theory of Change Amnesty International Campaigning Manual, 2002 INTRAC: Tracking Progress in Advocacy: Why and How to Monitor and Evaluate Advocacy Projects and Programmes. OยดFlynn Advocacy Indicators 8 STEPS TO DEVELOP A POLICY ADVOCACY EVALUATION PLAN

CE: Metodologรญa de Evaluaciรณn de la Ayuda ExteCE Evaluaciรณn Vol. 1 rior de la Comisiรณn Europea CE Evaluaciรณn Vol. 2 CE Evaluaciรณn Vol. 3 CE Evaluaciรณn Vol. 4 Ejemplos y lecturas cortas

Ejemplo de Marco Lรณgico 1 Ejemplo de Marco Lรณgico 2

Anexos

PĂĄgina 127

Ejemplo de Marco LĂłgico, Plan de Monitoreo y Formato de Monitoreo (Tassara, 2010) Example 100 Result logframe Lectura: AnĂĄlisis de las partes Interesadas Â

@ ' Lectura: Information Contained in the Logframe Matrix Lectura: Performance Indicators WB Lectura: PNUD Key Result Indicators Lectura: Selección de indicadores Lectura: Stakeholder Analysis Matrix Lectura: Using Rapid Appraisal Methods TIPS USAID Lectura: WB Correct Indicators Påginas Web Advocacy Progress Planner: An Advocacy & Policy Change Composite Logic Model ALNAP: Active Learning Network for Accountability and Performance in Humanitarian Action BOND: Network of UK based voluntary organizations working in international development and development education Continuous Progress: Better Advocacy through Evaluation The Sphere Project: Humanitarian Action ELDIS: Internet directory and gateway to a vast range of information sources on development and the environment, produced by the British Library for Development Studies Europe Aid – Evaluation Unit: Evaluation Guidelines IDRC: International Development Research Centre created by the Canadian government IDS: Institute of Development Studies, Sussex Innovation Network, Transforming Evaluation for Social Change International Development Evaluation Association (IDEAS) MandE – Monitoring and Evaluation – Cambridge, UK (Oxfam, Save the Children, Action Aid, CAFOD, CIIR, IDCR) ODI HPN: Humanitarian Practice Network at the Overseas Development Institute

http://www.planning.continuousprogress.org/benchmarks www.alnap.org http://www.bond.org.uk/ http://fp.continuousprogress.org/node/83 http://www.sphereproject.org/

www.ids.ac.uk/eldis/eldis.html http://ec.europa.eu/europeaid/evaluation/methodology/foreword_ en.htm http://www.idrc.ca/index_en.html www.ids.ac.uk http://www.innonet.org/ http://www.ideas-int.org/home/index.cfm?navID=1&itemID=1&CFI D=855207&CFTOKEN=62085509 http://mande.co.uk/ www.odihpn.org

Página 128

Monitoreo y Evaluación de Proyectos

Programa para el fortalecimiento de la capacidad de seguimiento y evaluación de los proyectos http://preval.org/ FIDA (Fondo Internacional de Desarrollo Agrícola) en América Latina y el Caribe RELAC Red de seguimiento, evaluación y sistehttp://www.relacweb.com/ matización en América Latina y el Caribe K % `' @

http://www.undp.org/evaluation/index.html

Who Are the Question-makers? A Participatory Evaluation Handbook http://www.undp.org/evaluation/documents/who.htm @ @ `' ; ; UNDP

Turn static files into dynamic content formats.

Create a flipbook
Issuu converts static files into: digital portfolios, online yearbooks, online catalogs, digital photo albums and more. Sign up and create your flipbook.