Currículo de Monitoreo y Evaluación para Proyectos de Incidencia Política by Sheila Serón

ito

M y ua

Ev ci

ón

Pr oy e

íti

Po l

ul o

rr íc

Nota aclaratoria: Esta publicación fue financiada con el apoyo de la División Global de VIH SIDA para Centro América de los Centros para el Control y Prevención de Enfermedades (CDC CAR/DGHA) del Centro de Salud Global de los Estados Unidos de América (CGH), bajo el Acuerdo Cooperativo número 5U2GPS003043-02 "Fortaleciendo Capacidad en Salud Pública y Sistemas de Información Estratégica a través de la Cooperación entre el Programa Conjunto de las Naciones Unidas sobre VIH/SIDA (ONUSIDA) bajo el Plan de Emergencia del Presidente de los Estados Unidos para el alivio del SIDA (PEPFAR)”, El contenido, los hallazgos, y conclusiones en este documento no necesariamente representan los puntos de vista de CDC CAR/DGHA O del GOBIERNO DE LOS ESTADOS UNIDOS DE AMÉRICA. © Programa Conjunto de las Naciones Unidas sobre VIH y Sida, 2012 © Foro Nacional de Sida, 2012 El contenido es solamente la responsabilidad de los autores y no representa necesariamente el punto de vista oficial de ONUSIDA o del Foro Nacional de Sida. Currículo del Facilitador en Monitoreo y Evaluación de Proyectos de Incidencia Política Diseño y diagramación: Lisa Marie Sheran Edición: Sheila Serón Erika Anta

Esta publicación puede ser reproducida total o parcialmente, en cualquier forma o por cualquier medio, sea electrónico, mecánico, fotocopiado o de otro tipo, siempre y cuando se cite la fuente.

índice Introducción Siglas Capítulo 1: Recomendaciones para la Planificación y Desarrollo de Talleres Previo al taller Durante el taller

04 04 05

Capítulo 2: Proceso de Enseñanza-Aprendizaje

Capítulo 3: La Importancia de la ética y su aplicación a los Procesos de Monitoreo y Evaluación

Capítulo 4: Incidencia Política con Enfoque de Derechos 4.1 ¿Qué es la incidencia política? 4.2 Diferentes Enfoques de Incidencia Política: Informal y Pública 4.3 Niveles de Incidencia Política

11 11 11 12

Capítulo 5: ¿Qué es monitoreo y qué es evaluación? 5.1 ¿Qué queremos decir con el Monitoreo y la Evaluación de un Proyecto 5.2 Diferencia entre el Monitoreo y la Evaluación 5.3 ¿Qué es y para qué sirve un indicador?

Capítulo 6: Marco Lógico 6.1 ¿Qué es el Marco Lógico? 6.2 Proceso del Marco Lógico

18 18 18

Capítulo 7: Diseño de Instrumentos para Recolectar Datos de Monitoreo y Evaluación 7.1 Métodos Cuantitativos y Cualitativos 7.2 Formas de Analizar la Información Obtenida 7.3 Características de los Datos de Calidad 7.4 Marco para el Control de Calidad de Datos 7.4.1. Datos Cuantitativos 7.4.2. Datos Cualitativos

15 16 17

31 32 33 33 34 36

índice Capítulo 8: Diseño de una Evaluación 8.1 Planificando una Evaluación 8.2 Tipos de Evaluación 8.2.1 ¿Qué tipo de Evaluación es apropiada para mi Proyecto? 8.2.2. Evalación de proyectos de incidencia política 8.3 Implementación de la Evaluación 8.4 Interpretando y Comunicando los Datos de la Evaluación 8.4.1. Interpretando los Datos de la Evaluación 8.4.2 Comunicando los Resultados de la Evaluación 8.5 Escribiendo el Reporte 8.6 Presentado los Resultados de la Evaluación en Persona 8.7 Usando los Medios de Comunicación para difundir Resul tados

40 42 45 46

Glosario

Anexos

Bibliografía

47 50 51 51 52 52 53 54

introducción El monitoreo y la evaluación aplicada a proyectos de incidencia política constituye un medio para conocer la relación entre la política, la toma de decisiones y los resultados obtenidos a través de las acciones de una organización, comunidad o institución. El taller sobre Monitoreo y Evaluación de Proyectos de Incidencia Política establecerá un marco teórico para el aprendizaje de temas como ser: la planificación y desarrollo de talleres de capacitación, el aprendizaje de las personas adultas, la importancia de la ética en los procesos de monitoreo y evaluación, incidencia política con enfoque de derechos, marco lógico, evaluación e instrumentos para la recolección de datos de monitoreo y evaluación. El presente Currículo constituye una herramienta que establece el marco teórico de aprendizaje para el taller y ha sido ideado para utilizarse con la Guía del Facilitador dirigida a capacitadores y el Cuaderno de Trabajo para participantes durante la implementación del taller.

siglas AI- An谩lisis de Involucrados/interesados CAI- Centro de Atenci贸n Integral M&E- Monitoreo y Evaluaci贸n ML-Marco L贸gico

Capítulo 1:

Recomendaciones para la Planificación y Desarrollo de Talleres La persona que asume el rol de facilitar el proceso de enseñanza-aprendizaje debe tener dominio total de la temática que va a desarrollar, contando desde el inicio, con los materiales necesarios, programas y recursos didácticos de tal manera que evite la improvisación, cumpla su rol de motivar y reflexione para permitir que los participantes aprendan desarrollando habilidades y forjando actitudes. El facilitador¹ es una persona que se desempeña como orientador e instructor en una actividad y dirige un proceso en el cual todos los participantes deben desarrollar actividades orientadas al logro de los resultados que desea obtener. Existen aspectos importantes que se deben tener presentes al momento de desarrollar el taller y que facilitarán el avance del mismo y la participación de las personas. Previo al taller • Estar seguro de que los temas a impartir sean congruentes con los objetivos trazados y desarrollar las actividades orientándose a resultados. • Redactar dos agendas: 1) que refleje el tiempo para desarrollar las actividades y los temas a ser presentados, junto con las personas a cargo de cada tema. Esta agenda se le puede entregar los participantes. 2) Otra agenda que guíe el desarrollo del programa de aprendizaje, a ser utilizada únicamente por el facilitador o el equipo organizador del taller. • Diseñar un plan de evaluación del taller. • Identificar a las personas que serán capacitadoras dentro del taller y organizar al equipo de logística, revisando que se cuente con los materiales necesarios como proyector, portafolio, notas adhesivas, etc. • Identificar y confirmar el número de participantes que asistirán al taller para preparar la cantidad de material, comida, etc. que se entregará y de esta manera decidir el tamaño del lugar que se necesitará para llevar a cabo la actividad. • Buscar un lugar que sea adecuado para la realización de actividades y que permita albergar a las personas; este debe ser lo suficientemente amplio para los invitados, también debe contar con las conexiones eléctricas necesarias para poder utilizar el equipo que usarán los facilitadores en el desarrollo del taller. • Enviar correos electrónicos con recordatorios del taller confirmando la asistencia de los participantes. • Preparar las carpetas y materiales a entregar, incluyendo algunos adicionales en caso de necesitarse.

¹ Nota aclaratoria: para efectos de este documento, se aclara que toda referencia que se haga hacia la persona de “el facilitador” se reconoce como cualquier persona, hombre, mujer o transgénero que cumple con el rol de facilitar el proceso del taller sin distinción de género.

Página 04

• Preparar las listas de inscripción y agendas en la mesa de inscripción. Cabe destacar que al momento de implementar los talleres de réplica de conocimiento, el facilitador deberá adaptar las herramientas y actividades según el contexto local en el que se encuentra a fin de responder de manera personalizada a las cuestiones que surjan según las características de cada grupo o localidad. Durante el taller En esta etapa, se deben tener en cuenta los siguientes puntos: • Aprender los nombres de todos los participantes y conocer sus expectativas del taller. • Asegurar a los participantes que se les ayudará en todo lo que necesiten para el proceso de aprendizaje. • Realizar una breve descripción de lo que se estará haciendo durante el taller. • Dejar que los participantes pongan sus propias reglas: por ejemplo, alguien podría decir que hay que apagar celulares, llegar puntualmente, levantar la mano para pedir participación, etc. • Hacer un pre-test escrito a los participantes para tener idea del conocimiento que poseen, y realizar un post-test para saber el conocimiento que se llevan del taller. • Entregar a los participantes el material didáctico que se utiliza en cada actividad en el tiempo oportuno. Asegurar que todos los participantes tengan buena visibilidad hacia el espacio donde se realizan las presentaciones del taller. Mantener contacto visual con los participantes. • Hablar con claridad y usar vocabulario que los participantes comprendan. • Darle toda su atención a los participantes. • Mantener un ambiente ameno y cordial para que los participantes se sientan cómodos y en confianza con usted. • Asegurar que todos los participantes respeten la opinión de los demás. • Permitir que todos los participantes hablen y expliquen lo que piensan y darles tiempo para realizar preguntas y respuestas después de cada tema abordado. Motívelos a contar experiencias que ellos hayan vivido similares al tema que se está desarrollando haciendo preguntas abiertas como: ¿Me puede contar más acerca de eso? ¿Qué más sucedió en esa ocasión? ¿Cuál es su experiencia con eso? • Si algún participante tiene alguna duda, respóndala de manera clara y amable hasta que la duda se haya disipado, siendo flexible. Si una actividad no funciona, cámbiela a una más relacionable que los participantes puedan desarrollar sin ningún problema. Por ejemplo, puede tener un conversatorio del tema en desarrollo de manera que lo puedan asociar a una problemática de su experiencia para que ellos tengan un mejor entendimiento, así mismo, tenga múltiples opciones en mente para realizar la actividad. • Asegurar la realización de cada actividad en el tiempo estipulado por el programa del facilitador. • Si los participantes tienen dominio sobre el material dado prosiga con el siguiente tema. • Al final del día haga un resumen de lo que han aprendido acompañado de una actividad breve para evaluar el conocimiento nuevo. Página 05

Capítulo 2:

Proceso de Enseñanza-Aprendizaje El proceso de enseñanza-aprendizaje nos coloca ante la pregunta ¿quiénes son las personas destinatarias de la información a través de las capacitaciones programadas? Los destinatarios de las organizaciones de sociedad civil que participarán en el proceso de capacitación de enseñanza-aprendizaje son en su mayoría personas adultas con experiencia en la temática de VIH, derechos humanos e incidencia política. Por lo tanto, la persona que facilite la capacitación tendrá presente que siendo su audiencia personas adultas, deben ser capaces de comprender, aprender y poner en práctica las metodologías que se irán mostrando durante el desarrollo del taller. Es importante que el facilitador tenga presente que su primera audiencia será el punto de partida para que las personas capacitadas en la temática de Monitoreo y Evaluación reciban todas las herramientas necesarias, pues ellas mismas serán capacitadores en sus propias organizaciones. Para apoyar lo anterior en esta sección encontraremos información básica para conducir el proceso de enseñanza-aprendizaje con personas adultas durante la realización del taller de capacitación. Las personas adultas captan:

Nota

-10% de lo que leen -20% de lo que escuchan -30% de lo que ven -50% de lo que ven y escuchan al mismo tiempo -80% de lo que dicen -90% de lo que dicen mientras lo hacen En el porcentaje anterior, se puede observar que el énfasis recae en el 90%, “de lo que dice mientras lo hace”, por lo tanto, se debe procurar que a lo largo del proceso de enseñanza-aprendizaje exista previamente claridad conceptual y elaboración de ejercicios prácticos, en donde los participantes puedan aprender–haciendo, obteniendo de esta manera resultados exitosos.

2.1 Teoría y Metodología de la Enseñanza-Aprendizaje ¿Cómo aprenden las personas adultas? A fin de lograr el objetivo general y los objetivos propuestos específicamente en cada capítulo del currículo, la persona capacitadora debe considerar los siguientes aspectos esenciales para asegurar el aprendizaje de los participantes: •Reconocer que todas las personas son diferentes, por eso aprenden de distintas maneras. •Recordar que la forma más efectiva de aprender nuevas habilidades es poniéndolas en práctica. •Realizar actividades de aplicación para facilitar el aprendizaje de los participantes. Página 06

Dado que los procesos de capacitación en las organizaciones tienen una relación con lo concreto y con la aplicación al trabajo cotidiano de lo aprendido, el enfoque del aprendizaje basado en experiencias puede servir como modelo óptimo para la comprensión del proceso por medio del cual se aprende y se pone en práctica lo aprendido. El facilitador debe tener un conocimiento básico para acceder de manera eficiente al proceso de aprendizaje ya que es fundamental dentro de las capacitaciones, siendo importante que conozca el diagrama que ilustra un modelo estándar utilizado para describir el proceso de enseñanza; este modelo se conoce con el nombre de Ciclo Kolb. ¿Qué es el ciclo Kolb? Es la Teoría de Aprendizaje basada en experiencias, realizada por el psicólogo social David A. Kolb, que centra la importancia de la experiencia en el aprendizaje; proceso por medio del cual se adquiere conocimiento a través de la reflexión y el “dar sentido” a las experiencias vividas. Éste consta de cuatro etapas: 1. Experiencia concreta 2. Observación reflexiva 3. Conceptualización abstracta 4. Experimentación activa Ejemplo Supongamos que un joven va al gimnasio, y que después de hacer ejercicio quiere ir a ducharse en los baños del gimnasio. Se mete en la ducha y al entrar ve que hay dos llaves, una a la derecha y otra a la izquierda. Como es la primera vez que usa las duchas del gimnasio, no sabe cuál es la caliente y cuál es la fría. Abre entonces la llave de la izquierda para ver qué pasa, y el agua sale congelada, espera un poco, y al cabo de un rato el agua empieza a salir caliente. Deduce entonces que la llave de la izquierda es la caliente y la derecha la fría. Al otro día, lo mismo, va al gimnasio, decide ir a ducharse, pero, la ducha que uso ayer está ocupada, por lo que tiene que usar otra. Suponiendo que todas las llaves de las duchas deben estar conectadas de la misma forma, aplicó el mismo principio, abre la llave izquierda y nuevamente, al cabo de un rato, el agua sale caliente. ¿Qué pasó aquí? Claramente, hubo un proceso de aprendizaje; de no saber cuál era la llave del agua caliente y cuál la de la fría, aprendió que la llave de la izquierda es la caliente en todas las duchas del baño del gimnasio. Desglosemos ahora este proceso para diferenciar cada una de las etapas propuestas por Kolb: • Tuvo una experiencia concreta (abrió la llave de la izquierda). • Observó lo sucedido y reflexionó acerca de ello (proceso de observación reflexiva), estableciendo una conexión entre lo que hizo y los resultados obtenidos (abriendo la llave de la izquierda, si bien el agua sale fría al principio, después sale caliente). En este momento pudo comprender los efectos de sus acciones en esta situación en particular, y ahora puede predecir qué resultados obtendrá si hace exactamente lo mismo en una situación similar. • Utilizando las observaciones y reflexiones obtenidas en la experiencia, llegó a la conclusión de esta situación (“seguramente todas las llaves están conectadas igual y la llave de la izquierda es siempre la caliente”), y le permitió saber no sólo cómo obtener agua caliente de esta ducha en particular, sino de cualquiera de las duchas del gimnasio, aplicando lo que observó en momentos diferentes. • Por último, experimentó y llevó sus conclusiones a la práctica, en una situación nueva (otra ducha). Página 07

Experiencia Concreta El joven abrió la llave izquierda de la ducha del gimnasio

Experimentación Activa El joven llevó sus conclusiones a la práctica, utilizando una ducha diferente

Experiencia Reflexiva

Ciclo Kolb

El joven comprendió que el agua sale caliente de la llave izquierda dejándola abierta por unos minutos

Conceptualización Abstracta El joven concluyó que todas las duchas del gimnasio funcionaban igual

Así, se puede observar como una persona a través de la experiencia, tiene un conocimiento mayor, pues una vez adquirido lo lleva a la práctica de manera inmediata en ocasiones diferentes. En el proceso enseñanza-aprendizaje del adulto la aplicación del método Kolb por los facilitadores puede ayudar para que el conocimiento impartido hacia los participantes dentro del taller sea retenido con mayor facilidad, adaptándose al tema del taller que se llevará a cabo.

Página 08

Capítulo 3:

La Importancia de la Ética y su Aplicación a los Procesos de M&E La ética es la reflexión sobre la moral que se refiere a las normas y costumbres de una sociedad. Durante el diseño y elaboración de M&E la implementación de la ética ayuda a que el proyecto sea de calidad, reflejando la realidad evaluada y monitoreada, la cual es guiada por tres principios fundamentales: la autonomía, la beneficencia y la justicia. La autonomía se refiere a la regulación independiente que hace una persona, institución, organización, etc., sin interferencias externas que le puedan controlar, actuando libremente de acuerdo a su propio esquema. La beneficencia se refiere a toda ayuda social y/o económica desinteresada que brinda una persona, institución, organización, etc., en beneficio de personas que así lo necesiten para lograr mejorar su calidad de vida. La justicia se refiere a la rectitud que gobierna en la conducta de los sujetos, estableciendo el derecho de los demás; con la finalidad de disminuir las situaciones de desigualdad, ya sea económica, social, cultural, etc. tratando a cada persona de igual manera. La ética está profundamente ligada a los valores de confidencialidad, honestidad, transparencia y objetividad, por lo que es integral a todo el proceso de un proyecto desde la planificación, implementación y monitoreo hasta los procesos de evaluación del mismo. Al desarrollar e implementar un proyecto a través de la aplicación de la

Carol Weiss (1998) señala algunas ideas fundamentales para evaluar con integridad:

Nota

Página 09

• Conocer el programa o política que se va a evaluar y su contexto, • Mantener la alta calidad técnica y la relevancia del estudio de evaluación, • Escuchar, respetar y aceptar las conclusiones, ya que serán la base para la acción, • Comportarse de forma ética a lo largo del estudio. A veces, las obligaciones éticas pueden llegar a ser contradictorias o entrar en conflicto, hay que procurar, sobre todo, no distorsionar y no dañar sensibilidades de los participantes en los proyectos y en las evaluaciones, • La evaluación tiene un gran valor y implementarla, ya que pretende mejorar la forma de abordar problemas públicos, a pesar de las demandas que se requiere de los evaluadores.

ética es prudente considerar los siguientes aspectos: • Revelar cualquier conflicto de interés que se podría tener, es una acción ética. Por ejemplo, si un miembro de un grupo que no apoya la enseñanza relativa a la educación en salud sexual y reproductiva en escuelas, pide tiempo para participar en una evaluación de un currículum escolar sobre Educación en Salud Sexual y Reproductiva, podría representar algún conflicto de interés. En casos como éste, se debe asegurar que las opiniones o creencias personales sobre un grupo o tema en particular no interfieran con la objetividad necesaria para llevar a cabo las actividades de evaluación o al interpretar los resultados. • Es particularmente importante mantener el anonimato y confidencialidad de la información recabada durante todo el proceso de implementación, monitoreo y evaluación, por lo que hay que estar muy alerta con los riesgos potenciales hacia cualquier interesado externo que llegue a ser afectado por participar en la recolección de datos. Por ejemplo, si la evaluación requiere de entrevistas, cuantitativas o cualitativas, con niñas adolescentes, sobre su actividad sexual, la evaluación deberá garantizar que las entrevistas se conduzcan en un lugar privado y que los datos obtenidos no sean accesibles de ninguna forma que vincule las respuestas con las participantes. • Comprender los patrones culturales de los participantes. • Informar a los participantes sobre el propósito de la recolección de datos y como éstos van a ser utilizados. Además hay que explicar los procedimientos y términos de la privacidad de los mismos. • Obtener acuerdos de consentimiento. • Conseguir los permisos necesarios al abordar a las poblaciones potencialmente vulnerables, incluyendo niños, hospitales u otras instituciones que manejen información confidencial. • Los incentivos para motivar la participación deberán, por lo general, ser limitados a la devolución de los resultados de la evaluación, o algo de bajo costo como una bebida o bocadillos. • Cuando se está ejecutando una evaluación, algunas veces, el personal del proyecto o los beneficiarios, pueden considerar que es a ellos a quienes se está evaluando, sin embargo la evaluación de los proyectos, evalúa lo que ellos realizan y no a ellos en sí. • Ser claro y preciso cuando se reporten los resultados de la evaluación y explicar cualquier limitación de la información presenta.

Página 10

Capítulo 4:

Incidencia Política con Enfoque de Derechos En los últimos años el trabajo de incidencia política se ha incorporado de forma paulatina en las estrategias de acción en gran número de organizaciones sociales debido al reconocimiento del desarrollo social en los proyectos, teniendo en cuenta las grandes desigualdades de riqueza y pobreza. Como resultado, muchas organizaciones están abordando estas desigualdades con el propósito de mejorar las condiciones de vida de las personas, de determinadas comunidades y de grupos vulnerables. Lo anterior se ha logrado empoderándolos para que superen los problemas que enfrentan, mediante proyectos de incidencia política, fundamentados en el respeto a los derechos humanos y en el esfuerzo sistemático para producir cambios basándose en la experiencia y conocimiento de las familias, grupos y la comunidad en general. Además se ha prestado atención a la discriminación política, social y económica, potenciando de esta manera la buena relación entre la ciudadanía y los sujetos de autoridad. Un enfoque basado en los derechos, por lo tanto, trata de determinar quién es responsable del sufrimiento humano y quiénes están irrespetando los derechos a otros. En este contexto, la incidencia política tiene como objetivo enfocar la atención de una comunidad hacia una problemática específica y orientar a los tomadores de decisión hacia una solución integral. 4.1 ¿Qué es la incidencia política? Es el proceso que consiste en una serie de acciones políticas, realizadas por la ciudadanía organizada que tiene como objetivo enfocar la atención de una comunidad hacia una problemática específica y orientar a tomadores de decisión hacia una solución. 4.2 Diferentes enfoques de incidencia política: Informal y Pública La incidencia política puede ser pública o informal (conocida también como incidencia política privada), o una combinación de ambas dependiendo del contexto en que se desarrolla, los resultados deseados y la sensibilidad del tema. El mejor enfoque y herramientas a utilizar dependen del análisis de los actores claves y de las influencias que se tienen. 4.2.1 Incidencia Política Informal Se refiere a las acciones que se llevan a cabo en privado, sin publicidad involucrada. Estas incluyen: conversaciones en privado, negociaciones o reuniones; es usualmente utilizada en los primeros pasos de la intervención y donde hay sensibilidad o donde han llevado a cabo acciones previas de incidencia política pública. Puede abordar a los beneficiarios, equipo de trabajo e inclusive el proyecto en general y a veces toma lugar cuando se da una oportunidad inesperada.

Página 11

4.2.2 Incidencia Política Pública Se refiere al tipo de incidencia política que se realiza en foros públicos. Utiliza la presión creada por las personas que tienen conocimiento de la situación, para producir un cambio en las políticas o en la implementación de las mismas y no necesariamente involucra a los medios de comunicación. Por ejemplo, un grupo de personas que se reúnen en una casa para discutir sobre un tema especifico y pueden involucrar a la prensa nacional e internacional para que cubra estas noticias y aumentar la conciencia social. Las metodologías en la incidencia política pueden incluir talleres, seminarios, reuniones de uno a uno, reuniones públicas o entrevistas con medios de comunicación, llevándose a cabo a través de las siguientes actividades: • Reuniones cara a cara con tomadores de decisiones. • Conversaciones informales y confidenciales con tomadores de decisión. • Cartas a funcionarios del gobierno. • Actividades públicas: debates, discusiones, películas etc. • Coaliciones. • Utilización de medios de comunicación: notas de prensa, redes sociales, programas de radio, televisión, etc. • Las campañas publicitarias son esenciales para ganar el apoyo de las personas. • Recursos de financiamiento e información a los donantes.

Nota

Al estar presente en un foro público o en una entrevista, resulta muy útil tener preparado un mensaje de incidencia política clave que se pueda desarrollar en un minuto.

4.3 Niveles de Incidencia Política La incidencia política puede tomar lugar en cuatro niveles diferentes: local, nacional, regional o internacional. En todos los niveles se necesita estar claro de cuál es la información que se va a compartir recordando que la comunicación es clave para desarrollar una estrategia efectiva de incidencia política. • A nivel local: influenciar al gobierno local sobre la importancia de crear servicios de atención integral a la salud amigables para adolescentes. • A nivel nacional: Política Nacional de Salud Sexual y Reproductiva, con especial atención en los derechos sexuales y reproductivos de adolescentes. • A nivel regional: una estrategia de integración a la Coalición Mesoamericana para abogar por el cumplimiento de los acuerdos de la Declaración Ministerial que promueve la implementación de la educación integral en sexualidad en el sistema educativo.

Ejemplo

• A nivel internacional: exigir el cumplimiento de las obligaciones contraídas por los Estados en las convenciones internacionales sobre derechos humanos, salud sexual y reproductiva.

Página 12

Los métodos que se implementan son los siguientes:

Aumento de la conciencia social

Contribución al debate de miembros de los grupos

Cambio de políticas

Implementación de nuevas políticas

Cambios positivos en la vida de las personas

El gráfico anterior muestra la secuencia de los resultados en la incidencia política. Primeramente, el aumento en la conciencia social, entendiendo las necesidades existentes y así cooperar a través de distintos mecanismos sociales, seguido por la contribución al debate de miembros de grupos exponiendo puntos de vista según la problemática que se esté tratando. Tercero el cambio de políticas formulando propuestas precisas que identifiquen a las personas con poder de decisión, que transformen las políticas públicas y den solución a las demandas y necesidades que afectan a la comunidad. Después, la implementación de nuevas políticas abarcando acciones de individuos o grupos públicos y privados que buscan el cumplimiento efectivo de estas. Por último, los cambios positivos en la vida de las personas, a través de la implementación de nuevas políticas dentro de su comunidad. Es importante considerar las siguientes actividades para lograr los objetivos y aumentar la probabilidad de éxito en las iniciativas de incidencia: • Reunir información sobre políticas. Es importante comprender cómo trabajan las instituciones influyentes en políticas, así como también identificar quiénes toman decisiones sobre ellas en los temas de interés. • Evaluar riesgos. Es entender el entorno político en el que se está trabajando, reduciendo las probabilidades de que se cometan errores que ocasionarían daño al proceso de incidencia política y con ello el irrespeto a los derechos de las comunidades con las cuales se trabaja. • Forjar alianzas estratégicas. Formar coaliciones de sociedad civil (juntas de padres, patronatos, etc.) basadas en la unión; fortaleciendo el trabajo y el interés en el tema de incidencia que tenga más probabilidad de éxito. • Forjar la credibilidad para incidir políticamente. Es conveniente que la incidencia política la realicen personas u organizaciones con trayectoria social responsable. • Enlazar la incidencia con prioridades programáticas de la organización. • Mantener una visión clara y específica. Se puede empezar identificando varios temas que se quieran abordar para orientar la acción, pero finalmente es importante elegir un tema clave.

Página 13

Para lograr los objetivos de los proyectos, en el desarrollo de las estrategias de incidencia se debe tomar en cuenta que la corresponsabilidad está en cada una de las organizaciones que participan a fin de asegurar que sea lo más exitosa posible y que se desarrolle de manera efectiva y poderosa. El mejor enfoque de incidencia política dependerá de la situación en particular y de la manera más efectiva de influenciar a los actores claves con el menor riesgo de que los asuntos de interés para los beneficiarios se lleven a cabo.

Planificación

Contexto

Modelo Integral para el trabajo en Incidencia Política

Actores que buscan influenciar las políticas

Estrategias ¿Qué vamos a hacer para lograr los cambios deseados?

Formuladores de políticas y procesos de formulación de políticas (incluyendo a los participantes)

Objetivo de incidencia ¿Cómo vamos a contribuir con los cambios deseados?

Políticas (capacitadoras, horizontales y regímes)

Mejora la calidad de vida de todos los ciudadanos

Resultados de largo plazo/condiciones previas

Objetivos de política

Impacto

¿Qué debe ocurrir antes que este cambio de política ocurra y si sus estrategias sean efectivas?

¿Cuáles son los cambios necesarios para hacer realidad esta visión?

¿Cuál es tu visión del futuro para este campo?

Página 14

Capítulo 5:

¿Qué es monitoreo y qué es evaluación? Identificar el vínculo entre incidencia política y el monitoreo y evaluación constituye el punto central para el trabajo y el perfeccionamiento de estrategias, el seguimiento y la evaluación constantes de las acciones de una organización. Para la incidencia política, los resultados son generalmente cambios en el conocimiento y opinión de la audiencia, por lo que se deben monitorear atentamente las actividades que se lleven a cabo y cuáles son los insumos utilizados que apoyan el éxito o fracaso de las mismas. Monitorear las iniciativas de incidencia política puede contribuir al cambio de políticas, pudiendo ocurrir en un corto periodo de tiempo cuando varias personas se involucran en el proceso de medición, dando paso al debate político con los participantes del gobierno, de la comunidad, de la empresa privada y de otros sectores involucrados. 5.1 ¿Qué queremos decir con el monitoreo y la evaluación de un proyecto? Es bien sabido que la implementación de un programa o proyecto social o de desarrollo, de atención humanitaria, de fortalecimiento de capacidades o de incidencia política no garantiza por sí mismo la consecución de los objetivos planteados ni un impacto positivo en la vida de las personas. Las buenas intenciones, los programas o proyectos por sí solos no garantizan resultados positivos. A fin de aumentar las posibilidades de efectividad en cualquier programa o proyecto social es necesario contar con un diseño y una planeación cuidadosa de monitoreo y evaluación que sean apropiados para visualizar si los planes están fallando o si hay cambios significativos en el contexto. Esta sección proporciona la oportunidad de analizar y tomar decisiones sobre las modificaciones que se deben hacer en el proyecto.

Para que un proyecto tenga éxito implementando el monitoreo y la evaluación, deberíamos considerar los siguientes puntos: 1. Asegurar que los recursos para M&E sean suficientes en cuanto a cantidad, alcance y costo del proyecto.

Nota

2. Cerciorarse que los recursos sean asignados adecuadamente a lo largo del ciclo de vida del proyecto. 3. Asegurar que las actividades necesarias sean llevadas a cabo, por ejemplo monitoreo de insumos, resultados y productos. 4. Asegurar qué personal de todos niveles del proyecto está involucrado en el proceso de Monitoreo y Evaluación para motivar la recolección de datos válidos.

Página 15

El monitoreo y la evaluación contribuyen a generar información para mejorar la acción, reorientarla o hacer una planeación futura mucho más asertiva y efectiva. Sin un monitoreo y una evaluación efectiva, no es posible identificar si el trabajo se está encaminando en la dirección correcta, si el progreso o los cambios logrados se deben a una acción específica o si es necesario hacer cambios en una planeación futura. En este sentido, el M&E ayuda a: • Mejorar el desempeño: detectando problemas de un proyecto en etapas iniciales de la implementación para reducir las posibilidades de fracaso, ahorrando recursos y tiempo al posibilitar la adopción oportuna de medidas correctivas. • Fortalecer la toma de decisiones y la planeación: permite aprender de los logros y las dificultades pasadas contribuyendo a la toma de decisiones y al diseño de iniciativas presentes o futuras (para suspender, reformular o multiplicar un proyecto). Asimismo, permite aproximar los proyectos a la realidad y a los resultados alcanzables. • Contribuir al aprendizaje: permite a la organización y a los involucrados aprender de la experiencia, mejorando y contribuyendo al aprendizaje institucional y al aprendizaje social. • Avanzar hacia el empoderamiento: el monitoreo y la evaluación permiten fortalecer las capacidades de la población involucrada, de los socios locales, del equipo encargado de la ejecución y de la misma organización, favoreciendo el conocimiento sobre la problemática, de los procesos y estrategias establecidos. • Mejorar la rendición de cuentas: permite a las organizaciones responsables informar a los donantes y a los beneficiarios sobre el uso de los recursos y el impacto de los proyectos, esto puede también fomentar el apoyo público y político de las iniciativas. • Contribuir al conocimiento general: el análisis de la evaluación permite compartir con otros, difundir el aprendizaje y las mejores prácticas, contribuyendo al conocimiento general de los procesos y proyectos de desarrollo. Esto puede servir tanto a la misma organización como a otras organizaciones o instituciones gubernamentales y académicas. 5.2 Diferencia entre el monitoreo y la evaluación El monitoreo es un proceso continuo y sistemático para obtener y analizar información sobre el avance hacia la consecución de las metas y los resultados previstos. Proporciona a las personas involucradas los insumos necesarios para identificar a tiempo los logros, oportunidades, debilidades y amenazas, a manera de facilitar los ajustes al proyecto. El monitoreo permite, entre otras cosas, conocer: • Si los recursos materiales y financieros son suficientes. • Si el personal encargado de la ejecución tiene la calificación y las capacidades necesarias. • Si el plan de trabajo ha sido implementado en los tiempos y en la forma planeada. • Si las actividades realizadas son coherentes con los planes de trabajo. • Si se está progresando hacia los resultados u objetivos propuestos. • Si la respuesta de la población involucrada en las actividades del proyecto es positiva. • Si hay participación y aceptación de las actividades y los procesos. • Si existen circunstancias o eventos inesperados.

Página 16

La evaluación se define como una apreciación lo más sistemática y objetiva posible, de un proyecto en curso o ya realizado sobre su planificación, ejecución o resultados. Su propósito es determinar la pertinencia y el cumplimiento de las actividades, el impacto deseado o no deseado del mismo, así como verificar si la acción se ha implementado de manera eficiente, eficaz y sostenible. Por esta razón la evaluación es un instrumento fundamental para la toma de decisiones, ya que permite reflexionar sobre la calidad y de las estrategias del propio trabajo, proporcionando valiosos insumos para la planeación futura. Es de notar que el monitoreo y la evaluación están interrelacionados pero son procesos distintos. Mientras que el monitoreo es un proceso continuo y permanente en la ejecución del proyecto, la evaluación se realiza en periodos establecidos, entre lapsos más largos. El monitoreo es un proceso continuo de análisis, observación y sugerencias de ajustes para asegurar que el proyecto esté encaminado a alcanzar su objetivo. La evaluación, por su parte, permite la formulación de conclusiones acerca de lo que se observa a una escala mayor, del diseño, del proyecto y sus impactos. 5.3 ¿Qué es y para qué sirve un indicador? Un indicador es la descripción operativa (cantidad, calidad, grupo meta, tiempo y ubicación) de los resultados de un proyecto. Permite especificar la forma en que se verificará el grado de cumplimiento de los resultados. Este se formula a manera del efecto esperado (o cambio que se quiere generar) para cada elemento de la implementación de la intervención. El indicador describe el avance del proyecto ya que funciona como “mapa” para guiar las actividades al definir claramente las necesidades y el enfoque para la recolección de datos. Los indicadores deben estar definidos con claridad. Un indicador mal redactado puede usar un lenguaje que no sea claro, y dar lugar a interpretaciones. Como los indicadores deberían ser lo más específicos posible, las oraciones aclaratorias pueden ayudar a definir los términos confusos. Indicadores aclaratorios prevén la definición operativa del indicador. Nos da el detalle de “qué significa” en términos que pueden ser subjetivos en su interpretación. Un indicador se usa para: • Clasificar la lógica de los resultados y los objetivos del proyecto • Focalizar de manera más especifica la intervención del proyecto, al indicar qué se quiere lograr, con qué características, en dónde, en qué tiempo, para qué población, etc. • Revisar el desempeño del proyecto y del equipo encargado de su ejecución, así como los tiempos y recursos disponibles Existen dos tipos de indicadores: los cualitativos y los cuantitativos. Los indicadores cuantitativos, tienen valores numéricos o porcentuales que pueden ordenarse de mayor a menor o viceversa. Ejemplo de ellos, son el número de mujeres embarazadas con diagnóstico VIH y porcentaje de mujeres que reciben tratamiento antirretrovirales, número de adolescentes entre 12 y 17 años embarazadas asistiendo a control prenatal, etc. Los indicadores cualitativos se alimentan con datos generados por diversas herramientas como las entrevistas, bitácoras del personal de campo del proyecto, grupos focales, etc. Ejemplo de estos indicadores son: actitud positiva de la persona responsable de la adolescente embarazada sobre educación sexual y reproductiva, opinión de la adolescente embarazada sobre el servicio de atención que recibe en el centro de salud al que asiste, etc. Los datos generados para responder a los indicadores deberían ser siempre interpretados en el contexto más amplio de la situación que queremos conocer y complementarlos con otro tipo de datos, si es necesario. Página 17

Capítulo 6:

Marco Lógico 6.1 ¿Qué es el Marco Lógico? El marco lógico es un método de planificación que se utiliza esencialmente, en los proyectos de cooperación para el desarrollo. Ofrece una secuencia ordenada de las discusiones para la preparación de una intervención y técnicas de visualización de los acuerdos alcanzados, siendo una herramienta que facilita el proceso de conceptualización, diseño, ejecución y evaluación de proyectos. Enfatiza la orientación por objetivos, la orientación hacia grupos beneficiarios y facilita la participación y la comunicación entre las partes interesadas. Consta de un conjunto de conceptos interdependientes que describen de modo operativo y en forma de matriz los aspectos más importantes de una intervención. Ésta descripción permite verificar si la intervención ha sido instruida correctamente ya que facilita el seguimiento y la evaluación de cada fase del proyecto, estructura los contenidos ayudando a sistematizar la experiencia con base en los objetivos, los resultados y las actividades de la intervención y sus relaciones causales, después de analizar los problemas, los objetivos y las posibles alternativas. Es una herramienta que ayuda a resumir las características principales de un proyecto, desde el diseño, la definición, la valoración, la ejecución y supervisión, hasta la evaluación del mismo. 6.2 Proceso del Marco Lógico Todo proyecto es, por definición, un conjunto de actividades interdependientes orientadas a lograr resultados específicos. Es importante recordar que el marco lógico es un proceso vivo que se lleva a cabo durante la ejecución de un proyecto, que promueve las bases para la elaboración del sistema de monitoreo y evaluación sirviendo como una herramienta continua que ayuda a crear la estructura y organización del proyecto. Además proporciona la identificación de los datos necesarios para monitorear y mejorar la programación, en caso que sea necesario hacerlo. El proceso del marco lógico incluye cuatro etapas: 1. Identificación del problema 2. Análisis de interesados 3. Llenado de la matriz del Marco Lógico 4. Gestión del proyecto Etapa 1: Identificación del Problema ¿Qué es el Árbol de Problemas? Es una técnica participativa que ayuda a desarrollar ideas creativas para identificar el problema, las causas, efectos y su relación para entender la problemática a resolver. En él se expresan, las condiciones negativas percibidas por los involucrados en relación con el problema en cuestión permitiendo identificar el conjunto de problemas principales sobre el cual Página 18

se concentrarán los objetivos del proyecto y mejorar el diseño, efectuar un monitoreo de los "supuestos" del proyecto durante su ejecución y, una vez terminado el proyecto, facilita la tarea del evaluador, quien debe determinar si los problemas han sido resueltos (o no). El tronco del árbol es el problema central, las raíces son las causas del problema y la copa del árbol son los efectos que genera el problema. Se define el problema en el tronco, de acuerdo a los intereses y apreciaciones de las personas afectadas, de manera clara, como una carencia o déficit, presentándolo como un estado negativo o situación no deseada que se puede verificar en la realidad en la población meta. Se describe sin calificarlo, idealmente se incorporan datos cuantitativos que permitan identificar la diferencia entre lo existente y lo deseado. Ejemplo Alta tasa (35%) de embarazo en adolescentes en la comunidad, las causas esenciales y directas del problema se ubican debajo del problema definido en el tronco del árbol (raíces del árbol). Al establecer las causas se debe verificar la relación que existe entre ellas y la existencia del problema.

Efectos que genera el problema

Problema central

Causas

Página 19

La secuencia de causas debe iniciarse con las relacionadas directamente con el problema central, que se ubican inmediatamente debajo del mismo, identificando de preferencia las fundamentales. Aún cuando algunas de ellas no sean modificables, deteniéndose en el nivel en que es posible se recomienda analizar con profundidad el problema en los diferentes contextos en los que está inmerso el problema. Ya que puede haber causas que originen el problema en el contexto familiar, en el contexto institucional (escuela, colegio, centros de salud, etc.) y en el contexto comunitario (rechazo, estigmatización, etc.) ¿Dónde se debe concentrar el proyecto? El proyecto se debe concentrar en las raíces (causas). Una vez que se encuentra la solución para las causas se asume que se superan los efectos negativos producidos. Esto se puede observar en el siguiente ejemplo: Vamos a considerar que el problema central es “Alto porcentaje (35%) de jóvenes adolescentes con embarazos no planificados”. Se debe configurar un esquema de causa-efecto siguiendo los siguientes pasos: 1. Problema central “Alto porcentaje de jóvenes adolescentes con embarazos no planificados”. 2. Efectos • Interrumpen su proceso educativo y en muchas ocasiones abandonan la escuela o colegio, o son expulsadas. • Son aisladas y estigmatizadas. • Trabajan a temprana edad. • Pueden caer en el trabajo sexual para mantener a sus hijos. • Mortalidad por mala praxis o problemas en el embarazo.

Ejemplo

3. Causas • Falta de educación sexual y reproductiva en escuelas, colegios y en las familias. • Falta de información sobre métodos anticonceptivos y de planificación familiar. • Violencia sexual perpetrada por miembros de su propia familia. • Existencia de una política pública que prohíbe la distribución de la pastilla anticonceptiva de emergencia.

Página 20

Rechazo

Abandono de estudios

Maltrato Aborto clandestino

Problema central: embarazo en adolescentes

Prohibición de las PAE Falta de información sobre métodos anticonceptivos

Discriminación

Bajo nivel educativo en SSR

Violencia familiar

Patrones culturales

Las causas que se encuentran en la parte superior de las raíces, son aquellas que se tienen que modificar, mientras las que están por debajo, se encuentran fuera de los límites de posibilidad. Árbol de Objetivos El Árbol de Objetivos es una técnica que se emplea para transformar una situación negativa (problema central), la cual se intenta solucionar mediante la intervención del proyecto Página 21

utilizando una relación de tipo causas y efectos en una situación positiva de tipo Medios y Fines. La secuencia del Árbol de Problemas de “causa-efecto” se transforma en un flujo interdependiente de “medios-fines”. Los medios (cómo resolver el problema) constituyen las raíces del árbol. Los fines (para qué resolver el problema) son las ramas del árbol y el problema se convierte en el objetivo o propósito central del proyecto. Aunque posee la misma estructura que el Árbol de Problemas, los medios y fines deben redactarse en positivo, utilizando verbos en infinitivo.

Aceptar la situación

Regresar a los estudios

Respetar la integridad

Controlar los abortos

Adolescentes previenen embarazo

Legalizar PAE Brindar información sobre métodos anticonceptivos

Armonizar las relaciones familiares

No discriminar

Incrementar nivel educativo en SSR

Página 22

Etapa 2: Análisis de Involucrados o Interesados El análisis de interesados o de involucrados (AI) es un instrumento que permite identificar a aquellos grupos y organizaciones interesadas en el éxito de una política o proyecto, a quienes contribuyen o son afectados por sus objetivos y a quienes tienen un poder de influencia sobre las decisiones a enfrentar. El AI tiene su origen en las ciencias políticas y en la teoría de la gerencia. Su principal contribución es generar conocimiento y ayudar a comprender el comportamiento de los actores y su influencia en el proceso de toma de decisiones. Igualmente esta herramienta puede ser usada para desarrollar estrategias gerenciales para facilitar la implementación de una decisión específica y para comprender el contexto político y examinar la factibilidad de una determinada política. Con esta herramienta los analistas (investigadores), tomadores de decisión y gerentes reconocen que los actores tienen intereses y recursos de poder que influyen en las acciones y objetivos de las políticas y organizaciones. Los diversos actores ejercen grados diferenciados de poder e influencia en el proceso de formación de las políticas, interviniendo en él activa o pasivamente. El análisis de los involucrados permite examinar alianzas y conflictos entre actores así como concebir estrategias para movilizar, neutralizar, negociar y fortalecer a los anteriores. Además, el AI permite comprender las posiciones e importancia de los diferentes actores. El AI se basa en inventario de actores, interesados o involucrados vinculados con la decisión a tomar y recaba información requerida para calibrar su importancia, en términos de su poder e interés en ejercerlo. También recaba información relacionada con el análisis de la capacidad de éstos para movilizar recursos en pro del logro de sus objetivos; y permite definir un campo de fuerzas de los actores, para apreciar sus relaciones e identificar alianzas potenciales entre ellos en función de los objetivos a alcanzar. ¿Quiénes podrían ser los involucrados en la implementación de un proyecto? Los interesados son los involucrados directa o indirectamente o afectados por el problema de desarrollo y sus posibles soluciones. Se pueden identificar los siguientes grupos: • Grupos de la población, con base en características tales como localización, nivel de ingreso, etnia, sexo, edad, etc.

Nota

• Organizaciones del sector público: representantes locales de los ministerios, gobernaciones, alcaldías, entre otros. • Organizaciones del sector privado: cámaras de producción, cámaras de comercio, empresas importantes, etc. • Organizaciones de la sociedad civil: incluye principalmente organizaciones no gubernamentales y otras organizaciones sin fines de lucro, como los consejos de desarrollo local, etc. • Organizaciones religiosas: iglesias y otras organizaciones religiosas influyentes en la comunidad. • Grupos políticos: partidos políticos, movimientos de mujeres políticas, etc .

Página 23

La Matriz de Influencia de Poder La matriz permite identificar en una lista los involucrados, sus intereses y grado de poder e influencia sobre el éxito del proyecto. Muestra el grado de poder e influencia de cada uno (alto, medio, bajo) en relación a la cantidad de poder que tiene para lograr el objetivo, la motivación en lograr el cambio y el interés que podría tener junto con lo que a los gestores del proyecto les interesa obtener de sus involucrados. A continuación se muestra un ejemplo de la matriz.

Involucrado

Influencias

Gerentes de los CAI

Recolección y aplicación correcta de la cuota

El Secretario de Salud

Revisión y aplicación de la política sobre la cuota de recuperación

Mujeres positivas que no son miembros de un grupo de autopoyo

Fortalecen los esfuerzos de los grupos de autopoyo por empujar cambios en el asunto de la cuota de recuperación.

Poder que tiene el involucrado para lograr el objetivo

Motivación del involucrado en lograr el cambio

Alto Medio Bajo

Interés que podría tener el involucrado junto con lo que a los participantes les interesa obtener de sus metas

Los gerentes están de acuerdo con el uso de la cuota mientras que los pacientes necesitan que la cuota sea utilizada para su beneficio de acuerdo con la política

El secretario quiere asegurar que su imagen positiva pero tiene otras prioridades

Las mujeres positivas asisten a los servicios de los CAI y por esto pueden hacer presión a los gerentes de los servicios médicos para aplicar bien la cuota de recuperación

Matriz de Análisis de Poder Otra herramienta utilizada para identificar y clasificar la influencia y poder de los involucrados puede ser la matriz de análisis de poder. Los involucrados pueden tener varios niveles de poder e interés que los pueden posicionar en diferentes puntos dentro de cada celda. Estos pueden ir cambiando de posición durante la vida o ciclo del proyecto para ver los cambios que se han obtenido en términos de incidencia política.

Página 24

–

Influencia/Poder

Interés

• Mujeres positivas

• Gerentes • Secretarios

Involucrados que puedan ser clasificados en los diferentes cuadrantes de la matriz de poder de decisión: • Defensores o aquellos interesados que tienen un alto nivel de influencia en el proyecto pero tienen poco interés en el desarrollo del mismo. Ejemplo, un actor del gobierno local, que puede tener poder de decisión, sin embargo, no está interesado por el momento en la ejecución del proyecto. • Promotores o aquellos involucrados que consideran que el proyecto tiene una alta prioridad y que las acciones pueden tener un impacto en el proyecto. Ejemplo, el personal de salud puede pensar que el proyecto es de suma importancia para la comunidad, sin embargo, podría ser que los representantes de las iglesias a nivel local piensen lo contrario y estos pueden tener una influencia negativa. • Apáticos, aquellos interesados que tienen poco interés en la implementación del proyecto y poco poder de influencia en las actividades del proyecto. Ejemplo, podría ser algunas personas de la localidad que no tienen sensibilidad social. • Latentes, aquellos que tienen influencia sobre el proyecto pero que no priorizan las metas o actividades propuestas en el mismo. Ejemplo, los políticos, pudiera ser un buen ejemplo. Uno de los propósitos más importantes del análisis de los involucrados es disminuir el desequilibrio de poder que hay entre los diferentes actores. Al utilizar la matriz de análisis de poder se puede entender de una mejor manera como los diferentes involucrados pueden interactuar con el proyecto y por ende, desarrollar estrategias de implementación que incrementen la probabilidad de éxito del proyecto. Por ejemplo, se podría incluir una estrategia educativa orientada hacia la oposición para apoyar o generar su conocimiento sobre los beneficios del proyecto en la comunidad.

Página 25

Etapa 3: Llenado de la matriz del Marco Lógico A fin de llenar la matriz del Marco Lógico se deben seguir los siguientes pasos: 1. Completar la columna de los resultados dentro de la matriz. 2. Completar la columna de supuestos en la matriz. 3. Llenar la segunda columna que corresponde a los indicadores. 4. Llenar la tercera columna correspondiente a los medios de verificación La matriz del Marco Lógico se presenta de la siguiente manera:

Marco Lógico Resumen Narrativo de los resultados

Fin El Fin es una definición de cómo el proyecto o programa contribuirá a la solución del problema(o problemas) del sector

Resultados Esperados Los resultados que la gestión del proyecto debería poder garantizar. (Mencione grupos beneficiarios)

Productos Los productos son las obras, servicios, y resultados de capacitación que cumple el proyecto. Estos deben expresarse en trabajo terminado (sistemas instalados, gente capacitada, etc.

Indicadores verificables objetivamente

Medidas (directas o indirectas) para averiguar hasta qué grado se ha contribuido el proyecto al objetivo global. Los indicadores a nivel de Propósito describen los resultados logrados al final del proyecto. Deben incluir metas que reflejen la situación al finalizar el proyecto. Cada indicador especifica cantidad, calidad y tiempo de los resultados por alcanzar. Los indicadores de los Componentes son descripciones breves, pero claras de cada uno de los productos que tienen que terminarse durante la ejecución. Cada uno debe especificar cantidad, calidad y oportunidad de las obras, servicios, etc., que deberán entregarse.

Medios de verificación

Los medios de verificación son las fuentes de información que se pueden utilizar para averiguar si habían cambios en la situación del fin.

Acontecimientos, condiciones decisiones importantes para la "sustentabilidad” de los beneficios generados por el proyecto.

Pueden incluir documentación del proyecto, entrevistas, material publicado, inspección visual, encuestas por muestreo, etc.

Los supuestos indican los acontecimientos, las condiciones o las decisiones que tienen que ocurrir para que el proyecto contribuya significativamente al logro del Fin.

Pueden incluir documentación del proyecto, material publicado, inspección visual, etc.

Actividades Las Actividades son las tareas que el ejecutor debe cumplir para completar cada lograr los resultados via los productos.

Este casillero contiene el presupuesto para cada Componente a ser producido por el proyecto.

Supuestos

Pueden incluir documentación del proyecto, mate-rial publicado, inspección visual

Los supuestos son los acontecimientos, las condiciones o las decisiones que tienen que ocurrir para que los Componentes del proyecto alcancen el propósito para el cual se llevaron a cabo.

Los supuestos son los acontecimientos, condiciones o decisiones (fuera del control del gerente de proyecto) que tiene que suceder para completar los productos del proyecto.

Página 26

Paso 1: Niveles de Resultados de la Matriz del Marco Lógico La matriz del Marco Lógico (ML) comprende todos los niveles de resultados que se espera obtener. Para una mejor comprensión se entenderá que EL FIN es el “resultado final”, y el nivel más alto de un cambio al que se puede alcanzar a largo plazo. El resultado esperado se entenderá como un cambio de estado para la población a corto y mediano plazo. El producto, es el resultado directo que se obtiene de las actividades del proyecto, puede comprender personas capacitadas, documentos, materiales, etc. Las actividades darán cuenta de “cómo” se realizan las acciones, tales como organizar reuniones y realizar talleres. Se concluye que la cadena de resultados debe ser comprendida como un proceso y no como etapas o fases independientes entre sí. ¿Qué es un lenguaje de cambio? El lenguaje de cambio es utilizado en la Gestión Basada en Resultados, que es un marco de trabajo que tiene como centro al sujeto de derecho. Debe describir el cambio y no las intenciones de los productos y resultados que se quiere obtener. El lenguaje de cambio se puede utilizar con: 1. Actores/gente: cambios en conocimientos, habilidades, actitud y comportamiento, desarrollo (cognitivo, psicosocial, afectivo, aprendizaje), ingresos, empleo, etc. 2. Servicios/instituciones: cambios en la capacidad técnica, gerencial, calidad y oferta de servicios, desempeño, clima institucional, asignación y uso de recursos; 3. Cambios en la realización de derechos: reducción de la pobreza, de la mortalidad, morbilidad, alfabetización, explotación, etc. Algunos ejemplos de resultados con lenguaje de cambio que le pueden ayudar: 1. Niñas indígenas embarazadas son atendidas por servicios públicos de atención integral que protegen sus derechos y son adecuados culturalmente. 2. Repetir el año escolar, en niñas del área rural desciende en 25% en la educación primaria. Paso 2: Supuestos Los supuestos son factores externos que escapan al control de las organizaciones y que en principio pueden repercutir en la ejecución de sus proyectos. Es importante conocer los factores que podrían limitar o facilitar la viabilidad del proyecto. Los factores externos pueden ser naturales, económicos, políticos, sociales, geográficos, entre otros. Al momento de diseñar los supuestos, estos se deben definir teniendo como referente la columna de jerarquía de objetivos. Deben formularse de manera positiva, es decir, mostrar las situaciones o condiciones que deben existir para que el proyecto tenga éxito. La redacción positiva de los supuestos implicaría que el proyecto es viable, en cambio una redacción negativa implicaría la imposibilidad de ejecutar el proyecto. Éstos deben formularse con precisión. No es necesario diseñar un supuesto para cada actividad, ya que todos los factores que la involucrarían pueden estar bajo control. Puede existir más de un supuesto para los niveles Página 27

referidos al fin, resultados esperados y actividades. Los supuestos son redactados según una lógica en especial. El cuadro a continuación muestra la lógica de un proyecto en relación a los supuestos. La lógica vertical garantiza la coherencia interna del proyecto y la lógica horizontal asegura su viabilidad en el contexto global del ámbito del proyecto.

Marco Lógico Resumen Narrativo de los resultados Fin El Fin es una definición de cómo el proyecto o programa contribuirá a la solución del problema(o problemas) del sector

Resultados Esperados Los resultados que la gestión del proyecto debería poder garantizar. (Mencione grupos beneficiarios)

Indicadores verificables objetivamente

Medios de verificación

Supuestos

Acontecimientos, condiciones decisiones importantes para la "sustentabilidad” de los beneficios generados por el proyecto.

Los supuestos indican los acontecimientos, las condiciones o las decisiones que tienen que ocurrir para que el proyecto contribuya significativamente al logro del Fin.

Productos Los productos son las obras, servicios, y resultados de capacitación que cumple el proyecto. Estos deben expresarse en trabajo terminado (sistemas instalados, gente capacitada, etc.

Actividades Las Actividades son las tareas que el ejecutor debe cumplir para completar cada lograr los resultados via los productos.

Los supuestos son los acontecimientos, las condiciones o las decisiones que tienen que ocurrir para que los Componentes del proyecto alcancen el propósito para el cual se llevaron a cabo.

Los supuestos son los acontecimientos, condiciones o decisiones (fuera del control del gerente de proyecto) que tiene que suceder para completar los productos del proyecto.

Página 28

En el proceso de consideración de los supuestos, también se puede hacer un análisis de los riesgos para el proyecto. Para tal fin, se utiliza un diagrama como el que sigue.

Diagrama para el análisis de supuestos

¿El riesgo es externo al proyecto?

No No Incluir

¿El riesgo es importante?

Poco probable

Si ¿Probabilidad de ocurrencia del riesgo?

Probable

SUPUESTO Rediseñar

¿Se puede rediseñar el proyecto?

Supuesto fatal

Paso 1: Indicadores Los indicadores son medidas específicas, explícitas y objetivamente verificables de los cambios que producen las actividades planificadas en el proyecto. Son un instrumento necesario para señalar la información que permita conocer los progresos alcanzados hacia el logro de las metas y objetivos del proyecto. En la matriz del marco lógico hay cuatro tipos de indicadores: • Indicadores de impacto: miden los cambios que se esperan lograr al final del proyecto. • Indicadores de resultados: miden los cambios que se van a producir en el mediano plazo durante el proceso de ejecución del proyecto. • Indicadores de productos: indican si las metas y/o actividades planteadas a nivel de las acciones y las programadas en el plan operativo se han cumplido en el tiempo y con los recursos previstos. • Actividades. Página 29

Estos indicadores señalarán el cumplimiento de las metas. El número de indicadores debe ser el mínimo indispensable para sacar conclusiones sobre los procesos que se está siguiendo y midiendo. Si existe alguna duda sobre su utilidad, se recomienda desechar ese indicador. Los indicadores deben estar definidos con claridad. Un indicador mal redactado puede usar un lenguaje que no sea claro y dejar lugar a las interpretaciones. Como los indicadores deberían ser lo más específicos posible, las oraciones aclaratorias pueden ayudar a definir los términos confusos. Indicadores aclaratorios proveen la definición operativa del indicador; nos da el detalle de “qué significa”, términos que pueden ser subjetivos en su interpretación. Los indicadores de los diferentes niveles del marco lógico pueden ser cualitativos o cuantitativos.

Nota

Las fuentes de verificación, así como los indicadores constituyen una base fundamental para la construcción de los sistemas de monitoreo y evaluación de un proyecto.

Paso 2: Medios de Verificación Los medios de verificación son las fuentes de donde provienen los datos de los indicadores y que pueden ser fácilmente verificables, o sea que a través de las cuales podemos constatar, conocer y verificar el cumplimiento de las metas y de los resultados del proyecto. Existen dos tipos de fuentes: • Primarias: datos que son proporcionados por las personas en el levantamiento de encuestas, censos o entrevistas a profundidad, grupos focales, etc. • Secundarias: hacen referencia a los datos ya existentes de investigaciones o documentos relacionados con el quehacer del proyecto. Ejemplo, Encuesta de Demografía y Salud (ENDESA), Estudio sobre Mortalidad Materna, documentos oficiales, etc. Es importante no confundir las fuentes de verificación con los instrumentos de recolección de datos (encuestas, entrevistas). Estos últimos deberán ser diseñados en el sistema de M&E. La fuente nos permite precisar e identificar dónde obtener los datos para verificar el grado de cumplimiento de las metas, en virtud del cual, los indicadores deben tener coherencia con dichas fuentes, de esa manera se elaborarán instrumentos confiables que permitan recoger los datos requeridos. Etapa 4: Gestión del proyecto Esta etapa se refiere al proceso continuo de revisión de la matriz, monitoreo de las diferentes actividades y evaluación de las diferentes etapas del proyecto que se dan a fin de gestionar o administrar de manera efectiva y con enfoque al logro de los resultados, tomando como piedra angular la matriz construida en la fase de planificación.

Página 30

Capítulo 7:

Diseño de Instrumentos para Recolectar Datos de M&E Hay dos metodologías de recopilación de datos: cuantitativas y cualitativas. La diferencia entre las dos metodologías radica en el enfoque y los tipos de preguntas que se pretenden responder y la manera en la cual la información es obtenida; si es a través de números (cuantitativa), o de manera teórica (cualitativa). A menudo los métodos cualitativos podrían utilizarse para explorar temas durante las primeras etapas de un estudio mayor, permitiendo a los investigadores entender mejor lo que hay que pedir como parte de un estudio cuantitativo; mientras que las metodologías cualitativas pueden ser aplicadas durante la vida de un proyecto o en momentos claves en que necesita información de esa naturaleza, por ejemplo, antes de empezar la implementación de un proyecto, se puede hacer la aplicación de un cuestionario para sacar una medida de indicadores de importancia para evaluar el éxito del proyecto. El mismo cuestionario debe ser aplicado al fin del proyecto para poder medir cambios en la población meta. De esta manera los métodos cuantitativos podrían destacar cuestiones concretas, que luego podrían ser estudiadas con más profundidad mediante el uso de métodos cualitativos y discusiones abiertas. 7.1 Métodos Cuantitativos y Cualitativos Para comprender de mejor manera los métodos cuantitativos y cualitativos, a continuación se establecerá un ejemplo a través del cual se puede conocer el funcionamiento de cada uno de ellos. Indicador: Conocimiento de adolecentes sobre la prevención del embarazo no planificado. Método 1: Método cuantitativo dando datos cuantitativos. Es prudente establecer una encuesta en las escuelas u otro lugar donde se sientan cómodos los adolecentes seleccionándolas al azar mediante un método de muestreo de racimo de dos etapas (pueblos seleccionados durante la primera etapa y escuelas en la segunda etapa). Resultados: 75% de jóvenes adolecentes en el área geográfica del proyecto conocen una manera de prevenir el embarazo. (Lo ideal sería si muestrea a otra comunidad cerca al área geográfica del proyecto con características económicas, educacionales, etc. que funciona como un grupo de control).

Ejemplo

Método 2: Método cualitativo para la obtención de datos cuantitativos. Grupo de discusión con grupos de adolecentes: diez discusiones de grupos focales de seis personas cada grupo; se realizó en cinco pueblos en el área geográfica del proyecto escogidos al azar. En cada pueblo se realizó una discusión; en grupo con mujeres adolescentes y otro con hombres adolecentes. Durante los grupos de discusión las tarjetas estaban distribuidas donde los participantes pueden dibujar personas o instituciones/edificios de alta influencia en su vida. Después de que el grupo decide que tienen a todas las personas en su entorno, las organizan en grupos similares. El grupo discute los grupos de tarjetas y que tipo y que tan fuerte es la influencia y los mensajes que reciben de cada tipo de persona en relación a la vida sexual. Resultados: Información de adolecentes sobre las influencias en su vida cotidiana que puede afectar sus decisiones, porque estas personas/instituciones tienen influencia y que tan fuerte es la influencia.

Página 31

7.2 Formas de analizar la información obtenida • Triangulación: se refiere al proceso de comparación o cotejo de información que incluye diferentes habilidades, experiencias y puntos de vista; una gama de herramientas y técnicas para la recopilación de datos y análisis con diferentes fuentes de información sobre el mismo problema. De esta manera pueden evaluarse; si es necesario abordar, la fiabilidad y la parcialidad de hallazgos. • Enfoque multidisciplinario: se obtiene a través de personas con diferentes habilidades, experiencia, puntos de vista, perspectivas y análisis de un tema determinado, de esta manera el equipo en su conjunto obtendrá conocimientos nuevos y más profundos cuando se comparten las diferentes perspectivas. Las mujeres y los hombres siempre deben incluirse en el equipo, como miembros de la comunidad o grupo en cuestión. • Técnicas de mezcla: normalmente el equipo utiliza una mezcla de técnicas de entrevista, discusión, diagramas, mapas y observación directa. • Participación de la comunidad: la mayoría de las actividades se llevan a cabo conjuntamente con la comunidad o por la comunidad propia. • Análisis sobre el terreno y flexibilidad: los planes y métodos son semi-estructurados, discutidos y modificados a medida que avanza el trabajo de campo. En este momento el equipo cuenta con un aumento en la comprensión debido a los problemas inesperados y hallazgos presentados claramente en el foco, por lo que los planes, temas y métodos pueden ser revisados por el equipo que analiza constantemente sus resultados para decidir cuál es la mejor manera de continuar.

Nota

Existe la percepción errónea que los métodos cuantitativos son más objetivos y que los métodos cualitativos son más subjetivos. Los investigadores de hoy reconocen que ambos métodos tienen cualidades subjetivas y objetivas.

Un ejemplo de la mezcla de técnicas, participación de la comunidad y triangulación de datos de violencia contra mujeres se presenta a seguir. Se lleva a cabo una visita a las comunidades dentro del área geográfica del proyecto que brinda capacitación a personal de los centros de salud y la policía sobre como procesar a una mujer víctima de violencia doméstica. 1. La policía no registra casos de violencia doméstica. 2. Revisión de registros en los centros de salud resulta en una cantidad de 20 mujeres que llegaron a servicios víctimas de violencia doméstica. 3. Unas entrevistas a profundidad con mujeres en la comunidad indican que la violencia que sufren es por parte de sus esposos u otros miembros de su familia. En las mismas entrevistas las mujeres dicen que las comunidades son pequeñas y no pueden acudir a la policía o a los centros de salud ni decir con honestidad su caso por el temor a repercusiones. 4. Finalmente se celebró un debate de grupo de hombres de la comunidad para platicar sobre la aceptabilidad de la violencia en el hogar.

Ejemplo

Página 32

La cuestión de la violencia doméstica por lo tanto fue triangulada con cuatro fuentes de información. La primera fuente es una indicación descriptiva, cuantitativa para mujeres víctimas de violencia doméstica. La segunda fuente es una revisión de los registros en los centros de salud. En las dos primeras etapas una lista de verificación se puede utilizar para recolectar datos rápidamente. La tercera es una serie de entrevistas a profundidad con mujeres en la comunidad en donde se pueden hacer preguntas sobre violencia doméstica en su comunidad. La cuarta brinda información a profundidad sobre las percepciones de hombres sobre violencia doméstica en la comunidad. Con esta información se puede determinar si hay intervenciones prácticas a nivel comunitario para la sensibilización de los hombres ante el problema. 7.3 Características de los Datos de Calidad Todos los datos recolectados tanto cuantitativos como cualitativos deben ser tomados con la mayor precisión y cuidado posible, considerando las siguientes características: • Precisión o validez; cuando se dice que los datos son válidos significa que son considerados como un reflejo verdadero o correcto de la realidad. • Consistencia; los datos recolectados durante todo el ciclo de vida de un proyecto son medidos de la misma forma desde el inicio hasta el final, sin variar el método de recolección. En otras palabras, el proceso de recolección de datos puede ser llevado a cabo por varias personas y los datos resultantes serán de la misma calidad. • Completos, los datos que se recolecten deben ser exhaustivos, lo que significa que todos los elementos del proyecto deben ser medidos y reportados. Por ejemplo, si el proyecto implementa intervenciones en la comunidad y en las escuelas, se debería recolectar datos tanto en la comunidad como en la escuela. • Oportunos, los datos deben ser actualizados y estar disponibles cuando son necesitados para la toma de decisiones. • Imparciales, los datos no deben ser influenciados por intereses políticos o personales. 7.4 Marco para el Control de Calidad de Datos Para asegurar que los datos son de calidad hay que monitorear la recolección, el manejo y el análisis de los mismos. Por ejemplo, si hay visitas de supervisión de empleados; la primera etapa es un proceso de asegurar la calidad de datos; si un supervisor va a observar actividades puede revisar los datos inmediatamente para evaluar que estén registrados correctamente en el instrumento. Lo mismo si se llegan a manejar encuestas, un supervisor acompaña a los entrevistadores al campo sentándose con ellos mientras hacen las entrevistas y revisa los datos al fin de cada día para corregir cualquier error. La segunda etapa de un proceso de calidad es evaluar la información que está ingresada en una base de datos contra los instrumentos de recolección. Si hay mucha información, por ejemplo de 100 actividades, se puede seleccionar un 10% de los instrumentos para comparar con los datos que están en la base de datos y evaluar la coherencia. Si hay más de 2% de error en los datos, hay que hacer una revisión de cada instrumento. La tercera etapa de un sistema de calidad, la revisión de los productos del análisis de los datos se debe evaluar para que la información sea la realidad del proyecto; a través de actividades o encuestas al nivel poblacional.

Página 33

Al final, los datos de calidad se usan para informar a los actores claves acerca de la toma de decisiones sobre la gestión y el diseño de nuevos proyectos, por lo tanto si un proyecto piensa tener datos de calidad hay ciertas características que debe manifestar. A continuación se explican las principales características de una organización que recolecta datos de calidad: • Cultura organizacional: se refiere a si la organización considera importante el monitoreo y la evaluación para la obtención de buenos datos, tanto cuantitativos como cualitativos, que proporcionen información confiable y pertinente. • Estructural/técnico: mide la capacidad de la organización para organizar sistemáticamente todas las etapas que conlleva la recolección, análisis y diseminación de los datos para la toma de decisión en la implementación del proyecto. • Integridad: se relaciona a la ética y transparencia en la recolección de los datos cuantitativos o cualitativos. • Precisión y confiabilidad de los datos: la organización debe asegurarse que los instrumentos de recolección de datos sean probados y ajustados a las necesidades de información que tengan, tanto para el buen monitoreo como para hacer los reportes a los donantes. Además, se debe cerciorar del cumplimiento de la agenda de recolección de los datos, para asegurar que los mismos se levanten en el periodo determinado para que puedan estar disponibles para el momento de tomar decisiones en la implementación del proyecto. • Diseminación/divulgación: se refiere a que la organización debería tener un plan de diseminación o divulgación de los datos o resultado que se origine de las actividades del proyecto. 7.4.1. Datos Cuantitativos La intención metodológica cuantitativa es recopilar datos para probar hipótesis predeterminadas. En general las herramientas para recolectar datos cuantitativos contienen preguntas que tienen respuestas predeterminadas y codificadas (si/no, o números). Esto facilita el análisis, pero limita el grado en que los encuestados participan y son capaces de proporcionar explicaciones que perciben (causas, lógica). Por el contrario, buscan explicaciones por asociaciones, compara y potencialmente relaciona causales entre variables (por ejemplo, la tasa de embarazo en adolecentes es más alta entre jóvenes que no reciben educación en salud sexual y reproductiva que entre jóvenes que reciben educación sexual y reproductiva). Los métodos cuantitativos son útiles en las siguientes situaciones: • Cuando se requieren datos 'exactos' y 'precisos'. • Cuando las estimaciones de la muestra se utilizarán para inferir algo acerca de la población más grande con el apoyo de la teoría estadística. • Para comprobar si existe una relación estadística entre las variables. • Producir evidencia para demostrar que existe un problema particular, o para justificar una particular estrategia. • Identificar las características de una población (por ejemplo, durante un estudio de referencia).

Página 34

Puntos fuertes Estimaciones precisas, respaldadas por la teoría estadística, son a menudo invaluables para la toma de decisiones y la defensa porque son robustas y objetivamente verificables si los datos son recogidos y analizados correctamente. Debilidades La mayor debilidad del enfoque cuantitativo es que puede tomar el comportamiento humano fuera del contexto de una manera que elimina el evento de su ajuste del mundo real. Factores o variables excluidas del instrumento de recolección de datos simplemente no son considerados en el análisis. a) Recolección y manejo de datos cuantitativos El manejo de la recolección de los datos cuantitativos se basa principalmente en obtener información puntual acerca de la investigación que se esté llevando a cabo, a través de respuestas de índole numérico o con respuestas específicas como “si/no”. Preguntas para encuestas cuantitativas Preguntas incluidas en las encuestas por muestreo cuantitativo son cerradas. Las respuestas son a menudo numéricas, “sí/no”, o categóricos (por ejemplo, las respuestas posibles pueden ser entre 1-5). 1: ¿A qué edad tuvo su primera relación sexual? Edad__________ años

Ejemplo

2: ¿Utilizó condón en su última relación sexual? Si No 3: ¿Algunos de sus amigos están teniendo relaciones sexuales? Si No 4: ¿Cuál es la influencia más fuerte que determina el que usted NO tenga relaciones sexuales? 1. Pareja 2. Padres 3. Pastor Otro___________________

b) Herramientas para los datos cuantitativos • Registros de actividades: incluye talleres, charlas, reuniones y ruedas de prensa, entre otros, es necesario monitorearlas para conocer si son las actividades correctas que están sucediendo en el tiempo planificado con los participantes y cubriendo los temas adecuados. El reporte de actividades usualmente registra el lugar del evento, período en que se está ofreciendo el evento, los temas a cubrir y el número de participantes desagregado por sexo. • Visitas de supervisión del personal de campo: el personal de campo realiza sus actividades con un alto grado de independencia, por lo cual pueden ser usadas las visitas de supervisión, las cuales, deberían ser seleccionadas al azar y sin previo aviso, lo que da un alto porcentaje de validación e implementación a las actividades y a los datos recolectados, siendo utilizadas Página 35

como una excelente herramienta de monitoreo, para identificar las fortalezas y debilidades del personal de campo que lleva a cabo las actividades y detectar a tiempo lo que puede estar ocurriendo y hacer las correcciones en el momento oportuno, a fin de obtener los productos establecidos en el marco lógico. Estas visitas de supervisión son una buena oportunidad para interactuar con la población que está siendo beneficiada con el proyecto y conocer sus opiniones al respecto. • Encuestas cortas a beneficiarios: las encuestas a los beneficiarios son una fuente de información valiosa para percibir la calidad de los servicios, la utilidad de las actividades del proyecto y los cambios contextuales que podría influenciar en el éxito del proyecto. Deben ser cortas y concretas, seleccionando solamente aspectos claves de la implementación del proyecto. • Listas de Verificación: son instrumentos muy útiles para obtener información de control y consulta que sirven para el monitoreo de diversas actividades del proyecto, como la entrega de materiales; por ejemplo, un promotor de salud puede utilizar una lista de verificación para determinar si una mujer puede iniciar algún método anticonceptivo. c) Verificación de la calidad de datos cuantitativos Los buenos datos son necesarios no solamente para la precisión del monitoreo y evaluación del progreso del proyecto, sino también para establecer objetivos y metas acordes a la realidad. Los datos que nacen de la implementación de las actividades del proyecto son tan útiles para mejorar como para reportar cuando los datos son válidos, asegurando su calidad para garantizar que las decisiones hechas para el mejoramiento del proyecto sean apropiadas y que los recursos son asignados de una manera costo-eficiente. Es muy importante en la etapa de recolección de datos, el control de calidad de los mismos, asegurando que sean confiables y de calidad para poder monitorear y evaluar la implementación del proyecto. Por lo tanto garantizar la calidad de los datos cuantitativos es un proceso necesario para asegurar que la información recolectada represente con exactitud las actividades y resultados del proyecto. 7.4.2. Datos Cualitativos Los datos cualitativos tienen como fortaleza la flexibilidad y la alta sensibilidad a las diferencias individuales, a los cambios de la situación, a la aparición de nueva información y la mayoría de las actividades de recolección de datos utilizando preguntas exploratorias o abiertas para enriquecer la información recabada alrededor del tema en estudio. Estos datos serán seleccionados y elaborados en base a la información necesaria para la gestión y/o evaluación del proyecto siendo reflejada a través de los indicadores elegidos en el diseño del proyecto, como pensamientos, creencias, satisfacción, influencia, relevancia, sensibilidad, motivación, actitudes y entendimiento de la perspectiva de las personas entrevistadas e interesadas del proyecto sobre algún aspecto o actividad que se esté desarrollando. a) Recolección y manejo de datos cualitativos Si bien cada método cualitativo sigue su propio proceso, es posible proponer una guía amplia que pueda ser común a todos ellos y puede desarrollarse en cuatro fases de recolección que, aunque se presenten de forma secuencial, generalmente están superpuestas, ya que una fase puede iniciar sin que la otra haya terminado.

Página 36

Los pasos sugeridos a seguir son: 1) Preparación: incluye la reflexión inicial de las necesidades de información del proyecto, mismas que pueden ser modificadas de acuerdo a observaciones de cambios percibidos durante el ciclo de vida del proyecto, directamente relacionados con el proyecto y que merecen una mayor exploración y documentación durante los procesos de monitoreo y evaluación del proyecto. Conviene elaborar un cronograma de trabajo que incluya las actividades de todo el proceso. 2) Elaboración de las guías de discusión: es conveniente que las guías de discusión sean probadas en un grupo de personas con características similares a las que han sido seleccionadas para participar formalmente en el proceso. Esto se hace para que los participantes que van a proporcionar la información, comprendan el lenguaje y la metodología que se desarrollará en el proceso. En el caso de los diarios, hay que asegurar que las instrucciones sean claras y las personas sean capaces de llenar el diario. Esta guía debe incluir preguntas que respondan a las necesidades informativas identificadas en el primer paso. 3) Trabajo de campo: es la etapa donde se implementa el método cualitativo seleccionado a través de las guías de discusión. Asimismo es una fase en la que los facilitadores conocen y entran en buena relación con el grupo de participantes. En el caso de diarios, el trabajo es un proceso continuo. 4) Análisis: procesamiento y análisis de datos mediante una discusión permanente entre los facilitadores y los actores sociales que han participado en el proceso; incluye la confiabilidad y validación de la información. 5) Informativa: es la presentación de resultados de modo transparente, coherente en la elaboración del informe final. b) Herramientas para los datos cualitativos • Entrevista: la entrevista es muy útil para recolectar información cualitativa, es un diálogo entre dos personas, el entrevistado y el entrevistador. El entrevistador debe ser una persona capacitada y con experiencia en hacer entrevistas, logrando que el entrevistado se sienta cómodo y que mantenga una conversación abierta, sintiéndose motivado para hablar con honestidad. Mientras el entrevistador conduce la entrevista con una guía o listado de preguntas que le interesa conocer. Estas que deben ser grabadas, si se dispone de un grabador y si el entrevistado está de acuerdo en que se grabe la sesión. Es muy importante mantener en mente que una entrevista no debe durar más de una hora o una hora y media. • Grupos focales de discusión: es un método de investigación colectivo más que individual. Es una metodología que se centra en la variedad de actitudes, creencias o experiencias compartidas de los participantes extraídos de la población meta del proyecto, sobre un tema específico, por lo que es llamado focal, ya que focaliza en un sólo tema. Los participantes responden a las preguntas del facilitador capacitado, quien promueve una discusión abierta y franca sobre sus actitudes y opiniones, facilitando la interacción de los participantes para que puedan responder a otros miembros del grupo para generar perspectivas adicionales. En esta metodología, además de los participantes, intervienen dos personas, una que conduce el evento que es el “facilitador” y que interviene como coordinador y mediador y, otra que interviene como “observador”, que registra tomando nota de lo que ve y escucha en Página 37

el grupo; particularmente las emociones fuertes exteriorizadas a través de gestos o palabras, también de los posibles conflictos o consensos puedan ocurrir entre los participantes. Es importante tener en mente que los participantes de los grupos focales deben haber sido seleccionados especialmente para que exista un balance de poder entre los participantes. Por ejemplo, no sería recomendable conducir un grupo focal que cuente con miembros de la comunidad y del gobierno local al mismo tiempo ya que los miembros de la comunidad podrían sentirse cohibidos de expresar opiniones honestas frente a las autoridades locales. De la misma manera, podría llegar a ser importante dividir los grupos por sexo, dada la desigualdad de poder que todavía persiste en muchas sociedades. Todo grupo focal debe registrarse a través de grabaciones, salvo que los participantes no estén de acuerdo con el uso de grabadoras o que no se disponga de alguna. Al no disponer de esta herramienta, el “observador” debe tomar nota con mucha fidelidad de la discusión que se genere. Los grupos focales generalmente tienen un margen de tiempo limitado que no debe exceder una hora y media. Asimismo, el número de participantes en el grupo focal debe ser entre seis y ocho personas. • La guía de discusión: en general la guía de discusión es semi-estructurada, es decir, que aunque hay preguntas predeterminadas también permite que fluya una discusión de acuerdo con las respuestas del entrevistado, lo que permite indagar más a profundidad el sentir del participante. Las preguntas pueden ser reordenadas para lograr un mejor entendimiento y fluidez, no necesariamente tienen un orden establecido que no se pueda alterar. O sea que el entrevistador hace las preguntas y a medida que hace la entrevista puede integrar preguntas de sondeo para mejorar la información recibida o aclararla. Durante la entrevista, el entrevistador puede contestar preguntas y hacer aclaraciones, ajustando el lenguaje al del entrevistador para una mejor comprensión del participante. Asimismo puede omitir preguntas, si el entrevistado ya contestó la pregunta en respuestas anteriores. A continuación algunas preguntas exploratorias para guiar en base a los indicadores seleccionados: Conversaciones positivas entre usted y su pareja en relación al uso del preservativo Describa la última conversación sobre el uso del preservativo que mantuvo con su pareja. ¿Quién inició la conversación? ¿Existió conflicto? ¿Hubo acuerdo? ¿Cómo se sintió al final?

Ejemplo 1

Actitud eficiente del personal de salud que le atendió en su última visita al centro de salud Describa su experiencia con la atención recibida la última vez que usted visitó un centro de salud. Desde el momento que salió de su casa hasta que regresó. Una vez que ha finalizado la entrevista o el grupo focal, se revisa atentamente la grabación del evento y se transcribe, de ser posible, digitalmente con cualquier procesador de palabras. Hay varios métodos participativos que sirven como fuentes de datos cualitativos, por ejemplo, cuando se trata de conocer algún tema relacionado con niños o niñas de corta edad se puede utilizar la técnica del teatro, dibujos, fotografías entre otros.

Ejemplo 2

Estos métodos sirven de plataforma para motivar discusiones a profundidad sobre los temas de interés, temas que pueden ser difíciles de tratar. Mientras los niños están elaborando la obra podemos recolectar información básica sobre sus pensamientos y percepciones, pero son las discusiones las que estimulan la actividad que nos da la riqueza de la información.

Página 38

• Diario del beneficiario: los diarios pueden ser usados para recolectar datos rutinarios de las personas que son beneficiadas directamente por el proyecto y fácilmente pueden ser conservados durante todo el tiempo que sea necesario, ya sean días, semanas, meses o inclusive años. Estos diarios deberían ser actualizados mensualmente para registro y análisis de los datos. Se le podría pedir al beneficiario que registre las discusiones entre los familiares, amigos u otros miembros de la comunidad. Se le podría pedir, también, que registre sus visitas al centro de salud o las experiencias que tienen con las actividades del proyecto. • Bitácora del personal de campo: el diario o bitácora del personal de campo del proyecto puede registrar anotaciones de lo que ve u oye en sus visitas a los beneficiarios. Por lo general, van de acuerdo al orden de las visitas que realizó mientras que el personal de campo debería mantener siempre las notas que levantó en el campo. Es utilizada para el monitoreo de las actividades implementadas del proyecto. Esa información es valiosa para explicar el porqué las cosas están funcionando o no, lo que apoya la toma de decisiones de la gerencia del proyecto. Las bitácoras pueden ser registradas en papel, que pueden incluir dibujos, signos o símbolos y comentarios del acontecer de las actividades; también son elaboradas digitalmente con computadoras, incorporando fotografías digitales u otros materiales visuales de los cuales se dispone. Se detallan algunos ejemplos a continuación de lo que podría incluirse en el diario del personal de campo: 1) Notas sobre la recepción de actividades por parte de los beneficiarios. 2) Notas sobre iniciativas comunitarias. 3) Experiencia con políticos locales. 4) Notas sobre la observación hecha del uso de algún servicio por parte de los beneficiarios. 5) Notas sobre comentarios hechos por parte de los interesados. c) Verificación de la calidad de datos cualitativos Los buenos datos son necesarios no solamente para la precisión del monitoreo y evaluación del progreso del proyecto, sino también para establecer objetivos y metas acordes a la realidad. Los datos que nacen de la implementación de las actividades del proyecto son tan útiles para mejorar como para reportar cuando los datos son válidos, asegurando su calidad para garantizar que las decisiones hechas para el mejoramiento del proyecto sean apropiadas y que los recursos son asignados de una manera costo-eficiente. Es muy importante en la etapa de recolección de datos, el control de calidad de los mismos, asegurando que sean confiables y de calidad para poder monitorear y evaluar la implementación del proyecto. Garantizar la calidad de los datos cualitativos es un proceso necesario para asegurar que la información recolectada describa con exactitud las actividades y resultados del proyecto.

Página 39

Capítulo 8:

Diseño de una Evaluación La evaluación cumple con los siguientes objetivos: • Analiza por qué los resultados esperados fueron o no cumplidos. • Evalúa las contribuciones específicas y causales de las actividades y productos a los resultados. • Examina el proceso de implementación del proyecto. • Puede explorar los resultados positivos o negativos no planificados ocurridos durante la implementación. • Remarca los logros para el potencial del proyecto, provee de lecciones aprendidas y ofrece recomendaciones para mejorar la implementación del proyecto. En general la evaluación puede definirse como una herramienta sistemática que, con base a criterios definidos y a través de diferentes técnicas, mide, analiza y valora diseños, procesos y resultados de un proyecto, con el fin de generar conocimiento útil para la toma de decisiones, la retroalimentación, la mejora de la gestión y el cumplimiento de los resultados². Una evaluación se planifica en la fase de diseño del proyecto. Esta deberá responder a las necesidades de información, posibilidades de recursos humanos y disponibilidad financiera.

Nota

En resumen, la evaluación provee de información confiable para³: • Identificar maneras para mejorar las actividades del proyecto. • Preparar reportes para informar sobre el progreso y el valor del proyecto a los interesados externos. • Planificar futuros proyectos basados en evidencia. • Demostrar la habilidad de las organizaciones para producir resultados y efectuar evaluaciones para la búsqueda de fondos financieros adicionales. • Demostrar la voluntad de la organización de ser transparente. La información recolectada a través de las evaluaciones puede ser utilizada para influenciar las decisiones en aras de invertir más en las actividades o en el financiamiento a futuro del proyecto. Por lo tanto, es muy importante que los resultados de la evaluación sean publicados de manera tal, que sea accesible a una audiencia heterogénea, incluyendo ² Guía de Evaluación de Programas y Proyectos Sociales ³ Guía de Evaluación de Programas y Proyectos Sociales Project Evaluation Guide for Non-Profit Organizations: Fundamental Methods and Steps for Conducting Project Evaluations, Zarinpoush F. 2006

Página 40

donantes y los que desarrollan las políticas sociales y otros interesados en las actividades del proyecto. A los donantes les interesa ver que la organización sea competente, tanto técnica como financieramente, así como capaz y dispuesta a ser transparente.

Número de proyectos

En el siguiente diagrama se representan las expectativas de los proyectos en cuanto a su capacidad de llevar a cabo un monitoreo y evaluación.

Todos Mayoría Algunos

Monitoreo de actividades y productos del proyecto

Evaluación de Proceso

Evaluación de resultados

Evaluación del fin

Niveles de esfuerzo de monitoreo y evaluación Fuente: Global AIDS Program, GAP, Monitoring & Evaluation Capacity Building for Program Improvement. Field Guide. Atlanta: Centers for Disease Control and Prevention, GAP, 2003. Rugg D, Peersman G, Carael M (eds.) Global advances in HIV/AIDS Monitoring and Evaluation. New Directions for Evaluation 103, 2004]

Todos los proyectos, como mínimo, deben ser capaces de realizar el monitoreo de actividades y productos, con el fin de apoyar la gestión y el reporte rutinario del proyecto. La mayoría de los proyectos deben ser capaces de realizar una evaluación del proceso y saber evaluar si las actividades se implementaron como fueron planificadas y si los resultados y los productos esperados se alcanzaron con el presupuesto asignado. Adicionalmente, el proyecto debe poder presentar los vínculos entre cada uno de los niveles del marco lógico. Algunos proyectos tendrán los recursos necesarios para llevar a cabo una evaluación de los resultados. Sin embargo, es importante recordar que las evaluaciones de resultados esperados son costosas y requieren de una formación y experiencia específica, por lo que no es recomendable para proyectos pequeños. Pocos proyectos podrán llevar a cabo una evaluación de impacto, ya que requieren diseños de estudio complejos y habilidades de análisis estadístico de alto nivel y de muchos recursos financieros.

Página 41

El diagrama anterior enfatiza que la gran mayoría de proyectos no tienen los recursos para realizar evaluaciones al alto nivel de impacto y no todos al nivel de resultado tampoco. Es especialmente desafiante en proyectos de incidencia política que enfocan más en cambios de política y no tanto en actividades al nivel comunitario o de servicios. 8.1 Planificando una Evaluación La planificación de una evaluación debe ser prevista desde que se elabora el diseño del proyecto y parte del plan de monitoreo y evaluación, estableciendo los recursos financieros para llevarla a cabo en las diferentes etapas del ciclo de vida del proyecto. El problema y la población meta deberán estar claramente definidos. La población beneficiaria debe estar involucrada y abierta a la intervención. Sólo de esta manera se logran obtener los resultados que se desean alcanzar. Se debe tener algún entendimiento sobre cómo ocurre el cambio social y político y cómo encajará el proyecto dentro de este proceso de cambios. Los proyectos que son de naturaleza distinta utilizan diferentes tipos evaluaciones. No hay un método único de evaluación.

Nota Pocos

Una buena evaluación comienza haciéndose las preguntas correctas. Estas pueden ser categorizadas en los grupos siguientes: El Propósito de Gestión • ¿Se llevan a cabo las actividades como fueron planeadas? • ¿Las actividades se desarrollan correctamente? • ¿Se están obteniendo los productos esperados a través de las actividades? • ¿Se han obtenido productos inesperados? • ¿Qué modificaciones serán necesarias para que las actividades planificadas den un mejor resultado? • ¿Es efectivo el proyecto en implementar las actividades planificadas y logrando las metas con el presupuesto asignado? • ¿Está siendo el proyecto implementado de acuerdo a los estándares de calidad establecidos en la fase de diseño o a estándares globales? • ¿Está el proyecto llegando a las personas que pretende alcanzar? • ¿Se sacrificaron ciertas actividades por errores en el cálculo del presupuesto? • ¿Se alcanzó a la población beneficiaria que se pretendía? • ¿Se está llegando al número esperado de beneficiarios? • ¿Qué tan satisfechos están los participantes con su contribución al proyecto? Página 42

El propósito de Aprendizaje • ¿Hay mejores formas de hacer las actividades? • ¿Hay alternativas potenciales de las actividades actuales del proyecto que puedan ser más eficaces y eficientes que las que fueron implementadas? • ¿Ha alcanzado el proyecto los resultados esperados como fueron definidos en el diseño del proyecto? • ¿Cuáles fueron las razones más importantes para el éxito o fracaso del proyecto? • ¿El proyecto es tan bueno o mejor que otros implementados en el mismo contexto? • ¿Hay cambios al diseño del proyecto o a su implementación que podría llevar a conseguir mejores resultados? • ¿Qué aspectos son esenciales para lograr los mismos o mejores resultados si el proyecto llegase a ser implementado de nuevo o expandido? • ¿Qué se logró con los recursos financieros invertidos? • ¿Se alcanzaron los resultados planificados con la inversión financiera hecha?

Nota

Las lecciones aprendidas son documentos que contienen resultados positivos o negativos de la implementación de proyectos y sus actividades que pueden ser utilizadas para el diseño de futuros proyectos más efectivos.

Ahora que se han considerado las preguntas que deben hacerse para planificar una evaluación, se puede comenzar a desarrollar el plan de la evaluación. La estructura básica de un plan de evaluación contiene los siguientes aspectos: 1. El propósito de la evaluación 2. Una descripción de los interesados 3. Una revisión detallada de los resultados esperados 4. Métodos de evaluación 5. Un plan de análisis 6. Un plan de divulgación de información 7. Anexos a. Herramientas b. Análisis del presupuesto A continuación se discute en detalle cada uno de los componentes del plan de evaluación. 1. Una descripción del propósito de la evaluación garantiza que el diseño de la evaluación sea apropiado para las necesidades de información del proyecto. (Es importante referirse a los resultados o productos que van a ser evaluados haciendo referencia al Marco Lógico). El propósito de la evaluación debe definir claramente la Página 43

intención del por qué una evaluación y las actividades que se tienen que llevar a cabo. Es conveniente que contenga los siguientes 3 objetivos: a) Comprender la situación del proyecto a totalidad para tomar decisiones de ajuste, si se requieren; b) Determinar si se están, van a lograr o han logrado los resultados esperados; y c) Si las actividades que se están llevando a cabo son realmente las oportunas para conseguir el éxito del proyecto o de futuros proyectos. Por otro lado una buena declaración del propósito de la evaluación puede determinar el tipo de evaluación que se quiere llevar a cabo. Ejemplos de propósitos de evaluación a diferentes niveles del Marco Lógico: Evaluación del Proceso • Evaluar si los recursos financieros han sido suficientes para desarrollar todas las actividades propuestas para lograr el producto deseado. • Evaluar si hay interesados que han cambiado su idea a favor del proyecto. Evaluación de Resultados • Evaluar los gastos de una cuota de recuperación recolectada de los pacientes. ¿Los fondos se han gastado en beneficio de los pacientes? • Evaluar el grado de cambio en embarazo de adolescentes. 2. Los interesados reflejados en el proceso de M&E pueden ser o no los mismos que los identificados en la fase de diseño del proyecto (Marco Lógico). Sin embargo, en un plan de evaluación se identifican las necesidades de información, el nivel y los momentos en que se pueden involucrar al proceso de evaluación. 3. Una revisión objetiva y detallada de los resultados esperados es necesaria para ver cuales resultados a corto y largo plazo cuentan con los recursos necesarios para medirlos y cuáles no. Si no hay recursos hay que pensar en cambiar los resultados esperados a unos que si pueden medir. 4. Una descripción detallada del método o métodos que se aplicarán para la evaluación es necesaria para asegurar que se está recolectando la información a fin de responder a las preguntas de la evaluación. 5. Un plan de análisis es imperativo para asegurar que se recolectan los datos necesarios para responder a las preguntas. Si no se pueden describir los resultados del análisis y los métodos necesarios para producirlos hay que revisar los resultados del proyecto a fin de asegurar que el proyecto pueda responder a sus compromisos. 6. Es muy importante compartir los resultados del proyecto con los demás involucrados incluyendo donantes, beneficiarios, políticos y otros implementadores al nivel global en un plan de divulgación de información. El proyecto no solo tiene que mostrar éxito y razones por hallazgos a los donantes sino también ser responsable en informar a los beneficiarios para que ellos entiendan cómo funcionó el proyecto y cómo aplicaron los recursos. Al fin, es la responsabilidad del proyecto compartir los resultados tanto positivos como negativos con otros implementadores al nivel global para que las lecciones aprendidas puedan ser utilizadas para la elaboración de nuevos proyectos que pueden aplicar las estrategias exitosas y evitar hallazgos que ya están documentados.

Página 44

8.2 Tipos de Evaluación Para los propósitos de este documento, existen tres momentos claves en el ciclo de evaluación de un proyecto. La gráfica que se muestra a continuación representa los momentos en que se aplica la evaluación: Evaluación previa

Evaluación final

Inicia el proyecto (línea base)

Cierre del proyecto (Línea final)

Evaluación intermedia El gráfico muestra un abordaje continuo a lo largo de la línea de tiempo.

Las evaluaciones de acuerdo al ciclo de vida del proyecto pueden clasificarse así: 1. Línea de base: La finalidad esencial de esta evaluación es dar información significativa que pueda servir como una radiografía de lo que está ocurriendo en la comunidad alrededor del problema que se quiere resolver antes de la implementación. También sirve para hacer ajustes o modificaciones al diseño del proyecto si es necesario. Es importante recordar que es de utilidad como línea de base para medir resultados alcanzados al final del proyecto. 2. Evaluación de medio término o intermedia: Tiene como finalidad recabar información, reflexiones y conclusiones con juicio crítico del proceso de implementación y desempeño del proyecto. Generalmente evalúa el marco lógico en los niveles de producto, actividades e insumos. No hay inconveniente en que la evaluación intermedia sea 100% cualitativa por naturaleza. Sin embargo, es recomendable que exista un equilibrio entre lo cualitativo y lo cuantitativo ya que provee riqueza de información para tomar decisiones sobre cambios necesarios a la implementación del proyecto. 3. Evaluación final, llamada también estudio de Línea Final: Este estudio debe utilizar la misma metodología que el estudio de línea de base (y de la evaluación intermedia si esta mide a nivel de resultados) para poder comparar los datos que se obtuvieron en el estudio de línea de base al pasar el tiempo y por lo tanto, proveer evidencia valida del éxito o fracaso del proyecto. Evalúa qué tanto se ha logrado con los resultados esperados y si el proyecto ha tenido otros efectos secundarios. Adicionalmente, se deben haber recolectado suficientes datos de monitoreo a lo largo del ciclo de vida del proyecto para que sean de utilidad a fin de examinar todos aquellos aspectos que contribuyen al éxito o que pueden llegar a explicar el por qué no se han alcanzado ciertas metas. Algunos ejemplos de las preguntas relacionadas con el estudio de línea final: ¿En qué medida el proyecto ha contribuido al desarrollo de las personas beneficiarias? ¿En qué medida y aspectos significativos han visto mejorada su situación los beneficiarios del proyecto? ¿Logró Página 45

el proyecto las metas establecidas para sus actividades, productos y resultados esperados? ¿Se alcanzaron los cambios esperados? ¿Hay resultados no planificados que se puedan detectar? ¿Es el proyecto sostenible, aún sin el apoyo del donante? 8.2.1. ¿Qué tipo de evaluación es apropiada para mi proyecto? Es importante reiterar que cada proyecto tiene sus propias necesidades de información y capacidades para implementar una evaluación. La mayoría de proyectos no tienen la capacidad humana y/o financiera para realizar una evaluación del nivel de impacto ni encuestas poblacionales. Puede ser intimidante pensar en cómo evaluar el nivel de resultados teniendo indicadores como el siguiente: “Porcentaje de jóvenes adolecentes que sienten que tienen la capacidad de dialogar con tomadores de decisiones políticas y sobre la educación sexual reproductiva”.

Todos los tipos de evaluaciones deben ser participativas a fin de que que incluyan a los beneficiarios, evaluadores internos, externos, etc.

Nota

Este indicador implica que hay que entrevistar a todos los jóvenes adolescentes, pero todos los adolescentes ¿dónde? Lo ideal sería la selección de una población “control“, en otras palabras, un grupo poblacional similar en muchos aspectos a la población que el proyecto va a alcanzar. Por ejemplo, un grupo control va a ser un grupo de jóvenes adolecentes similares en nivel educativo, situación económica, edad, sexo (o la proporción de hombre-mujer), normas sociales, etc. Después de identificar el grupo control, se debe implementar una línea de base, o sea recolectar datos por una encuesta cuantitativa e idealmente un componente cualitativo en toda la población de jóvenes adolecentes en el área geográfica alcanzada por el proyecto y también para el grupo control. La recolección de datos en las dos poblaciones proporciona la oportunidad de hacer comparaciones entre la población joven adolescente en el área geográfica del proyecto y la población joven adolescente en el área del grupo control, también entre los alcanzados por el proyecto y no alcanzados en la misma zona del proyecto. Sin embargo, ¿Qué pueden hacer los proyectos de “pequeña escala” con pocos recursos para implementar evaluaciones de ”gran escala“? Una alternativa sería seleccionar indicadores a nivel de resultado muy cuidadosamente. Por ejemplo, en lugar de seleccionar un indicador como se menciona anteriormente, puede ser más apropiado un indicador como el siguiente: “Porcentaje de jóvenes adolecentes alcanzados por el proyecto que sienten que tienen la capacidad de dialogar con tomadores de decisiones políticas y sobre educación sexual reproductiva”. Las evaluaciones de proyectos a ”pequeña escala“ deben ser sencillas pero suficientes para responder a la necesidad de informacion según el alcance del proyecto.

Nota

Página 46

A fin de cambiar un indicador que refleje la realidad del proyecto, es más fácil pensar en qué tipo/diseño de evaluación se puede implementar. En el contexto de proyectos pequeños se pueden recolectar datos entre la población en el área geográfica en que trabaja el proyecto. En este caso, las personas no alcanzadas servirían como el grupo control, pudiendo hacer comparaciones entre los alcanzados y no alcanzados por el proyecto. En este caso hay que recordar que es posible que personas no alcanzadas hayan recibido mensajes claves del proyecto como las expuestas al mismo. Por ejemplo, un joven habla con sus amigos sobre las actividades del proyecto y entonces contribuye a cambios entre los mismos en sus percepciones del empoderamiento frente a figuras de autoridad. En este caso es imperativo recolectar datos sobre la fuente de exposición de los entrevistados al mensaje del proyecto. También se pueden recopilar datos entre las personas alcanzadas por el proyecto solamente. En otras palabras, la muestra surge de las personas que han participado en capacitaciones y/o actividades del proyecto, en lugar de hacer una encuesta entre todos los jóvenes en nuestra área geográfica. Es importante que los gestores de proyectos pequeños entiendan que es posible realizar una evaluación en forma sencilla, que responda a los requisitos para información y también a los donantes. Lo importante es poder explicar por qué un diseño es justificable y cuáles son las debilidades en los resultados esperados de la evaluación. 8.2.2. Evaluación de Proyectos de Incidencia Política Los proyectos de incidencia política muchas veces evalúan cambios al nivel de la población meta, como ser el cambio en la tasa de embarazos no planificados, acceso a educación salud sexual y reproductiva, el uso correcto de fondos públicos para responder a las necesidades de personas en centros de atención integral, entre otros. También tienen el reto adicional de tener que presentar resultados sobre él, los cambios políticos que pueden ser de muy largo plazo. Por ejemplo, para “cambiar acceso a educación sexual y salud reproductiva para jóvenes adolecentes” el proyecto tiene que trabajar con varios involucrados, pudiendo ser algunos la comunidad religiosa, el gobierno local, padres de jóvenes, el sistema educacional local, maestros, etc. La naturaleza de proyectos de incidencia política de ONG’s por necesidad, muchas de las evaluaciones pueden enfocarse en evaluaciones de proceso. Aunque deben medir cambios en la población meta, si el proyecto tiene actividades directamente con la población en el proyecto bajo de evaluación no es necesario ni admisible seleccionar indicadores de resultados al nivel poblacional si un proyecto de corto plazo y recursos limitados no tiene actividades dentro de la población. Entonces, es importante que los proyectos de incidencia política monitoreen sus procesos detalladamente porque pueden ser la fundación de una evaluación del proyecto. Por ejemplo, si el proyecto pretende incrementar o mejorar el gasto de fondos públicos para personas viviendo con VIH, descripciones de las reuniones de comités de ética, grupos de trabajo, oficiales en el sistema de salud, entre otros serán de mucha importancia para dar luz a la importancia de los productos de dichas reuniones. De igual manera, si el proyecto trabaja con el monitoreo de medios masivos será necesario para medir la calidad de cobertura del tema en que trabaja el proyecto según la contribución que haga a los resultados poblacionales o políticos.

Página 47

Con el enfoque global de la necesidad de reportar resultados para proyectos que pretenden mejorar la calidad de servicios, el acceso a los mismos o el comportamiento de la población general directamente, simplemente se miden los resultados con los cambios identificados usando instrumentos cuantitativos y cualitativos estándares como encuestas, listas de verificación, etc. Para proyectos de incidencia política hay otros instrumentos que sirven para documentar de manera sencilla y estandarizada la información necesaria para reportar contra resultados.

Ejemplo A continuación se puede observar la evaluacion de un proyecto de pequeña escala sobre incidencia politica para mejorar la salud de mujeres viviendo con VIH quienes reciben servicios de un centro de atencion integral.

Marco Lógico Resumen Narrativo de los resultados

Indicadores verificables objetivamente

Medios de verificación

Supuestos

Fin Para 2015 reducción de 50% en la mortalidad de de mujeres positivas

Resultados Esperados Para 2015, 200 mujeres positivas han sido parte de un auditoría social de la cuota de recuperación

Tasa de mortalidad de mujeres viviendo con VIH

% de mujeres positivas en el área del proyecto que conocen que hay regulaciones sobre la aplicación de la cuota de recuperación.

Estadísticas Nacionales

Las mujeres positivas aprovechan de servicios de atención integral

Encuestas, documentación del proyecto

No ocurre una crisis política, no hay gran cambios en la estructura del sistema de salud epidemias importantes.

Documentación de talleres

Las mujeres positivas aplican lo aprendido sobre auditoria social

# de grupos de auto apoyo que han conducido por lo menos un acto de auditoría social.

Productos Para junio de 2013, 100 mujeres positivas reciben capacitación en auditoría social

# de mujeres positivas que reciben capacitación

Actividades Capacitaciones en derechos humanos Capacitaciones en derechos humanos

# de capacitaciones en derechos humanos

Capacitaciones en auditoria social

# de capacitaciones en auditoría social

Tutoría de capacitadas

# de visitas a grupos de auto apoyo

Registros de talleres Registros de trabajo de personal

Las mujeres positivas asisten a los cursos de capacitación en auditoria social, etc.

Ver Anexo1: Instrumentos para Evaluación

Página 48

Por ejemplo, el resultado final de un proyecto es la disminución de la pérdida durante el seguimiento de la información acerca de las mujeres positivas en los centros de atención integral. (Es importante recordar que se seleccionaron indicadores que son alcanzables para un proyecto a corto plazo y con pocos recursos. Seleccionar un indicador como “la tasa de mortalidad entre mujeres positivas” va más allá de la capacidad del proyecto porque incluye variables de disponibilidad de medicamentos, calidad de viviendas, acceso al agua potable, etc. Además, es de tener presente que ese proyecto presenta dos poblaciones meta: las mujeres positivas y los oficiales del sistema de salud.) En este sentido no se debe solamente trabajar con las mujeres para que puedan exigir sus derechos, sino que también hay que trabajar con los oficiales del sistema de salud porque es entre este grupo que los cambios institucionales tienen que ocurrir. Por ejemplo, la directora del hospital donde está ubicado el centro tiene que pensar que el asunto es de suficiente importancia para merecer su tiempo y esfuerzo. Esta persona puede presionar a los médicos del centro para que se utilicen los fondos de manera apropiada. También puede aplicar presión a los contadores o cualquier persona que maneja los fondos a fin de que lo haga con transparencia. Entonces, se observa que hay varias personas en varios niveles de poder a quienes se debe abordar o movilizar con el fin de producir cambios. Producto y Proceso En este caso indicadores del producto y de actividades no solo pueden ser dirigidos a la población de mujeres positivas, e.j., “número de mujeres alcanzadas con mensajes sobre sus derechos a los fondos públicos” pero también deben incluir indicadores que aplican a la otra población meta de oficiales del sistema de salud y que indican y miden las actividades que contribuyen a los cambios de interés y aplicación de políticas. En muchos casos estos cambios en indicadores de proceso se verán como resultado en reuniones, grupos de trabajo, etc. Solo hay que describir claramente cuáles son los tipos de cambios observados que lleguen a estar vinculados a los resultados esperados, cuales son resultados de una reunión de un comité de ética que tiene como miembros el director general de servicios del hospital, una representante de las mujeres positivas, el director de finanzas, un doctor del centro de atención integral en el hospital, un docente de salud pública de la universidad entre otros. Si se pretende llegar a un punto en que comparten el registro de gastos de fondos en la clínica puede ser que tarde 3 reuniones para que lo pase. ¿Qué podemos documentar en las reuniones que nos indica los cambios queridos? Producto ¿Cuántas veces ha surgido el tema? Producto ¿Cuántos miembros del comité han dicho públicamente que es necesario manejar el presupuesto del centro en una manera transparente? Por supuesto, para que cualquiera de estas cosas puedan llegar a pasar, hay varias reuniones entre miembros individuales que también tienen que movilizar el interés de los miembros. Actividades • Número de reuniones del comité • Número de reuniones con los miembros del comité

Página 49

En la población de mujeres positivas, puede ser que las actividades incluyan capacitación en auditoría social para que al fin puedan recolectar información sobre la aplicación de fondos para las personas que se tienen que transportar a la clínica, que puedan almorzar y comprar cualquier medicamento necesario. También, si las mujeres saben recolectar la información y saben cómo presentarla en las audiencias apropiadas para abogar para la aplicación correcta de los fondos. En este contexto los indicadores son más estándares, por ejemplo: Producto: número de mujeres participando en una auditoría social Actividades: número de capacitaciones en auditoría social para mujeres positivas 8.3 Implementación de la Evaluación Es importante que la evaluación de un proyecto sea una actividad lo más participativa posible. Un proceso de evaluación participativa permitirá que los interesados tengan un mejor entendimiento sobre la utilidad de la información recolectada a través del proceso evaluativo. Debe tomarse en cuenta que miembros de la misma comunidad meta deben ser incluidos en la lista de participantes involucrados en la evaluación asegurando que no hayan conflictos de interés como discutido en capítulo sobre ética. Una evaluación efectiva requiere de: • Identificar las diversas perspectivas e intereses que deben ser presentadas a través del análisis de los involucrados. • Seleccionar un grupo que represente a los involucrados y que esté dispuesto a participar substancialmente en el proceso de evaluación para clarificar por qué se necesita de la evaluación, cómo creen que deba llevarse a cabo, cómo aplicarán los resultados de la misma y qué tipos de informes deberán ser proporcionados. Uno de los pasos más importantes para conducir una evaluación es la identificación del grupo evaluador. Este grupo puede estar compuesto por miembros del personal técnico y gerentes e interesados externos del proyecto. Es fuertemente recomendado que miembros interesados y objetivos (sin conflicto de interés) externos sean incluidos dentro del grupo evaluador para promover la objetividad de la evaluación. Idealmente, la evaluación debería ser desarrollada por un grupo externo ajeno al proyecto y con experiencia evaluando proyectos sociales. Como la mayoría de los proyectos no cuentan con los recursos financieros para contratar una evaluación externa al 100%, que asegure la objetividad de los resultados evaluativos, puede, sin embargo, mantener en el grupo evaluador, unos cuantos interesados externos, lo que ayudará a conservar los resultados objetivos de la evaluación, dada la perspectiva externa. El grupo evaluador debe reunirse al comienzo de cada fase en el proceso de evaluación para revisar los objetivos y metas del proyecto, asegurando de esta manera que el plan de la evaluacion y los instrumentos utilizados sean todavía apropiados para medir el progreso y los resultados. Asimismo para ir informando de los avances del proceso evaluativo y las responsabilidades específicas para la implementacion de la evaluación deben ser identificadas en este momento y distribuidas entre los miembros del grupo evaluador. Por ejemplo, algunos

Página 50

miembros del grupo podrán recolectar los datos cuantitativos mientras que otros pueden recoger y ordenar datos para grupos focales o entrevistas de informantes claves, y otros desempeñarse como supervisores. 8.4 Interpretando y Comunicando los Datos de la Evaluación Los datos no hablan por sí mismos. Se requiere un análisis e interpretación cuidadosa de los datos de la evaluación para comunicar efectivamente los resultados al personal técnico e interesados, lo que también incluye a los beneficiarios y donantes externos del proyecto. Los detalles del análisis van más allá de la visión de este currículo, sin embargo se puede observar que el análisis de los datos al momento de la evaluación tiene que ser fácilmente difundido ya que la descripción del análisis debe estar incluida en plan de evaluación comprendido en la fase de diseño del proyecto. 8.4.1 Interpretando los Datos de la Evaluación De hecho, al final de una actividad evaluativa se tiene una cantidad de datos cuantitativos y cualitativos que necesitan interpretarse. La interpretación es un proceso que une los hechos identificados en la evaluación. La mejor forma para interpretar los resultados de la evaluación es triangulando las diferentes fuentes de información obtenidas y que han sido recolectadas durante el proceso. Lo que incluye los datos de monitoreo y otro tipo de información sobre la implementación del proyecto. ¿Qué significa triangulación de información? Significa comparar o verificar los datos recolectados utilizando varios tipos de técnicas como métodos cuantitativos y métodos cualitativos, para tener una visión más amplia de la realidad que se desea conocer. Al triangular la información se asegura que los datos tengan mayor riqueza y confiabilidad. Además de triangular los datos, es importante triangular las fuentes de información, haciendo un análisis crítico del dato y su informante. Es preciso ser minucioso al examinar los hallazgos, tanto positivos como negativos, así como los hallazgos inesperados. A continuación se detallan algunos pasos indicativos para un proceso de evaluación. • Analizar cada resultado del proyecto contra los datos cuantitativos y cualitativos, según corresponda. • Si los resultados son positivos y confirman los logros, explicar cómo los datos apoyan esos resultados. • Si los resultados son negativos, describir cómo los datos explican esos resultados. Ofrecer posibles explicaciones y sugerencias para aquellos aspectos que pudieron haber sido hechos de diferente forma para lograr mejores resultados. • ¿Hay resultados que no fueron planificados que surgen en el proceso evaluativo y están basados en los datos que se han logrado recolectar? • Discutir los resultados con el grupo de evaluadores para asegurar el buen entendimiento de los hallazgos encontrados.

Página 51

8.4.2. Comunicando los Resultados de la Evaluación Es particularmente importante que las organizaciones de la sociedad civil compartan sus resultados con todos los interesados, porque ellos pueden comprender y apreciar el fruto de su trabajo, crecer profesionalmente a través de la exposición de las lecciones aprendidas entendiendo el éxito y el valor del proyecto, cuáles actividades pueden ser aplicadas en su propia situación, cuáles funcionan y cuáles no. Y en el caso de los donantes comprender si el proyecto amerita nuevos o adicionales recursos para que continúe. Por lo tanto, sin la etapa de comunicación de los resultados del proyecto, los esfuerzos realizados y los costos financieros no serían apreciados. 8.5 Escribiendo el Reporte Un reporte escrito es una manera de comunicar los resultados de un proyecto a diferentes audiencias. El reporte de evaluación debería incluir un análisis crítico de aquellos aspectos del proyecto y de la evaluación misma que son relevantes para el público al cual va dirigido. Asimismo, debería incluir los requerimientos de información generada por la evaluación del proyecto es utilizada en otros contextos y quizás, algunas sugerencias de cómo pueden ser usados a través de las conclusiones y recomendaciones. A continuación se presentan algunas sugerencias importantes para escribir un reporte de evaluación: • Identificar las audiencias a las que se pretende que lean el reporte, desde las audiencias principales hasta las secundarias. • Preguntarse si la presentación del reporte de evaluación servirá para todas las audiencias identificadas, ya que por lo general no se utiliza la misma presentación para todas las audiencias, la presentación a los donantes difiere de la presentación a beneficiarios del proyecto. • La elaboración de todas las presentaciones debe ser con un lenguaje claro, directo, conciso y sencillo, especialmente para la audiencia secundaria. • Basado en las necesidades de información de la audiencia primaria para la cual es escrito el reporte, identificar las preguntas evaluadoras más importantes que necesitan ser respondidas. • Organizar el reporte de tal manera que los hallazgos claves sean los primeros en exponerse, ligándolos con los productos y actividades del proyecto. Incluir otros detalles importantes que pueden ser ligados a lo descrito. • Detallar información relacionada con el presupuesto y la planificación del proyecto. • Asegurarse de describir el plan de evaluación como el presupuesto utilizado para implementarlo. Es factible que otras personas u otros proyectos utilicen la información para sus propias evaluaciones para que los donantes puedan reconocer que su proyecto es capaz de manejar otro proyecto desde su diseño hasta la evaluación. • Emplear cuadros y gráficos tanto como sea posible para mostrar datos importantes de

Página 52

una forma visual y más fácil de comprender para las diferentes audiencias. Asegurarse que el cuadro o gráfico esté ubicado cerca del texto que lo describe o analiza. No se recomienda presentar datos en cuadros o gráficos que no se a explican en el texto. • Preparar un resumen ejecutivo si el reporte es de diez páginas o más. Un reporte escrito incluye las siguientes secciones aunque el contenido que se presenta aquí y en el formato, puede ser adaptado a las necesidades de información de las audiencias: • Resumen Ejecutivo: descripción breve y concisa del proceso de la evaluación y de los resultados alcanzados por el proyecto. Un resumen ejecutivo no debe ser escrito en más de dos páginas. • Introducción: debe incluir antecedentes y justificación del proyecto, además una sinopsis del diseño y del propósito de la evaluación, siendo conveniente referirse a la utilidad de la evaluación y consecuentemente a la utilidad de los resultados del proyecto para la organización así como también para otras organizaciones en términos de toma de decisiones y para el diseño implementación de otros proyectos similares. • Metodología de la evaluación: esta sección debe incluir el plan de la evaluación y las herramientas o instrumentos utilizados en la recolección de datos, sean cualitativos o cuantitativos. La matriz del plan de la evaluación y el formato utilizado para las herramientas deben ser incorporados como material de apoyo. • Resultados: los resultados deben incluir una descripción de lo alcanzado, en lo que no se logró usando los datos cuantitativos y cualitativos que apoyaron el análisis. • Interpretación de los resultados: esta sección debe incluir un análisis detallado de cómo afectaron los productos, resultados y actividades en los beneficiarios y otros interesados incluyendo los interesados internos. Debería, también incluir una exposición de las fortalezas, debilidades, lecciones aprendidas y sostenibilidad del proyecto en base a los hallazgos de la evaluación. • Conclusiones: Es recomendable hacer sobresalir el valor del proyecto en términos de los logros esperados alcanzados, siendo prudente explicar cómo la evaluación ha contribuido a las habilidades del proyecto proporcionando datos de gran importancia para los interesados y como fuente de conocimiento para la implementación de alguno similar al suyo. • Recomendaciones: resumir los logros claves alcanzados y los retos del proyecto y hacer recomendaciones sobre cómo el proyecto puede ser continuado y llevado a escala. Hacer recomendaciones en cómo las actividades del proyecto y los resultados obtenidos pueden ser sostenibles e imperativas. 8.6 Presentado los Resultados de la Evaluación en Persona En algunos casos es necesario o simplemente una buena idea la de presentar los resultados de la evaluación con una presentación personal, frente a frente con los interesados y donantes, lo que permite que ellos puedan hacer preguntas y proveer comentarios adicionales e importantes. Una presentación a la población meta o beneficiaria puede producir algunas interpretaciones diferentes de los datos y de la información generada que pueden apoyar futuras programaciones, particularmente a las relacionadas con la sostenibilidad Página 53

Cuando se prepara la presentación se puede hacer lo siguiente: • Anticipar las necesidades de información y preguntas de la audiencia para responder eficazmente al momento en el que surjan, utilizando un lenguaje apropiado. • Un resumen breve del diseño del proyecto, la metodología de evaluación y sus resultados deben ser presentados en forma concreta. • Nunca use un tamaño de letra de menos de 16 puntos en la presentación proyectada. • Escribir poco texto en cada diapositiva. Un punto en cada diapositiva debería expresar información suficiente para enviar el mensaje de una manera concisa, sin embargo, la mayor parte de la presentación debe ser solamente una guía que será llenada con mayor detalle en forma hablada por el expositor. Proporcionar a la audiencia una copia en físico de la información clave como los cuadros con datos importantes pero que resultan muy pesados para incluir en la presentación. • Dar el tiempo suficiente a la audiencia para que formule y haga preguntas al final de la presentación. • Una presentación exitosa casi siempre inspira preguntas y discusión. • Si las preguntas nos son respondidas al momento que la audiencia las hace, se sugiere tomar nota y contestar varias preguntas al mismo tiempo. 8.7 Usando los medios de comunicación para difundir resultados El contenido para la difusión en multimedia, al dirigirse al público en general, no debe contener información demasiado técnica, con siglas o abreviaturas utilizadas comúnmente en el lenguaje diario del proyecto. Debe estar elaborado en un lenguaje sencillo, claro y concreto para que sea fácilmente comprendido. Se deben seleccionar los resultados que expresen de mejor forma el valor del proyecto al público. En otras palabras, de qué manera el proyecto benefició a la comunidad. Es necesario asegurarse que los resultados presentados estén relacionados con eventos actuales u otros temas cruciales relacionados al proyecto y que sean interés del público. Es importante y mucho mejor preparar un paquete de información impresa de los resultados del proyecto para los medios de comunicación para que la puedan difundir. Puede hacerse llegar a todos los miembros o instituciones de los medios de comunicación y es particularmente útil para conferencia de prensa o para las entrevistas. Por otro lado un paquete de información impresa es también muy útil para el personal del proyecto porque contiene los resultados claves y logros que pueden ser utilizados fácilmente como material de referencia durante entrevistas o presentaciones al público en general. Elaborar una hoja de datos que contenga los resultados más importantes y otra información crucial sobre el proyecto puede ser de utilidad. Esta no debe extenderse más de una página, por lo que es importante resaltar la información más estratégica para que los medios de comunicación divulguen y que el público en general pueda recordar.

Página 54

Glosario

Actividades: dan cuenta de “cómo” se realizan las acciones, tales como organizar reuniones y realizar talleres. Análisis de Involucrados: un instrumento que permite identificar a aquellos grupos y organizaciones interesadas en el éxito de una política o proyecto, a quienes contribuyen o son afectados por sus objetivos, y a quienes tienen un poder de influencia sobre las decisiones a enfrentar. Árbol de Objetivos: técnica que se emplea para transformar una situación negativa (problema central), la cual se intenta solucionar mediante la intervención del proyecto utilizando una relación de tipo causas y efectos en una situación positiva de tipo “medios y fines”. Árbol de Problemas: técnica participativa que ayuda a desarrollar ideas creativas para identificar el problema, las causas, efectos y su relación para entender la problemática a resolver. Ciclo Kolb: un modelo estándar utilizado para describir el proceso de enseñanza. Derechos Humanos: garantías inherentes a todos los seres humanos, sin distinción alguna de nacionalidad, lugar de residencia, sexo, origen nacional o étnico, color, religión, lengua, o cualquier otra condición. Ética: reflexión sobre la moral que se refiere a las normas y costumbres de una sociedad. Evaluación: apreciación lo más sistemática y objetiva posible, de un proyecto en curso o ya realizado sobre su planificación, ejecución o resultados. Es una herramienta sistemática que, con base a criterios definidos y a través de diferentes técnicas, mide, analiza y valora diseños, procesos y resultados de un proyecto, con el fin de generar conocimiento útil para la toma de decisiones, la retroalimentación, la mejora de la gestión y el cumplimiento de los resultados. Fin: es el resultado final y el nivel más alto de un cambio que un proyecto puede alcanzar a largo plazo. Incidencia Política: proceso que consiste en una serie de acciones políticas, realizadas por la ciudadanía organizada que tiene como objetivo enfocar la atención de una comunidad hacia una problemática específica y orientar a tomadores de decisión hacia una solución. Indicador: descripción operativa (cantidad, calidad, grupo meta, tiempo y ubicación) de los resultados de un proyecto. Insumo: se entiende como el recurso humano, aspectos legales, aspectos financieros y capacitación del recurso humano. Marco Lógico: método de planificación que se utiliza esencialmente, en los proyectos de cooperación para el desarrollo. Medios de Verificación: fuentes de donde provienen los datos de los indicadores y que pueden ser fácilmente verificables, o sea a través de las

Página 55

cuales se pueden constatar, conocer y verificar el cumplimiento de las metas y de los resultados de un proyecto. Monitoreo: un proceso continuo y sistemático para obtener y analizar información sobre el avance hacia la consecución de las metas y los resultados previstos. Planificación: es el proceso que organiza, dirige, coordina, controla y evalúa las gestiones de una organización, programa o proyecto en la consecución de su misión u objetivos planteados. Mediante este proceso se analizan y seleccionan las necesidades a ser atendidas y la forma de atender las mismas. Producto: es el resultado directo que se obtiene de las actividades del proyecto, puede comprender personas capacitadas, documentos, materiales, etc. Proyecto: es el conjunto de actividades que se encuentran interrelacionadas y coordinadas. La razón de un proyecto es alcanzar objetivos específicos dentro de los límites que imponen un presupuesto, calidades establecidas previamente y un lapso de tiempo previamente definido. Supuestos: son factores externos que escapan al control de las organizaciones y que en principio pueden repercutir en la ejecución de sus proyectos.

Página 56

Anexos

Anexo 1: Instrumentos para la Evaluación Midiendo Áreas de Resultados Clave Medir cambios entre aéreas amplias de resultados es una forma en que los fundamentos pueden comunicar o expresar el progreso hacia resultados críticos en el cambio continuo de la abogacía e incidencia política. Áreas comunes de resultados también pueden ser útiles para que los financiadores agreguen resultados a través de diferentes organizaciones y ayuden a organizaciones de incidencia política a sentirse seguras de que se dirigen hacia objetivos a largo plazo. Esta sección identifica y provee ejemplos específicos (presentados en cuadros a seguir) de opciones para recolectar datos para cada una de las áreas de resultados: 1. Cambios en las normas sociales 2. Fortalecimiento de la capacidad organizacional 3. Fortalecimiento de alianzas 4. Fortalecimiento de la base de apoyo 5. Políticas mejoradas 6. Cambios a nivel poblacional Área de resultado 1: cambios en las normas sociales Los cambios incluyen conocimientos, actitudes, valores y comportamientos que componen la estructura normativa de la cultura y de la sociedad. La incidencia política y el trabajo con políticas han incrementado su foco en estas áreas de cambio en reconocimiento a la importancia de alinear la incidencia política y objetivos de política con valores y comportamientos nucleares de la sociedad. Cambios en las normas sociales constituyen diferentes tipos de cambio como ser: • Cambios en la atención • Mayor acuerdo sobre el establecimiento de un problema • Cambios en creencias, actitudes, valores • Cambios en el abordaje o importancia de un problema En vista que los cambios en las normas requieren la forma en la que se sienten las personas y pensar sobre cuestiones particulares, métodos de recolección de datos típicamente incluyen encuestas, grupos focales o entrevistas con preguntas. La unidad de análisis para ésta área de resultado incluye a individuos sea en grupos grandes o específicos o grupos poblacionales. Al evaluar ésta área, es importante identificar quién ha sido registrado como ente de cambio. Esto podría oscilar desde la población general en una ciudad o región geográfica hasta un grupo poblacional, como ser personas viviendo con VIH hasta un grupo pequeño de legisladores. 1. Protocolo de Entrevista: Cambios de sensibilidad/conciencia y priorización Una institución pública que trabaja en la evaluación, investigación y consultoría relacionada a la salud en Honduras evaluó el impacto de un

Página 57

resumen de política publicado por la Secretaría de Salud que mostraba información sobre la tasa de nuevas infecciones de transmisión sexual basada en municipios de la Costa Norte. La institución encuestó a tomadores de decisiones para aprender, en parte, cómo habían cambiado sus niveles de conocimiento y sensibilidad/conciencia en relación a la prevención de nuevas infecciones de transmisión sexual y priorizar el problema como resultado del resumen de política.

Preguntas extraídas de: Encuesta a tomadores de decisión sobre resumen de política Nombre del tomador de decisión: Título/Cargo: Organización: Número de teléfono: Fecha/Tiempo de entrevista: Introducción: En Febrero de 2010, la Secretaría de Salud publicó un resumen de política que categorizaba la tasa de nuevas infecciones de transmisión sexual basada en municipios de la Costa Norte de Honduras. Como parte de la evaluación de esta iniciativa, la institución evaluadora ha sido contratada por la Secretaría de Salud para conducir una cuesta dirigida a personas clave asociadas a la legislación pública y organizaciones comunitarias trabajando en programas de infecciones de transmisión sexual, salud sexual y reproductiva y prevención del VIH. Los entrevistados incluirán a diputados, miembros de la comunidad científica local y miembros de organizaciones comunitarias de la región. Las preguntas se enfocan en el impacto y la utilización del resumen de política. Nos gustaría que usted participara de la encuesta y esperamos conocer sus opiniones y puntos de vista. Ésta encuesta tomará 20 minutos aproximadamente y todas las respuestas se mantendrán confidenciales. 1. ¿Cómo prioriza usted el tema de nuevas infecciones de transmisión sexual en términos de problemas de salud prevenibles que impactan a sus electores/miembros de su comunidad? 2. ¿Considera que su nivel de conocimiento y sensibilidad/conciencia en relación a medios para prevenir y tratar infecciones de transmisión sexual ha cambiado en el curso del último año? ¿El resumen de política ha contribuido al incremento en sus conocimientos? De ser así, ¿en qué manera? 3. ¿El resumen de política cambió la forma en que usted prioriza la prevención de infecciones de transmisión sexual? De ser así, por favor describa cómo cambió su priorización. 4. ¿Qué programas o políticas específicas relacionadas a la prevención de infecciones de transmisión sexual está dispuesto a proponer o apoyar? 5. ¿Ha visto usted un incremento en el interés de su comunidad o electores en temas de prevención de infecciones de transmisión sexual?

Nota metodológica: La encuesta utiliza preguntas retrospectivas que piden al que responde que reflejen cómo han cambiado como resultado del resumen de política. Otra técnica que se puede utilizar para medir el impacto de la política podría ser de encuestar a involucrados y a un grupo comparativo. Por ejemplo: • Comparar los puntos de vista de tomadores de decisiones, políticos y periodistas reconocidos por su trabajo de incidencia política con el de sus colegas que no son reconocidos por esa actividad. • Comparar los puntos de vista del público en general identificado para el trabajo en campaña con el de aquellas personas que no fueron identificadas.

Página 58

2. Grupo Focal: cambios en actitudes Los grupos focales son discusiones dirigidas con un grupo pequeño que le pueda permitir observar un problema desde el punto de vista de los miembros de la comunidad. Los grupos focales puedan ayudar a explicar la forma en que las personas contemplan una experiencia, idea o evento y provee información más rica y detalladas que sólo una entrevista por la interacción entre los miembros del grupo. No obstante, siempre existe el riesgo que algunos de los participantes se sientan inhibidos de expresar información contraria a la que predomina en el grupo. Por tanto, es de utilidad considerar en realizar grupos focales con grupos de personas similares y hacer esto con múltiples grupos para recolectar información. Ejemplo de preguntas de Grupos Focales en relación a actitudes sobre uso del condón masculino y femenino 1. ¿Cuál cree que debería ser el papel del Estado en cuanto a la promoción del uso de métodos de prevención de embarazos y VIH, como el condón? 2. ¿Cuáles deberían ser las prioridades del gobierno en relación al sistema de salud? 3. ¿Cree usted que el sistema de educación actual promueve u obstaculiza el uso del condón de método de prevención? 4. ¿Qué opina de los programas apoyados por el gobierno que promueven la abstinencia? 5. ¿Qué opina sobre el debate en el Congreso si aprobar o denegar las Guías de Educación Sexual para primaria y secundaria? 6. ¿Cuáles son algunas de sus preocupaciones en cuanto a que se promueva el uso de métodos de barrera como el condón? ¿Cuál sería su preocupación más grande? 7. ¿Qué cree que debería hacer el gobierno para mejorar la calidad de educación en temas relacionados a la salud sexual y reproductiva?

Nota metodológica: Los grupos focales se puedan dar con el tiempo para mapear los cambios que puedan ocurrir en relación a las actividades conducidas; de manera alternativa, los grupos focales se pueden implementar luego de ejecutadas las actividades. Asegúrese de investigar si los participantes están conscientes o si han sido impactados por las actividades así como la forma en que sus sentimientos y creencias han cambiado como resultado de las mismas.

3. Lista de control para la observación de reuniones: Cambios en las creencias de miembros de la comunidad sobre la importancia de un problema en particular A fin de avanzar hacia el cambio de políticas, los defensores pueden ver como las comunidades y los grupos priorizan problemas específicos. Cuando un asunto es de prioridad alta para miembros de una comunidad, se puede esperar que haya un incremento en ésta área de trabajo. Por ejemplo, una simple lista de control le puede ayudar a identificar con cuanta frecuencia cierto asunto se pone como tema de discusión en una agenda de reunión, sea que haya sido discutido o no, el contenido principal hablado, la duración de la reunión y la percepción de “seriedad”. Página 59

Lista de Control Observación para reuniones (comunitarias, municipales, patronales, etc.) Fecha: ___________________________ Lugar: ___________________________

Duración de la reunión: ________________ Asistentes: __________________________

1. ¿Cuáles fueron los asuntos principales discutidos en la reunión? (ej. logros académicos, problemas de alcohol/drogas, acoso sexual, etc.)

2. ¿Fue el tema de la cuota de recuperación discutido? 3. ¿Se discutió sobre el cobro de la cuota de recuperación o sobre la función de los fondos de éste cobro? Si la respuesta es “si” favor continúe, si la respuesta fue “no”, por favor avance a la pregunta 8.

4.¿Cuál fue el contenido principal de la discusión sobre el cobro de la cuota de recuperación y la función de éste fondo? 5. ¿Se alcanzó algún acuerdo en la reunión? 6. ¿Se podía decir que el asunto sobre el cobro de la cuota de recuperación y la función de éste fondo fue tomado con seriedad por los asistentes? 7. ¿Se planificó alguna acción en relación al cobro de la cuota de recuperación y la función de éste fondo?

8. Notas o comentario adicionales:

Página 60

4. Levantamiento de encuestas: Cambios en la sensibilidad de la comunidad Estudio de caso. Una evaluación de la campaña “Vos, yo, todos diversos” sobre derechos humanos y diversidad en Honduras, se enfocó en medir el cambio en la sensibilidad de las personas sobre la importancia del respeto a la diversidad étnica, cultural sexual, etc. Haciendo levantamiento de encuestas (encuestas de mapeo diario) solía ser el método principal de medición. Estas encuestas obtenían la medición de un levantamiento independiente de 32 residentes diarios; una vez que las personas eran entrevistadas, no se les hacía otra entrevista más. Las encuestas interrogaban a las personas en relación a 30 puntos sobre comportamiento, sensibilidad y actitudes incluyendo la importancia de 5 problemas desde un punto de vista personal y comunitario sobre su conocimiento sobre derechos humanos, la práctica del valor del respeto y sus prácticas sobre respeto a la diversidad en sentido lato y la no discriminación. Los resultados mostraron que las personas tenían poco conocimiento sobre sus derechos humanos, pero los jóvenes resultaron ser el grupo de población que más los conocía. Aquellas personas que estaban más conscientes sobre sus derechos, demostraron ser más abiertos y pluralistas en cuanto a compartir espacios de trabajo y educación con personas de diferentes religión, ideología política, orientación sexual e identidad de género. Mayor exposición a mensajes y artículos publicados en redes sociales causaron mayor impacto en la sensibilidad de las personas con respeto a la diversidad que los mensajes emitidos por medios televisivos y radiales.

Página 61

Ejemplo de preguntas para encuestas a electores 1.Por favor indique con una X cuanto acuerda o desacuerda con los siguientes declaraciones Desde que recibe alertas por email

Ni de acuerdo ni Muy de Muy en En De acuerdo acuerdo desacuerdo desacuerdo en desacuerdo

Tengo más conocimiento sobre [derechos humanos]. Tengo más conocimiento sobre cómo contrarrestar a la oposición sobre exclusión en el sistema de salud a razón de identidad degénero. Tengo más conocimiento de lo que puedo hacer yo para apoyar [la promoción de derechos humanos] Estoy más motivado para apoyar [campañas derechos humanos] He contado a otras personas sobre el problema Les he a otros sobre qué pueden hacer para tomar aación sobre el asunto.

2. Debido a una “Alerta de Asunto” que recibí yo he (marcar una X los puntos que aplican) [ ] He hecho una donación para apoyar [campañas contra discriminación racial] [ ] He leído un informe o material adicional sobre [diversidad] [ ] Enviado un correo electrónico a un diputado sobre la importancia de promover los derechos humanos [ ] Llamado a un diputado sobre la importancia de exigir el cumplimiento de los derechos [ ] Voluntariado para recoger firmas para la propuesta de una iniciativa, hecho llamadas, o realizado otro trabajo voluntario para una organización que apoya [la investigación sobre violaciones a derechos humanos] [ ] Motivado a otras personas a tomar acción en lo que respecta a [socializar información sobre derechos humanos] [ ] Otros (favor describir):

Área de resultado 2: Fortalecimiento de la Capacidad Organizacional Un componente clave para el trabajo en incidencia política es tener una organización fortalecida capaz de responder a las condiciones y oportunidades asertiva y efectivamente. Capacidades organizacionales incluyen gestión de talleres, staffing y liderazgo, estructura y sistemas organizacionales, finanzas planificación estratégica entre organizaciones no lucrativas y coaliciones formales que planifican y ejecutan incidencia política y trabajo en políticas. El desarrollo de estas capacidades nucleares es crítica para la habilidad de una organización de implementar y sostener los esfuerzos. 5. Autoevaluación La herramienta de autoevaluación ayuda al beneficiario de un proyecto evaluar su Página 62

trabajo en el área de recolección y análisis de datos, comunicación y divulgación, análisis de política, movilización comunitaria y de electores y desarrollo/sostenibilidad de fondos. La herramienta incluye una sección de calificación y un plan de trabajo relacionado para mejorar en cada área de medición.

No aplica

Necesita mejorar

Satisfactorio

¿Qué tan bien llevamos a cabo esta actividad?

Sobresaliente

Actividades para el análisis de políticas

• Identifica asuntos prioritarios de la política • Utiliza información que contribuye a los asuntos de la política • Analiza legislación estatal • Produce y divulga informes especiales y resúmenes de asuntos sobre política • Investigación e informes sobre programas o proyectos promisorios

El desarrollo de alianzas es una actividad importante para los esfuerzos de incidencia política. Cambios en las alianzas incluyen el nivel de coordinación, colaboración y alineación con los sistemas de alianzas comunitarios. Los resultados del desarrollo de alianzas incluyen: • Incremento en el número de socios apoyando una cuestión • Incremento en los niveles de colaboración entre socios • Mejorada alineación de esfuerzos entre aliados • Incremento en las alianzas estratégicas o diversidad en los socios Las unidades de análisis para los resultados de las alianzas incluyen individuos, grupos, organizaciones o instituciones. Elegir la correcta unidad dependerá del fin de estos esfuerzos, por ejemplo, defensores esperando unirse con otras organizaciones como ser sindicatos o grupos afines, o individuos como empresarios clave.

Página 63

6. Herramienta para evaluar socios Cuestionario Instrucciones Este cuestionario hace preguntas acerca de diferentes aspectos de las contrapartes y le permite expresar sus opiniones y proveer la información acerca de su experiencia anónimamente. Por favor piense acerca de las personas y organizaciones que son sus contrapartes. 1. En el trabajo conjunto, ¿qué tan interesadas están estas contrapartes para identificar nuevas y creativas formas para resolver problemas? [ ] Extremadamente bien [ ] Muy bien [ ] A veces [ ] No mucho [ ] Nunca 2. En el trabajo conjunto, ¿qué tan interesadas están esas contrapartes en incluir las prioridades de las personas afectadas por el trabajo en contrapartes? [ ] Extremadamente bien [ ] Muy bien [ ] A veces [ ] No mucho [ ] Nunca 3. En el trabajo conjunto, ¿qué tan dispuestas están las contrapartes en desarrollar metas, apoyándose entre contrapartes? [ ] Extremadamente bien [ ] Muy bien [ ] A veces [ ] No mucho [ ] Nunca 4. En el trabajo conjunto, ¿qué tan dispuestas están las partes para identificar qué servicios y programas hay en la comunidad relacionados al problema que la contraparte está tratando de identificar? [ ] Extremadamente bien [ ] Muy bien [ ] A veces [ ] No mucho [ ] Nunca 5. En el trabajo conjunto, ¿qué tan interesadas están las contrapartes para responder a las necesidades y problemas de la comunidad? [ ] Extremadamente bien [ ] Muy bien [ ] A veces [ ] No mucho [ ] Nunca Liderazgo Por favor piense acerca de todas las personas quienes proveen algún liderazgo formal o informal en la contraparte, por favor indique el total de efectividad del liderazgo de su contraparte en cada una de las áreas siguientes. 1. Tomar responsabilidad por la contraparte. [ ] Excelente [ ] Muy bien [ ] Bien

Página 64

[ ] Mas o menos [ ] Pobre [ ] No se 2. Inspirando y motivando personas en la contraparte. [ ] Excelente [ ] Muy bien [ ] Bien [ ] Mas o menos [ ] Pobre [ ] No se 3. Empoderando personas en la contraparte. [ ] Excelente [ ] Muy bien [ ] Bien [ ] Mas o menos [ ] Pobre [ ] No se 4. Comunicando la visión de la contraparte. [ ] Excelente [ ] Muy bien [ ] Bien [ ] Mas o menos [ ] Pobre [ ] No se 5. Trabajando en el desarrollo de un lenguaje común dentro de la contraparte. [ ] Excelente [ ] Muy bien [ ] Bien [ ] Mas o menos [ ] Pobre [ ] No se Administraócin y Gerencia Nos gustaría que pensara acerca de la administracóin y gerencia de actividades de la contraparte. Por favor indique la efectividad de su contraparte para mantener cada una de las siguientes actividades. a. Coordinar la comunicacóin entre contrapartes. [ ] Excelente [ ] Muy bien [ ] Bien [ ] Mas o menos [ ] Pobre [ ] No se b. Coordinar la comunicación con personas fuera de la contraparte. [ ] Excelente [ ] Muy bien [ ] Bien [ ] Mas o menos [ ] Pobre [ ] No se

Página 65

c. Organizar actividades de contrapartes, incluidas reuniones y proyectos. [ ] Excelente [ ] Muy bien [ ] Bien [ ] Mas o menos [ ] Pobre [ ] No se d. Aplicar a manejar y gerencia fondos. [ ] Excelente [ ] Muy bien [ ] Bien [ ] Mas o menos [ ] Pobre [ ] No se e. Preparando materiales que informen a las contrapartes y ayuden a la toma de decisiones. [ ] Excelente [ ] Muy bien [ ] Bien [ ] Mas o menos [ ] Pobre [ ] No se Recursos no-financieros La contraparte necesita recursos no financieros para la efectividad de su trabajo y poder cumplir las metas. Para cada uno de los siguientes tipos de recursos, indique lo que su contraparte hizo para obtener lo que necesita para un trabajo. a. Habilidades (ej. liderazgo, administración, evaluación, leyes, políticas públicas, competencia cultural, entrenamiento, organización comunitaria) [ ] Todo lo que necesitan [ ] Mayoría de lo que necesita [ ] Algo de lo que necesita [ ] Casi nada de lo que necesita [ ] Nada de lo que necesitan [ ] No se b. Información y datos (ej. estadísticas, datos, información acerca de la percepción de la comunidad, valores, recursos y políticas) [ ] Todo lo que necesitan [ ] Mayoría de lo que necesita [ ] Algo de lo que necesita [ ] Casi nada de lo que necesita [ ] Nada de lo que necesitan [ ] No se c. Conexión con la población. [ ] Todo lo que necesitan [ ] Mayoría de lo que necesita [ ] Algo de lo que necesita [ ] Casi nada de lo que necesita [ ] Nada de lo que necesitan [ ] No se

Página 66

d. Conexión con los tomadores de decisiones políticas, agencias de gobiernno, otras organizaciones y grupos. [ ] Todo lo que necesitan [ ] Mayoría de lo que necesita [ ] Algo de lo que necesita [ ] Casi nada de lo que necesita [ ] Nada de lo que necesitan [ ] No se Beneficios de la participación Por cada uno de los siguientes beneficios, por favor indique en cuales recibió o no beneficios como resultado de participar en contrapartes. a. Habilidad para identificar problemas importantes. [ ] Si [ ] No b. Desarrollo de nuevas habilidades. [ ] Si [ ] No c. Mantener un perfil público. [ ] Si [ ] No d. Incremento en la utilización de mi experiencia en el servicio. [ ] Si [ ] No e. Adquisición de los conocimientos acerca de servicios, programas o personas en la comunidad. [ ] Si [ ] No f. Habilidades en políticas públicas. [ ] Si [ ] No g. Desarrollo del valor de una relación. [ ] Si [ ] No h. Habilidades en conocer las necesidades de mi contraparte. [ ] Si [ ] No i. Habilidad para crear un mayor impacto en mí. [ ] Si [ ] No Desventajas de la participación Por cada una de las siguientes desventajas, por favor indique si tuviese o no alguna o si no ha experimentado como resultado de participar en contrapartes. a. Pérdida de tiempo y recursos alejado de otras prioridades u obligaciones. [ ] Si [ ] No b. Insuficiente influencia en las actividades de contrapartes. [ ] Si [ ] No c. Ver negativamente la asociación con otras partes o contrapartes. [ ] Si [ ] No d. Frustración. [ ] Si [ ] No e. Insuficiente reconocimiento por contribuir con el complimiento de la contraparte. [ ] Si [ ] No f. Conflicto entre mi trabajo y el trabajo en contraparte. [ ] Si [ ] No Comparando beneficios y desventajas Hasta ahora, ¿cómo son los beneficios de la participación en contrapartes comparada con las desventajas? [ [ [ [ [

] Beneficios exceden enormemente las desventajas ] Beneficios exceden las desventajas ] Beneficios y desventajas son iguales ] Desventajas exceden los beneficios ] Desventajas exceden enormemente los beneficios

Satisfacción con la participación. a. ¿Qué tan satisfecho está con la forma que las personas y las organizaciones en contrapartes trabajan juntos? [ ] Completamente satisfecho [ ] Bastante satisfecho [ ] Mas o menos satisfecho [ ] Poco satisfecho [ ] Insatisfecho

Página 67

b. ¿Qué tan satisfecho está con su influencia en la contraparte? [ ] Completamente satisfecho [ ] Bastante satisfecho [ ] Mas o menos satisfecho [ ] Poco satisfecho [ ] Insatisfecho c. ¿Qué tan satisfecho está con su rol en la contraparte? [ ] Completamente satisfecho [ ] Bastante satisfecho [ ] Mas o menos satisfecho [ ] Poco satisfecho [ ] Insatisfecho d. ¿Qué tan satisfecho está con los planes de contraparte para cumplir metas? [ ] Completamente satisfecho [ ] Bastante satisfecho [ ] Mas o menos satisfecho [ ] Poco satisfecho [ ] Insatisfecho e. ¿Qué tan satisfecho está con la forma que la contraparte implementa los planes? [ ] Completamente satisfecho [ ] Bastante satisfecho [ ] Mas o menos satisfecho [ ] Poco satisfecho [ ] Insatisfecho

Área de resultado 4: fortalecimiento de la base de apoyo Los resultados del fortalecimiento de la base de apoyo incluyen el apoyo de base, de liderazgo e institucional para cambios particulares de políticas. El alcance del apoyo entre el público en general, el interés de grupos y la opinión de los líderes hacia problemas puntuales proporciona una condición estructural mayor por apoyar al cambio de políticas. Sea que el paradigma particular para alcanzar un cambio de base-comunitario se enfoca en articular miembros de la comunidad con influencia que va más allá del nivel comunitario o personas con influencias clave. El desarrollo de una campaña puede resultar muy efectivo para captar el interés del público meta. Los resultados relacionados con ésta área pueden ser: • Incremento en la participación de instituciones públicas en el problema. • Incremento en el nivel de las acciones realizadas por campeones de un problema. • Aumento en el grado de apoyo de los socios a un problema. • Incremento en la cobertura de medios. • Incremento en la visibilidad del mensaje de la campaña. En relación a los resultados de alianzas, la unidad de análisis para el cambio comprende a individuos, grupos, organizaciones e instituciones. El foco de la evaluación dependerá del tipo de actividades desarrolladas y del fin de los esfuerzos.

Página 68

7. Herramienta para la recolección de información de campeones de campañas

Instrucciones: Enliste a aquellas personas campeonas que durante el mes hayan tomado acción y se hayan comprometido (ejemplo, pueden ser personas de diversos sectores de la comunidad que realizan acciones de incidencia política en beneficio común). a) Una persona campeona es aquella que actúa por el beneficio común de la comunidad. b) Ejemplo de acciones realizadas son comunicación verbal o escrita, agendar reuniones, propuestas de políticas, desarrollo de coaliciones. Las acciones tomadas pueden ser espacios pequeños o desarrollos considerables y pueden reflejar el comienzo por parte de un campeón en la educación temprana. Nombre del campeón José Luis Figueres

Afiliación Celulares de Honduras

Acción tomada Charlas con empleados

Fecha 3 de febrero, 2011

8. Autoevaluación: Lista de control para movilización e incidencia política Estudio de caso RedCa+ es una iniciativa regional compuesta por grupos organizados de los 5 países de Centroamérica construida para coordinar programas, políticas y servicios que respondan a las necesidades de las personas viviendo con VIH de la región, así como de sus familias. La Red brinda apoyo a las instituciones involucradas en la formación de políticas, los proveedores de servicios de asistencia médica y las organizaciones que abogan por los derechos de las personas viviendo con VIH de manera que las redes de PVV participen de manera activa en estos procesos. RedCa+ sirve como un ente de referencia regional para el desarrollo, apoyo e implementación de iniciativas en materia. Uno de los objetivos para las redes afiliadas a RedCa+ es desarrollar campeones efectivos para la construcción de un sistema de diagnóstico socioeconómico de las personas viviendo con VIH en Centroamérica a través de una amplia gama de bases de redes que van más allá de las que ya son parte de la RedCa+. Estos campeones promueven la realización un diagnóstico socioeconómico a líderes políticos dentro Página 69

de su propia esfera de influencia. Como parte de su evaluación general, las redes parte de RedCa+ recibieron una lista de control para autoevaluación que les pueda ayudar en el desarrollo de este diagnóstico. La autoevaluación pretende a ayudar a las redes a comprender mejor su posición actual y en cuáles áreas y acciones se deben enfocar en el futuro. La siguiente herramienta de ejemplo muestra la evaluación sobre los esfuerzos de movilización e incidencia política. Extracto de una Lista de Control para Autoevaluación de RedCa+ Para cada campeón potencial identificado, marque un número del 1 al 5 que mejor represente la posición en la que se encuentran actualmente en relación a la movilización e incidencia política. Si se desea, también marque las áreas en las que RedCa+ y las redes han logrado progreso sustancial desde que RedCa+ inició. Aliados poderosos surgen y están dispuestos y son portavoces abiertos para el desarrollo del diagnóstico, disponibles para usar capital político a fin de obtener el apoyo de tomadores de decisión y dentro de sus propios electores.

Algunos nuevos campeones han sido identificados y están tomando algunas acciones para apoyar el desarrollo del diagnóstico, pero el tema no es necesariamente prioritario en sus agendas ni suelen involucrar a otros para que apoyen.

Se ha hecho progreso sustancial (marcar en caso de ser “SI”)

Limitados campeones con otros grupos de interés que no miran ninguna relevancia en la iniciativa ni en la posibilidad de demandar recursos y acciones de política.

Líderes de empresas y de iniciativas de desarrollo económico 1

Negocios locales y cámaras de comercio 1

Cambios en proyectos legislativos 1

Organizaciones de base religiosa 1

Página 70

Grupos de autoapoyo 1

Personal de salud de los CAI 1

Personal de centros de educación 1

Agencias de cooperación internacional 1

Organizaciones de personas viviendo con VIH 1

Luego de completar esta sección, ¿cuáles acciones específicas cree usted que RedCa+ puede tomar en esta área? Por favor resalte cualquier acción que pueda ser prioritaria.

Nota metodológica: La autoevaluación puede ser utilizada por un grupo pequeño de tomadores de decisión o por un colaborador amplio. También puede ser completada de manera individual. Los resultados compilados pueden identificar áreas de acuerdo e interés a diferentes tomadores de decisión. La metodología por la cual la información será recolectada debe ser igual en cada punto a fin de comparar la información en el transcurso del tiempo.

9. Herramientas para medir el apoyo de los medios El apoyo de medios de comunicación puede ser parte integral para fortalecer la base de apoyo para un asunto o una campaña. En vista que hay un número considerable de herramientas y métodos de recolección de datos que son específicos para medir los cambios en relación a la cobertura de medios, se han agrupado en el siguiente instrumento.

Página 71

Publicación de información Título del artículo/Canal de divulgación: Fecha del artículo: Autor: Tipo de publicación (circulación):

Alcance geográfico

‰ Diario (

)

‰ Ciudad

‰ Revista (

)

‰ Región

‰ Boletín (

)

‰ Departamento

‰ Radio (

)

‰ Nacional

‰ TV (

)

‰ Internacional

‰ Publicación en línea (

)

‰ Ciudad

‰ Otro (

)

‰ Ciudad ¿Con cuánta frecuencia se publicó? F Diariamente

F Semanalmente

F Cada dos semanas F Mensualmente F Anualmente

Colocación de la información: ‰ Comunicado de prensa ‰ Conferencia de prensa ‰ Evento especial ‰ Iniciado por el medio ‰ Contacto personal ‰ Inducido por un asunto local ‰ En respuesta a otras noticias

Tamaño del artículo (párrafos): Tamaño del artículo (pulgadas): Duración de la transmisión (minutos): Foto:

¿De qué?

‰ Sobre incidencia política Tipo de nota: ‰ Artículo ‰ Artículo especial ‰ Editorial ‰ Columna ‰ Carta al editor ‰ Mención en un artículo sobre personas viviendo con VIH ‰ Otro:

Página 72

Análisis de Cobertura ¿Cuáles asuntos de política cubrió el artículo? ‰ Pobreza ‰ Bienestar económico ‰ Salud física ‰ Derechos humanos ‰ Educación ‰ Acceso a justicia ‰ Otros (favor enlistar)

¿Se citó a alguien de su organización en el artículo?

¿Fue el mensaje de la nota uno que usted hibiera querido transmitir?

¿Mencionó el artículo a algunos grupos que hacen incidencia política? Si la respuesta es Si ¿cuáles fueron los grupos mencionados?

Explique:

¿La posición que se publicó en el artículo refleja la de su organización? Explique:

¿El medio pareció entender la información de la que estaban reportando?

N/D

Si la respuesta fue “SI”, ¿el medio pareció utilizar la información de manera correcta? Si

Explique:

¿Cuál fue el motivo para escribir el artículo?

¿En qué tono se abordó la noticia?

Razonable

Retórico

¿Cómo fue RedCa+ retratado? ‰ Como expertos en materia ‰ Como fuente seria de información ‰ Como una de 2 opiniones

‰ Como una entre muchas opiniones ‰ Como una fuente de información no confiable ‰ Otro:

Página 73

¿Cuál es su reacción en cuanto al artículo?

Otras notas:

Área de resultado 5: políticas mejoradas Mientras que las herramientas y métodos de recolección previos se enfocan en el trabajo que precede a los cambios en las políticas y el trabajo de incidencia política, la incidencia política no termina con una resolución o un documento de propuesta. El área de resultados de mejorar políticas incluye las siguientes etapas en el cambio de políticas: desarrollo de políticas, adopción, implementación y financiamiento. En el pasado, el resultado ha sido medido según el éxito de la abogacía e incidencia política. El pasar o aprobar cierta política puede todavía necesitar de trabajo para asegurar financiamiento necesario para la implementación a través de la revisión, vigilancia y monitoreo. La unidad de análisis de ésta área de resultado pueden ser las propias políticas o cambios entre tomadores de decisiones, administradores u otros planificadores. Resultados en esta área incluyen: • Desarrollo de política mejorada • Adopción de política mejorada • Implementación de la política mejorada • Refuerzo de la política mejorada Cambios en el impacto: Las organizaciones abogan por el cambio de políticas para en última instancia impactar en las vidas y las condiciones de vida de las personas a través de la implementación de políticas. Esto es generalmente un objetivo a largo plazo, aun cuando el horizonte temporal del impacto de estas iniciativas pueda variar según el nivel del cambio de la política que sea considerada. Mientras que los cambios en políticas estatales pueden tomar años, cambios en políticas locales y su impacto resultante en las organizaciones puede resultar más realista en un marco corto de tiempo. En ambos casos, el éxito de impactos en individuos o en su ambiente son el resultado de una exitosa implementación, financiamiento e intervenciones potenciales – no cambios aislados en políticas. La unidad de análisis para éstos resultados incluye poblaciones o ecosistemas. 10. Registro: Mapeo de procesos legislativos Un simple registro para mapear las actividades legislativas puede ser utilizado para monitorear los cambios en los patrocinadores y los votos a favor y en contra de cierto proyecto legislativo.

Página 74

Fecha

2 de febrero de 2010

Área de prioridad

Importante

Ley

Política sobre VIH en el mundo del trabajo

Resumen

Política pretende reducir/eliminar discriminaciòn.

Socios clave

Empresas privadas, centros de salud.

Patrocinadores legislativos

Diputadas mujeres de partido liberal.

Votos a favor

Votos en contra

¿Financiado por?

OIT, ONUSIDA, USAID

Comentarios Pasos a seguir

Socializar política en empresas, velar seguimiento.

11. Registro: Análisis del mapeo de políticas Un sistema de mapeo puede documentar los tipos de políticas desarrolladas y su trayectoria para su adopción o rechazo. La información que resulta de este sistema de mapeo puede ser utilizada para describir qué tan exitosas fueron las estrategias de política y evaluar los cambios de la política en el transcurso del tiempo. Este registro mapea los componentes de la política que se deseen y si la política excede, satisface, satisface parcialmente o no satisface estos componentes. El siguiente ejemplo mapea la adopción de una política de formación en derechos humanos al personal de los CAI a nivel nacional.

Página 75

Excede (E); Satisface (S); Satisface Parcialmente (SP) No Satisface (NS)

Área 1

Área 2

COMPONENTES DE LA POLÍTICA I. CONOCIMIENTO SOBRE DERECHOS HUMANOS Personal maneja los conceptos de derechos humanos Personal educa a PVV sobre sus derechos Personal da consejería a PVV en caso que éstos le presenten un caso de violación a sus derechos humanos II. INVOLUCRAMIENTO DEL PERSONAL EN LA FORMACIÓN EN DERECHOS Médicos han participado en actividades de formación sobre derechos humanos Enfermeras y psicólogos han participado de actividades de formación sobre derechos humanos Personal de los CAI solicitan al Departamento de VIH, ONG y agencias de cooperación que les brinden talleres sobre derechos III. ATENCIÓN INTEGRAL A PERSONAS VIVIENDO CON VIH ¿Mejora la calidad de atención médica (diagnóstico y tratamiento de enfermedades)? Mejora la calidad de la consejería Personal del Centro de Salud no discrimina a las personas viviendo con VIH IV. INVOLUCRAMIENTO DE SOCIOS CLAVE Departamento de VIH socializa la política para involucrar a socios clave Departamento consigue el apoyo de socios para apoyar proceso de formación V. MECANISMOS FINANCIEROS El Departamento de VIH presenta el proyecto de formación a estructuras del gobierno y de la cooperación internacional para financiar el proyecto Desarrollan un plan de financiamiento para implementar la política

12. Registro: Monitoreando la implementación de la política Esta es una herramienta que se puede aplicar para auditar o monitorear la aplicación o implementación de una política.

Página 76

Formulario de Monitoreo de una Politica Ejemplo

Fecha de registro

17 de abril de 2010

Agencia

ONG Salud y VIH

Información sobre el beneficiario (si

está disponible y el permite compartir

Monitor de política

los datos)

Beneficios deseados

Divulgada política en empresas.

Descripción del problema/asunto

Empleadores desconocen sobre política.

Fecha del problema

Años anteriores al actual.

Lugar de ocurrencia (por favor ser específico)

Tegucigalpa y Comayaguela.

Respuesta de la institución pública

Secretaría de Trabajo capacitó a facilitadores para impartir charlas en empresas.

de las personas con las que se

Viceministro y asistente han apoyado. en el último mes.

¿Algún otro beneficiario introdujo una

No.

a cargo (enlistar los nombres y fechas contactó)

apelación o reclamo?

¿Se resolvió el problema? ¿Cuándo y cómo?

Requiere de más acciones.

Área de resultado 6: cambios a nivel poblacional Las organizaciones abogan por el cambio de políticas para en última instancia impactar en las vidas y las condiciones de vida de las personas a través de la implementación de políticas. Esto es generalmente un objetivo a largo plazo, aun cuando el horizonte temporal del impacto de estas iniciativas pueda variar según el nivel del cambio de la política que sea considerada. Mientras que los cambios en políticas estatales pueden tomar años, cambios en políticas locales y su impacto resultante en las organizaciones puede resultar más realista en un marco corto de tiempo. En ambos casos, el éxito de impactos en individuos o en su ambiente son el resultado de una exitosa implementación, financiamiento e intervenciones potenciales – no cambios aislados en políticas. La unidad de análisis para éstos resultados incluye poblaciones o ecosistemas.

Página 77

Ejemplos de indicadores para proyectos de incidencia política al nivel poblacional son: 1) % de jóvenes adolecentes que utilizaron condón en su última relación sexual 2) % de personas no registrados que reciben registración. 3) % de jóvenes adolecentes que sienten que pueden negociar el uso de PF y/o condón con su pareja. 4) % de hombres en la comunidad que piensan que es aceptable exigir sexo de su esposa 5) % de hombres en la comunidad que piensan que su esposa/mujer tiene que estar controlada…. Otras Consideraciones para hacer una Evaluación Mientras que las medidas a nivel poblacional proveen información general sobre el bienestar de las personas, las familias, los ambientes y las comunidades, es difícil acertar el impacto que cualquier política pueda haber tenido basado en estas figuras. Adicionalmente, factores externos pueden fortalecer o disminuir los resultados de manera que la información a nivel poblacional sobre los cambios tenga poca efectividad en una política en particular. El entender sobre el verdadero impacto de una política necesitará de una exploración más detallada en el impacto directo de los beneficiarios, factores contextuales, nivel de financiamiento, implementación de la política y el éxito de la implementación de servicios directos. No obstante, datos poblacionales que se actualizan periódicamente pueden proporcionar algunas indicaciones sobre el estatus de la población previo a la adopción o implementación de nuevas políticas e iniciativas. Herramientas y Métodos para otros Diseños de Evaluación Como se ha señalado en secciones anteriores, las decisiones sobre el diseño de una evaluación se deben hacer en base a un número de factores: el propósito y la audiencia de una evaluación, la naturaleza del proyecto (escala, tamaño, capacidad) y los tipos de preguntas que la evaluación desea abordar. Las herramientas anteriores están diseñadas para la recolección de datos de categorías específicas de resultados. No obstante, otros enfoques también pueden ser considerados: • Evaluación de procesos estratégicos • Objetivos actualizados a corto plazo • Documentación de casos de estudio 1. Evaluación de procesos estratégicos En vista que el trabajo en políticas e incidencia política existe en sistemas dinámicos y complejos en los cuales una infinidad de factores pueden contribuir o retraer los esfuerzos, la evaluación del proceso continuará siendo extremadamente valiosa para explorar y documentar el contexto, eventualidades y sinergias. La evaluación de procesos contribuye a las organizaciones y donantes en aprender más sobre los procesos y a responder preguntas clave sobre los cambios que ocurren, los cambios necesarios, las lecciones aprendidas en base a experiencias recientes y los factores contextuales que han impactado el trabajo. 2. Objetivos actualizados a corto plazo Esta directriz de evaluación le proporciona a aquellos involucrados en el trabajo de política e incidencia política un enfoque y rendición de cuentas sobre los indicadores de progreso. La naturaleza a corto plazo de este enfoque puede resultar beneficiosa en vista de la naturaleza Página 78

dinámica y caótica del cambio social. 3. Documentación de estudios de caso Organizaciones que trabajan la incidencia política y sus socios y contrapartes pueden beneficiarse del aprendizaje sobre lo que ha ocurrido en el proceso de cambio social, incluyendo categorías de estrategias y socios involucrados, buenas y malas prácticas, el contexto del cambio, ilustraciones de casos y lecciones aprendidas. Típicamente, este tipo de evaluación son más intensivas en lo que respecta a tiempo y recursos y van a necesitar de apoyo adicional de organizaciones que han recolectado información, hecho análisis y registrado datos. Método: Estudios de caso Los estudios de caso son descripciones específicas “a profundidad”, análisis y síntesis de un proyecto, organización, comunidad o institución en particular. Los estudios de caso revisan una iniciativa, el contexto en el cual se desarrolló y sus operaciones internas. Generalmente, los estudios de caso emplean una variedad de métodos cualitativos y cuantitativos para triangular múltiples perspectivas y fuentes de datos a fin de crear el panorama de un programa, proceso u organización. Las preguntas típicas que se hacen para éste método son: • ¿Cuál es el concepto y la práctica del proyecto? • ¿Cómo funciona en la realidad para obtener los resultados? • ¿Cuáles son los obstáculos y efectos negativos? • ¿Cuáles son los efectos positivos? • ¿Cuáles son las razones más importantes para los éxitos y los fracasos? • ¿Qué ha sido transmitido o podría ser transmitido exitosamente a otras organizaciones o iniciativas? Las fortalezas del enfoque de estudio de caso incluye un acercamiento a las preguntas más importante de la audiencia, consideración de las influencias del contexto, acercamiento a las fortalezas y debilidades, evaluación holística y de profundidad y la utilización de enfoques cuantitativos y cualitativos. Este enfoque puede resultar particularmente efectivo para aprender sobre campañas y esfuerzos de incidencia política exitosos y no exitosos. La información a profundidad obtenida puede complementar el conocimiento necesario para actividades futuras.

Página 79

Bibliografía:

Aliaga Brunch, Sandra (2003), Incidencia política en VIH/SIDA hombres gay y otros HSH; La Paz Bolivia. Annie E., Casey Foundation by organizational Research Services (2007), A guide to measuring advocacy and policy; Baltimore Maryland. Chapman Jennifer, Wamego Amboka (2001), Monitoring and Evaluation advocacy: A scoping study, UK. Coffman, Julia (2009), Center for evaluation Innovation., Evaluation; UK Davis Rob, Leburg Corey, MA, MHS, MPH, PHD, Valadez J. Joseph (2002), Assessing Community Health Programs. Kelly, Linda (2002), International Advocacy: Measuring performance and effectiveness; Wollongong Australia. Kelly, Linda (2002), Research and Advocacy for Policy, Change: Measuring Progress; Australia. Kumar,Yogesh (2005), Monitoring and Evaluation of Advocacy Campaigns: Opportunities and Challenges; New Delhi India. Licha, Isabel (2009), Herramientas para la formación de políticas. El análisis de los actores; España. Lloyd Laneyd, Megan (2003), Advocacy Impact Assessment Guidelines, UK. Metodología del Marco Lógico y Matriz de Indicadores, Acapulco México. Promoción de liderazgo e Incidencia Política de las mujeres para acción en contra del SIDA. Schmitt Mark, Teles Steven (2011), The Elusive Craft of Evaluating Advocacy, USA. UNICEF (2007), Advocacy tool kit, A guide to influencing decisions that improve children’s lives, New York.

Página 80

ito

M y ua

Ev ci 贸n de os

Pr oy e de

铆ti

Po l