LIMITANTES DE LA METODOLOGÍA DE EVALUACIÓN

Figura 1 Metodología de Evaluación Implementada

Paso 1

Análisis y organización de preguntas, métodos e identificación de fuentes. Primera fase de análisis documental.

Paso 2

Preparación logísitca y convocatoria de las actividades de recolección de datos.

Paso 3

Preparación de 7 herramientas para recolección de datos a las preguntas de evaluación.

Paso 5

Recolección participativa de datos y análisis.

6 grupos focales con 44 actores primarios de cambio para identificar cambios más significativos, relevancia y efectividad de las estrategias.

Encuesta en línea a 14 organizaciones socias y 23 personas que trabajan en Oxfam para explorar la percepción, el desempeño de los principios de asociación y aspectos de gestión de programa.

2 talleres con 14 organizaciones socias para identificar cambios más significativos y establecer el rastreo de procesis clave para los cambios más relevantes y su evidencia. Se construyen las hipótesis de cambio y se explora la relevancia y efectividad de las estrategias del programa.

Análisis de datos, triangulación de insumos y construcción de hallazgos.

10 entrevistas a informantes clave para la identificación de los cambios más significativos, establecer el rastreo de procesos clave y recolectar insumos sobre el valor agregado.

Paso 6

Resumen preliminar de hallazgos y validación primaria con el equipo de Oxfam en Honduras.

Paso 7

Redacción del informe preliminar.

Revisión y retroalimentación al informe preliminar.

Redacción del informe final.

Paso 4

Segunda fase de análisis documental de 54 documentos que sistematizan el diseño e implementación del programa.

LIMITANTES DE LA METODOLOGÍA DE EVALUACIÓN

Al tratarse esencialmente de una evaluación cualitativa, algunas de las metodologías participativas seleccionadas no generan datos cuantitativos que se puedan resumir para proporcionar conclusiones generalizables a todo el programa. Tanto grupos focales, como entrevistas y talleres participativos generan insumos variados tanto en contenido como en contexto y esto no siempre se puede traducir en porcentajes o cantidades. Esto se ha tratado de superar triangulando con datos cuantitativos sistematizados a través de informes o reportes de evaluación elaborados por Oxfam y las Organizaciones Socias.

Dado que los grupos focales no fueron organizados en base a una muestra aleatoria, es importante reconocer que las personas participantes no siempre correspondían a los 4 perfiles definidos para el muestreo no probabilístico por cuotas o segmentos que priorizaba agentes primarios de cambio.

Dentro de los grupos focales se observó una mezcla de mujeres y jóvenes agentes primarios con miembros y funcionarios de las Organizaciones Socias del programa. En este sentido, es importante identificar como limitante el sesgo natural de las personas participantes en los grupos focales y que hasta cierto punto las personas pudieron haber limitado sus opiniones por la presencia de funcionarios de las organizaciones.

En el desarrollo de entrevistas a informantes clave se observaron tres limitantes. La primera fue lograr una secuencia de entrevistas que permitiera validar hallazgos antes de los talleres con las Organizaciones Socias, varias de las entrevistas fueron desarrolladas durante o después de los talleres con las Organizaciones Socias. El segundo reto es que no se logró completar 2 entrevistas clave dentro del período de recolección de datos de campo, una con la Unión Europea y una con la Secretaria de Desarrollo Económico. La tercera, el tiempo programado para las entrevistas fue corto, 30 minutos en la mayoría de las ocasiones lo que limitó el espacio para cubrir las preguntas priorizadas en la herramienta y profundizar el análisis. Como consecuencia, el flujo de validación de hallazgos y datos no se ha podido desarrollar en la secuencia deseada y en varias entrevistas fue necesario limitar a 2-3 preguntas relacionadas a los efectos más significativos, la contribución y rol de Oxfam y recomendaciones.

En las encuestas en línea se observan dos limitantes, el sesgo natural de opinión de las personas encuestadas y que en las respuestas puede predominar la percepción por sobre valoraciones objetivas verificables con datos y evidencia rigurosa. Aun cuando las encuestas en línea tienen un objetivo complementario a las otras actividades de recolección, es importante reconocer el peso de los sesgos y la opinión subjetiva en los resultados. También es relevante aclarar que solo un grupo de 14 de 17 organizaciones que participaron en los dos talleres respondieron a la encuesta y los hallazgos podrían no ser generalizables al total organizaciones Socias del programa.

En cuanto a la revisión documental, como parte del proceso de preparación se tuvo acceso a una carpeta con 727 archivos de diferente tipo. Se hizo una clasificación y priorización de 54 documentos para tener una visión integral del diseño y la implementación del programa y un balance adecuado de temas. Es probable que en los documentos no priorizados existan evidencias relevantes para los fines de está evaluación y que no han sido incluidas. En el proceso de formulación del informe de evaluación Oxfam solicitó incluir una sección de aprendizajes. Las preguntas de evaluación establecidas en los términos de referencia no incluían indagación sobre los aprendizajes así que las herramientas diseñadas y las actividades recolección de datos no priorizaron esta dimensión. Por lo tanto, la sección de aprendizajes incluida en este reporte se basa fundamentalmente en la revisión documental.

Por último, es importante resaltar el reto del conocimiento y dominio de la información para un periodo relativamente largo (5 años). La complejidad del contexto externo, rotación de las personas en Oxfam y las organizaciones socias y los años de involucramiento en el programa y el tipo de proyectos inciden en las valoraciones que las personas pueden hacer sobre los procesos, los eventos, los actores y su relevancia para el programa y sus objetivos durante todo el periodo de implementación.