Evaluacion horizontal: Aprender colectivamente. Guia de usuario by Iniciativa Papa Andina

Evaluación Horizontal:

Aprender colectivamente Editado por

Guía de usuario

Thomas Bernet Claudio Velasco Alice Thomann Jorge Andrade-Piedra

C I P

• •

D E L A PA PA

•C E N T R O•

INTERNACIONAL

Evaluaci贸n Horizontal:

Aprender colectivamente

Gu铆a de usuario

Editado por Thomas Bernet Claudio Velasco Alice Thomann Jorge Andrade-Piedra

II La Evaluación Horizontal es un producto de la Iniciativa Papa Andina del Centro Internacional de la Papa (CIP). Iniciativa Papa Andina Centro Internacional de la Papa (CIP) Apartado 1558, Lima 12, Perú Tel.: +51-1-349-6017. Fax.: +51-1-317-5326 cip-pandina@cgiar.org • www.papandina.org Esta guía ha sido realizada en el marco del proyecto Innovandes de la Iniciativa Papa Andina, con la participación de las siguientes instituciones:

FOVIDA FOMENTO DE LA VIDA

La Iniciativa Papa Andina cuenta con el apoyo de la Agencia Suiza para el Desarrollo y la Cooperación (COSUDE) y de la Agencia Internacional de Desarrollo de Nueva Zelanda (NZAID).

Cita bibliográfica: Bernet T., Velasco C., Thomann A. y Andrade-Piedra J. (Eds). 2010. Evaluación Horizontal: Aprender colectivamente – Guía de usuario. Centro Internacional de la Papa, Proyecto Innovandes e Iniciativa Papa Andina. Lima, Perú. 104 p. Con las contribuciones de (orden alfabético): Ivonne Antezana, Denis Aviles, Patricio Crespo, André Devaux, Raúl Esprella, Carlos Falconí, Juan Fernández, Paola Flores, Remigio Garzón, John Lozada, Kurt Manrique, Cecilia Pérez, Manuel Pumisacho, Iván Reinoso, Fausto Yumisaca. Copyright © 2010 Centro Internacional de la Papa (CIP) ISBN: 978-92-9060-389-4 Edición: Ligia Sarmiento Ilustraciones: Alice Thomann Diagramación: Alfredo Puccini Ejemplares impresos: 500 Julio 2010 Las publicaciones del CIP contribuyen con información sobre el desarrollo para el dominio público. Los lectores están autorizados a citar o reproducir este material en sus propias publicaciones. Se solicita respetar los derechos de autor del CIP y enviar una copia de la publicación donde se realizó la cita o se publicó el material al Departamento de Comunicación y Difusión a la dirección que se indica abajo. Centro Internacional de la Papa (CIP) Apartado 1558, Lima 12, Perú cip@cgiar.org • www.cipotato.org

III

Prólogo La Iniciativa Papa Andina ha sido extraordinariamente novedosa en la aplicación de nuevas ideas y conceptos para la innovación y el aprendizaje, con el fin de vincular la investigación con la reducción de la pobreza en los Andes (Engel, 2006). Mientras la investigación aplicada y las publicaciones sobre el aprendizaje y la innovación a menudo permanecen en el plano de la teoría y la discusión académica, Papa Andina ha incorporado nuevas ideas y conceptos en sus enfoques para facilitar el aprendizaje y la innovación en el campo. La aplicación de estos nuevos enfoques ha producido resultados que han cambiado vidas. Uno de los enfoques originales y valiosos que Papa Andina ha desarrollado incluye elementos de evaluación participativa y es conocido como Evaluación Horizontal (EH). Este enfoque es de alguna manera el producto de la frustración de los integrantes de Papa Andina con las evaluaciones externas y con las visitas de intercambio. La evaluación externa por expertos es la norma en la comunidad internacional de investigación y desarrollo, y en la cooperación internacional más amplia. Los proyectos se evalúan generalmente por equipos de expertos, siguiendo términos de referencia dictados por las organizaciones de donantes. La percepción de los participantes de muchos proyectos es que los evaluadores llegan al país, realizan algunas entrevistas y “visitas de campo”, hacen una serie de preguntas preformuladas, y regresan de nuevo a sus países. Después, redactan un informe que se entrega al donante. Con frecuencia, el informe de evaluación se presenta en un idioma que los participantes del proyecto no dominan. Y cuando el informe está disponible en el idioma local, las partes interesadas a menudo encuentran que aborda temas que no son de gran interés para ellos, los resultados no reflejan adecuadamente el proyecto o su entorno, y se ofrecen recomendaciones que no son factibles o útiles en el ámbito local y con los recursos disponibles. Las visitas de intercambio son un mecanismo tradicional para que los miembros de equipos de proyectos que trabajan en diferentes lugares conozcan de primera mano trabajos relevantes en otros sitios. Para realizar las visitas de intercambio, los miembros de un equipo de proyecto habitualmente viajan a otro país, se dirigen al campo, se reúnen con sus pares locales o “informantes claves”, formulan algunas preguntas y hacen observaciones, regresan de nuevo a la ciudad y luego retornan a su país. El problema es que la mayoría de las visitas de intercambio producen pocos (o ningún) resultados duraderos. Después de la visita, la vida y el trabajo siguen igual que antes, tanto en el sitio visitado como en la sede de los visitantes.

La EH fue diseñada para combinar las ventajas de las evaluaciones externas y las visitas de intercambio y, al mismo tiempo, para evitar sus desventajas. Esto lo realiza de la siguiente manera: • La EH mantiene una perspectiva de evaluación externa. Un grupo de “evaluadores externos” se reúne para evaluar un proyecto, o un conjunto de actividades y resultados del mismo. Sin embargo, en el caso de la EH, los evaluadores no son “expertos de otro mundo,” sino personas involucradas en proyectos similares que trabajan bajo condiciones parecidas. En este sentido, no son tan “externos” como los evaluadores que trabajan en condiciones muy distintas. Una ventaja es que son conocedores de la región y/o de los objetivos generales del proyecto bajo evaluación. Además, son usuarios potenciales de los resultados del proyecto y de las lecciones que pueden surgir de la evaluación. • La EH incluye visitas de campo, pero bien estructuradas, con el objetivo de servir como fuente de información para la evaluación. • La EH desmitifica el proceso de evaluación, a través de la participación de los sujetos de la evaluación en todos los aspectos de la planificación y la realización de la evaluación. • La EH nivela las relaciones sociales entre los que realizan la evaluación y los sujetos de la misma. Cuando los proyectos conducidos dentro de una red o comunidad de profesionales (como es el caso de Papa Andina) se evalúan en un ciclo, los diferentes participantes desempeñan alternativamente los roles de “evaluador externo” y de “equipo de proyecto local”. Esto tiende a romper la tradicional jerarquía de estatus y poder que prevalece en las evaluaciones tradicionales, y que limita la comunicación abierta y el aprendizaje. Otro factor que modifica las relaciones sociales es que en la EH los evaluadores no son responsables ante los donantes, sino ante los miembros de la red o comunidad en su conjunto. • La EH asegura la pertinencia de la evaluación para el equipo local del proyecto, mediante la participación de los miembros del equipo en la planificación y la realización de la evaluación. Al mismo tiempo, promueve la comprensión de los resultados de la evaluación y el compromiso con su uso. • La EH desarrolla la capacidad local para el uso de la evaluación con el propósito de mejorar los proyectos y programas. La EH no es apropiada para todas las situaciones. Fue diseñada para promover el intercambio de conocimientos y la optimización de proyectos en el contexto de una red o un conjunto de proyectos trabajando en actividades complementarias en diversos sitios. Otro punto que se debe tener en cuenta es que la EH no es un sustituto de evaluaciones de impacto, las cuales tienen requisitos metodológicos

específicos. Más bien es un complemento útil a este tipo de evaluaciones y a otros métodos de evaluación tradicionales. La EH ya está presente en la literatura de evaluación profesional, a través de un artículo en una revista internacional líder (Thiele et. al., 2007) y dos notas breves (Thiele, et. al., 2006; 2008). La EH ganó especial relevancia en 2009 cuando la Asociación Americana de Evaluación empleó el artículo “Horizontal Evaluation: Fostering Knowledge Sharing and Program Improvement within a Network” (Thiele et. al., 2007), como base para una competencia de becas de viaje para estudiantes universitarios. Esta Guía de usuario es una contribución muy bienvenida a la literatura, ya que proporciona instrucciones detalladas para llevar a cabo una EH. La Guía es especialmente útil, pues ha sido elaborada por un grupo de autores que han implementado varias EHs y han contribuido al desarrollo del enfoque. En esta Guía comparten sus amplios conocimientos y puntos de vista sobre el tema. A través del uso de la presente Guía, estoy seguro de que los grupos que están trabajando en redes y comunidades de práctica en todo el mundo encontrarán una herramienta útil para reflexionar y mejorar su trabajo. Douglas Horton Consultor independiente

VII

Índice Presentación

Introducción

XII

Capítulo 1 La eficiencia y eficacia de procesos de aprendizaje y el aporte de la Evaluación Horizontal

Capítulo 2 Contexto de aplicación y elementos básicos de la Evaluación Horizontal

Capítulo 3 Planificar y preparar la Evaluación Horizontal

» » » » » » » » » » »

Paso 1: Formar un Comité Organizador Paso 2: Elegir el facilitador Paso 3: Definir la experiencia Paso 4: Establecer los criterios de análisis Paso 5: Definir el Grupo Interno Paso 6: Definir el Grupo Externo Paso 7: Estructurar el taller Paso 8: Organizar la logística Paso 9: Preparar las presentaciones Paso 10: Planificar la visita de campo Paso 11: Adecuar el salón del taller

22 23 24 25 27 29 31 32 33 36 38

Capítulo 4 Implementar el taller de Evaluación Horizontal

» Sesión 1-1: Introducción al taller y presentación de los participantes » Sesión 1-2: Introducción a la experiencia y consolidación de los criterios de análisis » Sesión 1-3: Presentación de la experiencia por parte del Grupo Interno » Sesión 1-4: Discusión aclaratoria » Sesión 1-5: Elaboración de la matriz de percepción y del guión de entrevista » Sesión 2-1: Visita de campo: interacción con actores involucrados

42 44 45 45 46 49

VIII

» » » »

Sesión 2-2: Finalizar la matriz de percepción Sesión 3-1: Consolidación en plenaria de las percepciones Sesión 3-2: Formulación de sugerencias para la experiencia Sesión 3-3: Formulación de lecciones aprendidas, análisis de las sugerencias y definición de siguientes pasos » Sesión 3-4: Evaluación del taller

52 54 55 58 59

Capítulo 5 Seguimiento del taller de EH y perspectivas

Referencias Bibliográficas

Anexos Material para el facilitador

Presentación “Invertir en conocimientos produce siempre los mejores beneficios”. Benjamin Franklin (1706-1790)  Papa Andina - aprender es la base del desarrollo Buscando articular la investigación al desarrollo, la Iniciativa Papa Andina del Centro internacional de la Papa (CIP) y sus socios en los Andes han desarrollado enfoques y metodologías para facilitar la innovación en cadenas productivas. En este contexto han promovido el intercambio de experiencias con la finalidad de desarrollar capacidades, mejorar la gestión de los conocimientos y aumentar la competitividad del sector papero, involucrando organizaciones de investigación y desarrollo, y actores de la cadena productiva. Este aprendizaje colectivo, entre países y grupos de trabajo, ha demostrado ser clave para fomentar las capacidades complejas que la cooperación al desarrollo requiere en cada contexto. El fuerte énfasis de Papa Andina en estimular el aprendizaje entre diferentes actores ha generado metodologías que ahora son usadas en diversos rubros y contextos, en los Andes y otras partes del mundo. Devaux A., Horton D., Velasco C., Thiele G., López G., Bernet T., Reinoso I., Ordinola M. 2009. Collective Action for Market Chain Innovation in the Andes. Food Policy, Vol. 34, No. 1, pp.31-38

 Combinación de dos objetivos Durante varios años, Papa Andina organizó visitas de estudio entre los profesionales involucrados en la Iniciativa, impulsando así el intercambio de conocimientos entre Perú, Bolivia y Ecuador. En paralelo, hubo evaluaciones tradicionales por parte de expertos externos con el propósito de generar recomendaciones para mejorar el desempeño de las experiencias estudiadas. Las visitas de estudio fueron muy positivas para los participantes, en particular para los visitantes, quienes conocieron experiencias exitosas y relevantes para su propia práctica. De igual modo, estas visitas generaron ideas e insumos interesantes para optimizar el trabajo de quienes presentaron las experiencias. Sin embargo, en ocasiones, por una reflexión incompleta o inadecuada por parte de los involucrados en las experiencias evaluadas —o por falta de comprensión— ciertas recomendaciones no fueron tomadas en cuenta y las visitas no fueron siempre aprovechadas.

La metodología de Evaluación Horizontal (EH) fue concebida como una alternativa participativa que combina elementos de evaluación y elementos que promueven el aprendizaje colectivo entre los diferentes actores que conforman y colaboran en el marco de la Iniciativa Papa Andina. Se ha visto que el aprendizaje se maximiza cuando el proceso de aprendizaje se da entre “pares”, profesionales activos en un mismo campo, pero en distintos contextos. Este aspecto le da a la metodología el carácter de “evaluar para aprender” y no de “evaluar para juzgar”.  Desarrollo de la Evaluación Horizontal La EH nace como un método de aprendizaje, basado en el intercambio de experiencias y la evaluación. Es producto de un proceso de prueba y error por parte de Papa Andina para definir una técnica de aprendizaje, plasmada en un taller, que posibilita una óptima reflexión tanto en los conceptos como en la aplicación practica de una experiencia por parte de participantes que la conocen y participantes de otro entorno ajenos a ella. Hasta la fecha, siete aplicaciones han sido puestas en marcha. Las cuatro primeras, entre 2003 y 2005, permitieron desarrollar la metodología en los Andes con los socios de la Iniciativa Papa Andina, y comprobarla en Uganda. A partir del 2008, se empezó a promoverla como herramienta de aprendizaje con un grupo más amplio de instituciones y actores. Cada una de las aplicaciones generó lecciones importantes para mejorar la metodología. Experiencias donde la Evaluación Horizontal fue usada

Año 2003 2004 2005 2005 2008 2009 2009

Experiencia/caso de análisis Enfoque Participativo de Cadenas Productivas (EPCP) Articulación de demanda y oferta tecnológica. La experiencia del Proyecto INNOVA en Bolivia Plataformas multiactores para articular productores al mercado Uso del Enfoque Participativo de Cadenas Productivas (EPCP) Articulación comercial de productores de papa a la agroindustria La generación de innovaciones a través de la articulación de actores mediante la Plataforma Andibol La experiencia del CONPAPA en las provincias de Chimborazo, Tungurahua y Bolívar desde octubre 2006

Institución Líder Proyecto INCOPA Proyecto INNOVA

País Perú Bolivia

INIAP Prapace – CIP FOVIDA - proyecto InnovAndes

Ecuador Uganda Perú

PROINPA y Kürmi – proyecto Bolivia InnovAndes CONPAPA, INIAP y Fundación Ecuador MARCO – proyecto InnovAndes

 Hacia el uso en otros contextos Por el momento, de acuerdo con el enfoque de trabajo de la Iniciativa Papa Andina, la EH ha sido aplicada a experiencias de articulación entre productores y otros actores de la cadena productiva, y a experiencias de articulación de la investigación con el desarrollo. Sin embargo, se cree que la metodología tiene gran potencial en cualquier contexto y área de trabajo donde existe el reto de aprender de una experiencia con la participación de un grupo interno (personas involucradas en la experiencia) y un grupo externo (personas ajenas a ésta). Con la presente guía, el CIP y sus socios de Ecuador, Bolivia y Perú buscan contribuir con un bien público internacional que permita mejorar el aprendizaje colectivo de personas e instituciones involucradas en el complejo mundo de la investigación para el desarrollo.

André Devaux Líder de la Iniciativa Papa Andina

Graham Thiele Líder del proyecto Alianza Cambio Andino

XII

Introducción “Obrar es fácil, pensar es difícil; pero obrar según se piensa, es aún más difícil”. Johann Wolfgang von Goethe (1749 -1832)  Propósito de esta guía Muchas veces, el día a día de nuestro trabajo no nos deja sacar lecciones importantes, aquellas que nos permitirían repensar y redefinir nuestras actividades para así ser más eficientes y eficaces en lo que hacemos. Este documento presenta una metodología —la Evaluación Horizontal (EH)— que permite el aprendizaje entre personas y equipos de trabajo que realizan actividades similares en diferentes contextos. La EH es un método flexible de evaluación que combina la autoevaluación con una revisión externa por “pares”, creando una atmósfera favorable para el intercambio y el aprendizaje. La EH tiene como momento central un taller de tres días, enfocado en una experiencia específica, que sirve como “caso de análisis” para los participantes. El propósito de la guía es permitir a los potenciales usuarios de la EH entender esta metodología y aplicarla exitosamente. Brinda los conocimientos teóricos y prácticos para que el lector sea capaz de planificar e implementar una EH en su propio contexto. Thiele, G., Devaux, A., Velasco, C. y Manrique, K. 2008. Evaluación horizontal: Estimulando el aprendizaje entre “pares”. Resumen No. 15 de la Iniciativa Institucional Learning and Change (ILAC). Bioversity International, Rome. Thiele, G., Devaux, A., Velasco, C., and Horton, D. 2007. Horizontal evaluation: Fostering knowledge sharing and program improvement within a network. American Journal of Evaluation 28:493-508.

 Usuario de la guía La guía se orienta a personas responsables de liderar, coordinar o monitorear proyectos, y que tienen interés en fomentar el aprendizaje en su entorno, sea dentro del equipo de trabajo o del sector. En este sentido, la EH como método no se limita a aplicaciones en el agro o en el desarrollo rural —el contexto de donde nace—, sino que tiene el mismo potencial para promover el aprendizaje entre personas relacionadas a proyectos de salud, infraestructura, educación, turismo, organización civil, protección del medioambiente, etcétera.

XIII

Debido a que la aplicación de una EH requiere la intervención de un facilitador, la guía también incluye pasos y pautas que esta persona va a requerir para estructurar y liderar las diferentes sesiones de la EH.  Estructura de la guía Los cuatro capítulos que contiene la guía incluyen toda la información relevante que necesita una persona interesada en aplicar la EH: • El Capítulo 1 presenta conceptos básicos de procesos de aprendizaje. Explica cómo la EH influye en la eficiencia y eficacia del aprendizaje, y la construcción de capacidades esenciales para la práctica. • El Capítulo 2 brinda información sobre el contexto de aplicación de la EH. Da a conocer los elementos fundamentales que caracterizan la EH frente a evaluaciones convencionales. • El Capítulo 3 guía a la persona interesada en este método en los pasos a seguir para planificar y preparar un taller de EH. • El Capítulo 4 detalla las sesiones de un taller de EH y describe las pautas a tomar en cuenta al implementar cada sesión. • En los Anexos se incluyen una agenda de referencia para el taller de la EH y hojas de instrucción para cada sesión.  Símbolos y nomenclatura en la guía Con la finalidad de facilitar al lector la distinción entre diferentes tipos de información, se utilizan los siguientes símbolos a lo largo de la guía:

Conceptos teóricos

Tips prácticos para la aplicación de la metodología

Ejemplos concretos de aplicación de la metodología

Referencia bibliográfica para profundizar ciertos temas

Indicación de tiempo requerido para implementar una actividad

A lo largo de esta guía, el uso de la forma masculina o femenina para las referencias a personas incluye a ambos géneros.

XIV

Capítulo 1. La eficiencia y eficacia de procesos de aprendizaje y el aporte de la Evaluación Horizontal

Capítulo 1

La eficiencia y eficacia de procesos de aprendizaje y el aporte de la Evaluación Horizontal “Aprender sin reflexionar es malgastar la energía”. Confucio (551-479 a.C.)

Evaluación Horizontal: Aprender colectivamente – Guía de usuario

Capítulo 1. La eficiencia y eficacia de procesos de aprendizaje y el aporte de la Evaluación Horizontal

Contenido del capítulo Luego de presentar los factores relevantes en procesos de aprendizaje, este capítulo resalta las características que hacen de la Evaluación Horizontal (EH) una metodología original e interesante para promover la eficiencia y eficacia en procesos de aprendizaje alrededor de un tema definido, a nivel individual y grupal.

 Aprender: repetir y descubrir Aprender se refiere a la adquisición de nuevos conocimientos, habilidades y actitudes. Diferentes procesos de aprendizaje desarrollan distintas capacidades. Se puede diferenciar las siguientes dos formas de aprendizaje: Ausubel, P. D. 1981. Psicología Educativa, Trillas, México.

Aprendizaje repetitivo: la persona recibe información que memoriza, sin comprender su contenido ni relacionarlo con sus conocimientos previos. No encuentra sentido a lo aprendido, pero sí lo puede repetir. Aprendizaje significativo: la persona recibe información, descubriendo diversos contenidos y relaciones con sus conocimientos previos. La puede usar y adaptar a un nuevo contexto. Estas dos formas de aprendizaje implican diferentes maneras cómo un individuo se vincula con la información que recibe. En el primer caso, la información es proporcionada en su forma final y el individuo es un receptor de ella. En el segundo caso, el individuo más bien se enfrenta con un proceso donde recibe continuamente “pedazos de información” que siempre relaciona con información ya conocida y deriva así nuevas lecciones.  Promover aprendizajes significativos Los aprendizajes significativos son indispensables para adquirir capacidades relevantes para la práctica. La premisa para promover el aprendizaje significativo es que el proceso de aprendizaje conecte la nueva información con experiencias previas de la persona. Estos conocimientos existentes brindan una base para

Capítulo 1

Evaluación Horizontal: Aprender colectivamente – Guía de usuario

la percepción y comprensión de las nuevas ideas y conceptos. A su vez, los conocimientos existentes se amplían y modifican en este proceso de aprendizaje.  Mejorar el aprendizaje Existen distintos factores que influyen en un proceso de aprendizaje, en cuanto a su eficacia (cantidad de conocimientos adquiridos) y su eficiencia (relación entre la cantidad de conocimientos y el tiempo necesario para adquirirlos). En general, se diferencia entre factores externos, relacionados al contexto, y factores internos, que nacen de la persona involucrada en un proceso de aprendizaje. Barriga, A. F. y Hernandez, R. G. 1998. Estrategias docentes para un aprendizaje significativo. MacGraw Hill, México.

Factores externos • Tipo de información: relevancia de la información para la persona que aprende. • Estructura de la información: secuencia de “bloques de información”. • Medio de comunicación: la manera cómo la nueva información es transmitida. Factores internos • Experiencia: conjunto de conocimientos ya adquiridos. • Motivación/actitud: el deseo de involucrarse. • Concentración: la capacidad de recibir nueva información. • Inteligencia: la facultad de analizar y sintetizar nueva información. La calidad del aprendizaje se determina por la combinación de estos factores y la manera cómo interactúan, para promover la comprensión de nueva información en cada caso. De acuerdo con la Figura 1, el primer gran reto para un capacitador es identificar aquellos factores que tienden a perjudicar un proceso de aprendizaje y la comprensión. El segundo reto es reconocer e implementar maneras para mejorar el estado o la condición de estos factores, para así optimizar los resultados del proceso de aprendizaje.  Grabar para no olvidar Pocas lecciones tienen un efecto emocional tan fuerte como para que queden grabadas para siempre. La “regrabación” de cierta información —lecciones y conceptos— es básica para que esta información quede disponible a largo plazo y pueda ser usada en el futuro. Lo ideal es que la repetición de esta información se dé en diferentes momentos usando diversos medios, siendo el más efectivo la conversación personal con actores involucrados en cierta actividad.

Capítulo 1. La eficiencia y eficacia de procesos de aprendizaje y el aporte de la Evaluación Horizontal

Capítulo 1

Figura 1. Factores que influyen al proceso de aprendizaje

Factores externos Tipo de información

Estructura de la información

Medio de comunicación

Proceso de aprendizaje “quiero aprender”

“puedo aprender”

“estoy aprendiendo”

Factores internos Experiencia

Motivación

Concentración

Inteligencia

 Aplicar para comprender A veces cierta información es bien grabada, pero no es útil en la práctica porque no ha sido totalmente comprendida en el momento de su recepción. Para mejorar el grado de comprensión y asegurarse que la nueva información sea funcional —compatible para llegar a ser parte de la experiencia de una persona— hay solamente una cosa por hacer: ¡Aplicar lo aprendido! Al aplicar la nueva información en un contexto real, la persona puede darse cuenta si la información es comprendida o no. Las dificultades en el proceso de aplicación aclaran qué partes de esta información son críticas o difíciles de compatibilizar con la experiencia previa. A la vez, este proceso de adaptación y aplicación de información nueva, en un contexto real, facilita que estos conceptos se graben en la memoria de la persona, lo que favorece su uso en aplicaciones futuras.  Analizar y sintetizar Es fundamental estructurar los procesos de aprendizaje, especialmente en situaciones complejas, donde la cantidad de elementos de información dificulta la

Evaluación Horizontal: Aprender colectivamente – Guía de usuario

comprensión. Como un niño que vacía la caja de un rompecabezas y empieza a separar y ordenar las diferentes piezas antes de juntarlas y obtener una imagen (Figura 2), en ciertas situaciones, también nos conviene primero separar elementos para luego juntarlos y tener una idea cabal del conjunto. Estas etapas corresponden a las fases de análisis y de síntesis en un proceso de aprendizaje. Figura 2. Para armar un rompecabezas, primero separamos y ordenamos piezas (análisis) para luego juntarlas y obtener una imagen (síntesis). Algo similar ocurre en el proceso de aprendizaje.

 Internalizar y externalizar conocimientos Otro elemento que incide en procesos de aprendizaje es la consciencia que una persona tiene sobre sus conocimientos. Para que los procesos de aprendizaje tengan más efecto, es indispensable que ciertos conocimientos inconscientes —adquiridos en el pasado por una rutina profesional, por cultura o por idiosincrasia— se conviertan en conocimientos conscientes para que después sean aprovechados de forma sistemática en combinación con nueva información. Este proceso de concientización tiene dos etapas: la internalización y la externalización de conocimientos. La internalización de conocimientos requiere momentos de reflexión, en grupo o en forma de autoevaluación, donde cada persona compara sus conocimientos y su manera de pensar con aquellas de otras personas, analizando las diferencias y las razones que expliquen estas diferencias. La externalización de conocimientos implica oportunidades para expresar y comunicar nuevos conocimientos. Esto puede darse en situaciones donde es relevante que distintas personas compartan ciertos conocimientos o lecciones aprendidas.  Aprender a dos niveles En proyectos —donde las actividades son compartidas entre distintas personas— el aprender se debe dar a dos niveles de manera complementaria: (a) a nivel de la persona, y (b) a nivel del grupo/proyecto.

Capítulo 1. La eficiencia y eficacia de procesos de aprendizaje y el aporte de la Evaluación Horizontal

Aprender a nivel de un grupo es un reto considerable cuando participan actores de diferentes tipos, quienes traen una diversidad de experiencias y de conocimientos. En este contexto, aparte de la disposición de los integrantes del grupo de compartir experiencias y conocimientos, es importante contar con un proceso participativo y estructurado para el intercambio de información. Este proceso permite generar y consolidar aprendizajes colectivos y favorecer la construcción de capital social (Caja 1), el cual es imprescindible en proyectos donde se deben consensuar metas, objetivos y actividades.

Caja 1. ¿Qué es el capital social? El capital social se refiere al grado de colaboración entre diferentes integrantes de un grupo, y al uso compartido e individual de las oportunidades surgidas a partir de esta colaboración. El capital social se construye a partir de tres elementos: la confianza mutua, las normas efectivas y las redes sociales. El capital social es distinto del capital humano, que se refiere a capacidades a nivel personal que permiten optimizar procesos y resultados a base de conocimientos individuales. ¡A diferencia de otros tipos de capital, el capital social se pierde si no es usado! Narayan, D. 1999. Bonds and Bridges: Social Capital and Poverty. The World Bank.

Capítulo 1

Evaluación Horizontal: Aprender colectivamente – Guía de usuario

 Optimizar el aprendizaje con la Evaluación Horizontal La aplicación de la EH crea un contexto ideal para promover el aprendizaje a nivel individual y colectivo alrededor de un tema de interés. La metodología influye sobre el proceso de aprendizaje de diferentes maneras (Figura 3). • En cuanto a los factores externos, la EH influye en el proceso de aprendizaje mediante la presentación de información bien estructurada y relevante para los participantes, usando diversas fuentes y medios de comunicación: publicaciones, presentaciones PowerPoint®, entrevistas, discusiones, paneles, mesas redondas, etcétera. • En cuanto a los factores internos, la EH estimula el proceso de aprendizaje al involucrar a personas que tienen un alto interés en conocer la experiencia analizada y aprender de ella para su propio trabajo. La estructura del taller y una buena facilitación permiten mantener la motivación y concentración entre los participantes para optimizar el aprendizaje individual y colectivo. • En cuanto al proceso de aprendizaje en sí, la EH provee un contexto donde el intercambio de información se da entre pares, evitando la situación común donde “el que sabe enseña al que no sabe”. Los conocimientos generados son así más funcionales: se orientan a ser usados para solucionar problemas entre los participantes. A la vez, la EH promueve conscientemente la creación de aprendizajes significativos mediante comparaciones constructivas, es decir, la discusión sobre las variaciones de percepción que existen acerca de un mismo tema entre participantes con diferentes experiencias. La EH capitaliza este contraste de percepciones para el aprendizaje a nivel individual y grupal, utilizando una secuencia de sesiones que dan la oportunidad de internalizar, analizar, externalizar y sintetizar varios tipos de información.  Beneficios de la EH En relación a lo expuesto, la EH proporciona algunos beneficios interesantes a nivel general: • Promueve un aprendizaje funcional y significativo, vinculado a un tema de interés en la práctica de los participantes. • Desarrolla capital social (confianza) dentro y entre diferentes grupos de trabajo. • Ayuda a validar y a compartir lecciones de aprendizaje entre personas involucradas en actividades similares (aprendizaje colectivo). • Mejora la capacidad analítica de diferenciar entre hechos y percepciones.

Oportunidades para internalizar, analizar externalizar y sistemizar.

Motivación

Concentración

Factores internos

“puedo aprender”

Proceso de aprendizaje

Estructura de la información

Inteligencia

“estoy aprendiendo”

Medio de comunicación

Participantes con amplia experiencia en el tema central del taller, muy motivados para aprender de la experiencia que se presenta y analiza.

Experiencia

“quiero “quiero aprender” aprender”

Tipo de información

Factores externos

Información relevante para la práctica de los participantes, presentada de manera estructurada mediante diferentes medios de comunicación.

Figura 3. El aporte de la Evaluación Horizontal a la eficiencia del proceso de aprendizaje

Capítulo 1

Oportunidades para aplicar y consolidar lo aprendido en un contexto propio.

Capítulo 1. La eficiencia y eficacia de procesos de aprendizaje y el aporte de la Evaluación Horizontal

Evaluación Horizontal: Aprender colectivamente – Guía de usuario

De manera más específica, la EH aporta beneficios a los participantes, tanto a nivel individual como a nivel grupal: • Las personas involucradas en la experiencia evaluada (Grupo Interno) acceden a nueva información y perspectivas, lo que les permite considerar su situación desde otros puntos de vista y derivar conclusiones para mejorar su accionar en el futuro. • Las personas externas, invitadas a participar en la evaluación (Grupo Externo), se benefician de los nuevos conocimientos y de las lecciones aprendidas de la experiencia evaluada, lo que les facilita optimizar su trabajo en su propio contexto. • En ambos grupos, el Grupo Interno y el Grupo Externo, la EH posibilita socializar y priorizar lecciones aprendidas y sugerencias para mejorar su desempeño. Este consenso es sumamente importante, porque representa la base para mejorar el trabajo en equipo.

Capítulo 2. Contexto de aplicación y elementos básicos de la Evaluación Horizontal

Capítulo 2

Contexto de aplicación y elementos básicos de la Evaluación Horizontal “No hay que empezar siempre por la noción primera de las cosas que se estudian, sino por aquello que puede facilitar el aprendizaje”. Aristóteles (384 a.C.-322 a.C.)

Capítulo 2

Evaluación Horizontal: Aprender colectivamente – Guía de usuario

Capítulo 2. Contexto de aplicación y elementos básicos de la Evaluación Horizontal

Este capítulo inicia con una descripción del contexto en el que la Evaluación Horizontal (EH) ofrece un valor agregado en procesos de aprendizaje y la compara con otras formas de evaluación. Sigue con una definición de sus elementos distintivos y concluye con las condiciones requeridas para que funcione de manera óptima.

 Contexto: evaluar para aprender El aprender está estrechamente relacionado a la evaluación. La evaluación se entiende como el análisis de una actividad (proceso, proyecto), enfocado a determinar la relevancia de sus elementos en un cierto contexto, así como a la relación entre los resultados obtenidos y la inversión de esfuerzo y tiempo. Así, la evaluación genera aprendizajes significativos que se pueden traducir en importantes ahorros de tiempo y de esfuerzo en el futuro. Para aumentar la eficacia y eficiencia de una actividad, es indispensable someterla a una evaluación en ciertos momentos: • ex ante – para estudiar la factibilidad de la actividad. • durante el desarrollo de la actividad – para controlar y verificar el cumplimiento de sus objetivos. • ex post – para analizar los resultados de la actividad. Como una evaluación externa típica, la EH saca lecciones del análisis, realizado en un momento dado, de una actividad, y permite así mejorar su desempeño a corto y mediano plazo. Pero más allá de estas lecciones puntuales, su valor agregado reside en el proceso de evaluación, el cual ayuda a construir capacidades importantes en los participantes, a nivel de individuos o del grupo. Estas capacidades favorecen un mejor desempeño a largo plazo, en la actividad analizada e incluso en otras actividades. En contraste con la evaluación externa, que tiene cierta verticalidad en su manera de definir roles entre el evaluador y los evaluados, la EH parte de un concepto más horizontal. Cuenta con la participación de personas internas involucradas en la actividad y de personas externas ajenas a la misma. Inicia con la premisa de que todos los participantes (internos y externos) pueden ser evaluadores y aprender

Capítulo 2

Contenido del capítulo

Evaluación Horizontal: Aprender colectivamente – Guía de usuario

a la vez. Eso contribuye a crear un ambiente favorable a la participación, y a la voluntad de aprender y mejorar. En este sentido, la diversidad de los actores enriquece el proceso de evaluación, que se nutre de las diferentes experiencias y puntos de vista disponibles. También favorece la apropiación de las conclusiones por los participantes. Sin embargo, para cierto público externo (por ejemplo, los financiadores de la actividad evaluada), las conclusiones de una EH pueden no aportar la misma credibilidad y fuerza concluyente que las conclusiones de una evaluación externa. La elección del tipo de evaluación dependerá de los criterios que se describen en la Figura 4. Figura 4. Diferencias entre la evaluación externa y la Evaluación Horizontal de acuerdo con varios criterios

Criterios Interés de aplicación

Productos esperados Liderazgo en el proceso Participantes

Metodología

Flujo de la información

Evaluación Externa Evaluación Horizontal Recibir la opinión de expertos externos sobre Derivar y socializar aprendizajes y la calidad de una actividad (proyecto, proceso) conclusiones de una actividad para mejorar y cómo mejorarla. su propio trabajo. Documentos con conclusiones imparciales Documentación de aprendizajes colectivos, acerca de cómo se debe optimizar el trabajo compromisos y pasos concretos para en el futuro. optimizar el trabajo posterior. Experto externo Facilitador Personas quienes implementan la actividad Personas involucradas en la actividad y y/o beneficiarios de esta. actores afines. Misión estructurada por el experto, incluyendo Taller estructurado según una metodología, generalmente una revisión de literatura y incluyendo el intercambio de información de entrevistas sobre temas de interés para la interés y trabajos grupales. evaluación. Vertical: los involucrados y beneficiarios Horizontal: los participantes relacionados a informan al experto acerca de la actividad. la actividad comparten información entre ellos.

 Elementos básicos de la EH Como método de evaluación y aprendizaje, la EH tiene elementos característicos que la diferencian de otras herramientas de análisis y de evaluación. Estos elementos son introducidos de forma resumida aquí. Se presentan de manera más funcional e integrada en el siguiente capítulo, enfocado en la aplicación práctica de la EH. Su relación está ilustrada en la Figura 5.

Capítulo 2. Contexto de aplicación y elementos básicos de la Evaluación Horizontal

Figura 5. Interacción entre los diferentes elementos de la EH Conclusiones propias

Grupo Interno Indicador Criterio 2 2

Indicador Criterio 3 3

Aprendizaje colectivo

Presentación Auto-Evaluación

La Experiencia Evaluación Reflexión Indicador Criterio 1

Indicador Criterio 22

Grupo Externo

Facilitador

Criterio 3

Conclusiones propias

La experiencia Para que la aplicación de la EH sea bien enfocada, es esencial definir con anticipación el tema central de análisis o la experiencia. Este tema central puede ser el uso de una metodología en un contexto dado, una de las actividades de un proyecto o un conjunto de actividades. La experiencia se debe enmarcar en un período de tiempo definido, es decir, debe tener un inicio y un fin. Los criterios de análisis Hay muchos elementos que pueden ser evaluados en una experiencia. Para centrar el proceso de análisis y de aprendizaje, es necesario definir con claridad los criterios de análisis. La definición explícita de estos criterios es esencial para enfocar el taller de EH y la presentación de la experiencia por parte del Grupo Interno. El Grupo Interno En la EH interviene un grupo de personas que conoce la experiencia muy de cerca: el Grupo Interno. Es su responsabilidad presentarla y proveer toda la información necesaria (contexto, actividades, actores, logros, entre otros) para que la evaluación sea factible de acuerdo con los criterios definidos anteriormente.

Capítulo 2

Indicador Criterio 1

Evaluación Horizontal: Aprender colectivamente – Guía de usuario

El Grupo Externo La EH cuenta también con un grupo de personas que ejecuta una experiencia similar, pero en un contexto diferente: el Grupo Externo. Su rol es conocer la experiencia, reflexionar sobre esta a partir de la información recibida y, según los criterios establecidos, derivar lecciones relevantes para su propio trabajo y sugerencias útiles para el Grupo Interno. El taller estructurado El elemento central de la EH es un taller de tres días, cuya estructura combina presentaciones sobre la experiencia, visitas a los actores en su contexto, trabajo grupal y discusiones en plenaria. Todas las sesiones apuntan a proveer la información necesaria para optimizar la evaluación compartida y el aprendizaje entre los participantes en función a los criterios definidos. El facilitador Otro elemento clave de la EH es el facilitador, la persona responsable de organizar el proceso de evaluación y aprendizaje, y moderar las sesiones. El facilitador debe conocer la metodología de la EH en profundidad, así como los objetivos planteados para su aplicación. Para jugar un rol neutral, esta persona no tiene que ser miembro ni del Grupo Interno ni del Grupo Externo. Además, debe ser sensible a la perspectiva de género y empoderamiento. Este individuo es clave, ya que permite generar reflexiones relevantes sobre las diferencias en las condiciones económicas y sociales que los actores enfrentan; de igual manera, en los distintos roles entre hombres y mujeres, y entre actores con diversas responsabilidades y estatus. El Grupo Barómetro Es un grupo pequeño que se forma al inicio del taller para analizar su marcha y proponer ajustes de ser necesario. Está compuesto por uno o dos representantes del Grupo Interno y Grupo Externo, y por el facilitador. Se reúne al final de cada día para evaluar la calidad de la EH en varios aspectos: ambiente de trabajo, agenda y contenidos, implementación de sesiones, calidad de los resultados obtenidos en grupos de trabajo, aspectos logísticos, etc. Su rol principal es identificar aspectos de conducta que favorecen o entorpecen un ambiente propicio para el aprendizaje. El Grupo Barómetro se constituye en un fuerte respaldo para el facilitador por sus sugerencias de ajuste para mejorar el taller de EH.  Elementos que limitan el uso de la EH La EH, como método de evaluación y de aprendizaje, también tiene ciertas limitaciones. Su validación empírica a la fecha ha demostrado que el uso de la EH puede ser limitado por los siguientes factores:

Capítulo 2. Contexto de aplicación y elementos básicos de la Evaluación Horizontal

• Capacidad analítica de los participantes: La EH requiere buenas capacidades de reflexión por parte de ambos grupos de actores, el Grupo Interno y el Grupo Externo. En este sentido, la EH se dirige a personas con cierto nivel de educación formal y con tolerancia para largos momentos de análisis. Si bien sus principios son válidos para otros grupos, este método necesita simplificaciones importantes si va a ser aplicado a personas con capacidades analíticas menos desarrolladas. En este caso, se debe tener especial cuidado en no regresar a un estilo más tradicional y vertical de transferir información, donde uno o pocos expertos enseñan a los demás. • Acceso a un facilitador adecuado y preparado: El facilitador juega un papel fundamental en la aplicación de la EH. A través de la implementación de cada sesión, su responsabilidad es la de crear un ambiente de confianza, favoreciendo una interacción constructiva y conduciendo al grupo hacia la obtención de aprendizajes significativos. En consecuencia, es indispensable una buena preparación del facilitador, en relación al conocimiento conceptual y práctico de la EH, así como en el manejo de grupos en procesos participativos. • Disponibilidad de presupuesto para construir capacidades entre proyectos: En muchos casos, los proyectos tienen un presupuesto para financiar una evaluación convencional, donde se involucran pocas personas, pero no para financiar un taller con más de una docena de personas. En este sentido, la aplicación de la EH requiere de un presupuesto para actividades de aprendizaje y empoderamiento, que puede resultar difícil de conseguir por un proyecto, más aún si no ha sido previsto desde su planificación. Finalmente, la EH puede no ser apropiada ni suficiente para evaluar un proyecto con un enfoque de rendición de cuentas. En este tipo de evaluaciones, generalmente solicitadas por el donante del proyecto, se exige cierto nivel de independencia de los evaluadores, y resultados concluyentes que permitan exigir cambios en el proyecto a futuro. En el caso de la EH, las conclusiones para el Grupo Interno son “sugerencias para mejorar”. Sin embargo, la EH ha probado ser un excelente incentivo para sistematizar experiencias, y una buena preparación y complemento de evaluaciones más formales.

Capítulo 2

Evaluación Horizontal: Aprender colectivamente – Guía de usuario

Capítulo 3. Planificar y preparar la Evaluación Horizontal

Capítulo 3

“No basta dar pasos que puedan conducir hasta la meta; sino que cada paso sea una meta, sin dejar de ser un paso”. Eckerman Johann Meter

Capítulo 3

Planificar y preparar la Evaluación Horizontal

Evaluación Horizontal: Aprender colectivamente – Guía de usuario

Capítulo 3. Planificar y preparar la Evaluación Horizontal

Contenido del capítulo Este capítulo expone los diferentes pasos que se requieren planificar para usar la Evaluación Horizontal (EH) en un contexto dado. También lleva a considerar detalles importantes mediante tips y conceptos teóricos básicos.

• Experiencia: Dentro de un proyecto en marcha, que permita introducir mejoras, se halla una experiencia suficientemente desarrollada para proveer materia evaluable de dónde aprender. Esta experiencia debe ser muy bien definida para que pueda ser presentada y analizada en un taller de tres días. • Contexto: Hay interés por parte de los actores involucrados en la experiencia identificada por exponer su información y analizarla con personas externas. Asimismo, existe una relación con personas externas, involucradas en actividades similares a las expuestas en la experiencia, y capaces de expresar críticas constructivas. Se debe asegurar que el proceso de planificación sea lo suficientemente participativo para permitir al Grupo Interno apropiarse de cada paso (Figura 6). Figura 6. Los 11 pasos para planificar la Evaluación Horizontal Taller EH Paso 11 Adecuar el salón del taller Paso 10 Paso 9 Paso 8 Paso 7 Paso 6 Paso 5 Paso 4 Paso 3 Paso 2

Planificar la visita de campo

Preparar las presentaciones Organizar la logística

Estructurar el taller

Definir el Grupo Externo

Definir el Grupo Interno

Definir los criterios de análisis

Definir la experiencia

Elegir el facilitador

Paso 1 Formar un Comité Organizador

Capítulo 3

El éxito de la aplicación de la EH depende de la calidad del trabajo preparatorio. La planificación debe empezar al menos dos meses antes del taller. Antes de iniciarla, es necesario analizar las siguientes condiciones que deben cumplirse para que se pueda realizar la EH:

Evaluación Horizontal: Aprender colectivamente – Guía de usuario

Paso 1: Formar un Comité Organizador La planificación de la EH empieza con la formación de un pequeño Comité Organizador. Este define con precisión la experiencia a analizarse y planifica la implementación de la EH según los siguientes pasos, detallados a lo largo del capítulo: • Definir los términos de referencia y contratar el facilitador. (Paso 2) • Definir con precisión una experiencia interesante dentro del proyecto en marcha y los criterios a emplearse para analizarla. (Pasos 3 y 4) • Seleccionar los integrantes del Grupo Interno y del Grupo Externo. (Pasos 5 y 6) • Supervisar las actividades y logística necesarias a cargo del Grupo Interno para organizar e implementar el taller. (Pasos 7 a 11) En el transcurso de la preparación e implementación de la EH, el Comité Organizador tiene que poner especial cuidado en mantener el espíritu de trabajo que requiere la EH (Caja 2). Caja 2. Espíritu de la EH La EH requiere una atmósfera de confianza, donde los actores se sientan a gusto de compartir información. Es importante preparar y cultivar dicha atmósfera entre los integrantes del Comité Organizador y los participantes, pero también entre los participantes y los actores a los que se visita. Desde el principio, el Comité Organizador tiene que sumar esfuerzos con el facilitador para crear y mantener esta atmósfera, aprovechando todas las oportunidades para reafirmar el espíritu de la EH. Esto implica las siguientes acciones: • • • •

Invitar sólo a actores que tienen una actitud constructiva frente a otros. Escoger un facilitador capaz de poner en práctica este espíritu. Enfatizar continuamente que se trata de conocer y comprender, y no de evaluar para juzgar. Fomentar y practicar la idea de que se puede aprender de los errores.

El Comité Organizador incluye por lo menos las siguientes personas: • Un representante de la organización/proyecto que tiene interés en aplicar la EH, como el donante o un supervisor de proyecto.

Capítulo 3. Planificar y preparar la Evaluación Horizontal

• Un representante de la organización/proyecto que conduce o es parte de la experiencia de interés. (Grupo Interno) • Una persona que apoya toda la logística necesaria para llevar a cabo el taller, incluyendo el envío de invitaciones, reservaciones de lugares, la organización de visitas, etcétera. (Grupo Interno) • Tan pronto identificado, el facilitador se unirá al Comité Organizador. Es importante involucrarlo de forma inmediata con el fin de que tenga un período para familiarizarse con la metodología, los objetivos de la EH y la experiencia a ser evaluada.

Paso 2: Elegir el facilitador Es responsabilidad del Comité Organizador definir los términos de referencia (TdRs) y seleccionar a la persona que debe actuar como facilitador en el taller de EH. Para asegurar que el facilitador pueda desempeñar su rol, del cual depende el éxito de la EH, es aconsejable contratar a un profesional con las cualidades básicas de un buen facilitador: imparcialidad, capacidad analítica y sintética, disposición para resolver conflictos, destreza para expresarse claramente, etc. Además, debe ser una persona que tenga un buen conocimiento y comprensión de los temas centrales de la EH y del contexto en el que se desarrolla la metodología. Los TdRs para el facilitador tienen que ser muy específicos. Se recomienda considerar los siguientes puntos: • • • • •

Ser parte del Comité Organizador y participar en sus reuniones. Elaborar un borrador de la agenda del taller. Definir los ambientes o lugares que se requerirán durante el taller. Preparar los materiales que facilitarán el trabajo en grupos durante el taller. Preparar una presentación introductoria con los objetivos del taller, el programa y las pautas más importantes de la metodología de EH. • Facilitar las sesiones del taller. • Elaborar un informe del taller.

Capítulo 3

Es recomendable que uno de los integrantes del Comité Organizador conozca la EH en detalle para apoyar a las demás en la aplicación de esta metodología.

Evaluación Horizontal: Aprender colectivamente – Guía de usuario

No se debe subestimar la importancia de desarrollar TdRs muy claros para el facilitador. Esto asegura que su trabajo y el de las demás personas del Comité Organizador sean complementarios. La elaboración de los TdRs puede tomar un par de horas, incluyendo la interacción entre los miembros del Comité Organizador. ¡Lo que quizás va a requerir más tiempo es encontrar a una persona que asuma este rol!

Paso 3: Definir la experiencia Un paso clave en el proceso de planificación es la definición de la experiencia: ¿Qué actividades/prácticas/aplicación de metodologías, entre otras pueden ser analizadas mediante la EH para generar importantes aprendizajes a nivel personal y grupal? La identificación y definición de la experiencia depende de los objetivos que tenga el Comité Organizador con respecto al aprendizaje en su(s) institución(es). La lista de preguntas incluidas en la Caja 3 puede ser de ayuda en las discusiones iniciales a nivel del Comité Organizador para definir y detallar la experiencia a ser analizada en el marco de la EH. Caja 3. Preguntas que ayudan a definir la experiencia • • • • •

¿Cuáles son los temas centrales de interés para la mayoría de las personas involucradas en el proyecto (Grupo Interno)? ¿Cuáles son las limitaciones existentes en el proyecto sobre las que se quiere tener una perspectiva externa (Grupo Interno)? ¿Cuáles temas y elementos del proyecto son de interés para los visitantes (Grupo Externo)? ¿Qué actividades han generado resultados, aprendizajes y capacidades concretas y relevantes que se prestan para ser expuestas y visitadas en este contexto? ¿Que hipótesis de impacto sustenta el proyecto y sería útil validar?

El resultado concreto de este paso es una definición explícita —por escrito— de la experiencia, que aclara de manera concisa: • Qué • Cómo

~ ~

actividades metodología, tecnología, enfoque

Capítulo 3. Planificar y preparar la Evaluación Horizontal

• Quién • Dónde • Cuándo

~ ~ ~

actores involucrados lugar fecha de inicio y de fin de la experiencia

La Caja 4 da algunos ejemplos, buenos y malos, de definiciones de experiencias. Caja 4. Buenos y malos ejemplos de definiciones de experiencias

“conocer bien el proyecto ProVida”. “aprender lecciones importantes para luchar contra la mosca blanca”. “mejorar las capacidades para producir hortalizas”. “la producción de hortalizas orgánicas por los productores de la asociación ProVida en el Valle del Chillón (Lima, Perú) del 2005 a la fecha”. “el manejo de plagas con técnicas ancestrales en el altiplano boliviano, promovidas por la ONG AGRUCO (Cochabamba, Bolivia) entre 2002 y 2008”. “la producción de hortalizas bajo riego en la comunidad de Licto (Ecuador) desde 1999 a la fecha”.

Es útil usar un rotafolio o una pizarra para visualizar los acuerdos y escribir la frase que describa la experiencia. Una vez escrita, es más fácil modificar la descripción, para que quede acordada entre todos. Este paso puede requerir media jornada de trabajo del Comité Organizador.

Paso 4: Establecer los criterios de análisis Cada experiencia tiene muchos elementos que podrían ser evaluados y de los cuales es posible aprender. Para definir qué información debe ser compartida y la manera de analizarla, es importante establecer explícitamente los criterios de análisis. Estos criterios se refieren a aspectos interesantes de la experiencia para ser evaluados. En este sentido, los criterios de análisis expresan implícitamente los objetivos de aprendizaje que tenga el Grupo Interno para poder mejorar su trabajo —aprovechando el acceso a los conocimientos del Grupo Externo—.

Capítulo 3

“La experiencia que se va evaluar en el contexto de la EH es…”

Evaluación Horizontal: Aprender colectivamente – Guía de usuario

Se recomienda definir tres o cuatro criterios de análisis —diferentes y complementarios— para que el proceso de evaluación y aprendizaje sea manejable durante el taller. A la vez es necesario plasmar cada criterio en una pregunta, que ayude a los participantes de la EH a comprender qué elementos tomar en cuenta. La Caja 5 presenta un ejemplo de criterios de análisis con sus respectivas preguntas. Caja 5. Ejemplos de criterios de análisis usados en una EH en el Perú En 2008, el proyecto regional InnovAndes del Centro Internacional de la Papa (CIP) organizó una EH involucrando sus socios de Bolivia, Ecuador y Perú. El objetivo era evaluar y aprender de la intervención de la Asociación Fomento de la Vida (FOVIDA), una ONG peruana que trabaja con campesinos alto andinos para mejorar su acceder a nuevos canales de venta para su producción de papa. La experiencia fue definida de la siguiente manera: “La articulación de pequeños productores de papa al mercado mediante la intervención de FOVIDA desde 2006”. La hipótesis principal de trabajo del Grupo Interno era que mediante la intervención de FOVIDA, se lograban articular pequeños productores al mercado, mejorar capacidades de todos los actores involucrados, y alcanzar un empoderamiento creciente de los productores, lo que aseguraba la sostenibilidad de los resultados del proyecto. Por lo tanto, se decidió enfocar la evaluación sobre tres aspectos de la experiencia, explícitamente descritos por los siguientes criterios de análisis y preguntas: • Acceso al mercado: ¿En qué medida la experiencia ha permitido a los agricultores acceder a nuevos y mejores canales de distribución para su papa? • Capacitación/aprendizaje: ¿Cuáles han sido las competencias más relevantes (productivas, organizacionales, comerciales y asociativas) que los diferentes actores han adquirido a lo largo de la experiencia, y cómo han contribuido a conseguir mayor impacto? • Sostenibilidad y empoderamiento: ¿Cómo ha evolucionado el rol y las funciones de los distintos actores (agricultores, FOVIDA, empresa privada etc.) a lo largo de la experiencia y cómo han contribuido a lograr mayor sostenibilidad y empoderamiento, tanto para hombres como para mujeres?

Es aconsejable que los miembros del Comité Organizador inviten a varios actores del Grupo Interno a validar y ajustar los criterios en un pequeño foro (puede ser por correo electrónico) antes del taller para asegurarse que sean claros, precisos, complementarios y bien enfocados.

Capítulo 3. Planificar y preparar la Evaluación Horizontal

Es importante que por lo menos un representante del Grupo Interno esté involucrado en la definición de los criterios de análisis, fomentando así su motivación por compartir información y participar activamente en el taller.

La definición de los criterios de análisis requiere por lo menos de un mediodía de trabajo del Comité Organizador. De igual manera, la definición de los criterios permite, en un proceso iterativo, obtener una mayor claridad sobre la definición de la experiencia en sí.

Paso 5: Definir el Grupo Interno De acuerdo con la experiencia definida, el Comité Organizador elabora una lista de las personas que deben conformar el Grupo Interno. Éste tiene que estar constituido por personas que ejecutan la experiencia o que poseen un cargo de supervisión. En fin, sus integrantes deben tener un buen entendimiento de la experiencia sujeta de análisis. Para asegurar una presentación lo más representativa posible de la experiencia, es esencial balancear la composición del Grupo Interno, incluyendo aspectos de género, edad, entre otros, según sean relevantes.

Capítulo 3

La tentación de formular criterios que incluyan diferentes aspectos es grande. Sin embargo, se recomienda priorizarlos. Para facilitar su comprensión, se sugiere definir criterios de manera sencilla y corta: con una palabra clave y una pregunta.

Evaluación Horizontal: Aprender colectivamente – Guía de usuario

Las funciones del Grupo Interno son las siguientes: • Orientar al Comité Organizador sobre sus intereses para la aplicación de la EH y colaborar en la definición de los criterios de análisis y de la experiencia. • Preparar materiales relacionados con la experiencia antes del taller. • Exponer la experiencia (presentaciones, feria) durante el taller. • Brindar toda la información requerida para planificar e implementar la logística necesaria para el taller, incluyendo: invitación al taller, compra de materiales para el taller, reserva de locales, organización de la visita al campo, etc. Este trabajo es coordinado con la persona encargada de la logística del Comité Organizador. La Caja 6 da un ejemplo de la conformación de un Grupo Interno. Caja 6. Ejemplo de la formación de un Grupo Interno en una aplicación de la EH en el Ecuador En 2005 se llevó a cabo una EH liderada por el Instituto Nacional Autónomo de Investigaciones Agrícolas del Ecuador (INIAP) y CIP sobre plataformas de concertación que articulan productores de papa al mercado. Se decidió incluir tres tipos diferentes de socios en el Grupo Interno: • Agricultores, para compartir información de las comunidades • Técnicos de ONGs, para compartir información operativa del proyecto. • Técnicos de INIAP y CIP, para compartir información estratégica. De los 14 participantes que formaron este grupo, cuatro fueron agricultores, dos técnicos de ONGs, seis de INIAP y uno de CIP. Los agricultores fueron seleccionados a base de su experiencia con las plataformas y capacidad para expresarse en público e intervenir en discusiones. Los técnicos de ONGs elegidos eran las personas que mostraban más involucramiento operativo en la experiencia. De parte de INIAP y CIP participaron todos los técnicos que tenían relación con la plataforma. Se contó con la participación de dos mujeres. Reinoso, I. y Monteros, C. (Eds.) 2005. Plataformas de concertación para vincular agricultores y agricultoras con el mercado. Agencia Suiza para el Desarrollo y la Cooperación (COSUDE), Instituto Nacional Autónomo de Investigaciones Agropecuarias (INIAP), Centro Internacional de la Papa (CIP). Quito, Ecuador. 45 p.

Capítulo 3. Planificar y preparar la Evaluación Horizontal

El Grupo Interno no debe tener más de 10 a 15 personas, para que las discusiones de grupo sean manejables. También es fundamental tomar en cuenta que las personas que se elijan, además de tener un buen conocimiento sobre la experiencia, deben tener una actitud positiva hacia el intercambio de información y la recepción de sugerencias, así como una capacidad de autocrítica. ¡Estas características son claves para propiciar un ambiente que favorezca el aprendizaje!

Paso 6: Definir el Grupo Externo Igual que para el Grupo Interno, el Comité Organizador elabora una lista con las personas que formen el Grupo Externo. Este grupo está integrado por individuos con actividades afines a los temas centrales de la EH, lo que les da la capacidad de analizar la experiencia de acuerdo con su propia experiencia. El perfil de los miembros del Grupo Externo puede variar, incluyendo: • Personas que llevan a cabo actividades similares a las del proyecto, pero en otro contexto. • Personas que representan organizaciones activas en el entorno del proyecto. • Personas que desempeñan un rol de coordinación estratégica en el proyecto. • Personas que representan el donante del proyecto. • Personas con mucha experiencia en los temas a ser analizados. El Comité Organizador debe hacer una rigurosa selección de los integrantes del Grupo Externo para que la evaluación sea de alta calidad. En primer lugar, tienen que ser personas con un interés genuino en aprender. En segundo lugar, deben estar en condiciones de contribuir a la EH a base de experiencias propias, relevantes para la experiencia a ser evaluada. Finalmente, se busca representatividad en los aspectos de género, edad y otros que se consideren pertinentes. La función del Grupo Externo es participar activamente en el taller de la EH con una actitud crítica y constructiva hacia la experiencia presentada, contribuyendo a generar reflexiones relevantes para el proceso de aprendizaje.

Capítulo 3

Si bien este paso puede requerir poco tiempo, es importante no subestimarlo puesto que de la selección de los integrantes del Grupo Interno depende la calidad de las presentaciones que se ofrezcan en el taller.

Evaluación Horizontal: Aprender colectivamente – Guía de usuario

La Caja 7 da un ejemplo de cómo el Grupo Externo fue conformado en un caso real. Caja 7. La formación del Grupo Externo en una EH en Uganda En 2005 se usó la EH para evaluar la implementación del Enfoque Participativo en Cadenas Productivas (EPCP), una metodología participativa que permite analizar, identificar e implementar innovaciones con diferentes actores en un contexto de cadena productiva. La implementación del EPCP era parte de un proyecto de capacitación que apuntaba a compartir con Uganda esta metodología desarrollada en los Andes. El Grupo Externo era un conjunto de distintos actores, incluyendo: • Dos representantes del proyecto de los Andes. • Un representante del donante. • Tres personas invitadas de Kenya y Tanzania, con actividades similares y con interés para conocer la metodología del EPCP. • Un experto en procesos de capacitación en proyectos de desarrollo. • Un experto en la metodología EPCP. La diversidad de actores, con sus diferentes experiencias y puntos de vista, enriqueció mucho las discusiones del grupo, generando aprendizajes muy interesantes, relevantes y valiosos para el Grupo Interno. Horton D. 2008. Facilitating pro-poor market chain innovation: An assessment of the participatory market chain approach in Uganda. Working Paper No. 2008 - 1, International Potato Center (CIP), Lima, Peru.

El Grupo Externo no debe superar las 12 personas para facilitar el trabajo grupal. Todos tienen que demostrar una actitud constructiva y un interés en aprender. ¡Es sumamente importante evitar la participación de personas con tendencia a expresar sus opiniones de manera inadecuada —sobre todo críticas no constructivas—! Es clave asegurar que el Grupo Externo termine siendo conformado por personas que juntas forman un buen equipo. Este paso pueda tomar hasta una hora.

Capítulo 3. Planificar y preparar la Evaluación Horizontal

Paso 7: Estructurar el taller Una tarea sumamente importante es la de establecer la agenda del taller de la EH. Las aplicaciones de la EH hasta la fecha han permitido preparar una agenda de referencia (Figura 7, ver también Anexo I, p.75) que contempla un taller de tres días, estructurado alrededor de sesiones que se adaptan a cada contexto de aplicación.

Sesión Sesión 1-1 Día 1

Sesión 1-2 Sesión 1-3 Sesión 1-4 Sesión 1-5

Día 2

Sesión 2-1 Sesión 2-2 Sesión 3-1

Día 3

Sesión 3-2

Sesión 3-3 Sesión 3-4

Elementos de agenda Introducción al taller y presentación de los participantes Introducción a la experiencia y consolidación de los criterios de análisis Presentación de la experiencia por parte del Grupo Interno Discusión aclaratoria Trabajo grupal: elaboración de la matriz de percepción y del guión de entrevista Visita al campo: interacción con actores involucrados en la experiencia Trabajo grupal: finalización de la matriz de percepción Plenaria: consolidación de la percepción de la experiencia Trabajo grupal: formulación de sugerencias para la experiencia y presentación (en plenaria) Trabajo grupal: formulación de lecciones aprendidas, análisis de sugerencias y propuesta de siguientes pasos (en plenaria) Evaluación y cierre del taller

Propósito Conocer a las personas y sus expectativas Consensuar cómo se va a evaluar la experiencia Conocer la experiencia (análisis) Conocer la experiencia (análisis) Analizar lo escuchado en grupo. Identificar elementos no claros (síntesis) Analizar la información de actores involucrados (análisis) Derivar percepciones compartidas (síntesis) Analizar y sintetizar las percepciones Consolidar y socializar sugerencias para la experiencia (síntesis) Capitalizar lecciones y sugerencias definiendo pasos concretos para llevarlas a la práctica Consolidar el capital social. Sugerir cómo mejorar la EH

La agenda de referencia incluye presentaciones tradicionales (con PowerPoint®), trabajos grupales (Grupo Interno y Grupo Externo), visitas de campo (visitas a actores involucrados en la experiencia, en su ambiente de trabajo), y sesiones en plenaria para presentar y analizar los resultados. Todos los elementos facilitan un

Capítulo 3

Figura 7. Agenda de referencia para el taller de la EH

Evaluación Horizontal: Aprender colectivamente – Guía de usuario

proceso continuo de análisis, enfatizando la sistematización a nivel del individuo (internalización) y a nivel del grupo (externalización). Se da así un proceso eficiente de aprendizaje alrededor de los criterios de análisis de la EH. Cada sesión no debe durar más de dos horas, para así mantener la atención entre los participantes. Es posible que el taller genere tensiones que pueden ser liberadas en actividades extracurriculares como actividades deportivas, una cena de confraternidad o una visita al mercado. Se sugiere incluir estas actividades explícitamente en la agenda. Es importante que el facilitador participe en la elaboración de la agenda para que se sienta responsable del evento. Si la EH es parte de un ciclo (por ejemplo, en el marco de un proyecto que realiza EHs anuales con sus diferentes equipos), es oportuno prever una breve presentación sobre cómo las sugerencias y las lecciones aprendidas de la EH anterior han sido aplicadas. Se solicita antes del taller a ambos grupos, Interno y Externo, que preparen esta presentación. Este paso pueda tomar dos a tres días. Implica no sólo que una persona haga un borrador (normalmente el facilitador), sino también que este sea revisado en detalle por los integrantes del Comité Organizador.

Paso 8: Organizar la logística El paso siguiente es la planificación de la logística del taller. En un principio, el Comité Organizador solicita al Grupo Interno asumir la responsabilidad de esta tarea. Sin embargo, es esencial que el Comité Organizador siga vigilando el espíritu de trabajo que requiere la EH (Caja 2, p. 22). La logística necesaria para organizar el taller de EH incluye las siguientes actividades: • Identificar un local adecuado para llevar a cabo el taller, que sea tanto para presentaciones en plenaria como para trabajo grupal. • Elaborar el programa del taller de la EH, que comprende: (a) los objetivos del taller; (b) las fechas y el lugar del taller; (c) la agenda del taller; (d) un resumen de la experiencia; y (e) los criterios de análisis. • Invitar a los participantes a nombre del Comité Organizador y de la organización o proyecto que presenta la experiencia a evaluar.

Capítulo 3. Planificar y preparar la Evaluación Horizontal

No se debe subestimar la importancia de la logística para el éxito de la aplicación de la EH. En consecuencia, el Comité Organizador tiene que elegir a personas que se encarguen explícitamente de estos temas logísticos y vigilar la calidad de su trabajo. Se puede aprovechar el taller de EH para realizar incidencia pública o política, invitando a la prensa y/o autoridades de la zona para resaltar el trabajo que hace el Grupo Interno. Lo ideal es que estos invitados participen en todo el evento para que entiendan el proceso, pero es más realista pensar en invitarlos a ciertos momentos clave, por ejemplo, la visita de campo, la sesión final e incluso una cena de confraternidad. La planificación de la logística puede requerir hasta dos semanas. Por lo tanto, es indispensable que el Grupo Interno pueda contar con una persona experimentada y disponible para apoyar la organización del taller.

Paso 9: Preparar las presentaciones El buen desarrollo del taller de EH requiere un minucioso trabajo previo de sistematización de la experiencia a ser evaluada, y de preparación de su presentación por parte del Grupo Interno. La comprensión de la experiencia por parte del Grupo Externo depende de este trabajo previo. Como se muestra en la Figura 8, metodológicamente es clave diferenciar entre los elementos de contexto —que influyen sobre la experiencia— y los elementos internos —que pertenecen a la experiencia—. Esta distinción permite al Grupo Externo hacerse una idea precisa de la experiencia y enfocar su reflexión. De igual manera, es fundamental tener siempre en cuenta los criterios de análisis durante la

Capítulo 3

• Definir la logística necesaria para las visitas que se consideran hacer en el Día 2 del taller, incluyendo movilidad, coordinación con los actores, preparación de materiales visuales, etc. (ver Sesión 2-1, p.49). Al respeto, se sugiere pedir a los integrantes del Grupo Externo, en particular si vienen de otra región o país, que traigan un pequeño obsequio para las personas que serán los anfitriones de la visita de campo. • Hacer reservas de transporte y alojamiento para los representantes del Grupo Externo. • Preparar los materiales y asegurar la disponibilidad de equipos audiovisuales.

Evaluación Horizontal: Aprender colectivamente – Guía de usuario

sistematización de la experiencia y la preparación de las presentaciones. De no ser así, se corre el riesgo de sistematizar y presentar información que no sea relevante y que no alimente la reflexión esperada sobre la experiencia. Figura 8. Elementos externos e internos de la EH

Elementos externos Antecedentes Actores

Mercado

Política Ambiente

Elementos internos Actores Instituciones

Actividades Productos

la experiencia La presentación inicial (Sesión 1-3, p. 45) responde básicamente a la pregunta “¿Qué es la experiencia?”. La Caja 8 brinda sugerencias para estructurar e ilustrar esta presentación. Caja 8. Sugerencia para estructurar e ilustrar la presentación inicial •

•

¿Cómo nace y se desarrolla la experiencia? › Ilustrar una línea de tiempo donde se muestren los hitos más relevantes, diferenciando entre elementos internos y externos. ¿Qué actividades implica la experiencia? › Ilustrar con un gráfico la distinción entre las actividades centrales y las actividades marginales. Se pueden usar círculos concéntricos. ¿Qué actores están involucrados? › Ilustrar con un mapa los actores importantes, diferenciando entre actores internos (los que llevan a cabo la experiencia) y externos (los que influencian la experiencia).

Capítulo 3. Planificar y preparar la Evaluación Horizontal

•

¿Qué factores externos influencian la experiencia y cómo? › Ilustrar una matriz que represente los elementos externos así como su grado de influencia y si esta es positiva (+) o negativa (-). ¿Qué impacto ha tenido/busca la experiencia? › Ilustrar una vía de impacto que plasme los (a) resultados, (b) efectos e (c) impacto. ¿En qué medida la experiencia es sostenible en términos financieros? › Ilustrar un gráfico que demuestra los flujos monetarios, usando flechas de diferente grosor para indicar su relevancia.

En vez de tener una sola presentación larga, se recomienda armar una secuencia de presentaciones breves y complementarias, que segmenten la experiencia en fragmentos más comprensibles (Caja 9). Alternar a los expositores y los estilos de presentación, también facilita la asimilación por parte del Grupo Externo. Caja 9. Pautas generales para preparar las presentaciones sobre la experiencia • • •

•

• •

El tiempo total de presentación no debe pasar de 1 hora y media. Cada una no debe superar los 20 minutos. El conjunto de presentaciones debe proveer toda la información relevante sobre los temas centrales del taller, en función a los criterios de análisis. Es imprescindible diferenciar entre los “elementos de contexto” y los “elementos internos”. La primera presentación debe dejar claro qué elementos pertenecen a qué categoría, indicando la relevancia de cada uno para la experiencia. Cada presentación tiene que ser lo más visual posible. Se recomienda integrar videos, fotografías, afiches, páginas web etc. En el caso de textos en PowerPoint ©, estos deben ser cortos y con letras grandes. Es necesario definir una estructura clara en cada presentación, por ejemplo: contenido, contexto, objetivos, actividades, actores, resultados y conclusiones. Las láminas de conclusiones deben presentar una reflexión sobre los factores que han favorecido o perjudicado la experiencia.

Si la experiencia se presta para eso, se puede optar por alternativas a las presentaciones tradicionales de PowerPoint® para compartir la información. Una opción es llevar a cabo una “feria de conocimientos”: los miembros del Grupo Externo recorren unos tres o cuatro puestos donde un miembro del Grupo Interno les brinda información acerca de un aspecto específico de la experiencia.

Capítulo 3

Evaluación Horizontal: Aprender colectivamente – Guía de usuario

El tiempo requerido para sistematizar la experiencia varía de un caso a otro, dependiendo de la complejidad del tema y del grado de detalle que se busca en este análisis preliminar. En cuanto a las presentaciones, se recomienda invertir el tiempo suficiente en su preparación, ya que constituyen la base de la información entregada al Grupo Externo durante el taller. Es importante también reservar un momento para revisar, mejorar y ensayar las presentaciones antes del taller.

Paso 10: Planificar la visita de campo Otro elemento clave de la EH es la “visita de campo”. Consiste en un encuentro entre el Grupo Externo y diferentes actores involucrados en y/o afectados por la experiencia (grupo objetivo del proyecto). El propósito de esta visita es permitir a los integrantes del Grupo Externo complementar y contrastar la información recibida del Grupo Interno con información de primera mano brindada por los demás actores de la experiencia. Para asegurar que este propósito se cumpla, la visita tiene que ser planificada y preparada con anticipación. La manera más eficiente para organizar esta visita es considerar dos momentos. Primero, todo el Grupo Interno define a grandes rasgos qué actores deben ser visitados para complementar la información sobre la experiencia; segundo, se escoge a una o dos personas quienes sirvan de contacto con los actores visitados. Las personas de contacto son responsables frente al Grupo Interno y al Comité Organizador de preparar e implementar la visita de campo. Las funciones de una persona de contacto son mencionadas en la Caja 10. Caja 10. Funciones de la persona de contacto para la visita de campo •

Establecer con anticipación el contacto con los actores que se quiere visitar y manifestarles el interés de otros actores por conocer su experiencia. • Aclarar que se trata de una visita por parte de un grupo interesado en aprender: “¡No son expertos, y menos todavía evaluadores!” • Coordinar un programa que permita a los visitantes ver elementos relevantes de la experiencia e interactuar con diferentes actores de manera estructurada. Lograr que distintos actores visitados comenten diversos aspectos de la experiencia. • Planificar el transporte y alimentación para todo el grupo. • Facilitar la interacción entre los visitantes y los actores visitados, desde palabras de introducción hasta palabras finales de agradecimiento.

Capítulo 3. Planificar y preparar la Evaluación Horizontal

La secuencia de la visita implica los siguientes pasos (ver también Sesión 3-1 en el siguiente capítulo, p. 54):

La(s) persona(s) de contacto debe(n) ser muy transparente(s) con los actores que se visitan en cuanto al objetivo de la visita y a los visitantes. Es primordial mencionar el interés genuino de la visita: conocer la experiencia y las perspectivas de los actores visitados sobre ella. Se debe poner atención en no generar demasiadas expectativas con la visita de campo, especialmente si se trata de comunidades de agricultores de bajos recursos. Si el grupo que va a visitar el campo es numeroso e incluye directivos de instituciones, personas extranjeras, entre otros, es probable que los agricultores piensen que están en juego nuevos proyectos o recursos financieros. Esto puede ocasionar que el ambiente sea demasiado formal (o demasiado festivo) y no favorezca una interacción abierta y distendida con los visitantes. Asegurarse de que los visitantes lleguen en uno o dos vehículos como máximo. Una caravana de vehículos numerosa puede generar incomodidad y falsas expectativas en los agricultores. Las comidas y bebidas tienen que ser subsidiadas por el proyecto, usando alimentos preferentemente de la zona y reconociendo el tiempo que los agricultores emplean para su preparación. La planificación y la organización de la visita de campo deben empezar un par de semanas antes y finalizarse en los últimos días previos de la visita, tomando en cuenta toda la logística que tal visita implica: transporte, alimentación, etcétera. Es recomendable reservar un día entero para la visita de campo. El tiempo exacto depende de la distancia a recorrer para visitar a los actores de la experiencia. Si es posible, visitar más de un lugar para interactuar con un mayor número de grupos de actores.

Capítulo 3

1. Introducción: agradecimiento y presentación del Grupo Externo e Interno. 2. Visita de las instalaciones, sitio de trabajo, etcétera. 3. Interacción entre el Grupo Externo y los actores visitados (entrevistas y/o diálogo). 4. Palabras de agradecimiento y entrega de un obsequio simbólico.

Evaluación Horizontal: Aprender colectivamente – Guía de usuario

Paso 11: Adecuar el salón del taller El último paso de la planificación es la adecuación de los ambientes del taller, donde se lleven a cabo las sesiones de plenaria y los trabajos grupales. Puede ser un solo salón, si hay disponibilidad de un ambiente suficientemente grande. De lo contrario, es necesario prever salas secundarias para los trabajos de grupo. La Caja 11 resume los aspectos a tomar en cuenta para escoger el lugar del taller. Caja 11. Características de un lugar apropiado para el taller de EH •

Cercanía al sitio donde los integrantes del Grupo Externo se hospedan. Esto favorece la puntualidad y facilita la logística. • Disponibilidad de un ambiente grande para el trabajo en plenaria (con mesas puestas en “U” y pantalla) y de ambientes para trabajar en grupos. • Tranquilidad y calidad de las instalaciones de sonido, ventilación y luz. • Disponibilidad de paredes para facilitar la colocación y visualización de papeles y tarjetas. • Acceso a un servicio de cáterin para los recesos, almuerzos y cenas. • Costo del alquiler.

Es indispensable visitar el lugar para evaluar las características listadas en la Caja 11. Esta visita también permitirá definir qué material adicional se debe traer al momento del taller (rotafolios, tarjetas, plumones, retroproyector, otros). Se sugiere dejar la preparación del ambiente y de los materiales requeridos en los manos de una o dos personas. Durante el taller, estas son responsables de coordinar los servicios adicionales que se requieran —desde cables de extensión hasta agua de mesa— con el personal del local. Dependiendo de la cantidad de participantes y de la acústica del salón, puede ser necesario prever la disponibilidad de un altavoz para las sesiones de plenaria. El sitio debe ser reservado con semanas de anticipación. Este plazo permite organizar con tiempo todo lo que se requiere para el taller, coordinando con el Grupo Interno y el facilitador.

Capítulo 4. Implementar el taller de Evaluación Horizontal

Capítulo 4

Implementar el taller de Evaluación Horizontal

Galileo Galilei (1564–1642)

Capítulo 4

“No se le puede enseñar nada a un hombre; sólo ayudarle a encontrar la respuesta dentro de sí mismo”.

Evaluación Horizontal: Aprender colectivamente – Guía de usuario

Capítulo 4. Implementar el taller de Evaluación Horizontal

Contenido del capítulo Este capítulo detalla las sesiones del taller de la Evaluación Horizontal (EH). Permite al usuario comprender cómo se desarrolla el taller, y es de particular interés para el facilitador de la EH. Esta complementado por los Anexos que brindan herramientas prácticas para la facilitación de las sesiones durante el taller.

Este capítulo se basa en la agenda de referencia sugerida para el taller la EH en el capítulo anterior (Figura 7), reproducida a continuación. Agenda de referencia para el taller de la EH

Sesión 1-1 Día 1

Sesión 1-2 Sesión 1-3 Sesión 1-4 Sesión 1-5

Día 2

Sesión 2-1 Sesión 2-2 Sesión 3-1

Día 3

Sesión 3-2

Sesión 3-3 Sesión 3-4

Capítulo 4

Sesión

Evaluación Horizontal: Aprender colectivamente – Guía de usuario

Día 1 del taller Sesión 1 - 1 Introducción al taller y presentación de los participantes En la mayoría de los casos, no todos los participantes en una EH se conocen. En particular, es probable que los integrantes del Grupo Externo provengan de diferentes sitios. En este sentido, se debe aprovechar la introducción al taller para crear un ambiente amigable y familiar, asegurando que los actores tengan la oportunidad de conocerse. En este momento se debe aclarar que todos los participantes son expertos a partir de su propia experiencia, y que el espíritu de la EH es evaluar para aprender y no para juzgar. La introducción incluye también mencionar los objetivos y la agenda del taller.

Esta primera sesión también debe explicitar las expectativas que los participantes tienen para el taller. Lo ideal es invitar a que cada uno tome la palabra para presentarse y mencionar brevemente sus expectativas. Para dar dinamismo a esta ronda de introducción, se pueden usar tarjetas para visualizar la identidad y expectativas de los participantes (Caja 12).

Capítulo 4. Implementar el taller de Evaluación Horizontal

Caja 12. Ejercicio “Dibujar sus expectativas” Cada participante recibe una tarjeta y un plumón con la instrucción de dibujar su principal expectativa hacia el taller. Después de unos 5 minutos, se pide a cada persona presentarse brevemente y explicar sus expectativas de acuerdo con su dibujo. Esta ronda de presentación se realiza mejor de pie en un círculo. Si la disposición de las mesas no lo permite, una alternativa es invitar a cada participante a expresarse frente a la audiencia y colocar su expectativa en una pizarra. La idea es que cada persona se sienta importante y experimente la libertad de expresarse con la confianza de saber que los demás tienen interés en escucharla.

Capítulo 4

Lo ideal es colocar los dibujos en un sitio donde pueden permanecer hasta el final del taller. Esto ayuda a tener presente las expectativas durante el taller y a la hora del cierre, y así brindar un recordatorio visual útil para evaluar si el taller respondió a las expectativas.

Ronda de presentación en el taller de EH en La Paz, 2009.

Cualquiera dinámica creativa y participativa ayuda a romper el hielo y a establecer desde el inicio el ambiente amigable y familiar que requiere la EH. Esta sesión concluye con la identificación de voluntarios para participar en el Grupo Barómetro (ver p. 16). La duración de esta sesión depende del número de participantes, pero es realista prever entre 45 a 60 minutos para esta introducción.

Evaluación Horizontal: Aprender colectivamente – Guía de usuario

Sesión 1 - 2 Introducción a la experiencia y consolidación de los criterios de análisis Esta sesión tiene como objetivo socializar con los participantes la manera cómo se propone analizar la experiencia. La sesión inicia con una presentación de la metodología del taller. El facilitador menciona que se va a estudiar una experiencia a partir de los criterios de análisis. Para ilustrar esto, se puede utilizar la Figura 5 (ver p. 15). Luego, se debe contextualizar la experiencia. Esto permite al Grupo Externo opinar después acerca de la revisión de los criterios de análisis. Mediante una breve presentación (máximo de 10 minutos), un miembro del Grupo Interno brinda información sobre el contexto, los involucrados y las principales características de la experiencia. A continuación, se exponen los criterios de análisis que han sido definidos previo al taller por el Comité Organizador y el Grupo Interno (ver paso 2 del capítulo anterior p. 23). El propósito es compartir los criterios de análisis y asegurar que todos los entienden de la misma forma. El facilitador debe comentar que los criterios reflejan una demanda del Grupo Interno hacia el Grupo Externo para recibir una perspectiva diferente en temas clave. Sin embargo, si después de una discusión aclaratoria el Grupo Externo no se siente cómodo con uno de los criterios, se puede consensuar la reformulación, omisión o adición de un criterio. En cualquier caso, se recomienda escribir los criterios en hojas de rotafolio y, de ser necesario, corregir el texto a la vista de todos. Las hojas con los criterios consensuados serán colgadas en un lugar del salón para tenerlos siempre a la vista. La presentación y discusión de los criterios de análisis en plenaria ayuda al Grupo Externo a entender mejor su rol de “evaluador” y la importancia de su participación activa para llegar a resultados en el taller. La experiencia ha demostrado que vale la pena leer y explicar cada criterio. Para enfatizar que estos criterios reflejan una demanda explícita por parte del Grupo Interno, es ideal que representantes de este grupo los lean en voz alta. Se recomienda separar por lo menos 45 minutos para esta sesión, incluyendo la contextualización de la experiencia.

Capítulo 4. Implementar el taller de Evaluación Horizontal

Sesión 1 - 3 Presentación de la experiencia por parte del Grupo Interno

Capítulo 4

Esta sesión representa la principal oportunidad para el Grupo Externo de formarse a la vez una visión global y detallada de la experiencia. Considerando esto y que la experiencia consiste de diferentes elementos (internos y del contexto) que se pueden relacionar de manera compleja, es fundamental que el Grupo Interno la explique de manera muy clara y estructurada (ver pautas, capítulo 3, paso 8).

Esta sesión puede tomar fácilmente dos horas, en especial si se complementan las presentaciones con una feria de conocimientos para compartir la información sobre la experiencia.

Sesión 1 - 4 Discusión aclaratoria La discusión aclaratoria provee al Grupo Externo un espacio para consolidar la información recibida del Grupo Interno. No es el momento de juzgar ni de compartir experiencias —sólo se trata de preguntar lo que no ha quedado claro o de pedir información adicional para comprender (mejor) ciertas partes de las presentaciones—. Para que esta discusión sea beneficiosa para ambos grupos —el Grupo Externo, que requiere mayor información, y el Grupo Interno, que no quiere ser juzgado— es indispensable que el facilitador oriente la discusión. Además, recalcar que

Evaluación Horizontal: Aprender colectivamente – Guía de usuario

todavía no se trata de evaluar sino de comprender puntos de vista diferentes sobre la experiencia. Por último, es su responsabilidad guiar los grupos hacia una interacción amigable, interrumpiendo los comentarios que no tienen el propósito de aclarar las presentaciones. De lo contrario, se corre el riesgo de llevar al Grupo Interno a ponerse a la defensiva y dejar de compartir su información, en particular relacionada a los errores cometidos. En esta parte, el lenguaje que el facilitador usa es primordial (Caja 13). Caja 13. Palabras que el facilitador debe promover y enfatizar • Percepción: › “Cada actor percibe de manera diferente, en función de su propia experiencia”. › “Cada percepción es relativa y solo refleja la verdad para la persona que percibe”. • Experiencia: › “Cada actor tiene experiencias únicas; esta diversidad de experiencias agrega valor a la EH”. › “Cada experiencia es útil para aprender, sobre todo de las malas experiencias”.

El Comité Organizador debe apoyar al facilitador en fomentar una discusión constructiva, enfocada sobre percepciones y problemas de comprensión. Esta sesión requiere tiempo, aunque se debe evitar que los participantes se cansen después de recibir tanta información. Entre 30 y 45 minutos parecen adecuados.

Sesión 1 - 5 Elaboración de la matriz de percepción y del guión de entrevista En esta sesión y a partir de la información recibida, el Grupo Externo interactúa internamente y con el Grupo Interno para compartir sus primeras percepciones sobre la experiencia, definir qué información le falta para mejorar su comprensión y preparar el segundo día de taller. Para el Grupo Externo, esta sesión tiene dos pasos: (1) Elaborar una matriz de percepción, que le permitirá luego (2) plasmar su demanda de información complementaria en un guión de entrevista. Para que esta primera sesión de trabajo grupal sea eficiente, se recomienda distribuir la Hoja de trabajo grupal # 1 (Anexo III, p. 76) en plenaria, antes de que los participantes se separen en grupos. El Grupo Interno sólo elabora la matriz de percepción y aprovecha el tiempo restante para

Capítulo 4. Implementar el taller de Evaluación Horizontal

proporcionar información adicional al Grupo Externo y finalizar los preparativos de la visita de campo. La sesión concluye con una breve plenaria en la que el Grupo Interno da las indicaciones prácticas para la visita de campo (por ejemplo, llevar la matriz de percepción). 1. Elaborar la matriz de percepción

Capítulo 4

En conjuntos de 5 a 10 personas, el Grupo Externo y el Grupo Interno por separado plasman su percepción de la experiencia en tarjetas y las ordenan en una matriz, según los criterios de análisis y en función del tiempo (Figura 9). Los ejes de la matriz se dibujan sobre hojas de rotafolio pegadas en una pared a la vista de todo el grupo. Para distinguir fácilmente las percepciones consideradas positivas de las negativas, se recomienda usar tarjetas de diferentes colores (por ejemplo, verde para lo positivo y rojo para lo negativo). Si llega a refinar su análisis, el grupo puede atribuir un grado de relevancia a cada una de sus percepciones, agregando en las tarjetas correspondientes símbolos de una escala comprendida entre “++” y “- -” (ver Figura 9). Figura 9. Estructura general de la matriz de percepción Eje de tiempo

Criterio de análisis 1

Criterio de análisis 2

Criterio de análisis 3

Elemento 1 (+)

Elemento 4 (++)

Elemento 8 (-)

Elemento 7 (+) Elemento 9 (--)

Elemento 3 (+)

Elemento 2 (++)

Elemento 12 (-) Elemento 5 (++) Elemento 13 (--)

Elemento 11 (--) Elemento 6 (++)

Elemento 10 (-)

Ubicar los elementos de cada criterio en un eje de tiempo puede ser complicado, sobre todo para el Grupo Externo que no conoce a profundidad la experiencia. Si ese es el caso, es posible ubicar los elementos sin una referencia a un eje de tiempo.

Evaluación Horizontal: Aprender colectivamente – Guía de usuario

Para facilitar el desplazamiento de la matriz —en particular si se lleva a la visita de campo—, es indispensable armar una matriz “sólida”, que se pueda doblar o enrollar sin que las tarjetas o las hojas de rotafolio se desprendan. 2. Elaborar el guión de entrevistas para la visita de campo Estudiando la información contenida en la matriz de percepción, el Grupo Externo identifica sus dudas y la información que le falta para aclararlas. Estas dudas se escriben en nuevas tarjetas (por ejemplo, de color blanco), que se colocan al lado de la matriz. Con su necesidad de información en mente, el Grupo Externo prepara un guión de entrevista para la visita de campo del día siguiente. Se pueden resaltar dos formas de elaborar el guión: formulando preguntas concisas o listando temas. Las preguntas tienen la ventaja de focalizar la discusión con los entrevistados, pero limita la riqueza de la información. La lista de temas es más flexible y permite el desarrollo de un diálogo potencialmente más rico, pero requiere de los entrevistadores una mayor capacidad de conducir la discusión sin perder de vista los criterios de análisis. Durante el trabajo grupal, el rol del facilitador es vigilar que cada grupo elija una persona que facilite la interacción al interior del grupo, y que se respeten las pautas generales en cuanto a la elaboración de la matriz y al uso de tarjetas (letra grande, color diferenciado). Se debe evitar que el grupo trabaje directamente en una computadora, lo que perjudica la reflexión colectiva. Esta sesión requiere entre 1h30 y 2 horas, dependiendo del avance de cada grupo.

Grupo Barómetro. Al final del Día 1, el Grupo Barómetro se reúne para evaluar el día e introducir cambios en la agenda si es necesario. Actividades extracurriculares. Al final de este primer día, se recomienda realizar una actividad recreativa deportiva o física, como un partido de fútbol o un paseo por los alrededores. Esto ayuda a generar un ambiente de camaradería y permite que los participantes recarguen energías.

Capítulo 4. Implementar el taller de Evaluación Horizontal

Día 2 del taller Sesión 2 - 1 Visita de campo: interacción con actores involucrados El carácter de la vista de campo está íntimamente ligado al contexto de la experiencia. Sin embargo, se pueden plantear las siguientes etapas generales:

La persona de contacto del Grupo Interno presenta al Grupo Externo (o invita a uno de sus representantes a hacerlo). Pide a un integrante de los actores visitados dar unas palabras de bienvenida, y explicar rápidamente dónde los visitantes se encuentran y quiénes son los actores involucrados en la experiencia que están presentes. En este momento, la persona de contacto, el facilitador del taller o un miembro del Comité Organizador menciona el propósito de la visita y la importancia de tener la posibilidad de interactuar para conocer bien la experiencia. También repasa la agenda de la visita y enfatiza la necesidad de dedicar una hora a conversaciones en grupos pequeños de visitantes y actores visitados. 2. Visita a las instalaciones y/o sitio de trabajo De acuerdo al programa acordado previamente con los anfitriones de la visita de campo, se recorren las instalaciones, ambientes de trabajo, campos sembrados, etc. relacionados a la experiencia (ver fotos). La persona de contacto, los actores visitados y el facilitador definen un recorrido que permita a todos los miembros del Grupo Externo apreciar cada aspecto de la visita y escuchar todas las explicaciones de los actores visitados. En muchos casos es recomendable formar grupos pequeños, que a su vez posibiliten la interacción entre los visitantes y los expositores.

Visita de campo en la Evaluación Horizontal sobre la experiencia de generación de innovaciones a través de la articulación de actores mediante la Plataforma Andina Boliviana en el altiplano de Lahuachaca en La Paz. Bolivia, junio 2009.

Capítulo 4

1. Introducción y presentaciones

Evaluación Horizontal: Aprender colectivamente – Guía de usuario

3. Interacción entre el Grupo Externo y los actores visitados Esta parte es fundamental para que la visita de campo cumpla con su propósito dentro del taller de EH: el Grupo Externo requiere un espacio para interactuar con los actores involucrados en la experiencia a partir del guión elaborado el día anterior (ver Sesión 1-5, p. 46).

Lo óptimo es que esta interacción se desarrolle en grupos pequeños. La persona de contacto, los representantes del grupo visitado y el facilitador acuerdan dos o tres ambientes donde los integrantes del Grupo Externo puedan, en grupos de cuatro a cinco personas, dialogar con un par de actores que participan en la experiencia y/o se benefician de ella (ver fotos).

Interacción entre el Grupo Externo y comuneros de Pomamanta y Chicche en el marco de la Evaluación Horizontal sobre la experiencia de articulación comercial de productores de papa a la agroindustria. Perú, agosto 2008.

Capítulo 4. Implementar el taller de Evaluación Horizontal

Para que los integrantes del Grupo Externo puedan dialogar directamente con los actores visitados y recibir su percepción, el Grupo Interno no debe participar en la interacción. Es importante enfatizar que los miembros del Grupo Interno entiendan este principio, y que se mantengan al margen de las discusiones, a menos que sean invitados o consultados por parte de los integrantes del Grupo Externo. Es imprescindible que las mujeres estén presentes en esta interacción y expresen sus percepciones. En el caso de comunidades indígenas, probablemente sea necesario valerse de traductores (de preferencia mujeres) para que faciliten la interacción. El facilitador debe animar a los integrantes del Grupo Externo a buscar la interacción con actores que hablan de manera menos espontánea en el grupo, pero cuya percepción es muy valiosa. En el ámbito rural esto sucede a menudo con las mujeres o los obreros, quienes consideran tener un rol secundario en la experiencia.

La visita termina con unas palabras de agradecimiento por parte de dos o tres personas que integren el grupo de visitantes (Grupo Interno y Grupo Externo). De acuerdo con el propósito de la EH, se sugiere culminar la visita con la entrega por parte del Grupo Externo de obsequios simbólicos, que representen su trabajo o cultura y que demuestren el aprecio de haber tenido la oportunidad de conocer de cerca la experiencia y los actores vinculados a ella. La visita de campo toma generalmente entre medio día y un día completo de trabajo, dependiendo del tiempo de viaje.

Capítulo 4

4. Agradecimientos y conclusión

Evaluación Horizontal: Aprender colectivamente – Guía de usuario

Sesión 2 - 2 Finalizar la matriz de percepción Se aconseja hacer este trabajo inmediatamente después de la visita de campo, para aprovechar las impresiones recientes. Después de la visita de campo, es difícil motivar a los participantes del taller a retomar su trabajo grupal —sobre todo, una vez llegado al sitio de alojamiento—. Como es importante que cada grupo socialice y consolide sus percepciones, la mejor forma de realizar esta sesión es mediante una parada entre la zona de la visita de campo y el lugar de alojamiento. Esto implica reservar un sitio apropiado (como un restaurante) y asegurarse que haya espacio para trabajar en grupos con las matrices de percepción. También implica cerciorarse que se lleven las matrices, plumones y tarjetas a la visita de campo. Con la información adicional obtenida en la visita, el Grupo Externo y el Grupo Interno consolidan su matriz de percepción. A la vez, los integrantes del Grupo Interno sirven como personas de recurso para el Grupo Interno, aclarando sus dudas y respondiendo a sus preguntas (Caja 14). Caja 14. Manejo de personas recurso Es importante que los integrantes del Grupo Interno puedan interactuar libremente sobre sus percepciones. Para no perjudicar esta interacción, que también considera elementos de fracaso y fallas en la experiencia, la presencia de actores del Grupo Interno no es deseable. Por otra parte, consultas puntuales al Grupo Interno permiten resolver dudas y mejorar la calidad de la matriz de percepción del Grupo Externo. El facilitador debe dejar muy claro que el Grupo Interno y el Grupo Externo trabajan de manera separada, pero que el Grupo Externo tiene la posibilidad de hacer consultas a miembros del Grupo Interno. Si tiene preguntas específicas, el Grupo Externo pide ayuda a una persona del Grupo Interno. El facilitador debe asegurar que, después de la aclaración, esta persona se retire para que el Grupo Externo pueda seguir trabajando solo.

Antes de colocar nuevas tarjetas sobre la matriz del día anterior (ver Sesión 1-5 p. 46), es pertinente que cada grupo discuta cómo le ha ido en la obtención de la

Capítulo 4. Implementar el taller de Evaluación Horizontal

información faltante. Si la ha obtenido de los actores visitados, como respuestas a la entrevista, o si han sido percepciones durante la visita. Se procede luego a revisar las tarjetas del día anterior, precisándolas si es posible con las percepciones del día. Finalmente, se agregan tarjetas con información nueva. El grupo de trabajo termina definiendo a una o dos personas que presenten el trabajo en la plenaria al día siguiente. Si las matrices están bien avanzadas el día anterior, 1h30 debe ser suficiente para esta sesión. Grupo Barómetro. Al final del Día 2, el Grupo Barómetro se reúne para evaluar la jornada y prever cambios en la agenda si es necesario.

Capítulo 4

Actividades extracurriculares. Se recomienda aprovechar una de las noches para realizar una cena de confraternidad y el final del segundo día se presta para este evento. El Grupo Interno, como anfitrión, invita al Grupo Externo. Presentaciones artísticas y festejos típicos de la zona son apreciados.

Evaluación Horizontal: Aprender colectivamente – Guía de usuario

Día 3 del taller Sesión 3 - 1 Consolidación en plenaria de las percepciones La presentación en plenaria de las matrices de percepción por parte del Grupo Externo y del Grupo Interno da una base sólida para consolidarlas y analizar diferencias. Antes de que inicien las presentaciones, el facilitador enfatiza dos cosas: primero, las presentaciones reflejan percepciones y no hechos; segundo, el objetivo de la sesión es conocer las diferentes percepciones y discutirlas, para aprender juntos, y no evaluar la experiencia ni llegar a una sola percepción. 1. Presentación de las matrices de percepción Para propiciar la discusión y reflexión en plenaria, el facilitador acomoda la sala y las diversas matrices de tal forma que se vean en paralelo y que las tarjetas puedan ser leídas por todos. Asimismo, es fundamental que se presenten las matrices como han sido elaboradas, en papel, y no usando PowerPoint®. Las presentaciones deben iniciar con el Grupo Externo (o sus subgrupos), culminando con el Grupo Interno, para evitar que el Grupo Interno influya en la percepción del Grupo Externo. Entre las presentaciones, el facilitador debe evitar que se llegue a discusiones de fondo. Debe permitir solo preguntas y respuestas aclaratorias sobre las matrices y tarjetas presentadas. 2. Comparación de la información presentada Al finalizar las presentaciones y aclaraciones, el facilitador invita a una discusión de fondo. Guía esta discusión con las siguientes preguntas: • “¿Qué percepciones coinciden entre el Grupo Interno y el Grupo Externo?” • “¿Qué percepciones difieren y por qué”?

Capítulo 4. Implementar el taller de Evaluación Horizontal

La meta de esta sesión no es revisar cada percepción, sino aprender de las posibles diferencias de percepción entre los grupos. Durante esta sesión —en las presentaciones y en la discusión plenaria—, el facilitador debe vigilar cómo los actores se expresan. Recalca cada vez que sea necesario que se comparten percepciones y no hechos. Se reduce así el riesgo de que actores del Grupo Interno se sientan criticados u ofendidos por las palabras del Grupo Externo. Debido a que esta sesión es de gran relevancia para obtener buenos resultados con la EH, no se puede tomar el riesgo de cortar la discusión por razón de tiempo. En este caso, se deben planificar dos horas, incluyendo un margen de seguridad que se puede convertir en un ahorro de tiempo para las sesiones posteriores.

El Grupo Externo regresa a sus grupos de trabajo donde derivan sugerencias para la experiencia. Estas sugerencias son consideraciones a tomar en cuenta o actividades por desarrollar. Todas apuntan a mejorar los resultados de la experiencia. El Grupo Interno permanece atento a pedidos de más información o aclaración por parte del Grupo Externo. Para enfocar la discusión y proponer sugerencias que tengan relevancia, se busca formular estas en función de los criterios de análisis. Cada grupo plasma sus sugerencias en nuevas tarjetas (con un nuevo color, por ejemplo, azul) y las agrega a su matriz de percepción (ver Figura 10 p. 56). Para este trabajo se puede usar la Hoja de trabajo grupal # 2 (Anexo III, p. 88). Cuando todos los grupos han terminado, se pide que se presenten las sugerencias en plenaria. La discusión debe enfocarse en la comprensión de las sugerencias mencionadas. Con el fin de resaltar las sugerencias más relevantes, es posible terminar la sesión con un pequeño ejercicio de priorización. Así, el facilitador puede proponer la pregunta: “¿Cuáles serían las cinco sugerencias más importantes entre las que se han presentado?”.

Capítulo 4

Sesión 3 - 2 Formulación de sugerencias para la experiencia

Criterio de análisis 3

Criterio de análisis 2

Criterio de análisis 1

Figura 10. Derivar sugerencias para la experiencia

Elemento 13 (--)

Elemento 5 (++)

Elemento 11 (--)

Elemento 2 (++)

Elemento 10 (-)

Elemento 12 (-)

Elemento 7 (+) Elemento 9 (--)

Elemento 6 (++)

Elemento 4 (++)

Elemento 3 (+)

Elemento 8 (-)

Elemento 1 (+)

Sugerencia 3- 2

Sugerencia 3- 1

Sugerencia 2- 2

Sugerencia 2- 1

Sugerencia 1- 2

Sugerencia 1- 1

Sugerencia 1- 3

56 Evaluación Horizontal: Aprender colectivamente – Guía de usuario

Capítulo 4. Implementar el taller de Evaluación Horizontal

Capítulo 4

Nuevamente, el facilitador hace hincapié en la necesidad de seleccionar cuidadosamente el lenguaje utilizado para hacer sugerencias, con el propósito de evitar herir la susceptibilidad del Grupo Interno.

En la Caja 15 se dan ejemplos de un lenguaje adecuado para expresar su opinión y hacer sugerencias. El facilitador puede escribirlas en un papelógrafo para que todos las tengan a la vista durante esta sesión. Caja 15. Las palabras que no hieren Reemplazar: “Deben hacer …” “¿Por qué no hacen ...?” “Ustedes no saben que …” “Están muy mal …”

por por por por

“Sugiero que…, recomiendo que…” “A nosotros nos funcionó…” “En mi experiencia…” “Les felicito por… aunque…”

La duración de esta sesión depende mucho de la complejidad de la experiencia o de la tarea de proponer sugerencias pertinentes. Dos horas deben ser suficientes para el trabajo grupal y su presentación; sin embargo, este tiempo no permite entrar en una gran discusión.

Evaluación Horizontal: Aprender colectivamente – Guía de usuario

Sesión 3 - 3 Formulación de lecciones aprendidas, análisis de las sugerencias y definición de siguientes pasos Este es el momento culminante del taller en el que se capitaliza tanto las lecciones aprendidas para el Grupo Externo como las sugerencias para el Grupo Interno. El Grupo Externo obtiene lecciones aprendidas para su propio trabajo diario, el Grupo Interno analiza las sugerencias recibidas en el paso anterior, y ambos grupos definen pasos concretos para implementar las lecciones y sugerencias. En el caso del Grupo Externo, sus integrantes se reúnen en función de su pertenencia a un proyecto o a un determinado contexto. Pueden ser grupos pequeños, pero lo importante es que sus integrantes tengan algo en común. 1. Trabajo grupal La tarea de cada grupo consiste en: (a) derivar lecciones aprendidas para su propio contexto de trabajo (Grupos Externos); (b) analizar las sugerencias recibidas (Grupo Interno); y (c) definir pasos concretos para implementar estas lecciones y sugerencias, mejorando la eficiencia y eficacia de su trabajo (ambos grupos). Cada grupo plasma sus lecciones y próximos pasos en tarjetas de dos colores diferentes. Para este trabajo se puede usar la Hoja de trabajo grupal # 3 (Anexo III, p. 78). 2. Presentación en plenaria Del mismo modo que en las plenarias anteriores, se sugiere empezar dando la palabra a los Grupos Externos y luego al Grupo Interno. Como las conclusiones de este ejercicio son muy ligadas al contexto específico de cada grupo, no es recomendable entrar en discusiones más allá de la buena comprensión de la información compartida. La responsabilidad del facilitador se limita a asegurar que la audiencia mantenga su atención hasta el final de esta última sesión —¡la mayoría de los participantes estarán bastante cansados después de tres días de taller!—. La socialización de las lecciones aprendidas, el análisis de las sugerencias y la definición de los próximos pasos son una parte clave del taller. Por lo tanto, hay que asignar suficiente tiempo a esta sesión. Se debe prever aproximadamente una hora para el trabajo grupal y entre 5 y 10 minutos para la presentación de cada uno.

Capítulo 4. Implementar el taller de Evaluación Horizontal

Sesión 3 - 4 Evaluación del taller Para mejorar la organización e implementación de la EH en el futuro —y demostrar el interés por parte del Comité Organizador y del facilitador de servir mejor— es necesario evaluar el taller. Hay diferentes maneras de evaluarlo y escapa de esta guía describirlas aquí. Al escoger la forma de evaluación, se debe considerar la hora, el nivel de cansancio de los participantes y la necesidad de tener una evaluación formal. En cualquier caso, la evaluación del taller tiene que realizarse con un espíritu positivo y constructivo. El facilitador invita a formular e interpretar las críticas como recomendaciones. En aplicaciones anteriores de la EH, se realizaron evaluaciones simples, pidiendo a un par de personas compartir su percepción acerca del taller.

Capítulo 4

Después de la evaluación, el taller termina con breves reflexiones por parte del facilitador y un representante del Comité Organizador y del Grupo Interno.

La intención no es esperar la evaluación final para tener en cuenta la opinión de los participantes. La reunión diaria del Grupo Barómetro permite acoger las sugerencias sobre la marcha del taller en el momento oportuno.

Evaluación Horizontal: Aprender colectivamente – Guía de usuario

Ciertas ideas son a veces difíciles de compartir en plenaria. Para captarlas, se aconseja preparar un buzón de sugerencias en el que los participantes puedan compartir sus opiniones en forma escrita. ¡No obstante, el facilitador debe pedir que se formulen como “sugerencias de mejora” y no como “críticas”! A la hora de las conclusiones, es interesante hacer referencia a los dibujos de expectativas efectuadas al inicio (ver Sesión 1-1 p. 42). El tiempo requerido para la evaluación del taller depende mucho de la metodología que se utilice. Pero incluso si se hace de manera “sólo” cualitativa y oral, se recomienda prever 30 minutos para esta última sesión, para que todos los participantes que lo deseen se puedan expresar.

Capítulo 5. Seguimiento del taller de EH y perspectivas

Capítulo 5

Seguimiento del taller de Evaluación Horizontal y perspectivas “Lo importante no es aprender, sino saber el porqué y el para qué de lo que aprendimos”.

Capítulo 5

Anónimo

Evaluación Horizontal: Aprender colectivamente – Guía de usuario

Capítulo 5. Seguimiento del taller de EH y perspectivas

Contenido del capítulo En este capitulo se dan recomendaciones para maximizar los beneficios de la Evaluación Horizontal (EH) gracias a un seguimiento adecuado, y se dan a conocer el tipo de resultados que se puede esperar de un taller de EH. Se concluye con unas reflexiones sobre las perspectivas de esta metodología.

 Seguimiento del taller Al concluir el taller de EH, es responsabilidad del facilitador preparar un informe (debe estar previsto en sus TdRs, ver Capitulo 3, paso 2, p.23). En este informe se recomienda detallar claramente las recomendaciones y los próximos pasos a los cuales se han comprometido los diferentes grupos. Ejemplos de informes de taller de EH pueden ser solicitados a Papa Andina (cip-pandina@cgiar.org).

Capítulo 5

La implementación de las recomendaciones de la EH representa el momento culminante del aprendizaje colectivo que esta metodología genera. Como se explicó en el Capítulo 1, para mejorar el grado de comprensión y asegurarse que la nueva información sea funcional hay solamente una cosa por hacer: ¡Aplicar lo aprendido!.

Evaluación Horizontal: Aprender colectivamente – Guía de usuario

En base al informe, la responsabilidad de implementar las sugerencias y próximos pasos queda en manos de los Grupos Interno y Externo, y de sus instituciones respectivas. En eso, la EH no se distingue de las evaluaciones tradicionales y sus resultados serán maximizados con un seguimiento adecuado. Primero, es importante socializar las recomendaciones de la EH con los actores de la experiencia que no han participado en el taller de EH. Luego, y si la EH se ha realizado para evaluar una experiencia en el marco de un proyecto, es necesario que sus recomendaciones sean incluidas en el sistema de monitoreo del proyecto. Idealmente, las recomendaciones que se hacen en la EH deberían plasmarse en los indicadores del proyecto. En cualquier caso, los responsables del proyecto deben dar seguimiento a la implementación de las recomendaciones mediante reuniones periódicas con el equipo a cargo de ponerlas en práctica.  Resultados de la EH Sin minimizar la importancia de un seguimiento adecuado, en la práctica, se ha observado que por ser formuladas por los propios actores de la experiencia, las recomendaciones de la EH son tomadas en cuenta y llegan a ser implementadas en gran medida. En el caso del Grupo Interno, el principal resultado consiste en reflexionar y apropiarse de las recomendaciones recibidas en el marco de la EH en la que se analizó su experiencia. La Caja 16 da algunos ejemplos de resultados concretos que un Grupo Interno puede esperar de una EH y como han sido aprovechados por los protagonistas. Caja 16. Ejemplos de resultados para el Grupo Interno: implementación de las recomendaciones A raíz de un ciclo de tres EH que se realizaron en Perú, Bolivia y Ecuador en el marco del proyecto regional Innovandes entre 2008 y 2009, los participantes, equipos de proyecto de estos tres países, han tomado iniciativas significativas para la implementación del proyecto y la sostenibilidad de sus resultados. •

Priorización y visibilización de ejes de trabajo: A raíz de la EH en Perú, que analizó una experiencia de articulación de pequeños productores de papas nativas a la agroindustria, el Grupo Interno encabezado por la ONG FOVIDA ha tomado mayor conciencia de la necesidad de consolidar el compromiso de Responsabilidad Social de la empresa que compra papas nativas a los agricultores, y de diversificar mercados.

Capítulo 5. Seguimiento del taller de EH y perspectivas

Estas orientaciones han sido visibilizadas en su planificación e implementadas en gran medida en los dos años siguientes a la EH. • Redefinición de reglas de juego y objetivos estratégicos: Luego de la EH dedicada a su experiencia con el fomento de procesos de innovación, los actores de la Plataforma Andino-Boliviana (ANDIBOL) han asumido como prioridad reforzar las reglas y normas de operación interna de la plataforma y revisar de manera colectiva sus objetivos estratégicos. Este proceso complejo, que requiere armonizar intereses divergentes, se encuentra en plena vigencia un año después de concluida la EH. • Reactivación de una plataforma de concertación: Como fruto de las recomendaciones de la EH sobre la experiencia del Consorcio de la Papa (CONPAPA) en Ecuador, esta organización de pequeños productores de papa, tomó la iniciativa para reactivar la Plataforma de la Papa, un espacio multi-actor de concertación y apoyo al sector. Al mismo tiempo, varias de las recomendaciones de la EH fueron tomadas en cuenta en una consultoría contratada por una ONG local para fortalecer a CONPAPA de la provincia de Chimborazo.

En el caso del Grupo Externo, la participación en una EH es la oportunidad de conocer nuevas prácticas y de apropiárselas. La Caja 17 brinda ejemplos de la adopción por parte de Grupos Externos de nuevas tecnologías o metodologías. Caja 17. Ejemplos de resultados para el Grupo Externo: apropiación de nuevas tecnologías y metodologías Réplica de tecnología: Después de observar una máquina para seleccionar tubérculos de papa (ver fotografías, p. 49) en el marco de la visita de campo a productores de chuño (EH Bolivia, 2009), el CONPAPA de Ecuador decidió replicar esta tecnología. A la fecha de publicación de esta Guía, un modelo piloto está siendo evaluado y el CONPAPA espera poder adoptar esta tecnología en corto plazo. Apropiación y desarrollo de metodología: Después de evaluar la experiencia de uso del Enfoque Participativo de Cadenas Productivas (EPCP o PMCA por sus siglas en inglés) en la cadena productiva de la papa en el marco de una EH realizada en Perú en 2003, el Grupo Externo, conformado por actores de investigación y desarrollo de Bolivia, empezó a experimentar con

Capítulo 5

Evaluación Horizontal: Aprender colectivamente – Guía de usuario

esta metodología. Su aplicación permitió articular productores de papa al mercado en Bolivia. Además, al ser apoyado y capitalizado por Papa Andina, este proceso de experimentación con el EPCP permitió retroalimentar y desarrollar esta metodología, introduciendo nuevos elementos tanto conceptuales como prácticos. Por ejemplo la experiencia de aplicación en Bolivia enfatizó la importancia de fortalecer las organizaciones de productores como proceso paralelo a la aplicación del EPCP, y la importancia de contar con información de mercados desde el inicio del EPCP. También permitió definir mejor el papel que debe cumplir la organización que al principio lidera la aplicación del EPCP. Bernet T., Thiele G. and Zschocke T. (Eds.) 2006. Participatory Market Chain Approach (PMCA) - User Guide. CIP-Papa Andina, Lima, 184 p.

Como se aprecia en el segundo ejemplo de la Caja 17, además de sus beneficios directos para el contexto de trabajo de sus participantes (Grupos Interno y Externo), una EH puede ser una fuente de retroalimentación para los promotores de una tecnología o de una metodología. Al ser capitalizados por estos promotores, los resultados de la EH pueden contribuir a desarrollar, mejorar y validar una tecnología o una metodología. La Caja 18 da otro ejemplo. Caja 18. Resultados de la EH en términos de la validación de metodologías En el 2005, se realizó una EH en Uganda, donde se estaba aplicando el EPCP para desarrollar las cadenas de papa, camote, y vegetales. Se trataba de la primera aplicación de esta metodología, desarrollada en los Andes para la cadena de la papa, en otro contexto y con otras cadenas. El Grupo Externo estuvo compuesto de los promotores y usuarios del EPCP en los Andes, y el Grupo Interno de sus usuarios en Uganda. Esta EH permitió al Grupo Interno tomar en cuenta los aciertos y errores de sus colegas andinos. A la vez, brindó a los promotores del EPCP elementos de la validez de esta metodología en otro contexto, y valiosos elementos de retro-alimentación.

 Perspectivas de la metodología de EH Más allá de las recomendaciones que se obtienen de un taller de EH, se ha observado que el proceso de aprendizaje colectivo generado con esta metodología favorece la construcción de capital social, al interior y entre los Grupos Interno y Externo. Cuantificar el aporte de la EH al incremento del capital social es un tema pendiente. Sin embargo, hay indicios claros que los equipos de participantes mejoran su grado de confianza y de colaboración, lo que incide en un mejor desempeño en sus labores.

Capítulo 5. Seguimiento del taller de EH y perspectivas

El hecho de que la EH favorezca la construcción de capital social presenta un interés particular en el área de investigación para el desarrollo. En este campo, un gran reto es mejorar la interacción y la colaboración entre investigadores, ONGs de desarrollo, instituciones públicas, empresarios y agricultores de pequeña escala. Para ello, la metodología de EH es una herramienta valiosa. De manera general, muchas instituciones están dándole una importancia creciente al aprendizaje colectivo y a la formación de comunidades de práctica. En este marco, la contribución de la metodología de EH a la formación de capital social, gestión de conocimiento y a la consolidación de lazos entre equipos de trabajo abre perspectivas interesantes. Las experiencias actuales han validado este aporte en un contexto de mucho potencial para el desarrollo: el intercambio y la cooperación Sur-Sur. Hildreth, P and Kimble, C (Eds.) 2004. Knowledge Networks: Innovation Through Communities of Practice. Idea Group Inc. London.

Capítulo 5

Finalmente, se espera que la EH sea una metodología dinámica, que se adaptará y enriquecerá al ser usada en diferentes contextos. En tal sentido, la Iniciativa Papa Andina del Centro Internacional de la Papa está interesada en conocer experiencias y sugerencias que enriquezcan a la EH.

Evaluación Horizontal: Aprender colectivamente – Guía de usuario

Referencias Bibliográficas

Bibliografía

Referencias Bibliográficas

Evaluación Horizontal: Aprender colectivamente – Guía de usuario

Referencias Bibliográficas

Ausubel, P. D. 1981. Psicología Educativa, Trillas, México. Barriga, A. F. y Hernandez, R. G. 1998. Estrategias docentes para un aprendizaje significativo. MacGraw Hill, México. Bernet, T., Thiele, G. and Zschocke, T. (Eds.) 2006. Participatory Market Chain Approach (PMCA) - User Guide. CIP-Papa Andina, Lima, 184 p. Devaux, A., Horton, D., Velasco, C., Thiele, G., López, G., Bernet, T., Reinoso, I. and Ordinola, M. 2009. Collective Action for Market Chain Innovation in the Andes. Food Policy, Vol. 34, No. 1, pp.31-38 Engel, P. 2006. Papa Andina: Un desafío internacional. In A. Devaux, G. Thiele, G. López y C. Velasco (Eds.). Papa Andina: Innovación para el desarrollo en los Andes, 2002-2006. Centro Internacional de la Papa (CIP). Lima. Hildreth, P. and Kimble, C. (Eds.) 2004. Knowledge Networks: Innovation Through Communities of Practice. Idea Group Inc. London. Horton, D. 2008. Facilitating pro-poor market chain innovation: An assessment of the participatory market chain approach in Uganda. Working Paper No. 2008 - 1, International Potato Center (CIP). Lima, Peru. Narayan, D. 1999. Bonds and Bridges: Social Capital and Poverty. The World Bank.

Reinoso, I. y Pico, H. (Eds.) 2007. Cadenas Agroalimentarias: Plataformas de concertación y proyectos compartidos - Un método de trabajo con pequeños productores agrícolas. Instituto Nacional Autónomo de Investigaciones Agropecuarias (INIAP), Centro Internacional de la Papa (CIP), Agencia Suiza para el Desarrollo y la Cooperación (COSUDE). Quito, Ecuador. 64 p. Thiele, G., Devaux, A., Velasco, C., and Manrique, K. 2006. Horizontal evaluation: Stimulating social learning among peers. Institutional Learning and Change (ILAC) Initiative Brief No. 13. Bioversity International. Roma.

Bibliografía

Reinoso, I. y Monteros, C. (Eds.) 2005. Plataformas de concertación para vincular agricultores y agricultoras con el mercado. Agencia Suiza para el Desarrollo y la Cooperación (COSUDE), Instituto Nacional Autónomo de Investigaciones Agropecuarias (INIAP), Centro Internacional de la Papa (CIP). Quito, Ecuador. 45 p.

Evaluación Horizontal: Aprender colectivamente – Guía de usuario

Thiele, G., Devaux, A., Velasco, C. and Horton, D. 2007. Horizontal evaluation: Fostering knowledge sharing and program improvement within a network. American Journal of Evaluation 28:493-508. Thiele, G., Devaux, A., Velasco, C. y Manrique, K. 2008. Evaluación horizontal: Estimulando el aprendizaje entre “pares”. Resumen No. 15 de la Iniciativa Institucional Learning and Change (ILAC). Bioversity International. Roma.

Anexos – Material para el capacitador

Anexos

Material para el facilitador Contenido

Anexo I: Agenda de referencia para el taller

Anexo II: Hojas de facilitación

Anexo III: Hojas de trabajo grupal Hoja de trabajo grupal # 1 Hoja de trabajo grupal # 2 Hoja de trabajo grupal # 3

88 89 90

Anexos

Estos anexos contienen el material didáctico que apoya al facilitador en planificar e implementar un taller de EH. Incluyen una agenda de referencia, hojas de facilitación que ayudan al momento de implementar cada sesión, y hojas de trabajo grupal para el uso de los participantes. Estas pueden ser fotocopiadas y distribuidas a cada grupo, antes de iniciar el trabajo.

Evaluación Horizontal: Aprender colectivamente – Guía de usuario

Anexos – Material para el capacitador

Anexo I – Agenda de referencia para el taller Día 1 Actividad

Respnsable

Sesión