Monitoreo y Valoración del Impacto:Instrumentos a Usar en Proyectos de Desarrollo Rural

Monitoreo y valoraci贸n del impacto Instrumentos a usar en proyectos de desarrollo rural con un enfoque en el manejo sostenible de la tierra

Volumen 1: Procedimiento

Karl Herweg & Kurt Steiner 2002

Synopsis Monitoreo y valoración del impacto (MVI) como parte de la gestión del ciclo del proyecto (GCP)

Pasos en la GCP Pasos en el MVI

Razonamiento y preguntas clave del MVI

Planificación Planificación Análisis de los involucrados

Paso 1: Participación de los involucrados y manejo de la información

Razón: Empezar con el MVI participativo y preparar la documentación de todo el procedimiento del MVI Preguntas clave: ¿Quién participa en el MVI? ¿Quién puede proporcionar información? ¿Quién necesita qué tipo de información y de qué manera? ¿Cómo se difundirá y almacenará la información para que ésta sea accesible para todos?

Análisis de problemas

Paso 2: Revisión del análisis de problemas

Razón: Comprensión sólida del entorno del proyecto, sus factores y las interrelaciones entre ellos Preguntas clave: ¿Cuáles son los factores más importantes del entorno del proyecto? ¿Cómo están vinculados? ¿Qué papel tienen en el entorno? ¿Se está moviendo el entorno hacia la sostenibilidad o se está alejando de ella?

Análisis de objetivos (Análisis de alternativas)

Paso 3: Formulación de Razón: Predecir posibles impactos positivos y negativos las hipótesis de impacto Preguntas clave: ¿Qué impulsos puede dar un proyecto para obtener un desarrollo más sostenible? ¿Qué tipo de impactos positivos y negativos podrían resultar?

Selección de indicadores

Paso 4: Selección de los Razón: Preparar la línea de base y la valoración del MVI indicadores de impacto Preguntas clave: ¿Qué indica cambios en el entorno del proyecto? ¿Qué revela cuáles de las hipótesis de impacto se materializarán? ¿Qué serie de indicadores mostrará si los cambios lograrán el propósito y el objetivo del proyecto? ¿Se pueden usar indicadores locales? ¿Cómo se puede seleccionar un número razonable de indicadores? ¿Cómo se puede preparar la valoración del impacto?

Monitoreo

Paso 5: Desarrollo y aplicación de métodos de monitoreo del impacto

Razón: Observación y documentación de los cambios del entorno Preguntas clave: ¿Cómo se pueden observar y documentar los indicadores del entorno y del impacto? ¿Qué métodos son aplicables con los medios y capacidades disponibles en el proyecto? ¿Cuál es la mejor manera para combinar métodos?

Evaluación

Paso 6: Valoración del impacto

Razón: Interpretación de los cambios del entorno Preguntas clave: ¿De qué manera cambió el entorno según la opinión de los diferentes involucrados? ¿Qué aprendieron de estos cambios? ¿Indica lo aprendido que el proyecto ha estimulado importantes procesos sociales? ¿Cuáles son las relaciones entre estos procesos y los objetivos (de desarrollo)? ¿Qué procesos específicos deberían ser reforzados en el futuro?

Monitoreo y valoraci贸n del impacto Instrumentos a usar en proyectos de desarrollo rural con un enfoque en el manejo sostenible de la tierra

Volumen 1: Procedimiento

Karl Herweg & Kurt Steiner 2002

MONITOREO Y VALORACIÓN DEL IMPACTO Instrumentos a usar en proyectos de desarrollo rural con un enfoque en el manejo sostenible de la tierra Volumen 1: Procedimiento

Autores: Karl Herweg (CDMA), Kurt Steiner (GTZ) Instituciones colaboradoras: Centro para el Desarrollo y el Medio Ambiente (CDMA, Suiza), Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ, Alemania), Agencia Suiza para el Desarrollo y la Cooperación (COSUDE, Suiza), Intercooperation (Suiza), Helvetas (Suiza), Departamento de Desarrollo Rural del Banco Mundial.

Colaboradores individuales (en orden alfabético): Peter Bieler (COSUDE), Lukas Frey (CDMA), Markus Giger (CDMA), Matthias Görgen (consultor), Charl Goodwin (Dep. de Asuntos Terrestres, RSA), N.R. Jagannath (COSUDE, Bangalore, India), Andreas Kläy (CDMA), Adrian Maître (Intercooperation, ATICA, Bolivia), Peter Meier (COSUDE), Hans-Peter Müller (COSUDE, PDR Corea), Dieter Nill (consultor), Cordula Ott (CDMA), Stephan Rist (CDMA), Jochen Schmitz (Helvetas), Kai Schrader (consultor), Sigfrid Schröder-Breitschuh (GTZ), Francis Shaxson (consultor), Thomas Stadtmüller (Intercooperation), Brigitta Stillhardt (CDMA), Georg Weber (Intercooperation, Nepal) Diseño y maquetación: Lukas Frey; REYGrafik, Bern Dibujos y caricaturas: Karl Herweg Traducción del inglés: Kai Schrader © CDMA & GTZ 2002

Por favor dirija sus comentarios, sugerencias, solicitudes, etc. a: Dr. Karl Herweg Dr. Kurt Steiner Centro para el Desarrollo y el Medio Ambiente GTZ Steigerhubelstr. 3 Dag-Hammarskjöld-Weg 1-5 CH-3008 Bern D-65760 Eschborn Tel.: +41 31 631 88 22 Tel. y Fax: +49 6196 79 10 81 Fax: +41 31 631 85 44 Correo electrónico: Correo electrónico: herweg@giub.unibe.ch kurt.steiner@gtz.de

2

Índice

Índice Agradecimientos

4

Prefacio

5

Sobre este documento

6

Aclaración de los términos

9

Enfoque hacia el monitoreo y la valoración del impacto

14

Seis pasos para el monitoreo y la valoración del impacto

17

Paso 1: Participación de los involucrados y manejo de la información

19

Paso 2: Revisión del análisis de problemas

23

Paso 3: Formulación de las hipótesis de impacto

27

Paso 4: Selección de los indicadores de impacto

31

Paso 5: Desarrollo y aplicación de métodos de monitoreo del impacto

39

Paso 6: Valoración del impacto

43

3

Agradecimientos

Agradecimientos El documento en mano es una versión revisada de una publicación anterior: Manejo sostenible de la tierra – Lineamientos para el monitoreo del impacto (Herweg, Steiner & Slaats 1998). Estos lineamientos –publicados como documentos de trabajo para una discusión pública– eran el resultado de la colaboración de agencias internacionales de desarrollo, universidades e individuos de varios continentes. Desde el inicio, todos los grupos compartieron la necesidad de disponer de instrumentos prácticos y de un sistema de monitoreo del impacto a buen precio, sobre todo en el área del manejo sostenible de la tierra. Este hecho hizo posible la reunión de una masa crítica de profesionales para hacer un uso óptimo del inmenso trabajo que ya se había realizado y de esta manera evitar inventar la rueda de nuevo. Los autores quieren expresar su profunda gratitud a todos y todas aquellos que han dedicado parte de su tiempo a este trabajo, sea participando en talleres, sea asistiendo a la identificación de documentos relevantes, sea escribiendo alguna parte o editando los lineamientos. Nuestras gracias se dirigen también a muchos colegas en muchos países quienes muy críticamente revisaron, comentaron y aplicaron los lineamientos. Al mismo tiempo, los participantes en varios talleres ofrecieron su tiempo tan valioso y los documentos de sus proyectos para poder aplicar los lineamientos y revisar el procedimiento de monitoreo y valoración del impacto (MVI) para hacerlo cada vez más práctico. Las divisiones de control de COSUDE y GTZ han apoyado la presente versión con numerosos aportes útiles que ayudarán a promover la mejor integración del MVI en la gestión del ciclo del proyecto (GCP). Nuestras más sinceras gracias van a todos aquellos que han contribuido al presente documento, y por último, y no por ello menos importante, a COSUDE y a la GTZ por su generoso financiamiento.

4

Prefacio

Prefacio El uso sostenible de los recursos naturales ha sido aceptado como tema prioritario en la agenda del desarrollo global desde hace mucho tiempo. Un número considerable de convenciones y conferencias internacionales han destacado su importancia.

Al mismo tiempo, se están publicando informes sobre la permanente degradación de la tierra y la pérdida de la fertilidad del suelo, lo que indica que el tema del manejo sostenible de la tierra (MST) está tratado de manera insuficiente y/o de manera no efectiva.

La implementación de estrategias del MST se convierte cada vez más en un asunto transversal para el desarrollo. Con buena razón, las estrategias económicas y de sustento se vuelven más eminentes, centrándose en situaciones donde todos ganen (multiple-win-situation). La inoportuna consecuencia de este hecho es, que muchas veces ya no se realiza un seguimiento tan minucioso al monitoreo de los impactos sobre el medio ambiente como antes. Como pasa a menudo en temas complejos faltan buenas herramientas, indicadores y procedimientos para el monitoreo o no están disponibles para su aplicación. En consecuencia, es crucial el desarrollo de un instrumento para el monitoreo y la valoración del impacto (MVI) del MST, sobre todo porque el MST es un asunto complejo que incluye aspectos socioeconómicos y biofísicos.

Con el instrumento presentado a continuación se quiere no sólo proporcionar una guía detallada para ejecutar el monitoreo y la valoración, sino también estimular a los usuarios potenciales a dar un nuevo enfoque al MST de acuerdo con las prioridades de su intervención. El procedimiento del MVI (Volumen 1) y la utilería relacionada (Volumen 2) demuestran que el instrumento presente responde a una necesidad sentida. Pero también se espera que el instrumento despierte un nuevo interés para el monitoreo del impacto en áreas donde el énfasis no está sobre el manejo de la tierra o aspectos medio ambientales. El instrumento es el resultado de una recopilación de experiencias globales hechas en el campo, incluyendo a expertos de diferentes instituciones quienes han probado su utilidad y ofrecido su valiosa aportación. Publicada en el año de la Cumbre Mundial sobre Desarrollo Sustentable (Río + 10), la presente publicación es oportuna y animará a todos los involucrados a conectar el debate sobre la política global con actividades en el campo.

Jean-Bernard Dubois Director, Departamento de Recursos Naturales y Medio Ambiente Agencia Suiza para el Desarrollo y la Cooperación (COSUDE) Dr. Petra Mutlu Directora, Departamento de Desarrollo Rural Deutsche Gesellschaft für Entwicklungszusammenarbeit (GTZ)

5

Sobre este documento

Sobre este documento Hay una discusión en marcha entre las agencias de desarrollo y sus contrapartes sobre cómo se puede determinar el impacto de la cooperación al desarrollo. El documento en mano sobre "el monitoreo y la valoración del impacto” es una contribución a esta discusión. Ofrece una opción aplicable para tratar esta problemática en los proyectos de desarrollo, pero no es la única.

Los usuarios Este documento fue diseñado para responsables y técnicos de proyectos de desarrollo rural y sus consultores. El Volumen 1 contiene una descripción de un procedimiento para el monitoreo y la valoración del impacto (MVI), integrado en la gestión del ciclo del proyecto (GCP). Para aquellos que necesitan una información más detallada, el Volumen 2 ofrece herramientas, ejemplos, métodos de monitoreo seleccionados y referencias adicionales. No existe un procedimiento universal, lo que significa que el MVI tiene que ser adaptado a cada entorno local específico de un proyecto. El presente documento facilita algunos ladrillos para la construcción de un MVI específico del proyecto.

Paso 1: Participación de los involucrados y manejo de la información

Análisis de los involucrados

Paso 6: Valoración del impacto

Evaluación

Paso 2: Revisión del análisis de problemas

Análisis de problemas

Finalidad y propósito

Planificación Monitoreo

Análisis de objetivos Selección de indicadores

Paso 5: Desarrollo y aplicación de métodos de monitoreo del impacto

Paso 3: Formulación de las hipótesis de impacto

Paso 4: Selección de los indicadores de impacto

Gráfico 1: La integración del monitoreo y la valoración del impacto en la gestión del ciclo del proyecto

6

Sobre este documento

El MVI como una parte integral de la gestión del ciclo del proyecto El presente documento enfoca el MVI como una parte de la auto-evaluación de un proyecto, un instrumento de reflexión y aprendizaje para adaptar y mejorar las actividades del proyecto. Por esta razón, el MVI tiene que ser integrado en la GCP como un instrumento de navegación para el control de calidad durante la existencia de un proyecto. Para una mejor integración en la GCP, el MVI ha sido dividido en seis pasos que pueden ser añadidos a los procedimientos ya existentes de la GCP (véase Gráfico 1).

El MVI participativo Un impacto se considera positivo o negativo, sostenible o no sostenible, etc., en función de quién lo valora (un agricultor, su mujer, un investigador, un político, etc.) y de sus intereses (económicos, sociales, ecológicos). Un impacto puede ser positivo según unos grupos de interés mientras que otros pueden considerarlo negativo. Esto demuestra que es imprescindible involucrar diferentes grupos de interés en el MVI, es decir armonizar intereses sociales, económicos y ecológicos, seleccionar indicadores de impacto significativos y valorar y discutir cambios e impactos desde diferentes puntos de vista. Puede que un abanico de diferentes posiciones individuales no sea fácil de manejar. Pero un análisis tan detallado desde diferentes puntos de vista también revela una variedad de oportunidades de desarrollo para un proyecto.

Para los involucrados en un proyecto de desarrollo, el MVI no es sólo un instrumento de gestión sino un instrumento de aprendizaje sobre el entorno en el que uno está inmerso. Un compromiso fuerte por parte de los involucrados durante todo el MVI puede jugar un papel crucial en su empoderamiento. El MVI es una contribución al fortalecimiento de capacidades locales porque ayuda a los involucrados a presentar sus percepciones, a analizar, negociar y tomar decisiones en conjunto. El MVI participativo puede ir incluso más lejos, de manera que grupos de involucrados conduzcan su propio monitoreo del impacto (por ej. PASOLAC / PROASEL: Evaluación Por Beneficiarios). Esto, de todas maneras, no es el tema de este documento.

El MVI eficaz en función de los costos El documento en mano considera las limitaciones de tiempo y de fondos de proyectos de desarrollo y sugiere sólo herramientas e instrumentos – ya puestos en práctica – simples y eficaces en función de los costos. Los métodos científicos no están incluidos ya que requieren especialistas que hagan uso de sus propias metodologías. Las herramientas a buen precio no pueden ser tan exactas y precisas como los métodos científicos. Entonces, la meta del MVI es encontrar indicaciones convincentes – y no pruebas científicas – del impacto del proyecto. El procedimiento básico del MVI debería ser ejecutado por el proyecto y sus participantes. Las preguntas adicionales pueden ser respondidas mediante estudios específicos de universidades o consultores locales.

7

Sobre este documento

Un enfoque temático El Volumen 1 contiene una descripción general de un proceso de monitoreo y valoración del impacto, ya que esto puede ser utilizado por la mayoría de los proyectos de desarrollo rural. En el Volumen 2, este procedimiento será complementado con ejemplos y herramientas del "manejo sostenible de la tierra” (MST), un componente importante del desarrollo sostenible. Estos ejemplos deberían ayudar también a proyectos de otros sectores como salud, educación, infraestructura, etc. para poder adaptar el procedimiento básico del MVI a sus respectivas necesidades.

El proceso de la elaboración del documento presente En 1996/97, la Agencia Suiza para el Desarrollo y la Cooperación (COSUDE), la GTZ (Deutsche Gesellschaft für Technische Zusammenarbeit), Intercooperation y Helvetas (Suiza) y muchas de sus contrapartes expresaron su necesidad de herramientas prácticas para el monitoreo del impacto a nivel de proyecto. Hasta entonces, muchas organizaciones bilaterales y multilaterales ya habían realizado trabajos en este área, sobre todo en referencia a marcos conceptuales e indicadores de sostenibilidad y manejo sostenible de la tierra. En mayo y noviembre de 1997, una masa crítica de expertos representando muchas organizaciones se reunió para diseñar una versión preliminar de los lineamientos del monitoreo del impacto (MI) con enfoque en el manejo sostenible de la tierra (MST). Estos lineamientos MI-MST fueron distribuidos en inglés, francés y español en concepto de documentos de trabajo para la discusión pública después de julio 1998. Se pidió a muchos proyectos y consultores en todo el mundo que probaran esta versión, que la adaptaran a su situación y compartieran sus aportaciones para hacer el uso de los lineamientos más fácil y los lineamientos más aplicables a situaciones de la vida real. Al mismo tiempo, el Centro para el Desarrollo y el Medio Ambiente (CDMA, Universidad de Berna, Suiza) y la GTZ implementaron varios talleres de orientación en África, Asia y América Latina para compartir las experiencias en el monitoreo y la valoración del impacto, y seguir desarrollando un procedimiento y herramientas para el MVI. Las experiencias y los aportes de los años 1998 a 2001 formaron la base para la elaboración del documento en mano.

8

Aclaración de los términos

Aclaración de los términos No todas las agencias de desarrollo y autores usan los términos relacionados con la gestión del ciclo del proyecto y del monitoreo del impacto de la misma manera. Por esto queremos describir a continuación cómo se usan los términos en el presente documento.

Proyecto: En todo el documento el término "proyecto” se refiere a un término genérico para las acciones de desarrollo, en este caso, las actividades que fomentan el desarrollo rural.

Entorno: Todos los proyectos de desarrollo existen en un entorno específico, esto es su ambiente bio-físico, socio-cultural, económico, institucional y político. El entorno abarca varios niveles, desde el nivel micro (nivel local) al nivel macro (política, economía, etc.) e incluye diferentes grupos de interés como los usuarios locales de la tierra, grupos de mujeres, extensionistas, técnicos, profesores, especialistas de salud, economistas, políticos, etc.

Cambio: Los cambios en un entorno son el resultado de la influencia de muchos factores internos y externos (véase Gráfico 2). Los factores internos incluyen constelaciones de poder y mecanismos sociales de aprendizaje, adaptación, rechazo, etc.; los factores externos como la economía nacional e internacional y diferentes políticas también incitan cambios en el entorno. Un proyecto de desarrollo de por sí puede ser considerado otro factor externo que fue expresamente diseñado para desencadenar

Intervención del proyecto

Factores internos de cambio

Entorno

Factores externos de cambio

Gráfico 2: Los factores que contribuyen a los cambios del entorno de un proyecto

9

Aclaración de los términos

cambios en sectores específicos (por ej. en la agricultura, educación, infraestructura, etc.).

Gestión del ciclo del proyecto: La gestión del ciclo del proyecto (GCP) indica que la duración de un proyecto de desarrollo es básicamente una secuencia de fases, cada una consistiendo en la planificación, implementación, monitoreo y evaluación. Dentro de la GCP, el MVI es la herramienta que ayuda al equipo del proyecto a mantener el contacto con el entorno del proyecto, a aprender continuamente lecciones de la implementación de cada ciclo y a adaptar el proyecto por consiguiente.

Finalidad (la meta general): En un significado más amplio, la finalidad es el último cambio deseado en un entorno, por ej. la mitigación de la pobreza, el manejo sostenible de los recursos, el empoderamiento de la población local, etc.

La meta no puede ser alcanzada solamente con un proyecto, pero un proyecto debería hacer una contribución significativa a alcanzar esta meta.

Propósito del proyecto (objetivo): El propósito del proyecto es un objetivo más específico. Describe la contribución concreta de un proyecto a su finalidad. Refleja el logro de una situación mejorada del entorno en el futuro. Se ha cumplido el propósito cuando todos los resultados del proyecto han sido alcanzados y todas las suposiciones confirmadas. Lograr el propósito no es la solemne responsabilidad del proyecto; sólo puede ser cumplido en conjunto con los participantes del proyecto.

Resultados esperados y desempeño:

El término "resultado esperado” se refiere a la planificación del proyecto. Se corresponde con el término "desempeño”, que describe un resultado a corto o mediano plazo que se alcanza como parte de la responsabilidad de un proyecto. Alcanzar resultados está relacionado con la eficiencia (funcionamiento, realización) del proyecto.

Impacto: El "impacto” consta de las consecuencias a mediano y largo plazo que tiene un proyecto para el entorno y su población, sean deseadas (planificadas), sean no deseadas. Incluso la presencia de agentes de desarrollo o la mera existencia de un proyecto puede tener consecuencias. Se crean expectativas, los participantes pueden cambiar sus actitudes, etc. sin que el proyecto brinde ningún insumo o realice ninguna actividad. Pero desde el momento en que se planifica un proyecto, el propósito y la finalidad reflejan impactos deseados. Por esto, muchas veces se relaciona el "impacto” de un proyecto con su eficacia, es decir, su éxito en la contribución a su meta. En el documento presente, se usa "impacto” como un término genérico para toda una cadena de impacto (véase abajo); no está limitado a nivel de la "finalidad”. Ciertamente, un proyecto siempre desea impactos positivos, pero también pueden haber impactos negativos. Además, los participantes puede que no consideren un impacto enteramente positivo o negativo.

Cadena de impacto: El término "impacto” cubre un rango amplio de consecuencias que puede ser considerado una cadena de impacto de conexiones que se traslapan (véase Gráfico 3). La aplicación de los resultados del proyecto ya implica la idea de un amplio impacto (por ej. la adaptación de un nuevo sistema de produc-

10

Aclaración de los términos

ción con una cobertura más amplia). Como consecuencia de la aplicación, se pueden observar los efectos iniciales (desempeño, impactos directos; por ej. el rendimiento aumenta, la erosión del suelo disminuye, etc.). Puede que estos efectos impliquen tanto beneficios como inconvenientes (por ej. un mayor rendimiento tiene que poderse vender para aumentar los ingresos familiares). Esto puede estimular un proceso de aprendizaje, cambiar las actitudes y percepciones de la gente, y provocar impactos (indirectos) adicionales (por ej. las personas locales ganan confianza en ellas mismas y aprovechan más su potencial). Al final, por lo menos algunos de los impactos deberían estar relacionados con la finalidad de la cooperación al desarrollo (por ej. empoderamiento de las personas locales, mitigación de la pobreza, etc.).

Planificación Resultado Logros Desempeño

Propósito

Finalidad

Cadena de impacto Aplicación Efecto Beneficio/Inconveniente Impacto

Gráfico 3: La cadena de impacto

Monitoreo y valoración del impacto: Con el "monitoreo del impacto” se puede referir a diferentes instrumentos, como a la valoración del impacto ambiental / social (pronóstico) y estudios de impacto (evaluación retrospectiva del impacto). En cambio, en este documento, se considera el "monitoreo y la valoración del impacto” (MVI) parte de un proceso de auto-evaluación, un instrumento de reflexión y aprendizaje para adaptar mejor las actividades del proyecto a un entorno cambiante. El MVI incluye dos aspectos: la observación (monitoreo) y la interpretación (valoración) del entorno cambiante y de las consecuencias del proyecto. Solamente una combinación de ambos aspectos proporciona un instrumento útil para el control de calidad en la gestión del ciclo del proyecto. El monitoreo debería ser realizado de manera "objetiva” para establecer una base de información. La valoración implica la consideración "subjetiva” de diferentes grupos de interés según sus percepciones individuales.

Brecha de atribución: Durante la planificación, un proyecto y sus participantes definen la finalidad, el propósito del proyecto, los resultados esperados, las actividades y los insumos (véase Gráfico 4). La primera responsabilidad de un proyecto es conseguir resultados; por esto, el desempeño puede ser relacionado con los resultados esperados de forma relativamente clara. Pero más allá, la cadena de impacto (aplicación, efecto, beneficio / inconvenientes, impacto) necesita tiempo para desarrollarse, tiempo durante el cual el número de factores y sus interacciones aumenta.

Esto hace cada vez más difícil la atribución de un cambio a un único factor o proyecto. Esto se llama la "brecha de atribución”. Incluso con investigaciones costosas un proyecto sólo puede reducir pero nunca cerrar esta brecha. En realidad, un proyecto sólo puede establecer y demostrar relaciones plausibles entre sus actividades y los cambios en el entorno.

11

Aclaración de los términos

Logros

Desempeño

Cadena de impacto Aplicación Efecto Beneficio/Inconveniente Impacto

Atribución del impacto

Atribución clara al proyecto

Brecha de atribución

Gráfico 4: La brecha de atribución

Indicador:

El entorno de un proyecto es muy complejo y para volver manejable la planificación, el monitoreo y la evaluación, hay que simplificar esta complejidad. Para este propósito, se atribuyen a los componentes de un entorno y sus interacciones cantidades simples y mensurables, llamadas indicadores. Principalmente, en la gestión del ciclo del proyecto se aplican dos tipos de indicadores. Los indicadores de desempeño (cumplimiento) ayudan a observar y evaluar la eficiencia de un proyecto.

Se usan para determinar si se realizaron las actividades planificadas y si se lograron los resultados esperados en un tiempo y con unos fondos dados. Los indicadores de impacto se usan para observar y valorar la eficacia de un proyecto. Éstos describen si el desempeño de un proyecto tiene consecuencias adicionales sobre el entorno y su población, si son deseadas o no deseadas, positivas o negativas.

Si un indicador es considerado un indicador de cumplimiento o de impacto depende de la formulación de la finalidad, del propósito y de los resultados del proyecto. Existe más bien una transición gradual que una diferencia clara entre estos dos tipos de indicadores. Por ejemplo: puede que un proyecto agrícola que ayuda a desarrollar sistemas de producción mejorados use -para demostrar su eficiencia- como indicador de cumplimiento la siguiente medida: "un 60 % de los campesinos han aumentado su producción de maíz en un 20 % en 3 años”. Pero el mismo indicador también se refiere a unas conexiones de la cadena del impacto, como la "aplicación” de los resultados (impacto amplio, área de cobertura) y "efectos” (aumento de la producción). Un único indicador no puede describir suficientemente ni la aplicación ni el impacto de un proyecto. Entonces, el reto es seleccionar una serie de indicadores que cubra todos los aspectos importantes del entorno y que a la vez sea manejable con los medios y capacidades dados de un proyecto.

Manejo sostenible de la tierra: El manejo sostenible de la tierra (MST) se refiere al uso sostenible de los recursos naturales (suelo, agua, vegetación y animales) para la producción de bienes –para satisfacer las necesidades humanas cambiantes– mientras se protege a la vez el potencial productivo de estos recursos a largo plazo. La pregunta central del MST no es cómo mantener la naturaleza en un estado original sino cómo coexistir con la naturaleza manteniendo de manera sosteni-

12

Aclaración de los términos

ble las funciones productivas, fisiológicas, culturales y ecológicas de los recursos naturales para el beneficio de la sociedad. El MST intenta armonizar los objetivos complementarios pero a menudo conflictivos de producción y protección ambiental.

Al contrario de la situación de hace unas pocas décadas, hoy día existen sólo unos pocos países que todavía disponen de abundantes recursos territoriales para satisfacer las necesidades de sus poblaciones crecientes. En la mayoría de los países, la producción debe ser aumentada e intensificada en tierras que ya están bajo cultivo y también afectadas por la degradación de sus recursos. Además, en la mayoría de los países en vía de desarrollo la mayor parte de las personas todavía se dedica a la agricultura, ganadería, silvicultura y pesca; y su sustento y opciones para un desarrollo económico están directamente conectados a la calidad de su tierra y sus recursos. Para tales sociedades rurales, el MST es la base para un desarrollo sostenible.

Las definiciones generalizadas no ayudarán a determinar si el manejo de la tierra en un entorno de vida real – por ej. el entorno de un proyecto de desarrollo – se está acercando o alejando de la sostenibilidad. Más bien son los participantes los que deben definir lo que ellos consideran "sostenible” para el entorno en cuestión. En el documento presente se enfoca el MST mediante las dimensiones sociales / institucionales, económicas y ecológicas de la sostenibilidad. Esto significa para un proyecto de desarrollo rural que el manejo de la tierra se vuelve sostenible si hay progreso en todas las dimensiones a la vez. Por ejemplo, los bienes y servicios brindados deben ser compatibles con las estructuras sociales locales (la dimensión social e institucional, adaptabilidad), el sustento de los participantes tiene que estar asegurado (la dimensión económica, viabilidad) y los procesos de degradación de los recursos deben ser minimizados (la dimensión ecológica, protección). Si hay un movimiento hacia la no sostenibilidad en una única dimensión, el desarrollo ya no puede ser considerado sostenible.

¡Timonel! ¿Todavía seguimos el rumbo?

¡Sí, mi capitán!

Exactamente según el plan. ¿Porqué?

Porque parece que el ambiente ha cambiado algo…

RESO PROG

13

El enfoque al monitoreo y la valoración del impacto

El enfoque al monitoreo y la valoración del impacto ¿En qué grado ha alcanzado un proyecto de desarrollo su propósito y su finalidad? Esta pregunta era el punto de partida para la elaboración del presente documento. Es fácil perder de vista la finalidad al intentar cumplir todas las actividades planificadas y conseguir los resultados esperados. Realmente, según muchas agencias de desarrollo, los proyectos se centran demasiado en el funcionamiento y el desempeño (eficiencia) y no lo suficiente en el entorno (eficacia). Es importante preguntarse no sólo "¿Estamos haciendo las cosas correctamente?” sino también "¿Estamos haciendo lo correcto?”

Las agencias de desarrollo justifican sus actividades en términos de impacto sobre el entorno y los proyectos se justifican a ellos mismos mediante una buena ejecución. En teoría, ambos aspectos –el desempeño y el impacto– están incluidos en la gestión del ciclo del proyecto. De un lado, el entorno está reflejado en la formulación del propósito y la finalidad del proyecto, como por ej. el "empoderamiento”, la "mitigación de la pobreza”, el "manejo sostenible de la tierra”, etc. De otro lado, el desempeño se refleja en los resultados esperados. En la práctica, sin embargo, no se presta una atención suficiente al impacto. Por lo tanto, desde la perspectiva del donante es necesario un cambio de paradigma –del cumplimiento hacia el impacto y de la eficiencia hacia la eficacia. Desde la perspectiva de un proyecto surge la pregunta ¿cómo realizar este cambio?

La gestión del ciclo del proyecto (GCP) ya ofrece instrumentos básicos pero requiere herramientas suplementarias que ponen más énfasis en el entorno y el impacto. El Grá-

Instrumentos de la gestión del ciclo del proyecto Planificación Cumplimiento

Monitoreo y evaluación Impacto

Entorno

Resultado

Propósito

Finalidad

Desempeño Aplicación Efecto Beneficio/Inconveniente Impacto

Gráfico 5: La posición del monitoreo y la valoración del impacto

14

El enfoque al monitoreo y la valoración del impacto

fico 5 demuestra los instrumentos complementarios de la GCP de un proyecto: las actividades de planificación, por un lado, y el monitoreo y la evaluación (M&E) del cumplimiento, por el otro. La planificación toma una perspectiva más amplia del entorno del proyecto al formular la finalidad y el propósito del proyecto. Después, se definen los resultados y actividades concretas para cumplir el propósito y contribuir a la finalidad. Pero al contrario de la planificación, el M&E se centra más en el desempeño –es decir, el cumplimiento– del proyecto (nivel de los resultados). Entonces, para restaurar la visión más amplia del entorno que existía durante la planificación el M&E debería ser complementado con el monitoreo y la valoración del impacto (MVI).

Los proyectos de desarrollo usan el MVI para adaptar mejor sus actividades a un entorno cambiante.

Crear impactos positivos implica que se entienden lo suficientemente los factores básicos del entorno y su intercambio. En el mejor de los casos, un proyecto empieza con una fase de orientación que proporciona un marco lógico para los participantes y el equipo del proyecto para obtener una imagen clara del entorno, sus problemas y oportunidades. Sin esta fase de orientación, un análisis participativo del entorno sería el requisito mínimo para una planificación relevante del proyecto. Asumiendo que se hizo bien la planificación, el punto débil en la GCP sigue siendo el M&E. ¿Cómo puede un proyecto observar permanentemente el entorno cuando ya está sobrecargado de tareas y se justifica mediante el desempeño de las mismas? ¿Valdría la pena dedicar un 5 % de los fondos al MVI? Éstas son las preguntas que deberían ser respondidas por las agencias donantes mismas. Pero mientras tanto, los proyectos necesitan una herramienta práctica que les permita estar en permanente contacto con su entorno.

Hasta que se aplican los resultados y se consiguen los impactos de un proyecto pasa cierto tiempo durante el cual el entorno cambia. Cambiará de todas formas, con o sin proyecto. Por un lado, existen mecanismos de cambio internos (específicos del entorno), por ej. procesos sociales como relaciones de poder cambiantes, aprendizaje, integración, adaptación, rechazo, etc. Por otro lado, existen factores de cambio externos, como la economía nacional e internacional, diferentes políticas, etc. Es imprescindible ser totalmente consciente de que el proyecto es sólo un factor entre muchos y, por fin, que un cambio en el entorno es el resultado de la influencia de todos los factores.

Eso hace muy difícil determinar precisamente un impacto, o sea atribuir un cambio a un sólo proyecto. A pesar de esta "brecha de atribución”, cada proyecto puede observar y valorar los cambios de su entorno, buscar y demostrar relaciones plausibles entre sus actividades y estos cambios, y aprender de estos cambios para modificar y adaptar sus actividades en el futuro. El documento presente ha sido preparado para ayudar a los proyectos a componer a su medida su propio sistema de monitoreo.

No existe un procedimiento universal –el monitoreo y la valoración del impacto tienen que ser adaptados a las condiciones específicas del proyecto y al entorno local respectivo.

15

El enfoque al monitoreo y la valoración del impacto

Dolzer, H., Dütting, M., Galinski, D., Meyer, L.R., Rottländer, P. 1998. Wirkungen und Nebenwirkungen. Ein Beitrag von Misereor zur Diskussion über Wirkungsverständnis und Wirkungserfassung in der Entwicklungszusammenarbeit: 178 p.

Germann, D., Gohl, E., Schwarz, B. 1996. Participatory impact monitoring. Booklets 14. Gate/GTZ. Gohl, E. 2000. Prüfen und lernen. Praxisorientierte Handreichung zur Wirkungsbeobachtung und Evaluation. Association of German Development NGOs: 104 p.

Guijt, I. 1998. Participatory monitoring and impact assessment of sustainable agriculture initiatives. SARL Discussion Paper No. 1. IIED: 112 p.; London.

GTZ 1998. Monitoring im Projekt. Eine Orientierung für Vorhaben in der technischen Zusammenarbeit. Eschborn.

Herweg, K., Slaats, J., Steiner, K. 1998. Sustainable land management – Guidelines for impact monitoring. Working documents for public discussion. Workbook 79 p. and Toolkit 128 p.; Bern.

Kirsch-Jung, K.P., Görgen, M., Nill, D. (eds.) 2000. Mesurer les effets des projets. Suivi d’impact et calcul de rentabilité économique. Contributions de trois ateliers sur la Gestion des Ressources Naturelles. GTZ, OE 45: 266 p.

Kläy, A., Huguenin, A., Hurni, H., Perich, I., Schläfli, K. 1994. Environmental assessment in development co-operation. Principles of ecological planning. Development and environment reports 4: 46 p.; Bern.

McMay, V., Treffgarne, C. (eds.) (no date). Evaluating Impact. DFID, Education research, Serial No. 35.

Mutter, T. 2000. Evaluieren NGOs anders? Die Folgen von Partnerautonomie und Organisationsgröße. Entwicklung und Zusammenarbeit, No. 12: pp. 351-353.

PASOLAC / INTERCOOPERATION 1999. Evaluación participativa por productores.

Programa para la agricultura sostenible en laderas de América Central; Doc. No. 216: 58 p.; Managua.

PASOLAC / INTERCOOPERATION 1999. Evaluación participativa por productores.

Programa para la agricultura sostenible en laderas de América Central; Doc. No. 200: 33 p.; San Salvador.

PASOLAC / INTERCOOPERATION 1999. Evaluación participativa por productores.

Programa Suizo con organizaciones privadas para la agricultura sostenible en laderas de América Central; Doc. No. 57: 30 p.; Tegucigalpa.

Roche, C. 1999. Impact assessment for development agencies. Oxfam: 308 p.

Swiss Agency for Development and Cooperation 1997. Monitoring – keeping in touch with reality: 20 + 54 p.; Bern.

Swiss Agency for Development and Cooperation 2000. Integrating environmental issues in planning, evaluation and monitoring: 59 p.; Bern.

Vahlhaus, M., Kuby, T. 2000. Orientierungsrahmen für das Wirkungsmonitoring in Projekten der Wirtschafts- und Beschäftigungsförderung unter besonderer Berücksichtigung armutsmindernder Wirkungen. GTZ, I and II: 30 + 66 p.; Eschborn.

16

Seis pasos para el monitoreo y la valoración del impacto

Seis pasos para el monitoreo y la valoración del impacto Cómo empezar el MVI • Si usted está diseñando y planificando un proyecto, o si su proyecto está en la fase de orientación, empiece con el Paso 1: Participación de los involucrados y manejo de la información.

• Si usted está ya llevando a cabo un proyecto, empiece con el Paso 3: Formulación de las hipótesis de impacto.

Nota: Puede usar el marco lógico del proyecto para empezar el MVI, pero recuerde que el MVI requiere mover el enfoque desde el desempeño hacia el entorno del proyecto. Un marco lógico existente, no obstante, está muchas veces más bien relacionado con el desempeño del proyecto. Para asegurar que el entorno está comprendido y bien representado se recomienda fuertemente examinar otra vez el análisis de problemas y formular un amplio abanico de hipótesis de impacto.

Desde hace más de veinte años estamos enfocando la mitigación de la pobreza en esta región.

¡¿Oh, de verdad?!

17

Participación de los involucrados y manejo de la información

Paso 1

Paso 1: Participación de los involucrados y manejo de la información Participación de los involucrados La participación es una manera de involucrar las diversas percepciones, actitudes, opiniones y objetivos de los diferentes grupos de interés mediante negociaciones en un entorno de la vida real. La diversidad de los participantes significa manejar intereses opuestos, pero también incluye un potencial enorme de posibilidades para solucionar problemas corrientes. Por lo tanto, una de las primeras tareas en la planificación del proyecto es un análisis de los participantes que se puede usar simultáneamente para el monitoreo y la valoración del impacto (MVI).

Un proyecto puede causar cambios en su entorno mediante sus resultados. Pero son los participantes los que en realidad realizan el cambio mediante procesos sociales como el aprendizaje, la adaptación, el rechazo, etc. Por lo tanto, es necesario que los participantes estén involucrados activamente en el procedimiento del MVI desde su inicio. Los participantes aportan sus profundos conocimientos y percepciones del entorno al análisis de los problemas y alternativas (Paso 2). Suelen proveer una lista larga de hipótesis de impactos positivos y negativos, que de otra manera el equipo del proyecto podría haber pasado por alto (Paso 3), y proporcionan los indicadores locales (Paso 4). Los participantes se involucran activamente en la observación y la recogida de los datos (Paso 5), y los cambios del entorno no pueden ser valorados sin ellos (Paso 6). Al final de la fase de un proyecto, los participantes abren nuevas posibilidades para mejorar el trabajo del proyecto.

La participación activa de los participantes durante el procedimiento del MVI proporciona nuevas oportunidades para mejorar el trabajo del proyecto.

Manejo de la información El MVI participativo sólo puede tener éxito si es transparente y si la información recogida es relevante para los diferentes grupos de participantes. Para cada grupo se debe presentar la información de una manera o con un medio apropiado y entendible. Al igual, los medios de comunicación y de divulgación de la información se determinan en función de las necesidades de cada grupo. Finalmente, la información tiene que ser almacenada de tal manera que sea accesible para cada persona que tenga interés en ella.

19

Participación de los involucrados y manejo de la información

Le ayudará a estructurar el manejo de la información si responde a las siguientes preguntas-guía en un ejercicio participativo: • ¿Qué grupos de interés participarán en el MVI (usuarios de la tierra locales, asociaciones de mujeres, el equipo del proyecto, estudiantes universitarios, etc.)?

• ¿Qué tipo de información pueden proporcionar (técnica, del trasfondo cultural, etc.)

• ¿Qué tipo de información necesitan / es relevante para ellos (técnica, económica, etc.)?

• ¿Qué tipo de presentación prefieren (informes, discusiones, etc.)?

• ¿Cuál es la mejor manera para comunicar y divulgar la información (folletos, programas de radio, etc.)?

• ¿De qué manera debería ser almacenada la información para asegurar un acceso permanente (bases de datos, archivos, etc.)?

¡Sólo veo a mujeres trabajando! ¿Cuál es su tarea?

20

Bueno, mire, llevo toda la responsabilidad…

Participación de los involucrados y manejo de la información

Paso 1

Los grupos de interés y el manejo de la información Grupo de interés

Provisión de información

Tipo de información requerido

Forma / medio Divulgación preferido

Almacenamiento

Productores (hombres)

Conocimientos indígenas sobre los recursos naturales y su manejo, ...

Información técnica para mejorar el sistema de producción, ...

Comunicación oral, demostraciones prácticas, ...

Plataformas de discusiones informales, folletos, tarjetas de ficheros, ...

Por productor y por representantes elegidos, ...

Productoras (mujeres)

Educación de los niños, almacenamiento de comida, manejo de agua y leña

Información económica y de gestión para mejorar el manejo del hogar

Comunicación oral, pequeños folletos, ...

Asociaciones de mujeres, ...

Por productora y por representantes elegidas, ...

Autoridades regionales

Estadísticas demográficas, mapas, informes de desarrollo, ...

Información administrativa para la planificación, manejo de conflictos, ...

Informes, folletos, discusiones, ...

Talleres, sesiones de planificación, correos electrónicos, ...

Archivos, impresos, bases de datos digitales, en oficinas municipales y departamentales

Agencias inter- Servicios que nacionales se pueden ofrecer, ...

Información estratégica para formular políticas de desarrollo, proyectos seleccionados, ...

Informes breInformes, correves, resúmenes os electrónicos, gráficos, ... ...

Metabases de datos, Sistemas de Información Geográfica, ...

…

…

…

…

…

…

Preparación de la información del MVI La tabla de "los grupos de interés y el manejo de la información” es el primer documento en el procedimiento del MVI. Para hacer el procedimiento transparente y repetible se debería documentar también cuidadosamente todo el MVI, lo que ya debería ser preparado en esta fase. La documentación del MVI consistirá de información recogida durante cada paso, por ejemplo: • ¿Quién usaba qué tipo de argumentos durante las discusiones de los grupos de interés? y ¿qué decisiones se tomaron? (Paso 1 y 2)

21

Participación de los involucrados y manejo de la información

• ¿Qué hipótesis de impacto, positivo y negativo, fueron formuladas? (Paso 3) • ¿Qué indicadores de impacto fueron discutidos?, ¿cuáles fueron elegidos?, ¿cuáles fueron sustituidos o modificados más adelante en el proceso del MVI? y ¿por qué?

(Paso 4) • ¿Qué métodos de monitoreo fueron seleccionados?, ¿cómo fueron adaptados / modificados durante el proceso del monitoreo? (Paso 5) • ¿Quién fue entrevistado?, ¿cuáles fueron las preguntas? y ¿qué se observó?, ¿cuándo? y ¿dónde? (Paso 5) • ¿Cómo fue recogida, interpretada y valorada la información? y ¿quién utilizaba qué argumentos? (Paso 6) • ...

Encuentre en el Volumen 2, Paso 1, referencias adicionales y una tabla vacía de "los grupos de interés y el manejo de la información” para fotocopiar.

Germann, D., Gohl, E., Schwarz, B. 1996. Participatory impact monitoring. Booklets 14. Gate/GTZ. Guijt, I. 1998. Participatory monitoring and impact assessment of sustainable agriculture initiatives. SARL Discussion Paper No. 1. IIED: 112 p.; London.

22

Revisión del análisis de problemas

Paso 2

Paso 2: Revisión del análisis de problemas El entorno del proyecto – un sistema vivo ¿Cuáles son los aspectos o factores más importantes del entorno del proyecto? ¿De qué forma están relacionados? ¿Cuál es su papel en el entorno? El entorno, ¿se está moviendo hacia la sostenibilidad o alejando de ella? Antes de empezar una intervención de desarrollo, se debería comprender muy bien el entorno del proyecto, es decir, su ambiente biofísico, socio-cultural, económico, institucional y político. Una fase de orientación deja suficiente tiempo para esto. Pero la mayoría de los proyectos tienen que fiarse de un análisis algo corto que se realiza –ojalá– con los participantes que conocen el entorno bastante bien. Un método muy común es el árbol de problemas que requiere la selección de un problema central (el tronco), la definición de las causas (las raíces) y de las consecuencias (las ramas). Pero es crítico enfocar un solo problema con relaciones lineales y causales.

Los factores de un entorno –las personas, instituciones, recursos, etc.– están relacionados fuertemente entre sí y ni siquiera los expertos locales conocen todos los factores y relaciones. Los grupos de interés con sus prioridades distintas significan un grado de incertidumbre e imprevisión adicional. Normalmente, un problema en semejante sistema (por ej. la degradación del suelo) tiene causas y consecuencias complejas y su "solución” (por ej. la conservación del suelo) también creará varios efectos colaterales, tanto positivos como negativos. Por consiguiente, no se puede solucionar un problema con un "pensamiento mecánico”, es decir tratar únicamente la causa más obvia. Ya que no se puede predecir con mucha precisión las reacciones de un sistema, no se puede esperar de un proyecto de entorno rural que proporcione soluciones simples. Sólo puede proporcionar varios "impulsos” –promover la colaboración y la capacitación de los participantes, introducir nuevas tecnologías, etc. – para estimular a las contrapartes a empujar el entorno hacia cierta dirección. Y como no es seguro que estos impulsos finalmente acaben en los cambios deseados, existe la necesidad de observar y valorar constantemente los cambios para decidir cuáles serán los próximos impulsos.

El entorno de un proyecto es un sistema vivo; implica un alto nivel de incertidumbre e imprevisión.

23

Revisión del análisis de problemas

Análisis del entorno Analizar el entorno de un proyecto es un tipo de análisis de sistemas o redes. Se realiza con los participantes para involucrar una gama de diferentes perspectivas, conocimientos y experiencias. A corto plazo, puede resultar muy difícil ponerse de acuerdo sobre una imagen común del entorno. Pero el debate sobre diferentes percepciones del mismo entorno ayuda en una fase temprana a evitar reflexiones predeterminadas.

El análisis del entorno puede arrancar con el desarrollo de un diagrama de flujo (véase Gráfico 6). Como punto de partida pueden servir los factores importantes (temas, problemas, oportunidades). Al inicio, es recomendable que el análisis sea amplio para no olvidar ningún aspecto relevante. A parte de los factores existen diferentes tipos de relaciones, por ej. flujos de información, energía, nutrientes, dependencias, etc. Se pueden cambiar de lugar o sustituir los factores y sus relaciones hasta conseguir un resultado satisfactorio, si éstos están apuntados en tarjetas. Se utilizará el diagrama de flujos para identificar factores más y menos importantes, para clasificar relaciones fuertes y débiles y, por fin, para identificar posibles puntos de partida de las actividades del proyecto. Esta discusión, interpretación y conclusión sobre la red contiene automáticamente hipótesis de impacto sobre el entorno a nivel más amplio (véase Paso 3): ¿Dónde puede intervenir el proyecto? ¿Qué pasará si interviene? Los desacuerdos durante la discusión sólo indican la necesidad de aclaraciones adicionales. Pueden ser considerados una riqueza de opciones alternativas para el desarrollo.

Política del uso de la tierra

Deforestación Fertilidad del suelo

Disponibilidad de agua Erosión del suelo

Higiene Enfermedades

Gastos para medicinas

Producción agrícola Ingresos familiares Mano de obra familiar

Política económica Oportunidades de trabajo en la ciudad Gráfico 6: El análisis de una red

24

Migración

Revisión del análisis de problemas

Paso 2

Mientras el árbol de problemas enfoca un problema central y las relaciones más bien lineales, el análisis de redes o sistemas es más amplio y permite analizar interrelaciones complejas. Esta diferencia será esencial para todos los pasos siguientes del MVI, desde la formulación de las hipótesis de impacto hasta la valoración del impacto.

Todos estos pasos requieren una visión amplia del entorno en vez de un enfoque estrecho sobre el problema central.

En el Volumen 2, Paso 2, se encuentra un ejemplo y una descripción detallada de un "Análisis Participativo de Sistemas” y referencias adicionales.

Bellows, B. 1996. Indicators of sustainability. Workbook for the SANREM CRSP. Washington State University / University of Wisconsin.

Kläy, A., Huguenin, A., Hurni, H., Perich, I., Schläfli, K. 1994. Environmental assessment in development co-operation. Principles of ecological planning. Development and environment reports 4: 46 p.; Bern.

Ahora, preguntemos a los pobres campesinos: ¿Cuál es su problema?

El enfoque de múltiples participantes

25

Formulación de las hipótesis de impacto

Paso 3

Paso 3: Formulación de las hipótesis de impacto Empezando con el Marco Lógico del proyecto El entorno del proyecto ¿se está moviendo hacia la sostenibilidad o alejando de ella? ¿Qué impulsos puede dar un proyecto para un desarrollo más sostenible? ¿Qué impactos positivos y negativos pueden resultar? Muchos proyectos que empiezan con el MVI ya han terminado con su planificación. La finalidad, el propósito del proyecto, los resultados, actividades, indicadores, etc. están formulados y recopilados, por ejemplo, en una matriz de planificación. Se puede usar esta matriz para iniciar el MVI por primera vez. La condición, de cualquier manera, es que se tome en cuenta el entorno más amplio del proyecto. Por lo tanto, la formulación de las hipótesis de impacto empieza con la finalidad y el propósito del proyecto. Más adelante se puede continuar con los resultados esperados.

Los proyectos que todavía no han elaborado una matriz de planificación pueden formular las hipótesis de impacto sobre la base de un análisis detallado del entorno (Paso 2). Un análisis participativo de las redes o sistemas conducirá automáticamente a preguntas sobre dónde puede intervenir el proyecto, qué factores y relaciones estarán involucrados, qué pasará después de la intervención, etc.

Aclarar la finalidad, el propósito y los resultados esperados del proyecto La formulación de la finalidad, propósito y resultados esperados del proyecto debería reflejar una situación a lograr. En este caso, es más probable que se centre más en el entorno y es mucho más fácil establecer hipótesis de impacto incluyendo la aplicación, efectos, beneficios / inconvenientes e impacto. Si la formulación refleja una actividad, es más probable que se siga centrando en el desempeño. Por lo tanto, es útil revisar y aclarar estas formulaciones, determinar si describen una actividad, si están formuladas de forma imprecisa o si contienen palabras llamativas que necesitan aclaraciones adicionales.

27

Formulación de las hipótesis de impacto

Formulación del propósito de un proyecto El propósito del proyecto, por ejemplo, debería describir la "situación a conseguir”.

Las formulaciones como "el propósito es aumentar el número de prácticas agrícolas sostenibles” indican una actividad. Es mejor describir un "efecto” o "impacto” con una formulación como "la producción agrícola ha aumentado, la degradación de los recursos naturales ha disminuido”, etc. El cumplimiento de un propósito vagamente formulado como "los agricultores están preparados para adoptar nuevas tecnologías de producción” será más difícil de comprobar que "los agricultores han adaptado nuevas prácticas de producción a sus condiciones”. Y por fin, palabras llamativas como "las condiciones de vida de los campesinos han mejorado” o "el manejo de la tierra es más sostenible” requieren una aclaración de lo que significan: "las condiciones de vida” significa mayores ingresos, mejores viviendas, ropa, etc. y "más sostenible” significa mayor producción, menor degradación, adaptabilidad social, etc.

Formular hipótesis de impacto positivo y negativo Cualquier persona que planifica un proyecto intenta obtener impactos positivos. Pero la experiencia demuestra que los impactos negativos muchas veces son un producto secundario de las actividades de desarrollo. Ya que no se pueden considerar todos los elementos del entorno de un proyecto en el análisis de problemas (Paso 2) y no se pueden predecir todos los cambios posibles, es normal que no sólo ocurran cambios intencionados sino también no intencionados –tanto positivos como negativos. No todos los posibles impactos pueden ser previstos mediante ejercicios participativos de formulación de hipótesis de impacto, pero sí un número considerable. Ayuda si los participantes formulan sus hipótesis de impacto como una cadena de impacto, lo que revela sus visiones de los mecanismos del cambio. Esto también permitiría investigaciones críticas en afirmaciones dudosas. Aun que no es posible predecirlo todo, por lo menos el proyecto y sus participantes están mejor preparados. Y están en una mejor posición para manejar temas negativos si aparecen. La mera consideración de impactos negativos –a parte de los positivos– durante la fase de planificación ya es un gran paso hacia adelante. También vale la pena visualizar cadenas de impacto –aplicación, efecto, beneficio / inconvenientes e impacto– implícitas en las hipótesis de impacto de los participantes (véase ejemplo abajo).

Las actividades de desarrollo pueden tener más impactos que sólo los positivos intencionados.

28

Paso 3

Formulación de las hipótesis de impacto

Formulación de las hipótesis de impacto positivo y negativo por diferentes grupos de interés (en paréntesis: relación con la cadena de impacto, véase Aclaración de los términos) Finalidad del proyecto: La pobreza de la población rural ha disminuido y el manejo de los recursos es más ecológico, económicamente viable y socialmente aceptable.

Propósito del proyecto: El rendimiento de los cultivos de los pequeños productores ha aumentado mediante prácticas de producción que no perjudican el medio ambiente.

Resultados esperados: (por ej.) Se han desarrollado nuevos sistemas de producción en las fincas; los productores han sido capacitados en conceptos y prácticas de producción agrícola y protección de recursos naturales, etc.

Grupo de interés

Impactos positivos (deseados)

Impactos negativos o nulos

Productores (hombres)

Mediante el nuevo sistema de producción hay más rendimientos (efecto), podemos vender en el mercado y hay más ingresos familiares (beneficio)

Ya que nos falta experiencia con las nuevas prácticas, aparecen plagas y enfermedades (efecto); esto puede perjudicar los rendimientos (inconveniente)

Productoras (mujeres)

Ya que algunas prácticas nuevas se dirigen al patio, los ahorros de las mujeres han aumentado (beneficio) y las mujeres consiguen más independencia económica (impacto).

Las nuevas prácticas aumentan las tareas de las mujeres (efecto) y ellas tienen menos tiempo para dedicarse a los niños y parientes (inconveniente).

Las relaciones sociales podrían salir perjudicadas (impacto).

Jornaleros sin tierra

Las nuevas prácticas podrían aumentar la demanda de nuestra mano de obra (efecto). Conseguimos mejores trabajos en la comunidad e ingresos seguros (beneficio) que podemos invertir en la escolarización de nuestros niños para que reciban mejor educación (impacto).

Las nuevas prácticas cambian el uso de la tierra (efecto) y tenemos problemas para encontrar pastos para nuestro ganado (inconveniente).

Técnicos

Las innovaciones aumentan la demanda de la transferencia agrícola (efecto), tenemos mejores oportunidades de formación y más calificaciones (beneficio) y finalmente conseguimos trabajos en la oficina con mayores sueldos (impacto).

Las nuevas prácticas aumentan nuestras tareas (efecto)

Representantes del distrito

El aumento de la producción (efecto) estimula la demanda y la oferta (beneficio) y crea mejores bases para un desarrollo económico en todo el distrito (impacto)

El mayor bienestar económico en el distrito causará el retiro paulatino de las agencias para el desarrollo y sus aportaciones (impacto).

Equipo del proyecto

Mediante las experiencias positivas con mayor producción y mejor protección (efectos, beneficios), los productores descubrirán su potencial para seguir mejorando el sistema de producción (impacto). Esto mejorará finalmente la fertilidad del suelo y garantizará la producción agrícola estable a un nivel más alto (impacto).

Algunas prácticas de protección de los recursos naturales reducen tanto el área de cultivo como la producción (efecto) y serán rechazadas (inconveniente).

...

...

...

29

Formulación de las hipótesis de impacto

En el Volumen 2, Paso 3, se encuentran ejemplos detallados de hipótesis de impacto negativo y positivo relacionadas con el manejo sostenible de la tierra.

Kläy, A., Huguenin, A., Hurni, H., Perich, I., Schläfli, K. 1994. Environmental assessment in development co-operation. Principles of ecological planning. Development and environment reports 4: 46 p.; Bern.

Swiss Development Cooperation & Centre for Development and Environment 1994.

Impact hypotheses, development and it’s environmental impacts: 101 p.; Bern.

Swiss Agency for Development and Cooperation 1997. Monitoring – keeping in touch with reality: 20 + 54 p.; Bern.

¡GOOOOL!

… y sus efectos secundarios

30

Selección de los indicadores de impacto

Paso 4

Paso 4: Selección de los indicadores de impacto ¿Qué es lo que indica los cambios del entorno del proyecto? ¿Qué es lo que revela cuáles de las hipótesis de impacto se materializan? ¿Qué serie de indicadores revelará si los cambios finalmente contribuirán a alcanzar el propósito y la finalidad del proyecto? El marco lógico ya contiene algunos indicadores. Normalmente, la mayoría de ellos son indicadores de resultados diseñados para evaluar el desempeño del proyecto. Lo que falta muy a menudo son indicadores de impacto representando el entorno.

Se desarrollarán partiendo de las hipótesis de impacto. La cadena de impacto (aplicación, efecto, beneficio / inconveniente, impacto) puede ser de gran ayuda durante el proceso de selección. Un indicador existente podría cubrir uno de estos aspectos y por lo tanto servir como indicador de impacto. Pero más allá, hay que encontrar indicadores de impacto adicionales.

Una probable cadena de impacto que resultaría de la introducción de nuevas tecnologías de producción y conservación (resultado) y sus indicadores de impacto correspondientes.

Vínculos con la cadena de impacto

Cadena de impacto (implicaciones positivas y negativas)

Posibles indicadores de impacto

Aplicación de los resultados

La mayoría (sólo algunos) de los productores en el área de la intervención aplican nuevas tecnologías de producción y conservación (aplicabilidad) y las adaptan a sus condiciones específicas (adaptabilidad)

• % de productores adaptando nuevas tecnologías sin incentivos

Efectos

Aumenta (disminuye) la producción agrícola, las enfermedades y las plagas disminuyen (aumentan), la degradación del suelo se reduce (aumenta)

• Rendimiento de la cosecha • Incidencias de enfermedades y plagas • Erosión del suelo

Beneficios/ inconvenientes

La producción agrícola mejorada (no) tiene mercado, los ingresos familiares aumentan (disminuyen) y la situación económica de las mujeres mejora (empeora)

• Ingresos familiares • Ganancias del trabajo de las mujeres

Impactos

Los hombres y mujeres deciden conjuntamente (sólo los hombres deciden) cómo invertir los ingresos familiares; los productores realizan más (menos) experimentos que antes; la fertilidad del suelo mejora (disminuye); más (menos) niños van a la escuela

• Toma de decisiones familiar • % de productores con experimentos agrícolas • Nivel de fertilidad de los suelos • Niños con certificación escolar

31

Selección de los indicadores de impacto

El dilema de la línea de base Los indicadores no sólo representan componentes del entorno de un proyecto; también son un medio de comunicación entre los participantes. Por lo tanto, tienen que ser seleccionados conjuntamente. Por un lado, es recomendable tener definida una serie de indicadores lo antes posible porque ayuda a establecer la línea de base (la referencia) sobre todo para observaciones a largo plazo. Por otro lado, hay buenas razones para tomarse el tiempo para la selección. Por ejemplo, el entorno del proyecto y los grupos de interés no son bien conocidos y entendidos al inicio. Durante la ejecución del proyecto, el entorno y las perspectivas de los participantes cambian, y de la misma manera pueden cambiar también los indicadores. Puede que algunos de los indicadores seleccionados inicialmente resulten incómodos para observar y necesiten ser sustituidos. Además, los impactos no esperados podrían requerir indicadores adicionales en una fase más avanzada. Pero es demasiado tarde para una selección de indicadores muy sofisticada al final del proyecto. Como compromiso, se debería dedicar unos meses a la búsqueda participativa de una serie de indicadores de impacto, para adaptar la selección inicial y para incorporar indicadores "emergentes”. Esto es importante ya que documenta el proceso de aprendizaje de un proyecto y sus participantes. Siempre se pueden añadir algunos indicadores puntuales, pero se recomienda encontrar una selección básica de indicadores, digamos después de seis o doce meses, para asegurar el monitoreo a largo plazo.

¡En una breve sesión de planificación no se puede conseguir una selección y formulación apropiada de los indicadores de impacto! Es un proceso de optimización que puede tardar varios meses.

Los principios para la selección de los indicadores El objetivo del MVI es conseguir una calidad razonable de la información para encontrar relaciones fiables entre el proyecto y los cambios en su entorno. Una selección representativa de indicadores y el monitoreo sistemático son la base para ello. Pero no se pueden observar todos los indicadores identificados. Los medios, el tiempo y los recursos del proyecto, por un lado, y los intereses de los participantes en el MVI, por otro, determinarán la selección final de los indicadores de impacto.

Hay que tomar en cuenta que estos indicadores son la base pero no la única fuente de valiosa información. El monitoreo sistemático siempre puede ser combinado con la recogida y documentación de información estadística, periódicos, discusiones con colegas, consultores e informadores, de su propia observación y cosas parecidas. No hace falta esperar tres años para obtener los primeros resultados del monitoreo del impacto. Los precios del mercado de granos básicos y sus fluctuaciones, por ejemplo, pueden determinarse por el equipo del proyecto cuando va de compras para sus familias. Los progresos negativos en el sector agrícola se plasmarán durante las conversaciones en la comunidad o con los colegas. Se puede documentar siempre semejante

32

Selección de los indicadores de impacto

Paso 4

información y ésta puede servir de marco para una interpretación del cambio más adelante.

No se puede observar todo; realice una selección de los indicadores de impacto relevante y realista.

Los principios y ejemplos siguientes ayudan a determinar la selección definitiva de los indicadores de impacto: Principio

Pregunta-guía

Relevancia

¿Es esencial el indicador?, o sea ¿ proporciona verdaderamente la información requerida para tomar decisiones relevantes?

Fiabilidad

¿Hacen falta indicadores cuantitativos o cualitativos para la decisión?

Orientación hacia los usuarios y transparencia

¿Es entendible y significativo el indicador para los grupos de interés relevantes (productores, políticos, etc.)? ¿Existen indicadores locales que se pueden utilizar?

Factibilidad

¿Tienen el proyecto o sus participantes los medios, los conocimientos y el tiempo para observar el indicador?

Orientación de género

¿Revela el indicador conocimientos y temas específicos según sexos?

Jerarquía / cobertura

¿Revelan todos los indicadores cambios al mismo nivel espacial / de toma de decisiones (campo de cultivo, finca, comunidad, cuenca, distrito, etc.)?

Sensibilidad

¿Es sensible el indicador a cambios a corto, mediano o largo plazo?

Orientación hacia la sostenibilidad

¿Representan los indicadores seleccionados todas las dimensiones de la sostenibilidad (social / institucional, económica y ecológica)?

Indicadores locales Puede que no todos los grupos de interés relevantes como productores, personas sin tierra, etc. hayan podido participar en la selección de los indicadores. En este caso, se recomienda dedicar tiempo para obtener sus opiniones, por ejemplo, en forma de indicadores locales que muchas veces pasan desapercibidos a los forasteros. Se facilitará significativamente la comunicación entre los participantes si se pueden identificar e incorporar en el procedimiento del MVI por lo menos algunos de estos indicadores.

Indicadores generales

Indicadores locales correspondientes

Erosión del suelo en t/ha

Cantidad de semilla aumentada; las semillas son arrastradas como consecuencia de la erosión del suelo y necesitan ser resembradas

Contenido de materia orgánica, capacidad de intercambio de cationes, contenido de nutrientes (indicadores de la fertilidad del suelo)

Plantas indicadoras; éstas indican lugares donde la fertilidad del suelo es alta, donde el nivel de los nutrientes del suelo se ha recuperado durante la época de barbecho; donde el nivel de las aguas subterráneas es alto o donde muchas veces hay encharcamiento, etc.

Alimentación humana

Gatos y perros gordos / delgados; en comunidades donde la población no tiene lo suficiente para alimentarse, los animales domésticos como perros y gatos estarán delgados.

Mayores ingresos familiares

Los hombres tienen dos o más mujeres; en algunas zonas musulmanas esto es una señal de bienestar económico.

33

Selección de los indicadores de impacto

Para eso tenemos un indicador indígena, cuantitativo y sensible al género: ¡El que tiene dos esposas es rico!

¿Cómo puede distinguir un campesino rico de otro pobre?

La sensibilidad de los indicadores Ya que la sostenibilidad implica una perspectiva a largo plazo, cada indicador debería ser comprobado para determinar si es sensitivo a los cambios a corto, mediano o largo plazo (véase Gráfico 7). Los indicadores de sensibilidad a corto plazo (1-3 años) serán muy relevantes para el MVI ya que constituyen una parte del proceso de auto-evaluación del proyecto. Son útiles para corregir inmediatamente las actividades del proyecto que van hacia una dirección negativa y también pueden ser observados durante un período largo. Los indicadores que no son sensitivos a los cambios a corto y mediano plazo son más importantes para observar los impactos lejanos o tardíos. Sólo permiten ajustar las actividades del proyecto después de 5 años o más.

Zona de desertificación

Nivel nacional Nivel municipal Nivel de la comunidad/ cuenca Nivel de la finca/ parcela

Años

Colmatación de embalses Color del agua

Cárcavas

Surcos de erosión Núm. de lombrices

1

2

Terreno abarrancado

Profundidad del suelo

3

A corto plazo

4

5

Estabilidad de los agregados

6

A mediano plazo

7

8

9

A largo plazo

Gráfico 7: La sensibilidad de los indicadores (ejemplo: los indicadores de degradación del suelo)

34

x

Incidencia de plagas y enfermedades

x x

Toma de decisiones en el hogar

% de productores experimentando con prácticas de producción x

x

x

y

y

y

y

y

y

c

y

y

y

m

Sensibilidad

Techos de zinc, radio, motocicletas

Surcos de erosión y cárcavas

y Plantas indicadoras

l

Indicadores locales adecuados

Archivos escolares, discusiones con los profesores

Mediciones en lugares representativos cada 5 años (edafólogo), caminatas transversales anuales con productores

Entrevistas con presidentes de asociaciones de productores y con productores durante cada visita al campo

Entrevistas con todos los miembros de la familia, verificadas con las propias observaciones

Entrevistas con mujeres, verificadas con las propias observaciones

Observaciones y entrevistas con mujeres y sus maridos, dos veces al año

Los surcos y cárcavas pueden ser observados y documentados fácilmente por los productores durante la época de lluvia

Observación durante visitas al campo, entrevistas con productores durante caminatas transversales

Mediciones en lugares representativos, discusiones con los productores en sus parcelas

Entrevistas con presidentes de asociaciones de productores y con productores durante cada visita al campo

Medios de verificación

* la formulación de los indicadores es preliminar; tiene que ser más específica al finalizar la selección Dimensiones de la sostenibilidad: so = social / institucional, en = económica, el = ecológica Sensibilidad: c = a corto plazo, m = a mediano plazo, l = a largo plazo

Niños y niñas con certificación escolar x

x

x

Ingresos del trabajo de las mujeres

Nivel de la fertilidad del suelo

x

Ingresos familiares

Erosión del suelo

x

Rendimiento de la cosecha (maíz)

x

x

(véase Paso 3)

% de productores adaptando nuevas tecnologías sin incentivos

Dimensiones de sostenibilidad so en el

Hipótesis Indicadores de impacto* de impacto

Finalidad del proyecto: La pobreza de la población rural ha disminuido y el manejo de los recursos naturales se ha vuelto ecológicamente apropiado, económicamente viable y socialmente aceptable.

Propósito del proyecto: La producción de cultivo de los pequeños productores ha aumentado con prácticas de producción ambientalmente sanas.

Resultados esperados: (por ej.) Se han desarrollado nuevos sistemas de producción en las fincas; los productores fueron capacitados en conceptos y prácticas de producción y protección de los recursos; etc.

Determinar una serie de indicadores de impacto (adicional al marco lógico del proyecto)

Selección de los indicadores de impacto

Paso 4

35

Selección de los indicadores de impacto

Preparándose para la valoración del impacto Más adelante, cuando se valorarán los resultados del monitoreo en el Paso 6, se discutirán y evaluarán los cambios de los indicadores: si son positivos o negativos, satisfactorios o no, cómo ocurrían los cambios, etc. Esto es un proceso de valoración individual que revelará muchas opiniones diferentes. Entonces, se visualizarán los cambios en el entorno, por ejemplo, mediante un diagrama de "araña” o "ameba” (véase Gráfico 8). Para este propósito es útil una clasificación para cada indicador (por ej. de 5 "el cambio se considera muy bueno” a 1 "el cambio se considera muy malo”). La puntuación (véase el ejemplo abajo) para cada indicador ya debería prepararse en esta fase mediante una discusión entre todos los participantes. Hay que responder –en relación con cada indicador seleccionado– las preguntas "¿Dónde estamos?” y "¿Dónde queremos estar?”. El mejor logro realista posible para cada indicador es 5 (muy bien) y el peor 1 (muy mal).

s

co

i óg ol c o e s ct re mpa o ad i ic de

les/ o t socia res de impac cado Indi ionales tuc insti

d

In

puntuación ....................... _________

Indi

cado re de ims económ icos pact o

clasificación 5 = muy bien 4 = bien 3 = moderado 2 = mal 1 = muy mal

Gráfico 8: La visualización de los cambios en el entorno del proyecto

36

inicial después de x años

Paso 4

Selección de los indicadores de impacto

Preparando la puntuación (valores de referencia) para cada indicador de impacto respecto a la valoración del impacto.

Clasificación* 3 moderado

Indicadores de impacto 5 muy bien

4 bien

2 mal

1 muy mal

Indicadores a corto plazo Rendimiento de la cosecha (maíz)

> 3 t/ha

> 2-3 t/ha

> 1.5-2 t/ha

> 1-1.5 t/ha

< 1 t/ha

Ingresos familiares

> 20 % de aumento

> 10-20 % de aumento

1-10 % de aumento

estancados

disminuyendo

Ingresos del trabajo de las mujeres

> 20 % de aumento

> 10-20 % de aumento

1-10 % de aumento

estancados

disminuyendo

% de productores adaptando nuevas tecnologías sin incentivos

> 60 %

> 40-60 %

> 20-40 %

10-20 %

< 10 %

Incidencia de plagas y enfermedades

ninguna

raro, poca evidencia

algunas veces, pero se puede controlar

el control muchas veces es difícil

mucha, cada año

Erosión del suelo (surcos y cárcavas)

no hay rasgos de erosión

algunas veces, superficie del suelo lisa, pero pocos surcos no hay surcos

la mayoría de cada año, surcos y los años, muchos surcos cárcavas

Indicadores de mediano a largo plazo conjuntamente en la mayoría de los hogares

Toma de decisiones en el hogar

conjuntamente en algunos hogares

por los hombres en la mayoría de los hogares

% de productores experimentando con prácticas de producción

modificaciones modificaciones modificaciones modificaciones < 5 % regulares por regulares por regulares por regulares por > 5-30 % > 30-50 % > 50-70 % > 70 %

Niños y niñas con certificación escolar

> 80

Nivel de fertilidad del suelo**

> 60-80

suelo superficial profundo y oscuro, alta actividad de lombrices, alta densidad de raíces

> 40-60

30-40

suelo superficial moderadamente profundo y oscuro, actividad de lombrices y densidad de raíces moderada

< 30

color del suelo pálido, hojas de las plantas amarillas y rojas, sin lombrices, baja densidad de raíces

*

Nota: La clasificación es altamente específica para cada lugar y requiere profundas discusiones con los participantes ** La clasificación del nivel de la fertilidad del suelo requiere consultar con especialistas en suelos

Para la preparación de la valoración del impacto hay que considerar más detalles importantes: • Lo mejor sería que todos los participantes se pusieran de acuerdo sobre una clasificación común para todos los indicadores de impacto. Pero también puede ser interesante realizar la valoración del impacto por separado para cada grupo de interés y comunicar los resultados de cada grupo a los demás grupos.

• Se debería determinar a qué nivel (finca, comunidad, etc.) se realizará la valoración.

Por ejemplo, si hay mucha diversidad de categorías de fincas (como fincas pobres y

37

Selección de los indicadores de impacto

ricas) se deberían valorar los cambios de su entorno individualmente o por lo menos por separado para cada categoría de finca. Si se valoran todas las fincas en común a nivel de la comunidad, el resultado será un promedio. Sin embargo, puede que este promedio no refleje los cambios importantes en fincas particulares. De esta manera ¡no tendría sentido!

• Después de haber seleccionado una gama de indicadores de impacto, una observación (monitoreo) inicial -que toma en cuenta todos los indicadores- produce la línea de base. En los primeros años, el monitoreo y la valoración sólo incluirán aquellos indicadores que son sensitivos para los cambios a corto plazo. Los indicadores sensitivos para cambios a mediano y largo plazo se añadirán paulatinamente después de algunos años.

¿Realmente miden el impacto de investigación agrícola en kilos de publicaciones científicas por campesino?

En el Volumen 2, Paso 4, se encuentran ejemplos detallados de indicadores de impacto relacionados con el manejo sostenible de la tierra y referencias adicionales.

Bellows, B. 1996. Indicators of sustainability. Workbook for the SUNREM CRSP. Washington State University / University of Wisconsin, USA. Kirsch-Jung, K.P., Görgen, M., Nill, D. (eds.) 2000. Mesurer les effets des projets. Suivi d’impact et calcul de rentabilité économique. Contributions de trois ateliers sur la Gestion des Ressources Naturelles. GTZ, OE 45: 266 p.

38

Desarrollo y aplicación de métodos de monitoreo del impacto

Paso 5

Paso 5: Desarrollo y aplicación de métodos de monitoreo del impacto Métodos de monitoreo eficaces en función de los costos ¿Cómo se pueden observar y documentar los indicadores de impacto y el entorno? ¿Qué métodos son aplicables con los medios y capacidades existentes en el proyecto? ¿Cómo se pueden combinar los métodos de la mejor manera? Normalmente, existen varias maneras y métodos para observar un parámetro o indicador. Si se necesitan datos muy exactos (científicos) se supone que un proyecto llamará a especialistas para que apliquen sus propios métodos. En este caso, no hay necesidad de describir los métodos aquí. Dado que los proyectos de desarrollo no tienen la capacidad y los recursos para aplicar métodos sofisticados, el documento presente pone énfasis en herramientas de monitoreo eficaces en función de los costos que pueden ser manejados de manera flexible por el mismo equipo del proyecto.

Abajo, se describen tres tipos de métodos de monitoreo. Probablemente tienen una mayor posibilidad de ser aplicados ya que se basan en lo que muchos proyectos ya practican. Estas herramientas pueden ser consideradas la base para el MVI, pero el equipo del proyecto todavía necesitaría adaptarlas al entorno del proyecto específico, según las hipótesis formuladas y los indicadores de impacto seleccionados. Por esta razón sólo se pueden dar descripciones y explicaciones generales aquí.

La triangulación ¿Cómo de buena es la calidad de la información recogida? Si hay pocos fondos para el monitoreo, no todos los métodos pueden ser muy exactos. Por lo tanto, se aplican los principios de la triangulación que combina la fiabilidad con la participación. Esto significa que todas las percepciones individuales registradas mediante entrevistas y discusiones tienen que ser verificadas con las percepciones de los demás y – si es posible – con observaciones directas.

• Las entrevistas y discusiones con participantes locales forman la base para el MVI. La información recogida puede ser muy detallada pero estará guiada por las percepciones individuales y las diferentes agendas (a menudo escondidas) de los participantes. Aunque se discutan todos los diferentes tipos de cambios visibles e invisi-

39

Desarrollo y aplicación de métodos de monitoreo del impacto

bles, los aspectos socioeconómicos pueden prevalecer. Se puede realizar una comprobación de la información -sobre todo de los cambios invisibles (por ej. sociales)mediante entrevistas con otros grupos de interés. Se pueden verificar las mejoras o empeoramientos visibles mediante el monitoreo fotográfico y las caminatas transversales participativas.

• El monitoreo fotográfico proporciona una vista general sobre los cambios visibles en el entorno del proyecto, que tal vez estén relacionados sobre todo con temas biofísicos y económicos. Pero las fotografías requieren interpretación e investigación adicional en el entorno. Esto se puede realizar tanto mediante entrevistas y discusiones como mediante caminatas transversales participativas, dependiendo de los aspectos que necesitan más aclaraciones.

• Las observaciones realizadas y comentadas durante una caminata transversal participativa proporcionan una visión detallada especialmente sobre temas biofísicos, aunque también se puede centrar en temas sociales y económicos. Una caminata transversal subraya las relaciones espaciales de la degradación del suelo y flujos de nutrientes, agua y energía, etc. Las discusiones empiezan muy a menudo con aspectos visibles, pero pueden finalmente incluir conexiones con aspectos no visibles.

Una caminata transversal es una oportunidad excelente para identificar indicadores de impacto locales. La información puede ser verificada con entrevistas y el monitoreo fotográfico.

Hay que desarrollar y adaptar los métodos de monitoreo a las necesidades específicas del proyecto, de acuerdo con las hipótesis de impacto formuladas y los indicadores de impacto seleccionados.

Los principios y preguntas-guía siguientes ayudarán a adaptar los métodos de monitoreo a una situación específica de un proyecto:

40

Principio

Preguntas-guía

Exactitud

¿Qué grupos de interés usarán la información y para qué propósito? ¿Qué precisión tiene que tener verdaderamente la información respecto a estos propósitos? El mismo método aplicado por distintas personas ¿proporcionará resultados comparables?

Cobertura del área

¿Existe la necesidad de obtener resultados que cubren un gran área? o ¿se necesita más bien información detallada de algunos lugares, hogares, etc. representativos?

Frecuencia

¿Cuántas veces se debería actualizar la información y por ende repetir la observación (esto está estrechamente ligado a la exactitud del método y la sensibilidad del indicador correspondiente)?

Factibilidad

El método, ¿puede ser aplicado con los recursos disponibles en el proyecto (equipamiento de campo, instalaciones de laboratorio, medios de transporte, mano de obra, conocimientos, fondos, etc.)? Si no es así, ¿cómo se puede adaptar el método a los recursos del proyecto? ¿Es posible delegar partes del monitoreo – por ejemplo a universidades, compañías privadas, etc.?

Desarrollo y aplicación de métodos de monitoreo del impacto

¡Tal vez veamos algo sobre lo que no queremos saber! ¿Porque no nos reunimos mejor en la central?

TE BLA AN

O NC

ELE F

¿Una caminata transversal? ¿Al aire libre? ¿Con este tiempo?

Paso 5

Descripción breve de los métodos de monitoreo Entrevista y discusión Se pueden monitorear casi todos los campos de observación biofísicos y socioeconómicos obteniendo las opiniones de las personas acerca de ellos. Las discusiones pueden abarcar, por ejemplo, aspectos de género, la división de las tareas, la carga laboral, salud, producción y precios de mercado, ingresos familiares, uso y manejo de la tierra, degradación y protección de los recursos, innovaciones técnicas y de manejo, etc. Los paquetes como DRR (Diagnóstico Rural Rápido), DRP (Diagnóstico Rural Participativo) y AAP (Aprendizaje y Acción Participativos) contienen muchas herramientas bien comprobadas y eficaces en función de los costos consistiendo en ejercicios de grupos, entrevistas semi-estructuradas, discusiones informales y visualización (mapas, modelos, matrices de clasificación, diagramas de causas, mapas mentales, etc.). Se caracterizan por ser más bien enfoques cualitativos marcados por una "ignorancia óptima” y una "imprecisión apropiada”. Estos métodos fueron diseñados ante todo para un aprendizaje mutuo y por esta razón apoyan a la gente local a ganar confianza en realizar su propio diagnóstico y análisis y a expertos externos a entender las percepciones locales.

Monitoreo fotográfico El propósito de la cooperación al desarrollo es iniciar cambios y por lo menos algunos de éstos deberían ser visibles después de algunos años. Los proyectos de desarrollo rural, por ejemplo, deberían aumentar los ingresos familiares y el nivel de vida, lo que

41

Desarrollo y aplicación de métodos de monitoreo del impacto

luego debería ser visible en términos de mejores viviendas y ropa, más niños escolarizados, mejores medios de transporte público y privado, etc. Al mismo tiempo, si el manejo de la tierra y de los recursos se ha vuelto más sostenible esto se debería reflejar en cultivos mejorados, degradación del suelo controlada, prácticas eficaces de conservación realizadas, etc. El monitoreo fotográfico es un método general para documentar todos los cambios visibles que puede ser usado para comprobar los cambios percibidos individualmente.

Las diferentes series de fotos tomadas de lugares y enfoques específicos en tiempos distintos durante un período más largo documentan el cambio de las cosas. La documentación fotográfica varia entre una imagen global (por ej. mostrando toda una ladera, valle, finca, pueblo, etc.) y una imagen muy detallada de objetos específicos (casas, habitaciones, personas, prácticas de conservación, etc.). Se pueden tomar fotos desde posiciones permanentes en intervalos regulares donde se desean y esperan los cambios. Además, se pueden tomar fotos donde y cuando hayan cambios visibles inesperados. De todas formas, las meras fotos no dicen mucho sobre el cómo y porqué de los cambios. Éstas proporcionan una vista general que requiere discusiones e interpretaciones adicionales con los participantes en intervalos regulares.

Caminata transversal participativa y observación El hecho de que las entrevistas y discusiones con las personas brinden información muy útil para el MVI ¡no debería llevar a la conclusión que ya no son necesarias las observaciones directas y las mediciones realizadas por el equipo del proyecto o por forasteros! Se pueden observar sobre todo los aspectos biofísicos y algunos económicos directamente en el campo para verificar los resultados obtenidos mediante otros métodos. Una caminata transversal participativa no sólo proporcionará una mirada detallada de una finca o un valle, lugares críticos de degradación de los recursos y áreas de manejo promisorio; también ayudará a establecer relaciones entre estos lugares, por ej. de los flujos de nutrientes, agua, sedimentos y energía. Por lo tanto se recomiendan las caminatas transversales -al igual que las visitas a la finca o al campo- no sólo para mantener un buen contacto con los participantes locales y sus realidades. Los distintos indicadores y parámetros requieren también diferentes épocas para su observación. Por ejemplo, las plagas y enfermedades se observan durante la época de cultivo, la producción en la cosecha, la degradación del suelo al iniciar la época de lluvia, la escasez de agua durante la época seca, etc.

En el Volumen 2, Paso 5, se encuentran descripciones detalladas, formularios de campo y referencias adicionales de "entrevista y discusión”, "monitoreo fotográfico” y "caminata transversal participativa”.

Bosshart, U. 1997. Photo-Monitoring. Centre for Development and Environment, University of Bern: 44p.; Bern.

Germann, D., Gohl, E., Schwarz, B. 1996. Participatory impact monitoring. Booklets 14. Gate/GTZ. Pretty, J.N., Guijt, I., Thompson, J., Scoones, I. 1995. Participatory Learning & Action.

A Trainer´s Guide. IIED Participatory Methodology Series; London.

42

Valoración del impacto

Paso 6

Paso 6: Valoración del impacto Valorar los cambios del entorno de un proyecto ¿De qué manera cambió el entorno en la percepción de los participantes? ¿Qué es lo que aprendieron de estos cambios? En el Paso 4 (Selección de los indicadores de impacto) los participantes prepararon una valoración (determinando la escala y la clasificación) que ahora se visualizará mediante un diagrama "araña” o "ameba”. El diagrama tiene una "línea” o un "radio” para cada indicador de impacto seleccionado. Los indicadores de impacto pueden ser agrupados y puestos según las dimensiones de la sostenibilidad (social / institucional, económica, ecológica) para visualizar en qué dirección se mueven los cambios hacia la sostenibilidad o se alejan de ella. Todas las unidades (por ej. kg, minutos, toneladas, etc.) ya fueron convertidas a una escala neutra y numérica, desde el 5 (cambio muy bueno) al 1 (cambio muy malo).

Se marcan los resultados del monitoreo inicial –el status quo del entorno del proyecto al inicio del MVI– en el diagrama para cada indicador. Esto sirve de "línea de base” –una referencia para todo el monitoreo futuro. Después de valorar cada indicador ("radio”) por separado, es posible conectar todos los valores marcados con una línea para construir la "red de araña” o "ameba” (la puntuación). Después de un tiempo –dependiendo de la sensibilidad de los indicadores pueden pasar uno, cinco y hasta diez años– se observa cada indicador otra vez; los resultados se marcan en el diagrama de araña y se comparan con la línea de base. El gráfico resultante tiene que ser discutido e interpretado. ¿Se ha logrado un cambio en todos los indicadores de manera satisfactoria? Si no, ¿qué indicadores o qué dimensiones demuestran resultados de monitoreo pobres? ¿Cuáles pueden ser las razones para una clasificación muy buena o muy mala? ¿De qué manera se manifestaron estos cambios? ¿Existe la necesidad de adaptar el plan o las actividades del proyecto?

En mi opinión el proyecto de la bomba de agua ¡ha tenido un impacto muy positivo!

43

Valoración del impacto

Basado en las hipótesis de impacto (véase ejemplo en el Paso 3) los participantes del proyecto eligen diez indicadores de impacto (véase ejemplo en el Paso 4) que cubran todas las dimensiones de la sostenibilidad. Seis de estos indicadores son sensitivos a los cambios a corto plazo y pueden ser utilizados cada año (o cada tres años) para la valoración del impacto. Cuatro indicadores son sensitivos a los cambios a mediano y largo plazo y pueden ser utilizados cada cinco a diez años (véase Gráficos 9 y 10). La clasificación de la mayoría de los indicadores al inicio del proyecto es relativamente baja (véase la tabla abajo). A corto plazo –tres años después del inicio del proyecto– los participantes constatan una mejora leve en todos los indicadores a corto plazo, a excepción de la erosión del suelo. La discusión revela que la producción agrícola aumenta a coste de más erosión del suelo. Por esto, la valoración general no puede "certificar” que el manejo de la tierra entero sea más sostenible. Se debe tomar esta valoración del cambio como una señal temprana de alerta para discutir los detalles sobre lo que está pasando, y dónde, cuándo y porqué ocurre la erosión. Aparentemente, el aspecto de conservación (ecológico) necesita más énfasis, no obstante, sin olvidar los aspectos de viabilidad económica y aceptabilidad social. A mediano y largo plazo, después de diez años desde el inicio del proyecto, los participantes pueden percibir una mejora en todos los indicadores.

Valoración a corto plazo, tres años después de la intervención

Valoración a mediano y largo plazo, diez años después de la intervención

2

3

4

2

3

4

Ingresos de trabajo de las mujeres

2

3

4

% de productores adaptando nuevas tecnologías sin incentivos

1

3

4

1

–

3

1

–

3

% de productores experimentando con prácticas de producción

2

–

4

Erosión del suelo (surcos y cárcavas)

3

2

4

3

–

4

2

3

4

Ingresos familiares

Toma de decisiones en el hogar Niños y niñas con certificación escolar

Nivel de fertilidad del suelo Incidencia de plagas y enfermedades

social / institucional

Rendimiento del cultivo (maíz)

económica

Dimensiones de sostenibilidad

ecológica

Indicador de impacto

Línea de base al inicio del proyecto

Todas las clasificaciones se refieren a fincas que adaptaron las nuevas tecnologías

44

Paso 6

Valoración del impacto

Rendimiento del cultivo (maíz)

In

puntuación ....................... _________

dic

ad o de res im eco pa nó ct m o ico

s

Incidencia de plagas y enfermedades Indicadores ecológicos de impacto

Ingresos familiares

inicial después de 3 años

clasificación 5 = muy bien 4 = bien 3 = moderado 2 = mal 1 = muy mal

Ingresos del trabajo de las mujeres

Erosión del suelo (surcos y cárcavas)

/ es cto ial oc impa s es de or ad ales c i n d In tucio ti ins

% de productores adaptando nuevas tecnologías sin incentivos

Gráfico 9: La valoración de los cambios en el entorno del proyecto a corto plazo

Ind

Ind

ica do de res e imp coló act gic os o

ica

Rendimiento del cultivo (maíz) Incidencia de plagas y enfermedades

Ingresos familiares

Ingresos del trabajo de las mujeres

Nivel de fertilidad del suelo

% de productores adaptando nuevas tecnologías sin incentivos

Erosión del suelo (surcos y cárcavas)

% de productores experimentando con prácticas de producción

dor de es e imp con act ómi cos o

Toma de decisiones en el hogar Niños y niñas con certificación escolar

s/ o iale soc impact s ore de icad es Ind cional u it inst

puntuación ....................... _________

inicial después de 10 años

clasificación 5 = muy bien 4 = bien 3 = moderado 2 = mal 1 = muy mal

Gráfico 10: La valoración de los cambios en el entorno del proyecto de mediano a largo plazo

45

Valoración del impacto

La atribución – Valorar el impacto del proyecto Por supuesto, el diagrama de araña sólo puede reflejar los cambios cubiertos por los indicadores de impacto seleccionados. ¿Cómo se pueden atribuir estos cambios al proyecto? ¿Habían cambios adicionales no esperados y, por lo tanto, no cubiertos? ¿Qué cambios contribuyen a la finalidad del proyecto? Debido a la brecha de atribución (véase Aclaración de los términos) no es fácil atribuir los cambios a un proyecto. El reto es más bien encontrar relaciones plausibles entre los resultados de un proyecto y los cambios que pruebas científicas.

Los cambios en un entorno pueden considerarse el resultado de procesos sociales, o sea interacciones entre individuos o grupos como aprendizaje, adaptación, comunicación, decisión, integración, etc. El proyecto "sólo” intenta provocar o fortalecer estos procesos con sus resultados. Por ejemplo, los participantes tienen que utilizar y adaptar o rechazar cualquier tecnología nueva; los miembros de una sociedad comunican sus experiencias y aprenden de ello; si el ambiente biofísico o la situación económica cambia, la gente adapta su percepción y reacciona respecto a esto. La pregunta para un proyecto es, si los resultados del proyecto han estimulado cambios y procesos sociales, y si es probable que estos cambios ayuden a alcanzar las finalidades del desarrollo.

La valoración del impacto significa más bien encontrar relaciones plausibles entre las actividades del proyecto y los cambios en el entorno que pruebas científicas.

Las preguntas-guía siguientes pueden ser útiles para atribuir los cambios a las acciones de un proyecto: • ¿Qué cambios perciben los participantes desde que empezaron las actividades del proyecto (a nivel de la finca, de la comunidad u otros niveles)?

• ¿Qué es lo que aprendieron los participantes de estos cambios?

• Los participantes apuntan hacia procesos sociales importantes cuando mencionan lo aprendido. ¿Qué procesos sociales indican (individualización, autodeterminación, empoderamiento, innovación, adaptación, integración étnica, participación, aprendizaje social, etc.)?

• ¿Qué relaciones plausibles pueden ser determinadas entre el proyecto, los procesos sociales y los cambios del entorno? Los cambios ¿hubieran ocurrido de todas maneras, es decir, también sin el proyecto? ¿Qué factores –solos o en combinación– contribuyeron a los cambios (el proyecto en cuestión, factores externos como política, otros proyectos, etc.)?

• ¿Cuál es la conexión entre los procesos sociales y la finalidad (de desarrollo)? ¿Qué procesos deberían ser fortalecidos específicamente en el futuro?

46

Valoración del impacto

Paso 6

Un proyecto en el África del Oeste semi-árido ayuda a las comunidades rurales a construir y mantener sistemas de agua potable. A las personas locales involucradas se les preguntó qué había cambiado en sus vidas desde el inicio del proyecto y qué aprendieron de esto. La gente contestó que la aplicación de los resultados del proyecto tenía numerosos efectos y beneficios a nivel del hogar. Por ejemplo, las mujeres en particular ahorraban tiempo debido al nuevo sistema de agua potable y realizaron las tareas del hogar más fácilmente. Ahora, las comidas de los hombres no se retrasan y hay muchos menos conflictos sobre quién tiene que ir cada día a buscar el agua. Además, hay considerablemente menos enfermedades transmitidas por agua y los costos para medicinas han disminuido. Las familias aprendieron que ellas mismas son responsables de mejorar su situación y empezaron a descubrir oportunidades adicionales. Su nueva confianza en sí mismos, el tiempo que ahorraron y el agua adicional crearon numerosos impactos subsiguientes (indirectos). Por ejemplo, las mujeres empezaron a explorar nuevas fuentes de ingresos familiares adicionales, los niños llegaron a clase a tiempo y había menos accidentes de niños cuando éstos buscaban agua.

Para asegurar la aplicación adecuada de los sistemas de agua a nivel de la comunidad se eligieron nuevos comités de agua democráticamente (efecto). Pero era un inconveniente que el mantenimiento de los sistemas de agua fuera interrumpido por las rivalidades entre los nuevos comités y las instituciones tradicionales en muchas comunidades. Sin embargo, la comunidad aprendió a superar el aislamiento social de los comités mediante la participación intensa, debates y la integración de las dos instituciones. La gente consideró que era un beneficio aprender a negociar planes de desarrollo comunal y respetar puntos de vista distintos y se dio cuenta que las actividades de desarrollo tienen más éxitos si son realizadas en conjunto. El impacto no era solamente el mero mantenimiento de los sistemas de agua y sus ventajas para los miembros de la comunidad. Las instituciones integradas y por ende más fuertes de la comunidad y la competencia aumentada de negociación llevaron a una mejor coordinación del manejo de los recursos naturales entre diferentes comunidades. Resultó más fácil la integración de los sistemas de producción agrícola y ganadera de diferentes grupos étnicos de pastores y campesinos. Esto, por fin, contribuyó a la diversificación de las estrategias de producción e ingresos de los hogares.

Así, mediante sus resultados, el proyecto estimuló procesos sociales de aprendizaje, integración, participación y empoderamiento. Existía una conexión plausible tanto entre sus actividades y los impactos positivos como entre los procesos sociales y las finalidades de desarrollo, es decir, el empoderamiento de la gente y las instituciones locales y un manejo más sostenible de los recursos naturales. El proyecto se encuentra ahora en una situación de apoyar estos procesos más específicamente.

Seguimiento A este nivel, empieza la próxima fase de la gestión del proyecto. Se utilizarán la valoración y las atribuciones de los cambios para realizar los ajustes estratégicos necesarios del proyecto. Al mismos tiempo, también hay que adaptar el sistema del MVI. Para lograr impactos positivos:

47

Valoración del impacto

• ¿Existen nuevos grupos de interés que deberían ser involucrados en la próxima fase del proyecto (Paso 1)?

• ¿Todavía es relevante y representativo el análisis del entorno del proyecto (Paso 2)?

• ¿Hay que revisar o completar las hipótesis de impacto después de la aparición de cambios e impactos iniciales (Paso 3)?

• ¿Todavía es relevante la selección de los indicadores de impacto? y ¿pueden representar todos los cambios importantes (Paso 4)?

• Los métodos de monitoreo aplicados ¿producían datos e información útiles? ¿Cómo se pueden optimizar o simplificar los métodos? ¿Qué debería ser agregado u omitido (Paso 5)?

• La valoración del impacto (el diagrama de araña) ¿era satisfactorio o hay que modificarla (Paso 6)?

La valoración del impacto proporciona información para el ajuste estratégico de la planificación.

En el Volumen 2, Paso 6, se encuentran maneras alternativas para visualizar los cambios y referencias adicionales.

Gomez, A.A., Swete Kelly, D.E., Syers, J.K., Coughlan, K.J. 1996. Measuring sustainability of agricultural systems at the farm level. In: Methods for assessing soil quality, SSSA Special publication No. 49: pp. 401-409.

Rist, S. 2001. "If this drinking water system fails, then the whole community is a failure.” Social Processes and Drinking Water Systems – Insights from a Learning Society.

CDE. University of Bern.

Roche, C. 1999. Impact assessment for development agencies. Oxfam: 308 p.

Entonces, ¿puede decirme cuáles son los 100 ladrillos que doné?

48