Seguimiento y Evaluación del Empoderamiento. Documento de Consulta

SEGUIMIENTO Y EVALUACIÓN DEL EMPODERAMIENTO

DOCUMENTO DE CONSULTA

INTRAC Noviembre de 1999 P O Box 563, Oxford OX2 6RZ Inglaterra E-mail: intrac@gn.apc.org Fax: +44- (0)1865 201851

1

ÍNDICE

INTRODUCCIÓN

Sección 1.

EL CONCEPTO DE EMPODERAMIENTO

Sección 2.

LA EVALUACIÓN DE LOS PROCESOS DE DESARROLLO SOCIAL

Sección 3.

SEGUIMIENTO Y EVALUACIÓN DEL EMPODERAMIENTO: UN ESTUDIO DE CASO

Sección 4.

MÉTODOS E INSTRUMENTOS PARA EVALUAR EL EMPODERAMIENTO: LECCIONES DE LA PRÁCTICA

Sección 5.

EVALUANDO EL EMPODERAMIENTO: UN EJERCICIO PRÁCTICO ESTUDIOS DE CASO

BIBLIOGRAFÍA SELECCIONADA

2

INTRODUCCIÓN El objetivo de este Documento de apoyo es introducir temas clave para profesionales del desarrollo relacionados con el concepto de EMPODERAMIENTO y su evaluación, a fin de que sirva de material de apoyo para los participantes de los talleres regionales. El Documento de apoyo empieza con una discusión del concepto de empoderamiento, ofreciendo una visión general de los diversas interpretaciones y enfoques que han sido desarrollados. A continuación se presentan tres estudios de caso de una serie de proyectos distintos de ONG que han incidido sobre el empoderamiento. Les sigue un capítulo con lineamientos básicos para el seguimiento y evaluación (S y E) del desarrollo social, que servirá como introducción general al seguimiento y evaluación para quienes que no estén familiarizados con dichos temas. La siguiente sección presenta un estudio de caso detallado de un enfoque de seguimiento y evaluación de un proyecto de empoderamiento. Acto seguido, presentamos una revisión de los métodos e instrumentos de recolección de información, así como una bibliografía detallada. Por último, se ha incluido un ejercicio práctico sobre el S y E del empoderamiento, basado en cuatro estudios de caso cortos.

En su calidad de Documento de apoyo, el documento no pretende ser una revisión exhaustiva de la literatura sobre el tema o desarrollar enfoques nuevos de seguimiento y evaluación. Tampoco sugiere un enfoque específico para el seguimiento y evaluación del empoderamiento. Más bien, ofrece a los participantes una apreciación general de los enfoques comunes de empoderamiento en el desarrollo, aspectos claves para su seguimiento y evaluación y métodos e instrumentos para recolectar información. La idea es que los participantes puedan relacionar la información presentada en el documento con sus propias experiencias de promoción del empoderamiento y luego desarrollen sus propios enfoques para evaluar hasta qué punto ha tenido lugar el empoderamiento en relación con su propio trabajo.

Algunas secciones del Documento de apoyo serán más útiles para algunos participantes que otras. Por ejemplo, mientras que la sección sustantiva sobre evaluación del desarrollo social puede ser menos relevante para quienes ya estén familiarizados con dichos temas, otros pueden haber tenido escaso contacto previo con la materia. Los Talleres Regionales ofrecen a los participantes una oportunidad para aplicar las lecciones generales que se hayan aprendido sobre evaluación del desarrollo social al tema específico de evaluación del empoderamiento. Por lo tanto, es importante que todos los participantes puedan capitalizar la experiencia establecida en la materia. El Documento de apoyo, por consiguiente, se utilizará en conjunción con las experiencias de los propios participantes en la tarea de entender tanto el concepto central como los aspectos involucrados en la evaluación del empoderamiento. Nuestra intención es esencialmente responder a la siguiente pregunta: “¿cómo podemos saber cuando grupos anteriormente desempoderados, marginados o en desventaja hayan sido empoderados y por lo tanto estén en mejores condiciones para confrontar y lidiar con las fuerzas que influyen sobre su desarrollo?’ Tantas organizaciones de desarrollo subrayan actualmente que el propósito central de su trabajo es el de ‘empoderar’ a dichos grupos que resulta apropiado preguntarse cuándo y cómo podemos saber si dicha meta ha sido alcanzada. Ése será el desafío del taller regional.

3

SECCIÓN 1: EL CONCEPTO DE EMPODERAMIENTO El empoderamiento se ha convertido en un concepto central del discurso y la práctica del desarrollo en la década del 90. El concepto de empoderamiento es ampliamente utilizado en las políticas y los programas de los organismos tanto bilaterales como multilaterales, y no solamente de las ONG. Sin embargo, se trata de un término complejo, que no es fácil de definir y se presta a una amplia variedad de interpretaciones. Cualquier intento de evaluar si una intervención de desarrollo en particular ha ‘empoderado’ o no a la población tiene que reconocer este hecho, y es por esta razón que el documento empieza con un breve análisis del concepto de empoderamiento.

Existe una literatura cada vez más extensa sobre el empoderamiento. Van Eyken (1990), Friedmann (1992), Craig y Mayo (1994) y Rowlands (1997) han examinado el concepto, concentrándose en la noción de ‘poder’, su uso y distribución como central para entender cualquier tipo de transformación social. Dicha centralidad incluye el poder tanto en términos de cambio radical y confrontación como en el sentido de la capacidad ‘para hacer’, ‘para poder’ y para sentirse más capaces y en control de una situación. El poder es, en la mayoría de los casos, la base de la riqueza, mientras que la falta de poder es la base de la pobreza, y tanto los ‘poderosos’ como los ‘desempoderados’ constituyen categorías de actores fundamentales para entender la dinámica de cualquier proceso de desarrollo. El poder puede entenderse como un activo propiedad del Estado o de la clase dominante, que lo ejerce para poder mantener el control y sellar su autoridad y legitimidad. Además, el poder funciona a muchos niveles diferentes y está presente en los intereses contradictorios de distintos grupos dentro de un contexto en particular; por ejemplo, patrocinadores locales o regionales, el poder que a menudo ejercen los hombres sobre las mujeres y el poder que ejercen instituciones como la iglesia sobre la población.

Rowlands (1997) va más allá y hace una distinción entre ‘poder sobre’, ‘poder para’ y ‘poder desde dentro’, mientras que Craig y Mayo (1995) contrastan la noción de poder como ‘suma variable’, en la cual los desempoderados pueden ser empoderados sin alterar el nivel de poder que ya detentan los poderosos, con la noción de poder como ‘suma cero’, en la cual cualquier ganancia de poder por parte de un grupo inevitablemente lleva a la reducción del poder que ejercen otros. El poder también se relaciona con el conocimiento, que es tanto una fuente de poder como un medio para obtenerlo. En relación con este tema, Cornwall (1992) ha sostenido que ‘todo el trabajo de desarrollo tiene que ver con el control del conocimiento’ y que, si los ‘menos privilegiados’ pudieran controlar las fuentes de conocimiento, las estructuras de las relaciones de poder existentes variarían radicalmente. Las tres citas que se reproducen a continuación ilustran la variedad de significados de empoderamiento en un contexto de desarrollo. . . .un desarrollo alternativo envuelve un proceso de empoderamiento social y político cuyo objetivo de largo plazo es cambiar el balance de la estructura de poder en la sociedad, aumentando la rendición de cuentas de la acción del Estado, fortaleciendo los poderes de la sociedad civil en el manejo de sus propios asuntos y aumentando la responsabilidad social de la empresa privada. (Friedmann 1992) Empoderamiento quiere decir comunidad colectiva, y en última instancia concientización de clase, entender la realidad con un sentido crítico para usar el poder que poseen incluso los desempoderados, a fin de cuestionar a los poderosos y en última instancia transformar esa realidad por medio de luchas políticas conscientes. (Craig and Mayo 1995) Si bien el enfoque de empoderamiento reconoce la importancia para la mujer de aumentar su poder, intenta identificar el poder menos en términos de dominación sobre otros y más en términos de la capacidad de las mujeres para aumentar su independencia y su fortaleza interna. Esto se identifica como el derecho a determinar las opciones en la vida e influenciar la dirección del cambio, a través de la capacidad para asumir el control sobre fuentes cruciales, tanto materiales como no materiales. Coloca menos énfasis que el enfoque de equidad en

4

fortalecer la posición de la mujer en relación con el hombre, intentando más bien empoderar a la mujer a través de la redistribución del poder tanto dentro de una sociedad como entre sociedades. (Moser 1991) El empoderamiento se ha convertido en un propósito importante de las intervenciones de desarrollo social en la década del 90. Ha sido operativizado en metodologías prácticas para proyectos y, en términos de su efecto e impacto, está empezando a traducirse en acciones observables y mensurables. Concretamente, el empoderamiento de la población puede manifestarse en tres áreas generales: • poder en el sentido de mayor confianza en la propia capacidad para emprender alguna forma de acción con éxito • poder en términos de fortalecer las relaciones que establece la población con otras organizaciones • poder como resultado de un acceso creciente a recursos económicos como crédito e insumos.

El desarrollo social como empoderamiento no considera a las personas pobres como deficientes y necesitadas de apoyo externo; desde una perspectiva más positiva, intenta crear un enfoque de desarrollo interactivo y basado en el principio de compartir, en el cual las destrezas y el conocimiento de las personas sean reconocidos. Empoderamiento no es simplemente una terapia que hace que los pobres se sientan mejor respecto de su pobreza, ni tampoco la promoción de ‘iniciativas locales’ o el fortalecimiento de la ‘conciencia’ política de las personas. Tampoco asume que la población sea totalmente indefensa ni descarta la existencia previa de redes de solidaridad y resistencia a través de las cuales las poblaciones pobres enfrentan las fuerzas que amenazan sus medios de vida. Por el contrario, el empoderamiento tiene que ver con un ‘cambio positivo’ a nivel individual, comunitario y estructural, con organización y con negociación. Pero, tal como comenta Rowlands (1997), ‘el empoderamiento toma tiempo’ y no es un proceso que necesariamente obtenga resultados a corto plazo.

A semejanza de otros conceptos de desarrollo, como ‘sociedad civil’ o ‘participación’, siempre existe el peligro de que el uso del empoderamiento en el contexto de intervenciones de desarrollo se base en un análisis superficial de las relaciones de poder a nivel local. El empoderamiento puede limitarse a poco más que una mayor participación en la toma de decisiones en los proyectos y tener poco o ningún impacto sobre un cambio estructural más amplio. Este hecho ha generado la inquietud de que el uso de dicho concepto en el desarrollo tienda a disfrazar la naturaleza real de las relaciones de poder. Una reciente colección de documentos escritos por antropólogos/as refleja este creciente escepticismo frente al uso cada vez más generalizado del concepto de empoderamiento (Cheater 1999). James, por ejemplo, advierte que: Los conceptos de compartir poder, de interesados, de participación y representación y así sucesivamente, parecen referirse en forma creciente al autocontenido mundo de los proyectos en sí: las estructuras externas de tenencia de la tierra y economía de subsistencia que pueden haber sido perturbadas, de las formaciones políticas y militares que han definido y siguen definiendo las formas de vida social en una región, tienden a desaparecer del cuadro en el mundo del idioma del desarrollo. (James 1999:13-4) Gran parte de la inquietud radica en que muchos proyectos de desarrollo interesados en el empoderamiento no han entendido y analizado la dinámica histórica de la política local, con su compleja interacción entre los distintos grupos de interés locales, la política estatal y la economía política más amplia (por ejemplo, Werbner 1999, Chabal 1992). Estas críticas al uso que actualmente se le da al concepto de empoderamiento son importantes de tener en cuenta. Y, sin embargo, mientras James exhorta a sus colegas antropólogos/as y otros académicos/as a tomar distancia del término, ésta no constituye una opción realista para los profesionales del desarrollo. El empoderamiento es un objetivo clave de una gama tan amplia de intervenciones de desarrollo que el reto para los profesionales del desarrollo estriba en profundizar su comprensión del término; reconocer sus complejidades, fortalezas y limitaciones y explorar de qué forma pueden evaluar si ha tenido lugar o no un ‘empoderamiento’.

5

El punto de partida para cualquier análisis del empoderamiento en una intervención de desarrollo tiene que ser que el término tiene una amplia gama de significados asociados con él. Al igual que ‘participación’ y ‘sociedad civil’, ‘empoderamiento’ es un concepto motivacional que evoca una amplia gama de respuestas distintas entre grupos distintos. Es importante intentar comprender la forma en que diferentes organizaciones han utilizado el término empoderamiento, y qué tipo de empoderamiento han intentado producir. Con esto en mente, presentamos una serie de estudios de caso breves tomados de la práctica, que ilustran la forma en que una serie de organizaciones de desarrollo distintas ha tratado de promover el empoderamiento en el contexto de un proyecto de desarrollo. Juntos, los tres estudios de caso ofrecen un amplio espectro de interpretaciones de empoderamiento y nos ayudarán a entender la naturaleza sumamente amplia de su significado.

6

Estudio de caso 1 Empoderando a las comunidades: El proyecto Kebkabiya en Sudán Occidental El presente estudio de caso constituye un ejemplo de una visión de empoderamiento centrada en un proyecto. El proyecto Kebkabiya es básicamente un proyecto de seguridad alimentaria, pero Oxfam considera el proyecto como parte del proceso de empoderamiento de la comunidad. De ahí que el título del libro basado en el proyecto sea “Empoderando a las comunidades”. Tal como demuestra este estudio de caso breve, el uso del empoderamiento en este proyecto consiste en gran medida en facilitar la participación de las comunidades, especialmente las mujeres, en la toma de decisiones del proyecto, y por la parte de Oxfam en estar preparados para ceder el poder a favor de la Sociedad Benéfica de Pequeños Productores de Kebkabiya (KSCS, según sus siglas en inglés).

El proyecto Kebkabiya en Sudán Occidental surgió del programa de ayuda humanitaria promovido por Oxfam en Sudán Occidental a raíz de la hambruna de 1984. Representó un cambio de la ayuda humanitaria al desarrollo, y el objetivo principal del proyecto era incrementar la seguridad alimentaria en las comunidades alrededor de Kebkabiya. En un principio, el proyecto estuvo dirigido directamente por Oxfam, pero posteriormente se creó una organización local, la KSCS, que asumió en forma gradual la dirección del proyecto.

El objetivo inicial del proyecto era establecer 12 bancos de semillas, y la primera fase del proyecto permitió al personal de Oxfam identificar otros problemas percibidos en las comunidades de la zona. La segunda etapa del proyecto se inició en 1989 e introdujo componentes adicionales para el abordaje de dichos problemas, entre ellos salud animal, tracción animal, control de plagas, preservación de suelos y recursos hídricos y desarrollo comunitario. El cambio institucional más importante en términos de gestión fue que, mientras que la coordinación general del proyecto permaneció en manos del personal de Oxfam, se hizo en conjunción con una nueva estructura democrática de representación comunitaria, los Comités Centrales de las aldeas. Cada aldea de un grupo de cinco a 12 aldeas elegía a un hombre y una mujer como representantes ante un Comité Central. A su vez, cada Comité Central elegía a un hombre y una mujer como representantes ante un Comité de Gestión del Proyecto (CGP).

En 1990, el CGP decidió registrarse como una organización independiente y se creó la Sociedad Benéfica de Pequeños Productores de Kebkabiya (KSCS). Es una organización cuyos miembros provienen de las comunidades en las cuales ha venido trabajando el proyecto. En 1992, la KSCS organizó un taller constitucional que expuso el sistema de rendición de cuentas de la sociedad frente a las comunidades y formalizó la estructura representativa que había sido introducida en el proyecto, es decir, la designación por parte de cada aldea de un representante masculino y una representante femenina al Comité Central, etc. Durante la década del 90, el proceso iniciado por Oxfam empezó a transferir el control directo del proyecto a la KSCS. Para Oxfam, el proyecto representa un ejemplo exitoso de la forma en que un proyecto de seguridad alimentaria dirigido por Oxfam se transformó en un proyecto con participación cada vez mayor de las comunidades locales. Mientras que en la fase inicial del proyecto la población local, especialmente las mujeres, tenía muy poca o ninguna injerencia en las decisiones del proyecto, éste es dirigido ahora por la KSCS. Se han desarrollado estructuras democráticas - por ejemplo, a través de la creación de la KSCS - que han mejorado los sistemas de rendición de cuentas de la dirección del proyecto frente a la comunidad. Desde la perspectiva del personal de Oxfam que participa en el proyecto, este hecho ha llevado al empoderamiento de la comunidad.

(Fuente: P. Strachan, con Chris Peters, Empowering Communities: A Casebook from West Sudan – Empoderando a las comunidades: Un diario de Sudán Occidental - Oxfam 1997)

7

Estudio de caso 2.

Empoderando a los sin tierra: Estudios de caso sobre distribución de la tierra y seguridad de tenencia para los pobres Este informe examina las experiencias de Christian Aid (una ONG británica) y sus contrapartes en tratar de lograr un sistema de distribución de la tierra más justo en el Brasil, las Filipinas y Mozambique.

En este informe, el empoderamiento se enfoca en términos de asegurar el acceso a la tierra para los sectores pobres y proporcionarles los medios para cultivarlas productiva y sosteniblemente. Este enfoque se basa en la convicción de que la tierra es fundamental para las poblaciones pobres que viven en las áreas rurales, para que puedan disponer de medios de vida seguros y sostenibles. Los estudios de caso que se describen en este informe demuestran la forma en que Christian Aid y sus contrapartes han trabajado con poblaciones pobres para mejorar su acceso a tierras productivas.

1: Movimiento de los Trabajadores Rurales sin Tierra (MST), Brasil. El MST se define a sí mismo como un movimiento social de masas de trabajadores/as rurales sin tierra que intentan obtener acceso a tierras y hacen campaña a favor de la reforma agraria y de un cambio político profundo en la sociedad brasileña. Entre 1991 y 1997, el MST ayudó a 600,000 personas sin tierra a conseguir tierras, construir viviendas e iniciar escuelas. Para ello, utilizó una estrategia dividida en tres etapas: primero, el MST identifica tierras que no están siendo trabajadas con fines productivos y procura negociar el usufructo de la tierra. Si dicha estrategia falla, un gran número de personas ocupa la tierra e instala un campamento. Como segundo paso, normalmente los propietarios, la policía y el poder judicial intentan desalojar a los ocupantes, pero el MST intenta resistir el desalojo o persuadirlos para que los transfieran a otras tierras similares. El apoyo de las iglesias, sindicatos, movimientos urbanos y ONG es importante en esta etapa. El tercer paso consiste en que el MST trabaja la tierra, tratando de hacerla más productiva y construyendo carreteras, escuelas, centros de salud, etc. Además de esta forma de acción directa, el MST, junto con muchos otros grupos, está haciendo campaña a favor de la reforma agraria en el Brasil. Sin embargo, reconoce que no se trata de un asunto aislado, independiente de los retos macroeconómicos más generales que enfrenta el Brasil. Mientras que el país ha gastado ingentes sumas de dinero en el pago de la deuda externa en los últimos cinco años, los presupuestos para desarrollo rural han sido recortados y la pobreza crece en las áreas rurales y urbanas.

2: Agricultores de Mapalad, Filipinas. Los agricultores de Mapalad llevan años en una disputa legal con un terrateniente local a causa de 144 hectáreas de terreno en el sur de las Filipinas. Si bien la tierra les fue asignada a los agricultores bajo el Programa de Reforma Agraria del gobierno (CARP, según sus siglas en inglés), dicha decisión ha sido ferozmente impugnada por el terrateniente, quien ha apelado con éxito contra la sentencia del poder judicial, impidiendo que los agricultores ocuparan la tierra. Este caso es considerado como una prueba del compromiso del gobierno frente a la reforma agraria, y los agricultores han recibido el apoyo de diversas iglesias y ONG. Christian Aid ha participado a través de su contraparte, Balay Mndanaw Foundation, Inc. (BMFI), quien ha ofrecido a los agricultores asesoramiento legal, acceso a otros actores de la sociedad civil y respaldo moral. Este caso reveló el poder de las élites urbanas y rurales, así como de algunos funcionarios/as gubernamentales y miembros del poder judicial, quienes para proteger sus privilegios manipularon a su favor las leyes y políticas existentes. Christian Aid y BMFI consideran que su rol radica en trabajar con los agricultores de Mapalad y otros actores, a fin de empoderarlos para que enfrenten con éxito las estrategias de las élites dueñas de la tierra.

3. Seguridad sobre la tierra entre los pequeños productores de Mozambique. En Mozambique, Christian Aid ha ayudado a pequeños productores a proteger su acceso ya establecido a la tierra, ante el surgimiento de especuladores y urbanizadores externos. Con el fin de la guerra civil y la liberalización económica se ha desatado una batalla campal en pos de las tierras económicamente más valiosas de Mozambique. Ha habido casos de agricultores expulsados de sus tierras, mientras que en otros casos los agricultores han regresado de campamentos de refugiados sólo para comprobar que sus tierras habían sido ocupadas por otros. En respuesta a este problema, el Consejo Cristiano de Mozambique fundó una organización, ORAM, para que trabajara con las asociaciones de pequeños productores en la defensa de sus derechos a la tierra. En 1995 el gobierno inició un proceso de

8

creación de una nueva ley de tierras y se creó una Comisión Agraria. ORAM y UNAC (el sindicato nacional de pequeños productores) se las ingeniaron para obtener representación en la Comisión e iniciaron acciones de cabildeo a favor de los derechos de los agricultores. Tuvieron que enfrentar la fuerte oposición de grupos de interés poderosos, quienes cabildearon en beneficio de sus intereses comerciales y políticos e intentaron socavar la legitimidad de los derechos campesinos a la tierra, establecida en la nueva ley. Finalmente, la nueva ley se aprobó en 1997, en una versión que sí incluía muchas de las demandas de los agricultores para la protección de sus derechos. Para ORAM y Christian Aid, la nueva ley empodera en principio a los pequeños productores, en el sentido que sus reivindicaciones territoriales ahora se encuentran protegidas por ley. Sin embargo, el trabajo de ORAM prosigue, ya que la aprobación de la ley se encuentra recién en su primera etapa y es probable que surjan numerosas dificultades durante su aplicación.

Estos estudios de caso relejan la naturaleza dinámica, e incluso peligrosa, del empoderamiento en el contexto de la reforma agraria: para las poblaciones sin tierra ha sido una lucha continua en pro de la reforma agraria. Todos los casos han tenido victorias y retrocesos, y en los tres países los agricultores y las ONG involucradas han tenido que enfrentar una fuerte oposición de parte de las élites establecidas. En todos los casos, las acciones organizadas a nivel local han recibido el respaldo de campañas y acciones de cabildeo a nivel nacional a favor de la reforma agraria e incluso la reforma macroeconómica. Es evidente que el empoderamiento no termina con un cambio legislativo o con la aprobación del acceso a tierras. Se trata apenas del comienzo de un proceso encaminado a garantizar medios de vida seguros, productivos y sostenibles.

(Fuente: M. Whiteside, 1999, Serie de trabajo ‘Developing good practice’ – Desarrollando buenas prácticas - Christian Aid)

Estudio de caso 3: Programa de capacitación para promotoras de salud en Urraco, Honduras Este estudio de caso examina el empoderamiento de la mujer en el contexto de un programa de capacitación para promotoras de salud en Honduras. Este programa en particular se creó en Urraco en 1985, con el apoyo de una ONG norteamericana que contribuyó con una voluntaria y con financiamiento para las actividades del programa. Aunque el programa no se fundó inicialmente con el propósito específico de empoderar a las mujeres, tanto la voluntaria norteamericana adscrita al programa como algunos de los miembros del equipo de coordinación consideran cada vez más que el programa tiene que ver esencialmente con el empoderamiento de la mujer. Y, sin embargo, tal como lo demuestra el estudio de caso, el programa no contó con una estrategia definida para facilitar el proceso de empoderamiento y por lo tanto ha tenido un avance limitado.

El programa ofrecía un curso de dos años de duración para capacitar a personas de las comunidades locales en salud preventiva y tratamiento básico. El curso está estructurado alrededor de círculos de estudio en 26 comunidades y prevé reuniones semanales de aproximadamente dos horas de duración, así como reuniones sectoriales mensuales en las que todos los grupos se juntan para discutir un tema en común. 80 mujeres han sido capacitadas como promotoras de salud a lo largo de un período de tres años y medio. Otras mujeres han participado activamente en el programa, ofreciendo comidas para niños y niñas desnutridos y trabajando en artesanías y proyectos de crianza de cabras. Hay un equipo de coordinación formado por cinco mujeres que trabajan a tiempo completo en el programa, y cada una dirige entre tres y seis de los círculos de estudio. En su análisis del programa, Rowlands (1997) ha explorado el empoderamiento a tres niveles: • • •

personal: desarrollo de un sentido de confianza en sí mismas y capacidad en las relaciones: desarrollo de la capacidad para negociar e influir sobre la naturaleza de una relación y las decisiones que se toman dentro de ella colectivo: personas individuales trabajan juntas para aumentar el impacto de sus acciones, por ejemplo, formando cooperativas o participando en las estructuras políticas.

9

Empoderamiento personal. Las mujeres que participaron en los círculos de estudio manifestaron que habían fortalecido su confianza en sí mismas y su autoestima como resultado de su participación en el programa. Asimismo, hicieron hincapié en la importancia de aprender destrezas nuevas a través de su participación en el programa, como, por ejemplo, diagnóstico y tratamiento de enfermedades comunes, control del nivel nutricional de sus hijos e hijas, etc. Unas cuantas incluso lograron conseguir empleo. El sentido de empoderamiento personal era particularmente notorio entre las mujeres que formaban parte del equipo de coordinación. En particular, ellas habían tenido la oportunidad de asistir a reuniones y cursos en otras partes de Honduras e incluso en el extranjero, lo cual les permitió ampliar sus horizontes más allá de su posición tradicional dentro del hogar.

Empoderamiento en las relaciones. Algunas de las mujeres que han participado en el programa manifestaron que sus relaciones con sus esposos y familiares habían cambiado. En su opinión, dichos cambios se traducen en una mayor participación en la toma de decisiones sobre asuntos de dinero, mayor libertad de movimiento en sus comunidades, un mejor trato por parte de sus esposos y un esfuerzo más consciente de su parte para mejorar sus relaciones con sus hijos e hijas.

Empoderamiento colectivo. Se recogió muy poca evidencia de que los círculos de estudio hubieran llevado a alguna clase de empoderamiento colectivo. Algunas actividades se realizaban grupalmente, pero esto no llevó a que los grupos fortalecieran su capacidad para organizarse colectivamente con el objeto de atender sus necesidades o aumentar su acceso al poder económico, social o político. No obstante, sí hubo cierta evidencia de un empoderamiento colectivo entre las integrantes del equipo de coordinación. Por ejemplo, ahora dirigían el programa sin el apoyo de la voluntaria norteamericana y también habían establecido contacto con otras organizaciones dentro del país.

Los principales logros del programa de salud en términos de empoderamiento se han dado a nivel personal, mientras que, salvo el equipo de coordinación, a nivel de relaciones o a nivel colectivo sólo se observa un empoderamiento limitado. Rowlands identifica algunos factores que supuestamente han obstaculizado el proceso de empoderamiento: •

el programa ha sido estructurado alrededor de un programa de capacitación de dos años de duración, lo cual significa que muchas mujeres lo ven únicamente como una oportunidad para aprender un conjunto finito de destrezas y no han sido motivadas a aprovechar el programa para emprender otras actividades; • las mujeres no han sido motivadas a cuestionar las relaciones sociales, políticas y económicas que sustentan los servicios de salud; • la focalización del programa en la capacitación de promotoras de salud ha limitado el número de mujeres elegibles para el programa; • la metodología utilizada en la capacitación no incentivó a las mujeres a desarrollar sus propios temas y agendas, ni a aprender de sus propios errores; • diversos factores culturales y locales pueden haber jugado también un papel en las limitaciones del proceso de empoderamiento a todo lo largo del programa.

(Fuente: J. Rowlands, Questioning Empowerment – Cuestionando el empoderamiento - 1997)

Discusión de los estudios de caso Los tres estudios de caso reflejan nociones de empoderamiento muy diferentes. En el caso del proyecto de Kebkabiya, el empoderamiento de la comunidad se entiende muy específicamente en términos de fortalecer el rol de la comunidad en la gestión del proyecto. Se trata de una visión más bien estrecha de empoderamiento, que apenas hace alusión al contexto social y económico más amplio y a la forma en que las comunidades ‘empoderadas’ se insertan dentro de éste. El estudio de caso de Honduras va más allá del proyecto inmediato y hace hincapié en la importancia de empoderar a la mujer, en el sentido de fortalecer su seguridad en sí misma y su autoestima. Sin embargo, al igual que el proyecto de Kebkabiya, el empoderamiento de las mujeres del proyecto de Urraco no se ha hecho extensivo a sus derechos políticos y económicos más generales. En contraste, los estudios de caso de Christian Aid en el área de la reforma agraria sí constituyen ejemplos de procesos de empoderamiento

10

más amplios. Las personas sin tierra han luchado exitosamente para obtener acceso a tierras productivas, mientras que en Mozambique la nueva ley de tierras ha reconocido las demandas de los pequeños agricultores. Asimismo, mientras que las campañas apoyadas por Christian Aid sí tuvieron desde el principio el objetivo definido de empoderar a los sin tierra haciendo campaña por el reconocimiento de sus derechos a la tierra, en el caso de los dos otros proyectos el empoderamiento no fue el objetivo inicial, sino que fue añadido más adelante. Estos proyectos han sido mucho menos controvertidos políticamente porque, a diferencia de las campañas a favor de la reforma agraria, no intentaron redistribuir el control sobre los recursos productivos.

El hecho de que el concepto de empoderamiento se preste a interpretaciones tan diversas plantea retos particulares para la evaluación del impacto de los procesos de empoderamiento. En especial, está la pregunta de si el empoderamiento debe ser evaluado o no en función de los objetivos específicos del proyecto, sin importar cuán limitados sean éstos. Por ejemplo, un punto de partida podría ser efectuar la evaluación dentro del marco del proyecto, es decir, cuáles son los objetivos de empoderamiento del proyecto u otro tipo de intervención y hasta qué punto han sido alcanzados. Sin embargo, un punto de partida alternativo es realizar primero un análisis de las estructuras de poder a nivel local, con el fin de determinar qué factores han sido más decisivos en crear las condiciones actuales de desempoderamiento entre los sectores pobres y marginados. Este enfoque permitiría formular preguntas más críticas y exigentes acerca de cualquier proceso de empoderamiento iniciado por una organización de desarrollo.

Por ejemplo, mientras que el proyecto de Kebkabiya parece haber logrado un avance significativo en el cumplimiento de su objetivo de empoderar a las comunidades a través de su participación en la conducción del proyecto, el informe del proyecto no hace ninguna alusión a la intervención de dichas comunidades en las estructuras políticas y económicas más amplias de Sudán. Mientras que la participación en la toma de decisiones de un proyecto constituye un desarrollo importante en sí, por otro lado dicha participación se circunscribe al contexto del proyecto. Como señala James (1999) en la cita mencionada arriba, muchas organizaciones de desarrollo enfocan el empoderamiento únicamente en términos del ‘autocontenido mundo de los proyectos’. Pero, al hacerlo, subestiman o ignoran estructuras de poder mucho más profundas, que tienen una injerencia mucho más poderosa en la vida de las personas. Al evaluar el empoderamiento que resulta de una intervención de desarrollo, es importante hacer ambas cosas. En primer lugar, el seguimiento de la intervención puede hacerse en función de sus objetivos originales. Pero, si queremos saber si la intervención ha tenido o no un impacto de largo plazo, será necesario hacer una evaluación mucho más amplia de las estructuras de poder locales.

La necesidad de enfocar las intervenciones de desarrollo en el contexto del cambio social más amplio es central para los enfoques de evaluación del desarrollo social. Aunque reconocen la complejidad de evaluar el cambio social, en la última década las organizaciones de desarrollo han empleado enfoques innovadores, de experimentación y de aprendizaje en la evaluación de las intervenciones de desarrollo social. Puede ser útil elaborar un resumen de las principales lecciones que hayan surgido de dichas experiencias.

DIMENSIONES DEL EMPODERAMIENTO Psicológica Autoimagen e identidad Crear un espacio Adquirir conocimiento

Cultural Redefinir las reglas y normas de género Recrear prácticas culturales

Social Liderazgo en acciones comunitarias Acción en derechos Inclusión social Alfabetismo

Económica Garantizar la seguridad del ingreso Propiedad sobre los bienes productivos Destrezas empresariales

11

Organizacional Identidad colectiva Crear organización representativa Liderazgo institucional

Política Participación en instituciones locales Negociar el poder político Acceder al poder político

COMENTARIO FINAL No cabe duda del uso generalizado de, y el compromiso con, un proceso de empoderamiento en muchas intervenciones de desarrollo. Sin embargo, podría afirmarse que en los últimos cinco años, aproximadamente, dicho compromiso ha tenido dificultades. Existen evidencias de que muchos proyectos de desarrollo, que ubicaban el ‘empoderamiento’ en primera fila entre sus objetivos, se han sentido frustrados ante su incapacidad para hacer un seguimiento del proceso y explicarlo, y por lo tanto para ‘evaluar’ sus resultados. En ese sentido, es importante en el presente taller aclarar de una vez por todas el concepto – y el proceso que implica - y poder utilizarlo analíticamente para explicar la dinámica de los contextos en los cuales tienen lugar dichos proyectos. Con ello en mente, sería conveniente concentrarnos en nuestras discusiones en unas cuantas preguntas clave: 1. En el contexto de proyectos de desarrollo cuya intención sea ‘empoderar’ a los sectores de bajos ingresos, ¿cuáles son las características y factores clave en el contexto del proyecto que tendremos que identificar y explicar si queremos entender la dinámica del poder?

2. ¿Cuáles son las diferencias políticas, sociales y económicas más importantes entre quienes detentan el poder y quienes carecen de él en un contexto de desarrollo en particular?

3. ¿Cuáles son las principales características de desempoderamiento que tendrán que ser abordadas si el proyecto de desarrollo ha de ‘empoderar’ a la población local?

4. En su opinión, ¿cuáles serían los elementos clave de cualquier intervención de desarrollo diseñada para ‘empoderar’ a las personas de escasos recursos? Éstas y otras preguntas constituyen el análisis contextual del poder que debemos realizar al inicio si hemos de poder evaluar en qué medida un proyecto en particular ha cambiado el centro, los patrones y la distribución del poder. Con demasiada frecuencia, los proyectos de desarrollo intentan evaluar hasta qué punto han influenciado o no el balance de poder en un contexto determinado, pero la mayoría se ve imposibilitada de hacerlo porque no cuenta con un análisis contextual inicial. El propósito de la primera sesión del Taller es, por lo tanto, desarrollar un análisis de esa naturaleza y garantizar que contemos con un marco para el análisis y la evaluación de las nociones de ‘poder’ y ‘desempoderamiento’, tanto en el contexto inmediato del proyecto como en el contexto más general.

12

SECCIÓN 2: ENTENDIENDO EL SEGUIMIENTO Y LA EVALUACIÓN DE LOS PROCESOS DE DESARROLLO SOCIAL La medición de la eficacia de una intervención de desarrollo para promover el empoderamiento requiere de un sistema adecuado de seguimiento y evaluación. Para poder hacer esto con eficacia, es importante dejar claramente establecidas las lecciones generales que hayan sido aprendidas del seguimiento y evaluación de intervenciones de desarrollo social. Éste es el propósito de esta sección, que ha sido diseñada para aquellos/as participantes que no estén familiarizados con la literatura reciente sobre el tema ni con los avances conceptuales y prácticos en este campo. Actualmente se privilegia un sistema mínimo pero eficiente, cuyo objetivo sea la generación de una cantidad suficiente pero no exagerada de datos e información, que permita a una organización de desarrollo formarse una idea confiable acerca del producto, el efecto y el impacto de procesos como el ‘empoderamiento’ que está promoviendo. Es en esta área que está teniendo lugar actualmente la mayor parte del trabajo interesante de S y E. Básicamente, en la última década ha surgido una alternativa al enfoque de evaluación de proyectos más convencional, cuantitativo y orientado a resultados. Es dentro del marco de este ‘modelo’ alternativo que debemos buscar consejo acerca de cómo aproximarnos al tema del S y E de un proceso de ‘empoderamiento’. El creciente surgimiento de un ha empezado a enseñarnos cómo podríamos hacer para llevar a cabo el S y E de dichos procesos cualitativos, y esta sección examinará este nuevo modelo de evaluación de proyectos.

SEGUIMIENTO Y EVALUACIÓN: UNA INTRODUCCIÓN Entre las organizaciones de desarrollo, incluyendo las ONG, debería ser una práctica común hacer un seguimiento y evaluar los resultados, efectos e impacto de todos sus programas y proyectos. Esto rige para los programas de construcción de capacidades y otras intervenciones de desarrollo social tanto como para los programas que tienen objetivos más cuantificables, pero en el caso de los primeros la cosa es más difícil. La pregunta clave es cómo medir un cambio cualitativo utilizando un método que no requiera demasiado tiempo ni esfuerzo, y que genere información útil y accesible para la toma de decisiones.

Es importante reconocer la forma en que el seguimiento difiere de la evaluación, dado que los dos términos a menudo se usan en forma conjunta o como sinónimos. La diferencia esencial entre ambos es que, mientras el seguimiento constituye una evaluación continua y es parte integrante de la gestión de un proyecto, la evaluación es un ejercicio que realizan periódicamente tanto el personal como los beneficiarios de un proyecto, en ocasiones con el auxilio de equipos externos. Mientras que el seguimiento termina una vez que termina un proyecto, la evaluación del impacto de un proyecto de desarrollo rural puede llevarse a cabo varios años después de concluido el proyecto.

No existe una definición única de seguimiento y evaluación, ni un procedimiento estandarizado para llevarlo a cabo. No obstante, sí es posible identificar algunas características comunes en la literatura existente sobre sistemas de seguimiento y evaluación de programas. En este capítulo presentamos algunas definiciones de seguimiento y evaluación, todas las cuales han sido tomadas de algunos de los manuales clave para especialistas en seguimiento y evaluación de programas y proyectos de desarrollo (el énfasis es nuestro).

‘El seguimiento es una evaluación continua, tanto del funcionamiento de las actividades de un proyecto en el contexto de sus cronogramas de ejecución como del uso de los insumos del proyecto por parte de las poblaciones identificadas en el contexto de las expectativas del diseño.

Se trata de una actividad interna del proyecto, parte esencial de una buena práctica gerencial y por lo tanto parte integrante de la gestión cotidiana.’ (Casley y Kumar 1987:2)

13

‘El seguimiento es un mecanismo innato para verificar que las cosas estén “funcionando de acuerdo a plan” y para permitir que se realicen ajustes en forma metodológica.’ (Oxfam 1995: 413) ‘El seguimiento es la evaluación sistemática y continua de los avances de una intervención a través del tiempo.’ (Gosling y Edwards1995: 81) De estas citas se desprende que las dos características principales de un sistema de seguimiento son, primero, que se trata de parte integrante de la gerencia de un proyecto y no de algo realizado por un equipo externo y, segundo, que se trata de un proceso continuo, permanente, para recolectar, almacenar, analizar y utilizar información. La evaluación, en contraste, no es parte integrante de la gestión de un programa o proyecto.

‘La evaluación es una medición periódica de la relevancia, el desempeño, la eficiencia y el impacto del proyecto en el contexto de sus objetivos declarados. Normalmente envuelve comparaciones que requieren información de fuera del proyecto - en tiempo, área o población.’ (Casley y Kumar 1987: 2) ‘Una evaluación es la medición en un momento determinado del impacto de una intervención y del grado al que se han logrado los objetivos declarados.’ (Gosling y Edwards 1995: 89) En términos generales, existen dos enfoques principales de seguimiento y evaluación. (i) El primer enfoque puede denominarse ortodoxo o enfoque ‘tipo receta’. Se trata del enfoque que ha sido tradicionalmente utilizado por la mayor parte de las organizaciones de desarrollo; se diseña un sistema de seguimiento detallado – que incluye la selección de indicadores – antes de la ejecución del proyecto, que sirve como base para el seguimiento mientras dure el proyecto. Si bien este enfoque es apropiado para el seguimiento de los insumos y productos físicos de un proyecto, presenta limitaciones mayores cuando se trata de objetivos de desarrollo social más generales, incluyendo la construcción de capacidades. (ii) En la última década, aproximadamente, se ha desarrollado un enfoque alternativo basado en procesos, que resulta menos prescriptivo y más flexible y adaptable. En vez de definir todos los elementos del sistema de seguimiento al inicio del proyecto, el sistema se desarrolla y evoluciona a partir de la experiencia permanente de ejecutar el proyecto.

El seguimiento y evaluación debe incidir sobre el producto, el resultado y el impacto de la intervención.

Quizás sea conveniente analizar los términos resultados e impacto. La evidencia sugiere que las organizaciones de desarrollo ‘en general’ son mejores en evaluar aspectos tales como los productos, el esfuerzo y las actividades, pero menos hábiles a la hora de determinar cuál ha sido el resultado de todo el proyecto. Hay que tener en cuenta además que, mientras que la población local puede participar en la definición de los ‘resultados’ y el ‘impacto’, dichos términos a menudo provienen de la perspectiva de los donantes; sin embargo, entender el ‘cambio’ que ha tenido lugar desde la perspectiva de la población involucrada será más relevante.

PUNTO DE MEDICIÓN

QUÉ SE MIDE

INDICADORES

Productos

Esfuerzo

Ejecución de las actividades

Resultados

Eficacia

Impacto

Cambio

Uso de los productos y producción sostenida de beneficios Diferencia con la situación problemática original

Mientras que inicialmente el S y E conllevará una exposición detallada del esfuerzo invertido y una descripción de las actividades realizadas, la primera etapa crucial de la medición será evaluar cuál ha

14

sido el resultado del proyecto en términos del efecto que ha tenido sobre la situación inicial. Bajo ‘efecto’ nos referimos al cambio más inmediato, tangible y observable - en relación con la situación inicial y los objetivos establecidos - que se percibe se ha producido como resultado directo de las actividades del proyecto. En el proceso general de S y E, la evaluación de impacto es la última etapa y rara vez se llega a ella. En primer lugar, es importante no confundir ‘impacto’ con ‘efecto’; este último se refiere al resultado más inmediato generado por una intervención; mientras que el primero, al cambio de más largo aliento. Impacto se refiere a las ‘consecuencias o productos finales’ que resultan ya sea directa o indirectamente de una intervención, a los que se les puede dar un valor objetivo o subjetivo. Además, tenemos que tener en cuenta que el impacto también puede ser negativo como resultado de consecuencias inesperadas de la intervención de desarrollo. Por ejemplo, los programas de crédito que supuestamente deben beneficiar a los sectores de bajos recursos con frecuencia se concentran en las personas más solventes y terminan exacerbando con ello la pobreza y las diferencias.

Tanto el seguimiento como la evaluación representan un medio para medir la eficacia de una intervención programática, para poder tomar las decisiones gerenciales tanto de largo como de corto plazo. Un sistema de seguimiento proporciona la información necesaria para tomar las decisiones gerenciales de un proyecto y constituye al mismo tiempo una evaluación permanente de la forma en que el proyecto está evolucionando. El tipo de información requerido dependerá de quién lo necesite. A nivel del proyecto o programa, las decisiones gerenciales requerirán información detallada acerca de los avances del proyecto, mientras que la oficina regional o la sede internacional pueden necesitar únicamente información más abstracta, consolidada. Un sistema de seguimiento eficiente a nivel de proyectos debe proporcionar un registro constante de los avances del proyecto. La evaluación dependerá del sistema de seguimiento desarrollado – un buen sistema de seguimiento proveerá información que formará el núcleo de cualquier evaluación. Sin embargo, posiblemente se requiera información adicional para llevar a cabo una evaluación.

•

El seguimiento y evaluación debe revelar si el proyecto está siendo ejecutado de acuerdo a plan. Cada proyecto y cada programa deben contar con objetivos definidos en términos de productos, efecto e impacto. El objetivo primario del seguimiento es verificar si el proyecto está o no en el camino correcto para cumplir dichos objetivos y, si no lo está, tomar la decisión de modificar el proyecto o revisar los objetivos.

•

El seguimiento y evaluación debe identificar los problemas o dificultades en la ejecución del proyecto. El análisis de la información recogida como parte del proceso de seguimiento debe revelar los problemas o dificultades que hayan surgido en el proyecto, permitiendo a la gerencia del proyecto tomar las acciones apropiadas para superarlos.

•

El seguimiento y evaluación debe dar cuenta de los recursos utilizados. Una de las funciones del seguimiento es que actúe como un sistema de rendición de cuentas para quienes suministran los fondos, ya sea instituciones estatales, ONG o personas individuales. Básicamente, el sistema de seguimiento demostrará cuánto dinero ha sido gastado y en qué. Muchas organizaciones consideran que ésta es la función más importante y necesaria del seguimiento.

•

El seguimiento y evaluación debe confirmar si los supuestos formulados en la etapa de planificación siguen siendo válidos. La planificación de un proyecto se realiza sobre la base de un diagnóstico y supuestos iniciales acerca de las condiciones locales, tanto sociales como físicas.

El seguimiento puede servir como un mecanismo para comprpobar la validez de dichos supuestos y, de ser necesario, presentar alternativas que puedan ser incorporadas a la ejecución del proyecto.

•

El seguimiento y evaluación debe evaluar si el proyecto sigue siendo relevante para las necesidades de los beneficiarios/as. Un sistema de seguimiento eficaz debe mantenerse al tanto de las necesidades de la población que el proyecto o programa aspira a beneficiar. Esto ayudará a garantizar que el proyecto continúe siendo apropiado y se mantenga enfocado.

15

EL SISTEMA GENERAL DE S Y E El diseño de un marco general del proceso, las etapas y las actividades de una evaluación constituye un primer paso fundamental. Sin embargo, dicho marco tiene que ser algo más que un simple ejercicio sobre el papel a nivel central; tiene que ser operativizado a nivel de los proyectos. La falta de un marco general puede ser y de hecho muchas veces es el obstáculo más importante para iniciar el S y E. El ‘marco’ al cual nos referimos consta de varios componentes principales: estructura, métodos, indicadores, almacenamiento y recuperación y análisis e interpretación de la información. Existen evidencias de organizaciones de desarrollo que están formalizando dichos marcos, convirtiéndolos en Sistemas de Planificación, Seguimiento y Evaluación (PSE) que pueden ser altamente estructurados, no siempre son fáciles de seguir a primera vista y claman a gritos alguna instrucción para ser operativizados a nivel de los proyectos. Smillie (1995) ha lanzado una advertencia contra el enfoque tipo ‘receta’ para evaluar un proyecto, especialmente en lo que respecta al Marco Lógico como un medio para estructurar las actividades de evaluación; mientras que Blankenberg (1995) alude al ‘temor’ genuino de las organizaciones de desarrollo de que dichos sistemas se conviertan en ‘macrocefálicos’ y no justifiquen el gasto. Básicamente, estamos buscando alguna evidencia de una ‘visión’ general del ejercicio de evaluación, de que se hayan contemplado sus diferentes etapas y de que exista una noción de que el ejercicio hará algo más que simplemente catalogar el esfuerzo invertido y el producto. Es importante evitar caer en la situación de realizar evaluaciones como ejercicios improvisados que se realizan una única vez, con escaso sentido de planificación o dirección general. La noción de un marco general es especialmente importante ante la naturaleza de ‘proceso’ que emerge de la evaluación del desarrollo social.

Por ello, las organizaciones de desarrollo están integrando cada vez más sus actividades de evaluación de proyectos a sistemas institucionalizados y partiendo de esa base. En una revisión de 1995, Plan Internacional examinó los sistemas de un número de organizaciones de acuerdo a seis criterios básicos: elementos de proceso, productos, gestión, usuarios, eslabonamientos y aspectos técnicos. La revisión arrojó amplias evidencias de la creciente tendencia a incorporar el S y E a los sistemas existentes de planificación de proyectos, y también a estructurar las actividades evaluativas de forma más coherente. Sin embargo, no existe una noción de alguna forma de sistema de S y E universal para proyectos de desarrollo social; de hecho, existe una notable gama de enfoques, cada uno diseñado en función de la naturaleza y los requerimientos particulares de la organización que administra el enfoque.

En esencia, dichos sistemas se ciñen a grandes rasgos a la secuencia de evaluación que sirvió como base para los estudios de caso analizados en el Taller de Amersfoort en 1992

– PREPARACIÓN - EJECUCIÓN – INFORMES - REFLEXIÓN con la introducción de principios y procedimientos institucionales más formales y estandarizados en las distintas etapas. El creciente interés en dichos sistemas puede atribuirse parcialmente a la naturaleza del desarrollo social. Las evaluaciones convencionales y en gran parte cuantitativas se concentran en los insumos y los productos y generalmente logran medir dichos elementos utilizando métodos cuantitativos de investigación. La evaluación del desarrollo social, por otra parte, no puede hacerse utilizando métodos tan limitados y requiere de un enfoque más amplio, capaz de detectar y explicar los cambios cualitativos que hayan tenido lugar. Por consiguiente, es de esperar que, a medida que las organizaciones de desarrollo – especialmente las ONG – promuevan activamente el desarrollo social, necesitarán desarrollar y fortalecer sus capacidades de S y E de acuerdo a ello. Parecería haber una relación directa entre la influencia creciente del desarrollo social y la sofisticación cada vez mayor del S y E. El análisis detallado de un número de sistemas de S y E para intervenciones de desarrollo social revela los siguientes principios generales como el tipo de principios sobre el cual descansan dichos sistemas: • el sistema debe ser mínimo pero costo-efectivo, debe ser inteligible tanto para el personal como para las contrapartes del proyecto a todos los niveles y no debe requerir informes onerosos e innecesarios;

16

• el sistema debe diseñarse de forma tal que fortalezca las capacidades de reflexión y análisis de todos/as los involucrados, y no solamente lleve a la ejecución mecánica de actividades preprogramadas; • el sistema debe tener la capacidad para aportar información consistente y de calidad sobre el producto, el resultado y el impacto al ciclo (anual) del proyecto – para fines tanto contables como de aprendizaje -, llevando a la adaptación regular de los planes y objetivos; • el sistema debe enfatizar la toma de decisiones y el análisis, y no orientarse únicamente a la recolección de datos y cifras; • el sistema debe partir del supuesto que el cambio que resulte de un proceso de desarrollo social puede ser impredecible, y por lo tanto que no siempre es posible basar la evaluación de dicho cambio en expectativas predeterminadas sobre resultados probables; • el sistema debe basarse asimismo en una participación tan amplia como sea realistamente posible y necesario, valorando las contribuciones de los diversos grupos de interesados; debe reconocer la diversidad de género y tratar de garantizar que tanto las mujeres como los hombres puedan colaborar; • el sistema debe reconocer que el aspecto más importante del S y E del desarrollo social es el seguimiento, y debe enfatizar esta función en oposición al enfoque de evaluación expost; • finalmente, el sistema debe reconocer el valor de las fuentes de información alternativas, tanto orales como visuales, así como de las percepciones de la población local que no haya estado directamente involucrada en el proyecto.

Los principios arriba expuestos son desde luego mucho más fáciles de expresar que de incorporar a un sistema de S y E que sea comprendido y usado por todos. En la mayoría de los estudios convencionales acerca del Ciclo de un Proyecto, el S y E inevitablemente aparece en las etapas posteriores y por consiguiente se ve afectado por las incoherencias y dificultades de las etapas previas.

Problemas como influencias externas, resultados intencionales y no intencionales, lo tangible y lo intangible y los roles potencialmente contradictorios de la organización ejecutora y la financiera, pueden contribuir a generar un escenario complejo e impredecible dentro del cual esté funcionando el sistema.

Aunque los principios arriba señalados probablemente gozarían de reconocimiento y solidaridad generalizados, existe escasa evidencia de que hayan sido ampliamente empleados en la práctica de la evaluación del desarrollo social. Aunque algunos/as argumentarán que, por definición, dichos sistemas constituyen una abominación para la evaluación de un proyecto de desarrollo social, que debe ser lo más ‘desestructurada’ posible, es difícil rehuir la necesidad de un marco que produzca en forma coherente información que permita entender en forma continua el proceso emergente.

INDICADORES Un hito operativo de gran trascendencia en la década pasada ha sido la creciente familiaridad de las organizaciones de desarrollo con el uso aparente de indicadores cualitativos para la evaluación del desarrollo social. La gran proliferación de discusiones y ejemplos en la literatura sobre el tema es un reflejo de dicho avance. En ese sentido, por lo tanto, no hay necesidad de revisar en este documento ni la información general sobre indicadores cualitativos ni mucho menos los aspectos básicos relacionados con dichos indicadores, como definición, características, selección y uso. Existe una gran variedad de información general sobre dichos temas, en las obras de Casley y Kumar (1987), Pratt y Boyden (1985), Oakley (1988), Marsden y Oakley (1990), Westendorff y Ghai (1993), el Banco Mundial (1994) y Gosling y Edwards (1995). Los principios básicos de que los indicadores no deben ser ambiguos, pero sí coherentes, específicos, sensibles y fáciles de recolectar, son tan válidos hoy como lo eran la primera vez que fueron sugeridos por Casley y Kumar, en 1987. Otro aspecto es que los indicadores deben reflejar los resultados de un proyecto a tres niveles: producto, resultado e

17

impacto; y para la evaluación del desarrollo social es casi seguro que se requerirán indicadores tanto cuantitativos como cualitativos. Por último, está la pregunta de quién identificará los indicadores y cuándo. Una observación general que podría hacerse inicialmente sería que, si bien existe una creciente familiaridad con el ‘lenguaje’ de los indicadores y cada vez se les incluye más en la documentación de los proyectos, siguen predominando los indicadores que revelan resultados materiales, mientras que en la evolución de un proyecto de desarrollo social los resultados no suelen ser predecibles de antemano.

En materia de indicadores de desarrollo social, los tres aspectos clave parecerían ser actualmente: • identificación y operativización de indicadores tanto del resultado inmediato como del impacto a largo plazo del desarrollo social • una investigación que nos ayude a responder a la pregunta ‘¿cuántos indicadores?’

• cómo desarrollar un conjunto de indicadores que satisfaga a una variedad de interesados.

En lo que concierne al primer aspecto, probablemente sea cierto, pero también cuestionable, afirmar que los ‘indicadores de producto’ continúan dominando las actividades de seguimiento del desarrollo social, y que los indicadores ‘de resultado’ y ‘de impacto’ siguen encontrándose en gran medida en una fase experimental, salvo un creciente número de excepciones notables. Los indicadores de efecto y de impacto plantean problemas particulares. En primer lugar, los dos términos a menudo se utilizan en forma intercambiable y no se hace una distinción entre ‘efecto’ e ‘impacto’; en dichos casos, el uso de ‘impacto’ es más común, haciéndose quizás una distinción entre impacto ‘inmediato’ e impacto ‘a largo plazo’. En ese sentido, es aconsejable no preocuparnos demasiado por la exactitud del uso de los términos, concentrándonos más bien en la naturaleza ‘cambiante’ del resultado general del proyecto, y por lo menos haciendo una distinción y seleccionando indicadores que ayuden a dar una idea de lo que está ocurriendo en dos fases distintivas de la evolución del proyecto. Sin embargo, tiene que haber una etapa intermedia entre el insumo y el impacto general del proyecto; intentar desarrollar indicadores para un lapso de tiempo tan amplio hará imposible identificar y describir los cambios a medida que vayan ocurriendo. Los indicadores del desarrollo social, por lo tanto, tienen que seleccionarse y operativizarse de acuerdo al siguiente marco y secuencia generales: Objetivo >>Objetivos especí- >> Actividades>>>Indicadores >>Indicadores de >>>Indicadores superior ficos del proyecto del proyecto de producto resultado inmede impacto diato y verificable Si bien es cierto que no hay nada especialmente novedoso acerca de la secuencia arriba expuesta y sus interrelaciones, es notable la poca cantidad de enfoques de evaluación de desarrollo social que parecen ceñirse a este marco. En esta secuencia es importante subrayar además que, a medida que un proyecto pasa de los insumos al efecto y de éste al impacto, la influencia de factores no relacionados con el proyecto empieza a sentirse cada vez más, lo cual hace más difícil para los indicadores seleccionados ‘medir’ los cambios generados por el proyecto. Este hecho debería moderar el ejercicio y no conducir a infructuosos esfuerzos para identificar cambios que reflejen el indicador seleccionado. En segundo lugar, el impacto puede tardar una cantidad de tiempo inesperada en ocurrir y hacerse evidente, debilitando con ello la utilidad de los indicadores para detectar dicho cambio. En tercer lugar, todo el ejercicio podría ser costoso y oneroso, lo cual haría imposible su ejecución para muchos proyectos con escasos recursos. No existe ninguna evidencia empírica fácilmente disponible para dilucidar dichos dilemas. Ojalá que algunas de las investigaciones en marcha sobre evaluación de impacto viertan alguna luz al respecto.

En la línea de los problemas planteados arriba, una pregunta igualmente crítica se refiere al número de indicadores que podría necesitar un proyecto para medir el efecto y el impacto de sus actividades.

En ese sentido, la insistencia de Carvalho y White (1995) en que ‘... cualquier listado de indicadores debe ser parsimonioso y depender claramente de la necesidad’ es oportuna y ha sido coreada por Dawson (1995). Igualmente, una revisión de la Evaluación de Impacto realizada por Partnership Africa Canada (PAC) en 1995 concluyó que era necesario estudiar más detenidamente el número de indicadores que a menudo se proponían para las mediciones de impacto. Se trata de un aspecto en verdad importante, ya que parecería que la respuesta del personal de proyectos al reto de la

18

evaluación a menudo consiste en exagerar el número de indicadores, sin tomar en cuenta las exigencias que supondrá su operativización. De hecho, la literatura sobre el tema tiene más de un ejemplo de largos listados de indicadores que parecerían inapropiados para los recursos disponibles.

Davies (1995), escribiendo a propósito de la ONG bangladesí Proshika, por ejemplo, dio cuenta de 13 indicadores de empoderamiento que generaron alrededor de 25 páginas de preguntas en una propuesta de evaluación para medir el impacto. En términos generales, es más aconsejable tratar de evaluar el efecto y el impacto con base en un número reducido de indicadores relevantes y manejables, que permitan formarse un juicio sobre el cambio que ha tenido lugar, que abrumarnos metodológica y cronológicamente con un listado inmanejable y ambicioso. El cuadro a continuación, tomado de un libro de Oxfam de próxima aparición, ofrece un útil resumen de las propiedades esenciales que deben poseer los indicadores.

Propiedades SMART de los indicadores Propiedades ESpecíficos

Mensurables y poco ambiguos

Alcanzables y sensibles Relevantes y fáciles de recolectar Con límite de Tiempo

Definición Los indicadores deben reflejar las cosas que un proyecto intenta cambiar, evitando mediciones sujetas en gran medida a influencias externas.

Los indicadores deben definirse con exactitud, de manera tal que su medición e interpretación sea lo menos ambigua posible.

Los indicadores deben proporcionar información objetiva antes que subjetiva – es decir, deben ser independientes de la persona que recolecta la información.

Los indicadores deben ser plausibles de comparación entre grupos y proyectos, permitiendo así comparar y consolidar los cambios.

Los indicadores deben ser alcanzables para el proyecto, y por extensión sensibles a los cambios que el proyecto desea realizar.

Los indicadores deben ser factibles de recolectar dentro de un lapso de tiempo y a un costo razonable, y deben ser relevantes para el proyecto en cuestión.

Los indicadores deben describir para cuándo se espera que tenga lugar un cambio determinado.

(Roche 1999) Básicamente, el número de indicadores debe disminuir a medida que el proyecto se desplaza de los insumos al producto, al resultado y finalmente al impacto. Si la selección de los indicadores de producto se ha hecho con la cautela de costumbre en términos de relevancia y usabilidad (y así sucesivamente), deberán servir de base para uno o dos indicadores de resultado más generales, y luego para un indicador del impacto general. El indicador de impacto es un indicador ‘marco’ y deberá dividirse en un número pequeño de indicadores más específicos a medida que aumenten las señales del impacto de la intervención. Por ejemplo, si tomamos el objetivo de un proyecto hipotético de desarrollo social, podríamos desarrollar el siguiente grupo de indicadores manejables: Objetivo

Indicadores de producto

Indicadores de resultado

Indicador de impacto

Desarrollo organizacional a nivel de la comunidad

a. Formación y estructuración de organización b. Construcción de capacidades con miras al crecimiento de la organización c. Tipo y frecuencia de actividades de la

a. Surgimiento y fortalecimiento de organización a nivel comunitario b. Participación cada vez mayor de la organización en los asuntos de desarrollo local

a. Consolidación de organizaciones autónomas involucradas en los asuntos de desarrollo local

19

organización d. Acciones planeadas y ejecutadas La lección clave es mantener el número de indicadores a un nivel mínimo pero adecuado. Es mucho más eficiente manejar y producir resultados a partir de un número relativamente pequeño de indicadores que dejarse abrumar por un listado largo y ambicioso pero al final inmanejable. Los datos y la información de los indicadores de producto arriba mencionados no deberían ser excesivamente complicados de recolectar, pero sí requieren coherencia y un medio de almacenamiento adecuado. Si dichos indicadores empiezan a producir la información esperada, deberán servir como base para evaluar el efecto y así sucesivamente. Desde luego, todo es más fácil sobre el papel que en la práctica, y el S y E de las intervenciones de desarrollo social, debido a su naturaleza más exigente y especial, es más propenso a sufrir los efectos de las inevitables contradicciones de los proyectos de desarrollo.

El análisis de dónde nos encontramos en relación con este tema de los indicadores del desarrollo social se encuentra diseminado en una difusa reserva de documentación y literatura, lo cual dificulta la síntesis. Lo que queda claro es que, mientras que algunas organizaciones de desarrollo todavía tienen que trascender el discurso y una apreciación general de los temas, otras no solamente están experimentando sino que también están intentando extraer algunas lecciones de dicha experimentación. Por ejemplo, varias organizaciones de desarrollo han identificado y están empezando a operativizar indicadores apropiados para intervenciones de desarrollo social. De hecho, no son pocos los ejemplos de indicadores que las organizaciones están usando para hacer el seguimiento y en última instancia la evaluación de los resultados y el impacto de sus proyectos de desarrollo social. Los siguientes ejemplos nos darán una idea de los considerables avances alcanzados hasta la fecha en el desarrollo de indicadores en algunas áreas: • Autogestión, capacidad para resolver problemas, democratización y autosuficiencia como fenómenos de empoderamiento (Shetty) • Crecimiento organizacional (Howes y Sattar 1992) • Creación de conciencia y acceso a servicios (Franco et al. 1992) • Fortalecimiento de organizaciones contrapartes y fomento de la cooperación (Priester et al. 1995) • Cambios de actitud (Richards 1985) • Autonomía, membresía, base del conocimiento y ampliación de la base (Uphoff 1989) • Acceso, participación y movilidad de la mujer, matrimonio, toma de decisiones, conciencia, autoestima y desarrollo grupal (CARE 1994).

De hecho, tal es la proliferación de indicadores de desarrollo social disponibles que Khan (1994) ha sugerido que ahora podríamos agruparlos por grupos de indicadores genéricos. Khan equipara el desarrollo social con ‘personas aprendiendo a modificar su comportamiento’ y con la ‘construcción de instituciones’ y sugiere una serie de indicadores genéricos, tanto cuantitativos como cualitativos, con los cuales debería ser posible hacer el seguimiento de un número de cambios a través del tiempo: reclutamiento en el programa (incorporación), interés continuado (asistencia), adquisición de conocimientos y destrezas nuevas (aprendizaje) y modificación del comportamiento (adopción).

Ejemplos de INDICADORES de empoderamiento grupal Antes del proceso Individualismo, falta de acciones colectivas Falta de análisis crítico Dependencia económica, social y política Falta de seguridad en las propias capacidades Sospecha y aislamiento

Después del proceso Cohesión interna y sentido de solidaridad Capacidad de análisis y discusión crítica Estructura interna y elemento de autogestión Actividades colectivas Capacidad de lidiar y relacionarse con otros

Operativización de indicadores Éste y otros ejemplos son actualmente bastante comunes en la literatura sobre el tema; lo que es menos común son evidencias acerca de la forma en que el uso de dichos indicadores ha funcionado en

20

la práctica. Es en este terreno donde tiene que ocurrir un hito importante. Parecería ser que a nivel de proyectos existen ejemplos de experimentos que han tratado de operativizar los tipos de indicadores señalados arriba, pero no se trata de una práctica generalizada y muchos proyectos probablemente no hayan trascendido la etapa de identificación de indicadores. El aspecto clave de los indicadores que tienen una dimensión cualitativa sustancial es su operativización, que comprende una serie de pasos, empezando por la necesidad de traducirlos en fenómenos o acciones reconocibles y verificables, que puedan ser objeto de seguimiento. El proceso general puede entenderse de la forma que consignamos a continuación y tiene que ceñirse a esta secuencia si los indicadores han de producir la información requerida para entender los avances y cambios.

Selección > Actividades > Identificación > Seguimiento > Adaptación > Almacen. > de indicade actividades permanente de de la dores y acciones indicadores información verificables

Interpre- >Usar tación Aprender y análisis

Es en las etapas finales que parecería necesitarse dicho hito. Sigue habiendo una notable tendencia a considerar que la tarea ha concluido una vez que se han seleccionado los indicadores; y sin embargo, la tarea en realidad recién está empezando. Además, estas etapas finales no pueden construirse sólo externamente y es en este terreno donde ocurren los problemas en su mayor parte. La estructuración de un ejercicio de seguimiento conforme al ejemplo arriba citado requiere de un enfoque más participativo y dinámico, un enfoque que puede no basarse en la percepción convencional de ‘indicadores’ y que tendrá que estar en gran medida en manos del personal de proyectos y de la población local. Estos dos últimos factores exigen un diseño que sea inteligible y factible a dichos niveles, y no simplemente la introducción de un sistema diseñado por terceros. De hecho, es el diseño del sistema para la aplicación de los indicadores lo que resulta clave para todo el proceso, y en el siguiente capítulo veremos una cantidad de ejemplos sobre esto.

Un área en la que ha tenido lugar una considerable experimentación es la participación como un indicador del desarrollo social. En un sentido, este desarrollo era de esperarse, considerando la preeminencia que ha adquirido en la actualidad la noción de ‘participación’ en la teoría y la práctica del desarrollo. Las obras de Cohen y Uphoff (1977), Oakley (1988 y 1991) y Rifkin et al. (1988) han sido profundizadas por Montgomery (1995), quien resumió gran parte de aquel trabajo anterior. Por ejemplo, Montgomery sugiere que los indicadores cualitativos de participación pueden dividirse en tres categorías generales: (a) Crecimiento organizacional, (b) Comportamiento grupal y autonomía grupal y (c) empoderamiento. La sugerencia de Montgomery es similar a la de Khan (ver arriba), en el sentido del surgimiento aparente de una serie de indicadores cualitativos genéricos de participación, que actualmente son bastante comunes en la documentación de un proyecto. Por ejemplo, el estudio de Partnership Africa Canada (1995) acerca del impacto constituye una útil revisión de algunas variedades de indicadores de participación similares. Asimismo, en materia de indicadores cuantitativos de participación, menos complejos que los primeros, Valadez y Bamberger (1994) han resumido convenientemente un conjunto común de indicadores de participación comunitaria en el contexto de los proyectos promovidos por el Banco Mundial.

Revisando la práctica, parece haber dos formas distintivas en que los proyectos de desarrollo social determinan o seleccionan los ‘indicadores’ o ‘medios’ que pretenden usar para hacer el seguimiento y evaluación de los avances y cambios: • El enfoque más común y convencional es aquél mediante el cual se seleccionan los indicadores de antemano y éstos sirven de base para el seguimiento inicial. Se pueden usar los criterios de costumbre y se produce un listado. Invariablemente, en este enfoque se hace referencia a la ‘participación’ en la selección de los indicadores pero, dado que el concepto de ‘indicador’ probablemente no les sea familiar a todos los interesados, la autenticidad de muchos ejercicios de este tipo es debatible. Cada vez más, sin embargo, la selección de indicadores ‘participativos’ está empezando a romper el molde, o por lo menos se están realizando ejercicios en los cuales se pregunta a los interesados de qué forma juzgarían los resultados de las actividades del proyecto, y la gerencia del proyecto traduce luego sus respuestas en ‘indicadores’. Por definición, los indicadores sociales relevantes y ‘plausibles de seguimiento’ son notoriamente difíciles de

21

determinar pero, como se trata de principios fundamentales, tienen que ser determinados dentro del contexto en el cual van a operar y no pueden ser de fabricación totalmente externa.

• En los últimos años ha empezado a tomar cuerpo un enfoque innovador y potencialmente muy influyente, que prescinde de la práctica convencional y favorece el uso de la pregunta(s) abierta(s) como el medio para determinar la forma en que se han de identificar y evaluar los avances y cambios. El origen de este enfoque parecería ser el trabajo temprano de Davies (1995) con CCDB, que discutimos arriba, y que actualmente está siendo replicado a una escala menor pero potencialmente importante. En lugar de indicadores, se hace una pregunta simple a los interesados: ‘Durante el mes pasado, en su opinión, ¿cuál fue el cambio más significativo que tuvo lugar en las vidas de las personas que participan en el proyecto?’

Las potenciales respuestas a esta pregunta se desagregan luego en tres áreas: cambios en la vida de la población; cambios en la participación de la población; cambios en la sostenibilidad de las instituciones de la población y sus actividades. Las respuestas de los interesados a dichas preguntas pueden ser: (a) descriptivas, qué, quién, cuándo, dónde, etc., o (b) explicativas, la evaluación subjetiva de los interesados de la significación de los cambios ocurridos durante el período del informe.

Un número de iniciativas actualmente promovidas por importantes ONG europeas en el área de ‘indicadores’ bien puede empezar a modificar el curso de dichas prácticas en los próximos años. Hasta ahora, la práctica del S y E del desarrollo social muchas veces ha fracasado en la etapa de selección de los indicadores. Ahora estas iniciativas parecen estar atacando frontalmente el problema y evaluando cómo entender el proceso de desarrollo social a nivel de los proyectos. Numerosas prácticas establecidas van a ser objeto de revisión; por ejemplo, la determinación del medio para evaluar el cambio, el nivel al cual tiene lugar el seguimiento y la puesta a prueba de un enfoque minimalista. El énfasis en la percepción de los interesados acerca de los cambios que han ocurrido recuerda el enfoque de ‘antes y después’ para describir el desarrollo social, que fue quizás la punta de lanza de la búsqueda de una estrategia más efectiva para monitorear el desarrollo social que el uso de indicadores predeterminados. Los indicadores se han convertido en las ‘vacas sagradas’ del S y E; los documentos de los proyectos invariablemente incluyen una sección sobre ‘indicadores’ y los marcos lógicos piden indicadores ‘objetivamente verificables’. El hito práctico más importante en la evaluación del desarrollo social podría ser la relajación de esta rígida exigencia, una mayor experimentación con ‘indicadores’ más abiertos y el uso de herramientas como ‘historias de proyectos’ y ‘líneas de tiempo’ para hacer el seguimiento de los avances y cambios. Además, la actualización de los indicadores durante el proceso de un proyecto y el aprendizaje sistemático a partir de los resultados del seguimiento son otras medidas clave que mejorarían sustancialmente la práctica actual.

22

INDICADORES DE EMPODERAMIENTO INTERNO Objetivo específico

Indicadores

AUTOGESTIÓN

AUMENTO Y TENDENCIAS DE LA MEMBRESÍA REGLAS Y PROCEDIMIENTOS CLAROS ASISTENCIA REGULAR A REUNIONES CONTABILIDAD FINANCIERA ADECUADA

RESOLUCIÓN DE PROBLEMAS

IDENTIFICACIÓN DE PROBLEMAS CAPACIDAD DE ANÁLISIS

DEMOCRATIZACIÓN

SELECCIÓN LIBRE Y JUSTA DE DIRIGENTES INTEGRACIÓN DE MIEMBROS MÁS DÉBILES A LA TOMA DE DECISIONES TRANSPARENCIA EN EL FLUJO DE INFORMACIÓN

SOSTENIBILIDAD Y AUTOSUFICIENCIA

RESOLUCIÓN DE CONFLICTOS ACCIONES INICIADAS POR EL GRUPO PERSONERÍA JURÍDICA SISTEMA DE APOYO INTRAGRUPAL

INDICADORES DE EMPODERAMIENTO EXTERNO Construcción de vínculos

Indicadores

CON ORGANIZACIÓN EJECUTORA DEL PROYECTO

INFLUENCIA EN DISTINTAS ETAPAS DEL PROYECTO REPRESENTACIÓN EN ADMINISTRACIÓN DEL PROYECTO GRADO DE AUTONOMÍA FINANCIERA

CON ORGANISMOS ESTATALES

INFLUENCIA SOBRE FONDOS ESTATALES DE DESARROLLO INFLUENCIA SOBRE OTRAS INICIATIVAS ESTATALES DE DESARROLLO EN LA ZONA

CON ORGANISMOS SOCIALES Y POLÍTICOS LOCALES

REPRESENTACIÓN EN DICHOS ORGANISMOS CABILDEO FRENTE A PARTIDOS REGULARES INFLUENCIA EN ESCUELAS Y CENTROS DE SALUD LOCALES

CON OTROS GRUPOS Y MOVIMIENTOS SOCIALES

FORMACIÓN DE FEDERACIONES ESTABLECIMIENTO DE CONTACTOS Y TRABAJO EN REDES

CON ÉLITES LOCALES Y OTRAS PERSONAS QUE NO PERTENECEN AL GRUPO

NIVEL DE DEPENDENCIA DE ÉLITES LOCALES GRADO DE CONFLICTO CAPACIDAD PARA INCREMENTAR PODER

(SHETTY, sin fecha)

23

RECOLECCIÓN Y ALMACENAMIENTO DE INFORMACIÓN Ya hemos analizado arriba tanto la afirmación de que los sistemas de S y E disminuyen gradualmente una vez que han sido definidos como la observación de que el sistema a menudo colapsa debido a la falta de información y datos. La recolección y el almacenamiento de datos e información para fines de evaluación permanente podrían describirse como el ‘cuarto de máquinas’ del S y E; si no funcionan como es debido, se paraliza todo el sistema. No hay actualmente una escasez de guías y descripciones sobre toda la gama de métodos de recolección de datos e información. Tanto Valadez y Bamberger (1994) como Gosling y Edwards (1995) han elaborado sendas guías exhaustivas en relación con el S y E; éstas se han visto reforzadas considerablemente por todo el repertorio de técnicas del diagnóstico rural participativo (DRP). En la década pasada ha surgido un género completamente nuevo de técnicas de recolección de datos e información. Éstas prescinden de los enfoques más formales, que tienen un sesgo cuantitativo y se basan en la disciplina, prefiriendo técnicas más adecuadas a las demandas de participación de los interesados y a las complejidades inherentes a la ‘medición’ de un cambio cualitativo. Sin embargo, probablemente sea cierto afirmar que el alto perfil del que gozan en la actualidad dichas técnicas desmiente la situación sobre el terreno, donde la recolección de información sigue siendo un problema álgido. Además, las técnicas como el DRP son ampliamente utilizadas y son eficaces para recolectar información para la planificación, pero parecen ser menos apropiadas para el seguimiento y evaluación.

Una pregunta importante que es necesario hacer acerca del uso de las mencionadas técnicas es ‘cuánta información’ debe ser recolectada y registrada para poder evaluar los avances adecuadamente. Asimismo, hemos señalado que el S y E de los objetivos cualitativos del desarrollo social implica una descripción de las acciones y fenómenos a través del tiempo, y esta tarea plantea el mismo problema. Tanto en la recolección como en la descripción de la información, ya sea utilizando indicadores o algún otro medio menos estructurado, el asunto es lograr un equilibrio entre abrumarnos con información o carecer de información suficiente como para formarnos un juicio. Sin embargo, no existen reglas universales para confrontar este dilema y es cuestión de determinar la cantidad mínima de información y descripción necesaria - teniendo en cuenta la naturaleza del proyecto y los recursos disponibles - para producir evidencia adecuada para fines de evaluación. Quizás el aspecto más importante sea garantizar que, como mínimo indispensable, la pregunta se aborde a nivel de los proyectos y que se haga cierta evaluación. La evidencia actual sugeriría que esta pregunta rara vez se formula, y que se presta poca atención a temas como el tiempo, los recursos, la familiaridad del personal y los interesados y los requerimientos mínimos de información antes que un ‘proceso de evaluación’ empiece a funcionar. La referencia de Davies (1995) a 13 indicadores y 25 páginas de preguntas es un ejemplo perfecto para considerar dichas observaciones.

Asumiendo que las interrogantes planteadas arriba están siendo atendidas, la siguiente pregunta operativa tiene que ver con la forma en que la información y la descripción deben ser organizadas y almacenadas para su eventual análisis e interpretación. A este respecto, las investigaciones de Lofland (1971) sobre Análisis de Escenarios Sociales y de Patton (1987) sobre Métodos Cualitativos en la Evaluación constituyen textos útiles acerca de los principios generales que podrían adoptarse para las prácticas correspondientes. Al sugerir dichas obras, cabe anotar que el contexto en el que se escribieron – los servicios sociales y educativos en Estados Unidos – es completamente diferente al contexto del típico proyecto de desarrollo ‘pequeño’, pero los principios básicos que suscriben pueden ser adaptados a este último escenario. Una vez que se hayan determinado los indicadores (¡o no!), sus características operativas y las actividades y métodos de recolección de información – y presumiblemente la pregunta de quién se encargará de todo ello – es que cobra importancia la pregunta del almacenamiento. Cuando formulemos la pregunta de ‘cómo’ han de almacenarse la información y las descripciones, la respuesta probablemente será mediante el uso de archivos y alguna clase de sistema de archivo. Entonces surgirán preguntas sobre los diferentes tipos de archivos, qué se debe incluir en los archivos, con qué frecuencia se archivará la información, quién se hará cargo de esto, etc. En realidad, dichas preguntas sólo pueden responderse en el contexto de un proyecto específico una vez que aspectos tales como los recursos humanos disponibles, la familiaridad del personal con dichas técnicas, las fechas y tiempos y el nivel de sofisticación hayan sido considerados. Todo el proceso puede parecer agotador a primera vista, pero si puede organizarse al

24

nivel correcto y ser modesto en cuanto a sus expectativas, debería ser menos agotador que satisfacer las excesivas exigencias que se suele imponer a las oficinas de campo.

Marco de un sistema interno de almacenamiento de información del proyecto para un proceso de empoderamiento Crear un SISTEMA DE SEGUIMIENTO INDIVIDUAL para cada grupo u organización dentro del cual se promoverá el proceso: REGISTRAR la siguiente información MENSUALMENTE: - las reuniones del grupo u organización - los principales temas debatidos - la asistencia Crear un SISTEMA DE ARCHIVO INDIVIDUAL para los siguientes indicadores clave del proceso de empoderamiento: A. actividades del grupo u organización B. cambios de comportamiento del grupo u organización C. acciones realizadas / articulación D. relaciones con otros grupos u organizaciones HOJAS INFORMATIVAS SEPARADAS para cada uno de los puntos anteriores MENSUALMENTE A.1.1. (primer mes) A.1.2. (segundo mes) B. 1.2. (primer mes) B. 1.2. (segundo mes) Lamentablemente, existen pocos o ningún ejemplo escrito de amplia disponibilidad de sistemas de almacenamiento y recuperación de información a nivel de proyectos que sean apropiados para las necesidades cualitativas de la evaluación del desarrollo social, y que pudieran proporcionar evidencias de cómo funciona un sistema de este tipo y cómo aborda las preguntas planteadas arriba. En los sistemas de S y E con un enfoque más cuantitativo es crecientemente común el uso de computadoras para manejar las montañas de datos; en el caso de los materiales cualitativos, las técnicas son en su mayor parte manuales. Las características clave de un sistema cualitativo son que su actualización debe incorporarse a las actividades diarias del personal y los interesados, que debe ser accesible y que no debe convertirse en un ejercicio estático de recolección de información sino en una actividad dinámica vinculada al aprendizaje del proyecto y al aprendizaje institucional. Independientemente de su naturaleza, si no creamos un sistema que sea ‘amable’ con el personal y los interesados del proyecto, el análisis y la interpretación de los cambios que hayan ocurrido serán más difíciles.

ANÁLISIS E INTERPRETACIÓN La etapa final de la evaluación del desarrollo social consistirá en el análisis y la interpretación de la descripción y la información recolectadas. Si bien se medirán las dimensiones más cuantitativas de los indicadores utilizados y se atribuirá un valor numérico a los cambios que se considere que han tenido lugar, el análisis y la interpretación de la información constituyen un ejercicio diferente. Necesitaremos analizar el material recogido a la luz tanto de la situación inicial como de los indicadores utilizados, para luego interpretar los hallazgos en términos de lo que nos dicen acerca de los posibles cambios que

25

hayan ocurrido. El propósito del análisis es organizar el material y esto a su vez facilitará la interpretación. El ejercicio guarda cierta semejanza con la ‘evaluación de sistema abierto’, en el sentido que hay un interrogatorio continuo y un intento de entender la ‘reacción en cadena’ en términos del impacto de una intervención de desarrollo. Sin embargo, una ‘reacción en cadena’ no asume que exista una progresión lineal automática del producto al resultado al impacto; en el análisis, 1 + 1 no siempre es 2, sino quizás 3 ó 4, ya que puede haber otros resultados no anticipados de la intervención de desarrollo.

CUANTIFICACIÓN DEL EMPODERAMIENTO Vínculos externos Confianza en sí mismos del grupo 3. El grupo mantiene una excelente 3. Todos los miembros parecen haber interacción con muchas organizaciones fortalecido su confianza en sí mismos. relevantes que lo pueden ayudar a conseguir sus objetivos.

2. El grupo mantiene cierta interacción de buena calidad con varias otras organizaciones 1. El grupo mantiene unas cuantas interacciones con algunas organizaciones.

0. El grupo no mantiene ningún interacción confiable con otras organizaciones.

2. La mayoría de los miembros parece haber fortalecido su confianza en sí mismos.

1. Algunos miembros han fortalecido cierto grado de confianza en sí mismos a raíz del grupo.

0. Los miembros no parecen haber fortalecido su confianza en sí mismos.

DIAGRAMA DE TELARAÑA DEL EMPODERAMIENTO Crecimiento organizacional Grado de autonomía

Desarrollo de vínculos

3

2

Nivel de confianza

1

Aprendizaje y Análisis

Autosuficiencia

Solidaridad

Actor de la sociedad civil

26

Un supuesto importante en este proceso será, desde luego, la existencia de alguna percepción de la ‘situación inicial’ a partir de la cual se puedan analizar los cambios. Esencialmente, el análisis y la interpretación intentarán primero estructurar y luego ofrecer una explicación explícita de la naturaleza, la magnitud y el patrón de los cambios que puedan haber ocurrido dentro del contexto dado como consecuencia de la intervención. El tema clave es, por lo tanto, el uso de indicadores cualitativos en la determinación de lo que constituye un ‘éxito’ o un ‘fracaso’ y la influencia del idioma, la cultura y los valores en este proceso. Un análisis de la evidencia todavía algo limitada en esta última etapa de la evaluación del desarrollo social revela dos aspectos prácticos clave: (a) El potencial para la ‘subjetividad’ en la descripción y las observaciones formuladas acerca del proyecto y sus avances, así como la necesidad, por consiguiente, de garantizar que el registro de la información esté tan estructurado como sea posible alrededor de los indicadores, o de algún otro medio sustituto. Pero incluso esto puede no resolver el potencial problema, dadas las dificultades inherentes a la evaluación de lo que constituye un ‘cambio’ y el hecho de que tanto los acontecimientos como las acciones pueden explicarse e interpretarse de maneras distintas. La explicación y la interpretación son una expresión de los valores e intereses de las personas, por lo que es importante recoger, examinar y comparar las de los diferentes interesados. En este ejercicio vienen a cuento los comentarios de Riddell (1990), en el sentido que ‘... si los juicios formulados acerca de los aspectos cualitativos de los proyectos no son sustancialmente cuestionados por los actores o grupos relevantes, entonces las preocupaciones puristas acerca de la evaluación objetiva de dichos factores devienen en irrelevantes en gran medida’. (b) Los procesos cualitativos de cambio, por definición, a menudo se desenvuelven lentamente, con el resultado de que periódicamente el registro puede carecer de sustancia. En dichos casos existe el peligro de que el personal registre la información de forma inexacta, en su ansiedad por ver algún resultado. (c) El registro de la descripción y las observaciones puede ser una tarea agotadora, para la cual algunos trabajadores/as a nivel de los proyectos pueden ser más adecuados que otros. En el ejercicio de análisis e interpretación en sí también hay una serie de problemas que han salido a la luz con la práctica: •

El proceso de ANÁLISIS – INTERPRETACIÓN – ACCIÓN SUBSIGUIENTE debe ser un ejercicio participativo, que promueva la participación tanto de los miembros de los grupos como del personal del proyecto. El foro para este ejercicio suelen ser las discusiones abiertas o las reuniones de revisión, a menudo bajo la dirección de un facilitador/a y estructuradas en torno a las dos dimensiones del ejercicio y los indicadores. La memoria tanto individual como colectiva será un elemento importante del análisis y la interpretación, y diferentes interesados cumplirán un papel en extraer en retrospectiva las conclusiones más importantes acerca de cuál ha sido el impacto de una intervención en particular. Esta actividad puede no ser fácil y probablemente se requiera un período de ensayo, a fin de dar a todos los interesados y al personal la oportunidad de entender el ejercicio y desarrollar las destrezas necesarias para cumplir un activo papel. El trabajo de Davies (1995) con CCDB acerca del desarrollo de un sistema de seguimiento apropiado explica los pormenores de la participación de los interesados y la forma en que las descripciones de las ‘experiencias de vida’ de la gente fueron examinadas sucesivamente a diferentes niveles – proyecto, oficina central y organización donante – y sometidas a un proceso iterado de análisis, que eventualmente seleccionó un número reducido como ilustrativo de los cambios que habían tenido lugar.

•

El análisis y la interpretación deben llevarse a cabo regularmente y no programarse para megaeventos anuales. La regularidad de dichas reuniones la dictarán factores inherentes al contexto y al proyecto, pero es casi seguro que cada tres meses, aproximadamente, tendrán lugar ejercicios periódicos para verificar lo que está ocurriendo. Es preferible un ejercicio regular de medio día, cada tres meses, que permita a un proyecto formarse una idea de lo que está teniendo lugar, a una revisión anual, que a menudo se queda entrampada ante la incapacidad del proyecto para estructurar en una única ocasión todos los cambios que puedan haber ocurrido

27

durante todo el año. En su enfoque para la evaluación de impacto del trabajo de CONCERN en Tanzania, Wardle (1996) subrayó la importancia de las reuniones regulares, sin las cuales no se puede construir una continuidad de la interpretación.

•

Cada vez que sea posible, el análisis y la interpretación verbales deben traducirse en alguna forma de diagrama visual. En esta área ha habido un desarrollo sumamente útil de técnicas visuales en la última década, y hay una gran cantidad de material con el cual podríamos experimentar. Especialmente toda la gama de técnicas asociadas con el DRP representa una útil base a partir de la cual empezar (Gosling y Edwards 1995). Igualmente, el concepto desarrollado por Patton (1987) en la Matriz Proceso-Resultados ofrece un amplio formato diagramático en el cual pueden presentarse las conclusiones del análisis y la interpretación. El enfoque de ‘antes y después’, que compara las características o acciones particulares asociadas con un indicador específico (por ejemplo, organización grupal) antes y después de un período de actividad programática (Shetty 1996), es una técnica de uso común. Otra técnica es el ‘diagrama de telaraña’, que inserta los cambios esperados de una serie de objetivos en cinco círculos espaciados a intervalos fijos y asigna un puntaje a los avances de cada objetivo sobre una escala del 1 al 5.

•

Finalmente, a medida que el análisis y la interpretación evolucionen a lo largo de un período de tiempo, será conveniente empezar a estructurar un marco general dentro del cual puedan ser ubicados los cambios que estén ocurriendo. Por ejemplo, quizás sea posible identificar etapas particulares del cambio que está teniendo lugar, que podrían anotarse y describirse con el fin de entender de qué forma está evolucionando - y quizás intensificándose - dicho cambio. En ese sentido, una de las primeras investigaciones de Galjart y Buijs sobre interpretación de las diferentes etapas de la evolución de un proceso de participación – Movilización, Primera Acción, Construcción y Consolidación – proporcionó un marco general de las etapas bajo las cuales podía entenderse dicha evolución. En vista de las dificultades inherentes a la determinación de si se ha alcanzado o no una etapa en particular de uno de los objetivos de un proyecto y cuándo, y qué nivel y tipo de cambio podría señalizar, los proyectos están usando en forma creciente los valores numéricos y la narrativa para explicar el proceso que se va develando.

Los índices, las escalas y otras formas de representación diagramática de los avances cualitativos han estado presentes pero no en forma generalizada a lo largo de la década pasada y, cuando dichas técnicas pueden usarse auténticamente, pueden resultar invalorables para entender la forma en que está evolucionando un proceso en particular. Al usarlas, sin embargo, es necesario asumir que los juicios de valor se hacen con base en un registro continuo y detallado de la evolución de los ‘fenómenos’ bajo análisis y que no son el producto de evaluaciones resumidas. Dicho de otro modo, las evidencias deben estar disponibles para respaldar los avances que sugieren.

COMENTARIOS FINALES Esta sección ha sugerido que un principio básico del S y E del desarrollo social es que el enfoque debe ser ‘mínimo pero eficiente’. Para ser eficiente, debe haber un ‘sistema’ reconocible, en el sentido que tiene que haber una lógica, coherencia y estructura detrás del enfoque; las acciones ad hoc, espontáneas o descontinuadas carecerán de la coherencia necesaria para hacer el seguimiento de los procesos involucrados. No obstante, dada la naturaleza de los procesos sujetos a seguimiento y la necesidad de flexibilidad y adaptación, el sistema no debe ni abrumar a los actores ni paralizar el proyecto con demandas incesantes. En realidad, el asunto es ‘lograr el equilibrio adecuado’; es decir, hacer un seguimiento de un número pequeño pero aceptable de ‘indicadores’, recolectar una cantidad adecuada de datos y de descripción, conforme a la necesidad, e integrar períodos de análisis e interpretación a las actividades del proyecto. En todo ello, es importante asumir una ‘visión amplia’, considerando el ejercicio como un todo, y asegurar que todos los involucrados asuman esta misma perspectiva; de no ser así, el S y E puede devenir en un conjunto de componentes independientes, cuyo diseño individual no se guíe por el principio general.

28

En el caso de un proceso de ‘empoderamiento’, en especial, es necesario hacer una serie de preguntas clave respecto de los aspectos más críticos de su S y E: 1. ¿Cuáles son los factores principales que pueden (a) favorecer o (b) limitar la capacidad de una organización de desarrollo para establecer un sistema mínimo pero eficiente de S y E, a fin de hacer el seguimiento y evaluación del impacto de un proceso de ‘empoderamiento’?

2. Habiendo identificado los indicadores de un proceso de Empoderamiento, ¿cuáles serían en su opinión los cuatro pasos clave para operativizarlos?

3. En su opinión, ¿qué papel deberían jugar la comunidad o la población local en el S y E de un proceso de ‘empoderamiento’?

29

Sección 3: SEGUIMIENTO Y EVALUACIÓN DE LOS PROCESOS DE EMPODERAMIENTO: UN ESTUDIO DE CASO DE ETIOPÍA El estudio de caso presentado por Terry Bergdall (1996) informa sobre el sistema de seguimiento y evaluación utilizado por el Programa para el Empoderamiento de la Comunidad (CEP, según sus siglas en inglés) en Etiopía. Su objetivo es ilustrar un ejemplo concreto de la operativización de un sistema de seguimiento y evaluación en el contexto de un programa de desarrollo que se propuso ‘empoderar’ a las comunidades. El CEP ha adoptado un enfoque de evaluación flexible y adaptable, que se basa en las percepciones de cambio, en vez de confinarse a un conjunto estrecho de indicadores predeterminados. El sistema fue planeado cuidadosamente al inicio de programa y su objetivo fue responder a las siguientes preguntas: • ¿cómo hacer que el seguimiento sea participativo?

• ¿cómo promover la participación de los involucrados a todos los niveles?

• ¿cómo puede la información ser una base de aprendizaje institucional?

Este estudio de caso permite extraer lecciones útiles y prácticas, gracias a la descripción que hace el autor sobre la forma en que efectivamente opera un sistema de seguimiento y evaluación, incluyendo la forma en que se han incorporado métodos tanto cuantitativos como cualitativos.

Aprendizaje institucional en un programa orientado a procesos: Seguimiento y evaluación del Programa para el Empoderamiento de la Comunidad en South Wollo, Etiopía El ‘Programa para el Empoderamiento de la Comunidad’ (CEP) es un proyecto piloto financiado por la Organización Sueca para el Desarrollo Internacional Cupertino (SIDA, según sus siglas en inglés) como parte integrante de los preparativos para un importante programa de apoyo a largo plazo de la Región Amhara en el noreste de Etiopía. El proyecto ha trabajado en cinco woredas (distritos) occidentales en la Zona de South Wollo desde abril de 1994.

En su calidad de proyecto piloto, el CEP es una actividad experimental que tiene por objeto identificar enfoques eficientes para catalizar iniciativas locales y la responsabilidad de la comunidad sobre el desarrollo en las zonas rurales. El CEP no se diseñó ni lanzó como un paquete total, con una ‘receta’ prefabricada detallada, sino que emergió luego de una serie de actividades y continúa evolucionando como un programa ‘orientado a procesos’. Empezó organizando una serie de ‘Talleres de Participación Comunitaria’ (TPC) dentro de los kires, que son las pequeñas organizaciones de autoayuda tradicionales que existen en toda Etiopía y proporcionan asistencia a los miembros de la comunidad en acontecimientos sociales importantes como funerales y bodas.

Desde el principio, el seguimiento y la evaluación se han considerado elementos cruciales en esta empresa. Como consultores/as contratados por SIDA para apoyar el programa, hemos tratado de abordar varias preguntas clave a medida que orientábamos el trabajo de seguimiento y evaluación al interior del proyecto. Partimos del supuesto de que un sistema eficiente de seguimiento y evaluación debía (a) ser cuantitativo, (b) ser cualitativo y (c) permitir que tenga lugar un aprendizaje institucional. El trabajo de seguimiento y evaluación de los últimos dos años ha abordado por consiguiente estas tres consideraciones primarias. En primer lugar, se ha concentrado en los aspectos cuantitativos: ‘¿qué ha sucedido en las áreas del programa después que empezó la ejecución del proyecto, cuándo sucedió, dónde sucedió, cuánto de ello sucedió?’ En segundo lugar, se ha centrado en los aspectos cualitativos: ‘¿qué cambios importantes han tenido lugar y de qué forma se perciben dichos cambios?’ En tercer lugar, y quizás lo más importante, ha incidido sobre los aspectos relacionados con el aprendizaje institucional: ‘¿qué nuevas revelaciones colectivas han emergido sobre participación, empoderamiento de la comunidad y desarrollo “desde abajo” a raíz de las actividades del programa?’

30

El sistema de seguimiento interno El sistema de seguimiento interno de CEP se creó en abril de 1995 e incluyó la recolección de información tanto cuantitativa como cualitativa. Además, el sistema de seguimiento y evaluación incluyó información de contexto y la redacción de ‘informes de documentación’ sobre las actividades particulares que tenían lugar al interior de cada comunidad apoyada por el programa. Una aspiración del diseño del seguimiento y evaluación era involucrar a todos los interesados del programa en un proceso de aprendizaje institucional. Entre los interesados se incluyó a los kires (comunidades); diferentes niveles del gobierno; el SIDA y el consorcio de consultores/as a cargo de la supervisión del proceso de planificación para el programa futuro de largo plazo.

Todo aprendizaje implica la recepción, clasificación y retención de información. Para personas y grupos por igual, ‘conocimiento’ es el resultado de un proceso complejo que implica manejar vastas cantidades de información. El comportamiento – la forma en que las personas se conducen y hacen las cosas – está estrechamente relacionado con su visión y su percepción del mundo en que viven. El cambio de percepción – es decir, el ‘conocimiento’ – constituye un prerrequisito para el cambio de comportamiento permanente. Por extensión, los cambios sociales requieren de un consenso colectivo respecto de percepciones acordadas y su importancia. El sistema de seguimiento y evaluación de CEP fue concebido, dentro de esta línea, como algo más que una simple herramienta para obtener información acerca de los avances de un programa en particular. Fue pensado como un importante mecanismo para promover el cambio. En su sentido más amplio, ése es el significado implícito de ‘aprendizaje institucional’ en un programa de desarrollo social.

Seguimiento cuantitativo Los números son fascinantes. Mucha gente de la comunidad del desarrollo tiene la percepción de que el seguimiento y evaluación simplemente no es serio si no genera un montón de cifras para examinar y analizar. Aunque el equipo de consultores/as del cual formé parte tenía una actitud más bien escéptica respecto de la importancia de recolectar un montón de números, sí queríamos darle la atención debida a la recolección y el análisis de información para el seguimiento cuantitativo. Como se verá, cuanto más trabajábamos asistiendo al proyecto en la creación de su diseño para el sistema de seguimiento cuantitativo, tanto más nos enamorábamos de su potencial carácter ilusorio.

Cuando se inició el trabajo de seguimiento en CEP, se identificó una serie de retos para la creación de un sistema cuantitativo, entre ellos la necesidad de identificar indicadores clave relevantes para el objetivo del programa; de crear un sistema manejable, focalizado y limitado a la cantidad de información recolectada; y de diseñar un sistema simple y eficiente para recolectar, almacenar y recuperar la información. Sin embargo, el diseño inicial del sistema cuantitativo resultó excesivamente ambicioso, en su esfuerzo por recolectar datos en relación con una serie de preguntas: • • • • • •

¿Qué cosas se han hecho en la comunidad? ¿Cuánto de ello ha sido realizado por la propia comunidad? ¿Quién realizó el trabajo? ¿Qué tipo de mantenimiento local se ha efectuado luego de las actividades de desarrollo? ¿Cuánta inversión local se está haciendo? ¿Cuáles son las capacidades de facilitación y el compromiso de los coordinadores/as de los kires?

El diseño original contemplaba el seguimiento de 27 actividades de desarrollo típicas (por ejemplo, construcción de andenes, protección de fuentes de agua, plantación de plantones, etc.), que emergieron de los planes de acción elaborados por los miembros de los kires en los primeros talleres de participación comunitaria. Quizás lo más ambicioso de todo fue que el diseño contemplaba la recolección de información exhaustiva acerca de todas las actividades efectuadas con la comunidad, y luego hacer una distinción entre actividades realizadas con base en ‘iniciativas locales’ y actividades realizadas mediante ‘movilización’.

31

‘Iniciativa local’ se refería a las actividades de desarrollo programadas y ejecutadas por pequeños grupos de gente. Eso no eliminaba la posibilidad de cierta asesoría o asistencia externa, pero dicha ayuda debía ser proporcionada en respuesta a las iniciativas locales: los pobladores/as de la comunidad seguían siendo los actores primarios y eran esencialmente responsables de la organización y ejecución del trabajo por sus propios medios. La ‘propiedad’ fundamental del proyecto yacía con ellos. Las iniciativas locales podían ser realizadas por la propia organización del kire o por grupos más pequeños o personas individuales dentro de los kires.

‘Movilización’ se refería a las actividades de desarrollo básicamente concebidas, planificadas y organizadas por organizaciones externas, trátese de dependencias estatales, ‘agentes de desarrollo’ gubernamentales u organizaciones no gubernamentales, aunque dichos proyectos fueran realizados con la ‘participación’ de la comunidad en forma de trabajo comunitario. El cumplimiento de ‘cuotas’ o ‘metas’ de desarrollo planificadas por oficiales externos a la comunidad inmediata (por ejemplo, el kire) se consideraba un ejemplo de movilización. Otra actividad considerada ‘movilización’ era ‘Alimentos por trabajo’, dado que, si bien no era planificada por oficiales externos exactamente, el principal incentivo de la actividad eran los pagos en alimentos, de origen externo a la comunidad.

La intención de esta recolección de información era ofrecer una amplia gama de opciones para el análisis y la comparación de los datos. Algunas de las posibilidades consideradas fueron: • • • • • • • • • •

frecuencia absoluta y relativa de 27 actividades de desarrollo, que podían desagregarse aún más en frecuencias de movilización y frecuencias de iniciativa local; tipos de actividades de desarrollo más típicamente planeados por mujeres, hombres y jóvenes; comparaciones de los tipos de actividad de desarrollo por movilización e iniciativa local, tanto antes como después del taller de participación comunitaria; cantidad total de trabajo realizado mediante movilización e iniciativa local en cada una de las 27 actividades de desarrollo, con comparaciones de los totales tanto antes como después del taller de participación comunitaria; tipo de mantenimiento de cada actividad de desarrollo por movilización e iniciativa local, tanto antes como después del taller de participación comunitaria; inversión material y en efectivo por los kires en actividades de desarrollo por movilización e iniciativa social antes y después del taller de participación comunitaria (después del taller, esta información podía analizarse en relación con cada una de las tres visitas de seguimiento); número de coordinadores/as de kires capacitados en técnicas de facilitación, por categorías de mujeres, hombres y jóvenes; participación efectiva de coordinadores/as de kires como facilitadores/as en los talleres durante la visita de seguimiento número tres en cada kire; evaluaciones de la capacidad de cada kire para continuar el proceso de CEP por su propia cuenta una vez concluidas las visitas de los facilitadores/as; análisis de toda esta información, consolidada o desagregada por woredas y otras divisiones geográficas.

En los meses de junio y julio de 1995 se creó y probó la base de datos computarizada para el sistema de seguimiento cuantitativo; se ingresó la información cumulativa hasta la fecha y se hicieron preguntas acerca de los datos y los medios para verificarlos. Este ejercicio sacó a la luz una serie de cuestionamientos serios respecto de las ambiciones y el diseño del sistema de seguimiento cuantitativo, que discutieron a profundidad los Facilitadores/as Principales y consultores/as de MAP, extrayendo algunas conclusiones sobre los datos a monitorear.

•

Inicialmente se pensó que era importante poder hacer dos comparaciones: una, entre lo que había sucedido en relación con trabajos de iniciativa local durante los dos años anteriores al taller de participación comunitaria de un kire y lo que había ocurrido durante los dos años posteriores; y la otra, entre los logros alcanzados a través de esfuerzos de movilización y aquéllos alcanzados mediante iniciativas locales. Sin embargo, los datos para ambas comparaciones resultaron problemáticos. Los miembros de los kires no podían suministrar

32

información precisa acerca de ninguna de las dos categorías de información, y los facilitadores/as tampoco tenían forma de verificar los datos.

•

Otra categoría de información originalmente contemplada era el seguimiento de las inversiones materiales y en efectivo realizadas por los kires, a fin de determinar si había habido algún cambio sustantivo a través del tiempo. Esto también resultó problemático, ya que los estimados de los miembros de los kires eran claramente imprecisos y variaban sustancialmente de kire en kire y de woreda en woreda. Nuevamente, no había nadie que cuantificara con exactitud o verificara los datos reportados.

•

Finalmente, todos los datos recogidos se habían concentrado exclusivamente en los planes de acción confeccionados por los kires; no se estaba recolectando sistemáticamente ningún tipo de información sobre las necesidades prioritarias de desarrollo. Asimismo, había una falta de claridad respecto de la pregunta clave en este contexto - ¿las necesidades consignadas debían ser solamente aquéllas que los kires consideraban que podían atender con sus propios recursos y habilidades, o las necesidades de desarrollo debían consignarse independientemente de la capacidad de un kire para satisfacerlas?

En vista de lo anterior, el sistema de seguimiento cuantitativo se sometió a revisiones mayores en marzo de 1996. En materia de recolección de información se adoptaron las siguientes decisiones y se tomaron las siguientes medidas: •

Dados los problemas de recolectar y verificar datos exactos, se eliminó toda información relativa a logros pasados, ya sea a través de iniciativas locales o por movilización. Asimismo, se eliminó todo intento de cuantificar las inversiones materiales o en efectivo realizadas por los kires en sus actividades de desarrollo. Además, se eliminó toda recolección de información sobre el trabajo de movilización; solamente se mantuvieron los datos relativos a iniciativas locales.

•

Se decidió que se recolectaría información acerca de las necesidades de desarrollo registrando las necesidades prioritarias identificadas en los talleres de participación comunitaria, independientemente de la capacidad de un kire para resolverlas o no. Aunque se empezó a recolectar dichos datos, éstos no fueron ingresados ni se les hizo un seguimiento en la base de datos computarizada debido a la complejidad de ingresar y hacer el seguimiento de datos tan diversos. La compilación de la información y los informes acerca de las necesidades de desarrollo prioritarias se hicieron manualmente según la necesidad.

El resultado de las revisiones fue que se potenció el sistema para recolectar información cuantitativa que pudiera ser recogida y reportada de forma más exacta y verificable. Sin embargo, la información siguió siendo bastante extensa. Se consideró que la principal mejora radicaba en la confiabilidad de los datos – que ya no requerían los ‘estimados especulativos’ de los miembros de los kires y eran verificables. Los datos sobre los planes de acción se reducían a una cuestión de informes y la información sobre los logros podía ser físicamente inspeccionada y medida.

En suma, todas estas revisiones básicamente dieron como resultado el seguimiento de las iniciativas comunitarias posteriores a las intervenciones del CEP. Además de registrar la asistencia a dichos eventos, también se recopila información sobre los ‘planes de acción confeccionados durante los talleres de participación comunitaria y las reuniones de seguimiento’ y las ‘iniciativas locales realizadas más allá de los proyectos específicos programados en los talleres o en las reuniones de seguimiento’.

Sin embargo, sigue en pie la pregunta: ¿qué significan todas estas cifras realmente? Los datos cuantitativos recolectados hasta ahora han puesto sobre el tapete muchas preguntas interesantes que necesitan esclarecerse antes de poder entender plenamente la significación de las cifras. A continuación algunas preguntas clave para la interpretación de los datos:

33

•

Aunque la distinción entre ‘iniciativa local’ y ‘movilización’ se subraya en los lineamientos para la recolección de información del sistema de seguimiento y evaluación interno, no es seguro que las cifras que aparecen en los informes reflejen efectivamente dicha distinción.

•

No solamente existen grandes dificultades para identificar y cuantificar ‘iniciativas locales’. El problema mucho mayor – si no la imposibilidad – radica en aislar el estímulo crucial detrás de dichas iniciativas: aunque el sistema de seguimiento y evaluación del CEP tiene cuidado de no adjudicarse el ‘crédito’ por dichas actividades, una interpretación seria de los datos tendría que hacer alguna evaluación de los otros estímulos posibles, aparte del CEP, que podrían haber motivado dichas iniciativas locales.

•

Los esfuerzos por establecer algún tipo de ‘muestra de control’ para lograr una mejor comprensión de la información cuantitativa de las comunidades después de los talleres y reuniones de seguimiento arrojan un resultado diferente al que podría esperarse en cualquier caso, incluso si no se hubiera realizado ningún taller.

Actualmente se está programando un estudio cualitativo complementario en una muestra seleccionada al azar de kires donde hayan tenido lugar talleres de participación comunitaria y reuniones de seguimiento, a fin de ayudar a absolver dichas preguntas y contribuir a una interpretación más informada de la información cuantitativa. El objetivo superior del estudio propuesto será agregar información cualitativa al sistema de seguimiento interno del CEP, de manera tal que las cifras que corresponden a la información cuantitativa puedan entenderse mejor. Los objetivos específicos del estudio serán investigar e informar sobre: • • • •

lo que las comunidades entienden bajo ‘iniciativas locales’ tal como figuran en los datos del sistema de seguimiento; una evaluación de la confiabilidad de dichas cifras consignadas en los informes y una indicación cualitativa del ‘margen de error’; los posibles estímulos, aparte del CEP, que podrían haber motivado las iniciativas que aparecen en los informes y una discusión de su importancia; alguna indicación comparativa de la significación de las ‘iniciativas locales’ consignadas después de los talleres de participación comunitaria y de seguimiento, frente a las de una muestra reducida de kires donde no se hayan realizado dichos talleres.

Para enriquecer la oportunidad de aprendizaje directo del trabajo de campo, dicho estudio complementario será realizado por un equipo especial de funcionarios/as regionales designados (muy probablemente de la Oficina de Agricultura y la Oficina de Asuntos de la Mujer). El equipo llevará a cabo su trabajo de campo en seis kires diferentes seleccionados al azar donde haya funcionado el CEP y tres kires de ‘control’ en las inmediaciones donde no haya habido presencia del programa. El equipo dispondrá de un mínimo de tres días en cada uno de los kires seleccionados. La información se recolectará mediante discusiones grupales, entrevistas en profundidad y observaciones personales. Se espera que los resultados de dicho estudio arrojen valiosa información indicativa para interpretar la extensa información cuantitativa recolectada por el programa. La participación de los funcionarios/as regionales deberá contribuir sustancialmente a la naturaleza participativa del trabajo de seguimiento y evaluación.

Seguimiento cualitativo del CEP La información cuantitativa es esencial para el seguimiento de cualquier programa de desarrollo. Sin embargo, tal como lo demuestra la sección precedente, acusa limitaciones obvias. Si bien es cierto que los datos cuantitativos pueden ofrecer una indicación más o menos acertada de ‘cuánto y cuántos’, es difícil que cifras estériles respondan a la pregunta ‘y qué’. La información cuantitativa tiende a abstraer la experiencia humana y despojarla de su contexto. La información cualitativa sirve de complemento para el seguimiento numérico de las iniciativas locales de desarrollo, al ‘insuflar vida’ al trabajo de desarrollo por medio de historias y anécdotas. Éstas a su vez son claves para entender la dinámica del

34

empoderamiento. La creación de un sistema de seguimiento cualitativo, sin embargo, plantea un número de preguntas.

En primer lugar, ¿cómo hacer que el sistema de seguimiento sea participativo? El foco de las actividades de seguimiento, incluso cuando se hacen en forma cualitativa, frecuentemente lo definen personas muy alejadas de las actividades sujetas a seguimiento. Los indicadores los identifican especialistas, consultores/as o personal directivo, que recolectan información y analizan los resultados.

Los participantes del programa y el personal de campo, si participan en absoluto, típicamente reciben el encargo de revisar las conclusiones de dichos especialistas y hacer comentarios al final del proceso. El seguimiento participativo, si ha de ser genuino, tiene que identificar estrategias prácticas para que los participantes y miembros del personal sean parte integrante de todo el sistema en todo momento, de principio a fin.

En segundo lugar, ¿de qué forma pueden participar los interesados a todos los niveles del programa en el proceso de seguimiento? Ésta es otra dimensión de la pregunta sobre participación formulada arriba.

Los interesados en la mayoría de los programas son múltiples y variados. Es necesario identificar estrategias creativas para promover su participación en los aspectos prácticos del sistema de seguimiento.

En tercer lugar, ¿cómo podemos hacer que la información recogida mediante el sistema de seguimiento se convierta en una base de ‘aprendizaje institucional’? Si no le damos un uso práctico, la información será sólo medianamente interesante. Es necesario establecer mecanismos para aprender de la experiencia y modificar el programa de acuerdo a lo que vayamos aprendiendo. En lugar de que dichas modificaciones provengan únicamente de las conclusiones extraídas por el personal directivo, el personal y los interesados a todos los niveles de la organización requieren un mecanismo práctico para participar en los cambios. Esto implica un proceso para llegar a un consenso general acerca de las fortalezas y debilidades de la ejecución del programa, las direcciones que es necesario tomar en el futuro y las medidas prácticas que es preciso adoptar para lograr el resultado final deseado.

El diseño del sistema de seguimiento y evaluación tomó seriamente en consideración dichas preguntas. El enfoque primario para el seguimiento cualitativo se concentró en registrar y hacer un seguimiento de las percepciones de cambio; dicho enfoque se basó en el trabajo de investigación de Rick Davis, CDS, Swansea. Por diversas razones, el cambio se consideró como un tema apropiado para el seguimiento cualitativo. Con el objetivo superior de mejorar la calidad de vida, el seguimiento del cambio puede ayudarnos a no perder de vista el cuadro ‘más amplio’. El contenido del cambio que se consigna en los informes sigue siendo sin embargo específico, directamente ligado a comunidades individuales.

Además, el cambio es un concepto relativamente fácil de considerar para las personas. Requiere de pocos factores predeterminados. Las preguntas acerca de los cambios a menudo conducen a una gran variedad de temas no anticipados, estimulando con ello a muchas personas de diversos sectores y perspectivas a decir lo que es de importancia para ellas. Las impresiones fluyen con naturalidad cuando se compara una situación ‘antes’ y ‘después’ y, por tratarse de algo tan poco complicado, muchas personas pueden participar. Y, sin embargo, formular preguntas sencillas acerca de las razones del cambio es un rápido trampolín hacia la reflexión sobre temas más complejos.

El modelo adoptado por el CEP intentó involucrar directamente a personas de todos los niveles del programa en el proceso de seguimiento. Incluyó a los participantes de los talleres realizados en los kires (que en otros contextos podrían llamarse los ‘beneficiarios/as’ o el ‘grupo objetivo’); a los facilitadores/as y el personal del CEP; a funcionarios/as gubernamentales de los woredas, la circunscripción zonal y regional; así como a representantes de la organización financiera, SIDA. La intención del diseño era promover la participación de personas de todos estos grupos en el seguimiento y el análisis de la información mediante (a) la selección de lo que consideraran como los cambios más importantes que estaban teniendo lugar en los kires donde funcionaba el CEP durante un período determinado de informes y (b) acto seguido, la explicación de las razones detrás de sus opciones.

35

En resumen, el diseño del proceso de seguimiento comprende los siguientes pasos. Cada nivel del programa recibe el encargo de seleccionar lo que considera que han sido los cambios más importantes que han ocurrido en su área geográfica en particular durante un período determinado de informes. Se empieza con el nivel de los kires. Los cambios seleccionados se juntan con los cambios seleccionados por otros grupos del mismo nivel y luego se envían al siguiente nivel, donde el proceso de selección se repite. En cada etapa se envían sólo cuatro cambios seleccionados al nivel siguiente. El proceso continúa su marcha, de los kires a los woredas, de éstos a la circunscripción zonal y finalmente a la región. Además de seleccionar los cambios más importantes, cada grupo explica por qué eligió dichos cambios. Una vez que las selecciones y explicaciones filtradas llegan a la cima del sistema de seguimiento, inician un nuevo recorrido de arriba hacia abajo a través de la cadena en forma de memorándums y discusiones grupales.

Desde abajo hasta arriba, los participantes de los kires identifican mínimamente 288 cambios importantes durante un solo período de informes (4 cambios x 6 kires x 3 unidades de facilitación x 4 woredas, partiendo del trabajo en los cuatro woredas piloto originales). De éstos, el proceso de selección finalmente resulta en 16 cambios significativos a ser revisados por el comité de coordinación zonal. Cada paso de esta selección va acompañado de explicaciones acerca de las opciones seleccionadas.

Al principio, los facilitadores/as intentaron recolectar historias relacionadas con tres tipos específicos de cambios: (a) cambios de actitud o imagen (b) cambios en términos de desarrollo sostenible (c) cambios relativos al bienestar físico o económico.

No se estipuló un cuarto cambio, sujetando el tema totalmente a la discreción de los miembros de los kires. Los participantes de los kires en los siguientes talleres de seguimiento, sin embargo, manifestaron que las categorías eran confusas e innecesarias y los facilitadores/as tuvieron dificultades para explicarlas. Descontentos con el cariz que estaba tomando la discusión, los facilitadores/as empezaron a prestar menos atención a este tema o lo eliminaron por completo de la agenda de las reuniones de seguimiento.

Durante una reunión de revisión con los Facilitadores/as Principales que tuvo lugar en Dessié del 4 al 15 de marzo de 1996 salieron a relucir otros problemas relacionados con el diseño del seguimiento cualitativo. Uno de los más importantes tenía que ver con la participación de los administradores/as y funcionarios/as de los woredas, que se mostraban confundidos acerca de su papel en el proceso de seguimiento y continuamente se manifestaban reticentes a decidir la importancia de unos cambios que figuraban en los informes pero que ellos no habían presenciado con sus propios ojos. Revisar historias no corroboradas y emitir juicios de valor acerca de ellas les parecía un gesto carente de contenido.

Después de la primer reunión de seguimiento, su interés en participar en el ejercicio fue decayendo.

Una larga discusión sobre dichos problemas llevó a un número de modificaciones en el proceso de seguimiento. Se eliminaron las categorías de los cambios, pidiéndose a las personas que se limitaran a identificar los cambios que consideraran más importantes. Las reuniones trimestrales con los facilitadores/as pasaron a ser la ocasión principal para consolidar las historias de los kires y seleccionar los cambios ocurridos en todo el woreda que según su parecer eran los más importantes. Las historias se ampliaron para incluir los cambios observados entre los funcionarios/as extensionistas trabajando en las áreas del programa. Además, se pidió a los funcionarios/as de los woredas que participaran directamente en las visitas de verificación.

Luego de modificar el proceso, se incluyó en las reuniones de seguimiento con los kires la revisión y discusión de la historia de cambio seleccionada por los funcionarios de los woredas como la más importante. Esto se hizo al final de la reunión y sirvió como ‘retroalimentación’ y como una oportunidad para continuar reflexionando sobre el tema. Luego de contar la historia, los facilitadores/as lideraron una discusión con los participantes del kire basada en las siguientes preguntas:

36

• • • • •

¿Qué les sorprendió acerca de esta historia?

Si les pudieran hacer preguntas a los actores de esta historia, ¿qué información adicional les gustaría tener? ¿En qué sentidos les parece que esta historia representa un cambio importante (si están de acuerdo con que representa un cambio importante)?

Si algo similar a lo ocurrido en la historia hubiera de suceder en este kire, ¿qué cosas harían igual y qué cosas harían de modo diferente? ¿De qué forma producirían dichas acciones un cambio importante en este kire?

Finalmente, se pidió a los participantes que identificaran los cambios más importantes que habían tenido lugar en su kire como consecuencia de las actividades vinculadas con el programa. ¿Qué impacto tuvo este proceso sobre los kires? Las sesiones de retroalimentación con los facilitadores/as revelaron que los pobladores/as ciertamente estaban interesados en escuchar lo que otros kires habían logrado y lo que los funcionarios/as de los woredas consideraban como el cambio más importante. Asimismo, la conversación a menudo pareció provocar el espíritu competitivo de los miembros de los kires. Después de discutir la historia, los pobladores/as estaban ansiosos por explicar sus propios logros en la promoción de un desarrollo autosostenible. Además, según los facilitadores/as, estas discusiones hicieron que los participantes renovaran su decisión de asumir la responsabilidad sobre los nuevos planes de acción que acababan de crear en la reunión de seguimiento. En cierta forma, era una actitud de ‘si ellos han podido hacerlo, ¡nosotros podemos hacerlo mejor’!

En lo que se refiere a los woreda, los funcionarios/as con frecuencia acometían sus visitas de verificación con escepticismo. Aunque habían escuchado muchas historias interesantes relacionadas con supuestos cambios, no estaban convencidos de que dichas cosas estuvieran sucediendo en verdad. Una vez en el campo, se sorprendieron de lo que vieron. Hasta la fecha no ha habido ningún caso en que un funcionario/a haya descubierto algún informe falso. De hecho, los informes revelan que los funcionarios/as de los woredas se han sorprendido repetidamente ante la motivación, el compromiso y los logros alcanzados por los pequeños proyectos locales promovidos por miembros de los kires exclusivamente con recursos y conocimientos locales.

En conclusión, el seguimiento cualitativo del CEP, basado en las ‘percepciones del cambio’, utiliza un enfoque altamente inductivo, que convierte acontecimientos indicativos imprevisibles en la base para extraer conclusiones acerca de los resultados. Esto resulta valioso cuando los objetivos de ‘empoderamiento’ del programa vienen impregnados de conceptos como mayor participación, confianza en sí mismos, responsabilidad, capacidad para resolver problemas, etc. Dichas categorías conceptuales son extremadamente difíciles de evaluar. En vez de confinarnos a un estrecho rango de indicadores predeterminados, el enfoque del CEP ofrece la posibilidad de ser flexibles y adaptables a las circunstancias cambiantes.

Dicho enfoque contrasta fuertemente, desde luego, con los enfoques de seguimiento convencionales, que son deductivos en su orientación, es decir, que parten de la concepción de un estado deseado y luego tratan de identificar indicadores empíricos de que dicho fenómeno ha ocurrido.

Tal como lo demuestra la experiencia de campo, el sistema de seguimiento cualitativo empleado por el CEP prácticamente fortaleció el poder de los de abajo y constituye una alternativa a los enfoques convencionales, en que especialistas alejados del campo a menudo definen los sujetos de seguimiento.

Ha dado a quienes se encuentran más cerca de la experiencia sujeta a seguimiento la oportunidad de dirigir el proceso, tomando sus opciones y haciendo sus interpretaciones al principio y no al final. Los funcionarios/as mencionados arriba se ven entonces en posición de responder a una diversidad de explicaciones generadas desde abajo. Coincidiendo con los objetivos superiores del CEP en su conjunto, la agenda básica de seguimiento se establece así firmemente desde abajo y no desde arriba.

37

Sección 4: MÉTODOS E INSTRUMENTOS PARA LA EVALUACIÓN DEL EMPODERAMIENTO: LECCIONES DE LA PRÁCTICA Esta sección presenta varios ejemplos de estudios recientes sobre la evaluación de intervenciones de ONG en el campo del desarrollo social. Éstos ilustran valiosas lecciones respecto de la recolección, el análisis y el uso de información. Cada informe analiza la utilidad de diferentes métodos e instrumentos de seguimiento y evaluación. Aunque ninguno de los ejemplos tiene que ver específicamente con el empoderamiento, todos se refieren a la operativización de la evaluación y las ventajas y desventajas de distintos enfoques. El primer ejemplo se tomó de un informe de ActionAid y se basa en un proyecto de investigación de ActionAid con financiamiento del DFID (Departamento para el Desarrollo Internacional del gobierno británico) sobre métodos e indicadores para medir el impacto de reducción de la pobreza.

La investigación comprendió estudios en Bangladesh, India, Ghana y Uganda. Extrae conclusiones útiles acerca de la realización de evaluaciones de impacto participativas. La sección a continuación reproduce un extracto comentado del informe. El segundo ejemplo ha sido tomado de la versión preliminar de un nuevo libro de Oxfam sobre Evaluación de Impacto. Éste se basa en un importante proyecto de investigación sobre evaluación de impacto realizado por Oxfam y Novib en conjunción con contrapartes en nueve países. El extracto que presentamos aquí contiene algunas reflexiones acerca de las principales lecciones que emergen en relación con las herramientas y métodos de recolección de información. El último estudio es de la ONG danesa Impact Study y presenta una revisión de los métodos e instrumentos utilizados. Dicha revisión se basó en un estudio de 45 proyectos diferentes en Bangladesh, Tanzania y Nicaragua. En cada país se llevó a cabo un Estudio Nacional, es decir, una revisión de una amplia gama de proyectos de diferentes índoles promovidos por ONG danesas. Los Estudios Nacionales se complementaron con un Estudio en Profundidad en cada país, que examinó un solo proyecto en mucho mayor detalle.

EVALUACIÓN DE IMPACTO PARTICIPATIVA - ACTIONAID Lecciones clave de la investigación Filtración de resultados y cultura institucional: Es importante no concentrarse exclusivamente en los interesados primarios sino prestar atención también a las organizaciones intermediarias.

Independientemente de los métodos que se utilicen para obtener información de la población, lo cierto es que los resultados tienen que ser ‘filtrados’ tanto por el personal de la organización u organizaciones locales que están recolectando la información como, posteriormente, por estas mismas organizaciones.

Todas las organizaciones poseen ambos sistemas, así como una ‘cultura’ subyacente de supuestos, valores o ‘normas’ aceptadas en la cual se basan dichos sistemas; estos sistemas y valores pueden ya sea respaldar o debilitar la capacidad de una organización para escuchar y responder a la evaluación de sus ‘clientes’ acerca del impacto de sus intervenciones.

Hacia una cultura de evaluaciones de impacto en las ONG: La evaluación de impacto es comúnmente considerada ya sea como parte de una agenda impuesta principalmente por las organizaciones financieras o, en ocasiones, en términos peyorativos como un ejercicio más bien académico. Además, la mayoría de las ONG locales cuenta con onerosos sistemas contables y de presentación de informes (muchos de éstos impuestos por sus organizaciones financieras), con lo cual al personal apenas le queda margen o incentivo para escuchar y entender las percepciones de la gente acerca de sus intervenciones y tomar medidas al respecto. Para la mayor parte de las ONG, escribir informes, ya sea para sus Oficinas Principales o para sus donantes, es un trabajo, y muchas asumen que la evaluación y la medición de impacto revisten mayor interés para los donantes y directores/as que para el personal. Teóricamente, sin embargo, cualquier organización debería poder desarrollar una cultura de Evaluación de Impacto, en la cual el personal a todos los niveles sea motivado y empoderado para identificar, hacer un seguimiento y presentar informes acerca del impacto, utilizando para ello tanto sus contactos directos con las comunidades como su propio juicio. Posiblemente se

38

requieran indicadores de impacto en los cuales el personal deba basar sus informes, pero éstos bien pueden no captar los impactos esperados o no deseados de un proyecto. Tanto el proceso mediante el cual se recolecta la información relativa a un indicador como el grado al que quienes recolectan los datos entienden su importancia determinarán el que los datos en sí sean o no de algún valor en la evaluación del impacto.

Necesidad de discernimiento crítico respecto de los métodos en sí: Antes de empezar esta investigación, no nos habíamos percatado de la influencia que parecía tener un número relativamente pequeño de enfoques de DRP sobre los trabajadores/as de desarrollo en la mayoría de los países, ni tampoco de la necesidad de utilizar una capacidad de discernimiento mucho mayor antes de decidirse a emplear una herramienta en particular. Muchas de las personas que participaron en esta investigación tuvieron más dificultades de lo previsto para diferenciar entre la idoneidad de distintos métodos. En Bangladesh se observó cierta conciencia acerca de las diferencias entre los distintos métodos utilizados, por ejemplo, en términos del tiempo que le tomaba a la gente desarrollar los diferentes ejercicios de DRP y la facilidad con que entendían la forma de hacerlos. Pero no estaban dispuestos a elegir entre los distintos métodos al recomendar su uso a terceros. Preferían sugerir la combinación de varios paquetes, en lugar de elegir entre ellos. Esta actitud se contradice con la necesidad de reducir el volumen total de tiempo que toman dichos ejercicios, un problema que descubrimos en los cuatro países. En Uganda el personal expresó un abanico de preferencias distintas por ciertos métodos, pero no hubo un consenso de opinión. En Ghana se utilizó una gran variedad de métodos diferentes, pero no se llegó a ninguna conclusión acerca de cuál de todos los métodos era el más idóneo. Los resultados sugieren que es necesario que las investigaciones futuras se centren más explícitamente en una revisión crítica de los propios métodos de DRP, con miras a determinar cuáles son los más útiles para ayudar tanto a los beneficiarios/as como a las organizaciones a entender el impacto de las diferentes intervenciones, y cuáles deben mantenerse en reserva o incluso descartarse.

Indicadores. A todo lo largo de este estudio hemos debatido el grado al que los enfoques participativos deben concentrarse en indicadores como tales, y también si el uso de dichos indicadores es suficiente por sí solo para que las poblaciones pobres entiendan el impacto. La conclusión a la que llegamos fue que, a grandes rasgos, los indicadores suelen ser necesarios pero rara vez son suficientes. Así, pues, pueden ser valiosos como puntos de referencia y discusión, pero la selección de los indicadores tiene que reposar sobre una base sólida de diálogo intenso entre el personal de la ONG y sus ‘beneficiarios/as’. Existe el peligro evidente de que, si las organizaciones donantes empiezan a exigir indicadores determinados por los beneficiarios/as, la interacción minuciosa y permanente entre el personal de la organización y las comunidades se verá sustituida por largos listados de dichos indicadores. Una de nuestras preocupaciones en esta investigación era la confiabilidad de los indicadores identificados por la población. ¿La población sería coherente en su selección de los indicadores a través del tiempo o éstos variarían, por ejemplo, de acuerdo a las estaciones? El estudio reveló tanto que la población era sorprendentemente coherente en su selección de los indicadores como que, si una ONG ha trabajado en un área en particular durante algún tiempo, no debe esperar que la población proponga indicadores muy diferentes a los que la propia ONG ha venido utilizando.

Género. La investigación ha arrojado algunas lecciones útiles sobre género. En los proyectos en los cuatro países se hizo un esfuerzo especial para organizar reuniones separadas con distintos subgrupos (hombres/mujeres adultos y jóvenes) en las aldeas. En algunos casos (por ejemplo, en Ghana), esta decisión se basó en la premisa que hombres y mujeres tienen intereses distintos, definidos por sus roles de género: las mujeres suministran información sobre agua y vacunación; los hombres, sobre arados tirados por bueyes y migración. Pero, al hacerlo, el equipo de investigación estaba aceptando y consolidando los roles de género establecidos, en vez de cuestionarlos. De este modo, tanto en la documentación como en el análisis se presta mucho menos atención a las diferencias en los puntos de vista sobre temas comunes. Considerando el esfuerzo que se invirtió durante la investigación para organizar reuniones separadas con grupos de hombres y mujeres, la cantidad de información finalmente obtenida (en forma de datos analizados) acerca de las diferencias de opinión entre dichos grupos no ha sido muy sustantiva. En términos generales, el problema no es tanto la falta de conciencia de género entre el personal y los investigadores/as de campo, sino la falta de una demanda percibida de resultados desagregados por género por parte de los niveles superiores de organizaciones

39

como ActionAid. Si hubiera habido tal demanda, ésta podría haber servido para contrarrestar las presiones percibidas por el personal de consolidar y sintetizar los resultados de la investigación de numerosas reuniones en numerosas aldeas. El desafío estriba por lo tanto en mantener un fuerte enfoque de género, no solamente durante la etapa de recolección de la información en un proyecto de investigación como éste, sino también en el proceso de interpretación de los datos y determinación de sus implicaciones operativas.

(Fuente: Participatory Impact Assessment - Evaluación de impacto participativa - Hugh Goyder, Rick Davies y Winkie Williamson, ActionAid 1998)

LIBRO DE OXFAM SOBRE EVALUACIÓN DE IMPACTO El cómo: Métodos y herramientas En este estudio se utilizó una gran variedad de herramientas y métodos. Quizás la conclusión más importante sea que la selección de una combinación y una secuencia adecuadas de herramientas y métodos depende fuertemente de que tengamos claro nuestro propósito y el foco de la evaluación y diseñemos el proceso evaluativo en un formato apropiado para el contexto, el proyecto en cuestión y las organizaciones involucradas. La capacidad para desarrollar combinaciones y secuencias metodológicas apropiadas y la capacidad para adaptarse e innovar a medida que el estudio avanza parecen ser tan importantes como el conocimiento y las destrezas requeridos para cada método individual.

Quizás exista un número de revelaciones clave que tienen que ver con las familias generales de métodos exploradas en este estudio: Primero, es evidente que hay que aprovechar al máximo los datos existentes, ya sea datos sobre el proyecto o información disponible de otras fuentes acerca del contexto. La producción de documentos sinópticos consolidando largos años de informes y archivos de los proyectos resultó particularmente provechosa en algunos casos. En adición, las fuentes gubernamentales locales, los registros de educación y salud y las estadísticas de las estaciones de investigación agrícola probaron ser una importante fuente de información, pese a sus severas limitaciones.

En segundo lugar se comprobó que, incluso cuando la información existente era de buena calidad y se había invertido un gran esfuerzo en recopilar información de línea de base, en casi todos los casos hubo la necesidad de reconstruir por lo menos una parte de la historia, no solamente de los proyectos sino también de los cambios experimentados en las vidas de los hombres, las mujeres y las comunidades. Desde luego, esta medida fue aún más necesaria en los casos en que los planes y documentos del proyecto eran débiles o inexistentes y/o en situaciones de emergencia, en que los rápidos cambios en el contexto generan cambios en las prioridades y acciones que no siempre son documentados. Un importante número de herramientas y métodos revisados en el Capítulo 4 ilustra la forma en que se hizo esto.

Tercero, si bien es cierto que las encuestas de hogares a gran escala tienen muchas limitaciones y han recibido críticas negativas por parte de la prensa en años recientes, los estudios de caso revelan que pueden cumplir una útil función si permanecen enfocadas, si se prueban y adaptan previamente, si los encuestadores/as reciben capacitación y preparación adecuadas, si la información se coteja y ordena secuencialmente con otros datos más cualitativos de manera apropiada y si existe la capacidad adecuada para analizar los resultados. Las miniencuestas que se describen en el Capítulo 3 y el uso del cuestionario en el estudio de Wajir, ambos de los cuales utilizaron una combinación de herramientas participativas y preguntas estándar, parecen representar alternativas útiles para las encuestas exhaustivas.

Cuarto, el amplio abanico de métodos de entrevistas, talleres y grupos focales que se utilizó en los estudios de caso suscitó algunas preguntas críticas respecto de las ventajas y desventajas de los procesos individuales en oposición a los procesos grupales. Estos temas rara vez se abordan en gran

40

parte de los manuales sobre investigación participativa o diseño de investigaciones. Sin embargo, los estudios de caso demostraron claramente que había ejemplos de (a) personas individuales que respondían a la misma pregunta de modos diferentes, dependiendo de si estaban solas o en grupo, (b) personas individuales que manifestaban en privado su desacuerdo con las conclusiones a las que habían llegado los grupos en público, (c) grupos particulares, especialmente mujeres, jóvenes y miembros de hogares menos favorecidos, que eran sistemáticamente excluidos o ignorados en dichos ejercicios grupales. Por otra parte, también hubo ejemplos de ejercicios grupales que llevaron a (a) nuevas revelaciones para los participantes, en ocasiones gracias al intercambio de información sensible, por ejemplo sobre violencia doméstica, que había sido mantenida en reserva hasta ese entonces, (b) una solidaridad y un propósito común fortalecidos y (c) la unión de voces anteriormente marginadas, lo cual las fortaleció para que fueran escuchadas.

Quinto, la observación directa y la observación participante como método muchas veces tampoco recibe gran atención en los textos y manuales sobre seguimiento y evaluación. Y, sin embargo, en numerosos estudios es evidente lo ventajoso que resulta que los ‘investigadores/as residentes’ y la población simplemente ‘merodeen’ por el lugar y mantengan los ojos abiertos. En especial, la observación de este tipo ayudó a desarrollar confianza y a forjar buenas relaciones con la población local y el personal del proyecto; permitió obtener información que de otra manera hubiera sido imposible de conseguir por medio de preguntas o facilitando discusiones; permitió entender mejor las relaciones, tanto al interior de las comunidades como entre la comunidad y otras organizaciones e instituciones; y, finalmente, permitió cotejar en un grado importante la información recogida por otros medios. La observación depende en grado sumo de las habilidades del observador/a y es intensiva en recursos, pero por otro lado dichas habilidades pueden cultivarse y desarrollarse y este tipo de enfoque puede ser menos exigente con el tiempo de la población local. Dadas las inquietudes planteadas más adelante respecto de la naturaleza de algunos de los enfoques participativos adoptados en términos del tiempo que requieren, merece la pena tener presente esta consideración.

Sexto, aunque en los estudios de caso se empleó una amplia y exhaustiva gama de técnicas participativas, hay quizás un número reducido que parece ser particularmente pertinente y útil para los fines de evaluación de impacto. Éstas son: las líneas de tiempo, las jerarquizaciones de bienestar y de preferencias, los flujogramas de impacto y los análisis de tendencias. Además, ya hemos visto cómo el trabajo participativo de esta naturaleza tiene que: dar mayor reconocimiento a las relaciones sociales y de poder existentes al interior de las comunidades; prestar mayor atención a las restricciones de tiempo de las personas y al costo oportunidad para ellas de participar en los proyectos; y combinar las herramientas mencionadas con otros métodos y fuentes de información. Como señalamos arriba, es necesario desarrollar estándares y criterios más precisos para la evaluación de la calidad de los procesos de investigación participativa.

Séptimo, el uso de estudios de caso individuales, comunitarios y relativos a proyectos e instituciones fue prevalente en casi todos los países involucrados. Los estudios de caso son especialmente útiles en situaciones complejas en las que muchas variables se interrelacionan entre sí y los resultados y el impacto probablemente variarán de población en población. Los estudios de caso bien seleccionados y el análisis cruzado de los estudios de caso añaden un alto valor agregado, especialmente si inciden sobre aspectos más generales de políticas que sean de interés general.

Finalmente, sigue pendiente todo el tema de la atribución, el cotejo de la información y la importancia de la retroalimentación. Ninguno de los métodos o herramientas utilizados puede resolver por sí solo el problema de determinar la atribución, y ni siquiera utilizados en conjunto pueden probarla. Sin embargo, si se utilizan en forma conjunta y se coteja debidamente la información, pueden proveer una reserva de evidencia susceptible de ser aprobada, impugnada o modificada, lo cual a su vez facilita la formación de un juicio razonado y plausible.

(Fuente: Impact Assessment and NGOs: Learning for a Change? – Evaluación de impacto y ONG: ¿Aprendiendo para el cambio? - Chris Roche, Oxfam, 1999)

41

ESTUDIO DE IMPACTO DE ONG DANESAS: REVISIÓN DE MÉTODOS E INSTRUMENTOS DE EVALUACIÓN DE IMPACTO La decisión de utilizar el Estudio de Impacto para ‘probar” métodos e instrumentos de evaluación de impacto apropiados era un objetivo válido y se esperaba que generaría evidencia largamente esperada acerca de la operativización de los mismos. En ese sentido, el Estudio fue experimental y sus hallazgos sobre dichos métodos e instrumentos deben entenderse bajo esa luz. Un hecho positivo fue que la mayor parte de los actores involucrados en el Estudio participaron de buena gana en sus diferentes ejercicios y actividades y no opusieron ninguna resistencia a participar. Desde luego, para muchos miembros del personal ésta era la primera vez que participaban en un experimento de esta naturaleza, y también estaba el aspecto de la novedad. Pero estuvimos lo suficientemente impresionados por el entusiasmo de la participación como para preguntarnos por qué las ONG y otras organizaciones de desarrollo no utilizaban dichos métodos con más frecuencia! En el contexto de sus propias prácticas culturales, la población local en particular nos comunicó sus puntos de vista abiertamente y demostró que todo el mundo tiene algo que aportar. Los métodos e instrumentos que revisamos exigieron más tiempo y esfuerzo que el enfoque de evaluación en equipo más convencional, pero generaron un mayor sentido de participación de todos los actores, y no solamente del equipo externo. Básicamente, los métodos buscaron valorar las opiniones del personal y los beneficiarios/as del proyecto.

Durante el Estudio de Impacto se utilizó una gama de métodos e instrumentos distintos con el fin de recolectar datos e información de diversas fuentes. El Estudio de Impacto empleó cuatro métodos básicos: (a) revisión y análisis de la documentación, (b) análisis del contexto, (c) opinión de los beneficiarios/as y (d) autoevaluación por parte del personal y la gerencia del proyecto y representantes de las ONG danesas. Para poder aplicar estos cuatro métodos, el estudio utilizó una colección de instrumentos diferentes, cada uno de los cuales se examinará en cierto detalle más adelante. En la mayor parte de los proyectos evaluados en los Estudios Nacionales se hizo un esfuerzo consciente por usar toda la gama de métodos e instrumentos, pero ello no fue siempre posible. En los Estudios en Profundidad, por otra parte, los equipos de investigación seleccionaron los métodos e instrumentos que consideraron más apropiados. En general, todos los estudios emplearon los cuatro métodos básicos en alguna medida, más no así todos los instrumentos. Ocasionalmente algo sucedía que impedía incluir un instrumento en particular. O, por alguna otra razón, el uso de dicho instrumento no resultaba tan exitoso.

MÉTODOS Revisión de la documentación Ésta fue la primera etapa fundamental de las seis investigaciones del Estudio de Impacto. Cada uno de los equipos de investigación recolectó y analizó la documentación existente acerca de los proyectos materia de estudio. Esta revisión inicial permitió a los equipos de investigación formarse una idea acerca de la evolución histórica del proyecto e identificar los aspectos clave en los cuales podría incidir el estudio. La revisión de la documentación fue decisiva asimismo porque dio a los equipos de investigación la oportunidad de evaluar los sistemas internos de recolección de datos e información de los proyectos. Lo más importante, sin embargo, fue que la revisión de la documentación se usó para empezar a construir una imagen detallada del desempeño del proyecto en relación con las variables y los temas materia de estudio. Dicha imagen fue crucial para formular las preguntas clave alrededor de las cuales se estructuraría cada estudio.

Las revisiones de la documentación tuvieron lugar bajo condiciones distintas en el caso de los Estudios Nacionales y los Estudios en Profundidad, en el sentido que los primeros tuvieron que lidiar con múltiples proyectos y normalmente no tuvieron el tiempo para buscar o esperar documentos importantes. La disponibilidad de la información y el acceso a la misma constituyen por lo tanto aspectos cruciales para los Estudios Nacionales. Además, descubrimos una gran variedad de enfoques de identificación y almacenamiento de la documentación de los proyectos. Muchos de los proyectos

42

más grandes con frecuencia carecían de un sistema de fácil acceso para la identificación y recuperación de los proyectos.

Análisis del contexto Mientras que los Estudios Nacionales efectuaron una revisión a grandes rasgos del ‘contexto’ en cada uno de los tres países en donde se llevó a cabo el Estudio, y el Estudio en Profundidad de Nicaragua se concentró en un tema clave de las intervenciones programáticas, los Estudios en Profundidad de Bangladesh y Tanzania realizaron un análisis contextual más minucioso tanto del entorno inmediato como del contexto sociopolítico más amplio dentro del cual operaban sus respectivos proyectos. Un análisis contextual de esa naturaleza puede proporcionar los parámetros críticos para medir el ‘impacto’ de una intervención de desarrollo. En ese sentido, el ‘impacto’ no sólo se mide en función del avance o no de los objetivos de un proyecto, sino que puede entenderse solamente en relación con aquellas otras fuerzas que pueden influir sobre el desarrollo o el cambio dentro de un contexto en particular.

Opinión de los beneficiarios/as El Estudio de Impacto, y especialmente los Estudios Nacionales, se diseñaron para garantizar una contribución importante por parte de los beneficiarios/as a la evaluación de impacto de los proyectos materia de estudio. En los últimos cinco años, aproximadamente, se ha colocado un énfasis cada vez mayor en las ‘percepciones de cambio’ de los beneficiarios/as como un elemento decisivo de los estudios de evaluación de impacto. Cabe señalar, sin embargo, que la mayor parte de los estudios que hacen esta afirmación se basan en experimentos con un solo programa o proyecto a lo largo de un período de tiempo extendido, y no en el enfoque multiproyectos, en una sola ocasión, de los Estudios Nacionales.

Ciertamente en términos de disposición a colaborar con el Estudio de Impacto, el método de recabar la opinión de los beneficiarios/as fue un ‘éxito’ y el Estudio se benefició en alto grado del hecho que cientos de beneficiarios/as se tomaran el tiempo y la energía para hablar con nosotros. No obstante, el compromiso ideológico de utilizar dicho método no debería cegarnos respecto de sus limitaciones en el contexto de un Estudio como el nuestro. En primer lugar, dada la falta de antecedentes previos del uso de dicho método en los proyectos estudiados – salvo las discusiones que tienen lugar durante las visitas a los proyectos -, así como el hecho de que fue decisión nuestra utilizar el método, todo el ejercicio fue impulsado desde fuera en su mayor parte. En la mayoría de los casos, los beneficiarios/as no tenían idea de que iban a participar en un ejercicio con beneficiarios/as hasta que llegó el equipo de investigación. Más aún, no hubo virtualmente ninguna oportunidad para que el equipo de investigación influyera sobre la selección de los beneficiarios/as que participarían en el ejercicio, con el resultado de que en muchos proyectos sentimos que no se había incluido a una muestra representativa de beneficiarios/as. Además, dado que no hubo oportunidad de desarrollar ningún tipo de relación con los beneficiarios/as, ni de explicar el propósito del ejercicio, por momentos fue difícil concentrarnos en sus percepciones de cambio, y no en sus opiniones acerca de las necesidades de la comunidad.

Finalmente, sin embargo, y esto fue lo más importante, la forma en que se nos obligó a ceñirnos al método nos privó de la oportunidad de adaptarlo al entorno de los beneficiarios/as en términos de idioma y cultura.

El compromiso ideológico de recabar las opiniones de los beneficiarios/as para determinar el impacto debe ir acompañado de un uso concienzudo y riguroso de dicho método, para estar seguros de que sus resultados estén bien fundamentados. En general, consideramos que los beneficarios/as añadieron una dimensión valiosa al resto de métodos e instrumentos empleados en el Estudio. Además, estamos seguros de que las ‘percepciones’ de los beneficiarios/as han contribuido enormemente a lo que de otro modo hubiera sido una evaluación estática y unidimensional. Pero, si a partir de ahora dicho método ha de formar parte del sistema de seguimiento, entonces tendrá que llevarse a cabo de una manera más rigurosa.

43

Autoevaluación Esta modalidad de evaluación es muy similar a la anterior, excepto que ofrece a quienes están más directamente involucrados en el lado de la prestación de los servicios la oportunidad de expresar sus puntos de vista acerca del desempeño del proyecto: la gerencia y el personal del proyecto y el personal de las ONG danesas con algún tipo de participación directa en el proyecto. Este método se ha difundido bastante en muchos proyectos, pero rara vez se efectúa bajo el título de ‘autoevaluación’. Lo más común es realizar sesiones de revisión a intervalos regulares, o revisiones mensuales de avances, como un medio para reunir al personal para intercambiar puntos de vista acerca de los avances del proyecto. En ese sentido, la ‘autoevaluación’ en el sentido estricto del término es un método cualitativamente distinto, ya que se trata de un ejercicio más estructurado y focalizado en la evaluación del desempeño en función de una serie de variables. Con demasiada frecuencia, las revisiones internas de los proyectos son ejercicios demasiado abiertos, que no están estructurados en torno a temas clave y a menudo dedican más tiempo a planificar para el futuro. En general, el personal de los proyectos participó de buena gana en los ejercicios de ‘autoevaluación’, y para muchos miembros de menor jerarquía del personal era la primera vez que su opinión era consultada de esta forma.

La ‘autoevaluación’ representa una oportunidad para que la gerencia y el personal de un proyecto desarrollen una visión continua y estructurada acerca de la forma en que está progresando un proyecto. Sin embargo, plantea el reto de tratar de ser ‘objetivos’ en un método sumamente ‘subjetivo’.

En ese sentido, descubrimos que el personal tenía experiencia con autoevaluaciones críticas.

Inevitablemente, cuando las ‘autoevaluaciones’ se convierten en ejercicios que se realizan una sola vez, como sucedió en el Estudio de Impacto, el personal se ve obligado a intentar resumir procesos largos y actividades complejas en una única respuesta, y esto no siempre ha dado buenos resultados.

Si se ha de utilizar dicho método, éste tiene que ser permanente y coherente para que el personal pueda desarrollar una visión acerca del desempeño del proyecto a través del tiempo.

INSTRUMENTOS PARA EVALUAR EL IMPACTO Reuniones grupales: Éste fue el instrumento más comúnmente usado en todos los componentes del Estudio de Impacto, salvo el Estudio en Profundidad de Bangladesh, en que el principal método utilizado fue la entrevista personal. En el capítulo 2 podemos constatar que más de 500 beneficiarios/as participaron en alguna forma de reunión grupal como parte del ejercicio de recabar la opinión de los beneficiarios/as en cada uno de los tres Estudios Nacionales. Dada la limitación de tiempo de estos estudios, fue imposible recurrir a una autoevaluación más personal, ya que no hubo la posibilidad de preparar una muestra más ‘científica’. De ahí que, luego de las discusiones iniciales en ocasión del Taller de Estudio, la gerencia del proyecto generalmente ‘dispusiera’ que los grupos de beneficiarios/as se reunieran con el equipo de investigación para discutir una serie de temas. De esta forma, el Estudio de Impacto pudo recabar los puntos de vista de un considerable número de beneficiarios/as en un período de tiempo relativamente corto. En general, hubo un buen equilibrio de género en los grupos y éstos se condujeron en forma bastante interactiva, especialmente en Nicaragua. Las reuniones se desarrollaron a partir de un conjunto de preguntas abiertas y se permitió que ‘surgieran’ discusiones, con el equipo de investigación cuidando que no se apartaran demasiado del tema. Por momentos los beneficiarios/as parecieron genuinamente interesados en toda la experiencia.

Si bien, tal como hemos informado, en las reuniones grupales hubo un útil equilibrio de género, inevitablemente los hombres trataron de dominar la discusión, especialmente en Bangladesh y Nicaragua. Además, dado que tuvimos escasa posibilidad de influir sobre la composición de los grupos, algunos parecieron incluir a los beneficiarios/as más influyentes y más solventes, que se las ingeniaron para llevar la discusión hacia sus temas de interés. Asimismo, por momentos fue inevitablemente difícil mantener al grupo enfocado, y algunos beneficiarios/as vieron las reuniones como una oportunidad para discutir más detalladamente las necesidades de su comunidad. Resulta claro que este instrumento siempre será una herramienta básica de cualquier ejercicio incorporado al proyecto que implique recabar la opinión de los beneficiarios/as y tenemos que asumir que, en dichas circunstancias, el ejercicio se llevaría de una manera un poco más rigurosa.

44

Entrevista familiar: Dada la importancia de intentar determinar la forma en que un proyecto ha afectado directamente las vidas de los beneficiarios/as, también ‘entrevistamos’ a un número reducido de familias de beneficiarios/as en varios proyectos. El seguimiento continuo de un número representativo de familias a nivel de la comunidad es un instrumento común para hacer un seguimiento detallado de este efecto directo. Sin embargo, no encontramos ningún ejemplo de que se estuviera usando dicho instrumento en ninguno de los proyectos de los Estudios Nacionales, aunque sí evidencias de que el proyecto de LIFT monitoreaba regularmente a las familias beneficiarias. Si bien consideramos que dicho instrumento tiene un uso potencialmente importante en la recolección de las opiniones de los beneficiarios/as, y el Estudio en Profundidad de LIFT en particular basó gran parte de su investigación en Hogares y Familias, en los Estudios Nacionales nos topamos con los mismos problemas que con las reuniones grupales. El equipo de investigación no tuvo la posibilidad de intervenir en la selección de las familias para las entrevistas, la mayoría de éstas no tenía idea de cómo sería el ejercicio y, con base en las observaciones y respuestas, concluimos que las familias seleccionadas no eran representativas de una sección transversal de la comunidad. El énfasis a menudo parecía ponerse en impresionar al equipo de investigación con los beneficiarios/as más elocuentes y sus familias. No obstante, el hecho de que en la mayoría de las entrevistas era el hombre el que hablaba en nombre de la familia nos dio una perspectiva adicional acerca de las relaciones de género a nivel familiar. Sin embargo, las entrevistas familiares de hecho nos dieron la oportunidad de observar el ambiente familiar y evaluar el posible impacto del proyecto en estos términos.

Generalmente, las entrevistas familiares pueden ponerse por escrito en forma de mini estudios de caso, para ayudar a ilustrar un texto.

Observación directa: Dada la ausencia de evidencia suficiente formalmente registrada, decidimos que utilizaríamos la observación directa como un instrumento para complementar la información que recolectamos por medio de los otros instrumentos. Hicimos esto en forma permanente y utilizamos las observaciones para añadir un poco de detalle ‘de la vida real’ a nuestros hallazgos. Por ejemplo, en las visitas a las comunidades y a las familias de los beneficiarios/as, observamos todo lo que pudimos de lo que probablemente constituían señales del beneficio de participar en el proyecto; por ejemplo, el tipo de propiedad sobre la vivienda, el nivel de limpieza de la comunidad, las señales de erosión del suelo y así sucesivamente. Desde luego, no tuvimos forma de verificar nuestras observaciones y por lo tanto no hemos basado ninguna de nuestras conclusiones exclusivamente en ellas. Pero sí representaron un medio muy útil para contextualizar los beneficios y proporcionar ejemplos directos de cualquier beneficio que pudiera haber tenido lugar.

Uso de informantes clave: Cada uno de los tres Estudios Nacionales utilizó informantes clave para aportar una opinión adicional, informada pero idealmente ‘independiente’, o menos directamente involucrada, acerca del proyecto y los beneficios y cambios que éste pudiera haber generado para las comunidades locales. Dichos informantes fueron típicamente maestros/as de escuela, funcionarios/as de los gobiernos locales u otras figuras de relevancia en el área local. Haciendo un balance, nuestra impresión fue que la mayoría de ellos sí tenía un punto de vista o un comentario que hacer acerca del proyecto, y en muchos casos introdujeron una perspectiva que ni los beneficiarios/as ni el personal del proyecto habían sacado a relucir. Por ejemplo, los informantes clave pudieron comparar los esfuerzos del proyecto con los de otras iniciativas similares promovidas por otros proyectos; pudieron introducir un elemento ‘político’ y dar su opinión acerca de las fortalezas relativas y los motivos de algunos de los actores involucrados; o pudieron establecer una conexión entre las actividades del proyecto y lo que en su opinión constituían necesidades locales clave. Aunque, a semejanza de los otros casos, no tuvimos gran injerencia en la selección de los informantes clave, en general consideramos que la mayoría aportó una perspectiva balanceada acerca del desempeño del proyecto, aunque también tuvimos uno o dos casos de informantes seleccionados a mano que lo veían todo color de rosa!

Análisis cuantitativo: Aunque muchas de las variables y los temas del Estudio de Impacto tuvieron dimensiones fuertemente cualitativas – sostenibilidad, género, democratización, sociedad civil, trabajo con contrapartes, etc. -, también intentamos utilizar datos cuantitativos relevantes en la medida de lo posible, tanto como evidencia como para ilustrar nuestros argumentos. En los Estudios Nacionales éste fue especialmente el caso cuando evaluamos, por ejemplo, los Insumos, los Productos, la Eficacia y algunos aspectos del Impacto sobre la Pobreza. Además, hemos introducido en nuestro análisis una

45

serie de cuadros cuantificando el contenido de la documentación existente acerca de las variables y los temas materia de estudio. Ya hemos visto que los informes sobre los proyectos de las ONG danesas presentan un fuerte sesgo hacia los Insumos y Productos. De igual manera, muchos de los estudios de ‘impacto’ existentes tienen un contenido predominantemente cualitativo. Hemos procurado lograr un equilibrio en la medida de lo posible y nos permitiríamos afirmar, por ejemplo, que los cuadros constituyen un útil medio para entender la magnitud, así como para hacer comparaciones entre sectores y países, algo que podría resultar difícil utilizando la narración solamente. El Estudio en Profundidad del proyecto de LIFT en Bangladesh hizo un uso especial y eficiente de extensos cuestionarios para recolectar información, que podrían dar un indicio del impacto del proyecto a nivel tanto de Extensionistas Locales como de Hogares y familias.

Las cinco categorías expuestas arriba representan los principales instrumentos que utilizó el Estudio de Impacto. Cabe anotar que también se hizo uso de una serie de instrumentos adicionales, como diarios de campo, seminarios con informantes clave y sondeos de mercado.

(Fuente: DANIDA: Danish NGO Impact Study – DANIDA: Estudio de impacto de ONG danesas INTRAC, 1999)

COMENTARIO FINAL En esencia, podemos concluir que no existe un método o instrumento único que podamos usar para hacer el seguimiento y en última instancia la evaluación de un proceso de empoderamiento. La evidencia tanto de ambos estudios como de la práctica revela que no basta con preparar un cuestionario – el instrumento clásico de la investigación del desarrollo – y esperar que éste nos permita seguir la evolución de un proceso de empoderamiento. El proceso no sale a la luz fácilmente, ni tampoco es fácil de cuantificar. Los procesos de desarrollo cualitativos exigen enfoques cualitativos para su seguimiento, y también un marco evaluativo radicalmente diferente. Básicamente, el ‘empoderamiento’ no puede ser evaluado si no se le ha hecho antes un seguimiento. Un sistema de seguimiento relevante es fundamental para poder establecer si el proceso se está desarrollando o no. Sin embargo, existe un número relativamente reducido de ejemplos de sistemas de seguimiento para procesos de empoderamiento. Extrañamente, las organizaciones de desarrollo han evolucionado mucho en lo que respecta a la retórica del ‘empoderamiento’ pero son universalmente débiles en lo que atañe a su seguimiento. Existe escasa evidencia de que muchas organizaciones de desarrollo hayan podido desarrollar sistemas eficaces para hacer el seguimiento de un proceso cualitativo. De hecho, los conocimientos y la metodología general están ahí. El problema radica en el diseño y la ejecución de un sistema mínimo pero eficiente.

Pregunta: En su opinión, ¿cuáles son los MÉTODOS e INSTRUMENTOS más útiles que podrían utilizarse en el S y E de un proceso de EMPODERAMIENTO?

46

Sección 5 : EVALUANDO EL EMPODERAMIENTO : UN EJERCICIO PRÁCTICO No es suficiente tener una idea general de los temas involucrados en el S y E de un proceso cualitativo como el ‘empoderamiento’. Éstos tienen que operativizarse luego a nivel del programa o proyecto.

Hasta la fecha, éste ha sido el mayor desafío para las organizaciones de desarrollo. La práctica hasta el momento sugiere que muchas organizaciones están resolviendo finalmente los problemas relacionados con el S y E del ‘empoderamiento’ pero parecen incapaces de traducir los resultados en sistemas operativos. En demasiados casos, la operativización termina con la identificación de ‘indicadores’, sin reconocer que los ‘indicadores’ tienen que ser adaptados a las actividades del proyecto y usados de forma tal que generen datos e información que nos permitan monitorear con eficacia los avances de un proyecto. Es importante, por consiguiente, que entendamos el proceso general involucrado en el S y E del ‘empoderamiento’ y podamos diseñar y ejecutar un sistema de seguimiento que nos permita monitorearlo con eficacia.

Para hacer esto, vamos a diseñar un sistema de seguimiento para un proyecto en particular. Vamos a dividir el taller en grupos que verán cuatro ESTUDIOS DE CASO distintos. El contexto básico de cada proyecto y el problema que supuestamente debe abordar se encuentran resumidos en una hoja.

Cada proyecto tiene como uno de sus objetivos el empoderamiento de la comunidad local / la población local / las mujeres. Con base en esta información, cada grupo diseñará un enfoque para el seguimiento de dicho proceso de ‘empoderamiento’ y para la presentación de informes sobre el mismo.

Los pasos que comprende el ejercicio son los siguientes:

Sobre la base de la Introducción al contexto y al problema que intentará abordar el proyecto, ¿cuáles consideran ustedes que serán los FACTORES CRÍTICOS de los que el proyecto tendrá que tomar nota o que el proyecto tendrá que abordar si ha de intentar ‘empoderar’ a su grupo objetivo?

Determinar el PROPÓSITO GENERAL del proyecto en términos del EMPODERAMIENTO de toda / una parte de la población local. Poner por escrito dicho propósito en no más de un párrafo.

ESPECIFICAR hasta TRES OBJETIVOS ESPECÍFICOS que se trazarían ustedes para el proyecto a fin de promover el empoderamiento de la población objetivo. Cerciorarse de indicar exactamente cuál es el grupo objetivo del proceso de empoderamiento.

Identificar y describir no más de DOS INDICADORES que usarían para CADA uno de los OBJETIVOS ESPECÍFICOS de ‘empoderamiento’ indicados arriba. Estos indicadores se convertirían luego en la base del sistema de seguimiento del proyecto.

Tomar UNO de los INDICADORES arriba mencionados y explicar en detalle cómo le harían el seguimiento. Además, ¿qué métodos emplearían y cómo registrarían y almacenarían la información?

Indicar qué TÉCNICAS o HERRAMIENTAS específicas usarían para evaluar los datos y la información y que les permitirían entender la forma en que el proceso de Empoderamiento está evolucionando.

47

ESTUDIO DE CASO 1:

Impacto de un proyecto a nivel local – Un estudio de LIFTPatuakhaliby Parvin Sultana y Steen Folke, BANGLADESH EL CONTEXTO LOCAL Éstos son los datos y cifras básicos relacionados con el Contexto del Proyecto: * El proyecto está situado en el delta meridional del país, una ubicación periférica en Bangladesh, bordeando la Bahía de Bengala. * La zona es azotada con frecuencia por inundaciones y ciclones que causan destrozos en la agricultura, las granjas de hortalizas, las viviendas y la infraestructura. * Las comunicaciones son difíciles en la región debido a la gran cantidad de ríos y canales y a una red vial extremadamente precaria. * Las tierras agrícolas no son muy fértiles, en parte debido a su salinidad y en parte a la falta de sistemas de irrigación; la agricultura es por lo tanto menos intensiva y produce solamente una cosecha de arroz aman al año. * La mayoría de la población vive en la pobreza y sus medios de vida giran principalmente en torno a la agricultura, con parcelas que apenas rozan la subsistencia. * En las áreas rurales, la tenencia de tierras es por lo tanto un importante factor determinante de la riqueza y la pobreza, y los agricultores maginales y sin tierras se encuentran entre los sectores más pobres. * La pesca (en estanques, ríos y el mar) siempre ha sido una importante fuente secundaria de sustento y alimentación, mientras que el cultivo de hortalizas está poco desarrollado. * Culturalmente, la zona es menos conservadora que otras regiones de Bangladesh, el uso del velo o purdah entre las mujeres es menos estricto y el fundamentalismo musulmán no está muy difundido. * Una pequeña minoría hindú vive en la zona; los hindúes suelen vivir en sus propios paras, pero las relaciones entre hidúes y musulmanes son normalmente buenas. * La zona no ha recibido una gran cantidad de asistencia externa; durante algunos años Danida ha sido la principal financiera externa en apoyar una serie de proyectos diferentes. * La mayoría de las ONG más importantes de Bangladesh trabaja en la zona, especialmente en programas de ahorro y crédito.

Estos factores pueden considerarse como un conjunto de condiciones y restricciones – tanto para los medios de vida de la población en general como para la ejecución y el efecto o impacto del proyecto.

Pero, dentro de las condiciones dadas, las mejorías en la vida de las personas son hasta cierto punto el resultado de sus propias acciones. Las personas no son solamente objetos pasivos de ‘desarrollo’ o ‘grupos objetivo’ de los proyectos. El impacto de cualquier intervención de desarrollo depende de la forma en que diversos grupos y personas aprovechen la asistencia ofrecida. Eso obviamente depende de sus capacidades tanto individual como socialmente definidas, pero también tiene que enfocarse en el contexto de otros elementos relacionados con sus medios de vida, incluyendo otros proyectos de desarrollo. Típicamente, las estrategias de manejo de la gente pobre en esta área son una combinación de agricultura en pequeña escala y una variedad de fuentes de sustento. El cultivo de hortalizas (y para los extensionistas locales semillas y plantones) constituye una opción disponible – fuertemente articulada por el Proyecto. La pesca, la ganadería, la artesanía, el transporte con rickshaws, el trabajo agrícola, la construcción de carreteras y el comercio al menudeo son otras opciones disponibles – algunas de ellas promovidas por otros proyectos de desarrollo – y la mayoría de las familias pobres utiliza una combinación de varias de ellas para ganarse la vida.

48

OBJETIVO SUPERIOR Y OBJETIVOS ESPECÍFICOS En términos generales, el objetivo superior del proyecto es incrementar la seguridad económica y el bienestar nutricional de 28,000 hogares de pequeños agricultores por medio de granjas de hortalizas y prácticas agroforestales. Además, el proyecto aspira a empoderar a los agricultores locales pobres y marginados y ayudarlos a participar más efectivamente en las iniciativas de desarrollo. Los principales objetivos específicos del proyecto han sido la capacitación de extensionistas locales, la organización de una red de proveedores de semillas de árboles y hortalizas y apoyo al fortalecimiento de organizaciones locales.

El proyecto se inició en 1994 y continúa hasta la fecha. Ha concentrado sus esfuerzos en dos grupos principales de actores: Extensionistas locales, en la esperanza de que luego transmitirían el conocimiento adquirido a los pequeños agricultores de la zona. Dichos Extensionistas son responsables de establecer negocios de abastecimiento de semilla y ponerlos a disposición de los pequeños productores. La mayoría de los Extensionistas son también pequeños productores, pero tienden a tener parcelas más grandes que el promedio. En ese sentido, el ingreso familiar del Extensionista tiende a ser más alto que el de otros agricultores locales. La mayoría de los Extensionistas son varones, pero también hay algunas mujeres.

Productores familiares: La mayoría de los productores que participaron en el proyecto eran ya sea pequeños o marginales (una hectárea o menos), aunque también se incluyó un número reducido de agricultores más grandes. Aunque la mayor parte de las familias percibe su ingreso principal de la agricultura, también trabajan como comerciantes y obreros como fuentes de ingreso importantes. Únicamente un número reducido de pequeños productores locales pudo participar en el proyecto; la gran mayoría no participó.

El enfoque básico del proyecto es una variante del modelo de extensión productor a productor: el personal del proyecto selecciona y capacita a productores con aptitudes en métodos biointensivos de horticultura y agroforestería, para que a su vez actúen como Extensionistas locales frente a otros agricultores, los Productores familiares. El proyecto se ejecutó inicialmente en un estilo bastante rígido y poco participativo. Se basó en un ‘paquete’ predeterminado, encarnado en el enfoque, que contemplaba determinadas técnicas agroforestales y un volumen fijo de capacitación. Sin embargo, el proyecto empezó luego a desarrollar una actitud más sensible frente a los temas de género y también a reconocer que todo su enfoque de ‘empoderamiento’ tenía que ubicarse en el contexto más amplio del proyecto y no sólo en términos de los productos del proyecto.

49

ESTUDIO DE CASO 2:

TANZANIA CONTEXTO DEL PROYECTO Kibondo se encuentra 260 kilómetros al norte de Kigoma, en la carretera a Mwanza, es decir, en una región muy remota del país, en comparación con los centros urbanos. Kibondo es capital de distrito del distrito más septentrional de la Región de Kigoma. La ciudad está ubicada en la cima del cerro que se yergue sobre las llanuras circundantes, una ubicación estratégica más que práctica que la población de Kibondo le debe a los colonos alemanes, que hicieron de la pequeña ciudad el centro distrital. De Kibondo a la frontera con Burundi hay unos 15 kilómetros en línea recta. Dar es Salaam se encuentra a unos 1,400 km de distancia, una travesía de tres días en automóvil.

Kibondo tiene la mala fama de ser una ciudad alejada y subdesarrollada. Los habitantes de la región han sido considerados subdesarrollados por los sucesivos gobiernos. “Los wahas son atrasados, están llenos de enfermedades y son ignorantes”, manifestó el Comisionado del distrito en 1953, en un memorándum administrativo. Después de la independencia, ser asignado a Kibondo como empleado público siempre ha sido considerado como una suerte de castigo. La interpretación de que los wahas son atrasados se refleja igualmente en los proyectos de desarrollo actualmente en curso. En los documentos iniciales de los proyectos se pone de relieve la forma en que ‘el desarrollo local se ve obstaculizado por el alcoholismo de la población’ y cómo el desarrollo debe abordarse mediante iniciativas de ‘generación de conciencia’.

Kibondo ejerció una función de reserva de mano de obra para la agricultura en las grandes plantaciones coloniales y en la época inmediatamente posterior a la colonia, especialmente en las Regiones de Tanga, Tabora y Kagera. Más aún, se trata de un entorno en el que los agricultores tienen razones válidas para mostrarse extremadamente escépticos frente a las propuestas y demandas de los agentes de desarrollo externos. La falta de continuidad de las políticas agrarias, combinada con una visión cortoplacista y la ausencia de voluntad política, han dado pie el escepticismo de los agricultores frente a cualquier interferencia externa en su agricultura. Esta situación ha generado una tendencia a abandonar el distrito por parte de quienes tienen una visión más ‘progresista’, que desean invertir en su trabajo antes que en sus tierras. Además, la región de Kibondo se ha visto recientemente afectada en forma dramática por la llegada de grandes números de refugiados/as de Burundi. Esto ha permitido que la economía florezca, iniciando un proceso de cambio social con una variedad de ganadores y perdedores.

EL PROYECTO DE DESARROLLO DE KIBONDO El proyecto se inició en 1992, con lo que ahora se conoce como la primera fase del proyecto, que se extendió desde 1992 hasta 1996. El proyecto ha trabajado en 20 aldeas con una población de 64,200 habitantes, más del 70% de la población total del distrito. La organización de desarrollo empezó a trabajar inicialmente en el distrito de Kibondo en 1986 como parte del Proyecto Kigoma, mayormente en zonas impactadas por el flujo de refugiados, ayudando la población afectada adversamente por dicho fenómeno. Las actividades de desarrollo que se realizaron en la zona entre 1986 y 1988 fueron especialmente de repoblación forestal, extensión agrícola y promoción del uso de animales de tiro. El proyecto ha ingresado recientemente en una segunda fase, que abarca desde 1997 hasta el 2001.

Ambas fases han contado con presupuestos de casi dos millones de dólares americanos.

Las actividades del proyecto en su etapa inicial consistieron en apoyar la producción de cultivos agrícolas en el distrito de Kibondo – en especial café - y proporcionar asistencia financiera a algunos residentes para empezar pequeños proyectos de generación de ingresos. Otras actividades son: la introducción de nuevas especies de productos agrícolas, el desarrollo de piscigranjas, la siembra de árboles y la promoción de obras de infraestructura en las aldeas. El principal enfoque metodológico del proyecto descansa sobre dos principios fundamentales: los proyectos piloto y la demostración. Ambos constituyeron el enfoque estratégico central a todo lo largo de la primera fase del proyecto (de 1992 a

50

1996). Los proyectos piloto se concibieron como un método mediante el cual se seleccionaba unas cuantas aldeas del distrito donde pudieran concentrarse las actividades. La idea central detrás de este método era seleccionar dichas aldeas y darles todo el apoyo necesario de acuerdo a las posibilidades del proyecto como una forma de enseñar y demostrar a otras aldeas estrategias para mejorar y evolucionar hacia una agricultura moderna y otras actividades económicas. Tanto los proyectos piloto como las demostraciones se introdujeron a nivel de personas individuales en cada aldea.

En cada aldea se seleccionó a unas cuantas personas como agricultores modelo, conocidos para los fines del proyecto como Agricultores de contacto (AC). A semejanza de las 20 aldeas a nivel distrital, el personal de extensión del proyecto concentraría sus esfuerzos en dichos AC, para llegar con sus servicios de extensión más fácilmente a través de ellos a los pobladores locales. Además, la idea era que los AC enseñaran a los vecinos del lugar técnicas mejoradas para la agricultura, mientras que al mismo tiempo los pobladores aprendían de los AC las mejores prácticas agrícolas introducidas por los extensionistas del proyecto. El resultado ha sido la creación de una sociedad especial promovida por el proyecto a nivel de aldeas. Ésta consiste de tres grupos de actores sociales: los agricultores de contacto, que se han beneficiado del proyecto y han recibido considerables insumos y subsidios; los “agricultores nuevos” y los holoi poloi – o una amplia mayoría que siente que ha sido olvidada por el proyecto. Cabe señalar que los agricultores de contacto son sólo 665, de una población de 52,000 habitantes. La segunda fase del proyecto inició un significativo cambio de enfoque: de un enfoque orientado a la demostración y el apoyo a un enfoque más participativo y de empoderamiento. La idea es que este nuevo enfoque fomente la participación de las poblaciones locales en el diseño de programas de desarrollo y en la determinación y el influenciamiento de sus resultados. Asimismo, que apoye a grupos de productores locales en términos de fortalecer sus capacidades organizacionales y ayudarlos a establecer vínculos y alianzas con otros grupos similares. Quizás lo más importante sea que durante la segunda fase el proyecto ha decidido abandonar el sistema de otorgar donaciones agrícolas a los agricultores, incentivándolos más bien a formar grupos y presentar propuestas de la forma en que quieren forjar alianzas de trabajo con el proyecto. En su segunda fase, por consiguiente, el proyecto intentó desarrollar una estrategia de empoderamiento que ayudaría a romper la dependencia de los grupos favorecidos por el proyecto.

51

ESTUDIO DE CASO 3:

FORTALECIMIENTO DE LA SALUD EN NICARAGUA CONTEXTO DEL PROYECTO La Región Autónoma del Atlántico Sur (RAAS) comprende una enorme área de la costa atlántica nicaragüense. Tiene una población estimada actualmente en aproximadamente 260,000 habitantes, cuatro veces más que hace 25 años. Este crecimiento se debe casi exclusivamente al desplazamiento masivo de campesinos migrantes del centro de Nicaragua a las tierras agrícolas y ganaderas de la región de la costa atlántica. Este movimiento migratorio ha sido encabezado por mestizos, que ahora superan ampliamente en número a los grupos étnicos indígenas. La región RAAS es una de las vastas fronteras agrícolas del país que recién está siendo abierta e introduciendo un patrón de vida completamente nuevo a regiones que durante siglos mantuvieron una rala población y permanecieron mayormente en manos de pequeños grupos étnicos.

El municipio de Pearl Lagoon (PL) está situado unos 35 km al norte en barco desde Bluefields, la capital de la región RAAS. Tiene una población de aproximadamente 7,000 habitantes, distribuidos en 17 comunidades esparcidas a orillas de la Laguna. El municipio tiene una composición multiétnica formada por criollos, miskitos, garífunas y mestizos; el idioma dominante es el criollo, pero también se hablan el español y el miskito. A nivel de estratificación social, los criollos constituyen el grupo dominante, tanto en términos de cantidad como de medios económicos. Los miskitos y la población incluso más pequeña de garífunas son menos influyentes, mientras que el número de mestizos sigue siendo pequeño pero se encuentra notoriamente en aumento. La agricultura, la pesca y cierta tala de árboles representan las actividades económicas más importantes, todas principalmente para consumo doméstico, aunque pequeños excedentes se comercializan en Bluefields. PL se encuentra entre los municipios más prosperos de la región RAAS, habiendo experimentado un notable incremento de su actividad comercial – pesca, turismo y se sospecha que también narcotráfico. El aumento de la riqueza, que se concentra en su mayor parte en pocas manos y en la capital municipal, es bastante visible. En todos los otros pueblos situados a orillas de la laguna las cosas apenas han cambiado. La tasa de analfabetismo es alta, se practica una economía básicamente de subsistencia y el aislamiento es una realidad. El transporte fluvial es el principal medio de locomoción dentro del municipio, pero se encuentra en condiciones precarias en las comunidades distantes de PL. Inevitablemente existen tensiones entre los diferentes grupos étnicos, con la población criolla más vinculada a la estructura política y administrativa existente, mientras que los miskitos y los garífunas permanecen en gran parte marginados. El número cada vez mayor de mestizos y su creciente penetración en la zona han generado inquietud acerca de las relaciones futuras entre los distintos grupos étnicos.

La situación de la salud en Pearl Lagoon El estado de salud de la población de PL está directamente relacionado con la precariedad de la situación económica y las condiciones generales de vida en las comunidades alrededor de la Laguna.

La prevalencia de las enfermedades más comunes en la zona está directamente relacionada con las condiciones higiénicas generalmente precarias existentes en las comunidades: agua contaminada, propagación de deshechos humanos, no recolección de basura, servicios de salud deficientes y proliferación de mosquitos. La capital municipal está razonablemente bien dotada, con un doctor/a, varias enfermeras y una posta médica bien administrada. El resto del municipio dispone de cinco postas médicas y una brigada móvil que visita las comunidades más apartadas cada dos meses. Las postas médicas cuentan normalmente con un/a auxiliar de salud, tienen pocos recursos y la rotación de personal es alta. Mientras que aproximadamente el 80 por ciento de la población de PL vive a dos horas en bote de una posta médica, el servicio es en general deficiente y no cuenta con recursos suficientes. El servicio de salud suele trabajar hasta el límite de su capacidad para mantener siquiera una atención mínima fuera de la capital municipal, y la probabilidad de que sus recursos sean incrementados en el futuro inmediato es escasa. En términos epidemiológicos, el municipio presenta la mayor parte de las características de salud que suelen caracterizar a los países de bajos recursos,

52

especialmente en las regiones tropicales bajas donde la población se encuentra diseminada y los servicios de salud son difíciles de movilizar y administrar. Las enfermedades más comunes que afectan a la población son los males respiratorios e intestinales, ambos de los cuales son las causas principales de mortandad infantil en la franja etaria de uno a cinco años. Entre las otras características de salud más importantes del municipio tenemos las siguientes: • • • • • • •

la mortandad infantil era de 76 por 1,000 en 1991 no se conocen las cifras de mortandad materna pero se sabe que son altas las enfermedades diarréicas y la deshidratación son enfermedades serias entre los menores de cinco años, especialmente en los meses más calurosos la incidencia de enfermedades de transmisión sexual es extremadamente alta se estima que alrededor del 35 por ciento de los menores de cinco años sufre de algún grado de desnutrición altas tasas de fertilidad, con familias de cinco a seis hijos en promedio aumento de los problemas de alcoholismo y drogadicción

Mientras que la capital municipal es relativamente estable, las condiciones generales de higiene y saneamiento básico en las comunidades que circundan la Laguna son extremadamente deficientes.

Las viviendas son en su mayor parte rudimentarias y la mayoría carece de letrina. Ha habido algunas mejoras – con apoyo externo – en el abastecimiento de agua de las comunidades, pero la mayoría sigue usando pozos contaminados u otras fuentes de agua no tratada. Simplemente no existen servicios adecuados para ayudar a las comunidades a mejorar y preservar su medio ambiente.

EL PROYECTO Fase 1 : 1991-94 : El proyecto surgió en respuesta al pedido directo del gobierno nicaragüense a una ONG internacional de apoyar sus esfuerzos para mejorar el estado de la salud de las comunidades aisladas de la costa atlántica. En la primera fase, el objetivo superior del proyecto fue el siguiente: Mejorar el estado de salud de las poblaciones que habitan las comunidades alrededor de Pearl Lagoon La población meta debían ser los niños y niñas menores de seis años y las mujeres gestantes. En términos de estrategia, el proyecto de salud debía ser participativo y tratar de empoderar a las comunidades locales a fin de fortalecer su participación en acciones encaminadas a resolver sus problemas de salud. En su primera fase, el proyecto tuvo dos componentes principales: Promoción y prevención de la salud: capacitación de dirigentes comunales, comités de salud, trabajadores/as de salud y parteras tradicionales; higiene comunitaria, letrinas, pozos.

Apoyo a servicios de salud: apoyo a la red existente de servicios de salud, provisión de un servicio móvil en las comunidades Dadas las limitaciones de los servicios de salud pública en la Laguna en términos de calidad y recursos, el proyecto representó una sustancial inyección de recursos y era de esperar que tuviera un impacto visible sobre la salud de la población. El proyecto, sin embargo, aspiraba no solamente a proporcionar un servicio curativo sino también a fortalecer los servicios existentes, promover la participación de la población a través de la investigación en acción y mejorar la higiene básica a nivel de las comunidades.

53

Fase 2: 1995-97 Una evaluación externa del proyecto en 1994 recomendó que el proyecto continuara por un período adicional de dos años, a fin de consolidar los procesos de promoción y capacitación de la comunidad y generar las condiciones locales necesarias para su sostenibilidad y continuidad. Los objetivos generales y la estrategia de la segunda fase fueron en gran parte iguales a los de la primera fase, salvo que se puso mayor énfasis en (a) el empoderamiento de las comunidades locales para que asumieran mayor responsabilidad sobre el fortalecimiento de la salud, (b) promoción y prevención de salud y (c) menos énfasis en simplemente dotar de recursos al servicio de salud existente.

54

ESTUDIO DE CASO 4 :

EGIPTO CONTEXTO NACIONAL El fracaso del model de desarrollo económico tras la revolución de 1952 en Egipto resultó a fines de los 60 en una reconceptualización importante del desarrollo. Se identificó la redistribución, las necesidades básicas y la participación como componentes esenciales para garantizar proyectos de desarrollo más eficientes y eficaces. El programa de puertas abiertas de Sadat dio la bienvenida a la asistencia externa y a las inversiones de capital, que tuvieron importantes implicaciones para el fortalecimiento de la participación comunitaria en proyectos en el sector urbano. Sin embargo, la ejecución de muchas reformas de largo plazo necesarias se pospuso hasta principios de los 90, en que Egipto inició un programa de ajuste estructural bajo la dirección del FMI y el Banco Mundial. El programa debía reducir el rol del Estado en el manejo de la economía, dejando el mercado a merced de las fuerzas de la oferta y la demanda. Partiendo de esta premisa, el gobierno egipcio ha diseñado un marco estratégico encaminado a la estabilización económica, el crecimiento y la eficiencia social.

En Egipto, la mayor parte de los estimados de pobreza se basa en una línea de pobreza orientada al consumo, que se rige por el costo de una canasta básica que satisface los requerimientos nutricionales mínimos y un cierto margen para gastos en productos básicos no alimentarios. Según los estimados, el porcentaje de la población que vivía en Egipto por debajo de la línea de pobreza a mediados de los 90 se encontraba en algún lugar entre el 23 y el 48 por ciento, dependiendo de la metodología utilizada.

Esta medición no toma en cuenta el acceso a recursos y servicios públicos esenciales. El PNUD introdujo en 1996 el concepto de Pobreza de Capacidad, que se refiere a lo que las personas son capaces de ser, hacer, escoger y lograr. El Informe de Desarrollo Humano de 1996 para Egipto estima que el 34 por ciento de los egipcios se encontraba en o por debajo del nivel de pobreza de capacidad en 1995. Las áreas rurales acusan un nivel más alto de pobreza que las zonas urbanas, y los departamentos del Alto Egipto figuran sistemáticamente en el último lugar de la lista. Sin embargo, la incidencia de pobreza en los departamentos de Gran Cairo y Alejandría es más alta que en cualquier otra región de Egipto. Éstos albergan a más de 3.3 millones de pobres, cerca de la cuarta parte del total nacional.

Una medida decisiva adoptada por el gobierno para combatir la pobreza fue la creación del Fondo Social para el Desarrollo en 1991, el cual, siendo prometedor, sigue reflejando el enfoque centralizado de planificación estatal. Sus objetivos principales son promover actividades de generacón de ingresos y empleo iniciadas por las comunidades locales, brindar servicios sociales básicos y mejorar la participación local mediante técnicas intensivas en trabajo. El Programa de Desarrollo Comunitario aspira a mejorar los servicios a nivel comunitario en las zonas de bajos ingresos, en alianza con ONG y los beneficiarios/as locales. El gobierno también ha adoptado un enfoque integral a nivel político y social para incentivar la creación de cooperativas comunales locales y organizaciones voluntarias privadas. Mientras que en 1986/87 se registraron cerca de 450 organizaciones en el ministerio correspondiente, para 1993 se habían inscrito más de 1,500 y la cifra llegó a casi 15,000 para 1998. Se trata de organizaciones que trabajan en guarderías infantiles, atención familiar, atención de adultos mayores y personas con discapacidad, actividades culturales y programas de alfabetización. Sin embargo, de las 15,000 organizaciones, el 25 por ciento se encuentra literalmente inactivo, el 25 por ciento funciona sólo a tiempo parcial y el 27 por ciento tiene un éxito limitado como proveedores de pequeños servicios regulares, mientras que el resto ha establecido programas comunitarios locales de diverso tamaño e importancia.

Egipto tiene una larga tradición de gobiernos altamente burocráticos y centralizados, y el progreso y el desarrollo siempre han estado asociados con formas excluyentes de gobernar y de hacer política. El Estado mantiene el control sobre las organizaciones privadas, que es obligatorio por ley. Toda sociedad tiene que registrarse en el ministerio y una de las condiciones es el compromiso de la sociedad propuesta de no inmiscuirse en actividades políticas. Las autoridades públicas tienen la potestad de restringir las actividades de las asociaciones profesionales, los sindicatos y las sociedades

55

locales; por ejemplo, pueden impedir la realización de reuniones públicas y de publicaciones. Existe una gran disparidad entre las libertades económicas y políticas, y la mayor parte de la sociedad civil permanece excluida de los procesos de toma de decisiones.

Una forma prometedora de facultar a las organizaciones de la sociedad civil para que jueguen un papel efectivo es la creación de acuerdos contractuales entre la comunidad y la asistencia gubernamental o externa. En la década del 80, el gobierno egipcio empezó a modernizar los métodos para llegar a los sectores pobres, sujetándolos en gran medida a iniciativas de la comunidad y recursos locales. En 1994 se inauguró el Programa Nacional de Desarrollo Rural Integral (Shorouk). El objetivo superior del programa es movilizar a la población para fortalecer su participación, llevando al desarrollo comunitario con base en un acuerdo entre la comunidad y las autoridades gubernamentales. Contrato se entiende tradicionalmente como un formato acordado que describe la naturaleza de la relación entre dos o más partes, que pueden ser un vendedor y un comprador, un propietario y un inquilino o un empleador y un empleado. A nivel formal, el contrato sería por escrito, consignando los nombres de las partes, su nacionalidad, ocupación y lugar de residencia y los derechos y obligaciones de cada una de las partes, así como los términos y condiciones del acuerdo. Sin embargo, especialmente en las zonas rurales la contratación de mano de obra para la agricultura o para trabajar en pequeños talleres o como electricistas, gasfiteros y otros oficios similares puede no requerir de un contrato formal en forma escrita. Un contrato verbal bastaría para describir la relación entre las partes. Ya sea a nivel formal o informal, el proveedor del bien o servicio siempre lleva la batuta cuando se trata de establecer las reglas y condiciones del contrato.

EL FOCO DEL PROGRAMA Este programa a nivel nacional se llama programa de “Mejoramiento de la calidad de vida” y es administrado por la organización ejecutora (OE) y financiado por la AID estadounidense. Se trata de un proyecto piloto de desarrollo urbano diseñado para mejorar las condiciones de vida de los pobladores de los centros urbanos a través de la promoción de Organizaciones Voluntarias Egipcias Privadas (OVEP). La primera fase se ejecutó entre febrero de 1995 y junio de 1996. El objetivo superior del programa es potenciar las capacidades de las OVEP locales mediante actividades de capacitación, asistencia técnica, diagnóstico de necesidades y recursos financieros. El programa se basa en la convicción de que unas OVEP fuertes permiten un vínculo vital con la comunidad local. La idea es crear un mecanismo para la acción colectiva y la participación de los grupos abandonados del área del programa y vincularlos con actividades, fondos o fuentes de ingresos a los que tienen derecho en el marco del programa. El acuerdo contractual pertinente es entre la OE y organizaciones identificadas en la zona, que luego fungen de enlace con los diferentes beneficiarios/as. Los beneficiarios/as participan en las actividades realizadas por las organizaciones locales en cooperación con la OE. El programa opera en tres de los distritos más antiguos de El Cairo: El-Rashidy, El-Kharg y El-Salmiya. El-Rashidy tiene más de un millón de habitantes y es un ejemplo típico de un distrito tradicional de El Caire, otrora próspero, que actualmente está sufriendo una crisis económica y de degradación social. El-Kharg es un área culturalmente mixta, con numerosos migrantes. Es una zona más pobre que la mayor parte de ElRashidy y necesita servicios especiales con desesperación.

Los diferentes proyectos del programa de “Mejoramiento de la calidad de vida” son: •

•

El ‘Programa de construcción de instituciones’ del programa aplica métodos de capacitación y asistencia técnica de probada eficacia, así como métodos más innovadores como apostar asistentes de gerencia locales en las organizaciones voluntarias y promover la educación de pares entre las asociaciones del proyecto. El objetivo superior del proyecto es fortalecer las destrezas administrativas de aproximadamente 23 OVEP locales e impulsar planes estratégicos de acción para los próximos cinco años en un mínimo de 15 OVEP. Las ‘Iniciativas de autoayuda’ consisten en enfoques innovadores de servicios de desarrollo comunitario y actividades culturales que privilegian la autoayuda y la participación local. Las OVEP que participan en el programa de construcción de instituciones reciben donaciones para realizar actividades como servicios de salud, guarderías infantiles, agua y alcantarillado, generación de empleo y empresa y servicios educacionales y culturales.

56

•

•

•

•

El ‘Programa de desarrollo económico local’ promueve actividades de generación de ingresos. Un fondo crediticio otorga pequeños créditos a personas de bajos ingresos y también a jóvenes y pequeños y medianos empresarios/as establecidos, a través de acuerdos contractuales. Para este último grupo se ofrecerá un programa de apoyo al desarrollo de pequeñas empresas. Un aspecto importante es vincular a los empresarios/as locales con instituciones financieras y la comunidad empresarial más amplia de El Cairo.

El ‘Programa de creación de redes’ se considera como la piedra angular de los esfuerzos para desarrollar una plataforma más amplia de participación, democratización y equidad social. Las redes de asociaciones locales por área de interés serán canales esenciales de interacción creativa y productiva para los miembros de las redes. Se trata de una oportunidad para aprender de sus respectivas experiencias, colaborar en proyectos específicos y trabajar juntas en campañas de sensibilización e incidencia.

El proyecto ‘Movilización de recursos de la comunidad’ se basa en la premisa de que, para poder alcanzar la sostenibilidad, las iniciativas tienen que aportar recursos humanos y financieros de la comunidad. Las organizaciones voluntarias privadas deben aportar el 25 por ciento de los voluntarios/as y los fondos. El proyecto tiene programada una campaña de sensibilización y promoción de voluntarios/as, así como actividades de capacitación para programas de voluntariado y recaudación de fondos.

El ‘Programa de documentación y promoción de proyectos’ contribuye a la sostenibilidad general del proyecto al atraer más instituciones y apoyo de donantes e impulsando la réplica del modelo.

Esto se hará mediante la producción y distribución de materiales escritos y audiovisuales y la sistematización de los métodos y las lecciones aprendidas a lo largo del proyecto. Además de ello, se intentará reforzar los vínculos existentes con instituciones del gobierno.

El programa de “Mejoramiento de la calidad de vida” es un ejemplo del enfoque basado en contratos que se está usando actualmente en Egipto. Un análisis del grado al que ayuda a grupos previamente excluidos a obtener acceso a recursos de desarrollo servirá para evaluar la utilidad del enfoque en el contexto de las comunidades urbanas de Egipto. A la fecha, sin embargo, el programa no ha podido establecer ninguna clase de sistema de seguimiento para determinar hasta qué punto ha logrado promover un desarrollo comunitario eficaz y ‘empoderar’ a los residentes locales. Dichas iniciativas podrían empezar a romper la cultura del silencio y la exclusión que está tan difundida en Egipto a nivel de las comunidades.

57

BIBLIOGRAFÍA SELECCIONADA Banco Mundial (1994) Advancing Social Development, Washington DC. Blankenberg, F. (1995) The Role of Planning, Monitoring and Evaluation, La Haya: Novib.

CARE (1994) Bangladesh.

Evaluation of the Economic and Social Benefits of Income Generation Projects,

Carvalho, S. y White, H. (1995) Performance Indicators to Monitor Poverty Reduction, Washington D.C.: Banco Mundial.

Casley, D. y Kumar, K. (1987) Project Monitoring and Evaluation in Agriculture, Washington D.C.: Banco Mundial.

Chabel, P. (1992) Power in Africa, MacMillan.

Cheater, A. (ed.) (1999) The Anthropology of Power: Empowerment and Disempowerment in Changing Structures, Londres: Routledge.

Cohen, J. y Uphoff, N. (1977) Rural Development Participation, Nueva York: Cornell University Press.

Craig, G. y Mayo, M. (1994) Community Empowerment, Londres: Zed Books.

Davies, R. (1995) An Evolutionary Approach to Facilitating Organisational Learning: An Experiment by the Christian Commission for Development in Bangladesh, CDS: Universidad de Swansea.

Dawson, E. (1995) Women, Gender and Impact Assessment: A Discussion Paper, Oxford: Oxfam.

Franco, F. et al. (1993) Empowerment through Entitlement, La Haya: Cebemo/ DGIS. Friedmann, J. (1992) Empowerment: The Politics of Alternative Development, Oxford: Blackwell.

Galjart, B. y Buijs, D. (eds) (1982) Participation of the Poor in Development. Institute of Cultural and Social Studies, Universidad de Leiden.

Gosling, L. y Edwards, M. (1995) Toolkits: A Practical Guide to Assessment Monitoring, Review and Evaluation, Londres: SCF. Hopkins, R. (1994) Impact Assessment: Overview and methods, Oxfam/Novib.

James, W. (1999) ‘Empowering Ambiguities’ en A. Cheater (ed.) (1999).

INTRAC (1999) The Danish NGO Impact Study: Overview Report. DANIDA Khan, S. (1994) Ranking Social Development Indicators, Londres: ACTIONAID. Loflan, J. (1971) Analysing Social Settings, Belmont: California Wadsworth Press.

Marsden, D. y Oakley, P. (1990) Evaluating Social Development Projects, Oxford: Oxfam.

Montgomery, R. Swansea.

(1995)

Stakeholder Analysis, Centre for Development Studies, Universidad de

Moser, C. (1991) Gender Planning and Development, Londres: Routledge.

58

Oakley, P. (1988) 'Conceptual Problems of the Monitoring and Evaluation of Qualitative Objectives' Community Development Journal, Vol. 23, No. 1, pp 3 - 11.

Oakley, P. (1988) The Monitoring and Evaluation of Participation, Roma: FAO. Oakley, P., Pratt, B. y Clayton, A. (1998) Outcomes and Impact: Evaluating Change in Social Development. Oxford: INTRAC. Partnership Africa Canada (1995) Impact Evaluation, Informe interno, Ottawa.

Patton, (1987) How to Use Qualitative Methods in Evaluation, California: SAGE. Pratt, B. y Boyden, J. (1985) The Field Directors' Handbook, Oxford: Oxfam.

Priester, M. et al. (1995) With Quality in Mind: Final Report on the measures taken by Cebemo, Hivos, ICCO y Novib en respuesta al Estudio de Impacto, Amsterdam: GOM. Richards, P. (1985) Indigenous Agricultural Revolution, Hutchinson.

Riddell, R. (1990) Judging Success: Evaluating NGO Approaches to Alleviating Poverty in Developing Countries, Londres: ODI Rifkin, S. y Bichmann, W. (1988) ‘On Measuring Participation’, Social Science and Medicine, Vol. 6, No. 9, pp. 931-940.

Rowlands, J. (1997) Questioning Empowerment, Oxford: Oxfam.

Shetty, S. (1994) Development Project in Assessing Empowerment. Nueva Delhi: Society for Participatory Research Institute for Asia.

Smillie, I. (1995) The Alms Bazaar: Altruism under fire - Non-Profit Organisations and International Development, Londres: IT Publications.

Strachan P. con Peters, C. (1997) Empowering Communities: A Casebook from West Sudan, Oxford: Oxfam Uphoff, N. (1989) A Field Methodology for Participatory Self-Evaluation of People’s Participation Groups, Roma: FAO. Valadez, J. y Bamberger, M. (1994) Monitoring and Evaluating Social Programs in Developing Countries, Washington: EDI Development Studies.

Van Eyken, W. (1991) The ConCept and Process of Empowerment. La Haya: Bernard van Leer Foundation.

Wardle, C. (1996) ‘Wider Impact Study, Tanzania: Draft design and plan’, Concern.

Werbner, R. (1999) ‘The Reach of the Postcolonial State: Empowerment/Disempowerment and Technocracy’, en A. Cheater (ed.) (1999).

Development,

Westenforff, D. y Ghai, D. (1993) Monitoring Social Progress in the 1990s, Ginebra: UNRISD. Whiteside, M. (1999) Empowering the Landless: Case studies in land distribution and tenure security for the poor. Londres: Christian Aid.

59