Tomado del Libro: “Monitoring and Evaluating Social Programs in Developing Countries: A Handbook por Policymakers, Managers and Researchers”. Edited by Joseph Valadez and Michael Bamberger. EDI- WORLD BANK. Washington D.C. November 1994 Traducido por PREVAL.
La evaluación de programas sociales en los países en vías de desarrollo Los países en vías de desarrollo y las agencias de ayuda internacional financian, diseñan y manejan un gran número de complejos proyectos de desarrollo. Sólo en 1987, el gobierno de India financió más de 3000 proyectos y sus administraciones estatales patrocinaron entre 6000 y 7000 en tanto que Pakistán brindó su apoyo a 3800 proyectos bajo su Federal Annual Development Plan (Amhed y Bamberger 1989). Entre los proyectos financiados por grupos internacionales de ayuda, unos 192 fueron llevados a cabo bajo el auspicio del Banco Mundial en 1985, según sus reportes de avances (World Bank :xi) y cerca de 250 se finalizan cada año bajo la mira de la U.S. Agency for International Development (USAID) a juzgar por sus reportes de evaluación (OECD 1986).
El estado actual del monitoreo y evaluación en los países en desarrollo La evidencia disponible sugiere que una proporción significativa de estos proyectos no llegan a alcanzar sus objetivos. De los 192 proyectos llevados a cabo por el Banco Mundial en 1985, un 20 por ciento aproximadamente tuvo resultados poco satisfactorios o inciertos (World Bank 1987:5). Los porcentajes de éxito han sido más bajos en los proyectos complejos llevados a cabo en países de bajos ingresos y en necesidad de una reforma social y económica, como en el caso de África. Tales porcentajes no llegan a alcanzar el 50%. (World Bank 1987:28)
Estas cifras no reflejan con fidelidad el desarrollo del proyecto, debido a que usualmente se refieren a la etapa de implementación del proyecto (en la cual se construye la infraestructura, se instala el equipo, y se establecen los sistemas del servicio). Poco se conoce acerca de qué tan bien pueden los proyectos brindar los servicios a través del tiempo y menos aún sobre hasta qué punto pueden los proyectos producir los impactos deseados. La necesidad de tal información ha crecido considerablemente en los últimos años debido a que los gobiernos y las agencias donantes están bajo gran presión de formular estrategias de desarrollo que contribuyan a objetivos amplios, tales como proteger el medio ambiente, aliviar la pobreza y mejorar la participación económica, social y política de la mujer, lo cual requiere un claro entendimiento de las complejas interacciones entre un proyecto y su entorno. Como muchos gobiernos se están dando cuenta de que las limitaciones sobre sus recursos van en aumento, también se ven presionados a usar tales recursos eficientemente. En vista de estos problemas, se ha convertido en una necesidad que los gobiernos y agencias donantes aprendan tanto como sea posible de las experiencias pasadas para que los posibilite a identificar los tipos de proyectos y sistemas que tienen más posibilidades de éxito y los factores que más contribuyen al mismo. Como resultado, se está dando más atención al seguimiento y evaluación (SyE), de hasta qué punto el desarrollo de los proyectos es costo-efectivo y logra sus objetivos. Afortunadamente, la necesidad de mejores sistemas de seguimiento y evaluación viene en un momento cuando las naciones industrializadas han hecho grandes avances en la teoría y práctica de la evaluación de programas. En los Estados Unidos y en otras naciones industrializadas, la evaluación de programas está emergiendo como una ciencia social independiente y como una disciplina de la administración. Desde el inicio de los años 70 se ha convertido en una práctica estándar en los Estados Unidos, monitorear y evaluar la mayoría de los proyectos federales y financiados por el estado, y los resultados de estas evaluaciones son ampliamente analizadas por personas de apoyo y oponentes de los mismos (Chelismsky 1988; Rossi y Freeman 1993; Wholey 1979). La General Accounting Office publica más de una evaluación de programa al día en los Estados Unidos, muchas de las cuales influyen sobre las decisiones presupuestarias y la formulación de nuevos programas (Chelimsky 1987).
1
La creciente presencia de los especialistas en evaluación se puede notar en sus publicaciones, en organizaciones profesionales tales como la Asociación Americana de Evaluación -AEA- (que actualmente cuenta con más de 2500 miembros) y en el número de cursos sobre seguimiento y evaluación (ofrecidos en al menos cuarenta y seis universidades en los Estados Unidos). En la opinión de muchos practicantes de la evaluación, se han hallado soluciones satisfactorias a los problemas básicos de evaluación, diseño y análisis, al menos para países como los Estados Unidos. Es posible producir evaluaciones metodológicamente relevantes y útiles en cuanto a su operacionalización para un amplio margen de programas de desarrollo. Rossi y Wright (1984:3320 concluyeron lo siguiente en una investigación de desarrollo: El campo de la investigación sobre la evaluación está comenzando a alcanzar niveles más altos de logro intelectual, es decir, coincide con las publicaciones de las mejores investigaciones sobre evaluación de las décadas prósperas. El desarrollo en las técnicas y en la metodología parecen prometer elevar la calidad no solo de las evaluaciones sino también de otras áreas de investigación social. Los evaluadores han aprendido cómo conducir experimentos de campo en forma exitosa y como analizar los datos obtenidos, así como también han comenzado a brindar soluciones a algunos de los más serios problemas de validez de las investigaciones no experimentales.
Quizás cerca de 100 países en vías de desarrollo llevan a cabo algún tipo de seguimiento y evaluación. Tales actividades van desde sistemas de evaluación nacional en países como India y Malasia hasta el monitoreo básico de ciertos proyectos en muchos países de Africa y el Medio Oriente. Los sistemas nacionales en Sur Asia (Ver tabla 1-1) tienen una agencia central o más, responsable por la coordinación y síntesis de los datos monitoreados (y de los evaluados aunque son menos frecuentes), los cuales son tomados de los principales proyectos (Amhed y Bamberger 1989; Khan 1989). Muchos de estos países también están desarrollando redes nacionales de SyE para aumentar su capacidad de recolección de datos y análisis.
Mucho del ímpetu original detrás del esfuerzo hacia el monitoreo y evaluación en países en desarrollo vino de las organizaciones de ayuda internacionales, la mayoría de las cuales requieren al SyE como parte de sus proyectos. La Organization for Economic Co-operation and Development (OECD 1986) ha estimado que una agencia donante promedio conduce de 10 a 30 evaluaciones al año mientras que USAID y el Banco Mundial conducen cerca de 250 al año (Baum y Tolber 1985). Las agencias internacionales han tenido un efecto tanto positivo como negativo en la forma en que los sistemas de SyE han evolucionado y son usados en países en desarrollo.
Tabla 1-1 Organización y Funciones de las Agencias Centrales de Monitoreo y Evaluación en Sur Asia (a Dic 1997) Bangladesh
La División de la Implementaron, Seguimiento y Evaluación (IMED por sus siglas en ingles) se estableció en 1984 bajo la Comisión de Planeamiento como el sucesor de una Unidad anterior. Es responsable por el monitoreo físico y financiero de todos los proyectos de desarrollo y retroalimentación para dirigir a los ministerios. Se centra en el monitoreo de la implementación. Las empresas públicas están monitoreadas por otra agencia.
India
La Project Monitoring Division del Ministerio de Implementación de Programas (MOPI por sus siglas en inglés) se estableció en 1985 para monitorear megaproyectos (con costos superiores a los 200 millones de rupias) así como también el programa del primer ministro sobre erradicación de la pobreza. El Management Information Division y otras de la comisión de planeamiento monitorean todos los proyectos patrocinados. El Programme Evaluation Organization de la Comisión de Planeamiento evalúa los programas sociales.
Nepal
El Programme Division de la Comisión Nacional de Planeamiento monitorea los proyectos importantes a nivel nacional. El Program Budgeting and Motitoring Cell del Ministerio de Economía prueba los sistemas que pueden usarse para monitorear tanto el progreso físico y financiero de todos los proyectos principales.
Pakistán
El Project Wing de la Comisión Nacional de Planeamiento mantiene su mirada en el progreso financiero y físico de los proyectos nacionales promovidos por el Programa Nacional de Desarrollo y
2
monitorea muy de cerca de ciertos proyectos seleccionados. Las empresas públicas de manufactura son monitoreados a través de un sistema de evaluación de desempeño del Experts’Advisory Cell del Ministerio de Producción. La Auditor General’s Office está desarrollando un sistema de evaluación de desempeño. Sri Lanka
La Progress Control Division del Ministerio de Implementación de Planes ha sido responsable desde 1986 por el monitoreo de cerca de 140 proyectos y programas y por desarrollar indicadores de progreso físico. Ciertos programas más importantes como el Mahaweli Irrigation Authority tienen su propio sistema de SyE.
Un pequeño pero creciente número de países han comenzado a usar SyE para el control de sus proyectos, planeamiento financiero y análisis de políticas (estos países incluyen a Chile, Colombia, Brasil, India y Malasia). El Banco Mundial, entre otros, está ayudando a los países seleccionados a desarrollar esta capacidad a través de su Evaluation Capability Development Program (World Bank 1991ª:12). Sin embargo, la OECD concluye que, con excepción de un pequeño número de países, “el interés en la evaluación tiende a ser más fuerte entre aquellos que buscan recursos que entre aquellos que los usan”. Cuando se aplica de manera apropiada, la información obtenida en los estudios SyE puede resultar útil, en al menos en cuatro formas, para los gerentes y hacedores de política. Primero, puede ayudar a un país a desarrollar métodos para identificar y seleccionar proyectos y programas, asegurando que tales esfuerzos serán consistentes con los objetivos nacionales de desarrollo, que tendrán una buena posibilidad de éxito y que se utilizara la mejor estrategia de costo-efectividad para lograr los objetivos. En segundo lugar, los estudios SyE pueden determinar si el proyecto está siendo implementado de forma eficiente; si ofrece respuesta a las preocupaciones de los beneficiarios. Asimismo, se detectará los problemas potenciales tan pronto como sea posible, para corregirlos. En tercer lugar, el SyE mide si los proyectos y programas están logrando sus objetivos económicos y sociales y si están contribuyendo a los objetivos nacionales y sectoriales de desarrollo. Por último, los estudios evaluativos, pueden determinar el impacto de los proyectos en el marco de objetivos más amplios de desarrollo tales como: la protección del medio ambiente y el manejo de los recursos naturales; el alivio a la pobreza y la provisión, a las mujeres, de participación económica, social y política en todos los aspectos del desarrollo. Los ejemplos dados a lo largo de este libro, ilustran cómo los estudios de SyE se usan en países en desarrollo en sectores sociales distintos y en varias regiones geográficas. A pesar el creciente énfasis en sistemas nacionales de SyE, el foco en estudios en este campo, tiende a ser limitado. Asimismo, en la mayoría de los países en desarrollo, la información es sub-utilizada y la contribución al manejo del proyecto y planeamiento nacional de desarrollo resulta limitada. Una gran porción de recursos del SyE se destinan al monitoreo de la implementación física y financiera de grandes proyectos, en tanto que se presta poca atención a valorar la sostenibilidad de los mismos; la calidad de los proyectos de desarrollo social; la distribución de los beneficios del proyecto entre varios grupos socioeconómicos y regiones geográficas; la medida en que los proyectos han alcanzado los impactos previstos; y los efectos que las estrategias de desarrollo han tenido en el medio ambiente. Asimismo, tampoco se han aplicado, en otros países, los aportes que sobre metodologías de evaluación se han alcanzado en los Estados Unidos. La sección F descubre algunos de los problemas organizacionales, gerenciales y metodológicos que afectan el diseño, la implementación y uso del seguimiento y de la evaluación en los países en desarrollo.
El estado actual de la evaluación de programas sociales Tal y como se mencionó anteriormente, los programas sociales se entienden como el amplio rango de programas diseñados para mejorar la calidad de vida por medio del mejoramiento de la capacidad de los ciudadanos para participar, plenamente, en actividades sociales, económicas y políticas, tanto a nivel local como nacional. Los programas se pueden poner el foco en mejorar la condición física (salud, nutrición); proveer acceso a servicios (vivienda, agua, transporte); proteger a los grupos más vulnerables de las adversidades provenientes de reformas económicas y ajustes estructurales; proveer educación, alfabetismo, empleo y oportunidades para la generación de ingresos (entrenamiento vocacional y técnico, crédito, desarrollo rural integrado, pequeña empresa).
3
Otros programas pueden focalizarse directamente en "empoderamiento" por medio del fortalecimiento de organizaciones comunales, motivación de las mujeres para su participación en actividades de desarrollo o en el alivio de la pobreza. Las agencias de desarrollo difieren en su percepción de la naturaleza y de los objetivos de los programas sociales y de como éstos se comparan con los programas convencionales de inversión de capital. Esta diferenciación en las perspectivas, determina como la evaluación de programas sociales es enfocada. Por ejemplo, algunas agencias donantes consideran la salud y la educación como una inversión en capital humano y evalúan ex - ante, diseñan y monitorean tales proyectos casi de la misma manera como manejan un proyecto de inversión de capital. Tales agencias asumen que ciertos aspectos definidos con precisión por medio de una metodología particular de implementación, producirán resultados predeterminados que generarán mejoras medibles en indicadores de capital humano como: logros educacionales; ganancias en el mercado laboral; tasas de mortalidad, etc. Un proyecto educacional sería evaluado ex -ante, con base en su tasa interna de retorno y tendría un cronograma de implementación fácil de monitorear. Este mismo enfoque podría usarse para un proyecto en salud, aunque su evaluación ex - ante se haría tal vez usando un análisis de costo-efectividad antes que la tasa interna de retorno. Sin embargo, tal y como se discutió en el capítulo 4, en sólo un pequeño número de casos, son definidos y usados, con claridad, lo indicadores de resultados e impactos en proyectos de educación y salud. La evaluación tiende a concentrársenos en los insumos o en los posibles resultados físicos. Un segundo enfoque adoptado por muchos gobiernos, por agencias de las Naciones Unidas, organizaciones bilaterales y organizaciones no gubernamentales (ONGs) se basa en el concepto de que los rubros como alfabetismo, salud primaria, vivienda y agua potable, son derechos humanos básicos que no requieren de justificaciones económicas. Las evaluaciones, si se conducen, tienden a enfocarse en el costo-efectividad de los sistemas de distribución y en el acceso a estos servicios por parte de los grupos meta. Evaluaciones rigurosas, sobre los impactos, son raramente llevadas a cabo porque los programas no están justificados con base en un impacto económico determinado. Los enfoques arriba citados son “supply-driven”, lo cual quiere decir que el gobierno o el donante decide qué servicios debe recibir la población y cuáles son sus necesidades básicas. Un tercer enfoque –adoptado por muchas ONGs, donantes bilaterales, UNICEF y recientemente por el Banco Mundial, se basa en que el objetivo principal del desarrollo social debiera ser el de apoyar a comunidades indígenas o grupos no privilegiados (como mujeres, campesinos sin tierras, personas sin hogar) a desarrollar la capacidad de organización y el conocimiento requerido para identificar y satisfacer sus propias necesidades. Los objetivos de muchos proyectos sociales y programas involucran aspectos como: el desarrollo de capacidades locales sostenibles; la promoción de la participación; la concientización y la motivación de estrategias de auto-ayuda. Cómo se pueden medir estos objetivos? Cuáles son los propósitos de evaluar este tipo de proyectos? Son acaso las evaluaciones de estos proyectos diferentes de la de aquellos proyectos más convencionales? En tanto estamos frente a estrategias de desarrollo que son diferentes de aquellas que enfatizan la producción, se requieren de nuevas técnicas y métodos de evaluación. Estamos frente a un marco cambiante de relaciones entre actores que están involucrados en los procesos de desarrollo. Asimismo, frente a un ambiente social y científico cambiante, en donde las ideas ortodoxas, asociadas con los principios de desarrollo económico liberal del Norte, ya no pueden ser sostenidas. Se están negociando nuevas formas para analizar el valor, y nuevas metodologías que permitan entender (de forma mas apropiada) la efectividad de las intervenciones en nombre del desarrollo social (Marsden y Oackley 199:1-2)
Dada la gran diversidad de programas de desarrollo social y la amplia gama de objetivos y de orientaciones sociales y políticas de las organizaciones involucradas, no existe una forma estándar de evaluar los programas mencionados arriba. Cierta flexibilidad será siempre deseable. Esta emergiendo un numero considerable de nuevos preceptos y aunque algunos han desatado controversia, rápidamente están ganando apoyo. A estos se les brinda una mayor atención en este libro. En primer lugar, muchas autoridades reconocen que los principales actores, en particular los supuestos beneficiarios (así como también grupos que pueden verse afectados como resultado del proyecto) deben estar activamente involucrados en la identificación, seguimiento y evaluación del proyecto. Las metodologías de
4
Beneficiary assessment (evaluación del beneficiario) usadas desde hace mucho tiempo por ONGs, están siendo ahora adoptadas por agencias internacionales (Salmen 1987, 1992). La metodología de beneficiary assessment es una herramienta gerencial orientada a mejorar la calidad de las operaciones de desarrollo. Este es un enfoque para la recolección de información, el cual estudia el valor de una actividad tal y como es percibida por sus principales usuarios. El enfoque es cualitativo en tanto que derivar el análisis sobre la base de una experiencia compartida y de observación. Asimismo, otorga prioridad al punto de vista de las otras personas. En tanto que el Banco Mundial y otras agencias comprometidas en desarrollo, buscan mejorar sus intervenciones, un indicador clave será cómo el cliente meta o supuesto beneficiario percibe el valor de su trabajo, proyecto o política, en relación a como su vida es afectada. La iluminación de este cliente/usuario, a través de sus apreciaciones, es el objetivo primario del benericiary assessment” (Salmen 1992:1)
Hasta hace poco, el beneficiary assessment se dirigía, principalmente, a los beneficiarios de bajos ingresos. Sin embargo, en la actualidad, estos métodos se están usando para entender mejor las perspectivas de otros grupos de interés como agencias gubernamentales y proveedores de servicios privados. La evaluación del impacto ambiental, es probablemente el área en donde las opiniones de todos loa actores se encuentran sistemáticamente entrelazadas. En segundo lugar, la evaluación de impacto social (llamada también análisis social) se usa antes del inicio o durante la implementación de los proyectos, para evaluar como los diferentes grupos sociales y económicos serán afectados por el proyecto o el programa (Asian Development Bank 1991; Ingersol 1990). Una de las áreas en las que se ha incrementado el uso de la evaluación de impacto social, es en el análisis del género (Asian Development Bank 1991; Maya Tech Corporation 1991; Overholt y otros 1985). Muchas agencias multilaterales y bilaterales actualmente demandan análisis de género y algunas veces análisis mayores de impacto social. Esto como parte de las actividades de programación, o como parte del proceso de aprobación del proyecto. En tercer lugar, se han hecho esfuerzos para fortalecer el uso de métodos cualitativos en la evaluación de programas internacionales de desarrollo y; por lo tanto para romper con los enfoques convencionales de evaluación basados en indicadores cuantitativos. Aunque ya se evidencian avances significativos, aún no se han resuelto las diferencias entre los defensores de ambos enfoques. Como resultado, pocos han sido los estudios de evaluación que han logrado integrar ambos enfoques. Aún queda mucho trabajo por hacer para lograr que los operadores de proyectos que emplean evaluaciones convencionales cuantitativas, acepten métodos cualitativos. En cuarto lugar, se evidencia un creciente interés en procedimientos de evaluación rápidos (también conocidos como Rapid Social Assessment o Rapid Rural Appraisal), los cuales son más costo –efectivos que la mayoría de los otros métodos. Asimismo, más correspondientes con los ambientes socioculturales de los proyectos (Kumar) En quinto lugar, existe presión por evaluaciones más "holísticas" que hagan posible entender la compleja interacción entre un proyecto y el medio ambiente social, cultural, político y económico en el que esta inserto (Marsden y Oakley 1990) Aunque ya se han logrado avances en estas áreas, la evaluación de los programas sociales no se ha integrado totalmente dentro de los sistemas SyE desarrollados en la mayoría de los países en desarrollo. Al mismo tiempo sin embargo, las ONGs están desempeñando un papel muy importante en la ejecución y evaluación de programas sociales. Muchos creen que las ONGs pueden contribuir a una perspectiva de evaluación con un mayor énfasis en enfoques holísticos y métodos cualitativos (ACVAFS 1983; Marsden y Oakley 1990). Sin embargo, estos nuevos enfoques han tenido hasta ahora muy poco impacto sobre la forma en que los gobiernos y las agencias internacionales evalúan los programas sociales. Por estas razones, las metodologías y sistemas para evaluar programas sociales no se han desarrollado en el mismo grado o tan sistemáticamente como los llamados métodos convencionales de evaluación.
5
Un marco de trabajo para el monitoreo y evaluación para países en desarrollo Esta sección presenta un marco de trabajo para describir varios métodos de monitoreo y evaluación en países en desarrollo. Las definiciones que se usarán, son consistentes con la mayoría de las principales publicaciones existentes en este campo. Se indica, asimismo, las pocas áreas en las que se difiere de las fuentes bibliográficas. También se establece como éstas difieren entre ellas mismas. En tales casos la opinión divergente se presenta al pie de página. Las fuentes principales usadas en esta comparación son Casley y Kumar (1987), United Nations ACC Task Force on Rural Development (1984), Rossi y Freeman (1993) y OECD (1986). El seguimiento es una actividad gerencial interna, cuyo propósito es determinar si los programas han sido implementados tal y como fueron diseñados. En otras palabras, busca determinar si los recursos han sido movilizados según lo planeado y si los servicios o productos fueron entregados a tiempo. Nos referimos al primero como monitoreo de insumos (input monitoring) y al segundo como monitoreo de resultados (output monitoring). En palabras más formales, el seguimiento es Una actividad gerencial permanente e interna cuyo propósito es asegurar que el programa logre sus objetivos dentro de un cierto cronograma y presupuesto. El seguimiento implica la provisión de una retroalimentación continua y regular sobre el progreso en la implementación del programa y sobre los problemas ocurridos durante esta etapa. El seguimiento incluye en actividades operacionales y administrativas que dan seguimiento a la adquisición y distribución de los recursos, producción o entrega de servicios y récords de costos.
En contraste, la evaluación puede ser llevada a cabo, dentro de la agencia de implementación del proyecto o por una organización externa. La evaluación puede ser utilizada para evaluar y mejorar el desempeño de proyectos o programas ya concluidos ( evaluación del impacto y evaluación de la eficiencia). Con la finalidad de evaluar la pertinencia de métodos de diseño e implementación, la información es recolectada durante la implementacion del proyecto (por medio de estudios de diagnóstico o evaluaciones de procesos). Los estudios de diagnóstico se basan en el seguimiento de un problema real o potencial que ha sido identificado por el seguimiento de insumos o de resultados. Por ejemplo, el gerente puede requerir un estudio de diagnóstico cuando un reporte de seguimiento ha mostrado que pese a lo previsto, solo un pequeño número de familias solicitan viviendas; que existe un porcentaje menor de mujeres que de hombres asistiendo a una nueva escuela primaria; o que la tasa de retorno de los créditos es muy baja. Los resultados de un programa se miden por el grado en que logra sus objetivos, por otros impactos que produce, por el costo-beneficio y por sus productos. Asimismo, por los problemas ocasionados por la mala calidad de la implementación, por no haber alcanzado los objetivos propuestos. Podemos entonces definir evaluación como una actividad gerencial interna o externa que tiene como propósito asegurar la pertinencia del diseño de un programa de sus métodos de implementación para lograr tanto objetivos específicos como generales. Asimismo, para evaluar los resultados del programa, previstos como no previstos y para analizar los factores que afectan el nivel y la distribución de los beneficios producidos
Surge una pregunta importante concerniente a la relación seguimiento y evaluación. Aunque es costumbre referirse a los dos juntos (como en el término SyE) muchas agencias de ayuda y de implementación de proyectos los perciben como actividades distintas conducidas por agencias separadas y con objetivos también diferenciados. Casley y Kumar (1987:8) apoyan esta división: “Son el seguimiento y la evaluación funciones diferentes, que sirven a usuarios distintos como para que sean consideradas independientes? La respuesta a esta pregunta, a la luz de las definiciones dadas, es positiva. De aquí que no aprobemos el uso del acrónimo universal ‘S&E’ ya que implica que estamos trabajando con una sola función.” Cuando las dos funciones se mantienen por separado, sin embargo, pareciera que hubiera apoyo suficiente para el seguimiento pero un apoyo limitado para la evaluación. La evaluación se le da mucha menos prioridad porque es vista como una actividad que sería recomendable apoyar siempre y cuando el tiempo y los recursos lo permitan, lo cual, desafortunadamente, ocurre muy raras veces. Como resultado, se han hecho muy pocos esfuerzos por evaluar hasta qué punto los proyectos han logrado sus objetivos o usado la experiencia de otros proyectos concluidos para mejorar la selección y diseño de otros futuros.
6
En contraste con el planeamiento anterior, la mayoría de la literatura sobre evaluación en los Estados Unidos asume el seguimiento y la evaluación como íntimamente relacionados y con frecuencia se usa el término “evaluación de programas” para referirse tanto al seguimiento como a la evaluación, como en el trabajo de Hatry, Winnie y Fisk (1981:4): “La evaluación de programas es el examen sistemático de un programa gubernamental específico, orientado a proveer información sobre todo el rango de efectos producidos, tanto de corto como largo plazo. Aun cuando la evaluación de un programa puede incluir medida sobre volúmenes de trabajo, procedimientos operativos o personal, su énfasis principal está en la medición del impacto del programa”. Esta opinión también la comparten Morris y Fitz-Gibbon (1978), Rossi y Reeman (1993) y Wholey (1979). En los Estados Unidos, algunas organizaciones como el General Accounting Office (Chelimsky 1987,1988) alientan la integración del seguimiento y de la evaluación por medio de la creación de bancos de datos de ambos campos, para la evaluación de impactos potenciales sobre programas nuevos (evaluación prospectiva) En estudios sobre países en desarrollo, Freeman, Rossi y Wright (1979) usan el término “seguimiento y evaluación de proyectos" para enfatizar los vínculos entre ambos campos. Middleton, Terry y Bloch (1989:38) buscan integrar ambos sistemas con “una capacidad central y con fuertes vínculos verticales para mediar entre unidades administrativas y escuelas”. EL grupo de trabajo, ACC Task Force de la NNUU (1984) también promueve un sistema integrado como se refleja en su constante uso del acrónimo ‘S&E’. De la misma manera, creemos que el monitoreo y la evaluación deben considerarse partes complementarias de un sistema integrado. La evaluación tiene mucho que ver tanto con las lecciones derivadas de la implementación del proyecto como con el nivel de los impactos logrados. Consecuentemente, la evaluación debe llevarse a cabo tanto en forma continua como periódica, desde la formulación del proyecto, hasta la implementación y la fase operativa. Asimismo, el seguimiento alimenta el sistema nacional de SyE para lograr una base de datos nacional que pueda ser usada para mejorar la selección y diseño de futuros proyectos. Por lo tanto el acrónimo SyE es utilizado a lo largo de este libro, excepto en los casos en que sea necesario referirse específicamente o al seguimiento o la evaluación. Estamos conscientes, por supuesto, que las limitaciones en los recursos fuerzan a muchos países a concentrarse en el seguimiento de los proyectos y frente a prohibitivas evaluaciones sistemáticas. Pero, también hay muchos países en donde se rechaza la evaluación, no por limitaciones de recursos sino porque ésta es poco entendida. Tal y como se plantea en este libro hay métodos simples y económicos ahora disponibles para evaluar impactos de los proyectos y muchos de estos métodos pueden usarse en países con un limitado expertizaje en evaluación o escasos recursos financieros.
El seguimiento y la evaluación al nivel de proyecto Los estudios de monitoreo y evaluación pueden ser conducidos al nivel de proyecto, sectorial, o nacional. Esta sección discute los usos de S/E en el ámbito de proyecto. Las aplicaciones en los niveles sectoriales y nacionales se discuten en los capítulos 2,4,6,8 y 12. Baum y Tolber (1983:333 definen un proyecto como “un paquete discreto de inversiones, políticas, instituciones y otras acciones, diseñados para lograr un objetivo específico de desarrollo (o un conjunto de objetivos) dentro de un período determinado”. Aunque esta definición es satisfactoria para los proyectos de inversión y de desarrollo económico, es menos adecuada para la mayor parte de proyectos sociales y programas. En el caso de programas sociales, los objetivos deben ser definidos, al menos parcialmente por los beneficiarios a medida que el proyecto evoluciona. Debido a esto y dependiendo del período en el que el proyecto o programa será implementado, se requerirá de mucho mayor flexibilidad. El concepto de proyecto ha evolucionado desde las actividades de las agencias internacionales y de su preocupación de que su ayuda financiera sea usada para lograr objetivos específicos y monitoreables, dentro de un cierto tiempo dado. Los proyectos generalmente pasan por siete etapas (ver figura 1-1) y los sistemas de S/E deberán proveer la información que los encargados del proyecto, implementadores y gerentes requieren en cada etapa. Asimismo deberán ayudar a determinar si un proyecto ha sido implementado según lo planeado, qué problemas deben resolverse, qué impactos previstos o imprevistos han ocurrido; y qué lecciones pueden ser aprendidas para la selección y diseño de futuros proyectos (ver capítulo 2)
7
Etapa 1: Identificación y preparación Antes de que los proyectos sean identificados, los gobiernos –con frecuencia en conjunto con agencias internacionales- definen sus estrategias de desarrollo nacional y sectorial. Algunos países preparan planes a cinco años plazo, mientras otros lo hacen a más corto plazo. En muchos países la estrategia de largo plazo es equivalente a planes de desarrollo anual (ADP) por sus siglas en inglés). Estas estrategias y planes proyectan los recursos nacionales e internacionales que se requieren para nuevos proyectos de desarrollo, analizan la disponibilidad de estos recursos e identifican prioridades sectoriales. Figura 1-1 El ciclo de manejo de un proyecto
Identificación y preparación
Evaluación ex−ante, selección y negociación
Planeamiento y diseño
Implementación
Evaluación de la implementación y transición hacia las operaciones
Manejo de las operaciones y estrategias de sostenibilidad.
Identificación de un nuevo proyecto
Debe hacerse una valoración preliminar de cada uno de los proyectos para determinar su potencial viabilidad. Esto sobre la base de criterios económicos, financieros, técnicos, institucionales, sociales, de pobreza, medio ambiente y de género (ver lista de chequeo en el capítulo 2, cuadro 2-3). Etapa 2: Evaluación ex−ante, selección y negociación del proyecto Esta etapa evalúa la factibilidad económica, financiera y técnica del proyecto. Muchas agencias de cooperación conducen análisis económicos (ver capítulo 2) y calculan la tasa interna de retorno (TIR) para determinar si el proyecto alcanzará una TIR mínima aceptable en relación con los recursos invertidos (Gittinger 1982:314)
8
Los métodos convencionales de evaluación ex−ante generalmente sufren variaciones para su aplicación en programas sociales. Los análisis de género, evaluaciones de impacto social y de impacto ambiental se encuentran dentro de os nuevos enfoques analíticos que se discuten en este libro.
Etapa 3: Planeamiento y diseño del proyecto Una vez que el proyecto ha sido aprobado, la atención recae en el planeamiento y el diseño. En esta etapa se desarrollan seis actividades. En primer lugar, se recoge información para definir la población meta, Segundo, se identifican los problemas que el proyecto resolverá o aliviará. Tercero, se formulan los propósitos y objetivos del proyecto. Los propósitos se refieren al cambio social que se espera lograr. Por ejemplo, un propósito de la Organización Panamericana de la Salud era erradicar la polio del hemisferio occidental en 1991. Los objetivos se refieren a la magnitud de los resultados esperados por determinado proyecto, expresados en términos cuantitativos. Siguiendo con el ejemplo anterior, un objetivo de la OPS sería brindar tres dosis de vacuna contra la polio al 80% de los niños en Haití, durante su primer año de vida. En cuarto lugar, se toman decisiones acerca de la duración y secuencia de cada etapa. Quinto, se seleccionan los métodos más eficientes de formulación y entrega de servicios, y por último, se recoge información adicional para formular un modelo de programa que sea capaz de producir el cambio social deseado en la población meta. Ya sea en forma explícita o no, cada proyecto incluye supuestos acerca de: i) las formas en las que la población meta responderá al mismo, ii) la efectividad relativa de diferentes métodos de implementación, iii) las formas en que el proyecto puede afectar y verse afectado por el medio ambiente social, económico y político bajo el que opera. Para diseñar e implementar un programa de seguimiento y evaluación, el evaluador debe trabajar en conjunto con los diseñadores del programa y los gerentes para desarrollar, las expectativas y supuestos del proyecto dentro de un modelo esperado. Esto incluye, entre otras cosas, cómo se prevé la evolución del proyecto y cómo será afectado por el medio ambiente social, económico y político en el que opera y cómo los presuntos beneficiarios responderán al mismo. Este modelo se discute en el capítulo 3. Para efectos prácticos, se puede definir un modelo como una intervención planificada, basada en teorías explícitas, acerca de cómo lograr cambios sociales o reformas y por qué debieron esperarse tales cambios. Un modelo de un programa social debería explicitar cómo es que distintos insumos conducirán a determinados impactos. Por lo tanto, un modelo es una hipótesis probable acerca de si un proyecto será rechazado o reivindicado.
Etapa 4: La implementación del proyecto De acuerdo con Baum y Tolbert (1985:834), “la etapa de implementación cubre el desarrollo del proyecto, hasta el momento en que éste se operacionaliza por completo. Incluye el seguimiento de todos los aspectos de los trabajos de las actividades en desarrollo; y la supervisión de éstas por parte de agencias nacionales especiales o donantes externos”. En el caso de muchos proyectos, lo anterior se traduce en la construcción de infraestructura física (caminos, sistema s de irrigación, escuelas) y la adquisición de plantas y equipos. Para otros, involucra capacitación, diseño y evaluación de programas educacionales experimentales, asimismo como el desarrollo de sistemas de salud y programas de crédito. La implementación del proyecto involucra un cierto número de fases, actividades y decisiones: •
Se deban tomar decisiones con respecto a la organización del proyecto, la agencia que lo dirigirá, la institución que lo ejecutará, otros organismos involucrados y los sistemas de coordinación del mismo. Otra decisión importante se refiere a la participación de los beneficiarios del proyecto en el planeamiento, implementación y manejo del mismo.
•
Los recursos financieros, materiales y humanos requeridos para el proyecto deberán ser adquiridos y movilizados. Debido a que los procedimientos para las adquisiciones y para la contratación de asistencia técnica que son complejos y probablemente extraños para los prestatarios, esta fase tiende a devenir en excesos en los costos y demoras que pueden afectar la calidad y mantenimiento del equipo
9
•
Se deben construir edificaciones e instalar los equipos
•
Se deben seleccionar e implementar los métodos más efectivos de entrega de servicios
•
Se debe supervisar la implementación física y la entrega de servicios. Asimismo se debe establecer un sistema de control financiero para todos los aspectos de la implementación del proyecto.
La figura 1-2 muestra una forma simplificada de un modelo de implementación del proyecto. Indica también los componentes principales a tener en cuenta durante el seguimiento y la evaluación de insumos, estrategias, resultados e impactos. Para los propósitos del seguimiento y evaluación, es conveniente utilizar una definición simple de lo que es la implementación de un proyecto: •
La implementación se refiere a la transformación de insumos a través de una serie de sistemas técnicos y organizacionales y de procedimientos que producen un volumen y calidad específicos en los resultados del proyecto.
Figura 1-2 Modelo simplificado del proceso de implementación del proyecto.
Insumos
Estrategias
Resultados Impactos
Tabla 1-2 Contexto en que el seguimiento de insumos y resultados ocurre
Preguntas en la mente de los clientes •
Están los recursos financieros a tiempo? Cuál es la causa de los atrasos?
•
Se ajustando el sistema de adquisiciones de equipos y materiales al cronograma y al presupuesto? Cuál es la causa los atrasos y de los costos adicionales?
•
Qué problemas se presentan en la contratación, capacitación y retención del personal?
•
Cómo es que los retrasos en la implementación afectan los desembolsos externos?
Tipos de estudios •
Gráficos Gantt
•
Marco lógico
•
Sistemas en red para el seguimiento físico y financiero
Oportunidad de los estudios •
Reportes mensuales o trimestrales, desde el inicio hasta el final de la implementación
Modo de empleo de los estudios •
Los reportes de avance son discutidos en reuniones de evaluación. Se discuten e identifican los retrasos, costos adicionales y se identifican problemas afines.
10
•
Pueden requerirse estudios de seguimiento si las razones de los retrasos no están claras
•
La información se envía a agencias centrales y financieras en donde es agregada a otros reportes para brindar un panorama global de la condición de todos (o de los principales) proyectos de desarrollo
•
Los insumos son los recursos financieros, humanos y materiales disponibles para implementar el proyecto según lo planeado
•
Los resultados son los servicios o productos que un proyecto entrega a una población meta para producir los impactos esperados.
La tabla 1-2 indica el contexto en que los estudios de S/E de insumos y de resultados se llevan a cabo. Las siguientes son algunas preguntas que los clientes pueden formular: Están los recursos financieros a tiempo? Se ajusta el sistema de adquisiciones de equipos y materiales al cronograma y al presupuesto? Existen excesos en los costos? .Cuando los proyectos cuentan con recursos externos, es probable que los ministerios quieran saber en qué forma los retrasos afectarán los desembolsos futuros.
Los informes de seguimiento son discutidos en reuniones gerenciales. En éstas se presta atención a los retrasos, costos adicionales y otros tipos de problemas. Los estudios de seguimiento non para obtener retroalimentación sobre las causas y posibles soluciones a problemas identificados. La tabla 1-3 indica el contexto en el que se llevan a cabo los estudios de diagnóstico.
Tabla 1-3 Contexto en que se llevan a cabo los estudios de diagnóstico
Preguntas en la mente de los clientes •
Cómo reaccionarían los beneficiarios al proyecto propuesto y a sus distintos componentes?
•
Por qué ciertos componentes del proyecto se encuentran atrasados o incurren en costos adicionales?
•
Por qué se presentan grandes diferencias entre comunidades en los intereses sobre los préstamos y en los cargos por servicios?
•
Qué impactos tiene el proyecto en distintos grupos? Quién se beneficia y quien no? Han resultado algunos grupos afectados como consecuencia del proyecto?
Tipos de estudios •
Observación participante
•
Encuestas rápidas
•
Observación directa
•
Entrevistas con informantes clave
Oportunidad de los estudios •
Durante la identificación y diseño del proyecto
•
Durante la implementación, cuando los problemas han sido identificados por los reportes de seguimiento
•
Estudios continuos para proveer constante retroalimentación sobre la actitud de los beneficiarios
11
•
Estudios ad hoc llevados acabo cada vez que la gerencia requiera un mayor entendimiento sobre determinados aspectos del proyecto.
Modo de empleo de los estudios •
Durante la identificación del proyecto, los estudios ayudan a identificar componentes y servicios de interés para los beneficiarios. Así como también las comunidades que respondan favorablemente al proyecto.
•
Durante la implementación se examinan los problemas y se recomiendan soluciones. Se obtiene una constante retroalimentación de los beneficiarios y se hacen ajustes en la implementación y en la entrega de servicio del proyecto. Se obtiene asimismo, retroalimentación sobre grupos dejados por fuera o afectados en forma negativa, y se procede a hacer los ajustes necesarios.
Etapa 5: La evaluación de la implementación del proyecto y la transición a las operaciones Una vez completada la implementación del proyecto, la mayoría de las agencias donantes y las de los gobiernos piden un reporte final que describa y evalúe cada uno de sus componentes. En este punto se toman decisiones sobre se manejará la fase operativa del proyecto. La evaluación ayuda a las autoridades a decidir cómo es que la la operacionalización del proyecto será manejada. Idealmente, la transición a las operaciones deberá haber sido planeada al inicio del proyecto. Pero tal y como se explicó en el capítulo 6, a esta fase se le presta muy poca atención hasta el momento en que la etapa de implementación está a punto de finalizar. La tabla 1-4 muestra el contexto en que los estudios son conducidos para evaluar la eficiencia con la que los resultados e impactos son producidos. Los resultados de los estudios se usan para seleccionar nuevos proyectos y para determinar cómo los beneficios son distribuidos entre los diferentes grupos socioeconómicos.
Etapa 6: Manejo del proyecto, operacionalidad y sostenibilidad Luego de la implementación, el proyecto puede continuar como una actividad independiente o puede ser absorbida por las operaciones generales del ministerio o agencia responsable. Si el proyecto cumple con los estándares de sostenibilidad (ver capítulo 6), se harán arreglos organizacionales y financieros para continuar con la entrega de servicios; para asegurar que la infraestructura, planta y equipo tendrán mantenimiento regular y para brindar asistencia técnica a las agencias y organizaciones formales e informales involucradas en el proyecto. Como se discutió en le capítulo 6, muchos proyectos no son capaces de mantenerse operando porque no pusieron atención a la sostenibilidad del mismo. A través de su continua operación, se espera que el proyecto produzca uno o más impactos (o resultados). Un impacto se define como el efecto (o efectos) esperado sobre cierta población meta. Los impactos pueden ser clasificados como de corto o largo plazo, dependiendo de cuándo ocurren y cuánto duran. Asimismo, se pueden clasificar en intermedios y finales, (dependiendo de los objetivos) o, en previstos y no previstos.
Tabla 1-4 El Contexto en el que los estudios para evaluar la eficiencia del proyecto sobre los resultados e impactos, se conducen
Preguntas en la mente de los clientes •
Cuánto cuesta producir cada resultado del programa?
•
Existen otras formas de producir los mismos resultados en forma más económica?
•
Cómo afectaría al costo-efectividad del proyecto una replicación del mismo a larga escala?
•
Podrían los resultados haber tenido un mayor impacto si se hubieran invertido en un proyecto distinto?
12
•
Cómo se distribuyen los beneficios de proyecto entre distintos grupos geográficos y sociales?
Tipos de estudios •
Estudios de costo-efectividad
•
Estudios de costo-beneficio (análisis económico)
Oportunidad de los estudios •
Durante la identificación y evaluación ex−ante del proyecto con el fin de determinar los costos y beneficios de proyectos alternativos.
•
Durante la preparación del reporte de finalización del proyecto
•
Cuando el proyecto ha estado en operación por varios años, con el fin de re-evaluar la tasa económica de retorno como un indicador de sostenibilidad del proyecto.
Modo de empleo de los estudios •
Ayudar en la selección de proyectos y de sistemas de entrega que ofrezcan mayor potencial para la obtención de resultados y beneficios a los menores costos
•
Valorar (antes de iniciar el proyecto) y evaluar (una vez concluido el mismo) la distribución de los beneficios.
•
Evaluar la sostenibilidad de proyectos en marcha
•
Mejorar la base de datos para la selección de nuevos proyectos.
La tabla 1-5 se refiere al contexto en los estudios de evaluación de impacto y las preguntas en la mente de los clientes, son formulados y realizados. Los resultados de los estudios de preliminares de impacto (llevados a cabo durante la fase de implementación) se usan para evaluar si los impactos serán logrados y beneficiarán a los grupos meta. Si las proyecciones no parecen muy positivas, se tomarán las medidas correctivas del caso. La mayoría de los estudios de impacto se llevan a cabo después de la operación de los proyectos. Sin embargo su propósito central es ayudar a mejorar la selección y diseño de futuros proyectos.
Tabla 1-5 Contexto en el que se llevan a cabo los estudios de evaluación de impactos Preguntas en la mente de los clientes •
Está el proyecto produciendo los beneficios propuestos?
•
Qué tan amplios son los beneficios?
•
Quién recibe los beneficios? Quién no los recibe?
•
Qué factores influyen el la variación de los impactos?
•
Cómo pueden aumentarse o estabilizarse los impactos?
•
Qué tan posible es que se produzcan impactos similares en otros proyectos similares?
13
Tipos de estudio •
Diseños quasi-experimentales rigurosos, con mediciones antes y después con un grupo de control seleccionado cuidadosamente.
•
Estudios de panel continuos
•
Evaluaciones de impacto rápidas y económicas
•
Evaluaciones cualitativas de impacto que usan la observación participante y técnicas relacionadas.
•
Estudios más amplios para evaluar los impactos ambientales
Oportunidad de los estudios •
Es posible hacer estimados preliminares del impacto durante la implementación del proyecto
•
Para los diseños quasi-experimentales será neesario tener una línea de base al inicio e idealmente varias repeticiones durante la implementación.
•
Pueden conducirse evaluaciones rápidas en cualquier momento siempre y cuando el proyecto haya entrado en su etapa de operación.
•
Puede entrevistarse regularmente a un panel de informantes durante la etapa de implementación y en los primeros años de operación del proyecto.
Modo de empleo de los estudios •
Los estudios preliminares de impacto se usan para evaluar si los impactos se lograrán o no. Se pueden tomar medidas correctivas con base en éstos.
•
Las evaluaciones cualitativas y los estudios de informantes pueden identificar en una etapa temprana a los grupos que no se estén beneficiando o a los que están siendo afectados negativamente por el proyecto.
•
El propósito central de los estudios de impacto es apoyar una mejor selección y diseño de futuros proyectos.
•
Los macro estudios se usan para monitorear los impactos ambientales y para tomar medidas correctivas a escalas locales, regionales o nacionales.
Etapa 7: Identificación de nuevos proyectos
Pocas veces se toma como base la información obtenida de los S/E al seleccionar y diseñar futuros proyectos. El capítulo 12 discute este tema y explica cómo se pueden crear bancos de datos para utilizar las lecciones aprendidas en proyectos anteriores.
Algunos problemas con los enfoques actuales para el monitoreo y la evaluación
En vista de la rápida proliferación de los sistemas de seguimiento y evaluación no es de extrañar que muchos de ellos hayan tenido dificultades de satisfacer las demandas puestas en ellos. Muchos sistemas de SyE han sido criticados por su ineficiencia y limitada utilidad. En algunos casos la información no llega oportunamente; no contesta las preguntas precisas; o es muy costosa. En otros, la atención se enfoca en ciertos aspectos cuantitativos y financieros de los proyectos, y la mayor parte de la información se refiere solamente al período de implementación física. Estos problemas pueden clasificarse en cuatro grupos principales, los cuales se describirán a través del presente libro.
14
Problemas organizacionales y políticos
Aunque las “políticas de evaluación de programas” han sido ampliamente discutidas en los Estados Unidos (Palumbo 1987) las dimensiones políticas de evaluación han sido largamente rechazadas en países en desarrollo. Demás esta decir que no se espera entender la dinámica de la evaluación de programas sin reconocer que muchas agencias de seguimiento y evaluación (CMEA por sus siglas en inglés) ejercen una influencia considerable sobre la asignación de recursos y sobre las decisiones concernientes al futuro de los programas que evalúan. Sin embargo, los CMEA son percibidos con frecuencia como una amenaza o como un recurso poderoso que necesita ser controlado (Bamberger 1988ª). Como resultado, los CMEA son cambiados constantemente de un ministerio o de un departamento a otro, o ven su poder o sus recursos disminuidos. Ahmed y Mamberger(1989) no encontraron, en el Sur Asia, un CMEA que haya estado operando como tal por más de tres años. Algunos otros problemas organizacionales surgen cuando las funciones de SyE son localizados en una agencia inapropiada, cuando las funciones se asignan a agencias distintas, haciendo difícil la coordinación, o cuando los problemas de coordinación restringen el flujo de información entre la agencia central y los presuntos usuarios. El capítulo 12 discute en más detalle los vínculos entre la localización y organización del M/E y los tipos de estudios producidos y cómo se diseminan. Es asimismo común encontrar organizaciones no gubernamentales –muchas de las cuales cuentan con una vasta experiencia en evaluación- excluidas de colaborar en la evaluación de los programas del sector público.
Las agencias donantes tienen una influencia considerable sobre el contenido y la organización de los sistemas SyE. El hecho de que los donantes y prestatarios requieren diferente tipo de información puede crear a su vez un mayor numero de problemas.
Problemas administrativos/gerencias Muchas agencias de SyE al nivel de proyecto, sectorial o nacional no han logrado establecer procedimientos claros para identificar a los usuarios principales de la información que producen, o para comparar la importancia de los estudios requeridos por distintas organizaciones nacionales e internacionales o aún para definir los tipos de información requerida por cada usuario potencial. Como consecuencia, los usuarios potenciales se quejan de que los estudios no proveen la información que requieren o que la información llega muy tarde o de una forma que no es clara de entender. La naturaleza centralizada de muchos de los CMEA implica que la información del SyE sea usada principalmente por las agencias gubernamentales para controlar unidades de línea de los ministerios y de los proyectos, por lo tanto no es considerada como una herramienta gerencial. En este campo, muchos gerentes perciben el SyE como una amenaza, o como una inconveniencia, y no están dispuestos a cooperar en la recolección de datos o en el análisis de los mismos. Esto también ha creado preocupación acerca de la calidad y confiabilidad de la información del SyE provista por las agencias encargadas. La mayoría de estos problemas también se encuentran en los Estados Unidos. Aunque un amplio rango de programas federales y estatales tienen como mandato conducir tales evaluaciones, y aunque se ha reconocido la utilidad potencial de las evaluaciones, aún muchos gerentes rehusan iniciar evaluaciones. Las siguientes son algunas razones (Carlson y Crane 1989) •
Minimización de la responsabilidad. La presión por reducir el tamaño del estado ha traído consigo un nuevo sentido de riesgo. Los gerentes están conscientes de que los legisladores y los departamentos de presupuesto buscan reducir o disminuir la escala de los programas. Consecuentemente, existe el temor de que cualquier tipo de evaluación podría ser usada como justificación para cerrar un programa. Al mismo tiempo, no se esperan beneficios de una evaluación positiva.
•
Falta de confianza en que los productos de la evaluación lleven a beneficios prácticos que excedan sus costos
•
Ausencia de incentivos para el patrocinio de evaluaciones.
15
•
Tiempo requerido para iniciar una evaluación. En las agencias gubernamentales de los Estados Unidos, el proceso para obtener la aprobación para llevar a cabo una evaluación, y luego el proceso para contratar a los consultores son usualmente muy lentos. Muchos gerentes no sienten que los resultados de la evaluación justificaran los esfuerzos que se requieren para invertir.
•
Tiempo requerido para la producción de resultados.
Otro grupo de problemas gerenciales, está relacionado con las dificultades existentes para reclutar y mantener personal calificado para las unidades de SyE. Frecuentemente, el perfil de profesionales requerido por estas unidades no está definido con propiedad en la administración publica. Como consecuencia, resulta difícil ofrecer condiciones de trabajo competitivas. Asimismo, las posibilidades de hacer carrera, no esta claramente definido para los evaluadores; esto puede desmotivar a personal calificado que podría estar en posibilidades de ingresar en este campo.
Problemas de enfoque Los CMEA usualmente priorizan el seguimiento de la implementación del proyecto. Por lo tanto, muy pocos estudios se llevan a cabo para determinar cómo operan los programas, si son sostenibles o si serán capaces de producir los impactos esperados. Así pues, aunque gran cantidad de información sobre la implementación puntual de los proyectos y sus presupuestos es recolectada, limitadamente si se llega a conocer si lograron los objetivos propuestos por los programas masivos de desarrollo social y económico o si producen los beneficios o cambios para los que fueron diseñados (Bamberger 1989) Una razón para este sesgo es que en la mayoría de los países en desarrollo el presupuesto de capital de inversión (para la construcción de nuevos caminos, escuelas, fábricas y hospitales) usualmente es mayor que el destinado a las operaciones o retornos. Esta área es en la que se requiere un cuidadoso monitoreo debido a que la mayoría de los recursos gubernamentales se destinan a la implementación de los proyectos. Asimismo, debido a que las agencias internacionales de ayuda están usualmente involucradas con la implementación del proyecto, ellas también se muestran más interesadas en el monitoreo de este último. Por consiguiente, muchas unidades de SyE se encuentran localizadas en estas agencias destinadas a velar por la implementación de los proyectos y, como muchas de ellas se desintegran una vez completada la implementación, no pueden llevar a cabo evaluaciones de impacto en el largo plazo. Otra limitación en el uso de la evaluación es el hecho de que la mayoría de los gobiernos y agencias se centran más en la evaluación de los insumos antes que en la de resultados y productos. Esto limita la demanda de evaluaciones de la calidad o del costo-efectividad de los resultados o de la estimación de los impactos. Un problema mayor surge del hecho que la mayoría de los gobiernos y los administradores encargados de diseñar las políticas operan dentro de un horizonte de uno o dos años plazo. Muchos países continúan operando con presupuestos anuales y por lo tanto los planificadores y las agencias tienden a restringirse a objetivos de corto plazo. Esto explica el por qué, raramente se conducen evaluaciones prospectivas de largo plazo. Osborne y Gaebler (1992) señalan que un reciente avance en el gobierno estadounidense es que algunas autoridades locales y estatales más innovadoras se han aventurado a planear a diez años plazo. Este enfoque, al ser combinado con el planeamiento estratégico, puede generar una gran demanda por evaluaciones prospectivas y retrospectivas orientadas a apoyar a planificadores y gerentes a proyectar el futuro, sobre la base de un análisis sistemático de experiencias pasadas y presentes.
Problemas metodológicos Durante la década de los 70, agencias internacionales de ayuda, financiaron un cierto número de evaluaciones de impacto a gran escala que usaban diseños casi experimentales. Los sectores involucrados eran salud, vivienda y agricultura entre otros. Los resultados de la mayoría de estas evaluaciones fueron desilucionantes. Como resultado, hoy en día muchas autoridades gubernamentales y donantes manifiestan que es imposible que las evaluaciones rigurosas de impacto sean costo-efectivas y útiles operativamente hablando. Así pues, los propulsores de las evaluaciones de impacto deben defender la factibilidad y rigurosidad técnica de impacto y responder al mismo tiempo a las críticas que dicen que los resultados de tales evaluaciones son muy académicas, o que llegan muy tarde para ser usadas.
16
Algunos otros problemas metodológicos que se discuten en capítulos subsiguientes incluyen el sesgo de monometodo que surge al trabajar con un solo (o un pequeño número de) método(s) de recolección de datos; la preferencia por métodos cuantitativos; la tendencia a ignorar métodos cualitativos valiosos, la preferencia por comparaciones estáticas entre periodos antes que por el análisis de procesos de cambió, y la excesiva dependencia en computadoras y la falta de conciencia sobre las limitaciones que la computación impone en el tipo de datos que se recogen o en la calidad y validez de los mismos.
La evaluación de programas de desarrollo social: Mas problemas; y enfoques recomendados
El seguimiento y evaluación de programas de desarrollo social puede ir de la mano con otros problemas de una naturaleza menos general.
Otros posibles problemas En primer lugar, los programas de desarrollo social son con frecuencia monitoreados usando los mismos procedimientos y formatos de reporte utilizados en proyectos de capital de inversión y de desarrollo económico. Estos sistemas de seguimiento se basan en un grupo de indicadores físicos y financieros fácilmente cuantificables, muchos de los cuales no son apropiados para proyectos de desarrollo social debido a que los resultados de estos últimos no son fáciles de identificar o medir. Por ejemplo, el desempeño de los proyectos de salud o educación debe ser en parte evaluado con base en indicadores cualitativos tales como la calidad de los maestros o de los extensionistas de salud; la calidad y utilidad de los libros de texto y de la curricula; la efectividad y representatividad de las organizaciones comunales, o la calidad y utilidad de la asistencia técnica provista. Resulta inapropiado monitorear estos programas exclusivamente a través de indicadores cuantitativos (como se hace con frecuencia) tales como el número de pacientes o clientes atendidos o el número de personas que asisten a las reuniones de la comunidad. En segundo lugar, muchos programas sociales de desarrollo usan un enfoque flexible y participativo, en el cual los objetivos del proyecto se definen en consulta con los presuntos beneficiarios y durante la evolución del proyecto. Lo anterior hace difícil que los objetivos sea establecidos al inicio del proyecto y que se defina un marco para la evaluación de objetivos. Para complicar las cosas aún más, es posible que los diferentes actores tengan también distintos objetivos (ver la discusión sobre los actores en los capítulos 4 y 10). En tercer lugar, es difícil evaluar y establecer los vínculos entre los resultados de los proyectos y los impactos deseados. Por ejemplo, la mortalidad infantil, el desempeño escolar o el ingreso familiar se ven afectados por factores tan diversos que se hace difícil aislar la contribución de un determinado proyecto. Esta contribución se hace aún más difícil de evaluar cuando los programas tienen objetivos muy generales como aliviar la pobreza o mejorar la participación social y económica de la mujer.
Algunos enfoques recomendados Antes de discutir algunas recomendaciones específicas para la evaluación de programas sociales, señalaremos algunas recomendaciones generales concernientes a la organización, diseño y manejo de las evaluaciones. Estas recomendaciones fueron tomadas de un cierto número de estudios recientes sobre experiencias en evaluación en los Estados Unidos y Europa. Un lector más interesado puede referirse a Wholey, Newcomer and Associates (1989), Osborne y Gaebler (1992); Rist (1990); Stokke (1991ª); y Barkdoll y Bell (1989). Las siguientes son algunas de las lecciones y recomendaciones más importantes derivadas de estas y otras publicaciones recientes similares: •
Es esencial involucrar a todos los actores en el proceso de evaluación desde la etapa de identificación de necesidades hasta la definición de los objetivos.
•
Sin descartar evaluaciones de insumos y de procesos se debe prestar una mayor atención a la evaluación de resultados y de productos. No debe olvidarse que los programas están diseñados y planteados para lograr ciertos objetivos; por lo tanto, una evaluación efectiva debe proveer a los encargados de políticas y gerentes de una retroalimentación consistente sobre el grado de alcance de los objetivos y sobre los factores que pueden estar interfiriendo en alcanzarlos.
17
•
Se debe prestar más atención a la evaluación de la calidad de los programas antes que limitarse a examinar indicadores cuantitativos de insumos y resultados.
•
Los evaluadores deben ayudar a los gerentes a entender cómo la evaluación puede convertirse en una herramienta gerencial para mejorar el desempeño. Los evaluadores deben, asimismo, mantener una relación más estrecha con los gerentes.
•
Debe darse más énfasis a la evaluación de políticas. Uno de los más grandes usos potenciales de los datos obtenidos en la evaluación es el análisis sistemático de lo que se conoce acerca de un problema particular o tipo de programa. Esto con la finalidad de ayudar a los encargados del diseño de políticas a seleccionar el programa que más se adapte a los objetivos deseados.
Aunque es importante incorporar los programas sociales dentro de sistemas establecidos de SyE a escala nacional, tales sistemas deben ser impulsados de tal forma que reflejen las características particulares de los programas de desarrollo social. •
Los presuntos beneficiarios deben estar involucrados en el planeamiento, ejecución e interpretación de los estudios de SyE. Esto significa que las perspectivas de los diferentes actores deberá ser identificada e incorporada en el planeamiento e interpretación de los estudios. Los métodos de evaluación de los beneficiarios desarrollado por el Banco Mundial están entre los muchos ejemplos de aplicación de este enfoque.
•
El análisis social debe incorporarse como un componente estándar en la evaluación ex - ante de un proyecto. Así pues, la evaluación de la relevancia social e institucional de un proyecto debe conducirse en la misma forma en que se lleva a cabo para los campos económico y financiero.
•
Los proyectos de desarrollo social están con frecuencia más relacionados con el desarrollo de capacidades en el ámbito comunal y local que con el logro de resultados definidos y precisos. Como consecuencia, se presta mayor atención a la evaluación de los procesos de selección, implementación, operación y replicacion del proyecto. Estrechamente relacionado a lo anterior, esta el énfasis en la evaluación institucional. Sin embargo, estos proyectos debieran también prestar atención a los resultados que esperan sostener.
•
Se deben desarrollar métodos de evaluación rápida y estandarizarlos de modo que puedan usarse regularmente para la recolección de datos y para el análisis durante las etapas de evaluación ex - ante, monitoreo y diagnóstico.
•
Se debe introducir una mayor flexibilidad en el proceso de SyE reconociendo el hecho de que los objetivos del programa evolucionarán conforme el programa se desarrolle. Lo anterior significa que la evaluación debe describir y evaluar tanto el proceso de implementación como los resultados.
•
Siempre será útil desarrollar un modelo del proceso de implementación. Tal modelo (descrito en el capítulo 3) identifica la premisa sobre la que se basa el proyecto, describe los supuestos en los que subyace el proyecto, describe las estrategias de implementación e identifica los vínculos entre insumos, implementación, resultados e impactos. El modelo previsto es luego comparado con la experiencia real de implementación, y establece las razones de los desvíos y explica y examina los resultados no previstos.
•
Se debe pedir a las organizaciones no gubernamentales que participen en todas las etapas de la evaluación.
•
Es importante establecer un número de indicadores independientes de resultados clave e impactos para obtener formas más confiables de evaluación y explicación de los resultados y desempeño del proyecto. Lo anterior normalmente involucra el diseño de indicadores tanto cuantitativos como cualitativos. La metodología para reconciliar los distintos indicadores se conoce como triangulación.
Las distintas estrategias para mejorar los procesos de SyE son el tema central de este libro.
18