M444

ESTADO DE LOS SISTEMAS DE MONITOREO Y EVALUACIÓN DE LOS PROGRAMAS SOCIALES P ÚBLICOS EN EL PERÚ

Informe final Junio del 2000

Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

CONTENIDO

1. Marco conceptual: monitoreo y evaluación (M&E) a) Los sistemas de monitoreo y evaluación b) Importancia de los sistemas de M&E c) Presentación de los objetivos generales del estudio de investigación d) Presentación de la metodología del estudio de investigación e) Hipótesis del estudio 2. La situación del M&E en el Perú a) Sistemas de monitoreo y evaluación al interior de la administración pública: Oficina de Inversiones (ODI), Sistema de Información Administrativa y Financiera (SIAF) y Planeamiento Estratégico Sectorial Multianual (PESEM) b) Entrevistas en profundidad para la evaluación de los sistemas de M&E en el ámbito de los programas y proyectos sociales peruanos c) Estudios de casos para la evaluación de los sistemas de M&E en el ámbito de los programas y proyectos sociales peruanos

3. Conclusiones y recomendaciones BIBLIOGRAFÍA

Instituto APOYO

2

Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

1. Marco conceptual: monitoreo y evaluación (M&E) a) Los sistemas de monitoreo y evaluación 1 El monitoreo es el seguimiento contínuo de proyectos, durante la implementación de los mismos. Se busca controlar que se cumpla con los cronogramas establecidos, en cuanto a la utilización de los insumos necesarios (inputs), la realización de las actividades establecidas (procesos) y la producción de los bienes y/o servicios (outputs) previamente definidos.

La evaluación, por su par te, es el análisis del impacto del proyecto sobre los beneficiarios o el entorno. Busca establecer el nivel de logro en relación al cumplimiento de los objetivos que dieron origen al proyecto, y los determinantes de ello. Esta se realiza en determinados mo mentos en el tiempo y se concentra en los indicadores de resultado y de impacto, con el fin de evaluar el cumplimiento de los objetivos del proyecto. Las evaluaciones se pueden desarrollar antes de iniciarse el proyecto, sobre la base de supuestos, en cuyo caso son evaluaciones de preinversión; a la mitad del proyecto, evaluaciones de medio término; al momento en que se ha concluido –evaluaciones expost- o varios años después de finalizado el proyecto -evaluaciones de sostenibilidad-. Las evaluaciones de pre-inversión se realizan sobre la base de resultados e impactos proyectados, con el fin de evaluar la factibilidad del proyecto. Las evaluaciones de medio término se realizan con el fin de evaluar el proyecto durante su implementación, ya que proveen señal es de alerta que permiten realizar correcciones “sobre la marcha”. Estas se utilizan comúnmente para evaluar las diferentes fases que puedan tener algunos proyectos.

Las evaluaciones post proyecto se realizan al final del mismo o también pueden realizarse varios años después de finalizado. Las evaluaciones que se realizan cuando finalizan los proyectos permiten obtener una visión integral del impacto de los mismos, desde su inicio hasta su fin; las evaluaciones después de varios años de que haya finalizado el proyecto, por su parte, buscan medir la sostenibilidad del mismo, con el fin de determinar si el impacto se mantiene a pesar de haber culminado la asistencia del proyecto. La principal desventaja de las evaluaciones expost es el hecho de que los hallazgos ya no pueden ser incorporados al proyecto, porque este ya finalizó. Sin embargo, estos sirven para evaluar la situación de otros proyectos similares.

La principal diferencia entre el monitoreo y la evaluación es que el primero se concentra en los indicadores de insumo, proceso y producto, mientras que la evaluación analiza principalmente los indicadores de resultado e impacto. Además, el monitoreo es un sistema de seguimiento continuo, en el que la información se recoge, en algunos casos, día a día. En el caso de la evaluación, por su parte, se elige un momento en el tiempo y se comprara esta situación con otra del pasado. Por otro lado, los requerimientos de información, aspectos metodológicos y utilización final de la información es diferente en cada caso. La información requerida para la evaluación del impacto es siempre más demandante y su metodología más compleja que la utilizada para el monitoreo.

La introducción de un enfoque de evaluación por resultados e impactos de los programas y proyectos públicos contribuye, adicionalmente, a lograr un mejor diseño de los mismos, porque cuestiona la estructura lógica de los mismos y las relaciones causales asumidas entre las distintas variables que se ven afectadas. Es decir, la 1

La reseña referida al marco conceptual sobre M&E se ha elaborado a partir de la bibliografía que se anexa a la investigación.

Instituto APOYO

3

Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

definición de los indicadores más adecuados para medir el impacto del programa obliga a los evaluadores a cuestionar los objetivos planteados y a validar las relaciones causales asumidas en el marco lógico de la intervención. Asimismo, la incorporación de sistemas de M&E en los programas públicos permiten la información necesaria para que las decisiones de presupuesto sean más acertadas, las autoridades e instituciones públicas puedan rendir cuentas a la ciudadanía, etc.

La introducción de sistemas de monitoreo y evaluación adecuados, objetivos y operativos es un requisito indispensable para la Reforma de la Administración Pública o Modernización del Estado. La teoría moderna de las fallas de la administración pública para actuar de acuerdo con los intereses de los ciudadanos pone énfasis en la dificultad para medir los productos que la administración pública entrega a la ciudadanía. Los programas de reforma del Estado buscan dar flexibilidad en los procesos a cambio de mejoras en los resultados, lo que obliga a tener sistemas de medición de resultados e impactos.

Asimismo, el estado actual de los sistemas de M&E tiene relación muy estrecha con los demás problemas vinculados a este campo. Las instituciones que han sido creadas o reformadas recientemente, como los órganos reguladores, la Sunat, la SBS, etc. enfrentan una problemática muy distinta en este campo que la estructura pública tradicional. Este estudio tiene mayor interés por analizar el estado de los sistemas de M&E, y los factores que podrían explicar el grado desigual de avance entre uno y otro programa o proyecto, en el ámbito de la administración pública tradicional.

En la administración pública tradicional existen limitaciones que dificultan la motivación y capacidad de reacción del aparato estatal para la introducción y mantenimiento una cultura de M&E. Por ejemplo, la imposibilidad de establecer, dentro de la carrera administrativa, incentivos económicos para aquellos funcionarios e instituciones que desarrollen sistemas de monitoreo y evaluación. Igualmente, las dif icultades para acopiar información, dada la estructura híbrida de dependencia de los órganos de línea respecto de la autoridad sectorial. Por efecto del proceso apresurado y trunco de regionalización de fines de los ochenta, las Direcciones Regionales de los sectores fueron transferidas con sus presupuestos a los Gobiernos Regionales, para luego convertirse en los Consejos Transitorios de Administración Regional a partir de 1992, que dependen presupuestalmente del Ministerio de la Presidencia.

Al inicio de un proceso de introducción de prácticas de M&E al interior de la administración pública, siempre existen reticencias a adecuarse a las mismas, principalmente cuando se trata de gobiernos que estuvieron acostumbrados a no ser nunca fiscalizados y a aprobar sin ninguna demora ni estudio previo cualquier proyecto. Por lo tanto, los requerimientos para adecuarse a un sistema de M&E difícilmente serán implementados, ya que entorpecen su flujo normal de operaciones.

Por estas razones, comúnmente no existe el apoyo necesario para introducir estas prácticas al interior de la administración pública.

Cuando no existe una cultura de rendición de cuentas, entonces surgen resistencias al interior de la administración pública, producto de la sensibilidad de los funcionarios ante la fiscalización de sus actividades, generándose temores por la críticas que puedan recibir de parte de otras instancias del Gobierno o del público, así como por el costo político que podría derivar de los hallazgos de la evaluación. Puede hacerse una distinción entre dos niveles de falta de apoyo político para implantar una cultura de M&E, dependiendo de sus implicancias en términos de la efectividad de la gestión pública. En un extremo, puede haber poca apertura hacia que otros agentes conozcan de la eficacia y eficiencia del proyecto o programa, pero sí interés porque el proyecto tenga los mejores resultados. Ello sería consistente con la evidencia de que sí existen Instituto APOYO

4

Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

sistemas de M&E, pero sus resultados son conocidos sólo por las altas autoridades de la institución. En el otro extremo, no existe interés por medir el desempeño, por lo que no existen sistemas de M&E vigentes o en construcción. Este extremo puede deberse a diversos motivos, desde apatía e ineficiencia, hasta problemas más serios como manipulación política o corrupción. Sin embargo, no es necesario que exista una situación de corrupción para que políticamente sea más conveniente no evaluar ni monitorear. Se deben crear incentivos al interior de la administración pública que induzcan hacia la creación y fortalecimiento de sistemas de M&E. La falta de apoyo político se refleja, en última instancia, en una definición difusa y poco clara del ámbito de M&E y de las responsabilidades de las unidades encargadas de realizar estas tareas. No se definen las unidades a las cuales se debe reportar ni tampoco los mecanismos de retroalimentación para que los hallazgos sean de utilidad para los funcionarios que ejecutan los proyectos.

La ausencia de un sentimiento de propiedad por parte de los funcionarios públicos, por su parte, se genera cuando no existe una asignación clara de funciones y responsabilidades, ni tampoco una evaluación de su desempeño en función al logro de los objetivos propuestos. Esto impide que el éxito en el proyecto esté acompañado de una mejor evaluación de su desempeño, lo que origina que a veces no exista motivación ni tampoco los incentivos adecuados. Además, en muchos casos los funcionarios no tienen margen de acción para realizar modificaciones sobre la base de hallazgos del proceso de M&E, entonces no encuentran ninguna utilidad en el desarrollo de estas actividades.

La ausencia del sentimiento de propiedad por parte de los beneficiarios es un tema que también es relevante. Ello se genera cuando se utilizan enfoques que no son participativos. Estos esquemas no integran la población objetivo al desarrollo del proyecto ni a los sistemas de M&E y, por lo tanto, la posibilidad de vigilancia ciudadana sobre el proyecto y los resultados que viene logrando es más remota.

La importancia de los sistemas de M&E radica en que proveen a los hacedores de política los elementos de juicio necesarios para que puedan tomar decisiones acerca de continuar, reducir, aumentar o eliminar la asistencia de determinados proyectos. Si se dispone de esta información, entonces es posible asignar los recursos más eficientemente, transfiriéndolos de programas que ya han cumplido con sus metas hacia otros que aún no lo han conseguido; o rediseñando los programas que no hayan alcanzado los objetivos buscados; o ampliando la cobertura de programas que hayan demostrado ser efectivos.

Además de los beneficios propios de una mejor evaluación y monitoreo al interior de cada proyecto, estas prácticas de M&E tiene efectos positivos colaterales en la administración pública, como son: ü Incrementar la motivación de los funcionarios públicos (ya que se los evalúa objetivamente en función a los resultados obtenidos) ü Controlar el impacto de efectos no deseados (si es que se utilizan indicadores de alerta temprana) ü Fortalecer la rendición de cuentas o el accountability ü Fortalecer el diseño y la implementación de proyectos ü Generar benchmarking o información que permita realizar comparaciones entre distintos proyectos o entre distintos momentos del tiempo. ü Promover una mayor coordinación entre las agencias del Estado y los beneficiarios del programa.

Instituto APOYO

5

Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

Sin embargo, la incorporación de estas prácticas deberá lidiar con las trabas o problemas que comúnmente surgen al interior de la administración pública y que frenan o atenúan el impacto de las mismas: ü Poca difusión de los hallazgos del M&E. ü Débil relación entre las instituciones que realizan la M&E y las agencias o instancias del Gobierno encargadas de ejecutar los programas y/o proyectos de lucha contra la pobreza. Por lo tanto, el flujo de información no es fluido. ü Ausencia de una cultura de M&E que permita difundir su utilidad. ü Falta de capacitación y entrenamiento de las personas que deberán aplicar estas prácticas. ü Mayor preocupación por preparar, aprobar y diseñar nuevos programas y proyectos, en lugar de evaluar el desempeño de los que ya existen y decidir si se aumenta, reduce o se mantiene igual el apoyo; si se elimina el programa; o si se modifican sus objetivos. ü Poca iniciativa o convencimiento de los funcionarios nacionales para promover estos modelos, que comúnmente son auspiciados por organismos externos. ü Débiles vínculos entre el pago y la evaluación de la performance de los funcionarios, por lo que existe poca motivación para aplicar estas prácticas. ü Poco margen de acción para realizar correcciones a mitad de los proyectos, por lo que no se alcanza el fin principal del M&E. ü Débil estructura lógica de los programas y/o proyectos, lo que dificulta la implementación de prácticas cuando los programas no han sido adecuadamente formulados desde su inicio.

b) Importancia de los sistemas de M&E Los fondos para la lucha contra la pobreza en los países en desarrollo son sumamente escasos. La población pobre que requiere algún tipo de asistencia es significativamente superior a la que es posible atender con los recursos disponibles.

Por ello, es importante mejorar la eficiencia del gasto social, a través de la implementación de sistemas de M&E que permitan hacer seguimiento y medir el impacto que tienen los proyectos sociales en el bienestar de la población más pobre.

Mientras mayor sea la eficiencia por cada dólar de gasto social, entonces podrá incrementarse la cobertura de los proyectos de asistencia social, atendiendo a un mayor número de pobres.

En el caso peruano, el gasto social se incrementó significativamente durante la última década. De acuerdo con información proporcionada por el Ministerio de Economía y Finanzas (MEF), éste pasó de un promedio de US$131 entre 1991-1995, a US$175 en 1999. Dada la escasez de los recursos públicos, el Estado ha determinado una escala de prioridades para la ejecución del gasto social, dividiéndola en dos componentes. El primero, el de primera prioridad (básico), está orientado, principalmente, a evitar daños permanente en la población más vulnerable (64% del gasto social). El otro componente, uno más general, está enfocado al desarrollo futuro de la población (36% restante). En términos macroeconómicos, el gasto público social alcanza cerca de 8% del PBI, donde el de primera prioridad es aproximadamente 5% y el de gasto general 3%.

Instituto APOYO

6

Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

EVOLUCION DEL GASTO SOCIAL PER CAPITA (US$ de 1999) 250 200 150 110,3

100

127,0

128,4

113,1

110,6

72,8

72,5

62,3

69,6

81,2

50 66,6

49,7

0 1991-95 1/

1996

1/ Promedio 2/ Presupuestado.

1997

1998

Primera prioridad

1999

2000 2/

Resto

Fuente: MEF

De los dos componentes del gasto social, el que destaca es el de primera prioridad por haber registrado un mayor crecimiento (pasó de un promedio de US$81 en el período 1991-95 a US$113 en 1999). Sin embargo, a pesar del significativo crecimiento del gasto social en la década de los 90’s, existen serios cuestionamientos a la eficiencia del mismo.

La evolución de algunos indicadores socioeconómicos durante los últimos años es consistente con esta hipótesis. Si bien algunos indicadores, como los de desnutrición infantil y analfabetismo, mantuvieron la tendencia decreciente registrada en los últimos años, ésta se desaceleró. Mientras que los indicadores de pobreza se estancaron y se incrementaron en el periodo entre 1997 y 2000.

INDICADORES DE BIENESTAR SOCIAL 1994 Tasa de desnutrición infantil 1/ Tasa de alfabetismo Tasa de pobreza Tasa de pobreza extrema Trabajo de menores Conexión a servicios eléctricos Conexión a servicios sanitarios Red pública de agua dentro del hogar 1/ Para menores de 5 años.

30,0% 87,6% 53,5% 18,8% 7,8% 68,8% 48,2% 65,0%

1997 23,8% 90,2% 49,0% 14,8% 11,8% 73,7% 58,6% 72,8%

2000 22,9% 92,8% 54,1% 14,8% 25,7% 77,6% 58,7% 71,4%

Fuente: ENNIV 1994, 1997 y 2000.

Por ello, la evidencia de estos indicadores sugiere que aún falta realizar importantes reformas para lograr que el gasto destinado a la población más pobre tenga los niveles de eficiencia deseables. Sin embargo, existen muy pocas investigaciones que permitan saber de la eficiencia o eficacia de la mayoría de programas públicos que se desarrollan para atender estas necesidades. Este estudio busca suplir esa deficiencia, al identificar el estado de los sistemas de M&E del presupuesto social de múltiples proyectos y programas sociales, y analizar en mayor profundidad cuatro casos. El estudio también analiza los motivos del mayor o menor avance relativo de los sistemas de M&E.

Instituto APOYO

7

Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

En la década de los 90’s, la evolución del gasto público registró dos etapas claramente diferenciadas. Al inicio, luego del programa de estabilización, se canalizó ayuda de emergencia para amortiguar los efectos que tendría este programa de ajuste económico tan drástico en la población. En esta etapa no existió mayor preocupación por la eficiencia del gasto ni tampoco por realizar programas que evalúen el cumplimiento de los objetivos del mismo. En la segunda etapa, cuando el periodo de emergencia había finalizado, existió más preocupación por lograr una mayor eficiencia del gasto social y evaluar el cumplimiento de los objetivos del mismo. Este interés estuvo motivado principalmente por los organismos multilaterales, que canalizaron una parte importante de los recursos de asistencia social, y ahora deseaban medir el impacto de los mismos. Es así que comienzan a implementarse prácticas de M&E, pero solamente en algunos casos aislados, principalmente en los programas o proyectos sectorials que estaban financiados con fondos externos.

Al mismo tiempo se iniciaron en la administración pública dos intentos que buscaban introducir prácticas de M&E, pero cada uno con objetivos distintos. Por un lado, en 1995 se estableció la Oficina de Inversiones (ODI) en el Ministerio de Economía y Finanzas (MEF), y se promulgó la nueva ley de inversiones que comenzó a regir a partir del 2001. Por otro lado, casi en el mismo periodo, se creó el Sistema Integrado de Administración Financiera (SIAF) en el MEF, con el fin de controlar la ejecución del gasto público y proveer señales de alerta ante retrasos o adelantos respecto a lo presupuestado. Este sistema se encuentra implementado a plenitud desde el 2000.

A partir del 2000, por su parte, se inició un nuevo intento por introducir prácticas de M&E al interior de la administración pública, por el cual cada sector tiene la obligación de elaborar planes estratégicos multianuales (PESEM), que incorporen la visión, misión, objetivos y actividades que guiarán los gastos públicos.

Sin embargo, estos sistemas recién se están implementando y aún no hay un impacto significativo. El PESEM está en una etapa inicial y se concentra principalmente a nivel de sectores, lo que impide evaluar las prácticas de M&E en unidades más pequeñas, como son los proyectos sociales. El SIAF es el único de los tres esquemas que ya está prácticamente implementado en su totalidad. No obstante, este es un sistema que fue creado con un objetivo claro, que fue el de controlar que la ejecución de los gastos públicos se realice de acuerdo a lo programado, mas no buscó implementar un sistema más integral de M&E. En el ámbito de la nueva ley de inversiones impulsada por la ODI, por su parte, la directiva recién se promulgó a fines del 2000 y los proyectos de inversión están adecuándose a partir de este año. Todavía se encuentran en una fase de aprendizaje y muchas de las unidades aún no entregan la información requerida.

Sin embargo, la nueva ley de inversiones sólo abarca a las unidades ejecutoras de proyectos de inversión, mas no los programas y/o proyectos que realizan gastos corrientes. Es decir, analiza solamente los proyectos de carácter eventual, con un plazo de tiempo definido. En el grueso del gasto estatal, no existe un marco a través del cual se controle la utilización de sistemas de M&E. La importancia de este estudio radica en que permitirá conocer la utilización de prácticas de M&E en el caso de los programas sociales peruanos y resaltar la importancia de la utilización de estos métodos. Este estudio, además, se convierte en una especie de “línea de base” que registra la situación al inicio de la aplicación del nuevo marco legal de las inversiones, que podrá ser comparado con la situación futura, cuando la nueva ley haya sido aplicada por un tiempo razonable para evaluar su impacto.

Instituto APOYO

8

Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

En el Perú, una gran cantidad de los programas sociales tienen un diseño y una estructura lógica débiles, porque surgieron sin un trabajo de pre-inversión con un análisis adecuado que aseguren su viabilidad. Esto dificulta la implementación de prácticas de M&E, pues no existen objetivos, actividades, relaciones causales, etc, establecidos adecuadamente para cada proyecto. Por ello, en estos casos deberá existir amplio margen de acción y flexibilidad para que, a la luz de los resultados del M&E, sea posible realizar las correcciones requeridas, como reformular y modificar la estructura lógica de los programas.

En el caso peruano, son pocos los programas sociales que cuentan con una línea de base o con grupo de control. Por lo tanto, a veces será muy útil y necesario aplicar técnicas intermedias de M&E, como estimaciones de las características de la población objetivo al inicio del proyecto, comparaciones al interior del mismo grupo de beneficiarios, series de tiempo, etc. La técnica de series de tiempo, por ejemplo, será importante para medir la sostenibilidad de los programas, ya que definirá si es que la tendencia es similar a la que registraba el indicador antes de la asistencia del proyecto, si mejoró, si empeoró o si se mantuvo igual durante su desarrollo, etc. En estos casos, puede ser importante complementar la información con data de cuentas nacionales, cuando sea posible, para reconstruir las series de tiempo.

Asimismo, las técnicas cualitativas adquieren especial relevancia para el caso de los programas sociales peruanos. La realidad peruana es compleja, debido a las diferencias culturales entre los distintos grupos poblacionales. En muchos casos, grupos distintos de beneficiarios pueden reaccionar de manera muy diferente a la intervención de un proyecto similar. Además, comúnmente la realidad de los evaluadores y/o los ejecutores de programas sociales es significativamente diferente a la de la población beneficiaria. A menudo, estos factores impiden anticipar el comportamiento que tendrá la población objetivo. Por ello, en estos casos será importante utilizar técnicas de recolección de información cualitativas, ya que habrá aspectos que no será posible indagar a través de técnicas cuantitativas. Por ejemplo, las razones por las cuales la población beneficiaria no utiliza ciertos productos o servicios que le fueron entregados, muchas veces son anecdóticas y no es posible descubrirlas sin un estudio más cualitativo y exploratorio. c) Presentación de los objetivos generales del estudio de investigación En las secciones anteriores se presentan y analizan algunas características generales, así como otras más específicas referidas a la calidad misma de las metodologías de M&E aplicadas. Considerando que la utilización de prácticas de M&E en la administración pública peruana se encuentra en una etapa muy incipiente y que, además, la disponibilidad de información es escasa, este estudio de investigación busca analizar la existencia de sistemas de M&E pero desde una perspectiva más general, que no enfatizará tanto en la calidad de los métodos aplicados.

El objetivo del estudio es explorar la etapa de desarrollo en la que se encuentran estos sistemas de M&E, concentrando el análisis en el caso específico de los programas y proyectos sociales. Sin embargo, se realizará un breve análisis descriptivo de las experiencias integrales de introducir sistemas de M&E al interior del aparato público, como el caso del SIAF, ODI y PESEM. Para ello, se utilizarán tres técnicas de análisis. En primer lugar, para el análisis de las experiencias del SIAF, ODI y PESEM, se realizarán entrevistas a los funcionarios encargados de estas unidades y se revisará el marco legal vigente. Luego, con el fin de analizar los métodos de M&E utilizados por los programas y proyectos sociales, Instituto APOYO

9

Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

que es nuestro foco de estudio, se realizarán entrevistas a terceros vinculados a los programas, así como también estudios de casos para algunos programas escogidos.

Los programas o proyectos representarán nuestra unidad de análisis, ya que son intervenciones independientes que deberían estar supervisadas por estos esquemas para asegurar su viabilidad. Estas podrán ser intervenciones eventuales, así como también intervenciones permanentes, del Gobierno Central. Asimismo, se analizará tanto proyectos de inversión –no solamente en infraestructura, sino también en intangibles- como también de gastos corrientes.

Finalmente, se complementará el estudio con cuatro estudios de caso. Dado el objetivo de buscar recomendaciones de política que pudieran servir para introducir mejores sistemas de M&E en el aparato tradicional del Estado, los casos han sido seleccionados entre aquéllos que en principio existía alguna evidencia de que tenían relativamente mejores sistemas de M&E que el resto. Asimismo, para poder aislar mejor los elementos que puedan explicar los avances relativos, se prefirió limitar los casos al área de servicios, dos de los cuales corresponden a sectores donde la necesidad de trabajar con los órganos de línea del ministerio es ineludible (educación y salud). Los otros casos seleccionados son Projoven (capacitación laboral a jóvenes) y Wawa Wasi (cuidado y atención a infantes y niños).

d) Presentación de la metodología del estudio de investigación En la primera parte del análisis del estado de los programas de M&E en la administración pública peruana, se presentará una breve descripción de los tres intentos mencionados anteriormente –SIAF, ODI y PESEM-. Par ello, se revisará el marco legal y se realizarán entrevistas con los funcionarios encargados de estas unidades.

Luego, el análisis se concentrará en recoger información sobre la mayor cantidad de programas y proyectos sociales públicos en el Perú, a partir de entrevistas a informantes clave. La metodología utilizada será principalmente cual itativa o exploratoria, debido principalmente al desarrollo incipiente de estos sistemas y la complejidad de cada una de estas intervenciones. La recopilación de información de esta manera permite avanzar respecto de estudios anteriores, basados en la información provista por los propios programas y proyectos para el I Foro de Pobreza.

Esta información, que aún así indicaba graves deficiencias en los sistemas de M&E, posiblemente sobrestimaba los niveles de desarrollo de dichos sistemas, por ser una declaración de parte frente a un requerimiento de un evento auspiciado por los donantes que en muchos casos los financiaban. Dadas las limitaciones encontradas en dicho estudio, el cuestionario desarrollado en esta oportunidad es más detallado y también incluye preguntas que corresponden a requisitos mínimos, más pertinentes para sistemas de M&E muy incipientes.

Es por ello que el cuestionario abordará la utilización de prácticas de M&E, bajo la perspectiva de analizar la existencia de condiciones necesarias -aunque no suficientes- para la existencia de un adecuado M&E. En primer lugar, se analizarán factores generales que son necesarios para que exista un adecuado M&E, como pueden ser el compromiso político, una cultura de M&E, el margen de acción que permite el M&E que se realiza actualmente, etc. En segundo lugar, se analizarán factores más específicos, pero que representan insumos para lo que sería un adecuado M&E, como son manuales para la aplicación de prácticas de M&E, formatos preestablecidos para recoger la información de este proceso, reportes del mismo, etc.

Instituto APOYO

10

Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

Por último, también se recogerá información relativa a productos de M&E más que a insumos, como podrían ser la realización de evaluaciones, experiencias que demuestren que haya habido correcciones a los programas, como consecuencia delos hallazgos del M&E, etc.. Estos últimos aspectos analizados son más específicos, pero la perspectiva de análisis sigue siendo la misma, pues no se evaluará la calidad de estas herramientas, sino que sólo se preguntará si se utilizan o no.

Este trabajo consistirá en realizar un diagnóstico acerca de la utilización de sistemas de M&E por parte de los programas sociales peruanos. Para ello, habrá que definir algunos aspectos metodológicos de las herramientas que utilizaremos, como son las técnicas de levantamiento de la información; el ámbito de la investigación, los cuestionarios que se aplicarán, en base al marco conceptual definido anteriormente y las limitaciones de la metodología propuesta. d.1) Técnicas de levantamiento de la información En primer lugar, utilizaremos dos técnicas de levantamiento de información: por un lado, se realizarán entrevistas en profundidad a terceras personas vinculadas a programas sociales y, por otro lado, se realizarán estudios de casos para algunos programas sociales escogidos, que consistirán en entrevistar a funcionarios vinculados directamente con el programa, así como otros vinculados indirectamente a los mismos. d.1.1) Entrevistas en profundidad Por medio de las entrevistas en profundidad se buscará explorar acerca de la utilización de prácticas de M&E tanto a nivel de los sectores económicos como también en los casos específicos de los programas y proyectos de cada sector. El cuestionario se dividirá en dos partes. En la primera parte, se aplicará una técnica más cualitativa, con la que se explorarán los aspectos generales del M&E a nivel del sector económico analizado y las opiniones respecto al nuevo marco legal implementado para el caso de los proyectos públicos de inversión. Considerando que es un método exploratorio, se indagará acerca de las razones detrás de las respuestas del entrevistado.

En la segunda parte, en que se realizarán preguntas acerca de los principales proyectos sociales del sector, se aplicará una técni ca mixta, ya que incorporará aspectos tanto cuantitativos como cualitativos. En esta parte se preguntará si es que estos proyectos cumplen con ciertas características predefinidas de acuerdo al marco conceptual revisado anteriormente, y en la mayoría de los casos las respuestas serán “Sí” o “No”. En estos casos, no se indagará acerca de la calidad de esos instrumentos, pero habrá interacción entre el entrevistador y el entrevistado, porque las preguntas requerirán a veces que el entrevistador explique el contenido de las mismas y, además, en muchos casos no será fácil responder “Sí” o “No”. Por ello, en estos casos igualmente se registrarán las razones detrás de las respuestas del entrevistado.

El perfil del funcionario entrevistado tendrá las siguientes características: o Funcionarios de las Oficinas de Planificación de Inversiones (OPIs) de cada sector, o funcionarios de la Oficina de Inversiones (ODI) que conocen o realizan seguimiento a los proyectos del sector de interés o funcionarios que hasta hace poco tiempo hayan estado encargados de la planificación de las inversiones y gastos en los sectores de interés. o Funcionarios que no estén vinculados directamente con los proyectos públicos, sino que realicen algún tipo de seguimiento de los mismos, pero desde una perspectiva más global.

Instituto APOYO

11

Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

De esta manera, se logrará una mayor objetividad en las respuestas, ya que el funcionario no está directamente involucrado en el proyecto ni tampoco es responsable por las prácticas de M&E que se aplican en el mismo. En caso contrario, existiría la tendencia a sobreestimar las bondades de los métodos de M&E y sería difícil contrastar la respuestas. Además, esta metodología reduce el tiempo que demoraría la etapa de recolección de la información si es que fuese necesario entrevistarse con los funcionarios responsables de cada proyecto. Las personas entrevistadas tendrán conocimiento de la cartera de los principales proyectos del sector de interés. d.1.2) Estudios de casos Por medio de los estudios de casos se buscará realizar una indagación más exhaustiva de los mismos aspectos contenidos en el cuestionario aplicado en las entrevistas en profundidad, con énfasis en identificar factores de éxito o fracaso en el marco de la aplicación de las prácticas de M&E para el caso de programas y/o proyectos sociales, principalmente en lo referido al marco institucional, autonomía en la toma de decisiones, y capacidad técnica del personal.

El perfil de los funcionarios entrevistados para los estudios de casos tendrán las siguientes características: o Funcionarios responsables de la ejecución del proyecto. o Funcionarios responsables del M&E del proyecto. o Funcionarios vinculados externamente al proyecto, como puede ser la contraparte extranjera o funcionarios que conocen de manera indirecta acerca del proyecto. d.2) Ámbito de aplicación En términos generales, el ámbito del estudio está constituido por los programas y/o proyectos sociales públicos. Sin embargo, las definiciones en el ámbito de la administración pública no necesariamente coinciden con las de este estudio de investigación. De acuerdo a la normativa de la nueva ley de inversiones, un proyecto es toda intervención limitada en el tiempo que implique la aplicación de recursos públicos con el fin de ampliar, mejorar y modernizar la capacidad productora de bienes o prestadora de servicios, cuyos beneficios son independientes de otros proyectos. En este sentido, este marco sólo abarca a las intervenciones eventuales, con una vida útil limitada en el tiempo.

Nuestro foco de análisis no se restringe a los proyectos de inversión de capital ni tampoco a los que son eventuales. Nos interesará analizar todo tipo de proyectos, así sea clasificado como inversión o de gasto corriente, respecto al tipo de obra; o como ordinario o eventual, respecto al tiempo de duración. Esto se debe a que la definición de proyecto, como la entendemos para efecto de este estudio de investigación, es una unidad de análisis independiente que tiene un marco lógico (si bien puede ser que no se haya sido formulado a través del marco lógico, al menos debería ser susceptible de formularse bajo ese marco), que define la visión, misión, objetivos, objetivos específicos y actividades. Así sea un proyecto de inversión o de gasto corriente, eventual u ordinario, en cualquier caso debería requerir un monitoreo y evaluación para analizar el cumplimiento de metas y objetivos deseados.

Los sectores que se analizarán en la investigación son agricultura, educación, salud, Promudeh, Ministerio de la Presidencia y transportes, de acuerdo a la estructura del Instituto APOYO

12

Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

Gobierno Central, pues concentran los principales programas y/o proyectos sociales.

Para efectos de las entrevistas en profundidad, se identificó a los funcionarios que reunían las características del perfil definido anteriormente, quienes tenían el conocimiento requerido, tanto del sector como de los proyectos del mismo, para que se les pueda aplicar el cuestionario. Los proyectos analizados, por su parte, se definieron en función a la importancia en el gasto público, así como también a la disponibilidad de información de parte de los funcionarios entrevistados.

En cuanto a los criterios utilizados para escoger los proyectos que se analizarán en los estudios de casos, se buscó que estos pertenezcan a diferentes sectores, que el tamaño de los mismos sea diverso –incluyendo proyectos grandes y pequeños-, que tengan niveles de desarrollo distintos de sus sistemas de M&E –de acuerdo al sondeo previo que se realizó - y que tengan niveles de interacción más o menos intensivos con los órganos “de línea” de los ministerios. d.3) Características deseables para un sistema de M&E de proyectos sociales: selección y justificación de indicadores para medir el estado de los sistemas de M&E de los proyectos públicos Con el fin de formular el cuestionario de preguntas que se aplicarán en las entrevistas, será necesario definir qué entendemos por un adecuado sistema de M&E, en función al marco teórico definido previamente. De esta manera, será posible evaluar los sistemas de M&E que utilizan actualmente los programas sociales peruanos, en función a las características y parámetros establecidos en esta sección.

En primer lugar, para la fase exploratoria en que se analizarán los aspectos generales a nivel de los sectores económicos, será relevante indagar acerca de las características generales del marco en el cual se desenvuelve el proceso de M&E. En este sentido, hay algunos aspectos que son necesarios, a nivel de los sectores, para que tenga éxito la implementación de prácticas de M&E, como por ejemplo: o Respaldo político que haya recibido la aplicación del M&E o La existencia de una cultura de M&E en el sector o Margen de acción del sistema de M&E que se realiza en el sector en cuanto a la posibilidad de que permita realizar correcciones de política, detener, fortalecer o eliminar proyectos. o Importancia que le otorgan las autoridades del sector al tema de la planificación de las inversiones o Fortalecimiento de las unidades de planeamiento de las inversiones: margen de acción de estas unidades, capacidad de liderazgo, rol promotor vs. pasivo y posibilidad de contratación definitiva del personal de estas unidades.

Además, se explorarán las opiniones de estos funcionarios respecto a la nueva ley de inversiones: o Opinión acerca de la nueva ley de inversiones, tanto respecto al diseño conceptual de la misma como también a la facilidad de aplicación En estos casos, se buscó cuantificar las respuestas de los entrevistados, con el fin de obtener calificaciones que faciliten el análisis posterior de la información. Para ello, se les pidió a los entrevistados que califiquen en una escala del 1 al 7, donde “1” es peor y “7” es mejor. Sin embargo, el puntaje más alto, “7”, no necesariamente significa lo óptimo, sino más bien los aspectos más básicos con los que debería contar cada sector para realizar M&E. Más aún, considerando que no se analiza la calidad de los mismos. Entonces, el puntaje mayor se deberá interpretar como que las condiciones Instituto APOYO

13

Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

son las adecuadas para el inicio, a nivel sectorial, de un proceso que busque alcanzar un sistema de M&E eficiente y de calidad.

En segundo lugar, se buscará analizar aspectos más específicos, relacionados a los sistemas de M&E para el caso específico de los proyectos del sector. Si no existiesen limitaciones de ningún tipo -monetarias, de tiempo, recursos humanos, etc.- entonces probablemente el sistema de M&E ideal sería aquel que considere todas las herramientas posibles. Es decir, uno que permita realizar comparaciones en el tiempo –grupos antes y después-; que considere grupos de control para aislar los factores exógenos; que utilice series de tiempo para medir la sostenibilidad del proyecto y otras herramientas que complementen el análisis.

Sin embargo, será necesario definir algunos aspectos que debe considerar todo sistema de M&E de proyectos, como son las características más generales de los sistemas de M&E, que no dependen tanto de la realidad específica del proyecto. Para definir un modelo ideal de M&E, no pondremos tanto énfasis en las técnicas o los instrumentos utilizados en cada caso, sino más bien en lo que busca medir el modelo de M&E. Por ejemplo, nos importará que el modelo de M&E incluya algún tipo de evaluación, sin necesidad de exigir que exista algún tipo de evaluación específica.

Igualmente incluimos en el cuestionario algunas preguntas específicas, referidas por ejemplo a la existencia de línea de base o un grupo de control, pero cuya ponderación en el índice definido no es tan importante.

Por lo tanto, los aspectos que se analizarán para la recolección de información relativa a los sistemas de M&E de los proyectos, se pueden dividir en tres grupos: o Aspectos que no están relacionados a técnicas metodológicas, sino más bien instrumentos que todo proyecto debería utilizar para llevar a cabo actividades de M&E. Estos podrían definirse como los insumos necesarios, aunque no suficientes, para que las prácticas de M&E sea adecuadas. Estos son: ü La existencia de formatos para registrar el consumo de insumos o el cumplimiento de las actividades que permitan recolectar la información que es necesaria para monitorear y evaluar un proyecto. ü La existencia de manuales que guían a los funcionarios encargados de realizar las tareas de monitoreo y evaluación en sus funciones. ü La elaboración de reportes que contengan los resultados del proceso de M&E, que contengan los hallazgos y que permitan retroalimentar el proceso. ü La existencia de una capacidad de M&E al interior del proyecto, reflejada en una unidad que define plan de trabajo con las actividades que se desarrollarán, los funcionarios responsables, las funciones definidas, el presupuesto y los entregables o productos finales del proceso de M&E. ü La utilización del marco lógico como herramienta para el diseño de programas, lo que a veces contribuye a aplicar más fácilmente las técnicas de M&E. o Aspectos relacionados a las técnicas metodológicas utilizadas para M&E proyectos, que podrían definirse como los productos del proceso de monitoreo y evaluación. Estos son: ü Perfiles de los proyectos ü Evaluaciones de los proyectos ü Línea de base ü Grupo de control o comparación

Instituto APOYO

14

Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

Si bien en esta parte también sería importante analizar la utilización de prácticas de monitoreo, no se realizó esta pregunta. Esto se debe a que siempre existe algún tipo de seguimiento de los proyectos, más aún con a l introducción del SIAF. Por lo tanto, existía el riesgo de que la respuesta a esta pregunta siempre sea afirmativa. o Aspectos que buscan medir el beneficio que se obtiene de la aplicación de prácticas de M&E en los proyectos, que dependerá de factores como: ü Margen de acción para realizar modificaciones a los proyectos.

Todas las características evaluadas, además de ser más o menos generales, deberán ser contrastables también, con el fin de evitar que los entrevistados sobreestimen las bondades de los sistemas de M&E de los proyectos analizados. Por tanto, habrá que evitar el riesgo de respuestas sesgadas. d.4) Cuestionario De esta manera, el cuestionario aplicado para el caso de las entrevistas en profundidad, así como también para realizar los estudios de casos, fue el siguiente: Preguntas exploratorias, de carácter más general, aplicadas a nivel de los sectores económicos y sociales: 1.

2.

3.

4.

5.

6.

7.

¿Existe el compromiso político necesario para el desarrollo de un sistema de M&E en los proyectos del ámbito de su sector? ¿Es similar al compromiso que existe para el caso de los demás sectores? En una escala del 1 al 7, dónde 1 es nada de compromiso político y 7 es total compromiso político: ¿Cómo calificaría? ¿Existe una cultura que promueva los procesos de M&E en el caso de los proyectos de su sector? En una escala del 1 al 7, dónde 1 es nada de cultura y 7 es mucha cultura: ¿Cómo calificaría?

A nivel conceptual: ¿qué opiniones tienen del marco legal bajo la nueva ley de inversiones? ¿El ámbito que abarca es el adecuado? ¿Existen vacíos legales importantes (caso regiones)? En una escala del 1 al 7, dónde 1 es nada adecuado y 7 es muy adecuado: ¿Cómo calificaría al diseño conceptual del nuevo marco legal? ¿Es práctico el sistema? ¿Es de fácil aplicación? ¿Es posible aplicar la norma tal como está? ¿Qué problemas tiene? ¿Es flexible o rígido? En una escala del 1 al 7, dónde 1 es nada práctico-aplicable y 7 muy práctico-aplicable: ¿Cómo calificaría al nuevo marco legal? ¿Para qué sirve el M&E que se realiza en su sector? ¿Permite margen de acción para realizar correcciones de política? Cuando los proyectos ya tienen un estudio definitivo: existen mecanismos para detenerlo en caso que se detecte que no sería eficiente iniciar su ejecución? Cite algunos ejemplos. Califique la capacidad de margen de acción: Amplio margen de acción (7); nada de margen de acción (1). ¿Las autoridades de su sector siguen el tema de inversiones? ¿Realizan algún tipo de planificación de las mismas? ¿Es este un tema de agenda? ¿Es más una agenda presidencial o sectorial? ¿Qué tan frecuentes son las reuniones entre el ministro y el jefe de la oficina de inversiones del sector? Califique la importancia que le otorgan las autoridades del sector a la planificación y evaluación de los proyectos de inversión del sector, donde 1 en nada importante y 7 es muy importante. ¿La estrategia para fortalecer las oficinas sectoriales de inversión ha logrado sus objetivos? ¿Tienen el liderazgo deseado? ¿Ha mejorado con respecto a antes?

Van por el camino correcto? ¿Tienen margen de maniobra para negociar con ministros? ¿Tienen un rol promocional o sólo responden y analizan las propuestas

Instituto APOYO

15

Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

del ministerio? ¿Las personas destacadas a las OPI sectoriales, han sido contratadas o existen altas probabilidades de que lo sean? Califique el liderazgo (a) y margen de maniobra (b), en escalas donde 1 es nada y 7 es mucho. Califique el tipo de rol que juega la OPI (c), donde 7 es más promocional y 1 es más pasivo.

Califique la posibilidad de contratación del personal destacado de la Odi a las OPIs (d): 1 es nada probable y 7 muy probable.

Preguntas más específicas, aplicadas a nivel de cada proyecto: 1.

2.

3.

4.

5.

6.

7.

8.

9.

10.

11.

Antes de adecuarse a la nueva ley de inversiones: ¿Qué proyectos de inversión y/o de gasto corriente realizaban prácticas de M&E? ¿Existe margen de acción y/o poderes para realizar correcciones al programa, si es que los hallazgos del proceso de M&E así lo exigiesen?¿Han habido correcciones específicas en el caso de los proyectos del sector? ¿En cuáles? ¿Puede dar algunos ejemplos? ¿Cuántos proyectos han sido reformulados, detenidos, eliminados, etc.? ¿Se ha diseñado una capacidad de M&E al interior del programa? ¿Existe un plan de trabajo, con las actividades que se desarrollarán, los funcionarios responsables, las funciones definidas, el presupuesto y los entregables o productos finales del proceso de M&E? ¿Se ha definido cómo es el flujo de la información que se genera del proceso de M&E, cuáles son las áreas que deben reportar y a qué áreas se debe reportar los resultados de M&E? ¿Tienen manuales de M&E para la aplicación de estas prácticas? ¿Existen formatos estandarizados y pre-establecidos para la recopilación de la información que se procesará para el M&E? ¿Se producen reportes con el análisis del proceso de M&E, sus resultados y hallazgos (a)? Si se producen reportes: ¿Se utilizan para retroalimentar el ciclo del proyecto (b)? ¿Se utiliza el marco lógico para el diseño del proyecto? ¿Realizaron perfiles de los proyectos al inicio de los mismos? ¿Realizaron algún tipo de evaluación intermedia o expost? ¿Tienen línea de base (a)? ¿Tienen grupo de control o comparación (b)?

d.5) Limitaciones de la metodología planteada Si bien la elección de entrevistar a terceros que no están relacionados directamente con los proyectos sociales reduce el sesgo de obtener respuestas que sobreestimen las bondades del sistema de M&E del mismo, se introduce el riesgo de que el funcionario entrevistado pueda tener, en algunos casos, un conocimiento que no sea suficiente para contestar algunas preguntas. En estos casos, si el funcionario responde a la pregunta sin estar completamente seguro y sin informarle al entrevistado, entonces existirá el riesgo de que algunas respuestas sean erradas.

El escaso desarrollo de las prácticas de M&E en el Perú impide que los conceptos que se manejan tengan acepciones similares, principalmente para el entrevistador y el entrevistado. No existe un consenso acerca de lo que se puede entender como una evaluación de proyectos y puede ser que una evaluación sea adecuada para un persona pero inadecuada para otra. En estos casos, existirá el riesgo de que, por ejemplo, el entrevistado conteste afirmativamente ante la pregunta de si es que realizan algún tipo de evaluación, pero que en realidad ésta sea tan simple que no calce dentro de lo que el entrevistado entiende por una evaluación adecuada para los efectos del estudio. Además, es difícil y prácticamente imposible realizar este trabajo de campo si previamente a la aplicación del cuestionario habría que realizar Instituto APOYO

16

Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

definici ones de los conceptos para llegar a algunos consensos entre el entrevistador y el entrevistado.

En muchos casos, los programas y proyectos analizados se subdividen a su vez en proyectos más pequeños. Esto ocurre porque algunos proyectos tienen varios objetivos o áreas de intervención, que pueden ser, por ejemplo, para el caso del programa MECEP del Ministerio de Educación, los de gestión administrativa, infraestructura y calidad educativa. En otros casos, puede ser que el proyecto se subdivida en proyectos más pequeños dependiendo del área geográfica que atiende.

En todos estos casos, el trabajo de exploración inicial, previo al inicio de las entrevistas, confirmó la creencia de que en la mayoría de los mismos se puede hablar de un mismo sistema de M&E. Esto se debería a que el marco general que guía estos procesos tiende a ser el mismo, a pesar de que en cada uno de los subproyectos pueda haber características que son “a la medida” del mismo.

Sin embargo, es probable que no en todos los casos sea posible que el entrevistado responda de manera uniforme par el caso de algunas preguntas. Por ejemplo, puede ser que algunos de los subproyectos hayan realizado evaluaciones, mientras que otros no lo hayan hecho. En estos casos, quizás la respuesta más adecuada y que tendría menos error sería la que haya considerado qué tan diseminada está la práctica de las evaluaciones al interior del proyecto. Es decir, si la mayoría de los subproyectos realizan evaluaciones entonces la respuesta más adecuada sería afirmativa. Sin embargo, igual existirá el riesgo de error en algunos casos, en los que, siguiendo con el ejemplo, sólo unos pocos proyectos realicen evaluaciones y se conteste “Sí” o que casi todos realicen y que se conteste “No”, lo que sería menos probable.

Sin embargo, la técnica de recolección de información aplicada buscó atenuar estas limitaciones, recogiendo la información cualitativa que estaba detrás de las respuestas de los entrevistados. Por lo tanto, en algunos casos ha sido posible evitar estos sesgos, a través de una repregunta y permitiendo que el entrevistado se explaye más con su respuesta.

Considerando estas limitaciones, los hallazgos y conclusiones más sólidos del estudio serán de carácter general, a nivel de todos los sectores y/o a nivel de todos los proyectos analizados. En estos casos, es más probable que los errores que haya habido en las respuestas se neutralicen unos con otros. Las conclusiones a nivel de sectores específicos y/o proyectos específicos, por su parte, así como las comparaciones de unos con otros en cada caso, serán menos sólidas. e) Hipótesis del estudio En base al conocimiento previo de las políticas públicas en el Perú, producto de los estudios realizados así como de las entrevistas sostenidas con funcionarios involucrados con la realidad de los mismos, se pueden plantear algunos hipótesis, acerca de los sistemas de M&E de los proyectos públicos: A nivel sectorial: o La importancia que se le otorga al planeamiento de las inversiones es baja. o Las oficinas de planeamiento de las inversiones aún no tienen el respaldo que requieren. o El respaldo político para la aplicación de prácticas de M&E es sumamente bajo. o La cultura de M&E es escasa.

Instituto APOYO

17

Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

A nivel de los proyectos públicos: o Los proyectos públicos más antiguos suelen tener los sistemas de M&E más débiles, debido a que no incorporan las últimas tendencias de monitoreo y evaluación que surgieron en los últimos años. o Los proyectos públicos con financiamiento externo suelen tener los sistemas de M&E más sólidos, así como también un mayor margen de maniobra para realizar correcciones que surjan de los resultados del proceso de M&E. o Menos del 20% de los proyectos públicos realizan evaluaciones del desempeño. o Los proyectos públicos más importantes, con mayor presupuesto, suelen estar más influenciados por factores políticos y, por lo tanto, tienen sistemas de M&E más débiles. o Los proyectos de inversión suelen tener mejores sistemas de M&E que los proyectos de gastos corrientes, debido en parte al impacto de la nueva normativa de inversiones.

Instituto APOYO

18

Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

2. La situación del M&E en el Perú a) Sistemas de monitoreo y evaluación al interior de la administración pública: Oficina de Inversiones (ODI), Sistema de Información Administrativa y Financiera (SIAF) y Planeamiento Estratégico Sectorial Multianual (PESEM).

En la segunda mitad de los 90’s, se iniciaron tres esfuerzos por implementar sistemas de M&E en la administración pública, impulsados por el Ministerio de Economía y Finanzas (MEF). Sin embargo, estos esquemas se desarrollaron de manera integral para la administración pública, lo que a veces impide controlar el cumplimiento de los mismos. Además, al menos en el caso del SIAF y PESEM, no son esquemas de M&E propiamente. El SIAF es un sistema de control presupuestal y de la ejecución de los gastos pú blicos, mientras que el PESEM intenta introducir prácticas de planeamiento estratégico, todavía sin enforcement requerido.

En 1995, algunas de las funciones del desaparecido Instituto Nacional de Planificación fueron transferidas a una nueva unidad, ODI, creada al interior del MEF. Esta analizó la utilización de las prácticas de M&E en el ámbito de los proyectos públicos de inversión y promulgó la nueva Ley de Inversiones recién a fines del 2000. A partir del 2001, todos los proyectos públicos de inversión deben cumplir con estas normas, que definen todas las etapas del ciclo de proyectos que deben ser aprobadas para asegurar la viabilidad de los mismos.

En el mismo periodo, el Sistema Integrado de Administración Financiera (SIAF) también comenzó con su encargo, pero a nivel de todas las unidades ejecutoras del Gobierno Central. Este sistema se encuentra plenamente implementado desde el 2000. Sin embargo, es un sistema de control de la ejecución de los gastos públicos, cuyo objetivo no es que cada unidad ejecutora implemente sistemas de M&E. Por lo tanto, sólo permite realizar cierto tipo de monitoreo, pero bastante limitado.

En el 2000, finalmente, se inició la implementación de los planeamientos estratégicos sectoriales multianuales (PESEM), en el ámbito de los sectores económicos y sociales. Estos se presentaron por primera vez en el 2000 pero no fueron evaluados, porque los sectores todavía estaban en una etapa de aprendizaje. A partir del 2001, por su parte, estos PESEM serán presentados y evaluados, con el fin de determinar si existe consistencia entre la visión, misión, objetivos y actividades programadas, así se utilizan como insumo para el proceso presupuestario.

AMBITOS DE INFLUENCIA DEL SIAF, LA ODI Y EL PESEM EN LA CADENA INSTITUCIONAL

PESEM

SIAF

A) Gobierno Central

Sectores (Ministerios y otros sectores)

Gastos corrientes

Pliegos

Unidades ejecutoras Gastos de inversión

26

149

550 ODI

B) Resto del sector público

Instituto APOYO

Gastos de inversión

19

Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

a.1) Oficina de Inversiones (ODI) a.1.1) Antecedentes En 1995, se creó la ODI, uni dad que asumió las funciones del desaparecido INP. Esta analizó la utilización de las prácticas de M&E en el ámbito de los proyectos públicos de inversión y, en 1998, elaboró un informe que resumía el estado de los mismos.

Durante el segundo gobierno del presidente Fujimori, entre 1995 y el 2000, la ODI funcionó como una unidad rectora de las inversiones públicas, analizando las nuevas propuestas de inversiones presentadas por los diferentes sectores y procurando que éstas se formulen adecuadamente. De esta manera, funcionaba como un filtro que intentó frenar proyectos que no tenían una formulación adecuada que, en la mayoría de los casos, la intención de desarrollarlos respondía más a factores políticos que a criterios de eficiencia.

Durante estos años, la ODI diseño el marco legal que debía regir para las inversiones públicas y, en el 2000, publicó la nueva Ley de Inversiones, así como su reglamento y directivas, que definen todas las etapas del ciclo de proyectos que deben ser aprobadas para asegurar la viabilidad de los mismos. A partir del 2001, todos los proyectos públicos deben adecuarse a estas nuevas normas. a.1.2) Objetivos Los principales objetivos de la nueva Ley de Inversiones son: Propiciar la aplicación del ciclo de proyectos para los proyectos de inversión pública, compuesto por las etapas de perfil, pre-factibilidad, factibilidad, expediente técnico, ejecución y evaluación expost.

■ Fortalecer la capacidad de planificación del sector público.

■ Crear condiciones para la elaboración de planes de inversión pública por periodos multianuales no menores de tres años.

■

a.1.3) Ámbito de influencia El ámbito de influencia del nuevo marco legal es los proyectos de inversión de las entidades y empresas del sector público no financiero, pero no incluye los gobiernos locales y sus empresas. Entonces, su ámbito de influencia está definido por los siguientes organismos: Ministerios y sus órganos desconcentrados.

Organismos públicos descentralizados.

■ Organismos constitucionalmente autónomos.

■ Gobiernos regionales.

■ Empresas del Estado, de propiedad del Gobierno Central o Regional y que no desarrollen actividades financieras.

■ Otros organismos y dependencias del Estado que ejecuten proyectos de inversión.

■ ■

Para efectos de este nuevo marco legal, los proyectos que deben cumplir con la nueva normativa son todos aquellos que representan una intervención limitada en el tiempo, que implique la aplicación de recursos públicos con el fin de ampliar, mejorar y modernizar la capacidad productora de bienes o prestadora de servicios, y cuyos beneficios son independientes de otros proyectos.

Instituto APOYO

20

Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

a.1.4) Autoridades Las autoridades que tienen algún tipo de injerencia en el contexto de esta nueva normatividad son el Ministerio de Economía y Finanzas (MEF), principalmente a través de la Oficina de Inversiones (ODI), los órganos resolutivos de los sectores y las Oficinas de Planificación de Inversiones de los sectores (OPIs).

MEF-ODI: es la más alta autoridad técnico-normativa. Le corresponde regular las fases con las que deben cumplir los proyectos de inversión, así como calificar su viabilidad. La facultad de calificación de la viabilidad puede ser delegada a los órganos resolutivos de los diferentes sectores y éstos, a su vez, a las OPIs. Órganos resolutivos: son los ministros o las máximas autoridades de los sectores.

Autorizan la elaboración de los expedientes técnicos y la ejecución de los proyectos de inversión. Asimismo, deben velar por el cumplimiento de la normatividad.

Oficinas de planificación de las inversiones (OPIs): se encargan de priorizar los proyectos de inversión, primero en sus fases de inversión y luego en sus fases de preinversión. Las OPIs tienen una relación muy estrecha con la ODI, registrándose un flujo de información continuo entre las mismas. La ODI determina las atribuciones y responsabilidades de las OPIs.

Instituto APOYO

21

Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

FUNCIONES DE LAS AUTORIDADES QUE PARTICIPAN EN EL MARCO DE LA NUEVA LEY DE INVERSIONES Ministerio de Economía y Órgano resolutivo del Oficinas de Programación Finanzas – Oficina de sector de Inversiones inversiones Autorizar la ejecución de Velar por el cumplimiento del Revisar los estudios de perfil estudios de factibilidad marco legal en su sector y prefactibilidad elaborados por las unidades de formulación de proyectos (UF) Aprobar los estudios en la Designar al órgano Determinar si los proyectos fase de factibilidad encargado de realizar las son compatibles con los funciones de las OPIs y objetivos estratégicos del definir un funcionario sector. responsable en las mismas Determinar la viabilidad de Solicitar al MEF la Elaborar y someter al órgano los proyectos autorización para ejecutar resolutivo el PMIP del sector estudios de factibilidad que contiene los PIP priorizados por las OPIs. Aprobar los manuales Solicitar al MEF la Mantener actualizado el metodológicos de proyectos calificación de viabilidad de Banco Sectorial de los proyectos de inversión Proyectos. pública.

Establecer los Autorizar la elaboración del Mantener actualizado el procedimientos, precios expediente técnico de los SOSM de la inversión del sociales, parámetros de PIP declarados viables por la sector. evaluación y otras normas ODI. de observancia obligatoria Definir los niveles de acceso Autorizar la ejecución de los Realizar procesos de a la información contenida PIP declarados viables por la capacitación permanentes en el Banco de Proyectos ODI. con personal de las unidades ejecutoras.

Capacitar al personal de las Decidir a qué unidad Coordinar la realización de OPIs y al de las unidades ejecutora de su sector las evaluaciones ex post. ejecutoras en el desarrollo corresponde realizar cada metodológico del contenido proyecto declarado viable. de los manuales.

Mantener actualizado el Aprobar el Programa Banco de Proyectos de Multianual de Inversión inversión pública y el Pública.

Sistema Operativo de Seguimiento y Monitoreo Consolidar los programas multianuales de inversión pública y presentarlos a la alta dirección del MEF para su puesta a consideración al Consejo de Ministros.

Fuente: Decreto Supremo Nº 086-2000-EF a.1.5) Exigencias que deben cumplir los proyectos públicos en el marco de la nueva Ley de Inversiones

Instituto APOYO

22

Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

Etapa de pre-inversión En la etapa de pre-inversión, la elaboración del perfil de un proyecto es obligatoria. Las evaluaciones de prefactibilidad y factibilidad, en cambio, pueden no ser requeridas, dependiendo de las características del proyecto de inversión pública (PIP). Los procedimientos para la aprobación de los diferentes estudios ya están definidos: los perfiles son elaborados por las unidades de formulación de proyectos y deben ser aprobados por las OPIs sectoriales; los estudios de prefactibilidad y de factibilidad deben ser elaborados por las unidades de formulación, deben ser aprobados por las OPIs y posteriormente por la ODI. La declaración de viabilidad de los PIP depende de la sostenibilidad económica, ambiental e institucional de los proyectos, así como de su rentabilidad social. Para que sean rentables, éstos deberán aprobar los análisis de costo beneficio o de costo efectividad.

Etapa de inversión La etapa de inversión consiste en la elaboración del expediente técnico y en la ejecución del proyecto. El sistema operativo de seguimiento y monitoreo contiene los procedimientos para realizar el seguimiento físico y financiero de los PIP, con el fin de contribuir con el proceso de toma de decisiones en la fase de inversión. Las unidades ejecutoras son las encargadas de registrar la información en las fichas de seguimiento provistas por la directiva y de actualizar periódicamente esta información. Las OPIs son las encargadas de consolidar esta información a nivel sectorial, y la ODI lo hace a nivel nacional.

Etapa de post inversión La etapa de post inversión consiste en la evaluación expost de los proyectos, que debe ser realizada por las unidades ejecutoras. Las OPIs están facultadas para solicitar, en los casos en que lo determinen, una evaluación de una agencia externa. Los términos de referencia de las evaluaciones expost deben ser aprobados por las OPIs y por la ODI. Planes multianuales de inversión pública Con el fin de alcanzar el objetivo de que los planes de inversión se elaboren por un periodo de largo plazo, se estableció la obligación de realizar los programas multianuales de inversión pública. Por medio de estos planes, el sector determina el conjunto de proyectos en etapa de preinversión e inversión, que deberán ser evaluados o ejecutados en los próximos tres años. De estos proyectos, los que serán ejecutados en el primer año deberán contar con la calificación de viabilidad por parte de la ODI. Los planes multianuales deberán contar con una evaluación físico y financiera de las inversiones de los tres años anteriores, así como con una programación de las mismas para los próximos cinco años, que contenga un análisis de tres escenarios: neutro, optimista y pesimista. La OPI es la encargada de la formulación de estos planes multianuales. a.1.6) Limitaciones Desde el punto de vista del M&E de proyectos en general, la principal limitación del nuevo marco legal es que sólo abarca lo que son intervenciones públicas de carácter eventual. Sin embargo, existen importantes proyectos o programas públicos de carácter ordinario, que realizan gastos corrientes, y que también Instituto APOYO

23

Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

requieren ser monitoreados y evaluados, con el fin de asegurar el cumplimiento de sus objetivos.

Por otro lado, es necesario que este esquema de M&E planteado por la ODI permita evaluar la sostenibilidad de los programas, luego de varios años de haber finalizado. En la nueva normativa se establece que las unidades ejecutoras de los proyectos serán las encargadas de hacer las evaluaciones ex post. Sin embargo, lo más probable es que éstas se encuentren desactivadas cuando culminen los proyectos, lo que impediría realizar evaluaciones de sostenibilidad. Además, en muchos casos, luego de que culmina la ejecución de un proyecto de carácter eventual, hay partes del mismo que se transfieren a los órganos de línea del sector, porque se generan gastos corrientes futuros como consecuencia del mismo, que también sería necesario monitorear y evaluar.

Otra limitación es la cantidad de equipo técnico y el compromiso político por asignar a esta unidad los recursos necesarios para implementar eficientemente este sistema. Cabe destacar que, actualmente, sólo ocho sectoristas de la ODI realizan el seguimiento de todos los proyectos de inversión de la administración pública, con el fin de verificar que cumplan con la nueva normativa. En muchos casos, esta unidad, que justamente es la promotora de estas nuevas prácticas, se convierta en un “cuello de botella” en el proceso de aprobación de nuevos proyectos. En este sentido, la iniciativa del gobierno de Transparencia Económica y Fiscal permitá avanzar en el proceso de fortalecer procesos de M&E de la acción pública en general, incluso incorporando la dimensión de vigilancia ciudadana.

a.2) Sistema Integrado de Administración Financiera (SIAF) a.2.1) Antecedentes Entre 1997 y 1998, se inició la implementación del SIAF en Gobierno Central y las regiones, que consistió en el entrenamiento de las unidades ejecutoras y la entrega de equipos. En 1997 se llevaron registros mensuales paralelos para definir algunos aspectos adicionales del sistema y en 1998 se comenzó a registrar automáticamente las operaciones. Recién en 1999 se inició la implementación oficial del sistema para el registro de las operaciones de ingresos y gastos de las unidades ejecutoras, que se logró plenamente en el 2000. a.2.2) Objetivos El objetivo del SIAF consiste en controlar la ejecución de los gastos públicos con el fin de evaluar el avance de los mismos con respecto a lo programado.

Desde el punto de vista de un sistema de M&E integral, el SIAF es limitado, ya que sólo funciona como un sistema de monitoreo de la ejecución de los gastos, pero como un sistema integral de M&E. Esto significa que no permite hacer seguimiento de indicadores más específicos, que son los más adecuados, pues son “a la medida” del proyecto. Su principal utilidad es que se puede utilizar como un sistema de alerta temprana, que permite identificar demoras o adelantos en la ejecución de los gastos, con respecto a lo planeado, con el fin de realizar correcciones a tiempo.

Instituto APOYO

24

Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

a.2.3) Ámbito de influencia El ámbito de influencia del SIAF es el Gobierno Central. No controla los gastos de las empresas públicas, los municipios, ni las instituciones descentralizadas bajo el ámbito del Fonafe, como Essalud y los organismos reguladores. Su ámbito de influencia, al interior del Gobierno Central, está compuesto por 26 sectores (16 ministerios y 10 sectores autónomos), que abarcan 140 pliegos que, a su vez, realizan sus gastos a través de 550 unidades ejecutoras. El SIAF controla la ejecución física y financiera de los gastos de todas las unidades ejecutoras bajo su ámbito, algunas de las cuales realizan gastos corrientes y otras ejecutan proyectos de inversión, que tienen carácter eventual. a.2.4) Funcionamiento del sistema El SIAF es un sistema de ejecución, mas no de formulación de los gastos de las unidades bajo su ámbito. Fue creado para que funcione como una herramienta de gestión del Tesoro, con el fin de que éste pueda supervisar los gastos de las unidades ejecutoras. Es un sistema de seguimiento financiero en tiempo real, mientras que los indicadores meta son físicos, y se recopilan con una periodicidad trimestral. Las unidades ejecutoras tienen la obligación de definir y realizar el seguimiento de, por lo menos, un indicador físico de meta por proyecto de inversión pública. Sin embargo, la nueva Ley de Inversiones, por su parte, exige una mayor cantidad de estos indicadores, al menos para el seguimiento de los proyectos de inversión. a.2.5) Utilidad del sistema El SIAF registra la información financiera del Estado en tiempo real, lo que permite una visión global de la ejecución de los gastos del Estado, así como del timing de su ejecución, comparando los gastos ejecutados versus los programados. Si bien es un sistema limitado desde el punto de vista de M&E, al menos permite cierto tipo de monitoreo de indicadores de efectividad, al contrastar indicadores físicos y financieros como, por ejemplo, dólares gastados por kilómetro de carretera. Esto permitirá comparar los resultados con benchmarks preestablecidos y, de esta manera, evaluar la efectividad de los gastos y/o inversiones. Sin embargo, aún no tiene mecanismos eficientes que permitan contrastar la información proporcionada por las unidades ejecutoras. a.2.6) Ventajas y limitaciones Las principales ventajas que tiene, desde el punto de vista del monitoreo, es que permite hacer un seguimiento en tiempo real de los indicadores financieros y un seguimiento trimestral de algunos pocos indicadores físicos de los gastos corrientes y de inversión del sector público. De esta manera, es posible obtener ratios de efectividad comparando ambas informaciones, como por ejemplo, cuánto esta costando cada bien producido por el proyecto. Sin embargo, el SIAF tiene serias limitaciones si es que se lo considera como un sistema integral de M&E, ya que no fue creado con ese objetivo. Además, no permite identificar las causas por las cuales se haya avanzado más o menos que lo programado y la información procesada por el sistema no retroalimenta a los organismos ejecutores, que son quienes realizan el seguimiento de sus unidades y quienes deberían estar más interesados en conocer estos resultados.

Instituto APOYO

25

Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

a.3) Planes Estratégicos Sectoriales Multianuales (PESEM) a.3.1) Antecedentes En el 2000, el Viceministerio de Economía encargó a la Dirección de Planeamiento Multianual de Inversiones la tarea de impulsar el proceso de elaboración de los Planes Estratégicos Multianuales de los sectores. Esta unidad realizó investigaciones y formuló el marco conceptual que debía regir los PESEM. Se capacitó a los funcionarios que estarían involucrados en este proceso y se elaboraron manuales para facilitar y estandarizar el proceso. a.3.2) Objetivos Orientar la gestión pública hacia una administración guiada por resultados, en lugar de que prevalezca solamente el cumplimiento de los procesos. Para ello, se buscará atribuir responsabilidades a los funcionarios y realizar el seguimiento a las metas planteadas.

■ Programar el gasto público de manera multianual.

■

a.3.3) Planes Estratégicos Sectoriales Multianuales (PESEM) Los PESEM son un esfuerzo por planificar estratégicamente las operaciones que desarrollarán los sectores del Gobierno Central en el futuro. En estos se establecen claramente la visión, misión y objetivos del sector, lo que permite definir, a su vez, los objetivos específicos y las actividades acordes con el marco definido previamente. Asimismo, los pliegos de cada sector también deberán presentar sus planes estratégicos institucionales (PEI), con el fin de evaluar que sean consistentes con los PESEM. a.3.4) Ámbito de influencia El ámbito de influencia de este nuevo marco legal son todos los sectores del Gobierno Central, conformado por 16 ministerios y 10 sectores autónomos.

Estos deberán presentar sus PESEM a la DGAEF, que es la Dirección General de Asuntos Económicos y Financieros. Considerando que los sectores realizan sus gastos a través de pliegos que, a su vez, los ejecutan por medio de las unidades ejecutoras, entonces los planes del sector deberán ser coordinados en todos los niveles de la cadena funcional de los gastos públicos.

De alguna manera, la normativa del PESEM fuerza esta interacción entre sectores y sus pliegos, ya que no sólo revisa y aprueba los planes estratégicos de los 26 sectores sino también los 149 planes estratégicos institucionales (PEI) de los pliegos. Si bien se entiende que los pliegos, a su vez, deberán interactuar con las unidades ejecutoras bajo su ámbito con el fin de definir sus planes estratégicos, aún no se definió quién se encargará de revisar los planes de estas últimas y completar el ciclo de retroalimentación que debería haber en la cadena funcional. a.3.5) Autoridades Las autoridades que tienen algún tipo de injerencia en el contexto de esta nueva normatividad son el Ministerio de Economía y Finanzas (MEF), principalmente a través del Viceministerio de Economía, por medio de la DGAEF. Sin embargo, en el futuro, esta dirección se encargará de las funciones del marco macroeconómico multianual, tanto financiero como social.

Instituto APOYO

26

Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

En este sentido; se ha creado una nueva dirección, de Planeamiento Estratégico Multianual, a la cual se transferirán las funciones que realiza actualmente la DGEAF, vinculadas específicamente a la administración y seguimiento de los PESEM. En cada sector, ya se ha definido un representante para efectos del cumplimiento de la normativa del PESEM, así como también oficinas de apoyo de planeamiento y de presupuesto. a.3.6) Proceso de evaluación de los PESEM Las evaluaciones de los PESEM se realizará bimestralmente, para el caso del análisis del cumplimiento de los insumos, procesos y productos; semestralmente, para el caso del cumplimiento de los resultados; y anualmente, para el caso del cumplimiento de los impactos. Para esta etapa, los sectores recibirán un aplicativo, que todavía no está concluido, que les permitirá elaborar sus reportes para efectos de la evaluación. Actualmente, el sistema solamente registra las metas establecidas por cada sector, pero no recoge la información de ejecución de los mismos, lo que será evaluado a partir de este año. Por lo tanto, aún no permite realizar un contraste entre ambas informaciones, con el fin de verificar el cumplimiento de las metas planteadas.

En el año 2000, los sectores elaboraron y presentaron por primera vez los PESEM, que contenían las metas para el 2001. Sin embargo, estos no fueron evaluados, ya que se hizo necesario corregir ciertos errores y capacitar aún más a los funcionarios o áreas que se encargarían de estas labores. En el 2001, por su parte, se presentarán los PESEM, con las metas para el 2002, pero en esta oportunidad sí serán evaluados. Luego, la DGAEF, será la unidad encargada de discutir con cada sector los criterios utilizados para la elaboración de los PESEM, realizar las modificaciones que surjan de estas coordinaciones y consolidar los PESEM en el plan estratégico multianual (PEM). Finalmente, el PEM se someterá a la aprobación del Consejo de Ministros para que luego sea tomado como referencia para la formulación del presupuesto del 2002. a.3.7) Fortalezas y debilidades del nuevo marco legal El proceso del PESEM todavía está en una etapa inicial. La presentación de los PEM en el 2000 reflejó problemas de concepción de los mismos, que obligó a realizar una mayor capacitación de los funcionarios involucrados con su elaboración. En muchos casos no existe consistencia entre los objetivos planteados y los indicadores definidos para medir su cumplimiento. Además, aún no estaría funcionando como un sistema de planificación estratégico sino más bien como un sistema de programación.

Este sistema se enmarca dentro del proceso de transparencia y prudencia fiscal del Gobierno y contribuirá significativamente al mismo. Se elaborarán reportes de evaluación de los PESEM de los sectores, que serán publicados semestralmente, para el caso del análisis de resultados, y anualmente, para el caso de impactos. Sin embargo, la consolidación de la información a nivel sectorial es un reto importante. Cada sector tiene pliegos y unidades ejecutoras bajo su ámbito, que deberán interactuar para definir un plan estratégico consistente para el sector, que refleje la verdadera misión, visión, objetivos y metas del mismo. Sólo así se obtendrán planes estratégicos que sean consistentes y que permitan un análisis posterior que fortalezca la ejecución de los gastos públicos.

Instituto APOYO

27

Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

Sin embargo, será necesario desarrollar métodos para la verificación del cumplimiento de las metas planteadas por los sectores, así como de la veracidad de la información presentada. Esto se podría lograr a través de auditores externos, con el fin de que el proceso sea más transparente. a.4) Conclusiones Además de los retos y limitaciones analizados en cada caso, es importante destacar algunas conclusiones respecto a estos esfuerzos por introducir prácticas de M&E al interior de la administración pública. Estas iniciativas no han surgido como un esfuerzo común y coordinado, ni tampoco con una misma visión. Por lo tanto, uno de los retos pendientes es el de coordinar acciones entre los mismos y diseñar un marco que integre todas estas estrategias que surgieron de manera independiente.

Como se mencionó anteriormente, el proceso se desarrolló de manera inversa a lo normal. Inicialmente, la ODI introdujo estas prácticas a nivel de proyectos de inversión pública, que son las unidades más pequeñas dentro de la cadena institucional. Así, en el Gobierno Central ya existen proyectos, con planes estratégicos en algunos casos, que han comenzado a adecuarse a estas nuevas prácticas. Sin embargo, recién ahora los sectores en los que realizan sus actividades han comenzado este proceso. Por lo tanto, el reto será que, en el menor plazo posible, los planes estratégicos de cada nivel de la cadena institucional –sector, pliego y unidades ejecutora- converjan, con el fin de que exista consistencia en los planes estratégicos al interior de cada sector.

b) Entrevistas en profundidad para la evaluación de los sistemas de M&E en el ámbito de los programas y proyectos sociales peruanos En 1998, se realizó el PFP, que consistió en la presentación de los sistemas de M&E de algunos programas y proyectos sociales, tanto del sector público como de ONGs. Este foro motivó la iniciativa del Instituto APOYO de profundizar en los problemas que presentan los sistemas de monitoreo y evaluación de los programas sociales públicos en el Perú.

Para la presentación del primer avance, se seleccionó un conjunto de indicadores que permitieran describir el grado de desarrollo de los sistemas de monitoreo y evaluación, y aplicar dichos indicadores a los sistemas que fueron presentados en el I Foro de Pobreza. Estos indicadores fueron: − − − − − −

Existencia o no de marco lógico Existencia o no de línea de base Existencia o no de grupo de control para la evaluación Naturaleza de la evaluación (interna o externa) Existencia o no de indicadores de sostenibilidad Frecuencia con que se realiza el monitoreo y la evaluación

Sin embargo, la información recogida en el PFP tiene las siguientes limitaciones, producto de los sesgos que pueden haber tenido las respuestas.

Primero, fueron los mismos proyectos quienes decidieron participar para exponer sus sistemas de M&E, por lo que existe el riesgo de la autoselección.

Los sistemas de M&E de estos proyectos podrían ser más avanzados que el promedio, mientras que los proyectos con sistemas de M&E relativamente débiles se habrían abstenido. Segundo, la información se obtuvo de parte de Instituto APOYO

28

Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

los responsables directos de los proyectos, lo que podría haber incentivado a sobreestimar las bondades del mismo. Tercero, en este foro participaron también algunos funcionarios de los organismos prestamistas, lo que también puede haber influenciado las respuestas en el mismo sentido.

Por estas razones, se decidió utilizar una metodología diferente, que buscó superar las limitaciones de la información obtenida en el PFP, que tenía varios sesgos. Esta consistió en realizar entrevistas en profundidad a funcionarios relacionados indirectamente con los programas y/o proyectos públicos.

Igualmente, esta nueva metodología incorpora ciertas limitaciones, como puede ser la subjetividad del entrevistado, en cuanto a la mayor o menor rigurosidad al responder las preguntas. Sin embargo, se cree que es más adecuada que la anterior. Adicionalmente, se decidió realizar estudios de casos, para cuatro proyectos, con el fin de ahondar más en los factores de éxito de los sistemas de M&E de los proyectos públicos.

En las entrevistas en profundidad sostenidas con los funcionarios vinculados indirectamente a la ejecución de los programas y proyectos sociales del Gobierno Central, se aplicó el cuestionario diseñado de acuerdo con la metodología planteada, y que fue presentado en la primera sección de la investigación. Sobre la base de estas entrevistas, se obtuvo resultados a nivel sectorial y a nivel de los proyectos y/o programas. b.1) Nivel sectorial b.1.1) Definición de la muestra de sectores Las entrevistas realizadas se concentraron en los sectores agricultura, educación, salud, Promudeh, Ministerio de la Presidencia y transportes, de acuerdo a la definición de sectores de la estructura organizativa del sector público. En el 2000, estos sectores concentraron el 48% de los gastos totales del Gobierno Central. Pero si se eliminan los gastos del servicio de deuda incluidos para el caso del MEF, entonces este indicador asciende a alrededor de 60%.

GASTOS DEL GOBIERNO CENTRAL POR SECTORES (2000) Gastos ejecutados (US$ millones)

Estructura porcentual

Educación Salud Trabajo Agricultura Transportes Presidencia Promudeh

752 495 14 232 408 1 754 153

9,4% 6,2% 0,2% 2,9% 5,1% 22,0% 1,9%

Sub-total Otros

3 808 4 172

47,7% 52,3%

Total

7 980

100,0% Fuente: SIAF

Instituto APOYO

29

Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

Sin embargo, para tener una idea más clara del universo que representan estos sectores para efectos de esta investigación, se debería considerar los gastos que realizan pero solamente por concepto de programas y/o proyectos sociales. Esto se debe a que los gastos presentados en el cuadro anterior incluyen todos aquellos desembolsos ordinarios de los sectores, correspondientes a sus órganos de línea que no se destinan a programas y/o proyectos sociales. Sin embargo, la información pública no permite una mayor desagregación de los gastos del Gobierno Central, que permita definir el universo de los programas y proyectos del Estado, tanto de inversión como de gasto corriente.

Definitivamente, lo más lógico hubiese sido concentrarse en funciones en lugar de sectores, debido principalmente a que, en muchos casos, hay varios sectores que gastan en funciones similares. Por ejemplo, el sector educación no es el único que gasta en programas y proyectos educativos. El Promudeh, por ejemplo, tiene cuatro programas y/o proyectos que destinan gastos para la alfabetización de la población, como es el caso de COOPOP, PAR, PRONAA y PNA. GASTOS DEL GOBIERNO CENTRAL POR FUNCIONES (2000) Gastos ejecutados (US$ millones)

Estructura porcentual

Agraria Asistencia y previsión social Educación y cultura Salud y saneamiento Trabajo Transportes Vivienda y desarrollo urbano Sub-total Otros

360 1 887 1 537 758 13 396 42 4 993 2 987

4,5% 23,6% 19,3% 9,5% 0,2% 5,0% 0,5% 62,6% 37,4%

Total

7 980

100,0% Fuente: SIAF

Sin embargo, no fue posible concentrarse en funciones por dos razones. En primer lugar, a nivel de la administración pública, los programas y proyectos pertenecen a un determinado sector y los funcionarios que pertenecen a éstos o que tienen algún tipo de vínculo con los mismos, son nombrados a nivel sectorial. Esto significa que es común que un funcionario conozca acerca del desempeño de un grupo de proyectos de un mismo sector, pero es mucho menos probable que un funcionario público conozca acerca de los proyectos que pertenecen a una misma función. Por lo tanto, como nuestro público objetivo para el caso de las entrevistas debía tener, en lo posible, conocimiento de una cartera de proyectos públicos, entonces debían ser escogidos de los principales sectores que realizan programas y proyectos sociales.

En segundo lugar, hubiese sido difícil clasificar a los programas y/o proyectos por el tipo de función que atienden (educación, salud, etc.), porque en muchos casos un solo proyecto tiene varios objetivos y, por lo tanto, atiende varias funciones. Por ejemplo, como parte del proceso de redefinición de sus objetivos y ordenamiento de los programas del sector, el Promudeh realizó un análisis de Instituto APOYO

30

Estado de los Sistemas de Monitoreo y Evaluaci贸n de los Programas Sociales P煤blicos en el Per煤

los mismos. Como consecuencia de ello, identific贸 una gran cantidad de cruces entre las funciones o servicios atendidos por los mismos, los que se presentan en el siguiente cuadro:

Instituto APOYO

31

Instituto APOYO

Acciones de bienestar de las personas discapacitadas Alfabetización Apoyo a la población desplazada por la violencia terrorista Apoyo al adulto mayor Atención a niños y adolescentes en situación de riesgo y abandon o Atención integral a los huérfanos por violencia terrorista Atención integral a menores de 4 años Elevación del nivel nutricional Formación laboral juvenil Infraestructura económica (vial y riesgo) Infraestructura social (servicios básicos) Prevención y atención en casos de violencia familiar Promoción y desarrollo de organizaciones sociales de base Proyectos de desarrollo productivo Promoción de la mujer Promoción de los derechos individuales y colectivos

CONADIS COOPOP

INABIF

PAR

PRONAA

SERVICIOS SOCIALES GENERADOS POR EL PROMUDEH EN EL 2000

WASI

WAWA

Fuente: Promudeh

PNA

Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

b.1.2) Procesamiento de la información

32

Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

Si bien la información obtenida de las entrevistas fue principalmente cualitativa, en todas las preguntas se buscó cuantificar las respuestas de los entrevistados, con el fin de obtener calificaciones que faciliten el análisis posterior de la información. Para ello, se les pidió a los entrevistados que califiquen en una escala del 1 al 7, donde “1” es peor y “7” es mejor.

Por otro lado, se definieron ponderaciones para el caso de cada pregunta, con el fin de priorizar los aspectos que son más importantes para realizar un adecuado proceso de M&E. Las ponderaciones definidas para cada pregunta fueron las siguientes: PONDERACIONES DE LAS PREGUNTAS A NIVEL SECTORIAL Ponderación Pregunta 1 Pregunta 2 Pregunta 3 Pregunta 4 Pregunta 5 Pregunta 6 Pregunta 7 Pregunta 7 Pregunta 7 Pregunta 7 Pregunta 7 Total

a b c d

10% 10% 10% 10% 20% 20% 20% 5% 5% 5% 5% 100%

Se consideró que los aspectos evaluados en las primeras cuatro preguntas – apoyo político, cultura y la nueva ley de inversiones- son importantes pero representan las condiciones más básicas que se requerirían, a nivel sectorial, para realizar adecuadamente operaciones de M&E. En cambio, el margen de maniobra (5), la importancia de las inversiones (6) y el fortalecimiento de las OPIs (7) son condiciones que reflejan si es que, en la práctica, se están tomando las medidas adecuadas para realizar M&E. Cabe destacar que las preguntas 3, 4, 6 y 7 se refieren específicamente al caso de proyectos de inversión, con el fin de medir aspectos del nuevo marco legal.

Finalmente, se obtuvo un puntaje para cada pregunta, que al ser ponderado por la importancia de la misma, permitió obtener un puntaje a nivel sectorial.

Asimismo, al momento de agregar todas las entrevistas, se obtuvo un puntaje por cada pregunta pero a nivel de todos los sectores. Por último, se obtuvo un puntaje global para todos los sectores analizados. b.1.3) Análisis de la información Debido a las razones metodológicas explicadas anteriormente, así como a las pocas entrevistas realizadas, estos resultados se analizarán a nivel global de todos los sectores, así como también a nivel de cada uno de los aspectos de M&E que fueron considerados en el cuestionario. Sin embargo, no se analizarán los resultados específicos a nivel de cada sector, ni tampoco se realizarán comparaciones entre los mismos, aunque si se presenta la información.

Instituto APOYO

33

Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

Asimismo, en la parte metodológica, se estableció que los aspectos de M&E que se analizarían eran los más generales y básicos con los que debería contar un sistema de M&E. Más aún, considerando que no se analiza la calidad de los mismos. Por estas razones, cabe destacar que un puntaje de 7 no refleja que las condiciones para realizar prácticas sectoriales de M&E son óptimas. Por el contrario, se debería interpretar como que las condiciones son las adecuadas para el inicio, a nivel sectorial, de un proceso que busque alcanzar un sistema de M&E eficiente y de calidad. b.1.4) Presentación de los resultados Luego de indagar acerca de los aspectos con los que debería cumplir cada sector para realizar un adecuado M&E, se obtuvo que, en una escala del 1 al 7, el puntaje de todos lo sectores analizados ascendería a alrededor de 3. Como se menciona anteriormente, este resultado no debe ser comparado con 7 como si este fuese el resultado máximo, ya que el puntaje más alto considerado en esta escala refleja solamente el cumplimiento de las condiciones más básicas para realizar adecuadamente operaciones de M&E. En cuanto al detalle de los distintos aspectos analizados, los principales hallazgos se presentan a continuación: RESULTADOS DE LAS RESPUESTAS AL CUESTIONARIO DE M&E A NIVEL DE SECTORES (donde "1" es peor y "7" es mejor para cumplir con las condiciones mínimas que debería tener todo sistema de M&E a nivel sectorial)

Sectores

1

2

3

4

Preguntas 5 6

7 a

b

c

2,0 4,0 2,0 4,0 2,0 4,0

3,0 4,5 5,0 1,0 2,5 4,0

1,0 6,0 4,0 5,0 2,5 2,0

d

Promedio Promedio simple ponderado (1 a 7) (1 a 7)

Agricultura Educación Salud Promudeh Mipre Transportes

3,0 3,0 3,0 2,0 2,0 4,0

1,0 3,0 3,0 3,0 1,0 2,0

6,0 5,5 5,0 5,0 4,0 6,0

4,0 3.5 4,0 2,0 2,5 6,0

6,0 2,5 1,0 7,0 1,5 2,0

4,0 3,5 2,0 2,0 3,0 3,0

nd 1,5 n.d.

2,0 1,0 3,0

3,3 3,7 3,2 3,3 2,2 3,6

3,7 3,2 2,7 3,6 2,3 3,5

Promedio simple

2,8

2,2

5,3

3,7

3,3

2,9 3,0 3,3 3,4 1,9

3,2

3,2

n.d.: no disponible

Fuente: entrevistas en profundidad con funcionarios sectoriales.

REFERENCIAS 1 2 3 4 5

Instituto APOYO

Apoyo político Cultura de M&E Diseño nueva ley Aplicación nueva ley Margen de maniobra

6 7a 7b 7c 7d

Importancia inversiones Liderazgo OPIs Margen OPIs Rol promotor OPIs Contratación OPIs

34

Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

•

La opinión de los funcionarios entrevistados respecto a la nueva normativa de inversiones es relativamente favorable, lo que reflejaría que los lineamientos generales de este proceso son adecuados. Esta considera los aspectos conceptuales necesarios para realizar un adecuado proceso de M&E (puntaje 5,3) pero todavía se debe trabajar más en los relativos a su aplicación (3,7).

•

El apoyo político que se le otorga a la introducción de cualquier sistema de M&E es bajo (2,8). Además, la cultura de M&E es sumamente pobre (2,2), lo que evidencia no sólo la falta de capacitación y entrenamiento, sino también la falta de costumbre de realizar este tipo de actividades.

•

El margen de acción o de maniobra para tomar decisiones de política en función a los resultados del M&E es todavía limitado. Frecuentemente no es fácil decidir eliminar, reformular o modificar los programas y/o proyectos, debido a que aún se le otorga poca importancia a estos resultados (3,3).

•

La importancia que se le da a las inversiones es baja. Los proyectos de inversión se guían más por criterios políticos que por una preocupación por la eficiencia y por el impacto de largo plazo esperado (2,9).

•

La estrategia de la Oficina de Inversiones (ODI) de fortalecer las Oficinas de Planificación de las Inversiones (OPIs) se encuentra todavía en una etapa incipiente. Si bien éstas han adquirido un rol mucho más activo con la introducción de la nueva ley, todavía les falta liderazgo (3), margen de maniobra (3,3) y un rol más promotor (3,4). Uno de los aspectos que refleja la capacidad de que estas OPIs se fortalezcan es la posibilidad de que las personas de la ODI destacadas a estas oficinas sean finalmente contratadas. En los casos analizados, esta posibilidad es significativamente baja (1,9).

b.2) Nivel de programas y/o proyectos b.2.1) Definición de la muestra de programas y/o proyectos Como se mencionó en la sección metodológica de la sección 1, la presente investigación busca analizar tanto por programas y/o proyectos públicos que realizan inversiones, así como también los que realizan gastos corrientes, que no tienen una vida limitada de tiempo. Sin embargo, fue difícil identificar los proyectos que realizan gastos corrientes, debido a que en estos casos no es tan común que existan áreas u oficinas independientes que tengan responsabilidades sobre éstos, como sí ocurre en los casos de los proyectos de inversión. Además, por el hecho de que sean gastos corrientes, muchas veces son ejecutados por los órganos de línea del sector, y tampoco es fácil identificar su presupuesto.

En este sentido, se identificó a los principales proyectos y/o programas sociales y se obtuvo información de la mayoría de ellos. Sin embargo, no fue posible obtener información de algunos de estos programas, debido a las razones mencionadas anteriormente, así como también a la dificultad de entrevistar a algún funcionario público que se adecue al perfil del entrevistado establecido en la parte metodología.

Instituto APOYO

35

Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

En el siguiente cuadro se presentan los 20 programas y/o proyectos analizados. Los gastos totales desembolsados en el 2000 por estos proyectos ascendieron a alrededor de US$770 millones, lo que representó el 12% del los gastos totales no financieros del Gobierno Central. Este indicador sería significativamente mayor si se comparase el monto total desembolsado por esta muestra de proyectos con el monto total desembolsado por el universo total de proyectos, pero no ha sido posible identificar este universo. Esto se debió, principalmente, al problema mencionado anteriormente respecto a los proyectos que realizan gastos corrientes, ya que en muchos de estos casos los desembolsos se realizan a través de los órganos de línea de los respectivos sectores.

Sin embargo, exclusivamente para el caso de los proyectos de inversión, se estableció un universo más o menos razonable, a partir del dato agregado del genérico de gasto, que ascendió a alrededor de US$1 300 millones en el 2000.

Este universo es un aproximación, pues también incluye gastos de inversión que realizan los órganos de línea y no sólo los proyectos. No obstante, es un dato mucho menos distorsionado que en el caso de los gastos corrientes. Por lo tanto, en función a este universo, la muestra analizada de proyectos de inversión, por un monto total de US$643 millones, representa el 50% del total de inversiones totales del Gobierno Central.

PROYECTOS Y/O PROGRAMAS DE LA MUESTRA Gastos ejecutados 1/ (US$) 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

INADE - Instituto nacional de desarrollo FONCODES - Fondo nacional de compensacion y desarrollo social PERT - Programa de rehabilitación y mejoramiento de carreteras PRONAA - Programa nacional de asistencia alimentaria MECEP Birf - Mejoramiento de la calidad de la educación primaria Pronamachs - Programa nacional de manejo de cuencas hidrográficas y conservación de suelos PCR - Programa de caminos rurales MECEP Bid - Mejoramiento de la calidad de la educación primaria (inicial 5 años), secundaria y educación para el trabajo PSI - Proyecto subsectorial de irrigación PRONAP - Programa nacional de agua potable y alcantarillado INABIF - Instituto nacional de bienestar familiar Educación básica para todos PETT - Proyecto especial titulación de tierras y catastro rural PSNB - Proyecto de salud y nutrición básica Prodesa - Programa de desarrollo de sanidad agropecuaria Wawa Wasi - Programa nacional de Wawa Wasi Proyecto 2000 COOPOP - Cooperación popular PATPAL - Patronato del parque de las leyendas Proyecto de fortalecimiento de servicios de salud Total

* * * * *

154 198 727 138 278 650 95 681 179 89 902 690 62 423 046 52 926 701

* *

31 979 690 27 501 323

* *

22 059 097 18 106 688 16 791 022 9 744 640 9 641 238 9 231 444 7 745 495 6 864 700 5 253 513 6 651 134 3 215 296 1 188 874

* * * * *

*

769 385 147

* Proyectos de inversión 1/ Información del SIAF para el año 2000.

b.2.2) Procesamiento de la información Si bien se recogió la información cualitativa en las entrevistas sostenidas con estos funcionarios, se buscó, al igual que en las preguntas a nivel de sector, cuantificar las respuestas de los entrevistados. Es así que en todas las respuestas se pidió precisar “Sí” o “No”, en función a si el proyecto evaluado contaba con el instrumento específico de M&E planteado en el cuestionario o si Instituto APOYO

36

Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

realizaba diversas prácticas de M&E. Si bien en muchos casos fue difícil obtener este tipo de respuestas y quizás algunas no reflejen la verdadera condición del proyecto, también se recogió la explicación cualitativa del entrevistado. En este sentido, las respuestas “Sí” se calificaron con 1 y las respuestas “No” se calificaron con 0.

Al igual que en el caso de las preguntas a nivel de sectores, se definieron ponderaciones para el caso de cada pregunta, con el fin de priorizar los aspectos que son más importantes para realizar un adecuado proceso de M&E. Las ponderaciones definidas para cada pregunta fueron las siguientes: PONDERACIONES DE LAS PREGUNTAS A NIVEL DE PROYECTOS Ponderación Pregunta 1 Pregunta 2 Pregunta 3 Pregunta 4 Pregunta 5 Pregunta 6 Pregunta 7 Pregunta 7a Pregunta 7b Pregunta 8 Pregunta 9 Pregunta 10 Pregunta 11 Pregunta 11a Pregunta 11b

Antes del nuevo marco legal de inversiones: ¿Tenía un sistema de M&E? ¿Existe margen de maniobra para realizar correcciones en base al M&E? ¿Ha habido experiencias de correcciones de este tipo? ¿Existe una capacidad de M&E establecida? ¿Tienen manuales de M&E? ¿Tienen formatos de M&E? ¿Realizan reportes de M&E? ¿Estos reportes retroalimentan el ciclo del proyecto? ¿Se ha diseñado el marco lógico del proyecto? ¿Han realizado el perfil del proyecto? ¿Se han realizado evaluaciones intermedias y/o expost? ¿Tienen línea de base? ¿Tienen grupo de control y/o comparación?

Total

8% 4% 4% 8% 8% 8% 8% 4% 4% 8% 15% 15% 15% 8% 8% 100%

Para definir las ponderaciones, se utilizaron los siguientes criterios. Como se menciona en la explicación metodológica, algunos de los aspectos analizados en las preguntas del cuestionario se asemejan más “insumos” y otros más a “productos”. En este sentido, se decidió ponderar con 8% a las preguntas correspondientes a “insumos” o condiciones básicas y necesarias para un sistema de M&E (preguntas 1, 4, 5, 6, 7, 8); y con 15% a los aspectos que se asemejan más a “productos” (preguntas 9, 10 y 11).Sin embargo, en este último caso no llegan a ser condiciones suficientes, ya que no se ha evaluado la calidad de los mismos. En el caso de las preguntas 2 y 3, la ponderación se dividió en dos partes porque ambas medían el mismo aspecto, relativo al margen de acción que existe en el proyecto para realizar correcciones indicadas por el M&E. Finalmente, se obtuvo un puntaje para cada pregunta, que al ser ponderado por la importancia de la misma, permitió obtener un puntaje para cada proyecto. Asimismo, al momento de agregar todos los proyectos, se obtuvo un puntaje por cada pregunta pero a nivel de la muestra de proyectos. Finalmente, el promedio de los puntajes obtenidos por la muestra de proyectos para cada pregunta representó el puntaje global de la muestra de proyectos analizados. b.2.3) Análisis de la información Como se menciona en la primera sección, las metodología tiene ciertas limitaciones. La disponibilidad de la información que es materia del presente estudio es escasa, por lo que fue necesario aplicar las técnicas de levantamiento de información explicadas. Con el fin de evitar que existan Instituto APOYO

37

Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

sesgos en las respuestas, se tuvo que optar por realizar entrevistas a terceros vinculados con los proyectos. Sin embargo, siempre existe cierto nivel de subjetividad en las respuestas, ya que los criterios de rigurosidad delos diferentes entrevistados pueden ser diferentes. A pesar de estas limitaciones, se recogió la información por medio de las entrevistas, pues se considera que es la herramienta más adecuada, considerando la poca disponibilidad de información acerca de estos proyectos.

Por estas razones, la información se analiza a nivel global, para todos los proyectos. De esta manera, se obtienen resultados globales para la muestra, así como también resultados agregados para el caso de cada uno de los aspectos analizados en las preguntas. Sin embargo, no se analizarán los resultados específicos a nivel de cada proyecto, ni tampoco se realizarán comparaciones entre los mismos. En su lugar, se analizarán los resultados por grupos de productos, relacionados con las hipótesis planteadas al inicio del trabajo. En este sentido, fue necesario desagregar los proyectos de la muestra en los siguientes grupos: • • •

Desagregación por tamaño de proyectos Desagregación por tipo de financiamiento: interno o externo Desagregación por tipo de gasto: inversión y corriente.

Asimismo, en la parte metodológica, se estableció que los aspectos de M&E que se analizarían eran los más generales y básicos con los que debería contar un sistema de M&E. Más aún, considerando que no se analiza la calidad de los mismos. Por estas razones, cabe destacar que un puntaje de 1 no refleja un sistema de M&E óptimo sino, más bien, se debería interpretar como un sistema de M&E adecuado como punto de partida para iniciar un proceso de M&E eficiente y de calidad. En este sentido, un puntaje de 1 no se debería interpretar como lo máximo a lo cual se debe aspirar en M&E, sino como lo mínimo indispensable para iniciar un proceso de M&E eficiente.

b.2.4) Presentación de los resultados b.2.4.1) Resultados generales, a nivel de la muestra de proyectos El puntaje obtenido por la muestra de proyectos ascendió a alrededor de 0,50.

Sin embargo, si se ponderan los resultados por la importancia de las preguntas este puntaje se reduce de 0,50 a 0,48. Esto refleja que existe un menor cumplimiento de los aspectos que son más importantes, vinculados con los “productos” del M&E. Si se ponderan los resultados por la importancia de los proyectos -de acuerdo al monto desembolsado-, entonces el puntaje disminuye de 0,50 a hasta 0,43, lo que refleja que los proyectos más grandes son más débiles, en sus sistemas de M&E, con relación a los proyectos más pequeños.

Por último, si se ponderan los resultados por ambos factores, entonces el puntaje se reduce de 0,50 a 0,42.

Instituto APOYO

38

Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

RESULTADOS GLOBALES DE LA MUESTRA DE PROYECTOS Puntaje (0 a 1) 0,50

-Promedio simple -Promedio ponderado por importancia de las preguntas

0,48

-Promedio ponderado por tamaño de proyectos

0,43

-Promedio ponderado por tamaño de proyectos e importancia de las preguntas

0,42

Fuente: entrevistas en profundidad con funcionarios sectoriales.

Es decir, los 20 proyectos analizados, que representaron gastos anuales por alrededor de US$800 millones en el 2000, cumplen con menos de la mitad de los aspectos más básicos que se requerirían para tener un sistema adecuado de M&E. En ninguno de estos casos el estudio evaluó la calidad de los mismos. b.2.4.2) Resultados generales, a nivel de cada pregunta o aspecto de M&E analizado Con respecto a las características de “insumo” o instrumentos que todo proyecto debería utilizar para llevar a cabo actividades de M&E, los puntajes de las preguntas acerca de los manuales (0,2) y del marco lógico (0,2) fueron los más bajos; mientras que los puntajes de las preguntas sobre la capacidad y formatos de M&E fueron los más altos. Con respecto a las características de “producto”, los puntajes de las preguntas acerca del margen de maniobra (0,6) y las evaluaciones (0,4) fueron los más altos; sin embargo, la calidad de las evaluaciones sería baja, lo que se deduce por los reducidos puntajes obtenidos en las preguntas acerca de la tenencia de línea de base (0,0) y grupo de control y/o comparación (0,2).

Instituto APOYO

39

Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

PUNTAJE DE LOS ASPECTOS DE M&E EVALUADOS (Promedio ponderado: 0 a 1) Línea de base Manuales M&E Grupo de control Marco lógico Perfiles Retroalimentación reportes Reportes M&E Evaluaciones Tenía M&E Margen maniobra efectivo Margen maniobra Formatos M&E Capacidad M&E 0,00

0,10

0,20

0,30

0,40

0,50

0,60

0,70

0,80

0,90

Fuente: entrevistas en profundidad con funcionarios sectoriales

Otros hallazgos importantes respecto a los principales aspectos evaluados fueron los siguientes: § §

§

§

§

§

Instituto APOYO

Sólo tres de los 20 proyectos de la muestra, cuyos gastos representaron solamente US$17 millones de los US$770 millones de la misma, tienen manuales para desarrollar sus operaciones de M&E. Casi todos los proyectos analizados cuentan con una capacidad para realizar las actividades de monitoreo, así como también formatos para recolectar la información producto de estas operaciones. Sin embargo, en muchos de estos casos, la tenencia de formatos se debería a la obligatoriedad impuesta por la nueva ley de inversiones, que además provee estas plantillas.

Si bien 15 de los 20 proyectos de la muestra tienen margen de maniobra, éstos se reducen a 11 cuando se les pregunta acerca de algunos casos en los que efectivamente se haya realizado alguna corrección al proyecto, como producto del proceso de M&E. Sólo 11 de los 20 proyectos realizan reportes que retroalimentan el ciclo del proyecto. Sin embargo, la otra mitad, que representa alrededor de US$330 millones, no realizan ningún tipo de reporte con los resultados del M&E. Sólo 4 de los 20 proyectos están diseñados bajo un marco lógico. Sin embargo, éstos son relativamente grandes, pues sus gastos ascendieron a US$288 millones en el 2000, poco menos de la mitad de los gastos totales de la muestra.

Si bien 14 de los 20 proyectos realizaron perfiles durante su etapa inicial, éstos sólo representan el 42% de la muestra (US$321 millones), en términos de desembolsos. Esto significa que los seis proyectos restantes, que no realizaron ningún perfil y que desembolsaron US$450 millones en el 2000. son relativamente grandes. Por lo tanto, se confirma la presunción de que, en la última década, algunos grandes 40

Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

§

proyectos se iniciaron sin suficientes estudios de pre-inversión, debido a factores políticos y a la situación de emergencia que se registró en los primeros años de la década. Además, cabe destacar que, en muchos de los casos que sí se realizaron perfiles, algunos de los funcionarios entrevistados mencionaron que éstos eran demasiado simples.

Casi la mitad de los proyectos de la muestra realizaron evaluaciones intermedias o expost. Sin embargo, de acuerdo con algunas de las respuestas cualitativas de algunos funcionarios, éstas habrían sido de cobertura limitada, o sólo de tipo cualitativo (por lo menos seis proyectos), o sólo de una parte de los proyectos (el Inade, que tiene varios proyectos, realiza evaluaciones en algunos de estos casos, pero que son la minoría). Además, en pocos casos se habrían realizado evaluaciones de impacto y sostenibilidad. Este análisis se confirma con los resultados de la tenencia de línea de base y grupos de control, que teóricamente son los instrumentos adecuados para realizar evaluaciones de impacto y sostenibilidad: ninguno de los proyectos tiene línea de base (con la salvedad de que en el caso de los proyectos agrícolas no fue posible obtener una respuesta) y sólo tres, que representaron US$149 millones en términos de gastos, tienen grupos de control o comparación.

RESULTADOS AGREGADOS DE LAS PREGUNTAS RESPONDIDAS AFIRMATIVAMENTE

Preguntas

1 2 3 4 5 6 7a 7b 8 9 10 11a 11b

¿Tenía M&E? Margen de maniobra Margen de maniobra efectivo Capacidad de M&E Manuales de M&E Formatos de M&E Reportes de M&E Retroalimentación de reportes Marco lógico Perfiles Evaluación Línea de base Grupo de control

Nº de proyectos de la muestra

9 15 11 17 3 17 11 11 4 14 9 0 3

Gastos de los proyectos respectivos 1/ (US$) 407 175 673 480 085 426 433 811 445 607 746 296 17 285 018 607 746 296 330 122 728 330 122 728 288 724 298 321 395 572 335 647 942 0 148 698 968

1/ Información del SIAF para el 2000.

Fuente: entrevistas en profundidad con funcionarios sectoriales.

Instituto APOYO

41

Instituto APOYO

1 Tenía M&E 2 Margen maniobra 3 Margen maniobra efectivo 4 Capacidad M&E 5 Manuales M&E 6 Formatos M&E 7a Reportes M&E 7b Retroalimentación reportes 8 Marco lógico 9 Perfiles 10 Evaluaciones 11a Línea de base 11b Grupo de control

REFERENCIAS

0,5 0,5

Promedio simple Promedio ponderado 3/

0,6

0,8

4%

0,6

0,6

4%

1 1 1 0 0 1 0 1 0 0 0 1 1 1 1 1 0 0 nd 1

S/N

3

0,8

0,9

8%

1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 0 0

S/N

4

0,0

0,2

8%

1 1 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0

S/N

5

2/ Según información del SIAF. 3/ Ponderación de acuerdo a la importancia de cada proyecto.

1/ Ponderación de acuerdo a la importancia de cada pregunta.

8%

1 1 1 1 1 0 1 0 1 1 1 1 1 1 1 1 0 1 0 0

S/N

S/N

1 1 1 1 1 1 0 1 0 0 0 1 0 0 0 0 0 0 0 1

2

1

Ponderaciones

Proyecto 1 Proyecto 2 Proyecto 3 Proyecto 4 Proyecto 5 Proyecto 6 Proyecto 7 Proyecto 8 Proyecto 9 Proyecto 10 Proyecto 11 Proyecto 12 Proyecto 13 Proyecto 14 Proyecto 15 Proyecto 16 Proyecto 17 Proyecto 18 Proyecto 19 Proyecto 20

Proyectos

0,8

0,9

8%

1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 0 0

S/N

6 a

b

0,4

0,6

4%

1 1 0 1 1 1 1 1 1 1 1 0 0 0 0 0 0 1 0 0

S/N

1 1 1 1 1 0 1 0 1 1 1 0 1 1 1 1 1 0 0 0

S/N

9

1 1 1 1 1 1 1 0 0 0 0 0 0 0 0 0 1 0 1 0

S/N

10

0,4

0,2

0,4

0,7

0,4

0,5

8% 15% 15%

0 0 1 0 0 1 0 1 0 0 0 1 0 0 0 0 0 0 0 0

S/N

8 a

0,0

0,0

7%

0 0 0 0 0 0 nd 0 nd nd nd 0 0 0 0 0 0 0 0 nd

S/N

b

0,2

0,2

7%

1 1 0 0 0 0 nd 0 nd nd nd 0 0 0 0 0 0 0 1 nd

S/N

11

0,43

0,50

0,8 0,8 0,7 0,6 0,6 0,6 0,6 0,5 0,5 0,5 0,5 0,5 0,4 0,4 0,4 0,4 0,2 0,4 0,2 0,2

Prom. simple (0 a 1)

0,42

0,48

0,8 0,8 0,8 0,7 0,7 0,6 0,6 0,4 0,4 0,4 0,4 0,4 0,4 0,4 0,4 0,4 0,3 0,3 0,2 0,1

Prom. pond. 1/ (0 a 1)

Fuente: entrevistas en profundidad con funcionarios sectoriales.

0,4

0,6

4%

1 1 0 1 1 1 1 1 1 1 1 0 0 0 0 0 0 1 0 0

S/N

7

RESULTADOS DEL CUESTIONARIO DESAGREGADO POR PROYECTOS Y POR PREGUNTAS Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

42

Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

b.2.4.3) Resultados desagregados por tamaño de proyectos El tamaño de los proyectos se analizó en función a los desembolsos del 2000.

Se dividieron en cinco categorías, con el fin de obtener conclusiones que puedan estar relacionadas al tamaño de los mismos. Una de las hipótesis planteadas en la sección inicial se refería al riesgo que existe que los proyectos grandes sean administrados con criterios políticos y que se realicen pocas prácticas de M&E. RESULTADOS DEL CUESTIONARIO POR TAMAÑO DE PROYECTOS Gastos ejecutados en el 2000 1/ (US$)

Promedio Promedio simple ponderado (0 a 1) (0 a 1)

Programas muy grandes (más de US$80 mlls.)

478 061 246

0,4

0,4

Programas grandes (entre US$25 y US$80 mlls.)

174 830 761

0,6

0,6

Programas medianos (entre US$10 y US$25 mlls.)

56 956 807

0,4

0,3

Programas pequeños (entre US$5 y US$10 mlls.)

55 132 164

0,5

0,5

Programas muy pequeños (menos de US$5 mlls.)

4 404 169

0,7

0,5

0,50 0,43

0,48 0,42

Promedio simple Promedio ponderado 1/ Información del SIAF para el año 2000.

Fuente: entrevistas en profundidad con funcionarios sectoriales.

Si bien los proyectos más grandes tienen calificaciones más bajas que el promedio, otros proyectos relativamente grandes tienen calificaciones más altas que el promedio. Sin embargo, en estos cuatro últimos casos, más del 45% del presupuesto de los mismos para el 2000 fue financiamiento externo.

Esta podría ser la principal razón por la cual sus calificaciones son relativamente altas. En cambio, en el caso de los proyectos más grandes, prevalece el financiamiento interno.

Otra de las razones que explicaría la diferencia entre estos dos grupos de proyectos se debería al destino de los gastos. En el caso de los más grandes, la mayoría de los gastos se destinan a inversiones en infraestructura, que son más susceptibles de ser utilizadas políticamente. Esa podría ser una de las razones por las cuales se confirma la tendencia planteada. b.2.4.4) Resultados desagregados por tipo de gasto En la parte inicial del trabajo se planteó la hipótesis de que los proyectos de inversión suelen tener mejores sistemas de M&E que los proyectos de gastos corrientes. Esto fue confirmado con los resultados de las entrevistas. En promedio, los proyectos de inversión –definidos como los que gastan más del 50% de su presupuesto en inversión- registraron un puntaje de 0,43. En cambio, los proyectos de gastos corrientes -definidos como los que gastan menos del 50% de su presupuesto en inversión- registraron un puntaje de 0,35.

Como se mencionó anteriormente, la ODI ha venido realizando un esfuerzo por forzar a que los proyectos de inversión implementen prácticas de M&E, lo que derivó finalmente en la promulgación del nuevo marco legal en el 2000. Por lo tanto, estos programas deben realizar, de manera obligatoria, algunas de estas prácticas. En cambio, todavía no existen normas para forzar a los proyectos de gasto corriente a que implementen estos métodos. Además, en muchos de estos casos se hace difícil monitorearlos y/o evaluarlos de manera Instituto APOYO

43

Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

independiente, porque a veces sus gastos los realizan unidades de línea de sus respectivos sectores.

RESULTADOS DEL CUESTIONARIO POR TIPO DE GASTO Presupuesto por tipo de gasto

% de gastos en inversiones 1/

Promedio simple (0 a 1)

Promedio ponderado (0 a 1)

Proyectos de inversión (más del 50% de su presupuesto en inversión)

99%

0,54

0,43

Proyectos ordinarios (menos del 50% de su presupuesto en inversión)

10%

0,43

0,35

1/ Promedio ponderado, en base a información del SIAF para el año 2000.

Fuente: entrevistas en profundidad con funcionarios sectoriales.

b.2.4.5) Resultados desagregados por financiamiento Otra de las hipótesis planteada en la parte inicial del trabajo se refería al hecho de que los proyectos sociales con financiamiento externo suelen tener los sistemas de M&E más sólidos. De acuerdo con los resultados de las entrevistas, los proyectos con mayor financiamiento externo tienen los puntajes más altos. Sin embargo, esto se refleja a partir de la cuarta categoría (más del 50% del presupuesto es de fuentes externas) -que registro un promedio de 0,52-, pues las primeras tres categorías registraron resultados similares, de alrededor de 0,38. La última categoría es poco representativa porque sólo hay un proyecto que pertenece a la misma.

Uno de los aspectos claves del M&E es que los hallazgos de estos estudios permitan realizar correcciones de política, lo que se debería reflejar en el margen de maniobra para detener proyectos, aumentar o disminuir sus presupuestos. De lo contrario, no se estaría cumpliendo el fin último que busca el M&E. Al evaluar el margen de maniobra de los diferentes proyectos y cruzarlo con el resultado de la variable de financiamiento, no se refleja una tendencia definida.

Es decir, si bien los proyectos con mayor financiamiento externo suelen tener mejores sistemas de M&E, esto no va acompañado de un mayor margen de maniobra, respecto a los que tienen menor fondeo extranjero. En opinión de algunos entrevistados, algunos proyectos con financiamiento extranjero tienden a ser rígidos, ya que no es fácil variar los términos de referencia, reformular objetivos, modificar actividades, etc. Es importante resaltar que uno de los objetivos de la nueva ley de inversiones es justamente lograr que estos proyectos también se adecuen al marco de la misma.

Instituto APOYO

44

Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

RESULTADOS DEL CUESTIONARIO POR TIPO DE FINANCIAMIENTO Y MARGEN DE MANIOBRA DE LOS PROYECTOS Financiamiento externo

% de financiamiento externo 1/

Margen de maniobra (Sí=1 , No=0)

Promedio Promedio simple ponderado (0 a 1) (0 a 1)

Nada

0%

0,9

0,4

0,4

Poco

19%

1,0

0,4

0,4

Regular

40%

0,3

0,5

0,4

Más del 50% de su presupuesto

56%

0,5

0,6

0,5

Más del 75% de su presupuesto

75%

1,0

0,8

0,9

1/ Información del SIAF para el año 2000.

Fuente: entrevistas en profundidad con funcionarios sectoriales.

c) Estudios de casos para la evaluación de los sistemas de M&E en el ámbito de los programas y proyectos sociales peruanos c.1) Programa de Capacitación Laboral Juvenil - ProJoven c.1.1) Objetivos y características del ProJoven El Programa de Capacitación Laboral Juvenil ProJoven, inició sus operaciones en julio de 1996 a través de la ejecución de una experiencia piloto en Lima y Callao. Actualmente, el Programa se implementa en nueve principales ciudades del país (Lima y Callao, Piura, Chiclayo, Trujillo, Chimbote, Arequipa, Cusco, Huancayo y Iquitos). Las ciudades han sido seleccionadas considerando que, para operar con eficiencia, el Programa requiere de la presencia significativa de empresas, entidades de capacitación y concentración de jóvenes.

De acuerdo con la categorización por tamaño del programa presentada en la sección anterior, ProJoven es un programa muy pequeño. En sus cinco años de funcionamiento ha ejecutado en promedio US$2 millones anuales. Sus fuentes de financiamiento han sido diversas. El proyecto piloto y una de las 8 convocatorias realizadas a la fecha fueron financiadas por el Banco Interamericano de Desarrollo. El resto de convocatorias han sido financiadas a través de fondos del Ministerio de Trabajo y Promoción Social (Fondos Directamente Recaudados y Tesoro Público), canje de deuda con el Gobierno Alemán y Fondoempleo. En los últimos años, Projoven ha contado con el aporte del Fondo de Población de las Naciones Unidas para el financiamiento de un componente de salud sexual y reproductiva.

El presente estudio de caso consta de dos partes. La primera presenta una descripción del programa y de su sistema de M&E. La segunda discute –en base a entrevistas en profundidad a actores claves del Programa- los factores que favorecieron o dificultaron el diseño e implementación de dicho sistema.

ProJoven proporciona capacitación y experiencia laboral a jóvenes de escasos recursos, en ocupaciones específicas de semi-calificación que demanda el sector productivo. Su objetivo es incrementar la productividad y empleabilidad de los jóvenes pobres, facilitando su acceso al mercado de trabajo a través de un proceso conjunto de capacitación y experiencia laboral que responda a los requerimientos del sector productivo.

Instituto APOYO

45

Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

Este programa está orientado a todos aquéllos jóvenes, en edades comprendidas entre 16 y 25 años, que pertenecen a hogares pobres y que se encuentran en situación de desempleo, subempleo o inactividad forzosa.

Además, deben haber completado la educación secundaria.

El programa busca, además, elevar el nivel de competencia y eficiencia del mercado de capacitación, logrando una mayor interacción entre las instituciones de capacitación y las necesidades del sector productivo que demanda trabajo. Para ello, la selección de los cursos de capacitación se realiza no sólo sobre la base de su calidad técnica sino también según su pertinencia respecto a la demanda del sector productivo. Así, el Projoven opera convocando a entidades de capacitación a participar en concursos públicos para que organicen e implementen cursos diseñados según los requerimientos del sector empresarial y las características de los jóvenes beneficiarios.

La selección de entidades y cursos de capacitación se realiza a través de un proceso de pre-calificación que evalúa experiencia de capacitación previa, capacidad administrativa y de gestión, y nivel de recursos humanos. Las entidades seleccionadas son incorporadas al Registro de Entidades de Capacitación, lo cual las habilita para presentar propuestas de cursos en las licitaciones convocadas por el Programa.

Los cursos de capacitación tienen como objetivo lograr que los jóvenes participantes adquieran habilidades y competencias básicas para desempeñarse en ocupaciones específicas al nivel de calificación inicial o semi-calificación. La formación brindada comprende dos fases: una denominada de formación técnica a desarrollarse en las entidades de capacitación y otra de práctica laboral a realizarse en empresas. En la fase de formación técnica, mediante una metodología esencialmente práctica, los jóvenes adquieren habilidades y destrezas vinculadas a los aspectos técnicos del oficio. Asimismo, se desarrollan actividades formativas mediante las cuales se pretende reforzar valores y actitudes útiles para el trabajo, como la capacidad de adaptación y la polivalencia. Esta fase tiene una duración promedio de tres meses (300 horas como máximo) con una presencia diaria e interdiaria.

La segunda fase se desarrolla durante un mínimo de tres meses en empresas con régimen laboral privado, donde el empresario asume el pago de una subvención no menor a un salario mínimo vital y un seguro para contingencias de accidentes de trabajo. Mediante la realización de estas prácticas, Projoven busca que los jóvenes adquieran experiencia suficiente en el oficio para facilitar su posterior proceso de búsqueda de trabajo, teniendo la posibilidad de mostrarse competente en ella, y ser contratado por la misma empresa donde realizó la práctica. c.1.2) El sistema de M&E de Projoven Existen dos áreas vinculadas al M&E: el área de supervisión y el área de evaluación técnica y planificación. El área de supervisión es la encargada de monitorear los insumos y los procesos de capacitación y de práctica laboral. La información recogida por ésta sirve para hacer ajustes en los procesos del programa, como la adjudicación de cursos o el proceso de focalización.

Instituto APOYO

46

Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

Projoven realiza evaluaciones de impacto internas periódicas como parte de sus labores. Estas evaluaciones de impacto son realizadas por el área de evaluación técnica y planificación, la que se encarga del seguimiento de metas por resultados del Programa en su integridad. Para la realización de estas evaluaciones, Projoven identifica como indicadores que reflejan el cumplimiento del objetivo los siguientes: ü ü ü ü

Mejores tasas de inserción Mayores ingresos Acceso a empleo dependiente Acceso a empleo en empresas medianas y grandes

Las evaluaciones de impacto de Projoven se realizan a través de una metodología cuasi-experimental. Esta metodología consiste en la identificación de un grupo de beneficiarios y de un grupo de control (jóvenes que potencialmente podrían participar en el programa, pero que no lo han hecho) que sean comparables. La metodología es cuasi-expermiental –y no experimental- en tanto la selección del grupo de control no es aleatoria. El grupo de control es establecido a través del método de matching comparison que consiste en seleccionarlo sobre la base de sus características similares al grupo de beneficiarios. Estas características similares son establecidas según variables como edad, sexo, raza, nivel educativo, entre otros2.

La evaluación de impacto consiste en identificar la evolución de diversas variables laborales de los jóvenes beneficiarios frente a los jóvenes del grupo de control. Estas variables son: inserción laboral, calidad del empleo (medida a través de tamaño de la empresa, tipo de contrato, lugar de trabajo, existencia de seguro contra accidentes de trabajo y de salud), tiempo de desempleo, tiempo de búsqueda de empleo y categoría laboral según sexo, edad, nivel de instrucción y nivel socioeconómico. El diferencial en estas variables medidas ambos grupos es atribuido al programa. Para obtener este diferencial se aplica una encuesta para recoger información acerca de estas variables en ambos grupos a los 6, 12 y 18 meses posteriores al egreso del programa de los beneficiarios. Así, se pretende identificar el efecto del Programa a través de la historia laboral de los jóvenes beneficiarios y los de control hasta un año y medio después de haber egresado de Projoven y dos años después de haber empezado su capacitación.

Hasta el momento, Projoven ha realizado 8 convocatorias y está en la preparación de la novena. En casi todas ellas, la acciones del programa han incluido la selección de un grupo de control y la construcción de una línea de base3, que permiten semestralmente hacer el seguimiento de la evolución en las condiciones de empleabilidad de los jóvenes beneficiarios en comparación con las de los jóvenes del grupo de control.

2

En un modelo cuasi experimental existe el problema de validez que se refiere a la no aletoriedad en la selección del grupo de control. Cuando se hace una selección por origen aleatorio (modelo expermiental), factores como la existencia de otros proyectos, la motivación personal, o la personalidad están distribuidos de manera uniforme en ambos grupos. Dado que una selección aleatoria del grupo de control plantea problemas de ética al implicar la negación del tratamiento (programa) a un grupo de solicitantes, Projoven optó por la selección no aleatoria del grupo de control a través de una equivalencia “uno a uno” según variables de educación, sexo, condición laboral previa, edad y nivel socioeconómico. Así, se busca al joven equivalente (control) al joven beneficiario en su mismo contorno (barrio). A partir de las sugerencias de Grade realizadas durante la 6ta convocatoria, actualmente se considera la selección de tres jóvenes de control por joven beneficiario.

3 En un inicio, Projoven construía líneas de base en cada convocatoria. Posteriormente, se decidió hacerlo dejando una convocatoria.

Instituto APOYO

47

Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

Las evaluaciones de impacto le han permitido a Projoven identificar sus logros o limitaciones en propiciar mejores condiciones de inserción laboral para los jóvenes beneficiarios del Programa. Según sus dos últimos Coordinadores Nacionales, le ha permitido también realizar ajustes en su ejecución. Por ejemplo, a través de las evaluaciones de impacto se percibió que las posibilidades de inserción laboral de los jóvenes en provincia eran menores que en Lima. Es decir, los jóvenes de provincias tenían más problemas respecto a los de Lima para acceder a una práctica formal una vez culminada su práctica como parte del Programa. Ello se debía a que en provincias era de relativa mayor dificultad cumplir con la obligación de pagar una subvención equivalente a una remuneración mímina vital, como lo estipula el convenio de formación juvenil laboral para jornadas completas como es el caso de los jóvenes del Programa. Por ello, se planteó como opción que en provincias como parte de Projoven los jóvenes pudieran realizar prácticas de media jornada. c.1.3) Factores que influenciaron el desarrollo del sistema de M&E de Projoven La experiencia de Projoven es valiosa en tanto la realización de evaluaciones internas de los programas o proyectos públicos no está aún muy difundida en el sector público peruano. Durante el año 2000, a pedido de Fondoempleo, se realizó una evaluación externa del Programa, lo que incluyó la revisión de su marco lógico, su estructura, metodología de evaluación, entre otros. Ello incluyó la asesoría y supervisión de Grade durante la elaboración de la línea de base para la sexta convocatoria Los resultados de esta evaluación fueron en su mayoría satisfactorios4.

Los principales factores que han influenciado en el nivel de avance del sistema de M&E de Projoven se detallan a continuación: Respaldo institucional La idea de monitorear y evaluar al interior de Projoven estuvo presente desde el inicio del programa. Según los entrevistados, el respaldo institucional desde la alta dirección del Ministerio fue uno de los factores que contribuyó a ello.

Según el actual Viceministro de Promoción Social y antiguo Coordinador Nacional de Projoven, muchas veces los proyectos se realizan con serias deficiencias en sus sistemas de M&E no sólo por la carencia de una cultura de M&E5 en el sector público peruano sino también porque ello se ve con temor dado que los operadores suelen mezclar el prestigio profesional personal con el desempeño de su gestión. Así, lejos de considerar a las acciones de M&E como un mecanismo que permite identificar debilidades y realizar ajustes para elevar la eficiencia del programa, se ve como una fuente de crítica y cuestionamiento a la labor realizada. Siendo así, el diseño y ejecución de estas acciones recae muchas veces en el grado de compromiso con dichas acciones de la institución y más específicamente de aquéllos en puestos directivos.

4

Una de las modificaciones sugeridas por Grade fue la de variar el número de jóvenes de control respecto al número de beneficiarios (de uno a uno, tres de control por un beneficiario).

5 Por cultura de M&E se entiende la percepción extendida tanto a nivel de la alta dirección del Sector como del personal del mismo sobre la conveniencia y necesidad de desarrollar acciones de M&E para elevar la efectividad y eficiencia en el uso de los recursos.

Instituto APOYO

48

Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

Los entrevistados consideran que un factor clave fue que Projoven inició sus acciones en un contexto institucional al interior del Sector favorable para la realización de acciones de monitoreo y evaluación. Así, si bien no existía en el sector una cultura de promoción del M&E, la existencia de un consenso en la necesidad de ejecutar acciones de evaluación que permitieran conocer el impacto de las acciones tomadas y al eficiencia en el uso de fondos públicos entre el equipo ejecutor de Projoven y la alta dirección del Ministerio de Trabajo (ViceMinistro de Promoción Social y Ministro de Trabajo y Promoción Social) fue determinante.

Restricciones presupuestales Como se mencionó en el punto anterior, Projoven inició sus acciones con un financiamiento restringido y con la consiguiente necesidad de probar su rentabilidad para continuar operando. El financiamiento para el proyecto piloto de ProJoven provino de la realización de una operación oficial de crédito negociado con el BID. La necesidad de acceder a mayores fondos de dicha institución u otra para continuar operando determinó que se incluyera como parte de sus acciones piloto, el diseño y ejecución de una evaluación de impacto. Ello no sólo implicó la necesidad de evaluarse permanentemente, sino que le ha exigido ser eficiente en el uso de sus recursos. Así, el presupuesto de la convocatoria inicial fue de US$1.5 millones capacitándose a 1.5 miles jóvenes (US$1 mil por beneficiario). Actualmente, se cuenta con un presupuesto de US$2.7 millones para capacitar 6 mil beneficiarios (US$450 por beneficiario).

Desde su inicio, Projoven ha hecho uso de diferentes fuentes de financiamiento: ü Fondos directamente recaudados y de Tesoro Público del Ministerio de trabajo ü Operación oficial del crédito con el BID ü Operación de canje de deuda por inversión social con el Gobierno Alemán. ü Fondos a través de concurso público de Fondoempleo1. Este concurso se realizó en el 99 y los fondos fueron usados durante el año 2000.

Fondoempleo exigión una evaluación de impacto pero externa: Grade, ellos hicieron ü Fondos del Fondo de Población de las Naciones Unidas (Unfpa), a través del financiamiento de un componente de salud sexual y reproductiva.

Según sus dos últimos coordinadores nacionales, ello ha significado que Projoven no sólo haya tenido constantemente que responder a los requerimientos de evaluación y de rendición de cuentas de diferentes instituciones (nacionales e internacionales) sino también a mostrar su rentabilidad social para acceder a nuevas fuentes financiamiento. Según su actual Coordinador Nacional, Projoven desde sus inicios desarrolló una cultura de M&E permanente como una estrategia de sobrevivencia del Programa, tanto

2

“Fondoempleo es un fondo privado cuyos recursos provienen de los excedentes en la distribución de utilidades de los trabajadores suscritos al régimen laboral privado, la ley establece un tope para que los trabajadores puedan acceder a la participación de las utilidades no mas de 18 remuneraciones al año, lo que se dijo fue que en las empresas donde se cubran esas 18 remuneraciones los excedentes deben de ir a un fondo que deben de ser destinados a capacitación y generación de empleo, y estos fondos son fondos concursables”.

Instituto APOYO

49

Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

para mostrar resultados como para garantizar el uso eficiente de sus escasos recursos.

Autonomía para la toma de decisiones Los entrevistados identificaron como una fortaleza del programa su autonomía administrativa y la nula injerencia política en sus acciones. Durante el periodo de diseño del Programa, el equipo técnico tuvo libertad para plantear sus propuestas. Las limitaciones fueron producto de la rigidez institucional relacionada a los procesos usuales del sector en el que opera. Esta rigidez se superó, la mayoría de las veces, gracias a que el Programa de las Naciones Unidas para el Desarrollo, se constituyó desde el inicio como el administrador del programa, encargándose de los procedimientos de contrato del personal en puestos de coordinación o de jefatura, en términos más flexibles a los de la administración pública. Según el anterior Coordinador Nacional que la administración del Programa fuera independiente fue un factor clave para su desarrollo. Así, si bien es cierto, cada acción implica la notificación (y según sea el caso visado del Viceministro y/o del Ministro), Projoven ha tenido (en relación a los procedimientos regulares de la administración pública) mayor flexibilidad para la contratación del equipo inicial y actualmente para los coordinadores. Asimismo, desde sus inicios a la fecha la iniciativa para la contratación de personal adicional o de reemplazo es del Coordinador Nacional.

Sin embargo, la autonomía administrativa para su funcionamiento le significa según el actual Coordinador Nacional una desventaja al existir cierta precariedad en los sistemas de contratación, al tener estos una duración máxima de 6 meses a 1 año, habiendo existido periodos en que los contratos han sido de renovación mensual.

Alta capacidad técnica de su personal Como se mencionó anteriormente, Projoven es un programa es pequeño en comparación con otros programas sociales públicos. El equipo inicial era de alrededor de 10 personas y actualmente trabajan un total de 42 personas en las diez ciudades en que funciona el Programa. Ello facilitó en un inicio la definición de procesos comunes. Su crecimiento paulatino ha permitido también que su extensión no afecte negativamente la uniformidad de procesos en la provisión del servicio. Además, el equipo inicial de Projoven estaba en su gran mayoría compuesto por jóvenes recientemente egresados con un máximo de 1.5 años de experiencia laboral, pero con una fuerte motivación personal.

Estandarización de sus procesos Un hecho que ha facilitado las acciones de M&E, es que los procesos que constituyen el Programa están estandarizados. El Programa cuenta con instrumentos, plantillas y manuales estándar que aseguran entre otras cosas, la construcción de líneas de base con la misma metodología en las diferentes sedes del Programa. La estandarización de los procesos es percibida por el actual y el anterior Coordinador Nacional como una fortaleza del Programa, en tanto ha permitido que la totalidad de las cabezas del programa (desde el coordinador nacional hasta los jefes de área) hayan cambiado al menos una vez (algunas dos o tres veces) sin que ello haya afectado al Programa.

Instituto APOYO

50

Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

c.2) Proyecto de Salud y Nutrición Básica (PSNB) c.2.1) Objetivos y características del PSNB El PSNB inició sus operaciones en julio de 1994 con el objetivo de mejorar la situación de salud y nutrición de las mujeres en edad fértil y niños menores de tres años, a través del incremento de la cobertura y calidad de los servicios del primer nivel y del mejoramiento de las prácticas de salud y nutrición de la población de su ámbito de intervención, conformado por provincias seleccionadas de los departamentos de Piura, Cusco, Cajamarca y los distritos de San Juan de Lurigancho y Villa El Salvador en la ciudad de Lima.

El PSNB surgió como un proyecto de emergencia orientado a reconstituir la operatividad de los establecimientos de salud. Posteriormente, en el marco de la Reforma del Sector Salud, giró hacia un proyecto de apoyo a la organización de redes y microredes para la provisión de servicios de salud. Así, el PSNB ha desarrollado un modelo de atención que implica la introducción de cambios en la gestión y funcionamiento de los servicios, la organización de redes asistenciales y la promoción del involucramiento de la comunidad en el cuidado de la salud.

Al cierre de sus operaciones en junio del año 2000, el PSNB había intervenido en 342 establecimientos de salud en el país organizándolos en redes y microredes, ejecutando obras de infraestructura y dotación de equipos e insumos, organizando sistemas de soporte a la gestión y a la prestación, promoviendo el desarrollo de competencias de gestión de la calidad y de mercadeo de los servicios y la promoción de prácticas saludables en la población.

El PSNB como ha sido mencionado en la sección anterior, constituye un proyecto de tamaño pequeño y con alto financiamiento externo (75% de su presupuesto). Ambas características según las hipótesis planteadas en este estudio estarían asociadas a mayores niveles de avance en el desarrollo e implementación de sistemas de M&E. Asimismo, la presencia de financiamiento externo tiende a estar asociada a una relativa autonomía del Proyecto o Programa respecto a la administración del Sector en el que opera (principalmente para la contratación de personal).

El presente caso discute la experiencia del PSNB, cuyo nivel de avance en sistemas de M&E es alto (0.9, en un rango de 0 a 1, donde 1 significa que dicho sistema cuenta con un conjunto completo de características mínimas para desarrollar un proceso de M&E eficiente)6 e identifica factores como la contribución financiera de organismos internacionales y la interrelación con las oficinas de línea del Ministerio como factores que afectan su desarrollo.

El PSNB opera a través de gerencias regionales que dependen de la Coordinación General del Proyecto en la sede central en Lima y que trabajan en coordinación con las Direcciones Regionales del Ministerio de Salud. El PSNB define para su trabajo nueve líneas de acción: ü Organización de redes y microredes ü Mejoramiento de infraestructura ü Dotación de equipamiento y medicamentos 6

Ver cuadro xx de sección 2c.

Instituto APOYO

51

Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

ü Organización de los servicios según un modelo de atención integral a nivel intramural. Es decir la organización de la provisión del servicio al interior del establecimiento a través de nuevos protocolos y procedimientos de atención, entre otros. ü Organización de los servicios a nivel extramural. Ello se refiere a la promoción del involucramiento de la comunidad a través de sistemas de vigilancia comunal para la identificación de situaciones de riesgos y su posterior referencia al establecimiento de salud o para su atención básica inmediata. ü Promoción de prácticas saludables ü Acciones en comunidad ü Mercadeo social de servicios de salud ü Quechua7 En cada una de estas líneas, el PSNB actúa a través de instituciones privadas o sin fines de lucro8, consultores individuales o incluso equipos técnicos nacionales o regionales del propio Ministerio de Salud. Cada una de las líneas está dividida en componentes, cada uno de las cuales define indicadores de metas físicas según los planes operativos anuales elaborados a nivel de cada ámbito. c.2.2) El sistema de M&E del PSNB Los indicadores de metas físicas por componente y actividad del PSNB, fueron diseñados sobre la base del marco lógico y la línea de base elaborados al inicio del PSNB, los que han venido siendo posteriormente ajustados según los cambios introducidos en el mismo9.

En el convenio de préstamo, se contempló también la realización de evaluaciones externas. Así, en 1998 se realizó una evaluación de medio término, la que además se llevó a cabo en el marco de las discusiones sobre el rol de Proyecto en la Reforma del Sector Salud. Asimismo, durante el segundo semestre del año 2000 y posteriormente al cierre de sus actividades de campo en junio del 2000, se elaboró un Plan de Evaluación en el que se especifican diferentes estudios de evaluación a realizar para el levantamiento y análisis de los indicadores seleccionados para la evaluación del Proyecto.

Al interior del PSNB, la oficina de Planificación y Monitoreo (P&M) es la que se encarga de llevar a cabo el seguimiento del avance de metas del Proyecto.

Este seguimiento y monitoreo se lleva a cabo principalmente a través de tres instrumentos. El primero se refiere a reportes cualitativos enviados por las gerencias regionales según un formato diseñado por la oficina de P&M para identificar el nivel de avance de las actividades por línea y componente. Este formato es mensualmente llenado por las gerencias regionales y reportado mensualmente a la oficina del Proyecto en Lima. Según, el Jefe de la Oficina de P&M10 esto les permite no sólo medir el avance de metas por línea de acción en términos de resultados logrados, sino también les permite supervisar el trabajo de las instituciones privadas o sin fines de lucro encargadas de desarrollar algunas de las líneas.

7

Sólo en Cusco.

Por ejemplo, Apropo ha sido contratado para la línea de mercadeo social y la Universidad Nacional del cusco para brindar el curso de Quechua.

9 Estos cambios ocurrieron principalmente en el marco de las modificaciones introducidas en 1998.

10 Entrevista al Jefe de la Oficina de Planificación y Monitoreo del Proyecto de Salud y Nutrición Básica.

8

Instituto APOYO

52

Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

La información recogida por las gerencias regionales, es luego procesada en la oficina de P&M y organizada en una matriz según indicadores y actividades por líneas de acción.

El segundo instrumento del sistema de M&E del PSNB es la Ficha de Monitoreo Integral, la cual ha sido elaborada para recoger información a través de la observación directa de establecimientos de salud y con el objetivo de identificar si éstos cumplen con las características (en términos de disponibilidad de recursos y protocolos de atención) correspondientes al modelo de atención integral. Este instrumento fue diseñado con el objetivo de levantar información que permita conocer a un nivel más desagregado (el del establecimiento) los logros y limitaciones en el avance de metas. Esta ficha ha sido de aplicación periódica cada tres a cuatro meses. La información recogida a través de este instrumento ha servido fundamentalmente como insumo de análisis y discusión con las Direcciones Regionales de Salud sobre el avance del Proyecto.

El tercer instrumento se refiere a reportes cuantitativos trimestrales realizados en base a un formato diseñado por la oficina de planificación y monitoreo del PSNB. Al igual que en el caso anterior de los reportes cualitativos, los reportes cuantitativos son remitidos por las gerencias regionales a la sede del Proyecto en Lima, la que los procesa y sistematiza.

Según el Jefe de la Oficina de P&M, se han producido además manuales para la realización de los procesos, estando muchos de ellos oficializados por el Ministerio. c.2.3) Factores que influenciaron el desarrollo del sistema de M&E del PSNB Coordinación entre Gerencias Regionales (del PSNB) y Direcciones Regionales de Salud Según la entrevista sostenida con el Jefe de la Oficina de P&M del PSNB, tanto uno de los principales logros como una de las principales limitaciones del Proyecto ha sido la relación establecida entre las oficinas de línea del Ministerio (Direcciones Regionales de Salud) y el Proyecto (gerencias regionales).

Un logro significativo del PSNB y de su sistema de M&E en particular lo constituye el que la metodología e instrumentos diseñados y utilizados desde el PSNB, han sido posteriormente “apropiados” por las Direcciones Regionales para sus propias tareas de supervisión, como fue el caso de la Ficha de Monitoreo Integral. La cual es actualmente utilizada por muchas de ellas.

Según el Jefe de la Oficina de P&M, la carencia extendida de instrumentos de monitoreo en las Direcciones Regionales de Salud, ofreció un marco de apertura para la recepción de los esfuerzos desarrollados desde el PSNB en ese campo.

Por otro lado, la relación entre los gerentes regionales y los directores regionales de salud, en opinión del Jefe de la Oficina de P&M, ha sido positiva lográndose articular un trabajo conjunto. Así, la coordinación entre los gerentes regionales y los Directores Regionales fue clave para el avance en las acciones de monitoreo así como para las consiguientes acciones correctivas basándose en ellas. Sin embargo una de las lecciones aprendidas del Proyecto es la importancia de involucrar a las Direcciones Regionales no sólo en la ejecución Instituto APOYO

53

Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

de las acciones sino también en el proceso de toma de decisiones – principalmente para la realización de ajustes al Proyecto.

Soporte técnico y financiero de la Cooperación Internacional Como sucede en la mayoría de los Proyectos que reciben financiamiento externo, el punto de partida para las acciones de M&E está en los convenios de préstamo. En este caso, tanto la construcción de una línea de base, de indicadores de seguimiento como la realización de evaluaciones externas están estipulados en el convenio de préstamos firmado con el Banco Mundial en 1994.

Modificaciones en la misión del Proyecto y consecuencias para el uso de la Línea de Base Una de las limitaciones para la realización de acciones de M&E está referida a la línea de base del Proyecto. Esta línea de base al ser construida cuando el Proyecto estaba orientado a acciones de emergencia, no incluyó indicadores que posteriormente -y dado el giro en el Proyecto- son relevantes para su evaluación final. Así, de acuerdo al Jefe de la Oficina de P&M para las evaluaciones finales del Proyecto esta línea de base ha sido usada sólo en alrededor del 50 por ciento.

Además, la línea de base usó como fuente en muchos casos el Health Information System (HIS – Sistema de Información del Ministerio de Salud), sobre el cual después se consideró no arrojaba información suficientemente confiable, principalmente en lo referido a indicadores sanitarios. En tal sentido, de acuerdo al Jefe de la Oficina de P&M una fuente más confiable la constituiría las encuestas ENDES. c.3) Programa Nacional de Wawa Wasi (PNWW) c.3.1) Objetivos y características del PSWW El Programa Nacional de Wawa Wasi se inició en 1993 mediante un proyecto piloto de hogares comunitarios a cargo del Ministerio de Educación con el aporte de Unicef y el Gobierno Peruano. En 1994, luego de que la experiencia fue considerada exitosa, se inició el proyecto denominado Sistema Nacional de Casas de Niños – Wawa Wasi que contó con un significativo aporte del Tesoro Público, y con fondos provenientes de una cooperación técnica no reembolsable del Banco Interamericano de Desarrollo (BID). Este financiamiento se complementó además con el aporte de la Unión Europea, Unicef y el Programa Mundial de Alimentos.

El Sistema Nacional de Casas de Niños – Wawa Wasi tuvo como estrategia el ofrecer un hogar a cargo de una madre cuidadora a aquellos niños cuyas madres trabajan o están buscando trabajo. El Sistema incluyó también la participación de otros sectores, como la del Ministerio de Salud en el control del crecimiento y desarrollo del niño, del Ministerio de Educación como responsable del componente de estimulación y de las acciones de apoyo técnico al sistema, y del Pronaa en asistencia alimentaria con apoyo de la Unión Europea.

Instituto APOYO

54

Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

En 1996, el PNWW fue transferido al Ministerio de Promoción de la Mujer y del Desarrollo Humano (Promudeh), en cuyo marco se reajustó la estrategia del Programa, con el fin de disminuir el aporte de las familias usuarias y propiciar un mayor involucramiento de la comunidad y sus organizaciones de base en la gestión y administración directa de los recursos. Para ello, el Banco Interamericano de Desarrollo, con recursos provenientes del Fondo Japonés, desarrolló una experiencia piloto de gestión comunitaria en siete sedes en los departamentos de Lima, Ica, Piura y Cajamarca. Así, posteriormente se opta por una estrategia de Gestión Comunal donde la responsabilidad de la gestión es compartida entre el PNWW y la comunidad a través de organizaciones de base de mujeres, las cuales se encargan de la promoción, administración y control social de los servicios y las acciones que éste ejecuta. Para tal efecto se crean entidades locales de gestión y administración (Comités de Gestión y Consejos de Vigilancia).

Bajo este nuevo marco se define el Wawa Wasi como hogares familiares o ambientes comunales a cargo de una madre de la comunidad, donde se brinda atención integral a niñas y niños entre seis y tres años de edad11.

Actualmente, el Programa recibe el financiamiento del Banco Interamericano de Desarrollo según contrato de préstamo 1144/OC-PE, firmado en julio de 1999.

Como ha sido mencionado en la sección anterior, el PNWW esta incluido en la categoría de programas pequeños (presupuesto ejecutado en el 2000 entre US$5 y 10 millones)12. Constituye además un programa con 66% de financiamiento externo. Asimismo, según el índice de avance en sistemas de M&E, el programa recibe una ponderación alta (0.8). Lo que reforzaría la hipótesis de que cuando los proyectos son pequeños y cuando la participación de financiamiento externo es significativa, los sistemas de M&E tienden a ser relativamente mejores.

Sin embargo, el presente caso da cuenta, de cómo aún cuando existe el interés por contar con un sistema de M&E y aún cuando se dispone de los recursos financieros para ello, el sistema puede no rendir los frutos esperados por factores tales como escasa capacitación del personal encargado de alimentar el sistema o alta rotación del personal directivo que no permite uniformizar e institucionalizar el sistema como herramienta para la toma de decisiones.

En el marco del contrato de préstamo con el BID, el Programa Nacional de Wawa Wasi ha recientemente llevado a cabo su evaluación de medio término (año y medio después de la firma del contrato) la cual fue realizada por una consultora externa13. Uno de los principales hallazgos de dicha consultoría, se refiere precisamente a las deficiencias encontradas en el sistema de M&E del Programa.14 El presente estudio de caso, relata los avances y limitaciones del Programa de Nacional Wawa Wasi en la implementación de un sistema de M&E con cobertura nacional y donde, dadas las características del programa, demanda una significativa participación de la comunidad.

11

Lineamientos Generales del Programa Nacional Wawa Wasi. Ministerio de Promoción de la Mujer y del Desarrollo Humano. Documento interno.

12 Ver cuadro xx de la sección 2c.

13 La evaluación ha sido realizada por el Instituto de Información y Metodologías para el Desarrollo Organizacional.

14 Entrevista a la Directora Nacional del Programa Nacional de Wawa Wasi.

Instituto APOYO

55

Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

El objetivo general del Programa es promover la atención integral de niños y niñas entre seis meses y tres años en situación de extrema pobreza, generando condiciones favorables para su desarrollo. El Programa considera seis componentes en su ejecución.

Atención integral a los niños Comprende la satisfacción de las necesidades de protección, alimentación, salud, afecto, recreación y aprendizaje de las niñas y niños entre seis meses y tres años de edad. Este componente incluye tres subcomponentes: Alimentación (para cubrir necesidades nutricionales), Salud (para control de peso y talla, vigilancia de vacunas y evaluación de su desarrollo) y Estimulación (desarrollo socioemocional y del lenguaje).

Promoción y Difusión Se realiza a dos niveles. El primero dirigido al público en general con el objetivo de difundir temas sobre el desarrollo de los niños y promover el desarrollo de una conciencia colectiva que contribuya a la construcción de una cultura de crianza. El segundo se refiere a la promoción y difusión del Programa entre los dirigentes de una comunidad para la implementación del Programa en su área de influencia.

Capacitación Se refiere a la capacitación y formación de cuadros calificados, tanto para la conducción del Programa como para la atención adecuada e integral de niñas y niños, así como la educación de la familia en temas de crianza. Incluye eventos de capacitación, producción de materiales para la capacitación y creación de centros de aprendizaje y grupos de autoaprendizaje entre los diferentes agentes involucrados en el programa.

Infraestructura Orientado a la construcción de wawa wasis comunales en los diferentes territorios donde se ha implementado un comité de gestión. El comité es el que solicita la construcción, correspondiendo a la unidad coordinadora la evaluación y aceptación de la solicitud sobre la base de los criterios de selección definidos por el Programa. Las obras son ejecutadas mediante un sistema de administración directa, y la responsabilidad recae en un comité de obras. Este comité de obras es el que selecciona al contratista que ejecutará la obra y administra conjuntamente con él, los recursos asignados.

Monitoreo y Evaluación Este componente contempla acciones orientadas a mantener informado al personal directivo y técnico del programa sobre el funcionamiento e impacto del mismo. Incluye la capacitación de los ejecutores del programa en la administración del sistema, las acciones de supervisión que constaten en terreno la información recogida y la homogeneidad en el uso de los instrumentos. La evaluación del Programa es planificada anualmente y es de carácter externo.

Fortalecimiento Institucional Instituto APOYO

56

Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

Está orientado a dotar a los ejecutores del programa de mayor capacidad de gestión. Comprende el apoyo técnico de especialistas para la realización de las actividades de fortalecimiento del Programa.

La gestión técnica y administrativa del Programa recae en la Unidad Coordinadora Nacional, la cual está a cargo de la Directora o Director Nacional de Wawa Wasi. Además, existen equipos técnicos de sede quienes son responsables de la conducción del programa en un ámbito determinado.

Actualmente, el Programa cuenta con 32 sedes, 8 en Lima y Callao y 24 en el resto del país. Cada Sede está representada por un jefe de sede, quien tiene a su cargo a las coordinadoras de campo, quienes asesoran y supervisan el trabajo de los comités de gestión y de las madres cuidadoras.

La comunidad participa a través de Comités de Gestión (responsables de la conducción administrativa y de gestión de los servicios que brinda el Programa en su territorio), Consejos de Vigilancia (responsables del control social de las acciones del Comité de Gestión), las Madres Cuidadoras (responsables de la atención de niñas y niños en los wawa wasis), Padres de Familia (responsables de apoyar el trabajo en los wawa wasis, además de retribuir económicamente el servicio que le presta la madre cuidadora de acuerdo a lo establecido por el Comité de Gestión en asamblea con padres de familia y madres cuidadoras) y Grupos Promotores (responsables de promover e instalar el establecimiento del programa en un ámbito focalizado. Su gestión concluye al instalarse el Comité de Gestión).

El inicio del funcionamiento de los wawa wasis se produce con la firma del compromiso de la madre cuidadora con el comité de gestión, el mismo que es refrendado por la Jefa de sede. Los niños empiezan a ser atendidos por la madre cuidadora y a recibir los servicios de salud y alimentación. Se realiza una evaluación inicial del crecimiento y desarrollo para conocer cómo llega el niño al programa, en coordinación con los establecimientos de salud. La madre cuidadora se encarga del seguimiento de los avances del desarrollo de los niños y niñas, llevando el registro de su asistencia. La coordinadora de campo asiste técnicamente a la madre cuidadora para buscar lograr una atención adecuada en los wawa wasis. Simultáneamente, una vez reconocido el Comité de Gestión, el Programa comunica a Pronaa el nombre del comedor que tendrá a su cargo el servicio alimentario para que se programe la entrega de alimentos. Asimismo, al Ministerio de Salud se le remite la relación de wawa wasis que requieren el servicio de control de crecimiento y desarrollo. c.3.2) El sistema de M&E del PSWW Según la actual Directora Nacional del Programa Wawa Wasis, uno de los principales hallazgos de la evaluación del programa al término del año 2000 son las serias deficiencias encontradas en su sistema de M&E. El sistema de M&E del Programa fue diseñado a partir de los objetivos y metas del Programa. Así, identifica fuentes de información según cada componente del Programa. Por ejemplo, en el caso del componente de atención integral las fuentes de información son la sede, el wawa wasi, la madre cuidadora y los niños (as).

Cada una de las sedes se debe encargar de revisar, ingresar y procesar la información según la capacitación recibida por la oficina de sistemas. Luego la Instituto APOYO

57

Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

información se transmite vía modem a la sede central. En la sede central se producen luego los reportes de avance, los cuales son del siguiente tipo: ü Reporte de asistencia y permanencia ü Promedio mensual de asistencia ü Permanencia de wawa wasi ü Permanencia en wawa wasi ü Reporte de crecimiento y desarrollo del niño (a) ü Estado de salud actual ü Control de vacunaciones ü Reporte sobre avances en la ejecución del Programa ü Ejecución física y financiera ü Metas y sedes ü Avance de metas por distrito ü Avance de metas por Comité de Gestión ü Validación de datos ü Padrón de wawa wasi La Oficina de Planificación, Evaluación y Sistemas (OPES) es la encargada de centralizar y procesar la información enviada por las sedes. De acuerdo a la evaluación llevada a cabo por Informet, algunas de las deficiencias identificadas en el sistema de M&E del Programa son: §

Las fuentes de información del sistema no incluyen a los Comités de Gestión y Comedores Infantiles, que son pilares en la organización comunal de un wawa wasi.

§

No todos los formatos de registros que se entregan a las sedes para ser completados son utilizados por ellas. Así, la ficha de verificación de funcionamiento del wawa wasi no es conocida ni llenada por una porcentaje alto de sedes.

§

En algunos casos los registros no incluyen información sobre ubicación geográfica a un nivel de desagregación mayor al de la sede. Ello impide construir indicadores por distrito y/o localidades.

§

Existe contradicción entre la información emitida por la base de datos del sistema informático y la procesada manualmente por el Programa Nacional Wawa Wasi.

§

Existe un considerable retraso entre el recojo y envío de la información de las sedes regionales a la sede central del Programa. Actualmente, al menos 5 sedes no reportan información a la sede central. Los motivos señalados son: mal estado del equipo de computación o éste fue robado, desconfiguración del modem, no disponibilidad de teléfono, falta de capacitación del personal en el manejo del sistema/instrumentos debido a rotación del personal, entre otros.

§

Los reportes de M&E enviados desde las sedes no están estandarizados. Ello dificulta la sistematización de y consolidación de la información nacional.

§

Los reportes existentes son en su mayoría elaborados a pedido de instituciones como el MEF, SECTI, BID y el Despacho Ministerial. Estos reportes no son necesariamente elaborados con la finalidad de facilitar toma de decisiones respecto a ajustes o modificaciones a ejecutar en el

Instituto APOYO

58

Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

Programa. Así, el estudio de evaluación señala que la información que se produce no necesariamente guarda relación con las necesidades del Programa. §

Algunos de los instrumentos usados para el levantamiento de información son complicados de llenar para los responsables de esta función. Así por ejemplo el registro de control de asistencia es responsabilidad de las mismas madres cuidadoras.

§

El sistema considera a la madre cuidadora como uno de los agentes participantes en el levantamiento de datos. Sin embargo, el bajo nivel educativo de estas madres y los limitados programas de capacitación y actualización generan problemas en los registros que distorsionan la realidad. Incluso a nivel de las coordinadoras de campo quienes en su mayoría son profesionales o técnicos, se identifican dificultades en el recojo y registro de la información.

c.3.3) Factores que influenciaron el desarrollo del sistema de M&E del PSWW Alta rotación del personal directivo En los últimos cinco años de funcionamiento del Programa (desde que fue trasladado al Promudeh) ha habido cuatro directoras nacionales. Más aún. sólo entre agosto de 1999 y diciembre del 2000 (16 meses), periodo que corresponde a la primera mitad de la ejecución del Programa luego de la firma del contrato de préstamo con el BID, se han producido tres cambios en la Dirección Nacional del Programa, los que han sido modificados de acuerdo a la visión de los directores de turno. Asimismo, ha habido un alto grado de rotación del personal.

Según la actual Directora Nacional –quien tiene 6 meses en el dicho puestoello se evidencia en las marchas y contramarchas respecto a lineamientos de diseño, gestión y enfoque de las diferentes actividades realizadas por el Programa.

Modificaciones en el marco institucional en el que opera el Programa Además de la alta movilidad en el personal directivo del Programa, debe tomarse en cuenta que el Programa ha sido afectado también por variaciones en el marco institucional en el que opera. Como se mencionó anteriormente, el Programa surgió con determinadas estrategias que han sido paulatinamente reformuladas a partir de la ejecución de proyectos pilotos. Así, es importante tomar en cuenta que el Programa de la manera en que opera en estos momentos –con una estrategia de gestión comunitaria- tiene menos de dos años de funcionamiento.

Participación de diferentes organismos internacionales El Programa a lo largo de su historia ha pasado por diferentes etapas en las cuales también los organismos internacionales de apoyo al mismo han variado.

Como ha sido mencionado, el Programa como receptor de un préstamo del BID inició sus actividades en agosto del año pasado. Según la actual Directora Nacional, la participación del BID en términos de diseño y ajustes al sistema de monitoreo así como la realización de estudios de evaluación externa es clave, desde que ambos temas se encuentran en el contrato de préstamo.

Instituto APOYO

59

Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

Limitada oferta de profesionales capacitados para la provisión del servicio Según la actual Directora Nacional, uno de los problemas claves que enfrenta el Programa y que afecta también sus acciones de M&E tiene que ver con el carácter “pionero” del servicio que brinda el Programa. Así, en muchos casos el programa opera a través de profesionales en educación inicial, mientras que el perfil profesional más adecuado sería el de especialistas en estimulación temprana. Ello, por ejemplo se evidencia en la carencia de indicadores adecuados que permitan medir el nivel de “éxito” del programa, en función del desarrollo del niño o niña. Así, muchos indicadores del sistema de M&E se centran en el acceso de niños al servicio de wawa wasi integralmente o a alguno de sus componentes; sin embargo no se cuenta con indicadores que den cuenta de las técnicas de estimulación temprana aplicadas así como su impacto en el desarrollo del niño. c.3) Programa de Mejoramiento de la calidad de la educación primaria (MECEP) c.3.1) Objetivos y características del MECEP El MECEP tiene su origen en el convenio de préstamo # 3826 – PE firmado en 1995 entre el gobierno peruano a través del Ministerio de Educación (MED) y el Banco Internacional de Reconstrucción y Fomento (BIRF).

Este convenio tuvo como marco el Plan de Desarrollo de la Educación a Largo Plazo 1995-2010 elaborado por el Ministerio de Educación en octubre de 1994.

En la preparación de este plan, se usó como principal insumo los resultados del Diagnóstico General de la Educación Primaria elaborado entre 1992 y 1993 por el MED, GTZ, OREALC-UNESCO y el Banco Mundial.

De acuerdo a la categorización por tamaño del programa presentada en la sección anterior, el Mecep está ubicado entre los programas grandes (presupuesto ejecutado en el 2000 entre US$25 y US$80) habiendo ejecutado alrededor de US$40 millones anuales entre 1996 y 1999.

El presente estudio de caso describe la experiencia de un programa de gran tamaño como el Mecep que además opera a través de las oficinas de línea del Ministerio de Educación, en el desarrollo de un sistema de M&E. En la primera parte se describe el Programa así como su sistema de M&E. En la segunda parte, se señalan algunos de los hallazgos encontrados en la última evaluación externa del Mecep respecto a la ejecución de sus acciones de M&E15. La tercer parte, discute algunos de los factores que han favorecido o dificultado la existencia de un sistema de M&E articulado del Mecep.

Sobre la base de los resultados del Diagnóstico General de la Educación Primaria, el Mecep estableció como su objetivo el mejorar la calidad de la educación primaria estatal y, así elevar el rendimiento estudiantil y reducir la incidencia de casos de repetición y deserción escolar. Entre los principales problemas a enfrentar por el Mecep identificados en el estudio de diagnóstico mencionado anteriormente se encontraban: ü Bajo rendimiento de los alumnos, quienes en su mayoría no llegan a dominar las habilidades básicas correspondientes al grado de estudio; 15

Informe Final de Fase I: Verificación de Cumplimiento de Metas. Evaluación de Impacto del Programa de Mejoramiento de la Calidad de la Educación Primaria (Mecep). Instituto Apoyo, Febrero del 2000.

Instituto APOYO

60

Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

ü Altos índices de repitencia y deserción escolar. Se calculó que para terminar los seis grados de primaria se necesitaba en promedio 8,4 años; que sólo el 20 por ciento lograba graduarse sin repetir ningún grado y que el 55 por ciento repiten dos grados o más. ü Currículo desarticulado según materias y que no se adapta a las necesidades del país. ü Falta de textos y materiales educativos que favorezcan el desarrollo de clases activas, innovadoras, dinámicas y efectivas. ü Inadecuada preparación y la falta de experiencia de los maestros.

ü Precariedad de la infraestructura educativa.

El Mecep identifica para su trabajo tres componentes:

I. Componente de Mejoramiento de la Calidad de los Procesos de EnseñanzaAprendizaje 1. Consolidación Curricular 2. Materiales Educativos 3. Capacitación docente II. Componente de Modernización de la Administración Educativa 1. Modernización del Sistema de Gestión 2. Implementación de la Gestión de los Centros Educativos 3. Sistemas de Evaluación del Rendimiento Estudiantil 4. Sistemas de Información III. Componente de Infraestructura Educativa

Cada uno de estos componentes y subcomponentes establecen objetivos, metas y estrategias. Una distinción del Mecep es que a diferencia de la gran mayoría de programas iniciados con financiamiento externo, su ejecución se realiza a través de las direcciones y unidades de línea del Ministerio de Educación16.

Así, el componente de mejoramiento de la calidad de los procesos de enseñanza-aprendizaje es ejecutado por tres unidades diferentes. El subcomponente de capacitación docente está bajo la responsabilidad de la Unidad de Capacitación de la Dirección Nacional de Formación y Capacitación Docente (DINFOCAD). El de materiales educativos bajo la responsabilidad de la Dirección Nacional de Inicial y Primaria; y el de consolidación curricular bajo la responsabilidad de la Unidad de Desarrollo Curricular y Recursos Educativos de Educación Inicial y Primaria también perteneciente a la Dirección Nacional de Inicial y Primaria.

Además, el Mecep cuenta con una Unidad Coordinadora dirigida por el Coordinador Nacional del Mecep quien depende directamente del Viceministro de gestión institucional y cuyo puesto dentro de la estructura organizativa del MED equivale al de Director Nacional.

Esta Unidad Coordinadora del Mecep es la responsable de la planificación de las evaluaciones externas del Mecep así como de cumplir funciones de monitoreo a nivel central y agregado del Programa. Esto último lo lleva a cabo a través de su unidad de seguimiento y coordinación, la que lleva a cabo un seguimiento fundamentalmente de metas físicas (mayormente cuantitativas) y financieras. El M&E de procesos se realiza a nivel de cada unidad ejecutora responsable de cada componente o subcomponente. Para el desarrollo de

16

En 1996 por decisión del Despacho Ministerial se estableció que los componentes del Programa Mecep y sus actividades serían ejecutados por las Direcciones y/o Oficinas correspondientes del MED.

Instituto APOYO

61

Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

estas acciones, las unidades ejecutoras son autónomas para diseñar y aplicar sus propios instrumentos.

Con el fin de promover la coordinación entre las diferentes direcciones y unidades del Ministerio que participan en la ejecución del Mecep, desde 1997 se cuenta con tres comités de coordinación. El primer comité está destinado a fortalecer la relación entre el Mecep y las autoridades del ministerio (Ministro, Viceministro y Secretario General). Este comité se reúne una vez al mes y ha sido establecido por resolución suprema.

El segundo comité está integrado por los jefes de componentes y/o directores nacionales. Este comité coordina las actividades de los componentes y subcomponentes y tiene por objetivo intercambiar información y tomar decisiones que involucren al conjunto de ellos. Sin embargo, este comité no se reúne regularmente, siendo citado para temas específicos.

El tercer comité se encarga de realizar el seguimiento al nivel de cada componente o subcomponentes. Consiste en reuniones entre la unidad de seguimiento y coordinación y cada componentes. Este comité tampoco tiene un calendario de reuniones pre-establecido. c.4.2) El sistema de M&E del MECEP Considerado la extensión del Programa y, además, que cada componente del Mecep tiene autonomía para establecer sus mecanismos de M&E entonces, para efectos del presente estudio de caso, se tomó como unidad de análisis al total de subcomponentes del componente de mejoramiento de la calidad de los procesos de enseñanza-aprendizaje y del subcomponente sistemas de evaluación estudiantil –que pertenece al componente de modernización de la administración educativa- por las características de su función. A continuación se presenta una descripción de las acciones de M&E realizadas por cada uno de los subcomponentes mencionados17.

En el caso del subcomponente consolidación curricular, la labor de seguimiento, monitoreo y evaluación está a cargo del Equipo Técnico Nacional de la Dirección Nacional de Educación Inicial y Primaria. Las acciones de monitoreo consisten en visitas a las aulas para identificar fortalezas y debilidades en el proceso de enseñanza desarrollado por el docente así como para verificar el nivel de avance en el currículo. Para ello, se utilizan dos instrumentos. El primero consiste en una ficha de observación del aula, utilizada para identificar dificultades en el proceso de enseñanza, las que son posteriormente trabajadas en un taller de discusión con los docentes. El segundo instrumento consiste en una prueba de evaluación al alumno, diseñada con el objetivo de verificar el desarrollo del currículo en el aula mediante el resultado de su aplicación en el aprendizaje18.

El monitoreo del sub componente de materiales educativos por su parte, tiene por objetivo corroborar la existencia, uso y conservación de los materiales educativos en los centros educativos de primaria a nivel nacional. Las actividades de seguimiento y monitoreo se realizan desde dos instancias. Por un lado desde la sede central (Mecep) y por otro lado, desde los órganos 17

Esta descripción tiene como fuente principal el Informe de Evaluación de Impacto del Programa de Mejoramiento de la Calidad de la Educación Primaria (Mecep) elaborado por el Insituto Apoyo.

18 Cabe señalar que estas pruebas son diferentes de las pruebas CRECER aplicadas por la Unidad de Medición de la Calidad de la Educación.

Instituto APOYO

62

Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

intermedios a través de los especialistas de las Direcciones Regionales de Educación, de las Unidades de Servicios Educativos (USE) y las Areas de Desarrollo Educativo (ADE).

El monitoreo realizado desde la sede central pone énfasis en la llegada oportuna de los materiales a los centros educativos y, más recientemente incluye aspectos pedagógicos. Para ello, el subcomponente considera el uso de tres instrumentos: (i) encuesta a directores, (ii) encuesta a docentes y (iii) ficha de observación. Estos instrumentos son aplicados a través de visitas de una duración aproximada de cinco días a los centros educativos, durante las cuales además se realiza un taller de discusión con los docentes para recoger su opinión respecto a los materiales distribuidos.

El monitoreo realizado por los órganos intermedios es similar en tanto los instrumentos usados son diseñados sobre la base los elaborados por la sede central. En este caso, sin embargo las visitas a los centros educativos son más cortas (entre 3 horas y un día).

En el caso del sub-componente de capacitación docente, el sistema de M&E está a cargo del equipo técnico de su órgano ejecutor, es decir de la Unidad de Capacitación Docente de la Dirección Nacional de Formación y Capacitación Docente. Este componente tiene como antecedente el Plan Nacional de Capacitación Docente (PLANCAD) creado en 1995 con el objetivo de mejorar la calidad del trabajo técnico-pedagógico que realizan los maestros en el aula, brindándoles una capacitación inicial, diversificada y según la realidad de cada región19. El monitoreo se realiza de acuerdo a las tres fases de la capacitación: (i) la de información, donde se trabajan los lineamientos generales y objetivos de la capacitación, (ii) la de capacitación en sí misma y (iii) la de seguimiento y reforzamiento, donde se observa el trabajo de los docentes en el aula.

Los orígenes del sistema de M&E del Plancad se remontan al inicio de operaciones en 1995 a través de un proyecto piloto. De acuerdo, a personal del Plancad entrevistado20, inicialmente las acciones de M&E eran desordenadas en tanto no constituían un sistema integrado. Es al término del proyecto piloto que por sugerencia del Banco Mundial se decide diseñar un sistema de M&E para el Plan.

Según los entrevistados, en 1996 se llevan a cabo las primeras acciones de M&E mediante un grupo de instrumentos consistentes principalmente en encuestas cortas. Posteriormente, y bajo el diagnóstico del equipo técnico del Plancad de que los instrumentos con los que se contaba eran insuficientes para recoger toda la información necesaria para tomar decisiones correctivas, se entró en un período de diseño de nuevos instrumentos, llegándose a elaborar hasta 28 diferentes instrumentos. Dados los esperables problemas para procesar el conjunto de información recogida, el número de instrumentos fue reducido a sólo 5 hacia finales de 1997. A partir de esa fecha, la variación en el tipo y número de instrumentos ha sido marcadamente menor. Actualmente los instrumentos utilizados consisten en encuestas de opinión, fichas de observación de talleres, fichas de observación de aulas y estudios de casos.

Finalmente, como se mencionó anteriormente es relevante considerar los avances en el desarrollo de acciones de M&E del subcomponente sistema de 19

Cuenca, Ricardo y Sandra Carrillo. El Sistema de Monitoreo y Evaluación del PLANCAD. MED, GTZ y KfW. Abril, 2001.

20 Entrevista a Jefa de la Unidad de Capacitación Docente y a asesores principales del Plancad.

Instituto APOYO

63

Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

evaluación del rendimiento estudiantil que está a cargo de la Unidad de Medición de la Calidad de la Educación, dado que su objetivo es precisamente, desarrollar un sistema permanente de evaluación del rendimiento de los alumnos, que proporcione información sobre la calidad del proceso educativo.

Este subcomponente tiene como una de sus metas crear un sistema de nacional de evaluación permanente y proporcionar información para monitorear el mejoramiento de la calidad del servicio educativo. Para ello se han diseñado principalmente dos instrumentos: (i) Encuestas a directores, docentes, padres de familias y alumnos y (ii) Las pruebas de rendimiento CRECER. Estas pruebas han aplicadas en 1996, 1998 y el 2000. c.4.3) Avances y limitaciones del sistema de M&E del MECEP En el año 2000, el Mecep a través de una consultora externa llevó a cabo una evaluación de impacto21. Los resultados de esta evaluación muestran que, a pesar de que se han realizado avances significativos en este ámbito, pues el estado de información inicial no permitía saber siquiera indicadores de insumo básicos como el número de centros educativos o el de docentes, persisten limitaciones muy importantes, tanto a nivel agregado como por componente/subcomponente de las acciones de M&E ejecutadas por el Programa. Estos son: ü Las acciones de M&E desarrolladas no constituyen un sistema integral. A nivel agregado, las acciones de M&E incluyen el seguimiento de metas físicas y financieras más no en gran medida de procesos. Las acciones de M&E de procesos son realizadas por las unidades encargadas de la ejecución de los subcomponentes. ü Las acciones de M&E realizadas por los diferentes subcomponentes no se encuentran suficientemente coordinadas. Así, según la evaluación de impacto recientemente realizada, el subcomponente de consolidación curricular tiene un conocimiento insuficiente de los avances del de materiales educativos y el de capacitación docente. Asimismo, los subcomponentes de consolidación curricular y capcitación docente hacen poco o nulo uso de la información recogida por las pruebas CRECER, aplicadas por el subcomponente de evaluación del rendimiento estudiantil. ü Específicamente en el caso de consolidación curricular, no se han diseñado instrumentos para medir el desempeño del docente. Sólo se realiza acciones de orientación al docente para salvar dificultades al momento de aplicación del currículo. Asimismo, existe insuficiencia de personal para llevar a cabo las acciones de M&E contempladas. De ahí que no se hayan incluido en la muestra de centros educativos visitados a las escuelas unidocentes y multigrado, afectando la representatividad de la muestra seleccionada. ü Específicamente en cuanto a los materiales educativos: o la muestra de centros educativos para los cuales se tiene reportes de monitoreo para el presente año no es representativa. o Los reportes de monitoreo realizados por los órganos intermedios no siempre llegan a la sede central del Mecep. o El cronograma para la realización de acciones de monitoreo no es el mismo para las diferentes regiones. Ello dificulta el procesamiento de información para tomar medidas correctivas oportunas.

21

Informe Final de Fase I: Verificación de Cumplimiento de Metas. Evaluación de Impacto del Programa de Mejoramiento de la Calidad de la Educación Primaria (Mecep). Instituto Apoyo, Febrero del 2000.

Instituto APOYO

64

Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

o

o

Los instrumentos de monitoreo usados por los órganos intermedios no son homogéneos. De ahí que los reportes de monitoreo de los órganos intermedios sean básicamente tomados como referencia.

Problemas logísticos impiden el monitoreo de acciones en centros educativos alejados.

ü Específicamente en cuanto a capacitación docente: o Escasa articulación del sistema de M&E del Plancad con los sistemas de M&E del resto de componentes. Por ejemplo, no existe una participación activa y directa de los especialistas de primaria en las acciones de monitoreo desarrolladas por el Plancad. o El uso de encuestas de opinión como instrumento de M&E en los seminarios de la fase de información de la capacitación podría incluir un sesgo al ser éstas aplicadas por el mismo equipo técnico que brindó la información. o Restricciones de personal han limitado la posibilidad de realizar mayores acciones de monitoreo y evaluación. o En los seminarios de evaluación el equipo del Plancad se reúne con las entidades ejecutoras de la capacitación, sin la participación de los especialistas de la Dirección Nacional de Educación Inicial y Primaria. o No se dispone de instrumentos para evaluar documentos (manuales, materiales distribuidos o elaborados en los talleres, etc) entregados a los docentes durante la capacitación. o No se cuenta con una adecuada base de datos de los docentes capacitados. o Un porcentaje considerable de la información de M&E recogida en años anteriores no ha sido procesada. ü Específicamente en cuanto a la evaluación del rendimiento estudiantil: o No existe una efectiva coordinación entre la Unidad de Medición de la Calidad de la Educación (UMC) y otros subcomponentes. o La evolución y perfeccionamiento de las pruebas CRECER dificulta realizar una comparación de los resultados. o Debido a la poca coordinación entre la UMC y otros subcomponentes, la información procesa y difundida sobre la base de las pruebas CRECER, no es necesariamente la más útil para los propósitos de dichos subcomponentes. c.4.3) Factores que influenciaron el desarrollo del sistema de M&E del MECEP Poco compromiso político e institucional versus apoyo de la cooperación internacional De acuerdo al Coordinador Nacional, el interés por desarrollar acciones de M&E del Mecep provino principalmente de los organismos internacionales financieros, lo cual además ha significado un gran aporte de los mismos no sólo al programa sino al sector. Si bien las autoridades políticas no representaron una fuente de interés y promoción para el desarrollo de acciones de M&E, tampoco fueron un factor que obstruyó su ejecución. Sin embargo, cabe señalar que tanto para el Coordinador Nacional del Mecep y para la responsable de su Unidad de Seguimiento y Coordinación, la capacidad de obstrucción para el desarrollo de estas acciones a nivel institucional del sector es limitada en tanto estas tareas están establecidas en los contratos con los organismos financieros del Programa. De acuerdo al Coordinador Nacional, ello constituye una gran ventaja pues evita que o l s cambios en la alta dirección del Instituto APOYO

65

Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

Sector impliquen cambios significativos en los objetivos y estrategias del Programa22.

Así, la presencia de organismos internacionales como el BIRF, BM, GTZ y KfW ha sido clave para el desarrollo de acciones de M&E de los diferentes componentes del Mecep. Al no existir una cultura que promueva estas acciones desde la alta dirección, los intentos por avanzar en ello encontraron más acogida en los organismos cooperantes23.

Ejecución del Programa por las oficinas de línea del Ministerio de Educación De acuerdo a la responsable de la Unidad de Coordinación y Seguimiento, cuando se optó por ejecutar los diferentes componentes del Programa a través de las unidades de línea, no se consideró atentamente las dificultades que se tendría para desarrollar acciones de M&E. De ahí que, en 1997 se tomó la decisión de crear comités de coordinación a tres niveles, como fue anteriormente mencionado. No obstante, estos esfuerzos por establecer mecanismos de coordinación, aún la articulación entre los componentes para – por ejemplo- realizar acciones de M&E es escasa.

Por ejemplo, según personal del Plancad entrevistado, mientras para este subomponente los indicadores más valiosos son aquellos cualitativos que dan cuenta de procesos (si los docentes están aplicando una metodología de participación activa o si se está dando una participación de los alumnos en el proceso de aprendizaje); para el nivel de coordinación central del Mecep se reporta sólo el número de talleres realizados y de maestros capacitados.

Otro aspecto a tomar en cuenta al analizar la posibilidad de coordinar acciones se refiere al lugar que ocupa la coordinación del Mecep en la estructura ministerial. A pesar de que el Coordinador Nacional del Mecep tiene rango de Director Nacional, todas las acciones que desde su Unidad Coordinadora se diseñen o establezcan son ejecutadas por los Directores Nacionales de los órganos correspondientes. Así, la capacidad de garantizar el cumplimiento de objetivos, como de monitorear y evaluar avances depende sensiblemente de la relación que su coordinador establezca con los directores nacionales.

22

No obstante, el hecho de que las acciones del Mecep sean implementadas por los órganos de línea del Ministerio, los hace en alguna medida vulnerables a decisiones de orden político. Por ejemplo, personal entrevistado del Plancad mencionó que las actividades de M&E fueron interrumpidas durante el segundo semestre del 2000 debido a que los contratos de las personas encargadas de esa área fueron suspendidos debido a una decisión tomada por las autoridades ministeriales.

23 Nuevamente en el caso de Plancad, según la Jefa de la Unidad de Capacitación Docente, el apoyo de GTZ-KfW ha sido determinante para el diseño de su sistema de M&E. Así, al momento de reflotar el área de M&E luego de ser desactivado en julio del 2000, la participación de GTZ fue clave, entre otras cosas, para la contratación de especialistas encargados de afinar el sistema.

Instituto APOYO

66

Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

3. Conclusiones y recomendaciones A partir de la segunda mitad de la década pasada, se inicia un movimiento en la gestión pública peruana por introducir y fortalecer los sistemas de M&E de los programas y proyectos públicos, con énfasis en lo social. Ello se desarrolla desde un conjunto de iniciativas vinculadas a la ejecución de gasto y al proceso presupuestario, desarrolladas desde el MEF, así como con el desarrollo de esquemas de M&E en diversos proyectos sectoriales, principalmente aquellos que reciben financiamiento de agencias de cooperación.

Los sistemas vigentes de M&E de los programas y proyectos sociales públicos tienen, a pesar de esfuerzos de equipos técnicos y del apoyo de la cooperación internacional, gravísimas deficiencias. En una gran proporción de los casos, el Estado peruano y los contribuyentes no tienen cómo saber la efectividad y eficiencia de los programas y proyectos que se desarrollan en el país para ayudar a los peruanos en situaciones difíciles. Estos fueron algunos de los principales resultados obtenidos: § §

§

§ §

§

§

Sólo tres de los 20 proyectos de la muestra, cuyos gastos representaron solamente US$17 millones de los US$770 millones de la misma, tienen manuales para desarrollar sus operaciones de M&E. Casi todos los proyectos analizados cuentan con una capacidad para realizar las actividades de monitoreo, así como también formatos para recolectar la información producto de estas operaciones. Sin embargo, en muchos de estos casos, la tenencia de formatos se debería a la obligatoriedad impuesta por la nueva ley de inversiones, que además provee estas plantillas.

Si bien 15 de los 20 proyectos de la muestra tienen margen de maniobra, éstos se reducen a 11 cuando se les pregunta acerca de algunos casos en los que efectivamente se haya realizado alguna corrección al proyecto, como producto del proceso de M&E. Sólo 11 de los 20 proyectos realizan reportes que retroalimentan el ciclo del proyecto. Sin embargo, la otra mitad, que representa alrededor de US$330 millones, no realizan ningún tipo de reporte con los resultados del M&E. Sólo 4 de los 20 proyectos están diseñados bajo un marco lógico. Sin embargo, éstos son relativamente grandes, pues sus gastos ascendieron a US$288 millones en el 2000, poco menos de la mitad de los gastos totales de la muestra.

Si bien 14 de los 20 proyectos realizaron perfiles durante su etapa inicial, éstos sólo representan el 42% de la muestra (US$321 millones), en términos de desembolsos. Esto significa que los seis proyectos restantes, que no realizaron ningún perfil y que desembolsaron US$450 millones en el 2000. son relativamente grandes. Por lo tanto, se confirma la presunción de que, en la última década, algunos grandes proyectos se iniciaron sin ningún estudio de pre-inversión, debido a factores políticos y a la situación de emergencia que se registró en los primeros años de la década. Además, cabe destacar que, en muchos de los casos que sí se realizaron perfiles, algunos de los funcionarios entrevistados mencionaron que éstos eran demasiado simples.

Casi la mitad de los proyectos de la muestra realizaron evaluaciones intermedias o expost. Sin embargo, de acuerdo con algunas de las respuestas cualitativas de algunos funcionarios, éstas habrían sido de cobertura limitada, o sólo de tipo cualitativo (por lo menos seis proyectos), o sólo de una parte de los proyectos (el Inade, que tiene varios proyectos, realiza evaluaciones en algunos de estos casos, pero que son la minoría). Además, en pocos casos se habrían realizado evaluaciones de impacto y sostenibilidad. Este análisis se confirma con los resultados de la tenencia de línea de base y grupos de control, que teóricamente son los instrumentos adecuados para realizar

Instituto APOYO

67

Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

evaluaciones de impacto y sostenibilidad: ninguno de los proyectos tiene línea de base (con la salvedad de que en el caso de los proyectos agrícolas no fue posible obtener una respuesta) y sólo tres, que representaron US$149 millones en términos de gastos, tienen grupos de control o comparación.

RESULTADOS AGREGADOS DE LAS PREGUNTAS RESPONDIDAS AFIRMATIVAMENTE

Preguntas

1 2 3 4 5 6 7a 7b 8 9 10 11a 11b

¿Tenía M&E? Margen de maniobra Margen de maniobra efectivo Capacidad de M&E Manuales de M&E Formatos de M&E Reportes de M&E Retroalimentación de reportes Marco lógico Perfiles Evaluación Línea de base Grupo de control

Nº de proyectos de la muestra

9 15 11 17 3 17 11 11 4 14 9 0 3

Gastos de los proyectos respectivos 1/ (US$) 407 175 673 480 085 426 433 811 445 607 746 296 17 285 018 607 746 296 330 122 728 330 122 728 288 724 298 321 395 572 335 647 942 0 148 698 968

1/ Información del SIAF para el 2000.

Fuente: entrevistas en profundidad con funcionarios sectoriales.

El desarrollo desigual de los sistemas de M&E en el sector público peruano tiene diversas explicaciones, que pueden ser empezadas a analizar de manera más sistemática a la luz de lo encontrado en este estudio de investigación.

1. La evidencia señala que existe muy poco compromiso político de parte de las autoridades para introducir y mejorar sistemas de M&E. En el análisis por sectores de las entrevistas en profundidad, el apoyo político resulta signi ficativamente bajo: en una escala del 1 al 7, se obtiene un puntaje de sólo 2,8.

Además, el compromiso político a nivel sectorial se refleja también en la importancia que le otorgan los sectores a las inversiones y en el apoyo a la estrategia de fortalecimiento de las OPIs. En ambos casos, el puntaje es de sólo 2,9.

Asimismo, en todos los estudios de caso, el origen de los sistemas de M&E está en los convenios firmados con los organismos internacionales. En el caso de Projoven y Wawa Wasi primero se financiaron pilotos (con cargo a ser evaluados) para luego firmar el convenio de préstamo. Esto último en el caso de PNWW, pues el BID luego del piloto sólo financió una convocatoria de Projoven (el resto se financiaron con otras fuentes).

La falta de compromiso político de las autoridades sugiere que se deba establecer un mandato legal expreso, con penalidades claras, para la realización periódica de estudios de M&E. Sería recomendable que ello se estableciera como prerequisito de la discusión presupuestaria del pliego correspondiente en la Comisión de Presupuesto del Congreso de la República.

2. La evidencia señala que existe poca cultura de M&E Instituto APOYO

68

Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

En el análisis por sectores de las entrevistas en profundidad, la cultura de M&E obtiene un puntaje, en una escala del 1 al 7, de sólo 2,2. Esto refleja la etapa incipiente en la que se encuentra el proceso de introducción de prácticas de M&E en el ámbito de los proyectos sociales peruanos. De la misma manera, en los estudios de casos, todos los coordinadores de programas mencionaron que no existe cultura de M&E en las autoridades políticas. Sin embargo: ü En Projoven, sí hubo interés de la alta dirección de ese momento (cuando Projoven inició sus operaciones), que estaba constituida por economistas con estudios de post-grado. ü En Mecep y PSNB, la alta dirección del sector no manifestó decidido interés, pero tampoco obstruyó. En ambos casos, mencionaron que debe considerarse que es difícil obstruir cuando existe un convenio con un organismo internacional. ü En PNWW, el interés de la alta dirección se dio en la actual administración.

3. La cooperación externa y el financiamiento externo han cumplido un papel importante en el desarrollo de los sistemas de M&E mejor desarrollados.

Los proyectos con mayor financiamiento externo tienen los puntajes más altos: los proyectos con más del 50% de su presupuesto financiado con fuentes externas registran un puntaje, en una escala del 0 al 1, mayor a 0,52; mientras que los demás obtienen un puntaje de alrededor de 0,38. Sin embargo, los proyectos con más del 50% de su presupuesto financiado con fuentes externas sólo son siete y representan apenas el 30% del total desembolsado por los veinte proyectos de la muestra.

De la misma manera, en todos los estudios de caso realizados, que fueron seleccionados por que se tenía la presunción de que tenían sistemas de M&E relativamente mejor desarrollados, han estado involucrados los organismos internacionales en el diseño de los Programas.

En todos los casos (menos Projoven), el organismo internacional financiero es una fuente de apoyo financiero para desarrollar estas acciones. Los organismos financieros cumplen un doble rol al exigir evaluaciones, vinculadas al desembolso o la operación del proyecto, y también brindar apoyo técnico y flexibilidad para la contratación de consultores. Este marco de operación es el que ha venido siendo, frecuentemente, auspicioso para el desarrollo de mejores sistemas de M&E, por lo que debiera ser el punto de referencia para replicar a los programas y proyectos que dependen del Tesoro Público. Debiera plantearse, por ello, la vinculación de estos estudios a la aprobación de recursos, como ya ha sido sugerido anteriormente, y los mecanismos de apoyo técnico y contratación de consultores para el desarrollo de estos sistemas. Los sistemas desarrollados por el MEF no estarían cubriendo este último aspecto.

En el caso de PNWW y Mecep/Plancad la cooperación técnica ha sido clave para la contratación de personal calificado. Asimismo, en los casos de Projoven, PNWW y PSNB, el financiamiento externo ha está asociado a una mayor autonomía administrativa, la cual es identificada por los entrevistados como positiva para el desarrollo de sus sistemas de M&E. 4. Los proyectos de mayor envergadura tienen menor desarrollo de los siste mas de M&E En el análisis por proyectos de las entrevistas en profundidad, el grupo de los proyectos más grandes, que son los que comúnmente tienen mayor injerencia política, Instituto APOYO

69

Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

obtiene, en una escala del 0 al 1, una calificación de 0,4. En el 2000, este grupo de proyectos gastó US$468 millones, más del 60% del total desembolsado por los 20 proyectos de la muestra. Es importante destacar que el puntaje mayor, 1, no refleja el nivel óptimo, sino el mínimo indispensable para iniciar un proceso de M&E eficaz y de calidad.

En el caso de MECEP, el tamaño del proyecto, aunado a la dificultad para insertarse dentro de los órganos de línea de manera integral, ha generado mayores dificultades para estandarizar instrumentos y lograr un sistema de M&E integrado. En cambio, PSNB, por su menor dimensión y la presencia de gerencias regionales que interactuaban con los órganos de línea ha logrado que dichas dependencias asuman parte de los instrumentos de M&E. Un punto adicional a tener en cuenta en la comparación es que, por lo menos en cuanto a los indicadores de resultados e impacto, en el caso de salud estos son más claros y fáciles de recoger que en el caso de educación.

En el otro extremo, Projoven, que actúa de manera directa pues no existe una estructura de línea del Ministerio a nivel nacional en área de promoción social, ha podido desarrollar un sistema de M&E muy completo. Sin embargo, este sistema es ajena a la estructura tradicional del Estado. Por su parte, otro programa pequeño como el PNWW no ha podido desarrollar un sistema de M&E adecuado.

Diseñar un sistema de M&E único para todo el programa es más fácil cuándo éste es autónomo de los órganos de línea. Ese sería el ejemplo de Projoven que tiene un sistema bastante desarrollado de M&E. No sería el caso de PNWW. Sin embargo la independencia de este programa respecto a la línea del ministerio no es de siempre, pues cambió del Ministerio de Educación al Promudeh, y sufrió varios cambios en el tiempo estudiado. El caso de PSNB daría cuenta de que es factible lograr mejoras en los sistemas de M&E trabajando estrechamente con los órganos de línea, si se logra identificar a qué nivel es adecuado plantear dicha interacción entre el proyecto –que tiene márgenes de acción y contratación que los órganos de línea no tienen- y dichos órganos. El caso de Mecep parecería señalar que una relación que dependa demasiado de los órganos de línea a nivel desconcentrado, sin gerencias regionales del proyecto, como sí fue el caso del PSNB, enfrentaría más dificultades en la puesta en marcha de mejoras en los sistemas de M&E. De lo anterior se desprendería que lo recomendable sería crear instancias regionales que, con mayor autonomía en el uso de recursos y capacidad para contratar personal calificado y consultores, pudieran seguir y apoyar a los órganos de línea de los sectores para facilitar el proceso de introducción de mejores sistemas de M&E.

Instituto APOYO

70

Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

BIBLIOGRAFÍA APPLETON, Simon. “Problems in measuring changes in poverty over time”. UK, 1996.

BAKER, Judy. “Evaluating project impact for poverty reduction: a handbook for practicioners”. 1999.

CARVALHO, Soniya y Howard White. “Performance indicators to monitor poverty reduction”. 1995.

DU BOIS, Fritz y Nelson Shack. “ Balance y perspectivas en la lucha contra la pobreza 1985 – 2000. P. 133 - 143. EN: Foro Diálogo Sobre Experiencias y Retos en la Lucha Contra la Pobreza. Ica, 1998.

FONCODES. Mapa de pobreza en el Perú: FONCODES frente a la pobreza, 19911994. Lima. Foncodes. 2000.

FLORES, Rosa. “Experiencias en la reducción de la pobreza y evaluación del impacto de los proyectos antipobreza financiados por el Banco Mundial en el Perú. En: Foro Diálogo Sobre Experiencias y Retos en la Lucha Contra la Pobreza. Ica, 1998.

GRASSO, Patrick y Patricia Laverley con varias contribuciones del staff de OED. “Lessons on community-driven development”. Washington DC, 1999.

GUERRA GARCIA, Gustavo. “Reforma del Estado en el Perú”. Lima, 1999.

HICKS, Norman. “Measuring the poverty impact of projects in LAC”. 1998.

INEI. Encuesta Nacional de Hogares (ENAHO). 1997 y 1998.

INEI. Biblioteca Estadística del INEI. Lima. 2000.

INSTITUTO APOYO. Lucha contra la pobreza. Ortiz de Zevallos Gabriel y Pierina Pollarolo (eds). Lima. 2000.

INSTITUTO APOYO. “Resultados obtenidos del I Foro Diálogo Sobre Experiencias y Retos en la Lucha Contra la Pobreza”. EN: Foro Diálogo Sobre Experiencias y Retos en la Lucha Contra la Pobreza. Ica, 1998.

Instituto Cuánto. Encuestas de Niveles de vida (ENNIV) 1991, 1994,1997 y 2000.

Lima.

Instituto Cuánto. Pobreza y Economía Social: Análisis de una encuesta ENNIV –1997.

Lima. 1999 MINISTERIO DE ECONOMÍA Y FINANZAS. “Un análisis descriptivo del grado de focalización de algunos problemas sociales y del nivel de regresividad del gasto en educación y salud, 1998. Lima. MEF. 1999.

M&E Initiative and the Regional Programme for West Africa (BRAO). “Workshop on planning, monitoring and evaluation”. Ouagadaugou, Burkina Faso, 1998.

MINISTERIO DE TRABAJO Y ASUNTOS SOCIALES. “Evaluación de políticas públicas y programas”. Vedung, Evert. Madrid, 1996.

Instituto APOYO

71

Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

RUBIO, G., G. Prennushi y K. Subbarao. “Monitoring and evaluation chapter”. 2000.

UNICEF. “A Unicef guide for monitoring and evaluation”.

VASQUEZ, Enrique. “Evaluación de impacto de proyectos en la lucha contra la pobreza: aspectos metodológicos. EN: Foro Diálogo Sobre Experiencias y Retos en la Lucha Contra la Pobreza. Ica, 1998.

WEBB, Richard. “La pobreza en el Perú: estimaciones y estrategias”. EN: Foro Diálogo Sobre Experiencias y Retos en la Lucha Contra la Pobreza. Ica, 1998.

WEISS, Carol H. “Evaluation: methods for studying programs and policies”, 1998.

WORLD BANK. “Performance monitoring indicators”. Washington DC, 1996.

WORLD BANK. “Poverty and Social Developments in Peru: 1994-1997”. Washington D.C.1999.

Instituto APOYO

72