Documento de Enfoque
Evaluabilidad 2012 Revisi贸n de la Evaluabilidad de los Proyectos del Banco
Banco Interamericano de Desarrollo Marzo de 2013
Este trabajo se distribuye bajo una licencia Creative Commons (CC BY-NC-ND 3.0). Usted es libre de copiar, distribuir y comunicar públicamente esta obra a terceros, bajo las siguientes condiciones: Reconocimiento — Debe reconocer los créditos de la obra de la manera especificada por el autor o el licenciador (pero no de una manera que sugiera que tiene su apoyo o apoyan el uso que hace de su obra). No comercial - No puede utilizar esta obra para fines comerciales Sin obras derivadas - No se puede alterar, transformar o ampliar este trabajo. Renuncia - Alguna de estas condiciones puede no aplicarse si se obtiene el permiso del titular de los derechos de autor.
© Banco Interamericano de Desarrollo, 2013 Oficina de Evaluación y Supervisión 1350 New York Avenue, N.W. Washington, D.C. 20577 www.iadb.org/evaluacion
ÍNDICE
SIGLAS Y ABREVIATURAS I.
INTRODUCCIÓN ...............................................................................................................1
II.
PREGUNTAS DE LA EVALUACIÓN Y ENFOQUE .................................................................1 A. B.
III.
¿Cuán evaluables eran los proyectos con garantía soberana de 2012 de acuerdo con la nueva Matriz de Efectividad en el Desarrollo? .......................2 ¿Conduce la Matriz de Efectividad en el Desarrollo a un mejor seguimiento de proyectos durante la etapa de implementación? .........................2
EQUIPO DE TRABAJO Y CRONOGRAMA ...........................................................................3
ANEXO A
PROYECTOS SELECCIONADOS PARA VALIDACIÓN
- ii -
SIGLAS Y ABREVIATURAS
OVE
Oficina de Evaluaci贸n y Supervisi贸n
I.
INTRODUCCIÓN
1.1
La importancia de la evaluación como herramienta para promover el aprendizaje y mejorar la eficacia se ha reconocido ampliamente en el Banco y reflejado en la atención conferida a la evaluabilidad. Desde 2009, la Administración ha venido trabajando en aras de mejorar la evaluabilidad de los proyectos y la Matriz de Efectividad en el Desarrollo para determinar con más precisión la evaluabilidad de la cartera del Banco.
1.2
En 2011, OVE comenzó a utilizar la Matriz de Efectividad en el Desarrollo y el sistema de autoevaluación como una forma de determinar la evaluabilidad de la cartera del Banco mediante la validación de las matrices de efectividad en el desarrollo de una muestra de proyectos. El primer proceso sirvió como piloto para establecer los parámetros que OVE usaría e informar al Directorio y la Administración sobre el nuevo enfoque. Habida cuenta de que los criterios y la modalidad de la Matriz de Efectividad en el Desarrollo se revisaron recientemente a principios de 2011, OVE utilizó también este proceso piloto para evaluar la Matriz de Efectividad en el Desarrollo como una herramienta de evaluabilidad.
1.3
Los principales hallazgos del primer proceso de validación fueron que los puntajes de evaluabilidad de OVE eran similares a los puntajes de la Administración en el caso de operaciones con garantía soberana, mientas que OVE no pudo validar los puntajes de los proyectos sin garantía soberana. OVE recomendó una revisión completa de la Matriz de Efectividad en el Desarrollo de las operaciones sin garantía soberana y algunos ajustes a la Matriz de Efectividad en el Desarrollo de las operaciones con garantía soberana. La Administración ha trabajado en las recomendaciones de OVE y, como resultado, en enero de 2013 se implementarán algunas modificaciones en la Matriz de Efectividad en el Desarrollo de las operaciones con garantía soberana y se está elaborando una nueva Matriz de Efectividad en el Desarrollo para proyectos sin garantía soberana.
1.4
Dado que la Matriz de Efectividad en el Desarrollo de las operaciones sin garantía soberana se está elaborando, OVE esperará hasta que se implemente el nuevo instrumento para incluir proyectos sin garantía soberana en los procesos de revisión de evaluabilidad y para poder describir la evaluabilidad de la cartera total del Banco. Se prevé que la nueva herramienta se pondrá en marcha en el segundo trimestre de 2013. II. PREGUNTAS DE LA EVALUACIÓN Y ENFOQUE
2.1
OVE ha comenzado a validar una muestra de matrices de efectividad en el desarrollo de proyectos con garantía soberana aprobados. Este proceso representará para OVE la fuente principal de información sobre la que basará los informes sobre la evaluabilidad de los proyectos aprobados en 2012. Asimismo, el proceso abordará dos preguntas.
-2-
A.
¿Cuán evaluables eran los proyectos con garantía soberana de 2012 de acuerdo con la nueva Matriz de Efectividad en el Desarrollo?
2.2
Esta es la pregunta básica que se prevé abordar mediante la modalidad de validación de OVE. Como en 2011, la Matriz de Efectividad en el Desarrollo de cada proyecto validado será revisada por un equipo de evaluabilidad (conformado por un empleado y un asistente de investigación) que conozca el sector en cuestión, y un panel coordinará y supervisará a todos los equipos en aras de la uniformidad. Los equipos utilizarán el conjunto de herramientas de la Matriz de Efectividad en el Desarrollo de las operaciones con garantía soberana de junio de 2012 para calificar la evaluabilidad de los proyectos.
2.3
Alrededor de un tercio de los proyectos con garantía soberana de 2012 se han seleccionado al azar para su validación1 (véase en el Anexo A una lista de los proyectos seleccionados). Se prevé que la muestra será representativa de la cartera del Banco en su conjunto. No será posible sacar conclusiones por sector o por instrumento en un determinado año. Sin embargo, a medida que el sistema de validación continúe durante un período más prolongado, una muestra plurianual pasará a ser representativa de subgrupos menores. OVE enviará a la Administración la versión preliminar de cada validación para recoger comentarios antes de finalizar la evaluación.
B.
¿Conduce la Matriz de Efectividad en el Desarrollo a un mejor seguimiento de proyectos durante la etapa de implementación?
2.4
Dado que es la primera herramienta del Marco de Efectividad en el Desarrollo, la Matriz de Efectividad en el Desarrollo se utiliza para asegurarse de que los proyectos estén alcanzando niveles mínimos a fin de que puedan seguirse y evaluarse adecuadamente. Según la evaluación de la Matriz de Efectividad en el Desarrollo llevada a cabo por OVE, esta ha sido una herramienta eficaz para determinar las dimensiones esenciales de la evaluabilidad y, por lo tanto, ha de reflejar adecuadamente la capacidad de los proyectos para informar sobre los resultados en el momento en que se concluyan. Una parte esencial de conseguir resultados e informar al respecto consiste en dar seguimiento a los proyectos durante su implementación.
2.5
En 2009, el Banco puso en marcha la segunda herramienta del Marco de Efectividad en el Desarrollo —el informe de seguimiento del avance— que se utilizará en todos los proyectos para informar sobre el avance en la ejecución. El diseño de los proyectos ha de incluir los elementos esenciales para su adecuado seguimiento, es decir que los equipos deben estar preparados para utilizar el informe de seguimiento del avance una vez que comience la ejecución. Con ello en mente, es importante evaluar hasta qué punto los proyectos que fueron aprobados después de la elaboración de la Matriz de Efectividad en el Desarrollo y tienen un
1
Uno de cada tres proyectos aprobados podía quedar seleccionado.
-3-
puntaje satisfactorio en cuanto a su evaluabilidad están mejor preparados para someterse a seguimiento mediante el informe de seguimiento del avance. 2.6
Para abordar este interrogante, OVE analizará una muestra de proyectos en ejecución aprobados en años diferentes. De hecho, de los proyectos que habían efectuado menos del 10% de sus desembolsos a diciembre de 2009 y todos los proyectos aprobados desde entonces, OVE ha seleccionado al azar una muestra de 81 (20% del grupo) y analizará los ciclos de los informes de seguimiento del avance de marzo de 2011 y marzo de 2012, que corresponden a los últimos ciclos que cuentan con información anual. La muestra se dividirá en dos grupos: (a) los proyectos aprobados antes de abril de 2009 (que no contaban con una Matriz de Efectividad en el Desarrollo); y (b) los proyectos aprobados entre abril de 2009 y diciembre de 2011 (que contaban en todos los casos con una Matriz de Efectividad en el Desarrollo en el momento de su aprobación). Los análisis compararán los informes de seguimiento del avance de los proyectos de estas dos muestras, reconociendo que habida cuenta de todos los cambios producidos en el Banco en los últimos años —particularmente el mayor enfoque en la evaluabilidad y la considerable capacitación que los equipos han recibido sobre el informe de seguimiento del avance— el análisis temporal solo será indicativo.
2.7
En un segundo paso, OVE analizará la relación entre la calidad de los informes de seguimiento del avance de los proyectos aprobados con posterioridad a abril de 2009 y los puntajes de los proyectos en cuanto a su evaluabilidad. Este proceso se complementará con pruebas de un análisis de la documentación del proyecto en la etapa de diseño, otros instrumentos de seguimiento utilizados en el Banco y entrevistas con los equipos responsables de los proyectos de la muestra. III. EQUIPO DE TRABAJO Y CRONOGRAMA
3.1
La jefa de equipo del presente trabajo es Anna Crespo. Se prevé que un amplio grupo de funcionarios y asistentes de investigación de OVE participará en los procesos de validación. A continuación se presenta el cronograma del proceso. Cuadro 3.1 Cronograma del proceso Actividad/producto Conclusión del documento de enfoque Versión preliminar para revisión interna Versión preliminar para revisión y comentarios de la Administración Distribución del informe final al Directorio
Fecha Febrero de 2012 Marzo de 2012 Abril de 2012 Mayo de 2012
Anexo A Página1 de 2
PROYECTOS SELECCIONADOS PARA VALIDACIÓN Número del proyecto AR-L1068 AR-L1127 AR-L1136 AR-L1149 BO-L1064 BO-L1071 BR-L1187 BR-L1190 BR-L1272 BR-L1287 BR-L1299 BR-L1303 BR-L1314 BR-L1336 BR-L1337 CH-L1064 CO-L1093 CO-L1105 CR-L1043 CR-L1049 EC-L1107 EC-L1111 EC-L1113 ES-L1063 GU-L1064 HA-L1068 HA-L1073 HA-L1077 HO-L1071 HO-L1072 ME-L1103 ME-L1120 ME-L1121 NI-L1052 NI-L1059
Nombre Programa de Desarrollo Rural y Agricultura Familiar, PRODAF Programa de Fortalecimiento Institucional Provincial y de Gestión Financiera – Segunda Etapa (PROFIP II) Programa de Desarrollo de las Provincias del Norte Grande: Infraestructura de Agua Potable y Saneamiento Programa Multisectorial de Preinversión IV (CCLIP) Programa de Desarrollo Infantil Temprano "Crecer Bien para Vivir Bien" Apoyo a la Educación Secundaria Comunitaria Productiva PROCIDADES - Novo Hamburgo PROCIDADES - Recife Programa de Movilidad Sustentable de Blumenau (Programa BIDBlumenau) Inclusión Social y Oportunidades para Jóvenes en Rio de Janeiro Programa de Fortalecimiento del Sistema Único de Asistencia Social Proyecto de Generación y Transmisión CEEE Programa de Saneamiento Integrado de Mauês - PROSAIMAUÉS Programa de Infraestructura Logística de Santa Catarina Programa de Consolidación del Equilibrio Fiscal para el Desarrollo del Estado de Bahia Programa de Apoyo a la Efectividad del SENCE Programa de Apoyo al Plan de Educación de Calidad para la Prosperidad Programa de Abastecimiento de Agua y Manejo de Aguas Residuales en Zonas Rurales Programa de Innovación y Capital Humano para la Competitividad Programa de Desarrollo Eléctrico 2012-2016 (Proyecto Hidroeléctrico Reventazón) Programa de Apoyo al Desarrollo Infantil Integral Sistema de Transporte Metropolitano de Quito Programa Nacional de Vivienda Social – Etapa II Apoyo integral a la Efectividad de las Políticas de Trabajo y Previsión Social Programa de Consolidación Fiscal para Guatemala Programa de Acelerador Empresarial en el Polo Económico Norte Programa de Transformación Institucional y Modernización del Sector Energético II Aumento del Acceso a Educación de Calidad en Haití Programa de Apoyo a la Red de Protección Social Fortalecimiento de la Red Hospitalaria Materno Infantil Cuarto Programa de Desarrollo de Mercados Hipotecarios Eficientes e Inclusivos en México Financiamiento de Estrategias Bajas en Carbono en Zonas Forestales Programa “ECOCASA” del FTL-BID Programa de Apoyo al Sector Transporte II Programa de Acompañamiento a la Política de Primera Infancia en Comunidades Priorizadas
Tipo
Sector
ESP
RND
Puntaje de la eval. 9,8
ESP
ICS
7,9
GOM CLP ESP ESP GCR GCR
WSA FMM SPH EDU FMM FMM
8,5 7,2 8,9 8,4 8,7 8,1
ESP ESP ESP ESP ESP GOM
TSP SPH SPH ENE WSA TSP
9,3 8,5 8,8 9,3 8,5 9,1
PBL ESP ESP
FMM LMK EDU
8,5 9,8 8,7
ESP ESP
WSA CTI
8,4 9,5
CLP ESP ESP ESP
ENE SPH TSP FMM
9,0 9,1 9,3 7,6
ESP HIB ESP
LMK FMM CMF
9,5 7,6 7,9
CBD ESP ESP ESP
ENE EDU SPH SPH
9,1 9,3 9,1 9,3
CLP GCR CLP GOM
CMF CMF CMF TSP
7,4 8,5 7,7 8,7
ESP
SPH
9,1
Anexo A Página2 de 2
Programa Nacional de Electrificación Sostenible y Energía Renovable (PNESER) - Tercer Préstamo ESP ENE 8,9 Programa de Innovación para la Competitividad ESP CTI 9,3 Proyecto de Desarrollo de Sistemas de Gestión de Residuos Sólidos en PE-L1092 Zonas Prioritarias de Perú ESP WSA 8,4 Programa para el Desarrollo de una Nueva Matriz Energética Sostenible PE-L1121 (NUMES) IV CBD ENE 9,0 SU-L1019 Segundo Programa para la Mejora de la Educación Básica PFM EDU 9,9 Programa de Fases Múltiples para Rehabilitación de la Infraestructura de TT-L1026 Aguas Residuales – Fase I PFM WSA 9,1 Nota: Alrededor de un tercio de los proyectos con garantía soberana correspondientes a 2012 se seleccionaron al azar para su validación, dado que uno de cada tres proyectos aprobados podía quedar seleccionado. NI-L1063 PE-L1068