Marco Conceptual y Metodología General de la Evaluación Ex Post de Proyectos de Inversión Pública
EL CICLO DE PIP Y LA EVALUACIÓN
Preinversión
Conveniencia de ejecutar un Proyecto
• Evaluación Ex Ante En qué medida se logran las metas (P, T, C)
Logros de objetivos, cambios generados por el PIP
Post Inversión
Inversión
• Evaluación Ex Post
• Seguimiento y Evaluación
Retroalimentación Transparencia
LOS CRITERIOS DE EVALUACIÓN
Preinversión Pertinencia Eficiencia Eficacia Sostenibilidad Impacto
Pertinencia Rentabilidad Social Sostenibilidad
• Evaluación Ex Ante Eficiencia Productos Tiempos Costos
Post Inversión
Inversión
• Evaluación Ex Post
• Seguimiento y Evaluación
EL MODELO LÓGICO DEL PIP
LOS CRITERIOS DE EVALUACIÓN
Y
Fin último Fines indirectos Fines directos
Impactos
Impacto
Efecto Directo
Eficacia
Objetivo central - propósito Operación/Utilización
Componentes – Medios Fundamentales
Tiempos, recursos humanos, fondos, etc.
Eficiencia
Acciones
Productos
Ejecución
Insumos Consistencia con las políticas. Solución del problema. Consistencia en el PIP. Gestión de los riesgos importantes.
Pertinencia
Sostenibilidad
Positivo/Negativo Previsto/No previsto
Eficacia
Eficiencia
Pertinencia
LOS CRITERIOS DE EVALUACIÓN EX POST Concepto
Temas a analizar
Medida en que los objetivos de un PIP son coherentes con las necesidades de los beneficiarios, los contextos regional y local, y las políticas del país.
• Relevancia dentro de las políticas y prioridades del sector. • Satisfacción de las necesidades y prioridades de los beneficiarios. • Validez de la estrategia del proyecto. • Gestión de los riesgos importantes.
Medida en que los recursos / insumos (fondos, tiempo, etc.) se han convertido económicamente en productos (out put) del proyecto. Se asocia a los componentes del PIP.
• • • • •
Logro de Productos Eficiencia en Tiempo de Ejecución Eficiencia el Costo del Proyecto Eficiencia Global Problemas de Ejecución
Medida en que se lograron o se espera lograr los objetivos del PIP. Se asocia al propósito y los fines directos.
• • • •
Operación y Utilización Productos. Logro del Objetivo Central del Proyecto. Rentabilidad Social Eficacia Global
LOS CRITERIOS DE EVALUACIÓN EX POST
Sostenibilidad
Impacto
Concepto
Temas a analizar
Cambios de largo plazo, positivos y negativos, • Impactos Previstos primarios y secundarios, producidos directa o indirectamente por un PIP. Se asocia a los • Impactos Negativos e Impactos No Previstos fines de un PIP Continuidad en la generación de los beneficios de un PIP. Se asocia con el mantenimiento de la capacidad de provisión de los bienes o servicios y el uso de éstos por parte de los beneficiarios.
• • • • •
Operación y Mantenimiento Capacidad Gerencia y Técnica del Operador Sostenibilidad Financiera Riesgos para la sostenibilidad Sostenibilidad Global
LOS MOMENTOS DE LA EVALUACIÓN EX POST Y LOS CRITERIOS APLICADOS
• Eficiencia • Pertinencia • Sostenibilidad
Evaluación de culminación
Seguimiento Ex Post • Sostenibilidad
• • • • •
Pertinencia Eficiencia Eficacia Impactos Sostenibilidad
Evaluación de Resultados
Estudio de Impactos • Impactos • Sostenibilidad
PROCESO DE LA EVALUACIÓN EX POST - CULMINACIÓN
• Preinversión • Inversión • Post Inversión
Recopilación de Información
Sistematización y análisis de información • • • •
Hitos del PIP Comparaciones Factores + Informe preliminar
• Talleres, reuniones con involucrados
Discusión de Evaluación Preliminar
Informe Evaluación Culminación
PROCESO DE LA EVALUACIÓN EX POST – RESULTADOS – ACTIVIDADES PREPARATORIAS
•Preinversión •Inversión •Post Inversión
Recopilación de información disponible
Evaluación preliminar •Hitos del PIP •Comparaciones
Selección del EEI •Ajuste marco lógico •Enfoque del estudio •Requerimientos de información adicional •Alcance del estudio •Estimación de recursos
Planeamiento
•Términos de referencia •Proceso y contratación •Orientaciones
LA EVALUACIÓN EX POST Medición de los resultados y efectos de un proyecto.
El nivel de logro de los insumos, las actividades, los componentes, el objetivo central, los fines directos e indirectos.
Examen del proceso, factores que influyen y relaciones causales.
Preinversión, Inversión
Emisión de un juicio de valor sobre el proyecto
Recomendaciones, Lecciones Aprendidas
Pertinencia, Acciones concretas a alguien Eficiencia,
Utilización de los productos y logro del objetivo central e impactos esperados
Eficacia,
Impacto,
Las relaciones causales entre el proyecto y sus efectos. Sostenibilidad.
Enseñanzas generalizables y aplicables.
LA EVALUACIÓN EX POST – MARCO LÓGICO E INDICADORES PIP Riego
PIP Salud
PIP Transportes
Estructura de captación con capacidad de X l/s
Área construida X m2
Nº de carriles
Canal principal de X ml
Cantidad y tipo de equipamiento
Longitud de la vía
Reservorio de X m3
Nº de personal médico entrenado
Tipo de pavimento
Componentes
1
Acciones Insumos
Productos (capacidad instalada para producir bienes y servicios)
Ejecución del PIP Tiempos, recursos humanos, fondos, etc.
LA EVALUACIÓN EX POST – MARCO LÓGICO E INDICADORES Indicador
PIP Riego
PIP Salud
PIP Transportes
Beneficios directos
Incremento en el volumen de producción agrícola TM por campaña
Incremento en la cobertura de atención de partos
Ahorro en tiempos de traslado h/viaje/año Ahorros en COV
Demanda anual de agua para riego X m3
Nº de atenciones, atendidos por año
Volumen de tráfico IMD
Nº de ha que se pueden regar
Nº de consultas externas que se puede dar
Nº de días transitables por año
4
Utilización 3
Disponibilidad 2
Propósito
4
Beneficios Directos (efectos directos intencionales) Condiciones Externas
3
Utilización de los bienes y servicios Demanda
2
Disponibilidad de los productos (capacidad) Operación y Mantenimiento
LA EVALUACIÓN EX POST – MARCO LÓGICO E INDICADORES Indicadores
PIP Riego
PIP Salud
PIP Transportes
Impactos indirectos positivos previstos
Incremento en los ingresos promedio de los agricultores por campaña
% de enfermedades detectadas a tiempo
Incremento en frecuencia traslados
6
Impactos directos previstos 5
Impactos indirectos negativos no previstos 6 Fin último
6
Incremento en el % Disminución de los “gastos de bolsillo” de productos que se comercializan al año
Mejora acceso a servicios
Salinización de suelos Nº ha
Incremento de accidentes en los primeros años
Infecciones intrahospitalarias
Impactos indirectos (+ -) Condiciones Externas
5
Impactos directos Condiciones Externas
EVALUACIÓN POR COMPARACIONES • Comparación entre : – Lo Planificado / lo Logrado (se necesita los valores objetivos) – La situación Antes / Después del Proyecto (se necesita la línea base) – La situación Con / Sin Proyecto (se necesita un grupo de control) Indicador
Indicador
Indicador
Valor Objetivo
Grupo de Control
Línea Base
Antes del Proyecto
Después del Proyecto
Antes del Proyecto
Después del Proyecto
Antes del Proyecto
Después del Proyecto
• Comparación con los Estándares Establecidos y/o Promedio Nacional/Regional • Comparación Temática
INSTRUMENTOS METODOLÓGICOS PARA LA EVALUACIÓN EX POST • Contenidos Mínimos para la Evaluación de Culminación • Contenidos Mínimos para el Seguimiento Ex Post • Contenidos Mínimos para la Evaluación de Resultados • Pautas de Orientación General para la Evaluación Ex Post – – – –
Marco Conceptual y Metodología Pautas para Evaluación de Culminación Pautas para el Seguimiento Ex Post Pautas para Evaluación de Resultados
• Pautas de Orientación Sectorial para la Evaluación Ex Post – – – –
Energía Saneamiento Salud Transportes
Muchas Gracias