Las Evaluaciones Independientes del Presupuesto por Resultados: generando evidencia para las políticas públicas
José Luis Paco Fernández
Presupuesto por Resultados (PpR) Presupuesto por Resultados (PpR) es una estrategia de gestión pública que vincula la asignación de recursos a productos y resultados medibles a favor de la población.
PpR Centro: ciudadano ¿Cuáles son sus problemas?
¿Qué magnitud tienen estos problemas? ¿Qué servicios provee el estado para resolverlos? ¿Está clara la cadena de los servicios hacia los resultados que valoran los ciudadanos? ¿Se evaluar el desempeño de las entidades para proveer estos servicios? ¿Se puede rendir cuentas a los ciudadanos? ¿Puedo ver cómo los distintos niveles de gobierno se articulan hacia los servicios que requieren los ciudadanos?
Enfoque del PpR Sus objetivos son: Mejorar la elección de qué gasto priorizar. Impulsar a que los operadores gasten mas eficiente y eficazmente. El modelo del PpR promueve: La generación de información sistemática sobre objetivos y resultados. Que el Proceso presupuestario use la información de desempeño. (Robinson & Last, 2009)
PRESUPUESTO POR RESULTADO: Alta
PRIORIDAD DE ASIGNACIÓN Y BUEN DESEMPEÑO
D
A
PRIORIDAD
Con el PpR se busca que las asignaciones presupuestales S/
S/
Baja
respondan a los criterios de prioridad y desempeño.
B
C Bajo
Alto
DESEMPEÑO * Sujeto a estabilidad fiscal
OBJETIVO PPR 1:
PRIORIDAD
EFICIENCIA ASIGNATIVA
DESEMPEÑO
6
OBJETIVO PPR 2:
PRIORIDAD
MEJORA DEL DESEMPEÑO
DESEMPEÑO
7
Instrumentos del VINCULACIÓN DE LOS PpR INSTRUMENTOS DEL PPR
PRIORIDAD
Incentivos a la gestión
Programas Presupuestales
Seguimiento
Evaluación
DESEMPEÑO 8
Programas Presupuestales VINCULACIÓN DE LOS INSTRUMENTOS DEL PPR
PRIORIDAD
Incentivos a la gestión
Programas Programas Presupuestales Presupuestales
Seguimiento
Evaluación
DESEMPEÑO 9
Programa Presupuestal “Categoría que constituye un instrumento del Presupuesto por Resultados, y que es una unidad de programación de las acciones de las entidades públicas, las que integradas y articuladas se orientan a proveer productos para lograr un Resultado Específico en la población y así contribuir al logro de un Resultado Final asociado a un objetivo de política pública”
Los Programas Presupuestales como herramienta de Gestión DIAGNÓSTICO
DISEÑO
INFORMACIÓN DE GESTIÓN
Dimensión del Problema y Análisis de Causas
Cadena de resultados del Programa Presupuestal
Para Ejecución, Seguimiento y Evaluación
Macro problema
Resultado final
Problema específico
Resultado específico
Evidencias ex-ante de causalidad
Causas directas Evidencias ex-ante de causalidad
Causas indirectas
Evidencias ex-ante de costo-efectividad
Evidencias ex-post de costo-efectividad
Productos
-Indicadores de desempeño
-Indicadores/metas de desempeño -Presupuesto/gasto (Σ prods.) -Indicador/meta de producción física -Indicadores de desempeño -Definición operativa -Presupuesto/gasto (Σ activs.)
Evidencias ex-post de eficacia, eficiencia, calidad
Actividades relevantes / Proyectos
-Indicador/meta de producción física -Definición operativa -Tipología de proyectos -Presupuesto/gasto (Σ insumos)
“EVALUABILIDAD” APRENDIZAJE 11
PP: Ventajas • Coloca al ciudadano como objetivo principal. • Vincula planificación con presupuesto. • Permite identificar duplicidades.
• Prioriza lo potencialmente efectivo (reduce la inercia). • Mejora la focalización (cobertura de brechas de productos). • Genera una agenda de definición y seguimiento de indicadores.
• La da “evaluabilidad” al gasto público (se esclarece la lógica causal y la forma en que se van a medir las cosas). • Señaliza las prioridades y la articulación de los niveles de gobierno hacia el logro de resultados nacionales.
12
VINCULACIÓNen DE LOS INSTRUMENTOS DEL PPR Seguimiento PpR
PRIORIDAD
Incentivos a la gestión
Programas Presupuestales
Seguimiento Seguimiento
Evaluación
DESEMPEÑO 13
Seguimiento del desempeño • Seguimiento: Proceso continuo de recolección y análisis de información de desempeño sobre en qué medida un proyecto, programa o política está logrando los resultados previstos y cómo se está ejecutando.
• Proporciona insumos para la evaluación de procesos y ejecución y evaluación de impacto.
Seguimiento del desempeño Objetivos Verificar el logro de objetivos a favor de la población y la ejecución de los bienes y servicios previstos (no profundiza las causas). Verificar la eficiencia en el uso de los recursos.
Identificar dificultades en la gestión interna, así como de factores externos, de una organización que dificulten el logro de sus objetivos. Mejorar la transparencia frente a los agentes internos y externos.
Cobertura del Seguimiento en PpR (2016) • Ejecución Financiera: Seguimiento al 100% del presupuesto en PP. • Producción Física: Seguimiento al 100% del presupuesto en PP. • Indicadores de Desempeño medidos: 172 de resultado
90 programas presupuestales (PP) al 2016 59 PP tienen al menos 1 indicador
81% Ppto de PP
347 indicadores de desempeño 175 de producto
16
VINCULACIÓN DE LOS INSTRUMENTOS DEL PPR Incentivos a la gestión
PRIORIDAD
Incentivos Incentivosaa gestión lalagestión
Programas Presupuestales
Seguimiento
Evaluación
DESEMPEÑO 17
1. Programa de Incentivos a la Mejora de la Gestión y Modernización Municipal (PI) Transferencia condicionada de recursos financieros adicionales a todos los GL por el logro de metas semestrales/anuales. • Presupuesto de S/. 1,000 millones en el 2016.
Gestión de Residuos Sólidos Gestión de Riesgos de Desastres
Reducción de la Desnutrición Crónica Infantil
• 45 metas en 2016.
Mejora del Gasto Social
Sector: Salud Ambiente Vivienda Economía y Finanzas Desarrollo e Inclusión Social
Programa de Incentivos Municipales
Simplificación Administrativa / Clima de Negocios
Autosostenibilidad Fiscal
Alimentación Escolar
Inversión en Infraestructura Básica 18
VINCULACIÓN INSTRUMENTOS DEL PPR Evaluación enDE LOS PpR
PRIORIDAD
Incentivos a la gestión
Programas Presupuestales
Evaluación Evaluación
Seguimiento
DESEMPEÑO 19
Diseño
Resultados
Tipo de Evaluación PpR 1: Evaluación de Diseño y ejecución Presupuestal Finales Específicos
Gestión
Productos
Actividades
Insumos
20
La EDEP se enfoca en el análisis de la lógica del diseño, así como en la implementación y desempeño (eficiencia, eficacia, calidad) en la entrega de bienes
Finales
•
Se evalúan programas, productos, actividades, proyectos de inversión, políticas nuevas, en curso o concluidas
•
Se compara lo que ocurrió respecto a lo que habría ocurrido en la ausencia del programa (contrafactual)
•
Requiere grupo de control válido (condición de evaluabilidad) y aplicación de metodologías rigurosas
•
Requerimiento de información es alto: mediciones de línea de base y de seguimiento ad hoc y muestras representativas y con potencia)
Específicos
Productos
Implementación
Diseño
Resultados
Evaluación de Impacto (EI)
Actividades
Insumos
EVALUACIONES INDEPENDIENTES: LINEAMIENTOS Y USOS
LINEAMIENTOS 1.
INDEPENDENCIA
2.
RIGUROSIDAD TÉCNICA
3.
TRANSPARENCIA
4.
PARTICIPACIÓN DEL SECTOR
USOS
DECIDIR Aprendizaje sobre mejoras en la gestión pública de recursos Toma de decisiones de política informadas Rendición de cuentas
EVALUACIONES INDEPENDIENTES: CRITERIOS DE SELECCIÓN
1.
PRIORIDAD SECTORIAL O DEL GOBIERNO
2.
RELEVANCIA DEL PRESUPUESTO
3.
COBERTURA DE LA INTERVENCIÓN
4.
NECESIDAD DE INFORMACIÓN DE DESEMPEÑO
Vinculado al Acuerdo Nacional, el Plan Estratégico de Desarrollo Nacional, ODS, Programa País de Acceso a la OECD, prioridades sectoriales
Relevancia presupuestal en la función
Requerimiento de evidencia para expansión o continuidad
Falta de información y consenso sobre efectividad
EVALUACIONES INDEPENDIENTES Y EL CICLO PRESUPUESTAL
Fases del Presupuesto
Hitos
1. Diseño programas presupuestales
i) Anexo 2 del PP ii) EFP
2. Programación Formulación
i) Directiva de Programación/ Formulación: sustentación ii) Ley Presupuesto: Demandas adicionales
3. Aprobación
i) Proyecto de Ley ii) Aprobación Ley en Congreso
Recomendaciones de las Evaluaciones Independientes
4. Ejecución
i) Modificaciones presupuestarias
Evaluaciones de Diseño y Ejecución Presupuestal (EDEP)
¿QUÉ ES UNA EDEP? Evalúa el diseño, la implementación y los resultados de una intervención pública en marcha o culminada.
Marco lógico
Las recomendaciones de las EDEP llevan a la firma de compromisos entre el MEF y la entidad evaluada.
Flujo de procesos
Análisis presupuesto
FASES DE LA EDEP
1.
Selección de IPE • •
2.
Desarrollo de la Evaluación • •
Comentarios Recomendaciones
Firma de Compromisos
3. •
Definir acuerdos sobre acciones, plazos y responsables Firma de matriz
•
4.
Preparación TdR Selección de Evaluaciones independientes
Seguimiento de Matrices • •
Generar mecanismos para facilitar cumplimiento de compromisos. Reportar cumplimiento ante espacios de accontability.
CONTENIDOS CENTRALES DE LOS INFORMES DE LA EDEP LABORES
1° INFORME
2° INFORME
INFORME FINAL
iniciales
Construcción de plan de evaluación
Construcción de análisis
Construcción de recomendaciones
1. Parte 1: Información - Reuniones con MEF y sector evaluado para generar preguntas de evaluación. - Plan de trabajo con definición de actividades.
Diseño de intervención. Procesos de implementación. Presupuesto y resultado.
2. Matriz de preguntas de evaluación. 3. Propuesta de contenidos de análisis (índice).
1. Parte 1: Información. 2. Parte 2: Análisis según propuesta.
1. Parte 1 y 2 información.
3. Resultados trabajo campo.
2. Conclusiones y recomendaciones validadas.
4. Conclusiones borrador.
3. Resumen ejecutivo
4. Parte 2: Análisis del diseño
1. 2. 3. 4.
El Punto de partida de la evaluación es la información de diseño, proceso y presupuesto/resultados, mas las reuniones con involucrados. Periodo de evaluación (3 últimos años) No se busca hacer TODOS los contenidos de análisis sino aquellos vinculados a preguntas de evaluación. Las recomendaciones deben estar alineadas con las preguntas de evaluación. Tiempo de duración de la evaluación: 120 días efectivos
PREGUNTAS DE EVALUACIÓN Preguntas de Evaluación
Método de análisis/Fuente Información
Diseño ¿El modelo conceptual presentado cuenta con los componentes suficientes y necesarios para llegar al objetivo atribuible al Programa / Intervención?
Sistematización de evidencias / Revisión de literatura
¿La población objetivo ha sido bien definida en función del problema / necesidad que dio origen a la Intervención?
Análisis cualitativo / cuantitativo Revisión secundaria
Procesos de Implementación Es adecuada la estructura organizacional del Programa / Intervención? ¿Cuáles son las principales barreras institucionales para entregar los servicios/bienes considerados por la intervención?
Análisis cualitativo Revisión documental / Entrevistas funcionarios
Identificar en cada uno de los sub-procesos, los cuellos de botellas para la entrega de los bienes y/o servicios. Asimismo, identificar los responsables de tomar acciones
Mapeo y documentación de los procesos / Revisión documentos normativos, fuentes secundarias y trabajo de campo
Presupuesto y Resultados ¿Las acciones del Programa / Intervención son ejecutadas y los bienes y servicios son generados incurriendo en el menor costo unitario posible (en comparación con alguna intervención que otorgue servicios similares o un referente internacional)?
Análisis presupuestal / SIAF y bases de datos del Programa
La evaluación debe considerar los distintos niveles de maduración de la intervención (diseño, en marcha, consolidada con cambios en el beneficiario) No todas las intervenciones tienen la mismas condiciones para ser evaluadas ni soportan las mismas preguntas
Distribución de EDEP realizadas según sector, 2008-2016
Avances en las EDEP 2008-2016 ›Las EDEP realizadas aumentaron de 4 en 2008, a 55 a julio del 2016 (acumulado), de las cuales 36 tienen matriz de compromiso firmada
2016 Cuna Más 2016 Programa Pensión 65
USOS EDEP TRES FRENTES:
Los usos principales de las EDEP se dan en tres frentes: i)
Mejorar la gestión de la intervención evaluada a través de la suscripción de una matriz de compromisos entre el MEF y la entidad evaluada
ii) Uso de los resultados en la gestión presupuestaria: Avances en la normatividad del Sistema Nacional de Presupuesto que vinculo uso de evaluaciones con toma de decisión. http://www.mef.gob.pe/index.php?option=com_cont ent&view=article&id=3332&Itemid=101532&lang=es
Evaluaciones de Impacto
¿QUÉ ES UNA EVALUACIÓN DE IMPACTO? Mide los efectos enteramente atribuibles a la intervención sobre los resultados de interés, mediante la estimación de escenarios contra-factuales y metodologías rigurosas. Productos
Identifica si política contribuye al logro de resultados Dimensiona la magnitud del impacto
Identifica los componentes a través de los cuáles la intervención genera mejoras
Diferencia impactos según grupos poblacionales
Diferencia impactos según intensidades de tratamiento Sostenibilidad de los impactos
Descomponer impacto
33
EVALUACIÓN DE IMPACTO RETROSPECTIVAS
PROSPECTIVAS
Cuasi-experimentales
Experimentales + Cuasi-experimentales
X Después de la intervención (ex post)
Antes y durante la intervención
X Sin línea de base ad hoc ni muestras representativas.
X Horizonte multianual
Fuentes: ENAHO, ENDES, ENEDU, ENAPRES, registros administrativos o mediciones especiales.
Mediciones de línea de base y de seguimiento a muestras representativas. Trabajo conjunto con sectores e INEI para recojo de información (flexibilidad y calidad técnica)
X Requiere un monitoreo continuo a la muestra de evaluación y estado de intervención Alto compromiso del sector evaluado
34
FASES DE LA EVALUACIÓN DE IMPACTO Uso y recomendaciones para políticas públicas Diseminación de resultados
Análisis Datos Metodología
Análisis estadístico y econométrico para medir impactos Línea de base y mediciones de seguimiento, desarrollo de instrumentos de medición Fuentes: operativo de campo, información administrativa Determinar cómo se puede evaluar la intervención
Teoría de cambio Preguntas de evaluación
Cadena de resultados Definir variables sobre las que se evaluaría el impacto Entender el contexto del programa, objetivos, componentes y población relevante
La DGPP dirige, participa y/o supervisa cada una de estas etapas.
PREGUNTAS DE EVALUACIÓN Preguntas de Evaluación
Método de análisis/Fuente Información
¿Cuál es el efecto de un programa de entrenamiento laboral en los ingresos de los beneficiarios?
Sistematización de evidencias / Revisión de literatura
¿Cuánto cambió el número de horas trabajadas por los adultos mayores en Pensión 65 respecto a los que no reciben la subvención económica?
Análisis cualitativo / cuantitativo Revisión secundaria
¿El impacto del Acompañamiento Pedagógico sobre los logros de aprendizaje es alto o bajo ? ¿La intervención es costo – efectiva? ¿El impacto sobre la tasa de inserción laboral (empleo) de los beneficiarios de Beca 18 es mayor en becarios de institutos o en becarios de Universidades?
Análisis cualitativo Revisión documental / Entrevistas funcionarios
¿El impacto sobre el acceso a servicios de salud y horas de trabajo es mayor en los AM que tienen más tiempo afiliados a Pensión 65, respecto a los que llevan menos tiempo?
Mapeo y documentación de los procesos / Revisión documentos normativos, fuentes secundarias y trabajo de campo
¿El impacto de JUNTOS sobre la tasa de matrícula es significativo o mayor en niños o en niñas? ¿Los impactos son sostenibles? ¿Los impacto de los esquemas de incentivos en salud, se mantienen cuando se elimina el incentivo?
Análisis presupuestal / SIAF y bases de datos del Programa
Las EI brindaron estudios basados en metodologías especializadas que den cuenta de la eficacia, atribución de políticas, así como el costo - efectividad de las intervenciones públicas. •
Evaluaciones retrospectivas que emplean información del seguimiento del desempeño y registros administrativos (desde 2010)
•
Énfasis en evaluaciones prospectivas de alta calidad y con horizontes de evaluación multianuales para programas nuevos
•
La participación del MEF desde el diseño de la evaluación asegura su independencia y uso en ciclo presupuestario
•
16 evaluaciones de impacto de alta calidad y rigurosidad académica
•
8 evaluaciones culminadas
•
7 en curso en diferentes sectores, sociales y productivos, seleccionadas en base a su relevancia presupuestal actual y futura, prioridades sectoriales y necesidad de información acerca de su expansión
¿Cuánto?
USOS
¿Cómo? ¿Cuándo? ¿Cuáles?
¿Quiénes? Identificar quién se beneficia más
Identificar componentes más efectivos Redistribuir recursos entre componentes para potenciar impacto
Identificar impactos en el corto, mediano y largo plazo Duración de las intervenciones y definición de flujos de beneficios
Intensidad del tratamiento Multitratamie nto Mejorar protocolo de intervenciones Mejorar coordinación de políticas
Valorar impacto del programa: Costo beneficio Priorizar desarrollar intervenciones más costo efectivas
Atribución de las políticas públicas al logro de resultados Continuar, limitar expandir intervenciones o modificar política
Mejorar focalización,
Condicionar asignación de recursos a mejoras en el diseño (focalización, priorización) y gestión
Generar evidencia que sustente priorización de intervenciones públicas.
Mejorar calidad del gasto
El uso de las EI ha abarcado múltiples sectores y son base de recomendaciones y acciones de mejora. Intervención evaluada
Programa Articulado Nutricional Sector: Salud
Piloto Retén Franco Sector: Interior
Construyendo Perú Sector: Trabajo
Acompañamiento Pedagógico Sector: Educación
Resultados
Uso
Impactos significativos en la reducción de la desnutrición crónica infantil.
Los resultados permitieron validar la importante asignación de recursos al PP
No se encontró evidencia robusta que el Piloto contribuya a la reducción de la incidencia de robo. No es costo efectiva
El Programa no fue expandido. Implicó un ahorro de S/. 1,384 mill.
Se encuentra evidencia de impactos de corto plazo sobre los ingresos que no se sostienen en el mediano plazo.
Se restringió la población objetivo del PP y los requerimientos presupuestales asociados
Mayor impacto en el logro académico en escuelas poli docentes urbanas. Impacto sobre el aprendizaje en matemática es mayor que en comprensión lectora
Se cambió la focalización de escuelas beneficiarias
ESTRATEGIAS DE DIFUSIร N 8
documentos breves dirigidos a operadores de los sectores, evaluadores, miembros de la DGPP.
10 policy briefs dirigidos a los tomadores de decisiones.
1
documentos de difusiรณn masiva de la herramienta EDEP, donde se explica en forma sencilla el instrumento
1
Evaluaciรณn a la herramienta EDEP, donde se presentan recomendaciones con el fin de fortalecer el proceso de implementaciรณn de las EDEP
LECCIONES APRENDIDAS 1. El compromiso y la participación de los sectores es clave. 2. Las EDEP y las EI son complementarias: Ambas potencian
la evidencia sobre el
desempeño de la intervención
3. Las matrices de compromisos brindan el espacio para la articulación entre lo político y lo técnico
4. La
apropiación de resultados es fundamental para impulsar las mejoras en el desempeño de las intervenciones.
5. La generación de contrapartes técnicas a través de desarrollo de capacidades en los Pliegos es crítico para el buen desarrollo de las evaluaciones (MIDIS; MINEDU; VIVIENDA; MIMP)
6. Mayores
riesgos de evaluaciones prospectivas con horizontes temporales multianuales
7. Fortalecer
la información administrativa para abaratar costo de evaluaciones y obtener resultados relativamente pronto
RETOS Mayor posicionamiento de las Evaluaciones como instrumento para la toma de decisiones Comisión Consultiva de Evaluaciones Independientes, creada mediante DS 108-2016-EF Definición de la agenda de evaluaciones concertada con los sectores y con las direcciones del MEF Criterios para la definición de la agenda de evaluación: cuando hacer una EDEP y cuando una EI?
Adaptación del formato de las Evaluaciones a las necesidades particulares de cada Intervención Pública Evaluada Diversos tipos de Evaluación: i. EDEP ii. Impacto iii. Evaluación Rápida de Diseño iv. Evaluación de Procesos v. Evaluación Estratégica (Políticas Públicas) Estandarizar procesos (peer reviewers)
Potenciar su uso en las políticas públicas Motivar a los encargados de las evaluaciones y la Alta Dirección de las Entidades la importancia de la evaluación, no como un elemento punitivo, sino para mejorar los procesos de la gestión pública Espacios para la difusión de los resultados de la evaluación entre la ciudadanía, la academia y demás actores no-gubernamentales.
Retos Fortalecer la oferta para Evaluaciones Fortalecer capacidad de evaluación: firmas consultoras, equipos en entidades públicas, cultura evaluación Generar mercados de proveedores para terciarizar etapas de las evaluaciones Generar mecanismos para facilitar cumplimiento de compromisos. Mejorar oportunidad de evaluaciones de impacto
Presupuesto por Resultados: Logros 1.
Primer Lugar: Categoría Presupuesto por Resultados del II Premio Anual 2016 GESTIÓN PARA RESULTADOS (COPLAC - BID) •
2.
Premio a las Buenas Prácticas en Gestión Pública (BPGP): 2015 •
3.
PpR: Una estrategia para la modernización de la gestión pública en Perú
Programa de incentivos a la mejora de la gestión municipal
Reconocimiento en los Premio a las Buenas Prácticas en Gestión Pública (BPGP): 2016 •
Seguimiento al gasto en niñas, niños y adolescentes
•
Evaluación de diseño y ejecución presupuestal (EDEP) para la mejora de la gestión pública
Gracias