www.poverty-action.org
EVALUACIÓN DE IMPACTO ¿En qué consiste? Juan M. Hernández-Agramonte
Evaluación aleatoria de impacto
1
EVALUACIÓN ¿Por qué evaluar?
2
EVALUACIÓN Evaluación de impacto
www.poverty-action.org
3
METODOLOGÍA ¿Cómo evaluar el impacto?
4
ESTADO Evaluaciones de políticas sociales
Muchas Preguntas para las políticas de educación
¿Cuál es la mejor forma de enseñar matemática y ciencias en contextos de diversidad cultural y bilingües?
Evaluaciones instrumentos de gran utilidad para la política pública
1 2 3
Necesitamos evidencia de qué funciona y qué no funciona, tenemos escasos recursos, y programas sociales mal diseñados pueden causar más daño que beneficio. Testear diferentes diseños de un mismo programa, de esta manera podemos mejorar su impacto e innovar.
Garantizar la sostenibilidad de los programas que funcionan, ante recortes presupuestales o cambios políticos.
Evaluación de impacto Evaluación de programas
EVALUACIÓN DE IMPACTO ¿Cuál es el impacto del (Programa) en los (Beneficiarios)? programa de becas en la tasa de matriculación de ¿Cuál es el impacto de un los participantes?
Evaluación de Impacto
¿Cuál es el impacto de un programa
educación temprana en matemáticas en las habilidades matemáticas de los niños?
de
MIDIENDO EL IMPACTO COMPARANDO CON UN CONTRAFACTUAL
www.poverty-action.org
¿Cómo evaluar el impacto? PUNTUACIÓN EN TEST ESTANDARIZADO DE MATEMÁTICAS (0/100)
70 ESTUDIANTES TRAS RECIBIR UN PROGRAMA (final del año escolar 2013)
50 MISMO GRUPO SI NO HUBIERA RECIBIDO EL PROGRAMA (final del año escolar 2013)
CONTRAFACTUAL
20
IMPACTO DEL PROGRAMA
¿Cómo evaluar el impacto? Evaluación de un programa de matemáticas temprana
Programa/Política Resultado matemáticas
Impacto (mejora)
Tiempo
驴C贸mo evaluar el impacto? Evaluaci贸n de un programa de anti-pobreza
Programa/pol铆tica Resultado ingresos
Impacto
Tiempo
¿Cómo evaluar el impacto? Evaluación de un programa de capacitación laboral
Resultado contratados
Programa/Política
Tiempo
¿CÓMO COMPARAR? BUSCANDO UN CONTRAFACTUAL
www.poverty-action.org
Contrafactual recrear Representa el “mundo” que los participantes del programa hubieran experimentado sin el programa. Problema: Problema No podemos observar el contrafactual. Una vez que hemos entregado un programa a un grupo de beneficiarios ya no podemos observar la situación de los mismos beneficiarios sin éste. Solución Podemos replicar el contrafactual con un grupo Solución: control que sea similar. ELEGIMOS UN GRUPO SIMILAR EN SUS CARACTERÍSTICAS QUE NO HAYA RECIBIDO EL PROGRAMA
Recibe el programa
Grupo Tratamiento
No recibe el programa
Grupo Control
Contrafactual sesgo Se puede producir un sesgo a la hora de seleccionar los grupos si no se hace de forma aleatoria (“comparamos peras con manzanas”) INICIO
50
Muestra n = 12
Tratamiento (Con Programa)
COMPARACIÓN FINAL
“Mejores” escuelas en T
Selección Control
“Peores” escuelas en C
(Sin Programa)
30 Escuelas con resultados más bajos
Sobrestimación del impacto: Existían diferencias previas al programa!
Escuelas con resultados más altos
Contrafactual selección aleatoria La selección debe ser aleatoria para que los grupos sean comparables (ley de los grandes números) “manzanas con manzanas”. La asignación aleatoria es la forma más objetiva de asignar un programa cuando los recursos son escasos. INICIO
Muestra n = 12
40
FINAL
(Con Programa)
Escuelas “mejores y peores” en T
Control
Escuelas “mejores y peores” en C
Tratamiento
Selección
(Sin Programa)
40 Escuelas con resultados más bajos
Cualquier diferencia es el Impacto del programa
Escuelas con resultados más altos
¿CÓMO COMPARAR? TIEMPO
www.poverty-action.org
Comparar grupos Finalización INICIO (Línea de base)
¿Cuál es el impacto?
FINAL (Línea final)
40
80
Tratamiento
Tratamiento
(Con Programa)
(Con Programa)
Control
Control
(Sin Programa)
(Sin Programa)
40
60
Escuelas con resultados más bajos
20!
Escuelas con resultados más altos
EVALUACIÓN ALEATORIA CONCEPTOS BÁSICOS
www.poverty-action.org
Evaluaciones de impacto aleatorias
1 2 3
Necesitamos un grupo de comparación: • Contrafactual • Recreamos el contrafactual con un grupo control con características similares Los beneficiarios del piloto se asignan aleatoriamente a los grupos: • Para evitar sesgos en la comparación
Medimos a ambos grupos en las variables de resultado al inicio y al final: • Inicio: son iguales en promedio. • Final: Como eran iguales cualquier diferencia es producto del programa
Ejercicio evaluaciones de impacto Evaluamos un programa de matemáticas tempranas a través de una prueba estandarizada de matemáticas. Para evaluar usamos la siguiente metodología:
1
Medimos un grupo de escuelas que recibió el programa al inicio del año escolar. Luego volvemos a medirlos al final del año escolar.
¿Es una forma confiable de medir los resultados? ¿Porqué si o no?
Ejercicio evaluaciones de impacto Evaluamos un programa de matemáticas tempranas a través de una prueba estandarizada de matemáticas. Para evaluar usamos la siguiente metodología:
2
Medimos un grupo de escuelas de Lima que recibió el programa, y lo comparamos el resto de escuelas de Lima que no recibió el programa.
¿Es una forma confiable de medir los resultados? ¿Porqué si o no?
Ejercicio evaluaciones de impacto Evaluamos un programa de matemáticas tempranas a través de una prueba estandarizada de matemáticas. Para evaluar usamos la siguiente metodología:
3
Tenemos un grupo de escuelas, por sorteo elegimos la mitad que recibirá el programa y la otra mitad no. Y al final del programa las comparamos. ¿Es una forma confiable de medir los resultados? ¿Porqué si o no?
Gracias CONTACTOS Juan Manuel Hernández-Agramonte, Gerente de Políticas (J-PAL) jmhernandez@povertyactionlab.org
Sergio De Marco, Asociado de Proyectos (IPA) sdemarco@poverty-action.org Adam Kemmis Betty, Director de País para Perú, Paraguay y Bolivia (IPA) akbetty@poverty-action.org
www.povertyactionlab.org/es/LAC
www.poverty-action.org