Uso y generaci ó n de evidencia en la pol í tica p ú blica
Esquema de presentación I. ¿Qué es J-PAL e IPA? II. Introducción a la evaluación de impacto experimental III. Caso de estudio: “Tikichuela, Matemáticas en mi Escuela” IV. Uso y producción de evidencia en la política pública.
Colaboración entre IPA y J-PAL
Reducir la pobreza garantizando que las políticas públicas se basen en evidencia
Áreas de trabajo
Desarrollando capacidades
Investigación
Lecciones de política
IPA y JPAL – Enfoque de Investigación IPA generates insights on what works and what doesn’t through randomized evaluations. We aim to ensure that those findings will be useful to, and used by, practitioners and policymakers. We canuse this approach to generate actionable insights on products and product-linked interventions.
IPA y J-PAL: 500 evaluaciones en 54 paĂses
IPA y J-PAL: +100 evaluaciones en AmĂŠrica Latina y el Caribe
Evaluaci 贸 n de impacto experimental
Evaluación de impacto Efecto/impacto causal del programa A en resultado B ¿Cuál es el impacto de un programa de matemáticas temprana en las habilidades matemáticas de los niños? ¿Cuál es el impacto de entregar información a los padres sobre los retornos de la educación en las puntuaciones de los estudiantes?
驴C贸mo evaluar el impacto? Comparaci贸n = grupo de referencia El impacto del programa es la diferencia en una variable de inter茅s:
1 Los participantes que reciben el programa 2 Con ellos mismos si no lo hubiera recibido (Contrafactual) IMPACTO DEL PROGRAMA
¿Cómo evaluar el impacto? Ejemplo Midiendo el impacto de un programa de matemáticas en primera infancia PUNTUACIÓN EN TEST ESTANDARIZADO DE MATEMÁTICAS (0/100)
70 ESTUDIANTES TRAS RECIBIR UN PROGRAMA (final del año escolar 2014)
50 MISMO GRUPO SI NO HUBIERA RECIBIDO EL PROGRAMA (final del año escolar 2014)
CONTRAFACTUAL
20 IMPACTO DEL PROGRAMA
Importancia del contrafactual Evaluación de un programa de matemáticas temprana
Programa/Política
Resultado matemáticas
Impacto Impacto rafac Cont
tual
Tiempo ¿Qué impacto ha tenido este programa, positivo o negativo?
Importancia del contrafactual Evaluación de un programa de anti-pobreza Programa/política
ra
Impacto
Resultado ingresos
nt Co
ual t c fa
Tiempo ¿Qué impacto ha tenido este programa, positivo o negativo?
Importancia del contrafactual Evaluación de un programa de capacitación laboral
Resultado contratados
Programa/Política
Cont raf
actua l
Tiempo ¿Qué impacto ha tenido este programa, positivo o negativo?
Construyendo un contrafactual El contrafactual es una situación hipotética que no existe en la realidad La solución es construir (o estimar) el contrafactual utilizando un grupo de comparación estadísticamente similar que no recibe el programa Recibe el programa Grupo tratamiento
No recibe el programa Grupo control
Un “buen” contrafactual Crear grupos comparables para tener un buen contrafactual
1. Grupo tratamiento y control deben ser idénticos en sus características observables (medimos) y no observables (no medimos).
2. La única diferencia entre ambos grupos es que uno recibe el programa (tratamiento) y el otro no (control).
3. Cualquier diferencia en la variable de resultado entre ambos grupos al finalizar la intervención es atribuible al programa (Atribución de causalidad)
Preguntas 1. Evaluamos a un grupo estudiantes en escuelas de las que sabemos cuales son rurales/urbanas, EIB/No EIB: – Ejemplo de observables – Ejemplo no observables
2. ¿En qué se diferencia una evaluación de impacto de una de procesos? 3. ¿Qué es el contrafactual? 4. ¿Cómo es un buen contrafactual? 17
Estimando un contrafactual ●
Varios métodos con diferentes estrategias ●
●
Experimental
Asignación aleatoria (evaluación aleatoria)
●
Cuasi-experimentales
Pre/Post Diferencia simple Diferencias en diferencias (DD) Regresión multivariable Matching Regresión discontinua (RDD)
Pre/Post Contrafactual: Participantes que reciben el programa antes de recibirlo ● ¿Cuál es la limitación del Pre/Post?
●
Puntuación de Matemáticas
Impacto 70 20 Línea de Base
50 Línea Final
Diferencias simples
Tratamiento (Con Programa)
SELECCIĂ“N Control (Sin Programa)
Escuelas urbanas
Escuelas rurales
Riesgo de sesgo de selecci贸n
Resultado primario
Escuelas rurales
Escuelas urbanas
Intervenci贸n Impacto
Sesgo
C
Tiempo
a factu a r t n o
l
Diferencia en Diferencias Contrafactual: Comparación de la variación del resultado a lo largo del tiempo de participantes con no participantes Línea base L C ●
Puntuación de Matemáticas
●
●
u sc o
i m B = 20 a
A=10
Línea final
50 30 20
No Participa ●
30
B - A = 10 Impacto
Si Participa
No tiene en cuenta que los grupos no son idénticos antes de comenzar al programa: pueden haber variado de forma diferente a lo largo del tiempo ●
Matching Unidades tratadas
Unidades no tratadas
Edad
GĂŠnero
Meses desempleado
Secundaria completa
Edad
GĂŠnero
Meses desempleado
Secundaria completa
19
1
3
0
24
1
8
1
35
1
12
1
38
0
2
0
41
0
17
1
58
1
7
1
23
1
6
0
21
0
2
1
55
0
21
1
34
1
20
0
27
0
4
1
41
0
17
1
24
1
8
1
46
0
9
0
46
0
3
0
41
0
11
1
33
0
12
1
19
1
3
0
40
1
2
0
27
0
4
0
23
Sesgo de selecci贸n: Gran complejidad medir efecto causal 18.2
Salud Aporte Padres
Tipo de Escuela
16.6 E. Inicial
Puntaje acad茅mico
13.4 8.1 7.4
Educaci贸n Padres
Ingresos
6.8 -0.2
NO OBSERVABLES
Evaluaciones de impacto aleatorias
Realizamos una asignaci贸n aleatoria (por sorteo) de los beneficiarios asign谩ndolos al grupo tratamiento y control Tratamiento (Con Programa)
SORTEO Control (Sin Programa)
Escuelas urbanas
Escuelas rurales
Evaluaciones de impacto aleatorias
Resultado primario
Escuelas rurales
Escuelas urbanas
Intervenci贸n Impacto
tual c a f a r Cont
Tiempo
Línea de base contrafactual Diferencias en las características del grupo control y el grupo tratamiento Diferencias Grupo Grupo Tratamiento y Tratamiento Control Control Panel A. Características de las escuelas I
Control Matrícula C Puntuación C
Tratamiento
Matrícula T Puntuación T
18 variables verificadas 1 variables desbalanceada (5%) “MANZANAS CON MANZANAS”
t-stats
Cantidad de profesores de preescolar
1.11
1.10
0.01
0.24
Matrícula de preescolar
16.96
17.29
-0.33
-0.17
1.25
-0.02
-0.37
1.63
-0.03
-0.52
1.22
-0.03
-0.66
1.77
0.09
0.75
1.11
-0.02
-0.55
1.93
0.02
0.29
1.02
0.02
0.75
15.20
14.50
0.70
0.53
13.18
13.29
-0.11
-0.11
Número de secciones de preescolar 1.22 Las aulas de preescolar son 1.60 compartidas con otros grados Las aulas de preescolar tienen 1.19 mobiliario adecuado para su nivel Las aulas de preescolar conservan los juegos didácticos entregados por el 1.85 MEC Las aulas de preescolar se encuentran 1.09 iluminadas y ventiladas Las aulas de preescolar están 1.95 equipadas con grabadoras Han recibido la canasta básica de 1.05 útiles escolares para el preescolar Panel B. Características de las escuelas II Número de niños matriculados en la secciones de turno mañana Número de niños matriculados en la secciones de turno tarde Nivel educativo del docente
4.06
4.12
-0.05
-0.66
Años de experiencia como docente
12.15
10.41
1.75
2.89***
Lengua en la que desarrolla la clase Número de cursos de capacitación en matemáticas que ha recibido como docente de preescolar Panel C. Rendimiento de los niños Conteo oral
2.53
2.53
0.01
0.08
3.37
3.08
0.28
0.41
11.50
12.04
-0.55
-1.65
Puntuación promedio matemáticas
-0.01
-0.00
-0.01
-0.48
Puntuación promedio lecto-escritura
-0.04
-0.00
-0.04
-1.38
www.poverty-action.org
Mediciones INICIO (Línea de base)
FINAL (Línea final)
40 Tratamiento
(Con Programa)
¿Cuál es el impacto?
80 Tratamiento
(Con Programa)
20! Control
Control
(Sin Programa)
(Sin Programa)
40
60
Escuelas con resultados más bajos
Escuelas con resultados más altos
Tiempos Los tiempos de la evaluación varían según la naturaleza de la intervención 1. Desde que se piensa en la intervención hay que pensar en la evaluación. 2. Duración de la implementación. 3. Tiempo estimado para poder detectar los efectos.
4. Seguimiento durante varios años escolares ¿Se mantienen los efectos? ¿Qué beneficios trae la intervención a largo plazo?
Combinar con los tiempos políticos
Preguntas 1. ¿Cuál es el problema de una metodología de evaluación pre/post? 2. ¿En qué consiste la metodología de evaluación de impacto experimental? 3. ¿Por qué es recomandable usar una metodología de evaluación experimental? 30
Evaluaciones de impacto experimentales
1 2 3
Necesitamos un grupo de comparación: • Contrafactual • Recreamos el contrafactual con un grupo control con características similares (observables y no observables) • Diferentes métodos de recrear el contrafactual Los beneficiarios del piloto se asignan aleatoriamente a los grupos: • Para evitar sesgos en la comparación (estadísticamente iguales en variables observables y no observables). • Otros métodos son menos efectivos Medimos a ambos grupos en las variables de resultado al inicio y al final: • Inicio: son iguales en promedio. • Final: Como eran iguales cualquier diferencia es atribuible como efecto del programa (causalidad).
MUCHAS GRACIAS!
32