Taller para el fortalecimiento de capacidades en evaluaciones de impacto aleatorias
Poder diferenciar entre la evaluación de impacto aleatoria/experimental y otros tipos de evaluación de impacto
Entender los componentes de la teoría de cambio que sustenta una intervención y poder formular la cadena causal de intervenciones específicas en materia educativa.
Identificar preguntas de investigación para la evaluación de un programa y formular diseños experimentales complejos para responder múltiples preguntas de investigación.
Aprender a desarrollar una aleatorización simple en STATA
Entender cómo establecer protocolos y prácticas que aseguren la calidad de los datos.
Aprender a desarrollar una reconciliación de datos en STATA.
Taller para el fortalecimiento de capacidades en evaluaciones de impacto aleatorias Jornada 1: 23 de Julio Inicio
Fin
Tiempo
Sesión
Descripción
8:30 a.m.
8:40 a.m.
00:10
Inauguración
Palabras de inauguración del taller, contenidos y objetivos
8:40 a.m.
9:55 a.m.
01:15
La evaluación de impacto aleatoria
En esta sesión se discutirán las ventajas de la evaluación aleatoria con respecto a otras metodologías.
9:55 a.m.
10:40 a.m.
00:45
Caso de estudio: Capacitaciones en Colombia
10:40 a.m. 11:00 a.m.
00:20
11:00 a.m. 12:15 p.m.
01:15
Teoría de Cambio
12:15 p.m. 13:00 p.m.
00:45
Caso de estudio: Corrupción en Brasil
Total:
04:30
En esta sesión los asistentes se dividirán en grupos para realizar un caso de estudio en el que se explorarán diferentes metodologías para evaluar impacto. Se detallaran los problemas que pueden plantear las distintas metodologías. Descanso En esta sesión se impartirán nociones básicas sobre teoría de cambio, incluyendo los componentes de una teoría de cambio, cómo identificar los supuestos asociados y cómo desarrollar una cadena causal para una intervención específica, En esta sesión los asistentes se dividirán en grupos para realizar un caso de estudio en el que se tomará el ejemplo de una intervención real a fin de identificar los supuestos detrás de su teoría de cambio y formular la cadena causal.
Jornada 2: 24 de Julio Inicio
Fin
Tiempo
Sesión
8:30 a.m.
9:30 a.m.
01:00
Diseño de aleatorización
10:30 a.m.
01:00
Caso de estudio: Educación en Kenia
10:30 a.m. 11:10 a.m.
00:40
Práctica en STATA: Aleatorización
11:10 a.m. 11:30 p.m.
00:20
11:30 p.m. 12:45 p.m.
01:15
Calidad de datos
En esta sesión se impartirán nociones básicas sobre calidad de datos, incluyendo protocolos y buenas prácticas, posibles amenazas al diseño y cómo enfrentarlas.
12:45 p.m. 13:30 p.m.
00:45
Práctica en STATA: Reconciliación de datos
En esta sesión los asistentes realizarán una práctica de reconciliación de datos utilizando el programa estadístico STATA
9:30 a.m.
Total:
5:00
Descripción En esta sesión se discutirá la utilidad de la evaluación experimental para contestar preguntas de investigación y cómo los distintos diseños de aleatorización permiten responder preguntas diversas. En esta sesión los asistentes se dividirán en grupos para realizar un caso de estudio, en el que se identifiquen múltiples preguntas de investigación y desarrollen diseños experimentales complejos para responderlas. En esta sesión los asistentes realizarán una práctica de aleatorización simple utilizando el programa estadístico STATA Descanso
entre IPA y J-PAL
Reducir la pobreza garantizando que las polĂticas pĂşblicas se basen en evidencia
de trabajo
Desarrollando capacidades
Investigaci贸n
Lecciones de pol铆tica
IPA y J-PAL: 500 evaluaciones en 54 paĂses
IPA y J-PAL: +100 evaluaciones en AmĂŠrica Latina y el Caribe
Evaluaci贸n de impacto experimental
Efecto/impacto causal del programa A en resultado B Evaluación Evaluación de programas
¿Cuál es el impacto de un programa de matemáticas temprana en las
habilidades matemáticas de los niños? ¿Cuál es el impacto de entregar
Evaluación de impacto
información a los padres sobre los
retornos de la educación en las puntuaciones de los estudiantes?
Comparaci贸n = punto de referencia El impacto del programa es la diferencia en una variable de inter茅s:
1 Los participantes que reciben el programa 2 Con ellos mismos si no lo hubiera recibido (Contrafactual) IMPACTO DEL PROGRAMA
Midiendo el impacto de un programa de matemáticas en primera infancia PUNTUACIÓN EN TEST ESTANDARIZADO DE MATEMÁTICAS (0/100)
70 ESTUDIANTES TRAS RECIBIR UN PROGRAMA (final del año escolar 2014)
50 MISMO GRUPO SI NO HUBIERA RECIBIDO EL PROGRAMA (final del año escolar 2014)
CONTRAFACTUAL
20 IMPACTO DEL PROGRAMA
Evaluación de un programa de matemáticas temprana
Programa/Política
Resultado matemáticas
Impacto Impacto
Tiempo ¿Qué impacto ha tenido este programa, positivo o negativo?
Evaluación de un programa de anti-pobreza
Impacto
Resultado ingresos
Programa/política
Tiempo ¿Qué impacto ha tenido este programa, positivo o negativo?
Evaluación de un programa de capacitación laboral
Resultado contratados
Programa/Política
Tiempo ¿Qué impacto ha tenido este programa, positivo o negativo?
El contrafactual es una situación hipotética que no existe en la realidad La solución es construir (o estimar) el contrafactual utilizando un grupo de comparación estadísticamente similar que no recibe el programa Recibe el programa Grupo tratamiento No recibe el programa Grupo control
Crear grupos comparables para tener un buen contrafactual
1. Grupo tratamiento y control deben ser idénticos en sus características observables (medimos) y no observables (no medimos).
2. La única diferencia entre ambos grupos es que uno recibe el programa (tratamiento) y el otro no (control).
3. Cualquier diferencia en la variable de resultado entre ambos grupos al finalizar la intervención es atribuible al programa (Atribución de causalidad)
1. Evaluamos a un grupo estudiantes en escuelas de las que sabemos cuales son rurales/urbanas, EIB/No EIB: – Ejemplo de observables – Ejemplo no observables
2. ¿En qué se diferencia una evaluación de impacto de una de procesos? 3. ¿Qué es el contrafactual?
4. ¿Cómo es un buen contrafactual? 20
Varios métodos con diferentes estrategias Experimental
Asignación aleatoria (evaluación aleatoria)
Cuasi-experimentales
Pre/Post Diferencia simple Diferencias en diferencias (DD) Regresión multivariable Matching Regresión discontinua (RDD)
Participantes que reciben el programa antes de recibirlo Puntuación de Matemáticas
Impacto
70 20 Línea de Base
50 Línea Final
Tratamiento (Con Programa)
SELECCIĂ“N Control (Sin Programa)
Escuelas urbanas
Escuelas rurales
Diferencia simple: Asignaci贸n no aleatoria Puntuaci贸n LB test matem谩ticas
HQ
60
40
40 2006
20
0 Tratamiento Control
24
Resultado primario
Escuelas rurales
Escuelas urbanas
Intervenci贸n Impacto
Sesgo
Tiempo
Comparación de la variación del resultado a lo largo del tiempo de participantes con no participantes Puntuación de Matemáticas
Ayacucho
Cusco
Línea base
B = 20
Línea final
A=10 50 30 20
No Participa
30
B - A = 10 Impacto
Si Participa
No tiene en cuenta que los grupos no son idénticos antes de comenzar al programa: pueden haber variado de forma diferente a lo largo del tiempo
Unidades tratadas
Unidades no tratadas
Edad
GĂŠnero
Meses desempleado
Secundaria completa
Edad
GĂŠnero
Meses desempleado
Secundaria completa
19
1
3
0
24
1
8
1
35
1
12
1
38
0
2
0
41
0
17
1
58
1
7
1
23
1
6
0
21
0
2
1
55
0
21
1
34
1
20
0
27
0
4
1
41
0
17
1
24
1
8
1
46
0
9
0
46
0
3
0
41
0
11
1
33
0
12
1
19
1
3
0
40
1
2
0
27
0
4
0
27
No Beneficiarios
Rendimiento
Beneficiarios
LĂmite de elegibilidad
Ingresos
Rendimiento
Beneficiarios
No Beneficiarios
IMPACTO?
LĂmite de elegibilidad
Ingresos
18.2
Salud 16.6
Aporte Padres
Tipo de Escuela
E. Inicial Puntaje acad茅mico
13.4 8.1 7.4
Educaci贸n Padres
Ingresos
6.8
-0.2 NO OBSERVABLES
Realizamos una asignaci贸n aleatoria (por sorteo) de los beneficiarios asign谩ndolos al grupo tratamiento y control Tratamiento (Con Programa)
SORTEO Control (Sin Programa)
Escuelas urbanas
Escuelas rurales
Asignaci贸n aleatoria Puntuaci贸n LB test matem谩ticas
40
HQ
40
26 2006
13
0 Tratamiento Control
32
Resultado primario
Escuelas rurales
Escuelas urbanas
Intervenci贸n Impacto
Tiempo
1 2 3
Necesitamos un grupo de comparación: • Contrafactual • Recreamos el contrafactual con un grupo control con características similares (observables y no observables) • Diferentes métodos de recrear el contrafactual Los beneficiarios del piloto se asignan aleatoriamente a los grupos: • Para evitar sesgos en la comparación (estadísticamente iguales en variables observables y no observables). • Otros métodos son menos efectivos Medimos a ambos grupos en las variables de resultado al inicio y al final: • Inicio: son iguales en promedio. • Final: Como eran iguales cualquier diferencia es atribuible como efecto del programa (causalidad).
¿Cómo podemos facilitar la toma de decisiones de política públicas a través de evidencia científica?
Decisiones sobre presupuesto: ¿En qué programas invertimos el dinero?¿Y por qué?
Decisiones sobre el diseño de políticas: ¿Qué programas deberían continuar?¿Cuáles programas se deberían reformular?
0.075 años Años extra de asistencia
0.064 años
0.035 años
Información padres
EFECTIVIDAD 0.032 años
Medicamentos antiparásitos
Uniformes gratuitos
Becas en base a méritos 37
Costo 1 año
COSTO $11 $9 $8 $7
Información padres
Medicamentos antiparásitos
Uniformes gratuitos
Becas en base a méritos 38
Impacto del programa en un resultado
Ratio/prop orci贸n CE =
Coste total de la implementaci贸n del programa
39
20.7 años Años extra de asistencia
13.9 años
Costo-efectividad 0.71 años
Información padres
Medicamentos antiparásitos
Uniformes gratuitos
0.27 años
Becas en base a méritos 40
Apoyo
Ideología
• Presupuesto • Político • Capacidad
• Propia • Externa
Programas y Políticas Sociales
Conocimiento • • • •
Evidencia Experiencia Personal Colectiva
Considerar la evidencia nos permite: • Podríamos expandir soluciones más costo efectivas • Podríamos encontrar mejores soluciones a los problemas sociales innovando • Aportar mayor eficiencia en el debate político
MUCHAS GRACIAS!
43