I. Breve repaso de evaluaci贸n de impacto aleatoria
Impacto El impacto de un programa es la diferencia entre: 1. Los resultados que los participantes del programa
obtienen 2. Los resultados que esos mismos participantes
hubieran obtenido si no hubiesen participado en el programa.
Resultado primario
Impacto
Intervenci贸n
Tiempo
Resultado primario
Impacto
Intervenci贸n Impacto
Tiempo
Impacto Intervenci贸n Resultado primario
Impacto
Tiempo
Impacto
Resultado primario
Intervenci贸n
Impacto
Tiempo
Impacto PUNTUACIÓN EN TEST ESTANDARIZADO DE MATEMÁTICAS (0/100)
70
50
ESTUDIANTES TRAS RECIBIR UN PROGRAMA
MISMO GRUPO SI NO HUBIERA RECIBIDO EL PROGRAMA
(final del año escolar 2013)
(final del año escolar 2013)
CONTRAFACTUAL
20
IMPACTO DEL PROGRAMA
Contrafactual
El contrafactual representa el estado del mundo que participantes del programa habrían experimentado en la ausencia del programa Problema: No se puede observar el contrafactual
Solución: Tenemos que “replicar” o “construir” el contrafactual
Seleccionando el contrafactual
Objetivo: Seleccionar a un grupo que sea exactamente
igual al grupo de participantes en todas las formas. Sólo difieren en si reciben o no el programa. Así podemos atribuir diferencias en los resultados entre el grupo de participantes y el grupo de comparación al programa (y no, a otros factores).
Riesgo de sesgo en el Contrafactual Se puede producir un sesgo a la hora de seleccionar los grupos si no se hace de forma aleatoria (“comparamos peras con manzanas”)
INICIO
Muestra n = 12
50
Tratamiento (Con Programa)
“Mejores” escuelas en T
Selección
Control (Sin Programa)
“Peores” escuelas en C
30 Escuelas con resultados más bajos
Escuelas con resultados más altos
Resultado primario
Impacto
Intervenci贸n Impacto
Tiempo
Solución: Selección aleatoria “manzanas con manzanas”. La asignación aleatoria es la forma más objetiva de asignar un programa cuando los recursos son escasos.
INICIO
Muestra n = 12
40
Tratamiento (Con Programa)
“Mejores” y “peores” escuelas en T
Selección
Control (Con Programa)
“Mejores” y “Peores” escuelas en C
40
Escuelas con resultados más bajos
Escuelas con resultados más altos
Resultado primario
Impacto
Intervenci贸n Impacto
Tiempo
Ideas para llevar a casa… 1.
2.
3.
4.
En EI, hay que comparar a los participantes del programa, con ellos mismos si no hubieran recibido el programa (contrafactual) Hay que reproducir un contrafactual, que sea “igual” al grupo que recibe el programa Al tener una asignación aleatoria, los grupos no difieren de ninguna manera sistemática. Cualquier diferencia al finalizar el programa puede ser atribuida al programa
II. 驴C贸mo se interpretan los resultados de una evaluaci贸n de impacto aleatoria?
Objetivos
Entender concepto de tratamiento vs. control Entender concepto de “diferencia estadísticamente significativa” Entender concepto de diferencias de impacto entre grupos !SABER INTERPRETAR RESULTADOS DE UNA EVALUACIÓN DE IMPACTO ALEATORIA!
1. Tratamiento vs Control
Cómo discutimos, en una evaluación de impacto se compara el tratamiento con el control Tratamiento: Qué ocurrió con el programa Control: Qué hubiera ocurrido sin el programa (Contrafactual) Entonces: – =
Que hubiera ocurrido con el programa Que hubiera ocurrido sin el programa Impacto
Veamos un ejemplo: Proyecto que pretende aumentar las habilidades matemáticas en inicial
1. Tratamiento vs Control 
Al final del programa se toma una prueba de matemĂĄticas: Incremento en puntaje de prueba debido al programa (%)
C
T
Dif
10%
14
15.4
1.4
Puntaje en matemĂĄticas
Impacto
15.4 14.0
Control
1.4 puntos +10%
Tratamiento
Punt
%
14
100%
1.4
10%
2. Diferencia estadísticamente significativa
Muchas veces los resultados pueden aparentar una diferencia entre T y C Sin embargo, en algunos casos estos resultados pueden ser debido al azar, no habiendo seguridad si estas diferencias son reales Para afrontar esto, la ciencias sociales (CCSS) utilizan la estadística Se trata de estimar a que nivel de confianza se puede decir que la diferencia es verdadera y no debido al azar
2. Diferencia estadísticamente significativa
En CCSS comúnmente se manejan tres niveles de confianza
Nivel de confianza
Posibilidad de error
Fraseo
Señalización en tablas
90%
10%
Hay un 90% de probabilidad que los resultados no se debieron al azar.
*
95%
5%
Hay un 95% de probabilidad que los resultados no se debieron al azar.
**
99%
1%
Hay un 99% de probabilidad que los resultados no se debieron al azar.
***
Cuando encontramos diferencias con estos niveles de confianza, podemos decir que hay diferencias estadísticamente significativas entre T y C Esto se entenderá mejor con el ejemplo de programas de matemáticas…
2. Diferencia estadĂsticamente significativa
2. Diferencia estadísticamente significativa Incremento en puntaje de prueba debido al programa (%)
C
T
Dif
Impacto Programa 1
10%***
14
15.4
1.4
Impacto Programa 2
5.2%**
14
14.7
0.7
Impacto Programa 3
1.5%
14
14.2
0.2
PROGRAMA 1
PROGRAMA 2
15.4 14.0
Hay diferencias estadísticamente significativas al 99%
14.0
14.7
Hay diferencias estadísticamente significativas al 95%
PROGRAMA 3
14.0
14.2
No hay diferencias significativas: NO HAY IMPACTO
3. Diferencia de impactos entre grupos
Cuando se hace un estudio, se encuentra el impacto del programa en general Sin embargo, también se puede encontrar impacto diferenciado entre sub-grupos (p.e. Hombre/ Mujer, Rural/ Urbano, etc.) A esto se le llama: Análisis de Heterogeneidad
Sigamos con el mismo ejemplo…
3. Diferencia de impactos entre grupos Incremento en puntaje de prueba debido al programa (%)
C
T
Dif
10%***
14
15.4
1.4
12.6%***
15
16.9
1.9
2.5%
12
12.3
0.3
Impacto Programa Efectos por Zona
Urbano Rural
RURAL
URBANO 16.9 15.0 12.0
Hay diferencias estadĂsticamente significativas al 99%
12.3
No hay diferencias significativas: NO HAY IMPACTO
Ideas para llevar a casa‌ 1.
2.
3.
4. 5.
Para obtener el impacto, se compara el puntaje del tratamiento con el del control En algunos casos, puede aparentar haber diferencias, pero estos se deben al azar Se utilizan los niveles de confianza estadĂstica para determinar si esa diferencia es real y no debido al azar En CCSS se utilizan los niveles al 90%, 95% y 99% Un programa puede tener impacto globalmente, pero luego cuando se desagrega por subgrupos se encuentran diferencias
Revisen el caso Por favor… Lean el caso Tikichuela de Paraguay Analicen las tablas y traten de interpretar lo que quieren decir Traten de responder las preguntas Tienen 10 minutos… luego discutiremos las respuestas entre todos
Resumen de intervención
Intervención para mejorar las nociones matemáticas de niños de Inicial La intervención consiste en entregarle a los profesores programas en audio, en los cuales diferentes personajes enseñan conceptos matemáticos a los estudiantes Los estudiantes tienen sesiones a los largo del año donde escuchan los programas de audio Los programas buscan la participación de los estudiantes, haciendo preguntas. Los docentes moderan estas actividades. Los programas se dan en castellano y guaraní
Matemรกticas
Efectos globales Impacto
Ganancia en Calificaciones por Tikichuela (%) 9,2***
Puntuaciรณn matemรกticas
Variable dependiente
Matemáticas Variable dependiente
Ganancia en Calificaciones por Tikichuela (%)
Efectos por género Varones
12,3***
Mujeres
6,3***
Puntuación matemáticas
Control
Mujeres
Tratamiento
Varones
Matemรกticas Variable dependiente
Ganancia en Calificaciones por Tikichuela (%)
Efectos por rendimiento de alumnos dentro de las escuelas Cuartil 1
13,8***
Cuartil 2
7,8***
Cuartil 3
10,6***
Cuartil 4
3,6
Control
(Q1) 25% Cuarto inferior
(Q2) 50%
Tratamiento
(Q3) 75%
(Q4) 75% + Cuarto superior
Matemรกticas Variable dependiente
Ganancia en Calificaciones por Tikichuela (%)
Efectos por tipo de escuela Escuela central
1,5 12,4***
Escuela de red
Puntuaciรณn matemรกticas
Control
Centro
Tratamiento
Red
Aplicación a políticas públicas
¿Qué implicancias tienen en la práctica la diferencia de resultados entre varones y mujeres? ¿Qué decisión tomarían al respecto?
¿Qué implicancias tienen en la práctica la diferencia de resultados entre cuartiles? ¿Qué decisión tomarían al respecto? ¿Qué implicancias tienen en la práctica la diferencia de resultados entre escuelas centrales y de red? ¿Qué decisión tomarían al respecto? ¿Valdría la pena ejecutar este programa? ¿Porqué?
La EI brinda información acerca de si funciona el programa y cómo funciona Ayuda a la toma de decisiones basadas en datos y evidencia Mayor seguridad en decisiones Esta debe ser complementada con otras fuentes de información: Monitoreo de la intervención, investigación cualitativa, etc.