Adam Kemmis
Evaluaci贸n de impacto Escuela Amiga
Contenidos
¿Qué es IPA? Evaluación de impacto de Escuela Amiga
1. ¿Qué es IPA?
¿Qué es IPA? Organización sin fines de lucro internacional Fundada por Dean Karlan de la U. de Yale Dedicada a encontrar qué funciona para reducir la pobreza en el mundo Innovación, evidencia y acción Evaluando programas y productos de la forma más rigurosa
1 2
Generamos conocimiento. Convertimos ese conocimiento en acci贸n.
¿Por qué evaluar programas?
1 2 3
Necesitamos evidencia de qué funciona y qué no funciona, tenemos escasos recursos, y programas sociales mal diseñados pueden causar más daño que beneficio. Testear diferentes diseños de un mismo programa, de esta manera podemos mejorar su impacto.
Garantizar la sostenibilidad de los programas que funcionan, ante recortes presupuestales o cambios políticos.
2.Evaluaci贸n de impacto de Escuela Amiga
Motivación Niños en zonas de alta violencia presentan mayor dificultades para alcanzar un desarrollo pleno a nivel socio-emocional y académico
(Benavides 2012; Kitzmann, 2012; Gilbert et al., 2009; Maughan & Cicchetti, 2002).
Diversos estudios señalan la importancia de las habilidades nocognitivas o socio-emocionales (Heckman et al., 2006; Heckmann, 2000) El 65% de las escuelas en Lima y Callao son de alto riesgo de violencia (Benavides, 2012).
Docentes no cuentan con los recursos para hacer frente a esta situación. Meta-análisis de diferentes evaluaciones muestran que intervenciones a nivel escolar sobre Aprendizaje Socio-emocional (SEL) pueden tener impacto (Greenberg et al., 2003; Dulrak et al., 2011).
Motivación Duda en ciertos supuestos. Necesidad de una Evaluación de Impacto. Extrapolación de evidencia a la población objetiva • Evidencia principalmente de países desarrollados • Limitadas experiencias en escuelas de alto nivel de violencia • Diferencias a nivel de problemática y de capacidades de docentes en SEL Implementación a gran escala • Mayor parte de la evidencia de proyectos pequeños • Reto de preservar la calidad en gran escala Posible reducción del impacto con el tiempo (Payton et al., 2008) y falta de evaluaciones, especialmente en adolescentes, con seguimientos largos (Heckman & Kautz, en prensa).
Preguntas clave 驴Puede una intervenci贸n de aprendizaje socio-emocional (SEL) focalizada en colegios urbanos en riesgo generar mejoras en: 1. habilidades socio-emocionales de los estudiantes? 2. logros de aprendizaje de los estudiantes? 3. habilidades cognitivas de los estudiantes? 4. clima escolar (incluye violencia escolar)? 5. satisfacci贸n con la vida de los estudiantes? (a) En el corto plazo (primaria y secundaria diferenciado)? (b) En el largo plazo (para alumnos de secundaria)?
Focalización
Escuelas…: • • •
•
Públicas Primarias y Secundarias Ubicadas en distritos de Lima Metropolitana con índice de riesgo > .3 (Benavides, 2012) De pequeño o mediano tamaño (<=800 alumnos si tiene 1 nivel o <=1200 si es multinivel o de dos turnos) 815 escuelas focalizadas
= Focalizados
Muestreo •
•
•
Elegir un número manejable de escuelas para el estudio Luego de la Focalización, las escuelas se agruparon en “Clusters” o Unidades de muestreo Barrial (358) Muestreo aleatorio a nivel de Cluster
= Focalizados
= NO Muestreados = Muestreados
= Muestreados
Asignaci贸n aleatoria Muestra 700 IIEE 208 clusters
Asignaci贸n aleatoria
TRATAMIENTO
CONTROL
Recibe Escuela Amiga 350 IIEE
No recibe Escuela Amiga 350 IIEE T 2013 (200 IIEE) T 2015 (150 IIEE)
= Muestreados
= Control = Tratamiento
= Control = T 2013 = T 2015
¿Por qué aleatorizar?
Evita que haya un sesgo en la selección de participantes (p.e. los más cercanos a la oficina) Permite tener grupos iguales al inicio del estudio (“ley de los grandes números”) Ante una limitante de presupuesto, puede verse como la forma más justa de decidir quien recibe o no el programa (lotería)
¿Por qué T2013 y T2015?
Ante una escases de recursos y una necesidad de mayor “muestra” Aprovecha
el escalamiento en favor de la evaluación
de impacto Permite adaptarse a limitantes presupuestales
A esto se le llama “roll out” (implementar la intervención paulatinamente) Año
Tratamiento (Con EA)
Control (Sin EA)
2013
200 IIEE
500 IIEE
2015
350 IIEE
350 IIEE
Características del estudio • •
Evaluación de impacto aleatorizada Muestra: o o
o
• •
700 escuelas o códigos modulares Alumnos por grado: • 1 salón de aprox. 25 alumnos Grados • 4to y 5to de Primaria • 3ro y 4to de Secundaria
Duración: 2013- 2017 Mediciones: 4 mediciones
Línea de tiempo 2014
2015
LB Abr 2014
Med. Intermedia Nov/Dic 2014
2016
Med. Intermdia 2 Nov/Dic 2015
Monitoreo Ag 2013 – Dic 2016
www.poverty-action.org
2017
Med. final Nov/Dic 2016
Medición
Cuestionarios auto-llenados por alumnos de forma colectiva Cuestionarios a docentes donde reportan conducta de estudiantes
Estos cuestionarios serán administrados en los cuatro recojos de información.
Indicadores de impacto
Habilidades socio-emocionales
Satisfacción con la vida
Combinación de escalas (p.e. CSCSS, Rebelez y Furlong)
Logros académicos
Satisfaction with life Scale (SWLS, Diener, 1985)
Clima escolar (incluyendo violencia escolar)
Combinación de escalas psicométricas que miden diferentes habilidades. (p.e. PERMA de Seligman, 2011)
ECE?
Habilidades cognitivas
Por definir
Adicionales que se pretenden incorporar •
Utilizar reportes de conductas concretas como medición de variables (por ejemplo asistencia, antecedentes criminales, reportes de problemas de conducta, horas dedicadas a tareas, etc). •
•
Data administrativa de escuelas
Evaluación cualitativa •
Profundizar en los resultados cuantitativos.
CONTACTOS Dr. Paul Gertler, Investigador Principal gertler@haas.berkeley.edu Gonzalo Pons, Asociado de Proyectos gpons@poverty-action.org Adam Kemmis Betty, Director Nacional â&#x20AC;&#x201C; PerĂş akbetty@poverty-action.org
www.poverty-action.org