Dise単o de programas basados en evidencia:
El Programa Docentes Asistentes Comunitarios (TCAI) Annie Duflo, Innovations for Poverty Action
Annie Duflo, Innovations for Poverty Action 2013 New Hampshire Staff Training
NUESTRO ENFOQUE
Fomentar y apoyar que se tomen decisiones basadas en evidencia
Identificar problemas y potenciales soluciones
1.
2.
3.
Probando nuevos conceptos
Refinando la aplicabilidad de los conceptos
Evaluando el impacto de programas a gran escala
Evaluaciones de Impacto Aleatorias
CONTENIDOS • EL CONTEXTO • ¿QUÉ HEMOS APRENDIDO? • ADAPTANDO APRENDIZAJES A NUEVOS CONTEXTOS • DISEÑO DE EVALUACIÓN • IMPLEMENTACIÓN DEL PROGRAMA Y RESULTADOS • SIGUIENTES PASOS E IMPACTOS EN LA POLÍTICA 3
CONTENIDOS • EL CONTEXTO • ¿QUÉ HEMOS APRENDIDO? • ADAPTANDO APRENDIZAJES A NUEVOS CONTEXTOS • DISEÑO DE EVALUACIÓN • IMPLEMENTACIÓN DEL PROGRAMA Y RESULTADOS • SIGUIENTES PASOS E IMPACTOS EN LA POLÍTICA 4
C O N TE X TO G H A N A Lengua
Pedagogía
Ghana ha experimentado grandes mejoras gracias a una serie de programas
local
Evaluaciones
Tests estandarizados
20% del Presupuesto
presupuesto nacional
Acceso Paridad de género
GPI of 98%
Teaching
Exámenes de
Norms
conocimientos
Matriculación neta 83.3 %
GRANDES BRECHAS EN E D UC A C I Ó N Puntuaciones de test de inglés
98
100 80 57
60 40 24
31
20 20 0
11 P1
P2 Grade Level
P3
NIVELES DE HETEROGENEIDAD
The context: Heterogeneous levels
CONTENIDOS • EL CONTEXTO • ¿QUÉ HEMOS APRENDIDO? • ADAPTANDO APRENDIZAJES A NUEVOS CONTEXTOS • DISEÑO DE EVALUACIÓN • IMPLEMENTACIÓN DEL PROGRAMA Y RESULTADOS • SIGUIENTES PASOS E IMPACTOS EN LA POLÍTICA 8
QUÉ HA FUNCIONADO? India: Voluntarios comunitarios dando clases de refuerzo en comunidades (Read India) Kenia: Agregar un docente extra es útil cuando las clases se dividen por desempeño
India: Pull-out remedial classes for lowperforming students by community tutors (Balsakhi)
FOCALI ZAR EDUCACI ÓN AL N I VEL DEL ESTUDI AN TE ES CLAVE
CONTENIDOS • EL CONTEXTO • ¿QUÉ HEMOS APRENDIDO? • ADAPTANDO APRENDIZAJES A NUEVOS CONTEXTOS • DISEÑO DE EVALUACIÓN • IMPLEMENTACIÓN DEL PROGRAMA Y RESULTADOS • SIGUIENTES PASOS E IMPACTOS EN LA POLÍTICA 10
ADAPTANDO APRENDIZAJES A NUEVOS CONTEXTOS PARA EL ESCALAMIENTO • Aspectos clave (i.e Teoría de cambio) • Entender el contexto • Factibilidad política • Sustentabilidad financiera
¿PORQUÉ TCAI? • Consistente con el Plan Estratégico de Ministerio • El concepto fue rigurosamente evaluado • Costo-Efectivo y por lo tanto sostenible • Se basa en docentes asistentes y no docentes extras • Vínculos con empleo juvenil
ASISTENCIA TÉCNICA Director de País de IPA Unidad de asistencia técnica Coordinador Nacional
Comité de dirección Estructura del Gobierno GES y consultores Nacionales
Nivel Nacional NYEP
Directores regionales Coordinador Regional
Directores Distritales Supervisores de circuitos
Coordinadores distritales
ADAPTANDO Y PILOTEANDO
I nstrum ento Sim ple de Evaluaci贸n
ADAPTANDO Y PILOTEANDO
Tutor/ Asistente com unitario
M ateriales y pedagogĂa de refuerzo
ALGUNAS PREGUNTAS • ¿Producirá el impacto deseado en resultados de aprendizaje? • Si es así, ¿se debe a la educación de refuerzo o se debe únicamente a los recursos adicionales? • ¿Reducir el tiempo de docencia de los profesores reducirá los niveles de aprendizaje? • Pueden los profesores lograr los mismos resultados sin asistentes, si se les capacita para ello?
Podem os testear estas preguntas! 16
CONTENIDO • CONTEXTO • ¿QUÉ HEMOS APRENDIDO? • ADAPTANDO LOS APRENDIZAJES A UN NUEVO CONTEXTO • DISEÑO DE EVALUACIÓN • IMPLEMENTACIÓN DEL PROGRAMA Y RESULTADOS • SIGUIENTES PASOS E IMPACTO EN POLÍTICA PÚBLICA 17
INTERVENTION FEATURES Educación focalizada
1 2 3 4
Curriculum de refuerzo
Asistente
Refuerzo en la Escuela
Horas Adicionales
Menor tamaño de clase
Refuerzo después de la Escuela Asistente Adicional Profesor liderando
10 regiones
42
400
42,000
distritos
escuelas
alumnos
DISEÑO DE EVALUACIÓN Muestra representativa a nivel nacional de 500 escuelas
Asignada aleatoriamente a
1
2
Asistente:
Asistente:
Educación de refuerzo durante horas escolares
Educación de refuerzo después de la escuela
3
4
Asistente adicional
Educación focalizada liderada por un docente (no asistente)
5 Control
Una muestra de alumnos de 1º, 2º, y 3º grado de primaria en 500 escuelas en 10 regiones, 42 distritos (42,000 niños)
LEVANTAMIENTO DE DATOS • Escuela, docente, SMC/PTA y encuestas a la comunidad • Test: Diseñados en colaboración con GES – Exámenes aplicados individualmente – Exámenes escritos en cada grado • 6 rondas de encuestas de observación • Aplicadas por el equipo de IPA a través de celulares, con el monitoreo de GES. 20
CONTENIDO • CONTEXTO • ¿QUÉ HEMOS APRENDIDO? • ADAPTANDO LOS APRENDIZAJES A UN NUEVO CONTEXTO • DISEÑO DE EVALUACIÓN • IMPLEMENTACIÓN DEL PROGRAMA Y RESULTADOS • SIGUIENTES PASOS E IMPACTO EN POLÍTICA PÚBLICA 21
IMPLEMENTACIÓN Asistencia y tiempo en actividad 80% 70% 60% 50% 40% 30% 20% 10% 0% TCA present
Teacher
TCA teaching
Teacher
present
class
teaching class
• Asistentes ausentes un 40% del tiempo • Los docentes partieron las clases un 15% de las veces
I MPACTOS
POSITIVO S Y DUR ADER O S Test global: Grados 3-4
60
7%
50
6%
5%
4%
40
30
20
10
0 Control
Control
Treat1 Educaci贸n de refuerzo en horas de clase
Treat2 Treat3 Treat4 Educaci贸n Asistente Educaci贸n de refuerzo Adicional focalizada despu茅s de liderada por la escuela el docente
I MPACTOS
POSITIVO S Y DUR ADER O S
Test de Comunicación : Grados 3-4 60 50 + 8%
+9%
+ 6%
+ 4%
40 30 20 10 0 Control
Educación de refuerzo en horas de clase
Educación Asistente Educación de refuerzo Adicional focalizada después de liderada por la escuela el docente
Q UÉ INTERVENCIÓN Durante o después de la escuela •
Condiciones de la escuela
•
Heterogeneidad según nivel
•
Habilidades básicas
•
Niñas
Educación focalizada liderada por el docente •
Docentes enseñan con mayor frecuencia
•
Pero cambiar las prácticas de los docentes es difícil
Escuelas con docencia multigrado
Durante la escuela Después de la escuela
Multigrado
Todas
0.3*
0.14*
0.21*
0.13*
Docentes enseñando 45% 38%
Treatla 1 Durante escuela
35%
Treat 2 Después de la escuela
38%
Treat Sólo3
asistente
34%
Treat 4 lideró Treat 5 Profesor Control educación focalizada
VARIACIONES REGIONALES DE GRAN MAGNITUD ASOCIADAS A VARIACIONES EN LA IMPLEMENTACIร N 3 veces mรกs efectivo
TCA vs. Asistencia de Docentes por Distrito
0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1
Sin efecto
TCA Attendance
Teacher Attendance
203
201
193
191
182
172
165
163
161
151
145
143
141
133
131
124
122
117
115
113
111
0
CONTENIDO • CONTEXTO • ¿QUÉ HEMOS APRENDIDO? • ADAPTANDO LOS APRENDIZAJES A UN NUEVO CONTEXTO • DISEÑO DE EVALUACIÓN • IMPLEMENTACIÓN DEL PROGRAMA Y RESULTADOS • SIGUIENTES PASOS E IMPACTO EN POLÍTICA PÚBLICA 27
S IGUIENTES PASOS
2005-2011 Nov 2009 Jan 2010- Apr May 2011Jul 2013 2011 Resultados Resultados de India y compartidos Financiamiento Evaluaci贸n planificaci贸n y en Ghana Kenia Convenio
Feb 2014
2014-2015
Presentaci贸n resultados
Preparaci贸n para escala
LECCION E S • Educación adaptada al nivel del alumno mejora el aprendizaje –
Esto puede ser implementado de distintas maneras
• Resultados de una evaluación pueden ser adaptados a distintos contextos – Entender el concepto y el contexto
• Ganar apoyo político y de los principales actores y usar los canales existentes • Implementación e incentivos son factores clave
¡Gracias! • ANNIE D UFLO, INNOVATIONS • FOR POVERTY ACTION