Diseño de programas basados en evidencia: El Programa Docentes Asistentes Comunitarios (TCAI

Dise単o de programas basados en evidencia:

El Programa Docentes Asistentes Comunitarios (TCAI) Annie Duflo, Innovations for Poverty Action

Annie Duflo, Innovations for Poverty Action 2013 New Hampshire Staff Training

NUESTRO ENFOQUE

Fomentar y apoyar que se tomen decisiones basadas en evidencia

Identificar problemas y potenciales soluciones

1.

2.

3.

Probando nuevos conceptos

Refinando la aplicabilidad de los conceptos

Evaluando el impacto de programas a gran escala

Evaluaciones de Impacto Aleatorias

CONTENIDOS • EL CONTEXTO • ¿QUÉ HEMOS APRENDIDO? • ADAPTANDO APRENDIZAJES A NUEVOS CONTEXTOS • DISEÑO DE EVALUACIÓN • IMPLEMENTACIÓN DEL PROGRAMA Y RESULTADOS • SIGUIENTES PASOS E IMPACTOS EN LA POLÍTICA 3

CONTENIDOS • EL CONTEXTO • ¿QUÉ HEMOS APRENDIDO? • ADAPTANDO APRENDIZAJES A NUEVOS CONTEXTOS • DISEÑO DE EVALUACIÓN • IMPLEMENTACIÓN DEL PROGRAMA Y RESULTADOS • SIGUIENTES PASOS E IMPACTOS EN LA POLÍTICA 4

C O N TE X TO G H A N A Lengua

Pedagogía

Ghana ha experimentado grandes mejoras gracias a una serie de programas

local

Evaluaciones

Tests estandarizados

20% del Presupuesto

presupuesto nacional

Acceso Paridad de género

GPI of 98%

Teaching

Exámenes de

Norms

conocimientos

Matriculación neta 83.3 %

GRANDES BRECHAS EN E D UC A C I Ó N Puntuaciones de test de inglés

98

100 80 57

60 40 24

31

20 20 0

11 P1

P2 Grade Level

P3

NIVELES DE HETEROGENEIDAD

The context: Heterogeneous levels

CONTENIDOS • EL CONTEXTO • ¿QUÉ HEMOS APRENDIDO? • ADAPTANDO APRENDIZAJES A NUEVOS CONTEXTOS • DISEÑO DE EVALUACIÓN • IMPLEMENTACIÓN DEL PROGRAMA Y RESULTADOS • SIGUIENTES PASOS E IMPACTOS EN LA POLÍTICA 8

QUÉ HA FUNCIONADO? India: India: Voluntarios comunitarios dando clases de refuerzo en comunidades (Read India) Kenia: Agregar un docente extra es útil cuando las clases se dividen por desempeño

Voluntarios comunitarios dando clases de reforzamiento para estudiantes de bajo rendimiento (Balsakhi)

FOCALI ZAR EDUCACI ÓN AL N I VEL DEL ESTUDI AN TE ES CLAVE

CONTENIDOS • EL CONTEXTO • ¿QUÉ HEMOS APRENDIDO? • ADAPTANDO APRENDIZAJES A NUEVOS CONTEXTOS • DISEÑO DE EVALUACIÓN • IMPLEMENTACIÓN DEL PROGRAMA Y RESULTADOS • SIGUIENTES PASOS E IMPACTOS EN LA POLÍTICA 10

ADAPTANDO APRENDIZAJES A NUEVOS CONTEXTOS PARA EL ESCALAMIENTO • Aspectos clave (i.e Teoría de cambio) • Entender el contexto • Factibilidad política • Sustentabilidad financiera

¿PORQUÉ TCAI? • Consistente con el Plan Estratégico de Ministerio • El concepto fue rigurosamente evaluado • Costo-Efectivo y por lo tanto sostenible • Se basa en docentes asistentes y no docentes extras • Vínculos con empleo juvenil

ASISTENCIA TÉCNICA Director de País de IPA Unidad de asistencia técnica Coordinador Nacional

Comité de dirección Estructura del Gobierno GES y consultores Nacionales

Nivel Nacional NYEP

Directores regionales Coordinador Regional

Directores Distritales Supervisores de circuitos

Coordinadores distritales

ADAPTANDO Y PILOTEANDO

I nstrum ento Sim ple de Evaluaci贸n

ADAPTANDO Y PILOTEANDO

Tutor/ Asistente com unitario

M ateriales y pedagogĂ­a de refuerzo

ALGUNAS PREGUNTAS • ¿Producirá el impacto deseado en resultados de aprendizaje?

• Si es así, ¿se debe a la educación de refuerzo o se debe únicamente a los recursos adicionales?

• ¿Reducir el tiempo de docencia de los profesores reducirá los niveles de aprendizaje?

• Pueden los profesores lograr los mismos resultados sin asistentes, si se les capacita para ello?

Podem os testear estas preguntas!

16

CONTENIDO • CONTEXTO • ¿QUÉ HEMOS APRENDIDO? • ADAPTANDO LOS APRENDIZAJES A UN NUEVO CONTEXTO • DISEÑO DE EVALUACIÓN • IMPLEMENTACIÓN DEL PROGRAMA Y RESULTADOS • SIGUIENTES PASOS E IMPACTO EN POLÍTICA PÚBLICA 17

INTERVENTION FEATURES Educación focalizada

1 2 3 4

Curriculum de refuerzo

Asistente

Refuerzo en la Escuela

Horas Adicionales

Menor tamaño de clase

Refuerzo después de la Escuela Asistente Adicional Profesor liderando

10 regiones

42

400

42,000

distritos

escuelas

alumnos

DISEÑO DE EVALUACIÓN Muestra representativa a nivel nacional de 500 escuelas

Asignada aleatoriamente a

1

2

Asistente:

Asistente:

Educación de refuerzo durante horas escolares

Educación de refuerzo después de la escuela

3

4

Asistente adicional

Educación focalizada liderada por un docente (no asistente)

5 Control

Una muestra de alumnos de 1º, 2º, y 3º grado de primaria en 500 escuelas en 10 regiones, 42 distritos (42,000 niños)

LEVANTAMIENTO DE DATOS • Escuela, docente, SMC/PTA y encuestas a la comunidad • Test: Diseñados en colaboración con GES – Exámenes aplicados individualmente – Exámenes escritos en cada grado • 6 rondas de encuestas de observación • Aplicadas por el equipo de IPA a través de celulares, con el monitoreo de GES. 20

CONTENIDO • CONTEXTO • ¿QUÉ HEMOS APRENDIDO? • ADAPTANDO LOS APRENDIZAJES A UN NUEVO CONTEXTO • DISEÑO DE EVALUACIÓN • IMPLEMENTACIÓN DEL PROGRAMA Y RESULTADOS • SIGUIENTES PASOS E IMPACTO EN POLÍTICA PÚBLICA 21

IMPLEMENTACIÓN Asistencia y tiempo en actividad 80% 70% 60% 50% 40% 30% 20% 10% 0% TCA present

Teacher

TCA teaching

Teacher

present

class

teaching class

• Asistentes ausentes un 40% del tiempo • Los docentes partieron las clases un 15% de las veces

I MPACTOS

POSITIVO S Y DUR ADER O S Test global: Grados 3-4

60

7%

50

6%

5%

4%

40

30

20

10

0 Control

Control

Treat1 Educaci贸n de refuerzo en horas de clase

Treat2 Treat3 Treat4 Educaci贸n Asistente Educaci贸n de refuerzo Adicional focalizada despu茅s de liderada por la escuela el docente

I MPACTOS

POSITIVO S Y DUR ADER O S

Test de Comunicación : Grados 3-4 60 50 + 8%

+9%

+ 6%

+ 4%

40 30 20 10 0 Control

Educación de refuerzo en horas de clase

Educación Asistente Educación de refuerzo Adicional focalizada después de liderada por la escuela el docente

Q UÉ INTERVENCIÓN Durante o después de la escuela •

Condiciones de la escuela

•

Heterogeneidad según nivel

•

Habilidades básicas

•

Niñas

Educación focalizada liderada por el docente •

Docentes enseñan con mayor frecuencia

•

Pero cambiar las prácticas de los docentes es difícil

Escuelas con docencia multigrado

Durante la escuela Después de la escuela

Multigrado

Todas

0.3*

0.14*

0.21*

0.13*

Docentes enseñando 45% 38%

Treatla 1 Durante escuela

35%

Treat 2 Después de la escuela

38%

Treat Sólo3

asistente

34%

Treat 4 lideró Treat 5 Profesor Control educación focalizada

VARIACIONES REGIONALES DE GRAN MAGNITUD ASOCIADAS A VARIACIONES EN LA IMPLEMENTACIร N 3 veces mรกs efectivo

TCA vs. Asistencia de Docentes por Distrito

0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1

Sin efecto

TCA Attendance

Teacher Attendance

203

201

193

191

182

172

165

163

161

151

145

143

141

133

131

124

122

117

115

113

111

0

CONTENIDO • CONTEXTO • ¿QUÉ HEMOS APRENDIDO? • ADAPTANDO LOS APRENDIZAJES A UN NUEVO CONTEXTO • DISEÑO DE EVALUACIÓN • IMPLEMENTACIÓN DEL PROGRAMA Y RESULTADOS • SIGUIENTES PASOS E IMPACTO EN POLÍTICA PÚBLICA 27

S IGUIENTES PASOS

2005-2011 Nov 2009 Jan 2010- Apr May 2011Jul 2013 2011 Resultados Resultados de India y compartidos Financiamiento Evaluaci贸n planificaci贸n y en Ghana Kenia Convenio

Feb 2014

2014-2015

Presentaci贸n resultados

Preparaci贸n para escala

LECCION E S • Educación adaptada al nivel del alumno mejora el aprendizaje –

Esto puede ser implementado de distintas maneras

• Resultados de una evaluación pueden ser adaptados a distintos contextos – Entender el concepto y el contexto

• Ganar apoyo político y de los principales actores y usar los canales existentes • Implementación e incentivos son factores clave

¡Gracias!

• ANNIE D UFLO, INNOVATIONS • FOR POVERTY ACTION