Evaluación de impacto de un programa de Educación de Ciencias en Lima metropolitana

Remedial Science Education

Evaluaci贸n de impacto de un programa de Educaci贸n de Ciencias en Lima metropolitana

Presentación de hoy     



Contexto Resumen de Implementación 2012 Resumen de Resultados 2012 Resumen de Implementación 2014 Recolección de datos 2012 Diseño de evaluación de impacto 2014

Contexto Sector Educativo Peruano 

En el Programa para la Evaluación Internacional de Alumnos (PISA) realizado por la OCDE en 2012, el Perú obtiene el puesto 65 de 65 países participantes.



Una población cualificada, incluido en ciencia y tecnología, es clave para sostener el crecimiento económico a largo plazo (Hanushek y Woesmann, 2008).



Evaluaciones de impacto en varios países muestran que sesiones de repaso y tutoría fuera del salón pueden reducir la brecha de aprendizaje entre los alumnos de mayor y menos desempeño (Banerjee et al. 2007a).

Contexto Previos Estudios en Ciencias 

Educación de Ciencias II (2012) Implementacion exacta, distinto implementador



Resumen del programa

Duración: marzo y diciembre del año 2012 Objetivo: mejorar el nivel de aprendizaje de los estudiantes de tercer grado de primaria en Ciencias y ambiente.

Muestra: 105 colegios de primaria en Lima metropolitana y provincia

Metodología: - Tres capacitaciones a docentes de tercer grado de primaria para un innovador currículo de ciencias para niños en tercer grado de primaria.

- Implementación de currículo en las aulas de los profesores capacitados.

Resultados 

͠ 0

Educación de Ciencias II

La intervención se asocia con una mejora de cuatro por ciento en comparación a los alumnos en escuelas que no recibieron el programa con confiabilidad estadística.

La intervención se asocia con una mejora de cinco por ciento para la subsección de Mundo Físico en comparación a los alumnos en escuelas que no recibieron el programa con confiabilidad estadística.

Niños ubicados en el cuartil inferior en la línea de base al comienzo del año escolar no demostraron avances fuertes y mejoras en comparación con los otros cuartiles.

Resultados – Análisis de Heterogeneidad 

Por género: 

No Hubo diferencia significativa en la puntuación promedio de varones y mujeres



Sí hubo una diferencia significativa en el sub-tema de Cuerpo Humano, donde las mujeres obtuvieron una puntuación mayor a la de los varones

͠ 0



Por urbano-rural: 

Por nivel socio-económico del hogar



Efecto significativo en colegios metropolitanos urbanos, en promedio para prueba general



En Cuerpo Humano, efecto significativo en provincia urbana



Para Mundo Físico, efecto significativo en metropolitano urbano

Motivación para 2014 Los resultados 2012 motivaron una continuación enfocada 2014. 

El enfoque de la intervención sería en mejoras en los alumnos en la media inferior del tercer grado de primaria en cada colegio.



Por facilidad logística se trabajará con los 48 colegios con los que se colaboró en el estudio 2012 (distintos niños)

Objetivo: Pregunta de la evaluación

¿Un programa de tutoría de aprendizaje personalizado en horas extraescolares que sirve para repasar material de clase facilita los aprendizajes en ciencias de los niños con bajo desempeño académico?

Por que tutorías?

La literatura internacional indica que las tutorías remediales brindan atención más individualizada que mejoras niveles de aprendizaje 

Una evaluación aleatoria en Kenia encontró que un programa que financia un profesor adicional en las aulas tiene efectos positivos en aprendizaje (1)



Una evaluación aleatoria en India indica que mujeres voluntarias entrenadas pudieron aumentar niveles de aprendizaje en lenguaje y matemáticas en la población de alumnos rezagados (2)

(1) Duflo, Esther, Pascaline Dupas, and Michael Kremer. School governance, teacher incentives, and pupil-teacher ratios: Experimental evidence from Kenyan primary schools. No. w17939. National Bureau of Economic Research, 2012.

(2) Banerjee A, Cole S, Duflo E, Linden L. 2007a. “Remedying education: evidence from two randomized experiments in India.” Q. J. Econ. 122:1235–64

Teoría de Cambio

Insumos:

Objetivos: Mejorar desempeño en CyA de alumnos 3er grado en media inferior

a)

b)

Programa de tutoría después de jornada escolar Capacitación de tutoras

Productos: Tutores y tutoras asisten y participan en tutorías

Resultados Intermedios: Alumnos adquiere comprensión de temas curriculares durante tutoría

Impactos: La brecha de desempeño se reduce

Intervención 2014 Duración: marzo y diciembre del año 2014 Objetivo: mejorar el nivel de aprendizaje de los estudiantes de tercer grado de primaria en Ciencias y ambiente.

Muestra: 49 colegios de primaria en Lima metropolitana; 1221 alumnos Aspectos de intervención: 

Capacitación de 20 horas a tutoras para los 48 colegios participantes de Lima



Sesiones de tutoría con approx. 610 niños de medio inferior en los 49 colegios; sesiones semanales Tutorías Jul/Oct 2014

Linea de base May 2014

Monitoreo Aug/Oct 2014

Linea final Nov 2014

Proceso y contenido de tutorías Las tutorías son enfocadas en repasar el currículo visto durante el año escolar en ciencias naturales.

Adicionalmente, la Universidad Cayetano Heredia incorpora los siguientes elementos al programa: -

Los siete principios para el aprendizaje de ciencias (ie. Se aprende con interacción, asimilar aspecto emocional en el aprendizaje, construir sobre lo ya aprendido)

-

Incorporación de pautas pedagógicas en función a diversidad (ie. producir diversidad de puntos de vista, y gradualidad en función de ritmos de aprendizaje)

Proceso y contenido de tutorías (cont´d) 

Duración de 2 horas pedagógicas por cada semana



Ubicación en los mismos colegios donde estudian alumnos



Intensidad equivalente a 40 % de horas totales dedicadas durante el año escolar a ciencias naturales



Entre lunes y sábado con presencia opcional de padres de familia



Entre 3 y 14 alumnos en los grupos de tutoría

Recolección de Datos 

Línea de base y Línea 2014 

Encuestas a docentes



Datos sobre formación professional y datos demográficos



Perspectivas y valorización respecto a la enseñanza de ciencias naturales



Permitirá observar cambios en la perspectiva de docentes sobre las ciencias naturales y los efectos de la tutoría en el salón



Encuestas a directores



Datos sobre formación profesional y demográficos



Datos sobre características de las escuelas (ie. Número de docentes, matrículas, infraestructura, equipamiento, material pedagógico, etc.)

Recolección de Datos (cont´d) 

Encuestas a alumnos 

Datos demográficos y de nivel socio-económico del hogar del estudiante



Exámenes a alumnos



Examinar habilidades según currículo actual de ciencias: - Mundo Físico y conservación del ambiente - Cuerpo humano y conservación de la salud - Animales y ambiente

Monitoreo de tutorías



Llamadas a corroborar la realización de las tutorías Visitas no anunciadas a colegios seleccionados para monitorear visitas 

Evaluación de Impacto  







Aleatorización a nivel de alumnos – no colegios La aleatorización fue estratificada a nivel de colegio Se determinó los alumnos en el medio inferior en cada colegio basados en el examen inicial durante linea de base Se evaluaron 2, 425 alumnos, de los cuales se descartó 25 alumnos de inclusión de la muestra.

La muestra final fue 1,221 en el medio inferior: 610 tratamiento, 611 control

Evaluación de Impacto (cont’d) 

Dentro de cada colegio, la mitad de los alumnos del medio inferior son asignados a recibir y no recibir tutorías



Ejemplo: Escuela con 36 niños en tercer grado de primaria Muestra: 12 niños en el tercio inferior Tratamiento: 6 reciben tutoria Control: 6 continuan año escolar sin tutoría

Retos y desafios 1) Identificar spillovers (externalidades) a otras áreas de aprendizaje Solución tomada: Incluir sección de matemáticas y comprensión lectora en examen línea base y final

2) Tamaño de poder El poder estadístico es muy bajo para mirar algunas dimensiones de heterogeneidad posible en los impactos

Gracias CONTACTOS Andrea Cornejo, Asociada de Proyectos acornejo@poverty-action.org Adam Kemmis Betty, Director de Pa铆s para Per煤, Paraguay y Bolivia akbetty@poverty-action.org

Juan Esteban Saavedra, Investigador Principal Economista, Centro Dornsife de Investigaci贸n Econ贸mica y Social de la Universidad del Sur de California

www.poverty-action.org