Evaluaciรณn como herramienta para la innovaciรณn y el aprendizaje Fabiola Cรกceres Paurinotto Jefa de la Unidad de Seguimiento y Evaluaciรณn
Líneas de acción e intervenciones del sector • Carrera docente meritocrática (LRM) • Bono de ingreso a la carrera • Beca Vocación Maestro
Revalorización de la carrera docente
Mejora de la calidad de los aprendizajes para todos •Soporte Pedagógico •Plan Nacional de Inglés •Jornada Escolar Completa •Colegios de Alto Rendimiento •Becas pregrado, postgrado y especiales
•Programa Nacional de Infraestructura Educativa (PRONIED) •Mantenimiento preventivo •Reposición de mobiliario •Equip. Tecnológico. •APP y OxI
•
Gran número de intervenciones nuevas de gran escala.
•
Necesidad de generar de evidencia y aprender sobre la marcha
•
Cultura organizacional ¨orientada al aprendizaje¨ presente
•
Necesidad de alinear tiempos de decisión y generación de evidencia
•
Disponibilidad de data administrativa
Cierre de la brecha de infraestructura educativa
Modernización de la gestión educativa •Compromisos de Desempeño •Semáforo Escuela •Fortalecimiento del rol directivo en IE •Bono Escuela •Modernización de UGEL
2
Componentes para la evaluación de intervenciones educativas 1
2
Evaluación de intervenciones educativas
Evaluaciones de Impacto acompañadas de Evaluaciones de Diseño e Implementación de intervenciones en curso.
Laboratorio de innovación costo efectiva de la política educativa
Vinculado a la academia nacional e internacional. Permite innovar y aprender mediante el diseño, implementación y evaluación rigurosa de mejoras de bajo costo a las políticas existentes o de nuevas intervenciones. Diseña innovaciones como pilotos de política, cuya evaluación determina su efectividad antes de su escalamiento.
Evaluaciones que no detienen la implementación Evaluaciones rápidas, maximizando el uso de data administrativa Aprendizaje institucional a bajo costo (innovaciones y evaluaciones costo eficientes) Enfoque en el uso de la evidencia para la mejora de la política educativa
Evaluaciรณn de intervenciones educativas
Las evaluaciones en la cadena de resultados de las intervenciones
Insumos
Actividades
Productos
Resultados
Recursos financieros, humanos, etc. necesarios para actividades
Acciones para transformar insumos en productos
Productos resultantes de la transformación de insumos
Objetivos del programa. Objetivos de largo plazo.
EVALUACIÓN DE DISENO E IMPLEMENTACION
Consistencia de mecanismos causales planteados en el modelo (o MML) Grado de avance de la puesta en marcha. Consistencia entre diseño e implementación en campo. Identificación de aciertos y desaciertos, potenciales obstáculos que afecten la intervención. Análisis cualitativo (perspectiva de actores) y cuantitativo
EVALUACIÓN DE IMPACTO
Determina efecto/impacto en las variables de resultados que es atribuible a la intervención (aísla la potencial influencia de otras variables) Metodologías experimentales o cuasi-experimentales para la construcción del escenario contrafactual. Impacto de la intervención: comparar resultado en la población que recibe la intervención (tratamiento) con una población similar que no la recibe (control).
Evaluaciones 2015-2016 (I)
7 evaluaciones de impacto*
5 evaluaciones de diseño e implementación
12 evaluaciones
• 12 evaluaciones lideradas o acompañadas por OSEE • 3 intervenciones priorizadas con información de evaluación de impacto y diseño e implementación • Se genera evidencia de nuevas intervenciones en su primer año de intervención • No incluye evaluaciones del MEF en las que OSEE es contraparte técnica
Evaluaciones 2015-2016 (II) Impacto Intervención evaluada
Diseño e implementación Indicadores de impacto
Intervención 1.Soporte Pedagógico
1. Soporte Pedagógico 2. Bono de Incentivo al Desempeño Escolar
Logros de aprendizaje: matemática y comprensión lectora (ECE 2do primaria)
2. Bono de Incentivo al Desempeño Escolar 3. Jornada Escolar Completa
3. Jornada Escolar Completa (JEC)
Logros de aprendizaje: matemática y comprensión lectora (ECE 2do primaria)
4.Acompañamiento Pedagógico Multigrado 5. Soporte Pedagógico Intercultural 6. Acceso a Educación inicial (CEI y PRONOEI comunitario) 7. SiSeve
4. Inglés en el Marco de la JEC 5. Servicio de Apoyo y Asesoramiento para la Atención de las Necesidades Educativas Especiales - SAANEE
Logros de aprendizaje: matemática y comprensión lectora (ECE 2do primaria)
Impacto de acciones de publicidad, difusión y asistencia técnica sobre el número reportado de casos de violencia en las escuelas, y el efecto del uso de la plataforma (medido a través del número de denuncias) sobre la incidencia de violencia en las escuelas
Evaluaciones 2016-2017
11 evaluaciones de impacto*
7 evaluaciones de diseño e implementación
18 evaluaciones
• 15 evaluaciones lideradas o por OSEE (10 de impacto) • 5 intervenciones priorizadas con información de evaluación de impacto y diseño e implementación • No incluye evaluaciones del MEF en las que OSEE es contraparte técnica
Evaluaciones 2016-2017 Evaluaciones de impacto Intervención evaluada
Indicadores de impacto
1. Secundaria Rural Mejorada
Logros de aprendizaje: matemática y comprensión lectora (ECE 2do secundaria)
2. COAR
Logros de aprendizaje (prueba en 3ro y 5to secundaria), habilidades blandas, proyecto de vida y visión a largo plazo, acceso a educación superior y mercado laboral, economía familiar.
3. Soporte Pedagógico para Secundaria Rural
Logros de aprendizaje en 2do de secundaria, prácticas pedagógicas del docente y violencia escolar
4. Inglés en el marco de la JEC
Comprensión auditiva y lectora (prueba alineada al MCE)
5. Soporte Pedagógico -SP (Lima)
Prácticas pedagógicas del docente
6. JEC- Prácticas pedagógicas y clima y gestión escolar
Prácticas pedagógicas del docente, clima y gestión escolar
7. Acompañamiento de Soporte Pedagógico, Acompañamiento Multigrado y Acompañamiento EIB
Logros de aprendizaje: matemática y comprensión lectora (ECE 2do secundaria) y prácticas pedagógicas del docente
8. Soporte Pedagógico
Logros de aprendizaje (ECE 2do prim.) – actualización de cálculo
9. Jornada Escolar Completa
Logros de aprendizaje (ECE 2do sec.) – actualización del cálculo
10. Bono de Incentivo al Desempeño Escolar
Logros de aprendizaje (ECE 2do primaria) – actualización del cálculo
11. Bono de Atracción Docente
En diseño
Laboratorio de innovaciones costo-efectivas MineduLAB
MineduLAB Laboratorio de innovación instalado en el MINEDU que permite aprender mediante el diseño, implementación y evaluación rigurosa de innovaciones de bajo costo a la política educativa maximizando el uso de data administrativa. Atiende problemas prioritarios Permite generar mejoras a políticas existentes o identificar nuevas ideas de política Prioriza innovaciones con alto impacto potencial y un bajo costo de implementación y evaluación Implementa innovaciones como pilotos de política (pequeña escala) Evalúa rigurosamente recurriendo a métodos experimentales (asignación aleatoria) Genera evidencia para definir el escalamiento
Antecedentes del MineduLAB
¿Cómo trabaja el MineduLAB? El MineduLAB trabaja de forma conjunta con la comunidad academica. Trabajar estrechamente con investigadores permite al laboratorio explorar temas de vanguardia en educación y economía del comportamiento. El laboratorio tiene vínculos con dos actores principales: o Directorio de Investigación: guía las actividades del laboratorio. El directorio propone temas y preguntas de investigación, identifica e interpreta evidencia relevante, y brinda retroalimentación periódica. o Investigadores Principales: cada innovación se encuentra bajo la supervisión de un investigador principal que conduce y diseña la evaluación de impacto.
MineduLAB trabaja también con las áreas que ejecutan la política educativa, brindado apoyo para la implementación de cada innovación. El trabajo coordinado de todos los actores permite desarrollar el ciclo de innovación.
Investigador principal / equipo de investigación
Dirección/ UU.OO. que implementa la innovación Equipo de MineduLAB
Creación e implementación del MineduLAB CONCEPCIÓN (Nov. 2013 – Abr. 2014) - Desarrollo de la idea - Diagnóstico de problemática. - Identificación de bases de datos. - Diseño de esquema de trabajo.
FACTIBILIDAD (Abr. – Dic. 2014) - Identificación de innovaciones de bajo costo en la literatura y posibilidades de evaluar con data administrativa. - Disposición a innovar en Direcciones y UU.OO. - Preguntas relevantes para la política.
IMPLEMENTACIÓN (2015) - Implementación de las innovaciones (1er ciclo). Identificación de nuevas innovaciones (2do ciclo). - Desarrollo del Manual de Operaciones - Capacitación al equipo.
Asistencia técnica durante las etapas de concepción, factibilidad e implementación
INSTITUCIONALIZACIÓN Y OPERACIÓN (2016-) - Evaluación de impacto de innovaciones de 1er ciclo - Implementación de innovaciones de 2do ciclo - Presentación de la experiencia y difusión - Institucionalización del esquema de trabajo.
Cartera de innovaciones de MineduLAB Innovaciones con resultados
Directores
Alumnos
Directores, Docentes y Padres
En fase de evaluación
Padres y Alumnos
Docentes
En fase de diseño o implementación
Directores, Docentes y Padres
Padres y Alumnos
Docentes y Padres
Docentes
Docentes
Ejemplo 1: ¡Expande tu Mente! Hay evidencia que indica que las teorías que un estudiante tiene sobre su propia inteligencia afecta la forma en que éste responde a los retos académicos y personales. La Dra. Carol Dweck utiliza los términos fixed mindset y growth mindset para describir las teorías que las personas tienen sobre su propia inteligencia. Los estudiantes con un growth mindset creen que pueden volverse más inteligentes. Se esfuerzan más pues comprenden que esto los fortalece. Esta actitud se traducen en un mayor aprendizaje. Los estudiantes con un fixed mindset creen que la inteligencia y las habilidades no cambian en el tiempo. No entienden el valor del esfuerzo y lo evitan.
Fixed Mindset
Growth Mindset
La habilidad es estática
La habilidad puede aumentar
Evita los retos
Busca retos
Se rinde fácilmente
Persiste ante obstáculos
Piensa que el esfuerzo es inútil
Piensa que el esfuerzo en necesario
Ignora las críticas constructivas
Aprende de las críticas
Se siente amenazado por el éxito de otros
Encuentra inspiración en el esfuerzo de otros
Fuente: Adaptado de www.mindsetworks.com.
¡Expande tu Mente! – Fase 2015
2015: articulación de intereses de la DES y la academia (GRADE, Universidad de Oxford y Banco Mundial), mediante el diseño de una innovación para cambiar los paradigmas de los estudiantes sobre su propias habilidades ¡Expande tu Mente!
¿En qué consistió la innovación? Lectura y discusión del artículo “¿Sabías que puedes hacer crecer tu
inteligencia?”
Alumnos redactan cartas contándole a otros alumnos menores sobre lo aprendido en clase. Entrega de un póster para cada aula donde se refuerzan los conceptos de la sesión. Se llegó a 400 escuelas de Lima, Ancash y Junín 50,000 estudiantes de primero y segundo de secundaria en el grupo de tratamiento.
Impacto de ¡Expande tu Mente! 2015
El tratamiento fue realizado de forma aleatoria. Para evaluar el impacto de la innovación sobre el logro de aprendizaje de los alumnos se hizo uso de la ECE 2015.
Los estudiantes expuestos al tratamiento evidenciaron mejores resultados de aprendizaje en matemáticas que aquellos en el grupo control. El impacto de la intervención es especialmente importante una vez se considera su bajo costo: US$ 0.25 por alumno. Intervenciones con resultados similares cuentan con presupuestos mucho mayores.
Surgen nuevas preguntas para afinar la intervención: o ¿Los efectos se potencian en escuelas con Jornada Escolar Completa en Secundaria? o ¿Una mayor intensidad de tratamiento incrementa el efecto? o ¿Tratar a los estudiantes dos años seguidos aumenta el impacto?
¡Expande tu Mente! en Perú – Fase 2016
En el 2016, se continuó experimentando con el objetivo de encontrar la mejor forma de implementar ¡Expande tu Mente! a nivel nacional. La intervención se expandió a casi 1,500 escuelas y 140 mil alumnos de 1° y 2° de secundaria. En algunos grupos de tratamiento, las sesiones están siendo complementadas haciendo uso de videos. Estos videos explican los conceptos de ¡Expande tu Mente! de forma dinámica y divertida. Cuatro brazos de tratamiento: o Grupo A: Sesión 2015 (artículo científico) o Grupo B: Sesión 2015 + 1 video introductorio (Un secreto sobre el cerebro) o Grupo C: Sesión 2015 + 4 videos (Un secreto sobre el cerebro, La magia de los errores, El increíble poder del “todavía”, y Mojo comprende todo). o Grupo D: Sesión 2015 + sesión adicional con una lectura complementaria. Se evaluará el impacto sobre los aprendizajes utilizando la ECE 2016. Los resultados se esperan hacia abril 2017.
Ejemplo 1: Campaña de envío de mensajes de texto para la mejora de la ejecución del PRONIED
El Programa de Mantenimiento de PRONIED transfiere recursos a los locales escolares. En el 2014, se transfirieron S/ 630 millones a 50 mil colegios: o S/ 60 millones no fueron retirados y 6 mil responsables de mantenimiento no retiraron los fondos. o 11% de los responsables no declaró nada de lo retirado, o 16% de los responsables que retiraron los fondos declararon al menos la mitad de sus gastos en forma tardía.
La innovación: En el 2014, PRONIED realizó el envío de SMS recordando fechas clave para el registro de ficha técnica y declaración de gastos. Para el 2015, además del SMS informativo, se probó el envío de mensajes diferenciados: Alerta, Norma Social, Monitoreo, Publicación de omisos, Auditoría. La innovación fue liderada por investigadores de la Universidad del Rosario, IPA y la Universidad de Vanderbilt.
Los mensajes de texto Los mensajes de texto combinaron una parte fija (mensaje con recordatorio) y una parte variable (principio de comportamiento para motivar la realización de la actividad). Alerta + Información
YRMA: ¡ALERTA! Declare los gastos de mantenimiento antes del 30 de setiembre. Para mayor detalle consulte www.pronied.gob.pe.
Monitoreo
LUCILA: Declare los gastos de mantenimiento antes del 30 de setiembre. Tiene S/.3507 sin declarar en el sistema Wasichay.
Norma Social
BENJAMIN: Declare los gastos de mantenimiento antes del 30 de setiembre. El resto de locales en su UGEL avanzan. Falta usted.
Aviso de publicación de omisos
ADRIAN: Declare los gastos de mantenimiento antes del 30 de setiembre. Publicaremos los nombres de los locales y responsables omisos.
Anuncio de auditoría
KARINA: Declare los gastos de mantenimiento antes del 30 de setiembre. Visitaremos el local escolar para supervisar sus actividades.
Impacto de SMS PRONIED La evaluación: La evaluación consideró a 24 mil colegios en todo el país. La evaluación se realizó de forma experimental (asignación aleatoria) e hizo uso de data administrativa. Las variables de resultado analizadas son: registro de la ficha técnica, registro del acta de compromiso, retiro de recursos transferidos, declaración oportuna de gastos. Resultados: Efectos significativos en la declaración oportuna de gastos. Innovación altamente costo efectiva: cada mensaje de texto costó menos de US $0.03.
4.16
SMS PROMEDIO ALERTA + INFORMACIÓN
3.15 4.68
NORMA SOCIAL
5.12
MONITOREO
3.77
PUBLICACIÓN
4.03
AUDITORÍA
PROMEDIO EN GRUPO CONTROL: 74.15%
0
2
4 Puntos porcentuales
6
Lecciones aprendidas (i) Las áreas implementadoras del MINEDU están dispuestas a evaluar e innovar. Existe una cultura de evaluación con miras al aprendizaje y la mejora continua. Maximizar el uso de data administrativa permite generar evidencia de manera oportuna e influir en la toma de decisiones de política con un costo menor. El enfoque en uso de la evidencia ha sido clave. La evidencia que se genera nace con un cliente claro. Los experimentos son la regla de oro en evaluación pero no siempre es posible evaluar de manera experimental. La evaluación no puede detener la implementación. La combinación de evaluaciones de impacto con evaluaciones de procesos puede resultar muy potente para detectar ajustes a intervenciones, particularmente en sus primeros años de operación.
Lecciones aprendidas (ii) El sector público sí puede generar espacios para el aprendizaje y la innovación. MineduLAB es un laboratorio de innovación pionero en el Perú y en la región, que ya es considerado un caso de éxito (What Works Global Summit 2016) y sirve de ejemplo a otros países. El MineduLAB se diferencia especialmente por su relación con la academia. El trabajo colaborativo permite que se combine la experiencia de los investigadores con la experiencia política y operacional de los hacedores de política. La innovación desde el sector público no tiene por qué ser difícil: se puede innovar a bajo costo, rápidamente y sin interrumpir la implementación. La experiencia generada por el laboratorio constituye un bien público con la capacidad de informar la toma de decisiones no sólo del propio Ministerio, sino también de otras agencias gubernamentales en la región que atraviesan retos similares.
Retos pendientes Institucionalizar las herramientas: PASE 2017 y norma técnica del MineduLab Liderar nuevos ciclos de innovación incluyendo a la comunidad académica y el sector privado Profundizar en herramientas de difusión de la evidencia y gestión de la misma Asegurar fondos para mejorar el seguimiento a la implementación de innovaciones de MineduLab y entender los mecanismos Fortalecer a las contrapartes para mejorar la coordinación e implementación de evaluaciones e innovaciones
Gracias