Evaluación de Impacto del Servicio de Acompañamiento a Familias Cuna Más*
Denice Cavero Arguedas Dirección de Calidad del Gasto Público
*En base al informe elaborado por el Banco Interamericano de Desarrollo (julio 2016)
Contenido
1.Antecedentes 2.El SAF 3.La evaluaciรณn de impacto 4.Resultados 5.Conclusiones y recomendaciones
Contenido
1.Antecedentes 2.El SAF 3.La evaluaciรณn de impacto 4.Resultados 5.Conclusiones y recomendaciones
Antecedentes • Los primeros años de vida son considerados la “ventana de oportunidad” más importante para sentar las bases del desarrollo futuro. • Durante la primera infancia (0-5 años) el cerebro tiene su etapa de mayor crecimiento, alcanzando el 80% del tamaño adulto en los primeros tres años de vida y el 90% en los primeros cinco. • Los niños con deficiencias en nutrición, desarrollo cognitivo, del lenguaje, motor y socioemocional tienen menos probabilidades de alcanzar buen desempeño escolar, mayor probabilidad de abandonar la escuela y ser violentos o menos productivos. (Grantham-McGregor et al., 2007; Cuhna et al., 2007; Schady, 2006; Feinstein y Duckworth, 2006; Leseman, 2002; Heckman, 2000; Barnett, 1995).
Brechas socioeconómicas en el DIT
Prueba de vocabulario en zonas rurales (niños de 4 años) 110
CSE(richest) alta quartile First
105
Puntaje promedio TVIP
100
Fourth (poorest) quartile CSE baja
95 90 85 80 75 70 65 60
Chile Fuente: Schady et al. 2015
Colombia
Ecuador Nicaragua
Peru
Contenido
1.Antecedentes 2.El SAF 3.La evaluaciรณn de impacto 4.Resultados 5.Conclusiones y recomendaciones
El SAF -PNCM Objetivo: Fortalecer las prácticas de cuidado y aprendizaje infantil Ámbito de intervención: zonas rurales Sesiones Individuales: Realizadas en visitas al hogar • Realizado por Facilitadores/as. • Frecuencia: 1 vez a la semana
• Duración: 60 minutos Sesiones Comunales: En espacios comunales implementados y acondicionados. • Realizado por el AT • Duración: 90 minutos • Frecuencia: mensual/trimestral
Las prácticas que fortalece el Programa
CUIDADO SALUDABLE
APRENDIZAJE
Alimentación: • Lactancia exclusiva • Alimentación complementaria • Consumo de micronutrientes Higiene y Aseo: • Lavado de manos y consumo de agua segura. Asistencia oportuna al control de CRED
• • • •
Comunicación Interacción Juego Disciplina y refuerzo positivo
Focalización y población objetivo Focalización Geográfica: Distritos pobres y pobres extremos (>50%) Tasas elevadas de DCI en niños menores a 5 años (> 30%) Distritos del ámbito de intervención del Programa Nacional de Apoyo directo a los más pobres “JUNTOS”
Población Objetivo: Niñas y niños menores de 36 meses o madres gestantes En 2015 llegó a 82 mil niños en 580 distritos
El SAF - PNCM
RESULTADO FINAL
OBJETIVOS
MEDIDA DE DESEMPEÑO
Niños y niñas con competencias básicas
Mejorar el logro del aprendizaje esperado en Comunicación Integral Pensamiento Lógico Matemático
OBJETIVOS
MEDIDA DE DESEMPEÑO
% de niño(a)s que alcanzan los hitos:
RESULTADO ESPECÍFICO
Mejora en el nivel de desarrollo infantil de niño(a)s que viven en pobreza y pobreza extrema
(i) física (motricidad fina y gruesa), (ii) cognitiva (resolución de problemas), (iii) lenguaje (comunicación) (iv) socioemocional (relación con otros y autonomía básica)
Contenido
1.Antecedentes 2.El SAF 3.La evaluaciรณn de impacto 4.Resultados 5.Conclusiones y recomendaciones
La evaluación de impacto del SAF
• Objetivo: Medir el efecto del SAF sobre el nivel del desarrollo de los niños menores de 36 meses en las dimensiones motora, cognitiva, de lenguaje y socioemocional • Metodología: Diseño experimental, con asignación aleatoria a nivel de conglomerados, aprovechando la progresividad de la implementación del programa. • Aunque el diseño inicial de la muestra planteó medir efectos diferenciados para visitas y sesiones comunales, no fue posible medir efectos de sesiones grupales por problemas de implementación.
La teoría de cambio
1
Interacciones adultoniño
2
Actividades y materiales de juego
3
Disciplina y refuerzo positivo
Mayor desarrollo infantil
Cognitivo, Lenguaje, Motricidad Socioemocional
La muestra y datos Muestra distribuida entre 12 departamentos a nivel nacional, 67 provincias,180 distritos, 360 cc.pp. 120 distritos tratados 60 distritos de control Encuesta Nacional de Salud y Desarrollo en la Primera Infancia (ASQ, ASQ-3, Prácticas de crianza, conocimientos y ambiente en el hogar, antropometría). LdB: 2012, 5859 niño(a)s LdS: 2015, 5339 niño(a)s
Medición del desarrollo infantil Cuestionario de Edades y Etapas, Ages and Stages Questionnaire ASQ-3 (INEI) • Prueba de tamizaje, disponible en español, adaptada al contexto peruano por psicólogas locales • 5 áreas: resolución de problemas, comunicación, motora fina, personal-social, y motora gruesa • LdB (2012) y LdS (2015) • Tamaño de muestra de línea de seguimiento 5,339 niños (atrición 8%) Escala de Bayley, Bayley Scales of Infant and Toddler Development Bayley • Prueba diagnóstica considerada el “gold standard” • 3 áreas: resolución de problemas, comunicación y motricidad fina • Administrada a una sub-muestra de ~1000 niños por sicólogas en condiciones óptimas • Sub muestra:1,038
Medición del desarrollo infantil (2) Medición de la Calidad
Objetivo: Lograr una mejor comprensión sobre la calidad de las visitas domiciliarias del SAF y cómo ésta se traduce en resultados sobre el desarrollo infantil.
HOVRS: Instrumento observacional. Evalúa la efectividad de la visita domiciliaria. Dominios: 1. Prácticas de la facilitadora en la visita 2. Involucramiento de la familia
Muestra: 176 facilitadoras, 554 visitas
Línea de tiempo
2014
2013 abr
jun
Línea de Base (1-24 meses)
ago
sep
nov
2015 may - dic
Seguimiento (22-55 meses) Generación de Condiciones
Bayley Calidad Visitas
EstadĂsticas descriptivas
EstadĂsticas descriptivas
Heterogeneidad en la participación Muestra de la evaluación: 3870 niños asignados a T. De ellos 1400 (36%) no reciben el SAF 2470 (64%) recibe el SAF Otros 17% Tratados 64%
40 CCPP no elegible… No llegó SAF… > 24m cuando llegó…
Heterogeneidad de las Visitas
Ninguna visita 1 a 8 visitas (hasta 2 meses)
9 a 24 visitas (2 a 6 meses) 25 a 48 visitas (6 a 12 meses)
36.10 1.45 4.99
12.95
49 a 72 visitas (12 a 18 meses) 73 a 96 visitas (18 a 24 meses) > de 96 visitas (>de 24 meses)
19.00 14.78 10.65
Balance de la muestra
Contenido
1.Antecedentes 2.El SAF 3.La evaluaciรณn de impacto 4.Resultados 5.Conclusiones y recomendaciones
Resultados – ASQ (ITT)
Resultados – ASQ (TOT)
Resultados – Bayley (ITT)
Resultados – Bayley (TOT)
Resultados - Calidad
Resultados • SAF tiene impactos robustos y significativos en el desarrollo infantil, especialmente en las áreas cognitiva y de lenguaje receptivo
Magnitud del impacto ~ 6-8% de una desviación estándar (ITT) Magnitud del impacto ~ 9-12% de una desviación estándar (TOT) • Con el Bayley los resultados son consistentes (desarrollo cognitivo y lenguaje) y de mayor magnitud: Magnitud del impacto: 16-25% de una desviación estándar (ITT) Magnitud del impacto: 19-30% de una desviación estándar (TOT) • Los posibles mediadores: más actividades de juego, mayor disponibilidad de juguetes caseros, menos prácticas violentas de disciplina y una mayor matrícula en educación inicial. • Espacio de mejora de la calidad del servicio en las actividades y protocolos de la facilitadora durante la visita.
Limitaciones de la evaluación • Evaluación de la primera fase de un programa en construcción, afrontó problemas de implementación:
Sub-cobertura dentro del grupo de tratamiento (sub-estimación de impactos) • Retrasos en entrega de materiales, capacitación, etc. Implicó que se redujo la duración de la intervención para una parte de la muestra de niños
• No se cuenta con una medición del desarrollo infantil representativa de todos los niños rurales peruanos.
Contenido
1.Antecedentes 2.El SAF 3.La evaluaciรณn de impacto 4.Resultados 5.Conclusiones y recomendaciones
Conclusiones • Efectos robustos y significativos de las sesionoes individuales en el DIT, especialmente en las áreas cognitiva y de lenguaje receptivo. No se encontraron efectos robustos en la dimensión de motricidad. • Los posibles mediadores: juego, juguetes caseros, menos prácticas violentas de disciplina y asistir a educación inicial. • No se midieron efectos del componente de sesiones comunales. • Se identifican espacios de mejora en la implementación en cuanto a las prácticas de las visitas y de lograr un mayor involucramiento de la familia
Recomendaciones (EDEP+EI) • Fortalecer la implementación del modelo de cogestión con la comunidad sobre el que se sustenta el Programa. • Diseñar estrategias para la reducción de la alta rotación y deserción existente entre AT y AC, a fin de garantizar una mayor continuidad y mayor calidad en la relación establecida facilitador-madre/cuidador-niño.
• Mejorar la Calidad de las visitas: • Lograr mayor involucramiento de la familia con el niño • Garantizar el cumplimiento de la cantidad programada de visita, duración y frecuencia
Recomendaciones (EDEP+EI) • Fortalecer el sistema de monitoreo del Programa, optimizar y sistematizar los procesos de registro, reporte, procesamiento de la información recogida en campo. • Realizar la medición del desempeño del Programa con base a estos instrumentos desarrollados para esta evaluación
• Fortalecer la articulación a nivel horizontal (entre programas sociales) y vertical (entre los tres niveles de gobierno), en el marco de sus competencias, para lograr una mayor efectividad y eficacia en el logro de los resultados.
Agenda Futura PNCM • Mejorar la implementación, operatividad y calidad del servicio.
• Suscripción de compromisos de mejora del desempeño por parte del Programa para implementar las recomendaciones de las evaluaciones realizadas. • Una segunda medición de los impactos del SAF para evaluar efectos en los logros del aprendizaje en la educación básica.
Gracias! Denice Cavero Arguedas dcavero@mef.gob.pe