Informando decisiones locales desde la evidencia global Anne Thibault Subdirectora Ejecutiva J-PAL LAC 19 de octubre, 2016
I.
¿Por qué usar evidencia?
II. El desafío de usar evidencia en políticas públicas III. Ejemplo: Inmunización IV. Ejemplo: Información sobre los beneficios de la educación V. Conclusión
I.
¿Por qué usar evidencia?
II. El desafío de usar evidencia en políticas públicas III. Ejemplo: Inmunización IV. Ejemplo: Información sobre los beneficios de la educación V. Conclusión
¿Para qué evaluar? En general, existen varios motivos para evaluar un programa: 1. Mejorar la efectividad del programa Busca generar información enfocada en el diseño o la reformulación del programa, con el fin de mejorar su desempeño y resultados
2. Hacer más eficiente el gasto público Busca emitir un juicio final en cuanto al uso eficiente de los recursos y la contribución real del programa a la resolución de los problemas.
3.
Contestar preguntas de relevancia general en políticas públicas
Busca generar bienes públicos contribuyendo al conocimiento en ciencias sociales y económicas J - PAL
| IPA | I NFORMANDO
DECISIONES LOCALES DESDE LA EVIDENCIA GLOBAL
5
Tipos de uso de evidencia • Uso directo (instrumental) – Toma de decisiones
• Uso conceptual – Forma de pensar sobre un tema
• Uso persuasivo – Argumentar cambios o validar status quo
Referencia: Rossi, 2012 J - PAL
| IPA | I NFORMANDO
DECISIONES LOCALES DESDE LA EVIDENCIA GLOBAL
6
¿De dónde surgen los obstáculos para la incorporación de la evidencia en las políticas? Poca definición de los procesos de aprendizaje
Ambiente poco propicio
Gobiernos dispuestos a integrar evidencia rigurosa en sus procesos de toma de decisiones, pero no saben cómo hacerlo
Evaluar = Auditar
J - PAL
| IPA | I NFORMANDO
Poco uso de evaluaciones existentes
Bajo presupuesto reservado para innovación
DECISIONES LOCALES DESDE LA EVIDENCIA GLOBAL
7
I.
¿Por qué usar evidencia?
II. El desafío de usar evidencia en políticas públicas III. Ejemplo: Inmunización IV. Ejemplo: Información sobre los beneficios de la educación V. Conclusión
El desafío de usar evidencia • Hay un incremento dramático en el número de evaluaciones de impacto en los últimos 20 años • Sin embargo, es poco probable que exista una evaluación de impacto en un contexto exactamente igual a nuestro contexto local, de una programa exactamente igual al que queremos introducir. • ¿Qué podemos hacer?
- ¿Esperar a que haya más evidencia? - ¿Siempre hacer una nueva evaluación antes de ir a un nuevo contexto? - ¿Usar evidencia local pero menos rigurosa? - ¿Usar resultados de un estudio en otro contexto? - ¿Usar evidencia de otros contextos si hay al menos X réplicas o se han hecho en contextos similares? J - PAL
| IPA | I NFORMANDO
DECISIONES LOCALES DESDE LA EVIDENCIA GLOBAL
9
El desafío de usar evidencia • Las evaluaciones de impacto rigurosas son difíciles de
hacer bien y sub-utilizamos su potencial si sólo aprendemos de un programa preciso y un contexto específico. • Debemos de hacer más réplicas de evaluaciones de
programas similares, pero hay límites. • Pero, entender necesidades locales, y cómo funcionan instituciones formales e informales es crítico para una buena política • Hacedores de políticas nunca tienen 100% certeza • Basu (2014): mañana es un contexto nuevo • ¿Contar con evidencia imperfecta es peor que no contar con
evidencia de ningún tipo? J - PAL
| IPA | I NFORMANDO
DECISIONES LOCALES DESDE LA EVIDENCIA GLOBAL
10
Un modo estructurado de pensar sobre el uso de la evidencia • La evidencia de un solo estudio es sólo una parte del rompecabezas – Tenemos que ponderar la importancia de la evidencia que tenemos en base a su calidad y ajustar prioridades. • Necesitamos una manera de pensar que combine teoría económica, evidencia descriptiva y resultados de evaluaciones de impacto rigurosas para responder a estas preguntas: – ¿Son los resultados de un país replicables en otro? – ¿Cuándo es necesario hacer una nueva evaluación de impacto y cuándo no? J - PAL
| IPA | I NFORMANDO
DECISIONES LOCALES DESDE LA EVIDENCIA GLOBAL
11
I.
¿Por qué usar evidencia?
II. El desafío de usar evidencia en políticas públicas III. Ejemplo: Inmunización IV. Ejemplo: Información sobre los beneficios de la educación V. Conclusión
Programa de Vacunación en Rajasthan • Problema: Solo 1% de los niños estaban completamente vacunados. •
¿Por qué? – Precio de las vacunas? – Los padres no se preocupan de los niños? – Problema de acceso a infraestructura de salud? Largas filas de espera? – Percepciones erradas debido a mitos sobre efectos de vacunas? – O quizás porque las personas tienen dificultad en pasar de la intención a la acción?
Referencia: Banerjee, Duflo, Glennerster, Kothari, 2010
13
Incentivos mejoraron las tasas de vacunaciรณn en India Programa de Vacunaciรณn en Rajasthan โ ข Intervenciรณn 1: hacer mรกs fรกcil el proceso de vacunaciรณn (=mejorar la oferta de vacunaciรณn) Campamentos de vacunaciรณn: Unidades mรณviles de vacunaciรณn, una vez al mes en cada pueblo, con una enfermera presente sin falta
Intervenciรณn 2: Hacer mรกs fรกcil la vacunaciรณn + dar una razรณn de no postergar la decisiรณn para mรกs tarde (=mejorar la demanda) Campamentos de vacunaciรณn + Incentivos โ ข
โ 1kg de lentejas por cada vacunaciรณn y un juego de vajilla una vez completo el cronograma de inmunizaciรณn en su totalidad Referencia: Banerjee, Duflo, Glennerster, Kothari, 2010
14
Número de vacunas recibidas Grupo control Campamentos Campamentos + incentivos
Número de vacunas Referencia: Banerjee, Duflo, Glennerster, and Kothari, 2010. J - PAL
| IPA | I NFORMANDO
DECISIONES LOCALES DESDE LA EVIDENCIA GLOBAL
15
¿Cómo usamos estos resultados en Perú? • Si el gobierno peruano quiere mejorar las tasas de
inmunización de los niños peruanos, ¿debería replicar este programa implementado en la India y entregar incentivos? • Primero tenemos que preguntarnos: ¿qué evidencia existe
para responder a esta pregunta específica? ¿Cuántas veces se ha evaluado? Incentivos en alimentación para vacunación Incremento en tasas de inmunización • Sólo una evaluación aleatorizada en Asia del Sur • Programa conducido por una ONG, no por el gobierno J - PAL
| IPA | I NFORMANDO
DECISIONES LOCALES DESDE LA EVIDENCIA GLOBAL
16
¿Cuál es la teoría de cambio detrás del programa? Incentivos en alimentación para vacunación Los padres quieren inmunizar a sus hijos, pero pocos cumplen el programa completo Los padres tienen acceso a las clínicas y los proveedores están presentes
Pre-condiciones básicas
Los padres tienen un sesgo por el presente: postergan decisiones relevantes para sus niños Incentivos pequeños pueden cambiar la tendencia de los padres a postergar la inmunización
Comportamiento en general
Incentivos son entregados a la clínica Incentivos son entregados a los padres
Implementación local
Incremento en tasas de inmunización J - PAL
| IPA | I NFORMANDO
DECISIONES LOCALES DESDE LA EVIDENCIA GLOBAL
17
¿Cuál es la teoría de cambio detrás del programa? Incentivos en alimentación para vacunación Los padres quieren inmunizar a sus hijos, pero pocos cumplen el programa completo Los padres tienen acceso a las clínicas y los proveedores están presentes
Pre-condiciones básicas
Los padres tienen un sesgo por el presente: postergan decisiones relevantes para sus niños Incentivos pequeños pueden cambiar la tendencia de los padres a postergar la inmunización
Comportamiento en general
Incentivos son entregados a la clínica Incentivos son entregados a los padres
Implementación local
Incremento en tasas de inmunización J - PAL
| IPA | I NFORMANDO
DECISIONES LOCALES DESDE LA EVIDENCIA GLOBAL
18
1. Evidencia local sobre pre-condiciones básicas ¿Se mantienen las condiciones básicas? • Evidencia Descriptiva: – ¿Tienen los padres acceso a las clínicas? – ¿Están las clínicas abiertas y los trabajadores de salud presentes? – ¿Cuántos niños han recibido la vacuna DPT1? • Conocimiento Institucional: – Las clínicas en India tienen un solo trabajador, por lo que si se ausentan, la clínica está cerrada. – ¿Cuál es el contexto local y cómo se implementan los programas de vacunación? ¿Existe un problema de oferta de inmunización? J - PAL
| IPA | I NFORMANDO
DECISIONES LOCALES DESDE LA EVIDENCIA GLOBAL
19
¿Qué debemos chequear en el contexto local?
Tasa de inmunización por antígeno País 1 DPT1 DPT3 Sarampión Inmunizacion completa
J - PAL
| IPA | I NFORMANDO
País 2 84 74 67 49
47 41 41 38
DECISIONES LOCALES DESDE LA EVIDENCIA GLOBAL
20
¿Cuál es la teoría de cambio detrás del programa? Incentivos en alimentación para vacunación Los padres quieren inmunizar a sus hijos, pero pocos cumplen el programa completo Los padres tienen acceso a las clínicas y los proveedores están presentes
Pre-Condiciones básicas
Los padres tienen un sesgo por el presente: postergan decisiones relevantes para sus niños Incentivos pequeños pueden cambiar la tendencia de los padres a postergar
Comportamiento en general
Incentivos son entregados a la clínica Incentivos son entregados a los padres
Implementación local
Incremento en tasas de inmunización J - PAL
| IPA | I NFORMANDO
DECISIONES LOCALES DESDE LA EVIDENCIA GLOBAL
21
2. Qué sabemos sobre el “sesgo por el presente” • Las personas postergan acciones relevantes y encuentran difícil mantener en el tiempo conductas que creen correctas para ellos y sus hijos – La economía conductual indaga sobre el “sesgo por el presente” y estudios teóricos muestran que las personas otorgan un valor “monetario” mayor a los efectos de las acciones presentes comparado a las futuras – Las personas están dispuestas a pagar para atar sus propias manos a un compromiso; por ejemplo, a un plan de ahorro. Esto sería difícil de explicar si las personas no fueran conscientes de que tienen un sesgo por tomar acciones sobrevalorando el presente. (e.g. Gine et al. 2010) Referencia: Gine et al., 2010. J - PAL
| IPA | I NFORMANDO
DECISIONES LOCALES DESDE LA EVIDENCIA GLOBAL
22
¿Cuál es la teoría de cambio detrás del programa? Incentivos en alimentación para vacunación Los padres quieren inmunizar a sus hijos, pero pocos cumplen el programa completo Los padres tienen acceso a las clínicas y los proveedores están presentes
Pre-condiciones básicas
Los padres tienen un sesgo por el presente: postergan decisiones relevantes para sus niños Incentivos pequeños pueden cambiar la tendencia de los padres a postergar
Comportamiento en general
Incentivos son entregados a la clínica Incentivos son entregados a los padres
Implementación local
Incremento en tasas de inmunización J - PAL
| IPA | I NFORMANDO
DECISIONES LOCALES DESDE LA EVIDENCIA GLOBAL
23
2. ¿Qué sabemos sobre los efectos de pequeños incentivos sobre este sesgo? • Pequeños incentivos pueden tener grandes impactos en el comportamiento. • Más de 30 evaluaciones aleatorizadas de transferencias condicionadas, pero usualmente son incentivos mucho mayores (Fiszbein and Schady, 2009) • Malawi: transferencias condicionadas menores tuvieron el mismo impacto que las transferencias mayores (Baird et al 2010)
• Evidencia sobre incentivos pequeños para promover pruebas de despistaje del VIH (Thornton 2008), o el aumento de la edad del matrimonio (Field et al, en proceso) Referencia: Fiszbein & Schady, 2009; Baird et al., 2010; Thornton, 2008; Field et al. J - PAL
| IPA | I NFORMANDO
DECISIONES LOCALES DESDE LA EVIDENCIA GLOBAL
24
¿Hay solidez de evidencia a lo largo de teoría del cambio? Incentivos en alimentación para vacunación Los padres quieren inmunizar a sus hijos, pero pocos cumplen el programa completo Los padres tienen acceso a las clínicas y los proveedores están presentes
Pre-Condiciones básicas
Los padres tienen un sesgo por el presente: postergan decisiones relevantes para sus niños Incentivos pequeños pueden cambiar la tendencia de los padres a postergar la inmunización
Comportamiento en general
Incentivos son entregados a la clínica Incentivos son entregados a los padres
Implementación local
Incremento en tasas de inmunización J - PAL
| IPA | I NFORMANDO
DECISIONES LOCALES DESDE LA EVIDENCIA GLOBAL
25
3. ¿Qué sabemos sobre las condiciones locales de implementación • Los resultados que pueden obtenerse de un programa de gobierno pueden diferir de los obtenidos de una implementado por una ONG – ¿Deberíamos hacer otra evaluación aleatorizada?
• ¿Qué otra información y/o evidencia puede ser relevante? • Podría ser bueno tener más evidencia sobre cómo mejorar la entrega de los incentivos por parte del gobierno.
J - PAL
| IPA | I NFORMANDO
DECISIONES LOCALES DESDE LA EVIDENCIA GLOBAL
26
¿Deberíamos recomendar incentivos para aumentar las tasas de inmunización? Incentivos en alimentación para inmunización Los padres quieren inmunizar a sus hijos, pero pocos cumplen el programa completo Los padres tienen acceso a las clínicas y los proveedores están presentes
Pre-condiciones básicas
Los padres tienen un sesgo por el presente: postergan decisiones relevantes para sus niños Incentivos pequeños pueden cambiar la tendencia de los padres a postergar inmunización
Comportamiento en general
Incentivos son entregados a la clínica Incentivos son entregados a los padres
Implementación local
Incremento en tasas de inmunización J - PAL
| IPA | I NFORMANDO
DECISIONES LOCALES DESDE LA EVIDENCIA GLOBAL
27
Las lecciones generales se generalizan mejor Ejemplo: Precios en salud preventiva
28
I.
¿Por qué usar evidencia?
II. El desafío de usar evidencia en políticas públicas III. Ejemplo: Inmunización IV. Ejemplo: Información sobre los beneficios de la educación V. Conclusión
Aprendiendo sobre el Valor de la Educación, República Dominicana • Muchos niños y niñas desertan del colegio justo antes de comenzar su educación secundaria. • No creen que la educación secundaria les brindará mayores ingresos en el futuro. • Se hizo una evaluación aleatorizada para entender el impacto de entregar información sobre los salarios promedio de los trabajadores según los años de escolaridad. • La intervención incrementó la percepción de los retornos de la educación: – La probabilidad de seguir en el colegio al año siguiente aumentó en 4,2 pp (desde 55%) – Los estudiantes completaron 0,2 años de colegio adicional debido a esta intervención durante los 4 años siguientes Referencia: Jensen, 2010 J - PAL
| IPA | I NFORMANDO
DECISIONES LOCALES DESDE LA EVIDENCIA GLOBAL
30
Aprendiendo el Valor de la Educación: TDC Entrega de Información sobre los retornos de la educación
Altas tasas de deserción escolar, especialmente en la transición hacia la educación secundaria
Pre-condiciones básicas
Los estudiantes y sus familias subestiman los retornos de los años adicionales de educación en el mercado laboral
?
Información creíble sobre retornos de la educación lleva a padres y estudiantes a cambiar sus percepciones Se entrega la información a estudiantes y padres (de varias maneras)
Comportamiento en general
Implementación local
Los estudiantes completan más años de escolaridad J - PAL
| IPA | I NFORMANDO
DECISIONES LOCALES DESDE LA EVIDENCIA GLOBAL
31
Línea base: Percepción de los retornos de la educación
Pesos Dominicanos (2001)
12000 9681
10000
8000
6000
5099 4479
4000
3180
3478
3765
2000
0
Escuela Primaria Sueldos
Escuela Secundaria
Estudios Superiores
Percepciones sobre sueldos
Referencia: Jensen, 2010 J - PAL
| IPA | I NFORMANDO
DECISIONES LOCALES DESDE LA EVIDENCIA GLOBAL
32
Evidencia de otros países • En Chile, proporcionar información sobre cómo el esfuerzo y buenas calificaciones aumentan la elegibilidad para becas de estudio: – Disminuyó el ausentismo en el mes siguiente en un 12%, – Incrementó la matrícula en academias pre-universitarias en un 10% (Dinkelman y Martínez, 2014). • Proveer servicios de reclutamiento para puestos en la industria de tercerización de servicios (ej. call centers) a comunidades pobres en India aumentó la inversión en la educación de las adolescentes de estas comunidades (Jensen, 2012). – Las adolescentes postergaron su decisión de casarse y tener hijos para entrar el mercado laboral. – Incrementaron sus niveles educacionales y su probabilidad de participar en programas de capacitación laboral después de la escuela. Referencia: Dinkelman y Martínez, 2014; Jensen, 2012 J - PAL
| IPA | I NFORMANDO
DECISIONES LOCALES DESDE LA EVIDENCIA GLOBAL
33
¿Podría funcionar este enfoque en Perú? A pesar de los avances en cobertura y calidad de los servicios de educación, tasas altas de deserción persisten. 178.000 estudiantes desertan el sistema escolar cada año • 96% tasa de transición de la educación primaria a segundaria • 36% tasa de transición de la educación segundaria a superior. • 26% de la populación entre 25-34 años ha culminado el nivel de educación superior
Tasa de deserción 2014-2015 Fuente: SIAGIE-MINEDU J - PAL
| IPA | I NFORMANDO
Fuente: Instituto Nacional de Estadística e Informática , Estadística de la Calidad Educativa (ESCALE), 2015.
DECISIONES LOCALES DESDE LA EVIDENCIA GLOBAL
Decidiendo para un futuro mejor: muestra de 2.495 escuelas Entrega a los estudiantes y padres información sobre: • Los retornos monetarios y no monetarios de terminar la educación segundaria y superior • Las oportunidades para ingresar al nivel de educación superior
Tasa de deserción 2014-2015 Fuente: SIAGIE-MINEDU J - PAL
| IPA | I NFORMANDO
Proyecto financiado por el el Departamento del Trabajo de EEUU.
DECISIONES LOCALES DESDE LA EVIDENCIA GLOBAL
35
Experimento 1: Tratamiento Video (“Tratamiento masivo”)
Orientación vocacional: una decisión importante
Beca para un sueño
J - PAL
| IPA | I NFORMANDO
DECISIONES LOCALES DESDE LA EVIDENCIA GLOBAL
Experimento 2: Tratamiento App (“Tratamiento intensivo”) – estudiantes y padres
Retornos por nivel de educación
J - PAL
| IPA | I NFORMANDO
Oportunidades para financiar estudios en la educación superior
DECISIONES LOCALES DESDE LA EVIDENCIA GLOBAL
Distintas opciones para la educación superior
I.
¿Por qué usar evidencia?
II. El desafío de usar evidencia en políticas públicas III. Ejemplo: Inmunización IV. Ejemplo: Información sobre los beneficios de la educación V. Conclusión
¿Cómo saber qué podemos replicar o escalar programas de otros contextos? • Tenemos que actuar, así funcionan las políticas públicas. No sabemos todo, pero si algo para hacer cambios de política. Y, debemos seguir evaluando. • Sabemos que el contexto importa y también la cantidad de evidencia que respalde la efectividad de un programa. • Subutilizamos el potencial de las evaluaciones existentes si sólo aprendemos del programa y contexto específico que se evaluó.
J - PAL
| IPA | I NFORMANDO
DECISIONES LOCALES DESDE LA EVIDENCIA GLOBAL
39
En resumen… • ¿Es generalizable la evidencia que entrega una evaluación de impacto? • Pregunta demasiado amplia, necesita descomponerse… – ¿Es similar la necesidad, en la misma población objetivo? – ¿Cuál es la teoría de cambio detrás de la intervención? – ¿Las condiciones locales se mantienen para que la teoría sea válida? Evidencia Descriptiva – ¿Cuál es la evidencia de que el proceso de implementación fue llevado a cabo correctamente? Procesos y pilotos – ¿Cuán fuerte es la evidencia que indica un cambio de conducta general? J - PAL
| IPA | I NFORMANDO
DECISIONES LOCALES DESDE LA EVIDENCIA GLOBAL
40
Para saber mรกs www.povertyactionlab.org Twitter: @jpal_lac