REDPERUME 20 de octubre, Lima
Análisis de evidencia María Luisa Vásquez Subgerente de Políticas de J-PAL LAC
Objetivos • Distinguir entre distintos tipos de evidencia • Identificar los principales aspectos que determinan la calidad de la evidencia causal • Entender cómo aprovechar evidencia generada en otros contextos • Saber cómo realizar una revisión de evidencia rápida J-PAL-IPA |ANÁLISIS
DE
E VIDENCIA
2
I. Motivación II. Tipos de Evidencia III. ¿Cómo determinar calidad de la evidencia? IV.¿Cómo generalizar Evidencia? V. ¿Cómo revisar Evidencia?
I. Motivación II. Tipos de Evidencia III. ¿Cómo determinar calidad de la evidencia? IV.¿Cómo generalizar Evidencia? V. ¿Cómo revisar Evidencia?
Motivación ¿Qué significa “programas o instrumentos sociales informados por evidencia”? ¿Por qué revisar evidencia? • La evidencia nos permite conocimiento que ya existe:
construir
sobre
el
– Nuestro diseño puede parecer muy bueno, pero podemos estar olvidando algunos aspectos relevantes que podrían hacerlo fracasar. – Por ello, es importante incorporar las lecciones que nos arroja la literatura sobre cómo han resultado previamente iniciativas parecidas, sobre contextos parecidos en el que queremos operar. J-PAL-IPA |ANÁLISIS
DE
E VIDENCIA
5
Motivación Proceso de incorporar evidencia existente en las políticas públicas…
Identificación de principales lecciones
Revisión de evidencia
J-PAL-IPA |ANÁLISIS
DE
E VIDENCIA
Toma de decisiones informadas por evidencia
Instrumentos más eficientes y efectivos
6
¿Qué debemos considerar para tomar decisiones de políticas públicas?
Ideología • Propia • Externa
Apoyo • Presupuestal • Político • Capacidad
Conocimiento
• Evidencia
• Experiencia • Personal • Colectiva
Programas y Políticas Sociales
J-PAL-IPA | T ALLER
DE
D ISEÑO
DE I NTERVENCIONES BASADAS EN EVIDENCIA
7
Estudios sugerían que las vacunas podían generar autismo en niños…
J-PAL-IPA |ANÁLISIS
DE
E VIDENCIA
8
Padres comenzaron a dejar de vacunar a sus hijos…
J-PAL-IPA |ANÁLISIS
DE
E VIDENCIA
9
Algunos países incluso trataron de pasar leyes para prohibir el timerosal en vacunas…
J-PAL-IPA |ANÁLISIS
DE
E VIDENCIA
10
Y el estudio fue retractado.
J-PAL-IPA |ANÁLISIS
DE
E VIDENCIA
11
I. Motivación II. Tipos de Evidencia III. ¿Cómo determinar calidad de la evidencia? IV.¿Cómo generalizar Evidencia? V. ¿Cómo revisar Evidencia?
Tipos de evidencia • La evidencia, de forma general, nos da el sustento o conocimiento para cualquier afirmación – Evidencia basada en la experiencia – Evidencia descriptiva – Evidencia causal
J-PAL-IPA |ANÁLISIS
DE
E VIDENCIA
13
Tipos de evidencia ¡Distintos tipos de preguntas requieren distintos tipos de respuestas! ANÁLISIS TEÓRICO
EVIDENCIA DESCRIPTIVA
J-PAL-IPA |ANÁLISIS
DE
E VIDENCIA
EVIDENCIA DESCRIPTIVA
EVIDENCIA CAUSAL
EVIDENCIA CAUSAL
14
Tipos de evidencia Evidencia Descriptiva: Describe las características de una muestra apuntando a generalizar a la población Estudios publicados, censos o encuestas disponibles, o encuestas y entrevistas cualitativas realizadas. Conocer las necesidades de los beneficiarios , y mejorar el diseño de la intervención
J-PAL-IPA |ANÁLISIS
DE
E VIDENCIA
15
Tipos de evidencia Evidencia Descriptiva: Datos de Proceso • Describen si las actividades de un programa fueron llevadas a cabo como planificado. – Ej.: Sólo 50% de los subsidios otorgados fueron utilizados por los emprendedores.
• Pueden indicar problemas en la implementación y así ayudar a mejorar el diseño de la intervención. • No nos dice si la intervención tiene impacto en sus objetivos finales.
J-PAL-IPA |ANÁLISIS
DE
E VIDENCIA
16
Tipos de Evidencia: • Evidencia Causal • Esta evidencia trata de atribuir causas a efectos, y medir la magnitud de dichos efectos Pros
Contras
Existencia de impacto
No determina objetivos
Maneras de abordar objetivos de política
No determina valores de acción política
– Ejemplo: ¿Si regalamos computadores a niños aumenta su rendimiento? ¿Será mejor regalar libros? J-PAL-IPA |ANÁLISIS
DE
E VIDENCIA
17
Tipos de evidencia Evidencia Causal
• Es la evidencia más relevante para el problema en cuestión, y se obtiene de: – Evaluaciones de impacto aleatorias (experimentales) bien diseñadas – Evaluaciones diseñadas
de
impacto
cuasi-experimentales
– Revisiones sistemáticas y meta-análisis experimentales y cuasi-experimentales J-PAL-IPA |ANÁLISIS
DE
E VIDENCIA
de
bien
estudios
18
Tipos de estudios que NO permiten argumentar causalidad – Evaluaciones no experimentales (ej. antes y después) o experimentales y cuasi-experimentales mal diseñadas – Evidencia descriptiva o cualitativa (casos de estudio, etc). – Opinión de expertos o intuición
J-PAL-IPA |ANÁLISIS
DE
E VIDENCIA
19
Los resultados de las evaluaciones aleatorizadas pueden ser sorprendentes Cocinas más Limpias • Bangladesh: poca demanda de cocinas más limpias
• India: cocinas más limpias no tuvieron impacto en la salud porque las familias no las usaban o mantenían • Senegal: programa de cocinas mejoradas mejoró salud auto-reportada pues mujeres empezaron a cocinar afuera, usaron estufas mejoradas solo para ciertas comidas
J-PAL-IPA |ANÁLISIS
DE
E VIDENCIA
20
Los resultados de las evaluaciones aleatorizadas pueden ser sorprendentes TICs en educación • Computers for education en Colombia y OLPC en Perú: impacto solo en conocimiento informático, no general • Pratham, India: programa efectivo de juegos matemáticos en lengua local a ritmo regulable • Gyan Shala, India: efectivo cuando complementa programa escolar regular. Contraproducente cuando remplaza al programa regular.
J-PAL-IPA |ANÁLISIS
DE
E VIDENCIA
21
I. Motivación II. Tipos de Evidencia III. ¿Cómo determinar calidad de la evidencia causal? IV.¿Cómo generalizar Evidencia? V. ¿Cómo revisar Evidencia?
Calidad de la evidencia
J-PAL-IPA |ANÁLISIS
DE
E VIDENCIA
23
Calidad de la evidencia
J-PAL-IPA |ANÁLISIS
DE
E VIDENCIA
24
No toda la evidencia causal es de la misma calidad
• Existe una gran cantidad de estudios académicos disponibles • Difícilmente dispondremos de tiempo para leer todo • ¿Cómo puedo saber qué estudios son mejores o más confiables?
J-PAL-IPA |ANÁLISIS
DE
E VIDENCIA
25
Escala de evidencia • Revisión sistemática – Una síntesis de resultados de diversos estudios • Experimentos aleatorios controlados – Asignación aleatoria a tratamiento y control • Estudios cuasi-experimentales
– Comparación de poblaciones similares • Estudios pre-post – Comparación de resultados antes y después de la intervención
J-PAL-IPA |ANÁLISIS
DE
E VIDENCIA
26
Escala de evidencia del MEF Nivel
Tipo A.1. Meta análisis
Nivel A
A.2. Revisión sistemática A.3. Estudios experimentales B.1. Regresión discontinua B.2. Variables instrumentales
Nivel B
B.3. Estudios con data longitudinal
B.4. Técnicas de emparejamiento B.5. Ecuaciones simultáneas C.1. Estudios de factores asociados C.2. Análisis multivariado C.2. Modelos de elección discreta lineal
Nivel C
C.3. Diferencia simple C.3. Correlaciones
J-PAL-IPA | T ALLER
DE
C4. Sistematización de registros administrativos DE I NTERVENCIONES BASADAS EN EVIDENCIA
D ISEÑO
27
Escala de evidencia • Estas jerarquías sirven para juzgar la validez interna de los estudios • No deben usarse al pie de la letra, son orientadoras
• Estas jerarquías hablan del potencial de sesgo que tienen distintas metodologías de análisis • Una buena medida de calidad de la evidencia es que la evaluación esté publicada en una revista científica con revisión de pares J-PAL-IPA |ANÁLISIS
DE
E VIDENCIA
28
Buenas prácticas para encontrar resultados confiables
• Ir a la fuente: leer el estudio original o su resumen • Enfocarse en la metodología • Los artículos publicados en revistas científicas son más confiables
J-PAL-IPA |ANÁLISIS
DE
E VIDENCIA
29
Buenas prácticas para encontrar resultados confiables: desconfiar • Cuando una correlación es confundida con causalidad • No hay grupo de control
• Los autores hacen afirmaciones exageradas • No hay pruebas de robustez • Varias hipótesis son evaluadas pero solo algunas presentadas: “Evaluamos 50 hipótesis y encontramos que 5 tienen resultados estadísticamente significativos”
J-PAL-IPA |ANÁLISIS
DE
E VIDENCIA
30
Cuando lean una afirmación, pregúntense 1. Se trata de una afirmación: – ¿descriptiva? – ¿de proceso? – ¿de correlación? – ¿de relación causal?
2. ¿Los resultados corresponden con la afirmación?
J-PAL-IPA |ANÁLISIS
DE
E VIDENCIA
31
Datos de proceso • Pueden ser muy útiles para interpretar los resultados de una evaluación de impacto – ¿Fueron los servicios provistos como planeado a los destinatarios apropiados?
• ¿Como fueron levantados los datos? • No pueden ser interpretados como resultados de impacto
J-PAL-IPA |ANÁLISIS
DE
E VIDENCIA
32
Correlaciones: interesantes no causales Describen una relación recíproca entre dos Indicadores/ variables. Interesantes pero no significan causalidad. Ejemplo:
Mujeres que tienen hijos en su adolescencia tienen menor probabilidad de tener buena atención médica y tienen más complicaciones asociadas al parto.
¿Es el problema el embarazo adolescente? J-PAL-IPA |ANÁLISIS
DE
E VIDENCIA
33
Correlaciones: interesantes no causales
Mujeres que tienen hijos en la adolescencia también tienen menos educación, vienen de hogares más pobres, etc.
¿Es menos probable que reciban buena atención médica porque están teniendo hijos en la adolescencia o porque son menos educadas, más pobres…?
J-PAL-IPA |ANÁLISIS
DE
E VIDENCIA
34
Evaluaciones de impacto 1. ¿Cuál es la metodología utilizada?
2. ¿Los supuestos de la metodología son plausibles? ¿Han sido evaluadas? (¿El grupo de control es similar al de tratamiento?)
3. ¿La muestra tiene el tamaño suficiente?
4. ¿La muestra es representativa de la población? ¿La intervención evaluada es generalizable? J-PAL-IPA |ANÁLISIS
DE
E VIDENCIA
35
I. Motivación II. Tipos de Evidencia III. ¿Cómo determinar calidad de la evidencia causal? IV.¿Cómo generalizar Evidencia? V. ¿Cómo revisar Evidencia?
El reto de usar evidencia en otros contextos • Hay un incremento dramático en el número de evaluaciones de impacto en los últimos 20 años. • Pero, es poco probable que exista una evaluación de impacto específicamente sobre el programa que se quiere introducir en la misma localidad.
J-PAL-IPA |ANÁLISIS
DE
E VIDENCIA
¿Cómo generalizar resultados? • Encontramos evidencia de que un programa funciona en Madagascar.
¿Funcionará en el Perú?
J-PAL-IPA |ANÁLISIS
DE
E VIDENCIA
38
¿Cómo generalizar resultados? • Validez interna: ¿la evaluación cumple con las condiciones necesarias para “identificar” el efecto del programa?
• Validez externa: ¿podemos generalizar los resultados de la evaluación a otros contextos?
J-PAL-IPA |ANÁLISIS
DE
E VIDENCIA
39
Validez externa
• Diseño de la muestra de la evaluación: – ¿Se hizo un muestreo aleatorio? Si se hizo, ¿cuál es la población representada por la muestra?
J-PAL-IPA |ANÁLISIS
DE
E VIDENCIA
40
A veces tenemos resultados consistentes a través de distintos contextos…
Evaluaciones de Modelos de Graduación de Extrema Pobreza alrededor del mundo J-PAL-IPA |ANÁLISIS
DE
E VIDENCIA
Los MGEP son intervenciones integrales para apoyar a las personas en extrema pobreza para salir adelante Transferencia de activos productivos
Salud
Apoyo al consumo
J-PAL-IPA |ANĂ LISIS
DE
E VIDENCIA
Ahorro
Beneficiarios
Visitas a hogares
CapacitaciĂłn
Los resultados fueron consistentemente positivos y costo-efectivos
J-PAL-IPA |ANĂ LISIS
DE
E VIDENCIA
A veces no tenemos muchas evaluaciones…¿qué hacer? • ¿Esperar la llegada de más estudios rigurosos? • ¿Siempre evaluar una intervención antes de implementar en el nuevo contexto? • ¿Solo usar estudios conducidos en el mismo contexto? (aunque no sean rigurosos) • ¿Usar resultados producidos en un contexto distinto? J-PAL-IPA |ANÁLISIS
DE
E VIDENCIA
44
El rol de los estudios rigurosos • Si nos ceñimos únicamente al programa específico y su contexto no explotamos todo los aprendizajes potenciales • Los estudios rigurosos existentes pueden ayudarnos a mejorar el impacto de nuestros programas • Importante identificar:
– ¿En qué medida mi población objetivo se parece a la población del estudio de referencia? – Condiciones del contexto que influyen en el impacto del programa (¿similares/diferentes?) – Mecanismos causales J-PAL-IPA |ANÁLISIS
DE
E VIDENCIA
45
Incentivos mejoraron las tasas de inmunización en India • Intervención 1: Campamentos de vacunación – Unidades móviles de vacunación, una vez al mes en cada pueblo, con una enfermera presente sin falta •
Intervención 2: Campamentos + Incentivo – 1kg de lentejas por cada vacunación, juego de vajilla una vez completo el cronograma de inmunización
Banerjee et al., 2010 J-PAL-IPA |ANÁLISIS
DE
E VIDENCIA
¿Cuál es la teoría de cambio detrás del programa? Padres quieren vacunar
Pueden acceder a la clínica
Padres procrastinan
¿Las condiciones básicas se mantienen localmente? Incentivos entregados a clínica
Presencia de proveedores suficientes
Incentivos dados a padres
Logística local es crítica Pequeño incentivo contrarresta sesgo
Inmunización aumenta
Evidencia de sobre conducta J-PAL-IPA |ANÁLISIS
DE
E VIDENCIA
Salud mejora
Impacto
I. Motivación II. Tipos de Evidencia III. ¿Cómo determinar calidad de la evidencia causal? IV.¿Cómo generalizar Evidencia? V. ¿Cómo revisar Evidencia?
Revisión de evidencia
• Objetivo – Realizar una revisión sistemática de las investigaciones sobre un tema específico y partir de ello preparar una síntesis de la evidencia encontrada
J-PAL-IPA |ANÁLISIS
DE
E VIDENCIA
49
Consejos • En muchos temas existen revisiones sistemáticas de evidencia. • Es importante escoger un tema acotado.
• No hay que revisar en profundidad todos los artículos, el abstract puede ser un buen aliado • También podemos agregar palabras clave como “Systematic review”, “meta-analysis”, “impact evaluation”, “randomized control trial” J-PAL-IPA |ANÁLISIS
DE
E VIDENCIA
50
J-PAL-IPA |ANÁLISIS
DE
E VIDENCIA
51
J-PAL-IPA |ANÁLISIS
DE
E VIDENCIA
52
J-PAL-IPA |ANÁLISIS
DE
E VIDENCIA
53
J-PAL-IPA |ANÁLISIS
DE
E VIDENCIA
54
J-PAL-IPA |ANÁLISIS
DE
E VIDENCIA
55
J-PAL-IPA |ANÁLISIS
DE
E VIDENCIA
56
¿Dónde más? • En la web de J-PAL e IPA encontraran evidencia de muy buena calidad - J-PAL: http://povertyactionlab.org/evaluations
- IPA: http://www.poverty-action.org/work/publications
J-PAL-IPA |ANÁLISIS
DE
E VIDENCIA
57
¿Dónde más? • 3ie Impact Evaluation Repository – Repositorio de evaluaciones de impacto: http://www.3ieimpact.org/evidence/impact-evaluations/impactevaluation-repository/
•
Campbell Collaboration – Revisiones de evidencia sobre intervenciones en política social, educación, empleo y crimen y justicia: http://www.campbellcollaboration.org/
•
Independent Evaluation Group del Banco Mundial – Evaluaciones de los programas del Grupo del Banco Mundial: http://ieg.worldbank.org/
•
Banco Interamericano de Desarrollo – Repositorio de evaluaciones de impacto http://www.iadb.org/en/topics/development-effectiveness/evaluationhub/impact-evaluation,17863.html
J-PAL-IPA |ANÁLISIS
DE
E VIDENCIA
58
¿Dónde más? • The Coalition for Evidence-based Policy – Evaluaciones de programas sociales: http://evidencebasedprograms.org/
• What Works Clearinghouse – Revisiones de evidencia sobre intervenciones educativas: http://ies.ed.gov/ncee/wwc/
• Annual Reviews – Revisiones de evidencia sobre gran diversidad temas: http://www.annualreviews.org/
• Crime Solutions – Revisiones de evidencia sobre crimen: https://www.crimesolutions.gov/
J-PAL-IPA |ANÁLISIS
DE
E VIDENCIA
59
Conclusiones
Conclusiones • Buscamos evidencia causal relevante para nuestro programa • Verificamos que la evaluación sea rigurosa – Puede ser según la metodología, autor o publicación en revista científica
• Analizamos hasta que punto la información es generalizable para nuestro programa
J-PAL-IPA | T ALLER
DE
D ISEÑO
DE I NTERVENCIONES BASADAS EN EVIDENCIA
61
Gracias