Evaluación de impacto ¿En qué consiste?

www.poverty-action.org

EVALUACIÓN DE IMPACTO ¿En qué consiste?

Juan M. Hernández-Agramonte

Evaluación aleatoria de impacto

1

EVALUACIÓN ¿Por qué evaluar?

2

EVALUACIÓN Evaluación de impacto

www.poverty-action.org

3

METODOLOGÍA ¿Cómo evaluar el impacto?

4

ESTADO Evaluaciones de políticas sociales

Muchas Preguntas para las políticas de educación

¿Cuál es la mejor forma de enseñar matemática y ciencias en contextos de diversidad cultural y bilingües?

Evaluaciones instrumentos de gran utilidad para la política pública

1 2 3

Necesitamos evidencia de qué funciona y qué no funciona, tenemos escasos recursos, y programas sociales mal diseñados pueden causar más daño que beneficio.

Testear diferentes diseños de un mismo programa, de esta manera podemos mejorar su impacto e innovar.

Garantizar la sostenibilidad de los programas que funcionan, ante recortes presupuestales o cambios políticos.

Evaluación de impacto Evaluación de programas

EVALUACIÓN DE IMPACTO ¿Cuál es el impacto del (Programa) en los (Beneficiarios)? programa de becas en la tasa de matriculación de ¿Cuál es el impacto de un los participantes?

Evaluación de Impacto

¿Cuál es el impacto de un programa

educación temprana en matemáticas en las habilidades matemáticas de los niños?

de

MIDIENDO EL IMPACTO COMPARANDO CON UN CONTRAFACTUAL

www.poverty-action.org

¿Cómo evaluar el impacto?

PUNTUACIÓN EN TEST ESTANDARIZADO DE MATEMÁTICAS (0/100)

70 ESTUDIANTES TRAS RECIBIR UN PROGRAMA (final del año escolar 2013)

50 MISMO GRUPO SI NO HUBIERA RECIBIDO EL PROGRAMA (final del año escolar 2013)

CONTRAFACTUAL

20

IMPACTO DEL PROGRAMA

¿Cómo evaluar el impacto?

Evaluación de un programa de matemáticas temprana

Programa/Política Resultado matemáticas

Impacto (mejora)

Tiempo

驴C贸mo evaluar el impacto?

Evaluaci贸n de un programa de anti-pobreza

Programa/pol铆tica Resultado ingresos

Impacto

Tiempo

¿Cómo evaluar el impacto?

Evaluación de un programa de capacitación laboral

Resultado contratados

Programa/Política

Tiempo

¿CÓMO COMPARAR? BUSCANDO UN CONTRAFACTUAL

www.poverty-action.org

Contrafactual recrear Representa el “mundo” que los participantes del programa hubieran experimentado sin el programa.

Problema: Problema No podemos observar el contrafactual. Una vez que hemos entregado un programa a un grupo de beneficiarios ya no podemos observar la situación de los mismos beneficiarios sin éste.

Solución Podemos replicar el contrafactual con un grupo Solución: control que sea similar.

ELEGIMOS UN GRUPO SIMILAR EN SUS CARACTERÍSTICAS QUE NO HAYA RECIBIDO EL PROGRAMA

Recibe el programa

Grupo Tratamiento

No recibe el programa

Grupo Control

Contrafactual sesgo Se puede producir un sesgo a la hora de seleccionar los grupos si no se hace de forma aleatoria (“comparamos peras con manzanas”) INICIO

50

Muestra n = 12

Tratamiento (Con Programa)

COMPARACIÓN FINAL

“Mejores” escuelas en T

Selección Control

“Peores” escuelas en C

(Sin Programa)

30 Escuelas con resultados más bajos

Sobrestimación del impacto: Existían diferencias previas al programa!

Escuelas con resultados más altos

Contrafactual selección aleatoria La selección debe ser aleatoria para que los grupos sean comparables (ley de los grandes números) “manzanas con manzanas”. La asignación aleatoria es la forma más objetiva de asignar un programa cuando los recursos son escasos.

INICIO

Muestra n = 12

40

FINAL

(Con Programa)

Escuelas “mejores y peores” en T

Control

Escuelas “mejores y peores” en C

Tratamiento

Selección

(Sin Programa)

40 Escuelas con resultados más bajos

Cualquier diferencia es el Impacto del programa

Escuelas con resultados más altos

¿CÓMO COMPARAR? TIEMPO

www.poverty-action.org

Comparar grupos Finalización INICIO (Línea de base)

¿Cuál es el impacto?

FINAL (Línea final)

40

80

Tratamiento

Tratamiento

(Con Programa)

(Con Programa)

Control

Control

(Sin Programa)

(Sin Programa)

40

60

Escuelas con resultados más bajos

20!

Escuelas con resultados más altos

EVALUACIÓN ALEATORIA CONCEPTOS BÁSICOS

www.poverty-action.org

Evaluaciones de impacto aleatorias

1 2 3

Necesitamos un grupo de comparación: • Contrafactual • Recreamos el contrafactual con un grupo control con características similares Los beneficiarios del piloto se asignan aleatoriamente a los grupos: • Para evitar sesgos en la comparación

Medimos a ambos grupos en las variables de resultado al inicio y al final: • Inicio: son iguales en promedio.

• Final: Como eran iguales cualquier diferencia es producto del programa

Ejercicio evaluaciones de impacto Evaluamos un programa de matemáticas tempranas a través de una prueba estandarizada de matemáticas. Para evaluar usamos la siguiente metodología:

1

Medimos un grupo de escuelas que recibió el programa al inicio del año escolar. Luego volvemos a medirlos al final del año escolar.

¿Es una forma confiable de medir los resultados? ¿Porqué si o no?

Ejercicio evaluaciones de impacto Evaluamos un programa de matemáticas tempranas a través de una prueba estandarizada de matemáticas. Para evaluar usamos la siguiente metodología:

2

Medimos un grupo de escuelas de Lima que recibió el programa, y lo comparamos el resto de escuelas de Lima que no recibió el programa.

¿Es una forma confiable de medir los resultados? ¿Porqué si o no?

Ejercicio evaluaciones de impacto Evaluamos un programa de matemáticas tempranas a través de una prueba estandarizada de matemáticas. Para evaluar usamos la siguiente metodología:

3

Tenemos un grupo de escuelas, por sorteo elegimos la mitad que recibirá el programa y la otra mitad no. Y al final del programa las comparamos. ¿Es una forma confiable de medir los resultados? ¿Porqué si o no?

Gracias CONTACTOS Juan Manuel Hernández-Agramonte, Gerente de Políticas (J-PAL) jmhernandez@povertyactionlab.org

Sergio De Marco, Asociado de Proyectos (IPA) sdemarco@poverty-action.org Adam Kemmis Betty, Director de País para Perú, Paraguay y Bolivia (IPA) akbetty@poverty-action.org

www.povertyactionlab.org/es/LAC

www.poverty-action.org