Por qué aleatorizar
Cuándo aleatorizar
Cómo aleatorizar
Pasos claves
Respuesta a críticas
Diseños de aleatorización
Por qué aleatorizar
Cuándo aleatorizar
Cómo aleatorizar
Pasos claves
Respuesta a críticas
Objetivos de aprendizaje Al final de esta presentación se espera que el participante pueda: 1. Identificar opotunidades para llevar a cabo evaluaciones experimentales 2. Diseñar protocolos de aleatorización apropiados a cada contexto específico
Por qué aleatorizar
Cuándo aleatorizar
Cómo aleatorizar
Pasos claves
Respuesta a críticas
Esquema de la presentación Big picture
1. 2. 3. 4.
What it is
Example
Components
How to
Importance
Cuándo aleatorizar Cómo aleatorizar Pasos clave para la aleatorización Tipos de aleatorización
3
Por qué aleatorizar
Cuándo aleatorizar
Cómo aleatorizar
Pasos claves
1. Cuándo aleatorizar
Respuesta a críticas
Por qué aleatorizar
Cuándo aleatorizar
Cómo aleatorizar
Pasos claves
Respuesta a críticas
Oportunidades para realizar evaluaciones experimentales 1. Cuando un programa se está testeando con un piloto. 2. Cuando un programa incorpora nuevos servicios, nuevos destinatarios o nuevos lugares.
3. Cuando hay exceso o déficit de demanda. 4. Cuando un programa debe repartirse por medio de turnos rotados o por fases. 5. Cuando un programa tiene un criterio de admisión numérico. Conclusión: existen numerosas oportunidades!
Por qué aleatorizar
Cuándo aleatorizar
Cómo aleatorizar
Pasos claves
Respuesta a críticas
Cuándo es oportuno realizar una evaluación experimental Cuando hay una pregunta importante que necesitas responder. Tiempo: ni muy pronto ni muy tarde: después de que el programa madure y antes de escalarlo. El programa debe ser representativo, no perfecto.
Se dispone del tiempo, conocimiento y dinero para hacer una buena evaluación. Desarrolla un plan de evaluación para priorizar.
Por qué aleatorizar
Cuándo aleatorizar
Cómo aleatorizar
Pasos claves
Respuesta a críticas
Cuándo NO es oportuno: Example
Components
How to
Importance
Cuando el programa está aún en desarrollo y todavía requiere ajustes para funcionar bien Cuando la escala del programa es demasiado pequeña Si existe evidencia rigurosa de que el programa tendrá un impacto positivo y hay recursos para atender a todos Cuando el programa ya ha comenzado y no se piensa extender a otro lugar
Por qué aleatorizar
Cuándo aleatorizar
Cómo aleatorizar
3. Cómo aleatorizar
Pasos claves
Respuesta a críticas
Por qué aleatorizar
Cuándo aleatorizar
Cómo aleatorizar
Pasos claves
Cómo aleatorizar Big picture
What it is
Example
Components
How to
Importance
1. La mecánica de la aleatorización 2. Nivel de aleatorización 3. Aleatorización estratificada
Respuesta a críticas
Por qué aleatorizar
Cuándo aleatorizar
Cómo aleatorizar
Pasos claves
Respuesta a críticas
a) Mecánica de aleatorización Example
Components
Necesitas un marco muestral Extrae de un cubo o sombrero O usa un generador de números aleatorios en una hoja de cálculo para ordenar los casos aleatoriamente Código Stata Qué hacer sin un marco muestral?
How to
Importance
Por qué aleatorizar
Cuándo aleatorizar
Cómo aleatorizar
Pasos claves
b) Nivel de aleatorización: ¿Individual? Example
Components
How to
Importance
Respuesta a críticas
Por qué aleatorizar
Cuándo aleatorizar
Cómo aleatorizar
Pasos claves
b) Nivel de aleatorización: ¿Individual? Example
Components
How to
Importance
Respuesta a críticas
Por qué aleatorizar
Cuándo aleatorizar
Cómo aleatorizar
Pasos claves
Respuesta a críticas
b) Nivel de aleatorización: ¿Clase? Example
Components
How to
Importance
Por qué aleatorizar
Cuándo aleatorizar
Cómo aleatorizar
Pasos claves
Respuesta a críticas
b) Nivel de aleatorización: ¿Clase? Example
14
Components
How to
Importance
Por qué aleatorizar
Cuándo aleatorizar
Cómo aleatorizar
Pasos claves
Respuesta a críticas
b) Nivel de aleatorización: ¿Colegio? Example
15
Components
How to
Importance
Por qué aleatorizar
Cuándo aleatorizar
Cómo aleatorizar
Pasos claves
Respuesta a críticas
b) Nivel de aleatorización: ¿Colegio? Example
16
Components
How to
Importance
Por qué aleatorizar
Cuándo aleatorizar
Cómo aleatorizar
Pasos claves
Respuesta a críticas
b) Nivel de aleatorización: factores para tomar esta decisión 1. 2. 3. 4.
Unidad de medida Externalidades Poder estadístico Factibilidad
Por qué aleatorizar
Cuándo aleatorizar
Cómo aleatorizar
Pasos claves
Respuesta a críticas
c) Aleatorización estratificada La aleatorización estratificada permite asegurarse de que los grupos de tratamiento y control están equilibrados en variables clave. Para aleatorizar por estratos: Primero divide la lista de unidades elegibles en sublistas (estratos) en base a ciertas características. Tras ello, asigna las unidades aleatoriamente a control o tratamiento dentro de cada sublista (estrato).
Por qué aleatorizar
Cuándo aleatorizar
Cómo aleatorizar
Pasos claves
Respuesta a críticas
Por qué estratificar (ejemplos) Para lograr equilibrio: cuanto menor sea el tamaño muestral, mayor será la probabilidad de que la aleatorización simple genere grupos desequilibrados. Para analizar el impacto por subgrupos: especialmente cuando algunos subgrupos de interés son relativamente pequeños.
Por quéLotería aleatorizar básica
Cuándo aleatorizar Cómo aleatorizar Por etapas Lotería en la “burbuja”
Pasos claves Rotación
Respuesta a críticas Estímulo
Tipos de aleatorización Big picture
1. 2. 3. 4. 5.
What it is
Example
Components
How to
Importance
Lotería de tratamiento básica Lotería de tratamiento en “la burbuja” Diseño por etapas Diseño de rotación Diseño de estímulo
20
Por qué aleatorizar
Cuándo aleatorizar
Cómo aleatorizar
Lotería de tratamiento básica Tratamiento Control
Pasos claves
Respuesta a críticas
Por qué aleatorizar
Cuándo aleatorizar
Cómo aleatorizar
Tratamientos Múltiples Tratamiento 1 Tratamiento 2
Tratamiento 3
Pasos claves
Respuesta a críticas
Por qué aleatorizar
Cuándo aleatorizar
Pasos claves
Cómo aleatorizar
Diseño por etapas
Respuesta a críticas
3 1
Fase 1
2
3
3
3
1
3
3
2
3 2
Tratamiento: 2/3 Control: 1/3
2
3
1
2
1
3
3
3
2
3
1
2
1
2 2
2
1
3 3
Fase 3 Tratamiento: 3/3 Control: 0
2
1
Fase 2
Fin de la Evaluación aleatorizada
2
2
Tratamiento: 1/3 Control: 2/3
2
1 3
1 3 1
2
1
1
2
3 1
Por qué aleatorizar
Cuándo aleatorizar
Cómo aleatorizar
Pasos claves
Respuesta a críticas
ANEXO: Pasos clave en la aleatorización
Por qué aleatorizar
Cuándo aleatorizar
Cómo aleatorizar
Pasos claves
Respuesta a críticas
Pasos clave: 1. Determina si el valor de la respuesta justifica el coste de realizar la evaluación. 2. Diseña cuidadosamente el protocolo de aleatorización. 3. Asigna aleatoriamente a los candidatos. 4. Obtén datos de base y comprueba el equilibrio
5. Monitorea la implementación para asegurarte de que no se vulnera el protocolo de aleatorización.
Por qué aleatorizar
Cuándo aleatorizar
Cómo aleatorizar
Pasos claves
4. Tipos de aleatorización
Respuesta a críticas
Por quéLotería aleatorizar básica
Cuándo aleatorizar Cómo aleatorizar Por etapas Lotería en la “burbuja”
Pasos claves Rotación
Respuesta a críticas Estímulo
1. Lotería de tratamiento básica
Por quéLotería aleatorizar básica
Cuándo aleatorizar Cómo aleatorizar Por etapas Lotería en la “burbuja”
Pasos claves Rotación
Respuesta a críticas Estímulo
Lotería de tratamiento básica Example
Components
How to
Importance
Las unidades (individuos, hogares, escuelas, etc.) se asignan aleatoriamente al grupo de tratamiento y al grupo de control.
El grupo de tratamiento obtiene acceso al programa; el grupo de control no.
6
Por quéLotería aleatorizar básica
Cuándo aleatorizar Cómo aleatorizar Por etapas Lotería en la “burbuja”
Pasos claves Rotación
Respuesta a críticas Estímulo
Diseño de aleatorización
No en la evaluación
Población total
Población objetivo
Muestra de evaluación
Asignación aleatoria
Grupo de Tratamiento Grupo de Control
Por quéLotería aleatorizar básica
Cuándo aleatorizar Cómo aleatorizar Por etapas Lotería en la “burbuja”
Pasos claves Rotación
Respuesta a críticas Estímulo
Lotería de tratamiento básica Example
Diseño
Lotería básica
Components
How to
Importance
Adecuado cuando…
Ventajas
•Hay exceso de demanda del programa
•Familiar •Fácil de entender •Fácil de implementar •Puede hacerse en público
Desventajas •El grupo de control podría no cooperar •Desgaste diferente para control y tratamiento
Por quéLotería aleatorizar básica
Cuándo aleatorizar
Cómo aleatorizar
Pasos claves
Respuesta a críticas
Variación de la lotería básica: Diseño con tratamientos múltiples Example
Es posible evaluar el impacto de diferentes intervenciones a la vez, y comparar la efectividad de cada una.
Este enfoque también permite estudiar aspectos de complementariedad y sustituibilidad entre diferentes tratamientos.
Por quéLotería aleatorizar básica
Cuándo aleatorizar Cómo aleatorizar Por etapas Lotería en la “burbuja”
Pasos claves Rotación
Respuesta a críticas Estímulo
Ejemplo: Profesores Adicionales en Kenia Contexto de la intervención
En 2003, Kenia abolió las tasas de la educación primaria. La matrícula aumentó en un 30 por cien entre 2002 y 2005. El resultado no fue solo clases con más alumnos, sino también disparidades educativas mayores entre alumnos de una misma clase
Por quéLotería aleatorizar básica
Cuándo aleatorizar Cómo aleatorizar Por etapas Lotería en la “burbuja”
Pasos claves Rotación
Respuesta a críticas Estímulo
Ejemplo: Profesores Adicionales en Kenia Example
Components
How to
Importance
Intervención Reducir el tamaño de las clases para aliviar la sobrecarga contratando profesores adicionales, que recientemente habían obtenido su título de profesor Tracking: separar a los estudiantes en función de su desempeño previo. No estaba claro si esto ayudaría o dificultaría el aprendizaje
Formar a los comités de escuela y formalizar su rol a la hora de gestionar los contratos de profesores adicionales
Por quéLotería aleatorizar básica
Cuándo aleatorizar Cómo aleatorizar Por etapas Lotería en la “burbuja”
Pasos claves Rotación
Respuesta a críticas Estímulo
Profesores Adicionales en Kenia: diseño de aleatorización Example
Components
How to
Importance
Source: Duflo, Esther, Pascaline Dupas, and Michael Kremer. Peer effects, teacher incentives, and the impact of tracking: Evidence from a randomized evaluation in Kenya. National Bureau of Economic Research, 2008.
Por quéLotería aleatorizar básica
Cuándo aleatorizar Cómo aleatorizar Por etapas Lotería en la “burbuja”
Pasos claves Rotación
Respuesta a críticas Estímulo
Profesores Adicionales en Kenia: diseño de aleatorización ¿Cuál es el efecto de la Example
Components
How to
Importance
reducción del tamaño de las clases?
control
tratamiento
Por quéLotería aleatorizar básica
Cuándo aleatorizar
Cómo aleatorizar
Pasos claves
Respuesta a críticas
Profesores Adicionales en Kenia: diseño de aleatorización ¿Qué tipo de profesor Example
Components
How to
Importance
lo hace mejor, los funcionarios o los temporales?
Por quéLotería aleatorizar básica
Cuándo aleatorizar
Cómo aleatorizar
Pasos claves
Respuesta a críticas
Profesores Adicionales en Kenia: diseño de aleatorización ¿Cuál es el efecto de Example
Components
How to
Importance
separar a los estudiantes según su nivel previo?
Por quéLotería aleatorizar básica
Cuándo aleatorizar
Cómo aleatorizar
Pasos claves
Respuesta a críticas
Profesores Adicionales en Kenia: diseño de aleatorización ¿Cuál es el efecto de Example
Components
How to
Importance
formar a los comités de escuela?
Por quéLotería aleatorizar básica
Lotería en la “burbuja” Cuándo aleatorizar Cómo aleatorizar Por etapas
Pasos claves Rotación
2. Lotería de tratamiento en “la burbuja”
Respuesta a críticas Estímulo
Por quéLotería aleatorizar básica
Lotería en la “burbuja” Cuándo aleatorizar Cómo aleatorizar Por etapas
Pasos claves Rotación
Respuesta a críticas Estímulo
Lotería de tratamiento en “la burbuja” Example
Components
How to
Importance
Cuando la selección de los participantes de un programa se basa en un puntaje (e.g. programas de crédito, becas, o basados en necesidades), una lotería simple puede no ser viable. La lotería se lleva a cabo solo para aquellos que están ligeramente por encima o ligeramente por debajo de cierto umbral
Por qué aleatorizar
Cuándo aleatorizar
Cómo aleatorizar
Pasos claves
Respuesta a críticas
Lotería de tratamiento en “la burbuja” Dentro de la burbuja, asigna a tratamiento y control No participantes (puntaje < 500)
Participantes (puntaje> 700)
Por quéLotería aleatorizar básica
Lotería en la “burbuja” Cuándo aleatorizar Cómo aleatorizar Por etapas
Pasos claves Rotación
Respuesta a críticas Estímulo
Ejemplo: Microcrédito en Manila Example
Components
How to
Importance
Contexto de la intervención Se cree que el microcrédito pueden mitigar los fallos de mercado, empoderar a las mujeres e impulsar el crecimiento del sector privado Pero podría no funcionar, debido a las altas tasas de interés, o incluso causa daños: quebrar mecanismos informales, llevar a sobreendeudamiento…
Por qué aleatorizar
Lotería en la “burbuja” Cuándo aleatorizar Cómo aleatorizar
Pasos claves
Respuesta a críticas
Ejemplo: Microcrédito en Manila Example
Components
How to
Importance
Contexto de la intervención Los clientes de microcrédito suelen carecer de historiales crediticios y/o riqueza colateralizable, requeridos para obtener préstamos en los bancos tradicionales
First Macro Bank es una institución de microcrédito de segunda generación First Macro Bank ha operado como banco rural en la región metropolitana de Manila de Filipinas desde 1960.
Por quéLotería aleatorizar básica
Lotería en la “burbuja” Cuándo aleatorizar Cómo aleatorizar Por etapas
Pasos claves Rotación
Respuesta a críticas Estímulo
Ejemplo: Microcrédito en Manila Example
Components
How to
Importance
Intervención Préstamos pequeños a 3 meses de responsabilidad individual, con una tasa de interés anualizada del 60%, proporcionados a microempresarios de la periferia de Manila Préstamos entre 5,000 y 25,000 pesos, sustanciales en relación con el nivel de ingresos de los prestatarios (el préstamo mediano equivalía al 37% del ingreso neto del cliente mediano)
Por quéLotería aleatorizar básica
Lotería en la “burbuja” Cuándo aleatorizar Cómo aleatorizar Por etapas
Pasos claves Rotación
Respuesta a críticas Estímulo
Ejemplo: Microcrédito en Manila Example
Components
How to
Importance
Oportunidad para la evaluación aleatorizada Las instituciones de microcrédito escogen a los postulantes a partir de sistemas de puntaje crediticio Algunos postulantes son marginalmente elegibles para obtener crédito, mientras que otros son marginalmente inelegibles La colaboración con First Macro Bank posibilitó realizar una aleatorización en “la burbuja”
Por quéLotería aleatorizar básica
Lotería en la “burbuja” Cuándo aleatorizar Cómo aleatorizar Por etapas
Pasos claves Rotación
Respuesta a críticas Estímulo
Ejemplo: Microcrédito en Manila Example
Components
How to
Importance
Oportunidad para la evaluación aleatorizada La aprobación de los créditos fue aleatorizada entre los postulantes marginalmente elegibles (aquellos con puntajes crediticios entre 31 y 69) Dos intervalos de aleatorización: • Puntajes de 31 a 45: probabilidad de aprobación del 60% • Puntajes de 46 a 58: probabilidad de aprobación del 80% • 1272 postulantes asignados al grupo tratado, 329 a control
Por quéLotería aleatorizar básica
Lotería en la “burbuja” Cuándo aleatorizar Cómo aleatorizar Por etapas
Pasos claves Rotación
Respuesta a críticas Estímulo
Diseño de aleatorización
Población objetivo: Población total:
Varios miles de postulantes que solicitaron créditos en ocho de las nueve oficinas del banco, entre Feb 06 y Nov 07
No en la evaluación
Muestra de evaluación 1601 postulantes a crédito marginalmente elegibles
Grupo de tratamiento 1272 recibieron la aprobación Asignación aleatoria
Grupo de control 329 fueron rechazados
Por quéLotería aleatorizar básica
Lotería en la “burbuja” Cuándo aleatorizar Cómo aleatorizar Por etapas
Pasos claves Rotación
Respuesta a críticas Estímulo
Ejemplo: Microcrédito en Manila Example
Components
How to
Importance
Oportunidad de aleatorización Este método proporciona al banco un modo de redefinir sus criterios de elegibilidad asumiendo riesgos controlados Al generar una variación exógena, también permite a los investigadores y responsables de políticas identificar el impacto del microcrédito
Por qué aleatorizar
Lotería en la “burbuja” Cuándo aleatorizar Cómo aleatorizar
Pasos claves
Respuesta a críticas
Lotería en la “burbuja” Example
Diseño
Adecuado cuando…
• Se utiliza Lotería de una variable tratamiento continua para en “la escoger burbuja” participantes
Components
How to
Importance
Ventajas
Desventajas
• Se puede evaluar a la vez que se usan criterios observables para escoger participantes
• El efecto estimado es “local”: puede no ser generalizable para los candidatos alejados del umbral de selección
Por quéLotería aleatorizar básica
Cuándo aleatorizar Cómo aleatorizar Por etapas Lotería en la “burbuja”
3. Diseño por etapas
Pasos claves Rotación
Respuesta a críticas Estímulo
Por quéLotería aleatorizar básica
Cuándo aleatorizar Cómo aleatorizar Por etapas Lotería en la “burbuja”
Pasos claves Rotación
Respuesta a críticas Estímulo
Diseño por etapas Example
Components
How to
Importance
Cuando todos los candidatos deben recibir el programa, podemos escoger aleatoriamente quien participa en una primera etapa y quien más tarde. En una fase dada, los grupos que no han participado aún forman el grupo de control. Los participantes forman el grupo tratado.
Por quéLotería aleatorizar básica
Cuándo aleatorizar Cómo aleatorizar Por etapas Lotería en la “burbuja”
Pasos claves Rotación
Respuesta a críticas Estímulo
Ejemplo: Desparasitación en Kenia Example
Components
How to
Importance
Contexto de la intervención
“
Pregunta a los niños por qué no van al colegio y obtendrás toda una variedad de respuestas: costo, distancia, carencia de uniforme o otras necesidades. Pocos mencionarán parásitos intestinales como los helmintos (STH) y esquistosomiasis, que se transmiten por el suelo.
Sin embargo, existe evidencia rigurosa que demuestra que tratar a los niños frente a los parásitos—que afectan a más de 600 millones de niños en edad escolar en todo el mundo—mejora la asistencia escolar, la salud y la productividad a largo plazo.
”
Fuente: www.povertyactionlab.org/publication/deworming-best-buy-development
Por quéLotería aleatorizar básica
Cuándo aleatorizar Cómo aleatorizar Por etapas Lotería en la “burbuja”
Pasos claves Rotación
Respuesta a críticas Estímulo
Ejemplo: Desparasitación en Kenia Example
Components
How to
Importance
Contexto de la intervención
Fuente: www.povertyactionlab.org/publication/deworming-best-buy-development
Por quéLotería aleatorizar básica
Cuándo aleatorizar Cómo aleatorizar Por etapas Lotería en la “burbuja”
Pasos claves Rotación
Respuesta a críticas Estímulo
Ejemplo: Desparasitación en Kenia Example
Components
How to
Importance
Intervención International Child Support implementó un programa de desparasitación escolar masiva, dando tratamiento a más de 30.000 alumnos en 75 colegios de la Provincia Occidental de Kenia.
Por quéLotería aleatorizar básica
Cuándo aleatorizar Cómo aleatorizar Por etapas Lotería en la “burbuja”
Pasos claves Rotación
Respuesta a críticas Estímulo
Ejemplo: Desparasitación en Kenia Example
Components
How to
Importance
Oportunidad para la evaluación aleatorizada Se trataba de un programa piloto para ver cómo la desparasitación afecta a la educación. La ONG quería dar tratamiento a todos los niños participantes en el piloto. Las restricciones financieras y logísticas impedían tratar a todos los niños a la vez.
Por quéLotería aleatorizar básica
Cuándo aleatorizar Cómo aleatorizar Por etapas Lotería en la “burbuja”
Pasos claves Rotación
Respuesta a críticas Estímulo
Ejemplo: Desparasitación en Kenia Example
Components
How to
Importance
Nivel de aleatorización Dado que los parásitos se transmiten fácilmente entre los niños, había que considerar las externalidades . La unidad de intervención natural para el programa eran los colegios
Aleatorizando a nivel de colegios, la estimación de impacto capturaría las externalidades que se produjeran dentro de los mismos
Por qué aleatorizar
Cuándo aleatorizar
Cómo aleatorizar Por etapas
Pasos claves
Respuesta a críticas
Ejemplo: Desparasitación en Kenia Example
Components
How to
Importance
Otros aspectos de diseño No estaba claro cuál debía ser el lapso entre fases. ¿A qué velocidad podía avanzarse en las etapas? • Se sabía que habrían suficientes recursos para cubrir todos los colegios llegado el cuarto año.
¿Cuánto tiempo haría falta para advertir impactos? • Si el tiempo entre fases fuera muy corto, podría no dar tiempo a detectar los beneficios del tratamiento.
Por qué aleatorizar
Cuándo aleatorizar
Cómo aleatorizar Por etapas
Pasos claves
Respuesta a críticas
Diseño de aleatorización
Población objetivo Niños en edad escolar de Kenia
Muestra de evaluación 75 escuelas primarias de la provincia occidental de Kenia
Asignación aleatoria Fase 1
Asignación aleatoria Fase 2
Fase 3
Grupo de tratamiento 25 colegios
Grupo de tratamiento 25 colegios
Grupo de tratamiento 25 colegios
Grupo de tratamiento 25 colegios
Grupo de tratamiento 25 colegios
Grupo de control 25 colegios
Grupo de tratamiento 25 colegios
Grupo de control 50 colegios
Por quéLotería aleatorizar básica
Cuándo aleatorizar Cómo aleatorizar Por etapas Lotería en la “burbuja”
Pasos claves Rotación
Respuesta a críticas Estímulo
Diseño por etapas Example
Diseño
Por etapas
Components
Más adecuado cuando… •Expansión en el tiempo •Todos deben recibir el tratamiento en algún momento
How to
Importance
Ventajas •Fácil de entender •El impedimento es fácil de explicar •El grupo de control puede colaborar, en espera de beneficiarse más adelante
Desventajas •La anticipación de recibir tratamiento puede alterar el comportamiento a corto plazo •Dificulta la medición de impactos a largo plazo
Por quéLotería aleatorizar básica
Cuándo aleatorizar Cómo aleatorizar Por etapas Lotería en la “burbuja”
Pasos claves Rotación
4. Diseño de rotación
Respuesta a críticas Estímulo
Por quéLotería aleatorizar básica
Cuándo aleatorizar Cómo aleatorizar Por etapas Lotería en la “burbuja”
Pasos claves Rotación
Respuesta a críticas Estímulo
Diseño de rotación Example
Components
How to
Importance
Las unidades elegibles se asignan aleatoriamente a dos grupos, y ambos grupos se turnan para recibir el programa
El grupo que participa en el programa es el grupo tratado durante un periodo, y el otro grupo es el control. Posteriormente, se intercambian.
Por qué aleatorizar
Cuándo aleatorizar
Diseño de rotación Fase 1 Tratamiento: 1/2 Control: 1/2
Fase 2 Tratamiento en Fase 1 Control Control en Fase 1 Tratamiento ——————————————————————————
Cómo aleatorizar
Pasos claves
Respuesta a críticas
Por quéLotería aleatorizar básica
Cuándo aleatorizar Cómo aleatorizar Por etapas Lotería en la “burbuja”
Pasos claves Rotación
Respuesta a críticas Estímulo
Ejemplo: Educación compensatoria en India (Balsakhis) Example
Components
How to
Importance
Contexto de la intervención Muchos países en desarrollo han expandido masivamente la escolarización primaria, pero la calidad del aprendizaje suele ser baja. En 2005, una encuesta halló que un 44% de los niños de India de entre 7 y 12 años no podían leer un párrafo básico, y un 50% no podía hacer una resta simple, a pesar de que en su mayoría estaban matriculados en la escuela.
Por quéLotería aleatorizar básica
Cuándo aleatorizar Cómo aleatorizar Por etapas Lotería en la “burbuja”
Pasos claves Rotación
Respuesta a críticas Estímulo
Ejemplo: Educación compensatoria en India (Balsakhis) Example
Components
How to
Importance
Intervención In 1994, Pratham, una ONG india dedicada a la educación, lanzó un programa de educación compensatoria. Pratham contrató tutores (balsakhis) y los puso a disposición de los colegios. Los niños con peor desempeño fueron asignados a clases de apoyo durante la mitad de la jornada escolar
Por qué aleatorizar
Cuándo aleatorizar
Cómo aleatorizar
Pasos claves Rotación
Respuesta a críticas
Ejemplo: Educación compensatoria en India (Balsakhis) Example
Components
How to
Importance
Oportunidad para la evaluación aleatorizada En 2000, Pratham expandió su programa a las escuelas primarias de la ciudad de Vadodara, en India occidental (nuevo lugar y nueva población). No había suficientes recursos para atender a todos los colegios a la vez, pero las autoridades municipales pidieron que todos los colegios elegibles recibieran asistencia.
Por qué aleatorizar
Cuándo aleatorizar
Cómo aleatorizar
Pasos claves Rotación
Respuesta a críticas
Ejemplo: Educación compensatoria en India (Balsakhis) Example
Components
How to
Importance
Nivel de aleatorización Dado que todos los colegios debían recibir asistencia, no podía aleatorizarse a nivel de colegios. Logística y éticamente, no era apropiado aleatorizar a nivel de estudiantes. Los tutores fueron asignados aleatoriamente a una cohorte específica: grado 3 o grado 4.
Por qué aleatorizar
Cuándo aleatorizar
Cómo aleatorizar
Pasos claves
Diseño de rotación de los Balsakhis Round 1 Comparación Rojo: Std. Red: Tratado 3 Blue: Control Azul: Std. 4 Grado 3 T Grado 4 C
Grado 3 C Grado 4 T
Año 1
Respuesta a críticas
Por qué aleatorizar
Cuándo aleatorizar
Cómo aleatorizar
Pasos claves
Diseño de rotación de los Balsakhis Round 1 Comparación Rojo: Std. Red: Tratado 3 Blue: Control Azul: Std. 4 Grado 3 T Grado 4 C
Grado 3 C Grado 4 T
Año 2
Respuesta a críticas
Por quéLotería aleatorizar básica
Cuándo aleatorizar Cómo aleatorizar Por etapas Lotería en la “burbuja”
Pasos claves Rotación
Respuesta a críticas Estímulo
Ejemplo: Educación compensatoria en India (Balsakhis) Example
Components
How to
Importance
Otros aspectos de diseño Estratificación: los colegios fueron estratificados por idioma de instrucción, puntajes pretest y género Asignación: • 1er año – colegios en el grupo A reciben tutores en el Grado 3, y colegios en el grupo B los reciben en el Grado 4 • 2o año – los grupos se intercambian: el grupo A reciben tutores en el Grado 4 el grupo B los reciben en el Grado 3
Impacto de tener un tutor durante dos años: • Los niños de los colegios del grupo A que pasaron del Grado 3 al Grado 4 tuvieron un tutor durante dos años seguidos, mientras que los niños del grupo B que pasaron Grado 4 no tuvieron tutor.
Por quéLotería aleatorizar básica
Cuándo aleatorizar Cómo aleatorizar Por etapas Lotería en la “burbuja”
Pasos claves Rotación
Respuesta a críticas Estímulo
Diseño de aleatorización Resultado de la aleatorización en un posible colegio, y rotación:
Muestra de evaluación
Todos los colegios reciben tratamiento en Grado 3 o Grado 4
Asignación aleatoria dentro de cada colegio
Grado 3 control
Grado 3 tratado
Grado 4 tratado
Grado 4 control
Año 1
Año 2
Por qué aleatorizar
Cuándo aleatorizar
Cómo aleatorizar
Pasos claves Rotación
Respuesta a críticas
Diseño de rotación Example
Diseño
Rotación
Components
Más adecuado cuando…
How to
Importance
Ventajas
• Todos deben • Más datos que recibir el tratamiento en el diseño por en algún momento etapas • No hay suficientes recursos para cubrir a todos a la vez
Desventajas • Dificultad de medir efectos a largo plazo
Por qué aleatorizar
Cuándo aleatorizar
Cómo aleatorizar
Pasos claves
5. Diseño de estímulo
Respuesta a críticas Estímulo
Por qué aleatorizar
Cuándo aleatorizar
Cómo aleatorizar
Pasos claves
Respuesta a críticas Estímulo
El diseño de estímulo Example
Components
How to
Importance
El grupo de tratamiento se crea asignando aleatoriamente a los individuos o grupos para recibir un incentivo a participar en el programa
El objetivo es aumentar la probabilidad de participación en el grupo estimulado. Esto crea una diferencia en la exposición al tratamiento.
Por qué aleatorizar
Cuándo aleatorizar
Diseño de estímulo Con incentivo Sin incentivo
Cómo aleatorizar
Pasos claves
Respuesta a críticas
Compara con incentivo frente a sin incentivo Correlación entre incentivo y participación
Participa No participa
Cumple No cumple
No compares participantes frente a no participantes
En la fase de análisis, ajusta por el grado de incumplimiento
Por quéLotería aleatorizar básica
Cuándo aleatorizar Cómo aleatorizar Por etapas Lotería en la “burbuja”
Pasos claves Rotación
Respuesta a críticas Estímulo
Ejemplo: Compartamos Banco Example
Components
How to
Importance
Contexto de la intervención Compartamos Banco ha sido alabado por expandir el acceso al crédito grupal a millones de personas, pero también ha sido criticado por buscar el lucro y cobrar tasas de interés elevadas. Compartamos Banco es la mayor institución de microcrédito de México, con 2.3 millones de prestatarios. Se fundó como un banco sin fines de lucro y luego pasó a ser un banco comercial.
Por quéLotería aleatorizar básica
Cuándo aleatorizar Cómo aleatorizar Por etapas Lotería en la “burbuja”
Pasos claves Rotación
Respuesta a críticas Estímulo
Ejemplo: Compartamos Banco Example
Components
How to
Importance
Intervención En 2012, el 71% de los clientes de Comparatamos tomaban prestado a través de Crédito Mujer, con créditos entre US$125 y US$2250. La devolución del préstamo se hacía en plazos de 16 semanas, y el grupo actuaba como garantía.
Por quéLotería aleatorizar básica
Cuándo aleatorizar Cómo aleatorizar Por etapas Lotería en la “burbuja”
Pasos claves Rotación
Respuesta a críticas Estímulo
Ejemplo: Compartamos Banco Example
Components
How to
Importance
Oportunidad para la evaluación aleatorizada En 2009, colaboramos con Compartamos para aleatorizar su implantación en una nueva área, en el estado de Sonora. Aleatorizamos la promoción de los préstamos: en las áreas de tratamiento se promocionó puerta por puerta, mientras que no hubo promoción en las áreas de control
Por quéLotería aleatorizar básica
Cuándo aleatorizar Cómo aleatorizar Por etapas Lotería en la “burbuja”
Pasos claves Rotación
Respuesta a críticas Estímulo
Ejemplo: Compartamos Banco Example
Components
How to
Importance
Nivel de aleatorización Clústers geográficos: vecindarios en las áreas urbanas, y poblados en las áreas rurales. Esto permitió incorporar externalidades dentro de las comunidades, que podrían ser positivas o negativas
Por quéLotería aleatorizar básica
Cuándo aleatorizar Cómo aleatorizar Por etapas Lotería en la “burbuja”
Pasos claves Rotación
Respuesta a críticas Estímulo
Ejemplo: Compartamos Banco Example
Components
How to
Importance
Otros aspectos La inseguridad impidió que Compartamos e IPA entraran en algunos vecindarios para promover los préstamos y hacer encuestas Se estableció una regla (no relacionada con el estatus de tratamiento) para determinar qué unidades desechar.
Por quéLotería aleatorizar básica
Cuándo aleatorizar Cómo aleatorizar Por etapas Lotería en la “burbuja”
Pasos claves Rotación
Respuesta a críticas Estímulo
Diseño de aleatorización
No en la evaluación
Población objetivo
Muestra de evaluación
Asignación aleatoria
Grupo de tratamiento (promoción puerta a puerta) Grupo de control (no promoción)
Prestatarios No prestatarios No prestatarios Prestatarios 80
Por quéLotería aleatorizar básica
Cuándo aleatorizar Cómo aleatorizar Por etapas Lotería en la “burbuja”
Pasos claves Rotación
Respuesta a críticas Estímulo
Diseño de estímulo Example
Diseño
Estímulo
Components
Más adecuado cuando… •El programa está abierto a todos •Cuando la demanda es baja, pero puede aumentarse fácilmente con un incentivo
How to
Importance
Ventajas
Desventajas
•Puedes aleatorizar a nivel individual aunque el programa no se administre a ese nivel
•Mide el impacto en quienes responden al incentivo •Se necesita un gran incentivo para aumentar la demanda •El incentivo podría tener un efecto directo en el resultado
Por quéLotería aleatorizar básica
Quiz
Cuándo aleatorizar Cómo aleatorizar Por etapas Lotería en la “burbuja”
Pasos claves Rotación
Respuesta a críticas Estímulo
Por qué aleatorizar
Cuándo aleatorizar
Cómo aleatorizar
Pasos claves
Respuesta a críticas
Te gustaría evaluar un programa de formación laboral, asignando la mitad de los candidatos a participar en él. No obstante, no todos los candidatos a los que des la oportunidad de participar se inscribirán en el programa. ¿Qué método de aleatorización escogerías si no puedes forzar a participar? A. B. C. D. E.
Lotería básica Lotería en la burbuja Diseño por etapas Diseño de rotación Diseño de estímulo
73%
18% 8% 0% A.
B.
3% C.
D.
E.
Por qué aleatorizar
Cuándo aleatorizar
Cómo aleatorizar
Pasos claves
Respuesta a críticas
Qué diseño de aleatorización escogerías si tu contraparte quiere que todos los candidatos reciban el programa en algún momento del tiempo? 78%
A. B. C. D. E.
Lotería básica Lotería en la burbuja Diseño por etapas Diseño de rotación Diseño de estímulo
19% 3% A.
0% B.
0% C.
D.
E.
Por qué aleatorizar
Cuándo aleatorizar
Cómo aleatorizar
Pasos claves
Respuesta a críticas
En principio, qué diseño de aleatorización es mejor si estás interesado en estimar efectos de largo plazo y quieres que tus hallazgos sean válidos para todos los candidatos elegibles? 73%
A. B. C. D. E.
Lotería básica Lotería en la burbuja Diseño por etapas Diseño de rotación Diseño de estímulo
14% 8%
5% 0%
A.
B.
C.
D.
E.
Por qué aleatorizar
Cuándo aleatorizar
Cómo aleatorizar
Pasos claves
Respuesta a críticas
MUCHAS GRACIAS!
86