SESIÓN: CALIDAD DE DATOS
IMPLEMENTANDO UNA EVALUACIÓN
Contenidos
Error de medición Estructura y capacitación del equipo Controles de Calidad Contratando una consultora
Definición
Consumo semanal per cápita = S/.17 Índice de activos no productivos = -0.22 Índice de seguridad alimentaria = -0.06
Definición Diseño de la Evalución Diseño Cuestionario
Definiciones: - Capturar de forma exacta
Recolección de Datos
- un conjunto de atributos cuantificables
Digitación de Datos
- que caracterizan la muestra de forma óptima
Limpieza de Datos
- de manera costo-efectiva - y con un uso eficiente del tiempo
Análisis
Error de medición Encuestado responde la pregunta
Representa las características del encuestado
Representa las características de la muestra
Representa las características de la población
Error de medici贸n: Inferencia y Error
There are many types errorsque thatpueden can occur, butpero two general Hay muchos tipos de of errores darse, hay dos ways to deal with them all: manera generales de confrontarlos: 1.1. Take stepsacciones to prevent or minimize errors Realizar para prevenir certain o minimizar algunos 2. Estimate errores the amount of error/uncertainty 2. Estimar el nivel de error o incertidumbre
Que creen que no funciona aquĂ?
Systematic Error
Random Error
Error aleatorio
Error sistemรกtico
Error de medici贸n: sistem谩tico y aleatorio
La diferencia entre el valor real de un fen贸meno y el valor obtenido por una medici贸n.
Error de medición: aleatorio v/s sistemático Measurement Error (Errors of observation) •
Discrepancia entre la respuesta registrada y el valor real de los atributos medidos
Ejemplos:
El encuestado recuerda de forma incorrecta El encuestado miente (preguntas socialmente deseables) El encuestado interpreta mal Problemas con la pregunta Problemas con el encuestado Mal registro de la información (mala escritura, tipeo erróneo) Etc
Contenidos
Error de medición Estructura y capacitación del equipo Controles de Calidad Contratando una consultora
Miembros del Equipo
Coordinador de proyecto: Gestión de la evaluación Coordinador de campo: Responsable de procesos en campo Líder de equipo: Supervisión, apoyo diario a los encuestadores, revisión in situ, recolección de datos y primera ronda de escrutinio Encuestadores: Encuestan Supervisores: Back checks / acompañamientos Editor de datos: Inventora, organiza, revisa y edita encuestas antes de digitarlas. En ocasiones codifica.
Estructura del equipo Lineamentos generales 4-5 encuestadores por cada líder de equipo 1-2 supervisores por cada líder de equipo 5-6 líderes de equipo por cada coordinador de campo
Capacitaciones
Tamaño por clase < 15 encuestadores Por cada hora de encuesta 40
horas de clase 1 semana en campo
En el aula mezclar teoría y práctica Proceso de selección (15% no termina la capacitación) Refrigerios
Contenidos
Error de medición Estructura y capacitación del equipo Controles de calidad para minimizar el error Contratando una consultora
Controles de calidad para minimizar el error El encuestado recibe los cuestionarios y su muestra Piloto
IDs únicos!
Doble digitación
Digitación de datos
Spot check 15%
Edición en Líder campo
El encuestador aplica el cuestionario
Almacena miento de cuestionari o
supervisa 100%
Back Check/ Auditoría 10%
Back Check/ Auditoría
Edición en oficina
Control de Calidad
Objetivo: asegurarnos de que
Encuestan (no duermen o inventan)
Formulan las preguntas de forma correcta
Registran la información de forma correcta
Realizado por el Coordinador de Proyectos y un equipo independiente de monitoreo (supervisores, editores y coordinador de campo)
Sistema de Control de Calidad de Datos
LIDERAZGO (apropiación) • • • •
Delegando Integridad Escuchando Ecuánime y justo
INCENTIVOS
• Estructura de pago • Premios • Concursos • Team-building
MONITOREO (Verificaciones)
DIGITACIÓN DE DATOS
• Acompañamiento (10%) • Back-checks (10%) • Escrutinio-edición (100%) • Re-capacitación y feedback
• Doble digitación • Auditorías de datos
Monitoreo - Acompañamiento
¿En que consiste?
Visitar a los encuestadores de forma aleatoria (y sin aviso) mientras realizan su trabajo, observar como aplican el cuestionario
Objetivos: Apoyarles en aquellas partes más débiles Verificar que trabajan 8 horas al día Establecer presencia de manera que los encuestadores “no se relajen”
Monitoreo – Back checks (auditorías de campo)
¿En que consiste? Revisitar
un encuestado para aplicarle parte de la
encuesta
Objetivo: Verificar
que los encuestadores hacen su trabajo cuando no se les vigila Prevenir que los encuestadores crean que pueden falsificar encuestas Verificar la precisión de las respuestas a algunas de las preguntas
Monitoreo - Back checks
¿Quién debe hacerlo? Supervisores
y coordinador de proyectos
Algunos puntos básicos: 10%
(mínimo) de la muestra Muestra de encuestados seleccionada aleatoriamente 10 preguntas (objetivas) y cinco diferentes versiones Algunas preguntas para medir precisión Visitar hogares/encuestados ausentes Realizarlo una semana después de la encuesta max. Comparar con los originales Preparar medidas disciplinarias específicas
Preguntas no deberían cambiar DISCREPANCIAS CON ENCUESTA DE AUDITORIA CATEGORIA VARIABLE
% DE ENCUESTAS
T1
¿Cuál es su fecha de nacimiento?
5%
T1
¿Cuál es su estado civil?
5%
T1
Tomando en cuenta a usted misma y a todos los integrantes del hogar, inclusive a todos los niños pequeños y adultos mayores, ¿cuántas personas viven en este hogar?
8%
T1
¿Cuántos niños entre 0 y 3 años viven en su hogar?
7%
T1
¿Cuántos niños entre 4 y 17 años viven en su hogar?
12%
T1
¿Cuántos negocios o actividades económicas tiene usted actualmente?
10%
T1
De estos créditos, ¿cuántos han sido a su nombre, incluyendo algún crédito o préstamo que tenga en este momento?
15%
Preguntas que podrían cambiar un poco DISCREPANCIAS CON ENCUESTA DE AUDITORIA CATEGORIA VARIABLE T2 T2 T2
¿Cuá l es el úl timo a ño que a probó o pa s ó en l a es cuel a ? En l os úl timos 2 a ños , ¿l e ha n hecho a l gún ca mbi o a es ta vi vi enda , como pi ntar o enja rra r l a s pa redes , ca mbi a r el techo, poner pi s o nuevo o cons trui r un cua rto a di ci ona l ? En l os úl timos dos a ños , ¿us ted o a l gún mi embro de s u hoga r compró o vendi ó muebl es o l ínea bl a nca pa ra el hoga r, como col chón, mes a , s a l a , mi croonda s , l a va dora , refri gera dor, ca l entador de a gua , es tufa , cool er, etc.
% DE ENCUESTAS 14% 12% 13%
T2
En l os úl timos dos a ños , ¿us ted o a l gún mi embro de s u hoga r compró o vendi ó a pa ra tos el ectróni cos , como tel evi s i ón, ra di o/es téreo, tel éfono, cel ul a r, computadora , juego de vi deo (cons ol a ), reproductor de DVD, etc.
12%
T2
¿Us ted tenía , o ha teni do, a l gún negoci o o a ctivi da d económi ca a nteri ormente?
9%
T2
Dura nte l os úl timos 12 mes es , ¿s u hoga r tuvo que cubri r ga s tos es col a res como col egi a tura s , l i bros o útil es ?
12%
T2
Dura nte l os úl timos 12 mes es , ¿s u hoga r tuvo que cubri r ga s tos médi cos como de hos pi tal , doctor o medi ca mentos ?
16%
Preguntas subjetivas, difíciles de recordar DISCREPANCIAS CON ENCUESTA DE AUDITORIA CATEGORIA VARIABLE
% DE ENCUESTAS
T3
¿Diría que usted toma todas las decisiones, la mayoría, la mitad, poca parte o ninguna de las decisiones económicas?
37%
T3
En términos generales, ¿actualmente cómo se encuentra usted de salud?
30%
T3
¿Hace cuánto tiempo vive en su comunidad?
11%
T3
Si usted necesitara un crédito o préstamo de $6,000 pesos para mañana, ¿a dónde iría a conseguir el dinero?
42%
Monitoreo - Escrutinio
¿En que consiste?
Verificar que la respuesta fue registrada correctamente, consistencia de las respuestas, rangos aceptables
Objetivos Identificar encuestadores que están cometiendo errores al inicio Prepararse para re-capacitación Corregir errores obvios antes de la digitación
Monitoreo - Escrutinio
¿Quién debe hacerlo? Encuestador, Líder de equipo, Coordinador de campo (100%) Editor en oficina (100%) Coordinador de Proyecto (15%, al inicio)
Algunos puntos básicos: Leer los cuestionario aplicados 1 o 2 días antes Registrar errores (para aplicar incentivos y dar feedback) Corregir los casos en las que la respuesta correcta es clara Redondear errores cuando la respuesta no está clara (puede ser necesario re-administrar el cuestionario) Usar esta información para re-capacitar/incentivos encuestadores (precisa un formato)
Contenidos
Error de medición Estructura y capacitación del equipo Controles de calidad para minimizar el error Contratando una consultora
¿Contratar una consultora? Ventajas Logística Acceso a encuestadores con experiencia Recursos Humanos Conocimiento del área Coste predecible
Desventajas Estándares de calidad Monitoreo intensivo Proceso de negociación pueden ser largo y complicado Puede ser más caro
Términos de Referencia (TdR) DISEÑO Metodología de evaluación de impacto y supuestos Tamaño de la muestra (supuestos del cálculo de poder, nivel de aleatorización, etc.) Cronograma incluyendo la fecha de entrega de propuesta El cuestionario y su duración
Términos de Referencia (TdR) TRABAJO DE EQUIPO Estructura de equipo: coordinador, líderes, etc. y ratio de encuestadores por líder Número aproximado de encuestadores que se precisa y sus perfiles (experiencia, formación, género). Controles de calidad que se requiere que haga la consultora: auditorías (back-check), “spot checks”, escrutinios, etc. Requerir sesiones de re-capacitación y feedback Cuando se realizan revisitas/como se reemplaza un encuestado ausente Los chequeos independientes que realizaremos para garantizar la calidad
TdR EQUIPO EVALUADOR Experiencia previa de la consultora en levantamiento de datos, pedir referencias Composición del equipo incluyendo títulos Experiencia en campo de cada miembro del equipo y sus funciones PRODUCTOS Productos a entregar con fechas Entrega de informes y frecuencia COSTES Costes estimados desagregados 32
Pidiendo Detalles
¿”Días de trabajo” significa días de calendario o días de semana laboral? ¿Como se realizará la capacitación? ¿Cuales son los roles de cada miembro del equipo? ¿Qué significa “escrutinio”“, Back-checks?”, “Acompañamiento”?” Otras preguntas de diseño
33
Contrato
Debería incluir las reglas para cada posible escenario
Por ejemplo, que pasa si… ¿El encuestado no está disponible? ¿Un investigador en particular no es competente? ¿El levantamiento de datos se retrasa? ¿Hay un cambio en el alacance del estudio?
Penalidades
34
Precauciones con una nueva consultora
Deberíamos planificar el levantamiento de datos como si lo fuéramos a hacer nosotros Apoyar en la selección de encuestadores Apoyar en la capacitación de encuestadores Tener reuniones semanales con el equipo de encuestadores Realizar un monitoreo externo (incluso si ya hemos trabajado con ellos) Es un proceso de desarrollo de capacidades
GRACIAS POR SU ATENCIÓN ¿PREGUNTAS?