PRUEBA PILOTO LAMP PARAGUAY 2010
Temario • Objetivos de la prueba piloto
• Trabajo interinstitucional • Etapas del estudio piloto • Población objetivo y muestra • Recolección de datos • Procesamiento de datos • Lecciones aprendidas para el estudio principal • Principales resultados • Encuesta principal 2011
Objetivos de la prueba piloto • Evaluar el marco muestral y la muestra adoptada.
• Comprobar la tasa de respuesta esperada. • Evaluar el funcionamiento y pertinencia de los ítems del Cuestionario de Antecedentes (CA) y de los instrumentos cognitivos y revisar los manuales operativos adaptados al contexto nacional. • Poner a prueba el proceso de capacitación y ensayar los procedimientos operacionales y logísticos en las distintas etapas de la recolección y procesamiento de datos. • Comprobar las previsiones en materia de diseño, tiempo y costo para el estudio principal. • Evaluar la factibilidad de la implementación del estudio principal a partir de la formación de capacidades técnicas nacionales.
Trabajo interinstitucional • Constitución de la Comisión Mixta Interinstitucional, integrada por las máximas autoridades del MEC, DGEEC y OEI para la implementación del estudio LAMP, a través de un convenio. • Conformación de un Equipo Técnico Nacional (ETN), integrado por representantes del MEC, DGEEC y OEI.
• Coordinación Nacional encargada de las actividades previstas en el LAMP. • Constitución de Equipos Técnicos ad hoc, integrados por funcionarios de las instituciones involucrados en las funciones operativas de las diferentes etapas del proceso.
Trabajo interinstitucional • Fortalecimiento del trabajo intra e interinstitucional con un enfoque interdisciplinario, lo cual constituyó un valor agregado al propiciar el desarrollo de actividades cooperativas, complementando criterios y estrategias a partir de los aportes de cada integrante en torno a un proyecto común.
• Fortalecimiento de capacidades técnicas y metodológicas en las instancias intervinientes para la realización de estudios de esta naturaleza. Como resultado se constató la instalación y arraigo de capacidades para la realización del estudio LAMP con un efecto inclusivo, que dio lugar a la suma de las capacidades institucionales durante el proceso.
Población objetivo y muestra (i) • La encuesta LAMP está dirigida a la población paraguaya de 15 años o más de edad que reside en viviendas particulares.
• Con esta definición quedan excluidos los ocupantes de viviendas colectivas y de otros tipos de establecimientos. • Además fueron excluidas las comunidades indígenas (1,7% de la población) y los distritos de difícil acceso (Norte y Oeste del Chaco) 1,3 % de la población. Con estas exclusiones, se mantuvo un nivel de cobertura poblacional aceptable para el LAMP, de más del 95% de la población objetivo. • El estudio piloto fue aplicado en 8 distritos del país seleccionados según criterios definidos para el diseño muestral.
Población objetivo y muestra (ii) • Inicialmente se realizó una selección de viviendas análoga a la del estudio principal, para poner a prueba el diseño de la muestra. Para la mitad de los distritos se adoptó una muestra intencional, con el fin de completar los tamaños de muestra de los módulos del LAMP recomendados para el estudio piloto. • La muestra final fue de 820 viviendas de las cuales se concretaron 622 entrevistas personales, con un 30% de no respuesta • Para la selección de las viviendas se realizó previamente una actualización cartográfica en las áreas de empadronamiento.
Etapas del estudio piloto Adaptación de instrumentos LAMP • Adaptación de la batería de instrumentos y manuales operativos LAMP al contexto sociocultural y lingüístico de Paraguay, conforme a los estándares del Programa LAMP. • Idioma de aplicación: castellano, a excepción del CA (según perfil sociolingüístico del encuestado).
• Pre-test de instrumentos aplicado a personas de distintos niveles educativos. • Ajustes, validación instrumentos.
y
aprobación
final
de
los
• Sistematización del proceso de adaptación a través de documentación técnica.
Etapas del estudio piloto Capacitación • Se capacitó en forma diferenciada a grupos de personas según funciones y ámbitos de competencia en el estudio. • La capacitación a supervisores y encuestadores incluyó: • Actividades de autoaprendizaje. • Actividades presenciales de 7 jornadas a tiempo completo.
• Actividades de simulaciones y prácticas de campo de 2 días. • Jornada exclusiva dirigida a supervisores de trabajo de campo.
Objetivos de la capacitación • Adquisición de conocimientos y habilidades relacionados a: ⁻ Métodos y técnicas de la entrevista.
⁻ Conceptos y procedimientos estandarizados del LAMP. ⁻ Selección del encuestado y del módulo a aplicar.
⁻ Administración del CA y de los instrumentos cognitivos. ⁻ Asignación de puntajes. • Simulaciones de entrevistas a hogares seleccionados en Asunción con consentimiento previo de los miembros del hogar. • Selección del personal de campo.
Recolección de datos (I) • Marzo-abril del 2010 (19 días incluyendo algunos sábados y domingos). • Realizada por 8 equipos de trabajo, cada uno compuesto por 1 supervisor, 3 encuestadores y un chofer. • Personal de campo constituido en su gran mayoría por funcionarios del MEC.
• Monitoreo y seguimiento permanente por supervisores y observadores nacionales e internacional. Sesiones de retroalimentación.
Recolección de datos (II) • Carácter singular no comparable a otro estudio estadístico realizado en el país. • Importante esfuerzo de logística y organización. • Campaña de comunicación y difusión, incentivos para la participación. • Tasa de respuesta: 70%. • Estudio etnográfico.
Secuencia de la entrevista Cuestionario de antecedentes (a toda la muestra) Módulo Filtro (PDN) (a toda la muestra) MÓDULO A (BAJAS COMPETENCIAS)
MODULO B (COMPETENCIAS MEDIAS - ALTAS)
ALEATORIO
• LOCALIZADOR (PDN) •EJERCICIOS DE COMPONENTES DE LECTURA (CR)
CUADERNILLO 1 (PDN)
CUADERNILLO 2 (PDN)
APLICACIÓN ROTAFOLIO-MÓDULO A-
cronómetro
Rotafolio
grabadora
Cuadernillo de Registro
José Falcón
Procesamiento de datos (I) • Corrección y doble corrección del 100% de las pruebas PDN y 25% de los Componentes de Lectura con guías de asignación de puntajes estandarizadas. • Realizada por 6 correctores y una jefa correctora con procedimientos de rotación.
• Consistencia de 97% entre las correcciones realizadas en terreno y en gabinete (Módulo Filtro). • Retroalimentación durante el trabajo de campo específicamente para la asignación del Filtro y Rotafolio. Ajustes de criterios de asignación de puntajes.
• Más del 97% de consistencia instrumentos PDN en gabinete.
para
los
demás
Procesamiento de datos (II) • Crítica y codificación del CA conforme a clasificadores internacionales. • Realizada por 3 crítico-codificadores y una jefa.
• Doble crítica y codificación del 100% de los CA. • Digitación y doble instrumentos.
digitación
de
100%
de
los
• Consistencia y depuración de la base de datos. • Importante esfuerzo de organización y logística por el número de instrumentos, actores involucrados y procedimientos de rotación.
Lecciones aprendidas para el estudio principal • Mejorar el trabajo de actualización cartográfica. • Enfatizar y concienciar acerca de las funciones y responsabilidades del personal de campo. • Reforzar los mecanismos de monitoreo de la recolección de datos. • Aumentar la duración de la capacitación así como las simulaciones y prácticas de campo, y proponer módulos comunes y diferenciados según roles. • Tener en cuenta la complejidad e intensidad del trabajo de campo para el personal involucrado, lo cual supone la necesidad de implementar estrategias de motivación.
Lecciones aprendidas para el estudio principal • Considerar opciones para alivianar el CA a fin de agilizar su aplicación.
• Considerar fenómenos lingüísticos del contacto en guaraní y castellano para definir criterios de asignación de puntajes más apropiados al contexto sociolingüístico.
Principales resultados •
El estudio piloto no arroja resultados estadístico válidos. No es una muestra representativa.
•
Permitió verificar la validez y pertinencia de los instrumentos, calibrarlos y ajustarlos.
•
Correlaciones entre CA y pruebas cognitivas .
•
Los resultados para la población se dispondrá luego de realizar la encuesta principal.
Estudio principal LAMP 2011 • El estudio principal se realizará en todo el país e incluirá
una muestra de aproximadamente 4.000 jóvenes y adultos de 15 años o más de edad.
• La muestra será representativa a nivel nacional, urbano, rural y por niveles educativos: alto, medio y bajo.
Estudio principal LAMP 2011 Acciones en curso:
• Análisis del desempeño estadístico de los ítems utilizando el TRI. • Ajustes y adaptación de los instrumentos y manuales. • Campaña nacional de comunicación y difusión de la encuesta LAMP.
• Reclutamiento y selección del personal. • Preparación de las capacitaciones y material didáctico audiovisual.