METAS EDUCATIVAS 2021 LA EDUCACIÓN QUE QUEREMOS PARA LA GENERACIÓN DE LOS BICENTENARIOS
SEMINARIO IBEROAMERICANO DE EVALUACIÓN DE LOS NIVELES DE ALFABETISMO DE PERSONAS JÓVENES Y ADULTAS NOVIEMBRE 23 – 25 DE 2010 ASUNCIÓN - PARAGUAY Guillermo A. Casasbuenas Díaz Director de Proyectos Nacionales Organización de Estados Iberoamericanos Bogotá - Colombia
PRESENTACIÓN ASPECTOS GENERALES El objetivo general de la evaluación de los Programas de Alfabetización, Educación Básica Primaria y Formación para el Trabajo de Jóvenes y Adultos es analizar y valorar el impacto social en las condiciones de vida de los beneficiarios finales. Los Programas de Alfabetización evaluados han contemplado la valoración de las dimensiones personal y social de los beneficiarios finales, una vez culminan el Ciclo Lectivo Especial Integrado I correspondiente a los grados comprendidos entre primero a tercero de primaria. Los proyectos de evaluación del Programa se llevan a cabo, en el marco de los Convenios de Cooperación suscritos entre el Ministerio de Educación Nacional, AECID y la OEI, pero siempre referidos a la evaluación de la política pública. Entender el seguimiento y la evaluación como un sistema de producción de información útil para la toma de decisiones, en tiempo real y a futuro. Seminario Iberoamericano de Evaluación de los niveles de Alfabetismo de personas Jóvenes y Adultas.
EVALUACION DE POLÍTICA PUBLICA por su naturaleza es fundamental el abordaje de la discusión conceptual en la que por lo menos, se tenga en cuenta: Estructura y contexto de la formulación
• Quién formula? Estructura técnica de la formulación? Quién financia?
Objetivos e intereses de gobierno – actores
• A que responde? Quiénes intervienen? Intereses Nacionales, regionales, locales
Qué se pretende al evaluar política pública
• Aprender - comprender - justificar- planear tomar decisiones.
El beneficiario de la política pública
• Es claro quién es el beneficiario final? Es claro el tipo de beneficio que se pretende?
Política pública y satisfacción y/o bienestar personal, comunitario, social
• Cantidad de beneficiados vs calidad de beneficiarios
Seminario Iberoamericano de Evaluación de los niveles de Alfabetismo de personas Jóvenes y Adultas.
METODOLOGÍA DE MONITOREO SEGUIMIENTO Y EVALUACIÓN Pilares fundamentales: CONCEPTO INTEGRALIDAD
PROCESO DE EJECUCIÓN
Un proyecto es entendido como un conjunto integrado de múltiples acciones en aras de un objetivo general.
La evaluación se inicia desde el mismo momento en que se inician las actividades del proyecto y no exclusivamente al final de la intervención.
UTILIDAD MISMA DEL PROCESO
Por lo tanto una vez se definen criterios, variables y se conforman indicadores de línea base para el seguimiento, es posible comenzar a comprender también impactos sobre esos mismos indicadores
Seminario Iberoamericano de Evaluación de los niveles de Alfabetismo de personas Jóvenes y Adultas.
PRESENTACIÓN HISTORIA 1.
Seguimiento y Evaluación Programa de Alfabetización – AECID AECID I
AECID II
AECID III
2008
2009
2010
Los programas de alfabetización por si solos generan un impacto positivo en los beneficiarios.
Los programas de alfabetización mejoran las competencias cognitivas, actitudinales y axiológicas de los beneficiarios, desarrollando en ellos habilidades para la toma de decisiones.
Seminario Iberoamericano de Evaluación de los niveles de Alfabetismo de personas Jóvenes y Adultas.
PRESENTACIÓN HISTORIA 1.
Seguimiento y Evaluación Programa de Alfabetización – AECID
Instrumentos
AECID I Encuesta Entrevista Semi – Estructurada Observación etnográfica Grupos Focales
AECID II Encuesta Observación en campo
AECID III Encuesta Entrevista Observación en campo
Metodología
Indicadores de Línea de Base e Indicadores específicos para medir impacto
Indicadores de medición de la dimensión cognitiva y actitudinal y axiológica
Medición de impactos en la toma de decisiones en una línea de tiempo (corto y mediano plazo)
Seminario Iberoamericano de Evaluación de los niveles de Alfabetismo de personas Jóvenes y Adultas.
PRESENTACIÓN HISTORIA 2. Evaluación de Impacto del Programa Nacional de Alfabetización Periodo evaluado: 2007 - 2008 Instrumentos
Encuesta - Entrevista Semi –Estructurada- Grupos Focales
Metodología
Indicadores de medición de la dimensión cognitiva y actitudinal y axiológica
Ejes evaluados
Institucional – Administrativo – Político – Socio – educativo
Seminario Iberoamericano de Evaluación de los niveles de Alfabetismo de personas Jóvenes y Adultas.
TRABAJO DE CAMPO -GRUPO INTERDISCIPLINARIOACOMPAÑAMIENTO BENEFICIARIO
INICIO
LINEA DE TIEMPO DEL PROYECTO
FIN
FASES DE EJECUCIÓN DEL PROYECTO MATRIZ DE INDICADORES
RESULTADOS DE LA EVALUACIÓN MONITOREO DE INDICADORES
TOMA DE DECISIONES
EVALUACIÓN DE IMPACTO
CONSTRUCCIÓN LÍNEA BASE
TRANSVERSALIDAD
SEGUIMIENTO, MONITOREO, CONTROL Y EVALUACIÓN
INFORMACIÓN EN TIEMPO REAL
SEGUIMIENTO, MONITOREO, CONTROL Y EVALUACIÓN
METODOLOGÍA DE EVALUACIÓN DEL PROGRAMA DE ALFABETIZACIÓN, EDUCACIÓN BÁSICA PRIMARIA PARA JÓVENES Y ADULTOS (CICLO I Y II) PASOS DE LA EVALUACIÓN (PARTE I) EJES / PASOS
OBJETIVOS PLANTEADOS
POBLACIÓN OBJETIVO
INSTITUCIONAL
Valorar el sentido de apropiación que el Programa ha generado en los actores institucionales involucrados en todo el proceso.
Secretarios de Educación, Encargados del Programa de Adultos de las Secretarías y Rectores de las Inst. Educativas
ADMINISTRATIVO
Conocer el seguimiento y acompañamiento que se realiza al Programa desde el Nivel Central, Secretarías de Educación e Instituciones Educativas, verificando su mapa de procesos.
Nivel Central, Secretarios Educación, Encargados Programa de Adultos de Secretarías y Rectores de Inst. Educativas
POLÍTICO
Indagar sobre los procesos y actos administrativos que se desarrollan para apoyar la educación a adultos
Secretarios de Educación, Encargados del Programa de Adultos de las Secretarías
Identificar si el Programa cumple con el objetivo principal de garantizar que cada beneficiario adquiera las competencias académicas y sociales requeridas para ejercer sus derechos y cumplir con sus deberes.
Beneficiarios y Docentes
SOCIO-EDUCATIVO
FOCALIZACIÓN
de del las las
Criterios tenidos en cuenta para la selección de las regiones a intervenir: Certificación de la Entidad Territorial. Tasa de Analfabetismo departamental Mayor número de personas alfabetizadas Mayoría de tiempo aplicando el programa Compromisos y dificultades de la Entidad Territorial Adopción de los tres o cuatro modelos que existían a lo largo de su desarrollo.
METODOLOGÍA DE EVALUACIÓN DEL PROGRAMA DE ALFABETIZACIÓN, EDUCACIÓN BÁSICA PRIMARIA PARA JÓVENES Y ADULTOS (CICLO I Y II) PASOS DE LA EVALUACIÓN (PARTE II) EJES / PASOS
METODOLOGÍA DE EVALUACIÓN
SISTEMATIZACIÓN Y ANÁLISIS
CONCLUSIONES Y RECOMENDACIONES
INSTITUCIONAL
ADMINISTRATIVO
Realización del Mapa de Procesos para entender el funcionamiento del Programa en todas sus etapas Elaboración de ficha técnica para facilitar el análisis de la información (Transformación de variables cualitativas a cuantitativas) Aproximación a la metodología del Marco Lógico (Análisis de involucrados y Árbol de Problemas) para la posterior realización de recomendaciones.
Documento de Análisis y Conclusiones de los ejes Institucional, Administrativo y Político del Programa Nacional de Alfabetización y Educación Básica Primaria de Jóvenes y Adultos.
Documento Final Metodologías Alfabetización Utilizadas Colombia Evaluación Impacto Social Programas Alfabetización Jóvenes y Adultos América Latina.
POLÍTICO
SOCIO-EDUCATIVO
Identificación de variables e indicadores dentro de dos dimensiones: Cognitiva, y Actitudinal y axiológica. (F. técnica) Aproximación a la metodología del Marco Lógico para la posterior realización de recomendaciones.
Documento Final de Conclusiones y Recomendaciones al Programa Nacional de Alfabetización y Educación Básica Primaria de Jóvenes y Adultos.
Documento de Análisis del eje Socio Educativo del Programa Nacional de Alfabetización y Educación Básica Primaria de Jóvenes y Adultos.
de de en y de de de de en
SISTEMA DE ADMINISTRACIÓN DE INFORMACIÓN: LA GESTIÓN DEL CONOCIMIENTO EN EL MARCO DE LA EVALUACION DE LOS PROGRAMAS DE ALFABETIZACIÓN ¿Cómo funciona? A partir del concepto de Inteligencia de la información, la versión web del Sistema de Administración de Información (SAI) permite a los usuarios de la OEI integrar la visualización de las actividades de análisis del comportamiento de los beneficiarios de programas de Alfabetización, en un espacio interactivo con funciones diseñadas a la medida de sus necesidades. Seminario Iberoamericano de Evaluación de los niveles de Alfabetismo de personas Jóvenes y Adultas.
ACTIVIDADES DEL SISTEMA DE ADMINISTRACIÓN DE INFORMACIÓN El sistema permitirá a los usuarios (de acuerdo con su perfil y permisos): Indexar Publicar Buscar Comparar Medir Cuantificar Analizar Administrar Recursos Hacer seguimiento Generar indicadores Almacenar información Tomar decisiones Compartir archivos
Seminario Iberoamericano de Evaluación de los niveles de Alfabetismo de personas Jóvenes y Adultas.
MONITOREO, SEGUIMIENTO Y CONTROL DE INDICADORES Se podrá hacer seguimiento individual a cada uno de los beneficiarios de los programas y generar comparativos por zona, edad, rango, fecha, área del conocimiento y demás indicadores configurados por la línea de base.
Seminario Iberoamericano de Evaluación de los niveles de Alfabetismo de personas Jóvenes y Adultas.
LAS EVALUACIONES DE LOS PROGRAMAS DE ALFABETIZACIÓN HAN PERMITIDO:
Identificar problemas centrales que afectan la operatividad del Programa en los Ejes Administrativo, Político, Institucional y Socio – Educativo. Evidenciar efectos positivos en los beneficiarios del Programa. Brindar la oportunidad de transformar las debilidades del Programa en Oportunidades para Mejorar.
Seminario Iberoamericano de Evaluación de los niveles de Alfabetismo de personas Jóvenes y Adultas.
IMPORTANCIA DE LA EVALUACIÓN DE LOS PROGRAMAS DE ALFABETIZACIÓN La experiencia acumulada en la evaluación de los programas de alfabetización, confirma que éstos siempre producen cambios en los participantes directos e indirectos. Su aplicación impacta en la conducta, las motivaciones, la voluntad y la participación, entre otras. Por tanto, aún cuando no es posible determinar claramente el impacto social, al no haber establecido una línea base desde el inicio, si es posible afirmar que se han producido cambios positivos en los beneficiarios.
Seminario Iberoamericano de Evaluación de los niveles de Alfabetismo de personas Jóvenes y Adultas.
PROBLEMA CENTRAL IDENTIFICADO EN LA EVALUACIÓN
la implementación de los Programas de Alfabetización ha prevalecido la cobertura sobre la calidad. Es decir, que se ha atendido en mayor medida al cumplimiento de las metas de jóvenes y adultos alfabetizados, prestando poca atención a los resultados que permitan un proceso de formación para los beneficiarios del Programa que les brinde las herramientas necesarias para tener una mejor calidad de vida. ”
“ En
Seminario Iberoamericano de Evaluación de los niveles de Alfabetismo de personas Jóvenes y Adultas.
LOS RESULTADOS DE LA EVALUACIÓN EN LA CALIDAD : CASO DE ESTUDIO “El aprendizaje de los beneficiarios del Programa Nacional de Alfabetización” ÁREA DE COMUNICACIÓN Y LENGUAJE Los resultados de las pruebas expresan la incapacidad de aproximadamente del 56% de los beneficiarios para exponer de la forma más elemental, hechos de su vida cotidiana. Prueba de ello son los textos escritos por los beneficiarios en la evaluación aplicada.
PENSAMIENTO MATEMÁTICO
En el área de pensamiento matemático, el análisis de las pruebas de conocimiento aplicadas a los beneficiarios del Programa muestran que el 40% de ellos fueron promovidos al siguiente Ciclo de formación sin contar con las competencias básicas, que les permita explicar y predecir situaciones presentes en el mundo de la naturaleza, en lo económico y en lo social.
Seminario Iberoamericano de Evaluación de los niveles de Alfabetismo de personas Jóvenes y Adultas.
LOS RESULTADOS DE LA EVALUACIÓN EN LA CALIDAD : CASO DE ESTUDIO “El aprendizaje de los beneficiarios del Programa Nacional de Alfabetización” AMBIENTE Y PRODUCCIÓN El 50% de los beneficiarios no lograron el nivel de aprendizaje definido para el Ciclo en esta área, lo cual repercute en las pocas habilidades adquiridas para el cuidado del medio ambiente, que es fundamental para hacer que sus actividades económicas contribuyan a que su desarrollo social sea sustentable. CIENCIAS SOCIALES El 50% de los beneficiarios al terminar el curso no logró comprender su contexto en términos políticos, razón por la cual no entiende las rutas de atención de las Instituciones del Estado ni el objeto fin de los Programas de atención integral para personas en estado de vulnerabilidad social.
Seminario Iberoamericano de Evaluación de los niveles de Alfabetismo de personas Jóvenes y Adultas.
ESTRUCTURA DE ACTORES ESTRATÉGICOS: Análisis de Involucrados
MINISTERIO OPERADOR ENTIDAD TERRITORIAL INSTITUCIÓN EDUCATIVA DOCENTES BENEFICIARIOS
IDENTIFICACIÓN DE ACTORES
IDENTIFICACIÓN DE INTERESES MANIFIESTOS
MAPEO POLÍTICO IDENTIFICACIÓN DE INTERESES OCULTOS
IDENTIFICACIÓN DE RECURSOS
Seminario Iberoamericano de Evaluación de los niveles de Alfabetismo de personas Jóvenes y Adultas.
LOS RETOS DE LOS PROGRAMAS DE ALFABETIZACIÓN FRENTE A LAS EVALUACIONES: “Factores clave para convertir los problemas identificados en oportunidades” Identificar los involucrados en los procesos de toma de decisiones. Reconocer los factores que el tomador de decisiones puede controlar acerca del problema. Reconocer los factores del problema en los que el tomador de decisiones no puede influir. Valorar las limitaciones que existen en los factores controlables e incontrolables del problema. Tomar la decisión que permita mejorar la situación problema. Seminario Iberoamericano de Evaluación de los niveles de Alfabetismo de personas Jóvenes y Adultas.
LECCIONES APRENDIDAS DE LAS EVALUACIONES DE LOS PROGRAMAS DE ALFABETIZACIÓN
COBERTURA
Para contribuir al impacto positivo de los Programas de Alfabetización, se debe hacer Monitoreo, Seguimiento, Control y Evaluación teniendo en cuenta el ciclo de la política pública educativa.
EFICIENCIA
CALIDAD
PERTINENCIA
Seminario Iberoamericano de Evaluación de los niveles de Alfabetismo de personas Jóvenes y Adultas.
GRACIAS www.oei.org.co
Seminario Iberoamericano de Evaluaci贸n de los niveles de Alfabetismo de personas J贸venes y Adultas.