Secretaría de Educación Universidad Pedagógica Nacional Francisco Morazán Instituto de Investigación y Evaluación Educativas Unidad Externa de Medición de la Calidad de la Educación Programa de Educación Media y Laboral BID 1552/SF-HO
Evaluación del Rendimiento Académico e Investigación de Factores Asociados EN los Programas Flexibles: SAT, SEMED, Educatodos, telebásica con sus grupos control. Tercer ciclo de la educación básica en español y matemáticas
Período de ejecución: 2008-2010
Reporte ejecutivo
Tegucigalpa MDC, Honduras CA.
Enero 2010
I.
PROPÓSITO DEL ESTUDIO
El propósito de este estudio es realizar, a petición de la Secretaría de Educación, una evaluación comparativa del rendimiento académico en español y matemáticas, e investigación de factores asociados a dicho rendimiento, de los alumnos que están siendo atendidos a través de los Programas Flexibles de Educación: SAT, EDUCATODOS, SEMED Y TELEBÁSICA y que han sido identificados para ampliación de cobertura en el Tercer Ciclo de Educación Básica como beneficiarios del Proyecto “Programa de Educación Media y Laboral” BID-1552/SF-HO. El estudio incluye además la evaluación a un grupo control. El estudio debe comprender tres etapas, en la primera (evaluación inicial o primer momento) se propone definir una línea de base que permita identificar los aprendizajes de los alumnos que inician el séptimo grado en cada programa; asimismo, se determinarán características como condición socioeconómica, antecedentes académicos, situación sociodemográfica, entre otros. En esta etapa se deben caracterizar los otros actores mas próximos al estudiante, entre ellos el docente (facilitador o tutor, según se denomina en cada programa), el director del centro (coordinador académico, coordinador de campo o asesor pedagógico, según se denomina en cada programa). En la segunda etapa (evaluación intermedia o segundo momento), se debe evaluar la salida de los mismos estudiantes de séptimo grado y comparar estos resultados con los obtenidos en la primera, siempre tomando en cuenta los factores establecidos; en la última etapa se desarrollará el mismo trabajo cuando estén egresando de noveno grado. Teniendo este panorama, los tomadores de decisiones en los diferentes niveles de autoridad, de las Coordinaciones o Direcciones de los programas flexibles como de las diferentes unidades técnicas y administrativas de la Secretaría de Educación, deben analizar concienzudamente los resultados obtenidos para estar seguros de identificar las fortalezas y debilidades que presentan en términos de calidad y de cobertura el desarrollo de los mismos y que realmente estos resultados se conviertan en una herramienta táctica y estratégica que les permita tomar las medidas preventivas y correctivas para que realmente estos programas se conviertan en una alternativa con calidad y que sus egresados no sean discriminados o marginados tanto en el campo laboral como para continuar con sus estudios posteriores.
II.
OBJETIVOS DEL ESTUDIO
Para cumplir con el propósito del estudio se definieron los siguientes objetivos, programados de tal manera que los primeros dos se logren en el primer momento, los siguientes dos en el segundo momento y los últimos dos en el tercer momento: 1. Realizar una evaluación de entrada a los alumnos que asisten al séptimo grado en el año 2008 en los Programas Flexibles SAT, EDUCATODOS, SEMED,
2.
3.
4.
5.
6.
TELEBÁSICA, comparándolos con una muestra control de centros educativos regulares similares. Establecer una línea base de los Programas Flexibles SAT, EDUCATODOS, SEMED, TELEBÁSICA considerando variables de alumnos, docentes, administradores de centros y centros educativos. Medir los resultados del logro académico de los estudiantes de SAT, EDUCATODOS, SEMED, TELEBÁSICA al finalizar el séptimo grado, comparando los resultados con la prueba de entrada, por una parte, y con el grupo control de los centros regulares, por otro. Identificar los factores que influyen en el rendimiento de los alumnos de los Programas Flexibles evaluados comparando los resultados de pre y pos prueba, por un lado, y con el grupo control, por otro. Medir los resultados del logro académico de los estudiantes de SAT, EDUCATODOS, SEMED, TELEBÁSICA y CEB al finalizar el noveno grado en el 2010, comparando los resultados de pre y pos prueba, y con los resultados del grupo de control. Identificar los factores que influyen en el rendimiento obtenido en la evaluación de fin de año del noveno grado y en las diferencias evidenciadas en las tres evaluaciones de los alumnos de los Programas Flexibles, comparándolo con el grupo control. III.
METODOLOGÍA
Este estudio es de corte cuantitativo y consta de dos grandes partes: a. Una exploratorio y descriptiva, donde se establecerá el nivel de conocimientos de entrada y una línea base que incluye variables de centro, de alumno, docentes y administradores de centro. b. Otra relacional donde se construirá un modelo multivariado de los factores asociados al redimiendo académico. El diseño de este estudio está programado así: a. A inicios de 2008 para alumnos que por primera vez ingresan a séptimo grado se aplicará una prueba diagnóstica. b. A finales del mismo año se aplicará la prueba de salida de séptimo grado. c. A finales de 2010 se aplicará la prueba correspondiente a los mismos alumnos cuando estén en noveno grado.
IV.
RESULTADOS
Los resultados del rendimiento en la salida de séptimo grado se analizan en forma independiente por cada programa flexible con su respectivo grupo control y a la vez se establecen las comparaciones con los resultados obtenidos en el primer momento (ingreso a séptimo), principalmente en lo que corresponde a la "suficiencia", que indica el porcentaje de alumnos que logran obtener un promedio igual o mayor a 60%.
También se dedica un acápite para dar cuenta de lo que ha sucedido con desertores, que aunque apenas se pudo aplicar a un 36% de ellos, por las diversas dificultades para poder ubicarlos, se pueden mencionar algunos hallazgos importantes. A continuación se presenta a manera de ejemplo, algunos de los resultados del programa SAT. Los resultados en matemáticas y español continúan siendo bajos, como se muestra en las siguientes gráficas:
Gráfica No. 1. Porcentaje medio de respuestas correctas en Español Grupo SAT y Control. Evaluación inicial e intermedia, 2008. 100.0 80.0 60.0
47.0 50.1
50.0 50.7 SAT
40.0
Control
20.0 0.0 Inicial
Intermedia
Gráfica No. 2. Porcentaje medio de respuestas correctas en Matemáticas Grupo SAT y Control. Evaluación inicial e intermedia, 2008 100.0 80.0 60.0 40.3 41.8
40.0
36.7 36.6
SAT Control
20.0 0.0 Inicial
Intermedia
Tomando en cuenta la escala que se utiliza para medir el rendimiento académico en cada asignatura evaluada que se resume en la siguiente tabla: Escala para medir el rendimiento académico Nivel de Logro Puntaje obtenido alcanzado (%) Escaso 0-30 Bajo 31-59 Medio 60-79 Alto 80-100
Se hace un análisis del progreso que tienen los estudiantes en ese primer año del tercer ciclo, comparando los resultados de la evaluación inicial y la intermedia e indagando que porcentaje de alumnos cambiaron de nivel de logro entre una evaluación y otra. Para ello, se definió la variable progreso la cual toma tres valores como se muestra en la siguiente tabla:
PROGRESO DE LOS ALUMNOS Progreso
Significado
Empeora
El alumno se encuentra en 2009 en una categoría de logro inferior a la del 2008.
Se mantiene
El alumno se encuentra en 2009 en la misma categoría de logro que en 2008.
Mejora
El alumno se encuentra en 2009 en una categoría de logro superior a la del 2008.
Porcentaje de estudiantes que cambian sus niveles de rendimiento del grupo control y SAT en Español Mejora Se mantiene Empeora Sig=0.00<0.05
Control 17.8 66.0
SAT 25.4 63.1
16.2
11.5
Porcentaje de estudiantes que cambian sus niveles de rendimiento del grupo control y SAT en Matemáticas Control SAT Mejora 30.5 29.2 Se mantiene 61.5 60.2 Empeora 8.1 11.6 Sig=0.063>0.05
Suficiencia en el rendimiento Académico Suficiencia: el estudiante tiene un nivel de logro o rendimiento académico aceptable. El nivel de suficiencia lo alcanzan los estudiantes que logran un nivel de rendimiento medio o alto, es decir del 60% o más en la prueba en su conjunto por cada asignatura. Porcentaje de estudiantes con suficiencia en Español. Evaluación inicial e intermedia, 2008 Inicial Intermedia SAT 18.4 30.8 CONTROL 22.5 30.5 Sig=0.004<0.05
V.
Porcentaje de estudiantes con suficiencia en Matemáticas. Evaluación inicial e intermedia, 2008 inicial Intermedia SAT 4.7 3.7 CONTROL 5.1 4.1 Sig=0.552>0.05
DESERTORES
En el presente estudio se analiza también la situación de los desertores, en primer lugar se debe reconocer el esfuerzo de ubicarlos y luego de haberlo hecho convencer a cada estudiante para que contestara los instrumentos, al final el esfuerzo da resultados muy importantes. Antes de los detalles es importante visualizar los datos de cuantos estudiantes se retiran de los diferentes centros sin importar si corresponden a programas flexibles o centros regulares, las cifras son similares, a continuación se resumen algunos de esos datos. Se debe recordar que la unidad que se utilizó en el diagnóstico es el centro educativo, por las dificultades que se tuvieron con las estadísticas, que la realidad fue la encontrada en el trabajo de campo, por lo que se presentan datos de centros y de alumnos:
Número de Centros Aplicados I y II momento , según Programa
De los programas flexibles el que presenta menor proporción de deserción entre todos los programas incluyendo cada grupo control (que corresponde a centro regular CEB o Instituto de Educación Media) es SAT y el que tiene mas deserción es EDUCATODOS, siguiéndole SEMED, por lo que deben tomarse medidas urgentes para mejorar esos indicadores. A continuación el resumen de estudiantes:
Número de Alumnos Aplicados I y II momento, según Programa
En cuanto a resultados en el rendimiento a los pocos desertores que se les pudieron aplicar los instrumentos, son casi similares a los que asisten actualmente a los centros educativos. En este momento se están editando los informes, después de la validación se han incorporado las recomendaciones principalmente del personal técnico de los programas, por lo que las conclusiones y recomendaciones serán muy importantes para que sean tomadas en cuenta, pues este estudio es u no de los mas completos que se han realizado en los últimos años, por tratarse de una cohorte en la que se van considerando en cada etapa aspectos complementarios a los resultados del diagnóstico.