Evaluación Cualitativa del Programa Escuelas de Calidad
FASE 5
El Aprovechamiento Escolar en las Escuelas Primarias Generales e Indígenas Reporte de las primeras 4 fases
HEURÍSTICA EDUCATIVA
Armando Loera Varela –investigador principal Óscar Cázares Delgado –investigador
Evaluación Cualitativa del Programa Escuelas de Calidad
FASE 5
El Aprovechamiento Escolar en las Escuelas Primarias Generales e Indígenas Reporte de las primeras 4 fases
HEURÍSTICA EDUCATIVA
Armando Loera Varela –investigador principal Óscar Cázares Delgado –investigador
Chihuahua, Chihuahua, México. Diciembre, 2005.
El Aprovechamiento Escolar en las Escuelas Primarias Generales e Indígenas Reporte de las primeras 4 fases de la Evaluación cualitativa del Programa Escuelas de Calidad Autores: Armando Loera Varela y Óscar Cázares Delgado
© Armando Loera Varela y Óscar Cázares Delgado, 2005 Edición: Francisco Xavier Ortiz DR © Heurística educativa, 2005 Calle Río Papigochi 2718 Colonia Junta de los Ríos Chihuahua, Chihuahua C.P. 31300, México. Teléfono y Fax: (52-614) 4242472
El aprovechamiento escolar en las primarias generales e indígenas
Índice Introducción ►7 1.Criteriosmuestrales ►9 2.Instrumentos ►14 3. Resultados longitudinales en primarias generales ►17 3.1 Muestra longitudinal amplia ►17 3.2 Diferencias en la distribución de alumnos en los niveles de competencia curricular ►20 3.3 Muestra longitudinal exacta ►21 4.Comparación entre escuelas PEC y escuelas del grupo de control ►28 4.1 Diferencias en promedios de aprovechamiento ►28 4.2 Diferencias en la distribución de alumnos en los niveles de competencia curricular ►33 5. Resultados en la muestra de escuelas primarias indígenas ►35 5.1 Muestra longitudinal ►35 5.2 Comparación con muestra de control ►38 5.3 Diferencias en la distribución de alumnos en los niveles de competencia curricular ►43 Conclusiones ►45 Anexos ►47
5
El aprovechamiento escolar en las primarias generales e indígenas
7
Introducción
L
a medición del aprovechamiento académico de los estudiantes es uno de los referentes básicos de toda evaluación de impacto por ser éste uno de los pro-
pósitos fundamentales de los programas educativos. En el caso de la evaluación del Programa Escuelas de Calidad este concepto fue muy claro en un principio. Sus reglas de operación, en los ciclos 2002-2003, 2003-2004 y 2004-2005, identifican al aprovechamiento escolar como uno de sus indicadores básicos para la evaluación del programa, y se impone la meta de un crecimiento del 10% anual por escuela y por entidad federativa en habilidades de razonamiento lógico-matemático y en habilidades lingüísticas. En las reglas de operación para el ciclo 2005-2005 desaparece el propósito de mejora del aprovechamiento en un 10% anual y se le conceptualiza de manera menos precisa como un estándar de logro educativo, expresando como parámetros (B.1 y B.2) que los alumnos demuestren un incremento en sus habilidades de razonamiento lógico-matemático y habilidades comunicativas, medidos con base en los estándares nacionales, cuando así corresponda. Si bien el intento inicial de considerar como meta del PEC la mejora en un 10% anual carecía de bases sólidas y era arbitraria en relación a los diferentes niveles de reto de las escuelas participantes en el programa, se perdió la oportunidad, por parte del programa, de plantear un referente con relación al cual se daría el incremento, con lo que queda como una expresión vaga y confusa. Así, para determinar el incremento se plantean varias cuestiones de inicio: a) ¿Qué se debe comparar (alumnos, grupos, grados, promedios de escuelas, porcentaje de los niveles de aprovechamiento)?
El aprovechamiento escolar en las primarias generales e indígenas
8
b) ¿Cuál es el punto de comparación (línea de base, ciclo escolar anterior, grupo de comparación)? c) ¿Qué significa que “así corresponda” (es censal o sólo se aplicará a escuelas de la muestra cualitativa o alguna otra muestra)? Por lo que, si bien el estándar de logro académico es central, para el PEC la medición de logros en su proceso de evaluación (cualquier noción de calidad educativa lo incorpora), queda de manera confusa la noción de “incremento” de los estándares de logro académico. En este reporte analizamos los datos entregados por la Dirección General de Evaluación de Políticas (DGEP) de la Secretaría de Educación Pública (SEP) con relación al aprovechamiento escolar de los alumnos de las escuelas PEC y de escuelas no inscritas en ese programa en el ciclo escolar 2004-2005, según el levantamiento realizado en junio del 2005. Comparamos estos resultados con los obtenidos por el Instituto Nacional de Evaluación de la Educación (INEE) en los ciclos 2002-2003 y 2003-2004, así como por parte de la entonces Dirección General de Evaluación (DGE) en el ciclo 2001-2002. Consideraremos diversos criterios como referentes para dejar claro, desde diversas perspectivas, si se presenta o no algún “incremento” en el logro académico, según es medido por los resultados de las pruebas de estándares nacionales. El primer capítulo se dedica a argumentar que a pesar de que se han involucrado diversas instancias en la medición del aprovechamiento escolar de las escuelas PEC y que ha habido cambios en los criterios para seleccionar las muestras, se cuenta con información suficientemente aceptable para estimar los cambios en los niveles de aprovechamiento escolar del PEC. En el segundo capítulo se describen aspectos curriculares que permiten medir los instrumentos que se aplican en la evaluación. A partir del tercer capítulo inicia la presentación de resultados con la comparación de promedios de logros y el porcentaje de niveles de logro en las escuelas primarias generales de manera longitudinal. En el cuarto capítulo se comparan promedios y niveles de logro en la fase 4, contrastando escuelas PEC con un grupo de control, conformado por escuelas primarias generales que no participan en el PEC. En el capítulo 5 se presentan los resultados obtenidos en las muestras de escuelas primarias indígenas, tanto en las PEC como en un grupo de control. Finalmente se presentan conclusiones. En los anexos se adjunta información general de las muestras y por entidad.
El aprovechamiento escolar en las primarias generales e indígenas
9
1. Criterios muestrales
E
n el Programa Escuelas de Calidad (PEC) se decidió realizar diversos tipos de evaluaciones desde el inicio de su operación en el ciclo escolar 2001-2002,
entre ellas la de aprovechamiento escolar. La entidad responsable de la medición de línea de base (ciclo escolar 2001-2002) fue la Dirección General de Evaluación (DGE) de la Secretaría de Educación Pública (SEP). En los dos siguientes ciclos escolares (ciclos 2002-2003 y 2003-2004), la medición se realizó por parte del entonces recién creado Instituto Nacional de Evaluación de la Educación (INEE). En el siguiente ciclo escolar (2004-2005) la medición fue realizada, como en un inicio, por la ahora denominada Dirección General de Evaluación de Políticas (DGEP). Además de que cambió la institución responsable, también se aplicaron diversos criterios para decidir la muestra en los diversos ciclos. Así, en el primer ciclo se realizaron dos mediciones a una muestra censal en las 2,084 escuelas primarias generales que estaban participando en el PEC (de un total de 2,261), configurando la línea de base. Para ello se aplicaron exámenes a cuarto y sexto grado en enero de 2002, y a segundo tercero y quinto en junio de 2002. Se seleccionaron hasta treinta alumnos de cada grado de manera aleatoria. En el ciclo escolar siguiente (fase dos de seguimiento) se aplicaron exámenes en tercero, cuarto y quinto durante el mes de junio de 2003 de manera censal en las 2,037 escuelas participantes en el PEC 1 (escuelas que participan en el programa en el ciclo 2001-2002, participaran o no para la fase 2. Por cuestiones logísticas no se pudo realizar la medición en 47 escuelas), y en cada una de ellas hasta 30 alumnos seleccionados de manera aleatoria. En la fase tres de seguimiento dejaron de aplicarse los exámenes a todas las escuelas y únicamente se seleccionó a las escuelas que forman parte de la muestra longitudinal panel de la evaluación cualitativa
El aprovechamiento escolar en las primarias generales e indígenas
10
(para ese ciclo quedaban 411 escuelas de 476 en línea de base) y a 301 escuelas más participantes en el programa (de las cuales no se contó con información adicional sobre su relación con el PEC).En este grupo de escuelas se examinaron a todos los alumnos de los grados segundo, tercero, cuarto y quinto, incrementándose de manera importante el número de alumnos evaluados. Con el retorno de la responsabilidad operativa de la aplicación y calibración de la medición a la DGEP, en junio de 2005 (fase cuatro), se aplicaron exámenes a la muestra cualitativa, en los grados segundo, tercero, cuarto y quinto, teniendo como criterio la selección aleatoria de hasta 30 alumnos por grado, es decir el aplicado en las tres primeras medidas. A pesar de que ha habido importantes diferencias en los criterios muestrales correspondientes a los cuatro procesos que hasta ahora se han aplicado, es posible hacer comparaciones válidas entre los ciclos escolares. La posibilidad de la comparación radica en el hecho de que en todas las muestras se ha incorporado el grupo de escuelas que conforman la muestra panel del estudio cualitativo, la que a su vez se había seleccionado de manera aleatoria de las escuelas que participaban en el programa en el ciclo de cuando inició su operación (por lo que asume la característica de línea de base, ciclo escolar 2001-2002). El resto de las escuelas sí han variado y no se les considerará en la comparación longitudinal que se realiza en este documento, con la excepción del grupo de control de escuelas en la fase 4. A su vez, a la muestra panel de escuela se le dará dos tratamientos. Por una parte se considerará la muestra longitudinal amplia que se define como la que inicia con 476 escuelas aleatoriamente seleccionadas, y a la que se le van restando las escuelas que se dan de baja del programa o que por algún motivo operativo no contó con las mediciones en tercero y quinto grado, tanto en español como en matemáticas, en las siguientes tres fases del seguimiento. Por otra parte, una muestra panel exacta, conformada por las escuelas de las que se cuenta con información de tercero y quinto, tanto en español como en matemáticas. Tercero y quinto son los grados que se considera que se pueden comparar, distinguiendo español (en realidad lectura) como matemáticas. La base de la comparación radica en que en los cuatro ciclos escolares se han igualado los registros. Así, por ejemplo, de los registros de 2003 y 2004 se eliminaron reactivos de ciencias naturales, registros relacionados con preguntas abiertas relacionadas con lectura y algunos registros que presentaron problemas de inconsistencia estadística. Para fines prácticos se trata de los mismos reactivos en los cuatro levantamientos de datos, es decir, una vez depurados, se trata de los mismos instrumentos. Dos de los instrumentos midieron tercero (y cuarto en los ciclos en que se aplicó en ese grado) y los otro quinto (y sexto en los ciclos en que se aplicó). Se distingue español (en realidad habilidades y conocimiento del área de Comprensión Lectora, una de las
El aprovechamiento escolar en las primarias generales e indígenas
11
temáticas de la materia de español. Por simplicidad en los reportes, lo denominamos español y matemáticas. El procedimiento de estimación de los resultados, al tratarse de los mismos instrumentos, no requirió de ningún procedimiento de equiparación, así como tampoco se requirió de selección de los denominados ítems ancla. La calibración de los resultados, es decir, la asignación inicial de un valor de dificultad y de habilidad por ítem, considera las cuatro poblaciones de tercero y quinto grado. Se resolvió un debate desarrollado en los dos primeros ciclos acerca de los parámetros de la equiparación asignando dimensiones diferentes en español y matemáticas. El grado de referencia fue tercero. Los niveles de confiabilidad y validez de los resultados reportados por el INEE, para las tres primeras fases, superan los criterios aplicados a nivel internacional en exámenes estandarizados, por lo que los niveles de error son aceptables. La DGEP siguió puntualmente las recomendaciones del INEE en la estimación de la fase 4. Estas bases fueron entregadas a Heurística educativa y fueron, a su vez, reanalizadas y depuradas para las muestras que aquí se reportan. Consideramos que estamos usando la mejor información disponible para dar cuenta de comparaciones relevantes en el aprovechamiento escolar a nivel longitudinal. En el caso de la muestra panel exacta contamos con la aplicación de los mismos instrumentos en exactamente las mismas escuelas, lo cual nos aporta un alto nivel de control en la calidad de las conclusiones sobre los cambios en los niveles de aprendizaje de los alumnos asociados al programa. El diseño original del estudio sobre aprovechamientos escolares (octubre 2001) consideraba una muestra panel (representativa del universo existente de escuelas participantes PEC, que fue estimada en 476 escuelas), con un grupo de comparación correspondientes a las muestra nacional de escuelas que estudiaba la DGE en el proyecto de Estándares Nacionales. Esta muestra nacional sería el grupo de comparación de la muestra panel longitudinal en donde el PEC estaba ejecutando su intervención. Con la emergencia del INEE, hubo cambios en los criterios y decisiones, habiéndose puesto en duda la equiparación de instrumentos, procedimientos y, en consecuencia, la comparabilidad de resultados. En consecuencia, se “perdió” el grupo de comparación en línea de base y las fases de seguimiento dos y tres. Para la cuarta fase, se decidió por parte de la Coordinación Nacional del PEC y la DGEP que se aplicaría exactamente el mismo instrumento en una muestra de control, que seleccionaría la DGEP de la base nacional de escuelas primarias de manera aleatoria simple (controlando por el número de escuelas de la evaluación cualitativa por entidad), en donde se excluyeran las escuelas primarias no inscritas en el programa en el ciclo escolar 2003-2004. De la aplicación se excluyeron tres entidades: Baja California Sur que no había participado desde un principio en la evaluación cualitativa del PEC, Morelos que se había dado de
El aprovechamiento escolar en las primarias generales e indígenas
12
baja de la evaluación en la fase tres, y Zacatecas, en donde coincidió la aplicación en el mes de junio con paros en escuelas públicas. Con esta aplicación la muestra cualitativa cuenta con una muestra de control por primera vez desde que inició la evaluación del programa, por lo que se dedica un espacio especial a los resultados del contraste entre escuelas PEC y no PEC en la fase 4. El estudio cualitativo y el de aprovechamiento escolar en escuelas primarias indígenas se inició en el ciclo escolar 2002-2003. El tamaño de su muestra se definió en función del número de entidades que participarían en el estudio cualitativo y el número de evaluadores. Una vez que se conoció qué entidades con escuelas PEC indígenas se interesaban en integrar equipos de evaluación para realizar el estudio cualitativo, la DGE seleccionó de manera aleatoria un grupo de escuelas. El INEE realizaría en esta muestra el estudio de aprovechamiento escolar, sin embargo los resultados de estas escuelas no fueron reportados a la Coordinación Nacional del PEC y obviamente tampoco a Heurística educativa. En el ciclo escolar 2003-2004 sí fueron reportados y se asumen como los de línea de comparación para fines prácticos. Para realizar el estudio de la fase 4, la DGEP también seleccionó una muestra de control de primarias indígenas, conformadas por escuelas que no estaban participando del programa en el ciclo escolar 2003-2004 y, en un número semejante por entidad, a las escuelas participantes en la muestra panel longitudinal del estudio cualitativo. Por lo que la estimación longitudinal de escuelas primarias indígenas toma dos ciclos (dos menos que la primaria general), y en la fase 4 se realiza el contraste con la muestra comparativa. Debe enfatizarse que el diseño longitudinal panel optimiza las posibilidades de identificar los cambios en aprovechamiento escolar, al conformarse de una muestra representativa de las escuelas donde existe más posibilidad de verse influidas por los componentes del Programa al estar más tiempo (cuatro años) inscritos en él. Como se sabe, tanto los programas como las escuelas sufren un proceso de “maduración” que implica una curva de crecimiento del impacto del programa sobre la estructura y cultura de la escuela. Si los programas están bien diseñados, se les ejecuta con eficiencia y se cuida que sus diversos componentes funcionen adecuadamente a nivel escuela, deberían, las escuelas, mostrar paulatinamente un mejora académica, con evidencias tanto de sus procesos académicos como de sus niveles de aprovechamiento escolar. El diseño longitudinal que se ha aplicado en la evaluación cualitativa permite, mejor que ningún otro, dar cuenta de los cambios en las escuelas debido al doble proceso de maduración. En la fase 4, además, se cuenta con la posibilidad de comparar a este grupo de escuelas que han estado participando del PEC por cuatro años con escuelas públicas, también primarias generales, que nunca han participado en este programa, o que si participaron lo hicieron por muy poco tiempo, de manera que ya no se encontra-
El aprovechamiento escolar en las primarias generales e indígenas
13
ban inscritos en él para el ciclo 2004-4005. La brecha entre el estado de las escuelas PEC, de la muestra panel longitudinal y estas escuelas, debería dar cuenta de los efectos diferenciales que provoca el programa. Obviamente sería preferible que el diseño incluyera una muestra de control en línea de base, y mejor aún en las siguientes fases, pero al no ser esto posible por las razones antes expuestas, se cuenta con el mejor diseño para dar cuenta de los posible efectos del PEC dadas las circunstancias. Cuando se cuenta con un diseño longitudinal la línea de base funciona como grupo de control autoreferenciado. Es imprescindible que haya grupos de control externos cuando se sabe de fenómenos importantes que estén influyendo en escuelas que no participan en el programa. No ha sido el caso en las escuelas públicas mexicanas en el periodo 2001-2005. De cualquier manera se cuenta con mayor control de la incertidumbre en las conclusiones al contar con un grupo de control en la fase 4. Fases e institución ejecutora del estudio Tipos de muestras
Total de estudiantes examinados Total de estudiantes de escuelas PEC examinados Total de escuelas en la muestra cualitativa (panel extenso) Total de escuelas en el panel exacto
Total de escuelas en el grupo de control
Total de entidades participantes
Estrato
Generales Indígenas Generales
2001-2002 Línea de Base DGE
2002-2003 Fase 2 INEE
2003-2004 Fase 3 INEE
2004-2005 Fase 4 DGEP
178701
164606
104084
42293
1289
10563
6447
33439
72444
21141
3771
3367
434
393
78
78
363
363
78
78
1236 36810
Indígenas Generales
464
440
Indígenas Generales
363
363
Indígenas Generales
379
Indígenas
80
Generales Indígenas
31
31
30
29
15
16
El aprovechamiento escolar en las primarias generales e indígenas
14
2. Instrumentos
C
omo ya se explicó, a las diversas muestras se aplicaron los mismos instrumentos (una vez depurada de ítems no comparables). Los instrumentos fueron
diseñados por la Dirección General de Evaluación en el proyecto Estándares Nacionales y se les denomina pruebas de Estándares Nacionales. En su estimación sobre la habilidad de los estudiantes, se aplica el procedimiento de Rasch, en el marco de la Teoría de Respuesta al Ítem. Las escalas parten del reescalamiento de la unidad de logit, en donde se asigna cero logit al 500. Por cada unidad de logia corresponde una diferencia de 100 unidades. El rango de la medición tiene como mínimo 200 unidades y como máxima 800 unidades. Esta es la base para realizar estimaciones de promedios y estimar otras medidas de distribución. Sin embargo, debido a que las Pruebas de Estándares Nacionales1 se diseñaron para estimar niveles de habilidad de los alumnos con relación a los planes y programas de estudio, así como los contenidos de los libros de texto, recomendaciones expresadas en los Libros para el Maestro, Ficheros, Libros de Actividades y Libros de lectura. De manera que, además de manejar conceptos vagos como son los promedios, pueden identificarse niveles de competencia en el logro de objetivos curriculares de la educación básica mexicana. Se han configurado cuatro niveles de competencia curricular para español (lectura) y matemáticas, en donde el nivel 1 corresponde a una ausencia de competencia, los niveles 2 y 3 a niveles intermedios, y el nivel 4 al cumplimiento pleno de los propósitos curriculares. 1
Para una descripción por demás completa y clara sobre el diseño de las Pruebas de Estándares Nacionales y sus fundamentos curriculares, y sobre cuya base se sustenta el contenido de este apartado véase: Quezada, Joaquín et al., Resultados de las Pruebas Nacionales de Aprovechamiento en Lectura y Matemáticas Aplicadas al fin del Ciclo 2002-2003, Instituto Nacional para la Evaluación de la Educación (INEE), Marzo 2004 (especialmente capítulos 3, 4 y 5).
El aprovechamiento escolar en las primarias generales e indígenas
15
En Español (lectura) algunas de las competencias registradas por los alumnos de tercer grado que se ubican en el nivel 3, que se pueden interpretar como satisfactorio, son: ► Localizar en un mapa información gráfica y verbal relacionándolos con conocimientos previos. ► Comparar información de dos textos discontinuos (gráfica con mapa). ► Reconocer ideas principales cuando se expresan en paráfrasis. ► Extraer conclusiones a partir de relaciones lógicas explícitas en textos narrativos o informativos.
En el nivel 4, algunas de las competencias que se muestran son: ► Comparar información explícita en el texto con sus conocimientos previos para sacar una conclusión. ► Predecir expresiones de un texto, que respeten género y función. ► Relacionar un artículo de divulgación con un título informativo y relevante. ► Valorar críticamente lo que leen: comparar, dos textos relacionados, interpretarlos, cuestionarlos y valorar la autenticidad de la información. En el quinto grado algunas de las competencias de español consideradas en el nivel 3 son: ► Construir el significado que un término altamente polisémico o muy poco frecuente adquiere en un texto. ► Extraer conclusiones a partir de relaciones lógicas explícitas en la lectura. ► Comprender globalmente un texto, su intención, su mensaje y su tema.
En el nivel 4 del quinto grado se identifican competencias como las siguientes: ► Integrar en un enunciado temático las ideas principales de un texto informativo. ► Valorar críticamente lo que leen: interpretan, cuestionan y evalúan mensajes para construir una opinión. En Matemáticas algunas de las competencias que se consideran en el tercer grado, en el nivel 3 son: ► Resuelven problemas aditivos con dos inferencias. ► Leen el reloj analógico.
El aprovechamiento escolar en las primarias generales e indígenas
16
► Estiman peso en kilogramos. ► Atienden de forma correcta, a las condiciones de simetría alrededor de un eje y de figuras reflejas en general, independientemente del eje y la figura. En el mismo tercer grado pero en el nivel cuatro se identifican competencias como: ► Resuelven problemas que involucran dos operaciones (sumas y multiplicaciones). ► Realizan sumas simples de fracciones con denominador común y apoyos materiales. ► Calculan áreas de rectángulos por superposición de la unidad y conociendo la medida de sus lados. Algunas de las competencias que se identifican en el nivel 3 del quinto grado son: ► Identifican figuras que se transforman con el uso de un eje transversal, sea por proyección, rotación o translación. ► Identifican figuras o gráficas que son representadas de forma tubular o verbal. ► Resuelven problemas que deben comparar sumas o realizar estimaciones, para llevar a cabo sumas o multiplicaciones. Entre las competencias del nivel cuatro del quinto grado se encuentran las siguientes: ► Resuelven problemas que requieren en su solución varias multiplicaciones o sumas. ► Son capaces de resolver problemas en los que se usan fracciones. ► Interpretan gráficas transformando unidades de medición. Con estas consideraciones se definen los rangos de medición en que se ubican las calificaciones para definir los niveles. Español (lectura)
Niveles 1
2
3
4
Tercer grado
200-436
436-501
501-565
565-800
Quinto grado
200-426
426-505
505-551
551-800
Matemáticas
Niveles 1
2
3
4
Tercer grado
200-440
440-515
515-565
565-800
Quinto grado
200-390
390-460
460-540
540-800
El aprovechamiento escolar en las primarias generales e indígenas
17
3. Resultados longitudinales en primarias generales 3.1. Muestra longitudinal amplia
P
rimeramente se consideran los resultados de la muestra longitudinal amplia. Es decir, las escuelas que forman parte del panel de la evaluación cualitativa y
de las cuales se cuentan con estimaciones de logro académico. En la línea de base se cuenta con registros de logro académico con 464 escuelas, en tercer grado, y 463 escuelas en quinto grado; cuatro años después, cuenta con registros efectivos de logro académico en 393 escuelas, con registros de tercero, y 390 escuelas con registros en quinto grado. En español los resultados muestran variaciones estadísticamente no significativas en los cuatro ciclos escolares, en tercero y quinto, así como manifiesta irregularidad en el sentido (incremental o decremental). Es decir, prácticamente se ha mantenido el mismo nivel promedio de aprendizaje promedio en los cuatro primeros ciclos escolares en que ha operado el PEC. La dispersión también ha sufrido cambios pero no llegan a ser significativos y también muestran irregularidad en su sentido.
El aprovechamiento escolar en las primarias generales e indígenas
LOGROS ACADÉMICOS EN TERCER GRADO. ESPAÑOL
Número de escuelas primarias generales
Muestra longitudinal amplia de escuelas del Programa Escuelas de Calidad.
Media
2001- 2002 Línea de base
2002- 2003 Fase 2
464
440
2003- 2004 Fase 3
18
2004-2005 Fase 4
393
434
469.75
472.74
473.52
469.22
Línea de base
.63%
.80%
-.12%
1.98
2.34
2.26
2.30
42.81
49.24
47.24
45.60
Rango
280.16
309.47
336.36
378.10
Mínimo
371.24
356.14
390.38
375.18
Máximo
651.40
665.61
726.74
753.28
% Diferencia con línea de base Error típico de la media Desviación típica
LOGROS ACADÉMICOS EN QUINTO GRADO. ESPAÑOL Número de escuelas primarias generales
Muestra longitudinal amplia de escuelas del Programa Escuelas de Calidad.
Media
2001- 2002 Línea de base
2002- 2003 Fase 2
2003- 2004 Fase 3
2004-2005 Fase 4
463
440
438
390
497.11
495.36
492.61
494.57
Línea de base
-.35%
-.90%
-.51%
2.03
2.08
1.90
2.00
43.85
43.67
39.95
39.64
Rango
339.27
351.16
331.87
283.67
Mínimo
394.21
358.32
381.26
389.36
Máximo
733.48
709.48
713.13
673.03
% Diferencia con línea de base Error típico de la media Desviación típica
En Matemáticas se observan, al igual que en español, cambios irregulares tanto en tercero como en quinto grado, con variaciones que no llegan a ser estadísticamente significativas. Por lo que se mantiene el mismo nivel de aprendizaje en las escuelas de las muestra panel en estos grados y materias en las escuelas que participan en el programa desde que éste inició su operación.
El aprovechamiento escolar en las primarias generales e indígenas
LOGROS ACADÉMICOS EN TERCER GRADO. MATEMÁTICAS Número de escuelas primarias generales
Muestra longitudinal amplia de escuelas del Programa Escuelas de Calidad.
Media
19
2001- 2002 2002- 2003 2003- 2004 2004-2005 Línea de Fase 2 Fase 3 Fase 4 base
464
440
393
434
487.62
495.62
494.57
492.08
Línea de base
1.64%
1.42%
.92%
2.44
2.70
2.57
2.57
52.61
56.65
53.60
51.02
Rango
319.53
430.13
389.91
414.33
Mínimo
377.04
289.73
360.33
351.42
Máximo
696.57
719.86
750.24
765.75
% Diferencia con línea de base Error típico de la media Desviación típica
LOGROS ACADÉMICOS EN QUINTO GRADO. MATEMÁTICAS Número de escuelas primarias generales
Muestra longitudinal amplia de escuelas del Programa Escuelas de Calidad.
Media
2001- 2002 Línea de base
2002- 2003 Fase 2
463
440
2003- 2004 Fase 3
2004-2005 Fase 4
390
438
417.74
417.60
414.93
413.57
Línea de base
-.03%
-.67%
-1.00%
2.15
2.15
1.92
1.84
46.33
45.27
40.37
36.42
Rango
332.35
381.10
306.13
299.82
Mínimo
282.39
286.53
316.73
341.11
Máximo
614.74
667.63
622.86
640.93
% Diferencia con línea de base Error típico de la media Desviación típica
El aprovechamiento escolar en las primarias generales e indígenas
20
3.2 Diferencias en la distribución de alumnos en los niveles de competencia curricular Como ya se explicó, los resultados permiten ubicar a los alumnos en uno de los cuatro niveles de competencia curricular. En el nivel 1 se ubican a los alumnos que muestran insuficiencia en el alcance de las habilidades esperadas del grado. El nivel cuatro agrupa a los alumnos que muestran plenamente el manejo de los propósitos del grado. Los niveles 2 y 3 son intermedios. Comparando la fase 4 con línea de base, se obtiene más alto porcentaje en el nivel 4 en tercer grado, tanto en español como en matemáticas. No es el caso en quinto grado. El nivel 3 se obtiene más alto porcentaje en la fase 4 en quinto de español (la más amplia brecha) y en tercero en matemáticas.
Tercer grado Español (lectura) Muestra longitudinal amplia
Niveles % de alumnos 1
% de alumnos 2
% de alumnos 3
% de alumnos 4
Línea de base
33.48
35.03
21.56
9.92
Fase 2
32.81
33.24
21.83
12.09
Fase 3
33.00
33.88
20.26
12.84
Fase 4
34.69
34.40
20.77
10.12
Diferencia de Fase 4 con Línea de base
1.21
-.63
-.79
.20
Quinto grado Español (lectura) Muestra longitudinal amplia
Niveles % de alumnos 1
% de alumnos 2
% de alumnos 3
% de alumnos 4
Línea de base
16.59
40.09
20.91
22.40
Fase 2
18.58
38.91
20.03
22.46
Fase 3
19.20
39.55
19.92
21.31
Fase 4
15.73
30.37
33.62
20.26
-.86
-9.72
12.71
-2.14
Diferencia de Fase 4 con Línea de base
El aprovechamiento escolar en las primarias generales e indígenas
Tercer grado Matemáticas Muestra longitudinal amplia
21
Niveles % de alumnos 1
% de alumnos 2
% de alumnos 3
% de alumnos 4
Línea de base
26.92
38.13
19.21
15.72
Fase 2
24.08
36.54
20.21
19.15
Fase 3
25.03
36.90
19.48
18.56
Fase 4
24.03
40.60
19.40
15.95
Diferencia de Fase 4 con Línea de base
-2.89
2.47
.19
.23
Quinto grado Matemáticas Muestra longitudinal amplia
Niveles % de alumnos 1
% de alumnos 2
% de alumnos 3
% de alumnos 4
Línea de base
36.34
36.23
21.17
6.25
Fase 2
36.37
36.41
20.86
6.34
Fase 3
37.33
36.24
20.90
5.51
Fase 4
34.85
44.90
17.26
2.97
Diferencia de Fase 4 con Línea de base
-1.49
8.67
-3.91
-3.28
3.3 Muestra longitudinal exacta De la muestra panel de 476 escuelas en el ciclo escolar 2001-2002, 463 de ellas fueron efectivamente evaluadas en aprovechamiento escolar; de este total, diversas escuelas se han estado dando de baja del programa en el curso de los cuatro años, hasta llegar a ser 393 escuelas en la fase 4. De ese grupo de escuelas, en 30 no se contaba con información de tercero y quinto, tanto en español como en matemáticas, por lo que queda un total de 363 escuelas. A este grupo se le denomina muestra longitudinal panel exacta. Su estimación permite controlar, por variaciones, que pueda sufrir la estimación del aprovechamiento escolar por la reducción de la muestra longitudinal exacta. Por lo que tenemos un grupo de 363 escuelas que han permanecido en el programa 4 años y a las que se le ha evaluado en tercero y quinto, en español y matemáticas, exactamente con los mismos instrumentos. Este grupo optimiza al máximo la posibilidad de registrar los efectos del PEC en logros académicos.
El aprovechamiento escolar en las primarias generales e indígenas
22
En español no resultan niveles de aprovechamiento promedio diferentes (a nivel estadísticamente significativo) en las fases de seguimiento respecto a línea de base. En tercer grado se manifiesta un aumento en la dispersión de los promedios, particularmente una tendencia incremental en los rangos superiores de calificaciones. En quinto grado la variación de la dispersión muestra irregularidad.
LOGROS ACADÉMICOS EN TERCER GRADO. ESPAÑOL Número de escuelas primarias generales
Muestra longitudinal panel exacta de escuelas del Programa Escuelas de Calidad.
Media
2001- 2002 Línea de base
2002- 2003 Fase 2
2003- 2004 Fase 3
2004-2005 Fase 4
363
363
363
363
468.74
472.78
472.07
469.04
Línea de base
.87%
.71%
.07%
2.19
2.53
2.46
2.42
41.73
48.21
46.96
46.22
Rango
239.78
306.96
336.36
378.10
Mínimo
371.24
358.65
390.38
375.18
Máximo
611.02
665.61
726.74
753.28
% Diferencia con línea de base Error típico de la media Desviación típica
LOGROS ACADÉMICOS EN QUINTO GRADO. ESPAÑOL
Número de escuelas primarias generales
Muestra longitudinal panel exacta de escuelas del Programa Escuelas de Calidad.
Media
2001- 2002 Línea de base
363
2002- 2003 Fase 2
363
2003- 2004 Fase 3
2004-2005 Fase 4
363
363
497.19
495.35
492.79
495.55
Línea de base
-.37
-.89
-.33
2.33
2.18
2.10
2.08
44.58
41.70
40.10
39.73
Rango
339.27
307.85
331.87
275.64
Mínimo
394.21
401.63
381.26
397.39
Máximo
733.48
709.48
713.13
673.03
% Diferencia con línea de base Error típico de la media Desviación típica
El aprovechamiento escolar en las primarias generales e indígenas
23
En Matemáticas se reafirma la falta de cambios estadísticamente significativos entres las fases de seguimiento, tanto en tercero como en quinto. Sin embargo, en el tercer grado se manifiesta un importante aumento en el rango, con sentido incremental. Esta tendencia no se manifiesta en quinto grado.
LOGROS ACADÉMICOS EN TERCER GRADO. MATEMÁTICAS. Número de escuelas primarias generales
Muestra longitudinal panel exacta de escuelas del Programa Escuelas de Calidad.
Media
2001- 2002 Línea de base
2002- 2003 Fase 2
363
363
2003- 2004 Fase 3
2004-2005 Fase 4
363
363
486.46
496.09
492.47
491.87
Línea de base
1.96%
1.24%
1.12%
2.74
2.90
2.69
2.70
52.29
55.42
51.25
51.62
Rango
317.22
349.23
389.91
414.33
Mínimo
377.04
370.63
360.33
351.42
Máximo
694.26
719.86
750.24
765.75
% Diferencia con línea de base Error típico de la media Desviación típica
LOGROS ACADÉMICOS EN QUINTO GRADO. MATEMÁTICAS. Número de escuelas primarias generales
Muestra longitudinal panel exacta de escuelas del Programa Escuelas de Calidad.
Media
2001- 2002 Línea de base
2002- 2003 Fase 2
363
363
2003- 2004 Fase 3
363
2004-2005 Fase 4
363
417.39
417.65
414.81
414.38
Línea de base
.07%
-.62%
-.73%
2.40
2.35
2.10
1.93
45.76
44.84
40.06
36.78
Rango
332.35
345.94
306.13
289.03
Mínimo
282.39
321.69
316.73
351.10
Máximo
614.74
667.63
622.86
640.93
% Diferencia con línea de base Error típico de la media Desviación típica
El aprovechamiento escolar en las primarias generales e indígenas
24
Enseguida se muestran representaciones gráficas en donde se acentúa en esta muestra diversos comportamientos de los aprovechamientos escolares, identificando la dispersión de las escuelas y los casos extremos. En español de tercer grado se nota la poca variación del grueso de las escuelas pero se identifica un aumento en los casos extremos ascendentes. En quinto grado, por el contrario, disminuye el rango de los casos extremos, manteniéndose la uniformidad de las medidas centrales.
800
700
Español 3°
600
500
400
300
200
Primarias generales PEC 2001-2002
Primarias Primarias generales PEC generales PEC 2003-2004 2002-2003
Muestra de panel exacta
Primarias generales PEC 2004-2005
El aprovechamiento escolar en las primarias generales e indígenas
800
700
Español 5°
600
500
400
300
200
Primarias generales PEC 2001-2002
Primarias Primarias generales PEC generales PEC 2003-2004 2002-2003
Muestra de panel exacta
Primarias generales PEC 2004-2005
25
El aprovechamiento escolar en las primarias generales e indígenas
26
En Matemáticas se observa que en el tercer grado además de mantenerse las medidas centrales aumentan los casos extremos en la fase 4, tanto hacia arriba como hacia abajo, mostrando un aumento significativo de la varianza. En quinto grado es más irregular el comportamiento de la varianza.
800
700
Matemáticas 3°
600
500
400
300
200
Primarias generales PEC 2001-2002
Primarias Primarias generales PEC generales PEC 2003-2004 2002-2003
Muestra de panel exacta
Primarias generales PEC 2004-2005
El aprovechamiento escolar en las primarias generales e indígenas
27
800
700
Matemáticas 5°
600
500
400
300
200
Primarias generales PEC 2001-2002
Primarias Primarias generales PEC generales PEC 2003-2004 2002-2003
Muestra de panel exacta
Primarias generales PEC 2004-2005
Con el fin de analizar si las escuelas que salieron de la muestra cualitativa manifestaban un grado de aprovechamiento diferentes a las que se permanecieron en la muestra cualitativa se compararon los promedios de logro académico en tercero y quinto, tanto en español como en matemáticas. En ningún caso se observó que se dieran diferencias significativas entre estos grupos de escuelas.
El aprovechamiento escolar en las primarias generales e indígenas
28
4. Comparación entre escuelas PEC y escuelas del grupo de control
E
n la fase 4 se cuenta por primera vez, como ya fue explicado, con una muestra de control. Esta muestra se compone de escuelas primarias generales que no
participaron en el PEC durante el ciclo escolar 2004-2005, por lo que cabe la posibilidad de que alguna haya participado previamente (de lo que se informará en los reportes posteriores). El tamaño por entidad se definió del mismo tamaño que el de la muestra longitudinal panel, sin embargo por problemas logísticos se midió el aprovechamiento escolar en 14 escuelas menos (3.57%) en el grupo de control. La diferencia es mínima y no incide en el tamaño de la brecha, por lo que, para definir el contraste en aprovechamiento escolar, se presentan los resultados de todas las escuelas en donde se realizó la medición. Debe recordarse que en ambos grupos de escuelas se aplicaron las mismas pruebas y se les sometió al mismo proceso de calibración y análisis.
4.1 Diferencias en promedios de aprovechamiento Los resultados muestran que no hay diferencias estadísticamente significativas en el aprovechamiento escolar promedio de las escuelas PEC con la muestra de control no PEC en el ciclo escolar 2004-2005. En los cuatro referentes en que se presenta la comparación (español y matemáticas de tercero y quinto grados) las escuelas de control resultan con promedios ligeramente más altos, especialmente en quinto grado (lo que puede deber a escuelas más grandes y diferentes nivel socio-económico de las familias de los alumnos), pero en ningún caso llega a ser estadísticamente significativo. Por lo que no existen evidencias de que en las escuelas PEC se obtenga un aprovechamiento escolar promedio diferente al resto de las escuelas. Sin embargo en la dispersión de los resultados resultan algunas diferencias. En español de tercer grado resulta una mayor varianza en la muestra de control que en las escuelas PEC (F=5.41; p=.02).
El aprovechamiento escolar en las primarias generales e indígenas
LOGROS ACADÉMICOS EN TERCER GRADO. ESPAÑOL Número de escuelas primarias generales
Muestra de comparación
Media
2004-2005 PEC
2004- 2005 Control
393
379
29
Diferencia de la muestra PEC con relación a la muestra de control
14 escuelas más en la muestra PEC (3.57%)
469.22
469.97
-.16%
2.30
2.57
-.27
45.60
50.15
-4.55
Rango
378.10
306.59
71.51
Mínimo
375.18
357.60
17.58
Máximo
753.28
664.20
89.08
Error típico de la media Desviación típica
De igual manera, en español de quinto grado la varianza es significativamente mayor en las escuelas no PEC (F=5.95; p=.01), aunque como es posible ver en las siguientes gráficas, escuelas PEC obtienen los más altos niveles de logro en español de tercero y de quinto.
800
700
Español 3°
600
500
400
300
200
Primarias generales PEC 2004-2005
Muestras
Primarias generales control 2004-2005
El aprovechamiento escolar en las primarias generales e indígenas
LOGROS ACADÉMICOS EN QUINTO GRADO. ESPAÑOL Número de escuelas primarias generales
Muestra de comparación
Media
2004-2005 PEC
390
2004- 2005 Control
30
Diferencia de la muestra PEC con relación a la muestra de control 14 escuelas más en la muestra PEC (3.59%)
376
494.57
498.90
-.88%
2.00
2.26
-.26
39.64
43.88
-4.24
Rango
283.67
259.49
24.18
Mínimo
389.36
373.96
15.40
Máximo
673.03
633.45
39.58
Error típico de la media Desviación típica
800
700
Español 5°
600
500
400
300
200
Primarias generales PEC 2004-2005
Muestras
Primarias generales control 2004-2005
El aprovechamiento escolar en las primarias generales e indígenas
31
En matemáticas la varianza es mayor tanto en tercero como en quinto en las escuelas PEC pero no llega a niveles estadísticamente significativos. En quinto grado las escuelas excepcionales por su nivel de aprovechamiento comparativo son PEC, en tercero no se presentan diferencias entre las escuelas excepcionales. LOGROS ACADÉMICOS EN TERCER GRADO. MATEMÁTICAS Número de escuelas primarias generales
Muestra de comparación
Media
2004-2005 PEC
2004- 2005 Control
Diferencia de la muestra PEC con relación a la muestra de control
393
379
14 escuelas más en la muestra PEC (3.57%)
492.08
493.36
-.26%
2.57
2.78
-.21
51.02
54.17
-3.15
Rango
414.33
427.18
-12.85
Mínimo
351.42
330.04
21.38
Máximo
765.75
757.22
8.53
Error típico de la media Desviación típica
800
700
Matemáticas 3°
600
500
400
300
200
Primarias generales PEC 2004-2005
Muestras
Primarias generales control 2004-2005
El aprovechamiento escolar en las primarias generales e indígenas
LOGROS ACADÉMICOS EN QUINTO GRADO. MATEMÁTICAS Número de escuelas primarias generales
Muestra de comparación
Media Error típico de la media Desviación típica Rango Mínimo Máximo
2004-2005 PEC
2004- 2005 Control
390
376
413.57 1.84 36.42 299.82 341.11 640.93
416.17 1.94 37.62 228.12 314.58 542.71
Diferencia de la muestra PEC con relación a la muestra de control 14 escuelas más en la muestra PEC (3.59%) -.63% -.10 -1.20 71.70 26.53 98.22
800
700
Matemáticas 5°
600
500
400
300
200
Primarias generales PEC 2004-2005
Muestras
32
Primarias generales control 2004-2005
El aprovechamiento escolar en las primarias generales e indígenas
33
4.2 Diferencias en la distribución de alumnos en los niveles de competencia curricular Como ya se explicó previamente, los resultados permiten ubicar a los alumnos en uno de los cuatro niveles de competencia curricular. En el nivel 1 se ubican a los alumnos que muestran insuficiencia en el alcance de las habilidades esperadas del grado. El nivel cuatro agrupa a los alumnos que muestran plenamente el manejo de los propósitos del grado. Los niveles 2 y 3 son intermedios. En español de tercer grado los alumnos de las escuelas PEC superan a los de las escuelas de control en los niveles intermedios, pero son superados tanto en el nivel 1 como en el nivel 4. En quinto grado la diferencia a favor de los alumnos en las escuelas PEC es claro en el nivel 3, pero no en el nivel 4, ni en los dos restantes niveles.
Tercer grado Español (lectura) Escuelas PEC Escuelas control Diferencia del PEC
Quinto grado Español (lectura) Escuelas PEC Escuelas Control Diferencia del PEC
% de alumnos 1
Niveles % de alumnos % de alumnos 2 3
% de alumnos 4
34.69
34.40
20.77
10.12
35.52
32.51
20.25
11.69
-.83
1.89
.52
-1.57
% de alumnos 1
Niveles % de alumnos % de alumnos 2 3
% de alumnos 4
15.73
30.37
33.62
20.26
17.31
37.62
20.69
24.36
-1.58
-7.25
12.93
-4.10
El aprovechamiento escolar en las primarias generales e indígenas
34
En Matemáticas de tercer grado los alumnos de las escuelas de control son mayoría en los niveles 1, 3 y 4. En quinto grado dominan los alumnos de las escuelas PEC en los niveles 1 y 2, y de la muestra de control en los niveles 3 y 4. Tercer grado Matemáticas
Niveles % de alumnos 1
% de alumnos 2
% de alumnos 3
% de alumnos 4
Escuelas PEC
24.03
40.60
19.40
15.95
Escuelas control
24.52
37.63
20.48
17.35
-.49
2.97
-1.08
-1.40
Diferencia PEC
del
Quinto grado Matemáticas
Niveles % de alumnos 1
% de alumnos 2
% de alumnos 3
% de alumnos 4
Escuelas PEC
34.85
44.90
17.27
2.97
Escuelas Control
33.93
42.86
19.61
3.58
.92
2.04
-2.34
-.61
Diferencia PEC
del
El aprovechamiento escolar en las primarias generales e indígenas
35
5. Resultados en la muestra de escuelas primarias indígenas 5.1 Muestra longitudinal
L
as escuelas primarias indígenas no fueron examinadas en el tercer grado en el ciclo escolar 2003-2004, por lo que para identificar cambios en el aprovecha-
miento escolar en este estrato únicamente se toma como referencia la información disponible, esto es, el quinto grado, tanto en español como matemáticas, de los ciclos 2003-2004 y 2004-2005. Como ya se indicó, a pesar de que hubo levantamiento de datos en el ciclo 2002-2003 (lo que debería ser línea de base), esa información no se entregó a Heurística educativa. En las escuelas primarias indígenas del PEC se observa un incremento en el promedio de los aprovechamiento escolares en español y, especialmente, en matemáticas (en donde la diferencia estuvo cerca de ser estadísticamente significativa, p=.06). Sin embargo, en ninguno de los casos las diferencias alcanzan niveles de significancia estadística menores al p=.01, que es el criterio seguido en este estudio. El principal cambio que se observa se registra en la disminución de la varianza en matemáticas de quinto grado en el último ciclo medido.
El aprovechamiento escolar en las primarias generales e indígenas
LOGROS ACADÉMICOS EN QUINTO GRADO. ESPAÑOL Número de escuelas primarias indígenas
Muestra longitudinal amplia de escuelas del Programa Escuelas de Calidad.
Media Error típico de la media Desviación típica Rango Mínimo Máximo
2003-2004
2004- 2005
75
73
434.68 4.49 38.94 222.30 365.97 588.27
439.06 4.50 38.48 227.40 367.36 594.76
Diferencia del ciclo 2004-2005 con 2003-2004 2 escuelas se dieron de baja del PEC (2.67%) 1.01% .1 -.46 5.10 1.39 6.49
800
700
Español 5°
600
500
400
300
200
Primarias indígenas PEC 2003-2004
Primarias indígenas PEC 2002-2003
Tipos de muestras
36
El aprovechamiento escolar en las primarias generales e indígenas
LOGROS ACADÉMICOS EN QUINTO GRADO. MATEMÁTICAS Número de escuelas primarias indígenas
Muestra longitudinal amplia de escuelas del Programa Escuelas de Calidad.
Media Error típico de la media Desviación típica Rango Mínimo Máximo
2003-2004
2004- 2005
75
73
366.06 4.19 36.31 210.24 297.49 507.73
375.83 3.19 27.33 153.35 293.89 447.24
Diferencia del ciclo 2004-2005 con 2003-2004 2 escuelas se dieron de baja del PEC (2.67%) 2.67% -1.0 -8.98 -56.89 -3.60 -60.49
800
700
Matemáticas 5°
600
500
400
300
200
Primarias indígenas PEC 2003-2004
Primarias indígenas PEC 2004-2005
Tipos de muestras
37
El aprovechamiento escolar en las primarias generales e indígenas
38
En cuanto a la distribución de los alumnos de las escuelas primarias indígenas en los niveles de competencia curricular se observa en quinto grado de español una disminución de los polos inferiores y superiores en el ciclo 2004-2005 con respecto al anterior, incrementándose los niveles intermedios. En matemáticas de quinto grado sólo se incrementa el nivel 2, disminuyendo los niveles 3 y 4. Es doloroso el bajo nivel de competencia 4 en matemáticas.
Primarias indígenas Quinto grado Español Ciclo 2003-2004 Ciclo 2004-2005 Diferencia del ciclo 2004-2005 con relación al ciclo 2003-2004
Primarias indígenas Quinto grado Matemáticas Ciclo 2003-2004 Ciclo 2004-2005 Diferencia del ciclo 2004-2005 con relación al ciclo 2003-2004
Niveles % de alumnos 1
% de alumnos 2
% de alumnos 3
% de alumnos 4
48.98
36.67
8.07
6.26
45.29
38.78
10.41
5.50
-3.69
2.11
2.34
-.76
Niveles % de alumnos 1
% de alumnos 2
% de alumnos 3
% de alumnos 4
63.54
28.05
7.75
.64
60.00
33.07
6.69
.22
-3.54
5.02
-.86
-.42
5.2 Comparación con muestra de control En el ciclo escolar 2004-2005 también se contó con muestra de control de escuelas indígenas, midiéndose los grados tercero y quinto, tanto en español como en matemáticas. En ninguno de los grados o materia la diferencia de promedios llega a ser estadísticamente significativos, aunque en los quintos grados la diferencia en varianza casi llega a ser significativa al nivel requerido en el estudio (p=.01). Es decir, no se puede afirmar que en las escuelas primarias indígenas que participan en el Programa Escue-
El aprovechamiento escolar en las primarias generales e indígenas
39
las de Calidad se aprenda a niveles de aprovechamiento escolar diferentes a escuelas de ese estrato que no participan en el programa en el ciclo escolar 2004-2005. LOGROS ACADÉMICOS EN TERCER GRADO. ESPAÑOL Número de Muestra de escuelas comparación primarias indígenas Media Error típico de la media Desviación típica Rango Mínimo Máximo
2004-2005 PEC
2004- 2005 CONTROL
Diferencia de PEC con Control
72
80
8 escuelas (11.12%)
424.55 7.21 61.21 332.06 351.79 683.84
426.51 5.93 53.12 257.57 326.22 583.79
-.47% 1.28 8.09 79.49 25.57 100.05
800
700
Español 3°
600
500
400
300
200
Primarias indígenas PEC 2004-2005
Primarias indígenas control 2004-2005
Tipos de muestras
El aprovechamiento escolar en las primarias generales e indígenas
LOGROS ACADÉMICOS EN QUINTO GRADO. ESPAÑOL Número de Muestra de escuelas comparación primarias indígenas Media Error típico de la media Desviación típica Rango Mínimo Máximo
40
2004-2005 PEC
2004- 2005 CONTROL
Diferencia de PEC con Control
73
80
7 escuelas (9.59%)
439.06 4.50 38.48 227.40 367.36 594.76
432.54 5.11 45.72 189.11 354.17 543.27
1.49% -.61 -7.24 38.29 13.19 51.49
800
700
Español 5°
600
500
400
300
200
Primarias indígenas PEC 2004-2005
Primarias indígenas control 2004-2005
Tipos de muestras
El aprovechamiento escolar en las primarias generales e indígenas
LOGROS ACADÉMICOS EN TERCER GRADO. MATEMÁTICAS. Número de Muestra de escuelas comparación primarias indígenas Media Error típico de la media Desviación típica Rango Mínimo Máximo
2004-2005 PEC
2004- 2005 CONTROL
Diferencia de PEC con Control
72
80
8 escuelas (11.12%)
432.85 7.67 65.10 312.55 338.94 651.49
437.87 8.46 75.71 439.91 240.55 680.46
-1.16% -.79 -10.61 -127.36 98.39 -28.97
800
700
Matemáticas 3°
600
500
400
300
200
41
Primarias indígenas PEC 2004-2005
Primarias indígenas control 2004-2005
Tipos de muestras
El aprovechamiento escolar en las primarias generales e indígenas
LOGROS ACADÉMICOS EN QUINTO GRADO. MATEMÁTICAS Número de Muestra de escuelas comparación primarias indígenas Media Error típico de la media Desviación típica Rango Mínimo Máximo
2004-2005 PEC
2004- 2005 CONTROL
Diferencia de PEC con Control
73
80
7 escuelas (9.59%)
375.83 3.19 27.33 153.35 293.89 447.24
371.44 4.77 42.72 295.16 196.52 491.67
1.17% -1.58 -15.39 -141.81 97.37 -44.43
800
700
Matemáticas 5°
600
500
400
300
200
42
Primarias indígenas PEC 2004-2005
Primarias indígenas control 2004-2005
Tipos de Muestras
El aprovechamiento escolar en las primarias generales e indígenas
43
5.3 Distribución en la distribución de alumnos en los niveles de competencia curricular Al comparar los alumnos de escuelas PEC con los alumnos del grupo de control por niveles de competencia curricular se observa la brecha tan estrecha que existe entre ambos grupos. En el nivel 4, de máxima habilidad, es más frecuente encontrar alumnos de escuelas con la única excepción de matemáticas de quinto grado. En todos los casos del nivel 3 dominan los alumnos de las escuelas de control. En el nivel 2 también es más frecuente encontrar alumnos de las escuelas de control, con la excepción del español de tercer grado. En el nivel uno, de mínima habilidad, es más frecuente encontrar alumnos de escuelas PEC, con la excepción del quinto grado de español.
Tercer grado Español Ciclo escolar 2004-2005 Primarias indígenas PEC Primarias indígenas control Diferencia de PEC con relación control
Tercer grado Matemáticas Ciclo escolar 2004-2005 Primarias indígenas PEC Primarias indígenas control Diferencia de PEC con relación control
Niveles % de alumnos 1
% de alumnos 2
% de alumnos 3
% de alumnos 4
64.42
22.28
8.02
5.26
59.86
25.23
11.57
3.32
4.56
-2.95
-3.55
1.94
% de alumnos 1
Niveles % de alumnos % de alumnos 2 3
54.57
30.29
7.46
7.67
49.01
30.06
13.25
7.66
5.56
.23
-5.79
.01
% de alumnos 4
El aprovechamiento escolar en las primarias generales e indígenas
Quinto grado Español Ciclo escolar 2004-2005 Primarias indígenas PEC Primarias indígenas control. Diferencia de PEC con relación control
Quinto grado Matemáticas Ciclo escolar 2004-2005 Primarias indígenas PEC Primarias indígenas control Diferencia de PEC con relación control
% de alumnos 1
Niveles % de alumnos % de alumnos 2 3
% de alumnos 4
45.29
38.78
10.41
5.50
48.04
35.99
10.76
5.20
-2.75
2.79
-.35
.30
% de alumnos 1
Niveles % de alumnos % de alumnos 2 3
44
% de alumnos 4
60.00
33.07
6.69
.22
59.61
32.61
7.33
.43
.39
.46
-.64
-.21
El aprovechamiento escolar en las primarias generales e indígenas
45
Conclusiones
L
a evaluación cualitativa se diseñó para identificar los cambios que los componentes del Programa Escuelas de Calidad provocan a nivel escuela, para lo cual
se optimizaron las posibilidades de detectarlos a través de una muestra longitudinal tipo panel que registra los cambios en las escuelas del programa donde es más viable detectarlas, es decir, en las que forman parte del programa desde que éste inició. En la fase 4, el diseño fue mejorado en la dimensión de registro del aprovechamiento escolar ya que se contó con un grupo de control (que se había perdido por situaciones fuera del control de los evaluadores). En este reporte se presentan los análisis de los datos reportados por las instituciones generadoras de los estudios (DGE, INEE y DGEP). Los análisis son reportados por Heurística educativa SC., con base en la mejor información disponible. Por otra parte, debe enfatizarse que los resultados presentados son totalmente equiparables y que la muestra de primarias generales es representativa de las escuelas que participan en el programa desde su inicio de operaciones. La equiparación se da tanto a nivel longitudinal como transversal, en español y matemáticas, del tercero y quinto grado de primaria. Los resultados en aprovechamiento escolar a nivel longitudinal no han cambiado significativamente en las escuelas PEC, en los primeros cuatro años de operación del programa. Es decir, los alumnos de tercero y quinto grado, no presentan cambios significativos en sus niveles de logro de español y matemáticas. Esta afirmación se aplica tanto a escuelas primarias generales como a escuelas indígenas. Sólo un 6.62 escuelas (26) muestran una mejora académica continua en logro académico durante los cuatro ciclos escolares que se estudian. En el mismo lapso 6.11 (24) de las escuelas muestran un decremento constante de su aprovechamiento escolar. El resto de las escuelas muestra sentido de logro irregular.
El aprovechamiento escolar en las primarias generales e indígenas
46
Por otra parte, tampoco se detectan cambios estadísticamente significativos entre las escuelas PEC y las escuelas del grupo de control, en el ciclo escolar 2004-2005. Por lo que no existe indicio de que los componentes del programa incidan en el aprovechamiento escolar de las escuelas primarias generales o indígenas hasta ahora. La eficacia social de las escuelas primarias generales no ha cambiado significativamente. Sin embargo, sí cambia a nivel estadísticamente significativo la eficacia social de las escuelas primarias indígenas. Es decir, los alumnos más pobres de las escuelas primarias indígenas aprenden más de lo que estaban aprendiendo cuando su escuela inició su participación en el PEC. Se identificó, al mismo tiempo, que las escuelas de la muestra panel longitudinal de las escuelas primarias generales que han estado saliendo del programa tenían más alta eficacia escolar que las que han permanecido, por lo que se ha perdido el posible efecto de la eficacia social en este grupo de escuelas. Considerando los niveles de competencia curricular se observa que los alumnos de las escuelas PEC se mueven con mayor probabilidad a los niveles intermedios (2 y 3), mientras que los alumnos de las escuelas del grupo de control lo hacen a los niveles extremos (1 y 4), tanto en escuelas primarias generales como indígenas. Es obvio que el programa tiene que rediseñarse para mejorar sus posibilidades de incidir de manera más directa en el aprovechamiento escolar. Este aspecto es aún más crítico cuando el programa inicia la etapa de maduración (5 años de operación) en que los programas educativos exitosos inician su mayor incidencia en logro académico. En los análisis de la información específica de la evaluación cualitativa se han aportado ya pistas importantes que identifican los aspectos a mejorar del programa. De la información que obtengamos de la evaluación de la fase 5 esperamos identificar más puntualmente aspectos de mejora académica puntual.
El aprovechamiento escolar en las primarias generales e indígenas
Anexo Gráficas comparativas de logros entre todos los tipos de muestras
Español 3° 800
700
600
500
400
300
200
Primarias Primarias Primarias Primarias Primarias generales generales generales generales indígenas PEC 2001- PEC 2002- PEC 2003- PEC 2004- PEC 20042002 2003 2005 2004 2005
Muestras
Primarias generales control 2004-2005
Primarias indígenas control 2004-2005
47
Muestras Primarias indígenas control 2004-2005
Primarias generales control 2004-2005
Primarias indígenas PEC 2004-2005
Primarias indígenas PEC 2003-2004
Primarias generales PEC 2004-2005
Primarias generales PEC 2003-2004
Primarias generales PEC 2002-2003
Primarias generales PEC 2001-2002
El aprovechamiento escolar en las primarias generales e indígenas
Español 5°
800
700
600
500
400
300
200
48
El aprovechamiento escolar en las primarias generales e indígenas
Matemáticas 3° 800
700
600
500
400
300
200
Primarias Primarias Primarias Primarias Primarias generales generales generales generales indígenas PEC 2001- PEC 2002- PEC 2003- PEC 2004- PEC 20042002 2003 2005 2004 2005
Muestras
Primarias generales control 2004-2005
Primarias indígenas control 2004-2005
49
Muestras Primarias indígenas control 2004-2005
Primarias generales control 2004-2005
Primarias indígenas PEC 2004-2005
Primarias indígenas PEC 2003-2004
Primarias generales PEC 2004-2005
Primarias generales PEC 2003-2004
Primarias generales PEC 2002-2003
Primarias generales PEC 2001-2002
El aprovechamiento escolar en las primarias generales e indígenas
Matemáticas 5°
800
700
600
500
400
300
200
50
El aprovechamiento escolar en las primarias generales e indígenas
51
Resultados por entidad2 Escuelas primarias generales Eficacia social-periodos 2.00 2004-2005
1.00 0.00 -1.00 -2.00
2003-2004
1.00 0.00 -1.00 -2.00 2.00
2002-2003
1.00 0.00 -1.00 -2.00 2.00
2001-2002
1.00 0.00 -1.00 -2.00 Morelos Oaxaca Ycatán Tlaxcala Quintana Roo Chiapas Puebla Tabasco San Luis Potosí Tamaulipas Jalísco Zacatecas Veracruz Coahuila Sinaloa Durango Guerrero Hidalgo Michoacán Querétaro Distrito Federal Chihuahua Sonora Campeche Estado de México Baja California Guanajuato Nuevo León Nayarit Colima Aguascalientes
Entidad
2 Para interpretar correctamente estos resultados debe insistirse que las muestras no son representativas de las escuelas de la entidad. Por lo que sus resultados no se deben generalizar. Sólo se pueden comparar los resultados entre las muestras mismas.
Periodo de la evaluiación
2.00
2004-2005
2002-2003
2001-2002
Entidad
Periodo de la evaluación 2003-2004
Zacatecas Yucatán Veracruz Tlaxcala Tamaulipas Tabasco Sonora Sinaloa San Luis Potosí Quintana Roo Querétaro Puebla Oaxaca Nuevo León Nayarit Morelos Michoacán Estado de México Jalisco Hidalgo Guerrero Guanajuato Durango Distrito Federal Chihuahua Chiapas Colima Coahuila Campeche Baja California Aguascalientes
800 700 600 500 400 300 200 800 700 600 500 400 300 200 800 700 600 500 400 300 200 800 700 600 500 400 300 200
52 El aprovechamiento escolar en las primarias generales e indígenas
Promedio 3° de Español
2004-2005
2002-2003
2001-2002
Entidad
Periodo de la evaluación 2003-2004
Zacatecas Yucatán Veracruz Tlaxcala Tamaulipas Tabasco Sonora Sinaloa San Luis Potosí Quintana Roo Querétaro Puebla Oaxaca Nuevo León Nayarit Morelos Michoacán Estado de México Jalisco Hidalgo Guerrero Guanajuato Durango Distrito Federal Chihuahua Chiapas Colima Coahuila Campeche Baja California Aguascalientes
800 700 600 500 400 300 200 800 700 600 500 400 300 200 800 700 600 500 400 300 200 800 700 600 500 400 300 200
53 El aprovechamiento escolar en las primarias generales e indígenas
Promedio Español 5°
2004-2005
2002-2003
2001-2002
Entidad
Periodo de la evaluación 2003-2004
Zacatecas Yucatán Veracruz Tlaxcala Tamaulipas Tabasco Sonora Sinaloa San Luis Potosí Quintana Roo Querétaro Puebla Oaxaca Nuevo León Nayarit Morelos Michoacán Estado de México Jalisco Hidalgo Guerrero Guanajuato Durango Distrito Federal Chihuahua Chiapas Colima Coahuila Campeche Baja California Aguascalientes
800 700 600 500 400 300 200 800 700 600 500 400 300 200 800 700 600 500 400 300 200 800 700 600 500 400 300 200
54 El aprovechamiento escolar en las primarias generales e indígenas
Promedio Matemáticas 3°
2004-2005
2002-2003
2001-2002
Entidad
Periodo de la evaluación 2003-2004
Zacatecas Yucatán Veracruz Tlaxcala Tamaulipas Tabasco Sonora Sinaloa San Luis Potosí Quintana Roo Querétaro Puebla Oaxaca Nuevo León Nayarit Morelos Michoacán Estado de México Jalisco Hidalgo Guerrero Guanajuato Durango Distrito Federal Chihuahua Chiapas Colima Coahuila Campeche Baja California Aguascalientes
800 700 600 500 400 300 200 800 700 600 500 400 300 200 800 700 600 500 400 300 200 800 700 600 500 400 300 200
55 El aprovechamiento escolar en las primarias generales e indígenas
Promedio Matemáticas 5°
2004-2005
2002-2003
2001-2002
Entidad
Periodo de la evaluación 2003-2004
Zacatecas Yucatán Veracruz Tlaxcala Tamaulipas Tabasco Sonora Sinaloa San Luis Potosí Quintana Roo Querétaro Puebla Oaxaca Nuevo León Nayarit Morelos Michoacán Estado de México Jalisco Hidalgo Guerrero Guanajuato Durango Distrito Federal Chihuahua Chiapas Colima Coahuila Campeche Baja California Aguascalientes
100 80 60 40 20 0 100 80 60 40 20 0 100 80 60 40 20 0 100 80 60 40 20 0
56 El aprovechamiento escolar en las primarias generales e indígenas
Porcentaje de alumnos en el nivel 4 (Español 3°)
40 20 0 100 60
2002-2003
2001-2002
80 60
40
Entidad
Periodo de la evaluación 2003-2004
Zacatecas Yucatán Veracruz Tlaxcala Tamaulipas Tabasco Sonora Sinaloa San Luis Potosí Quintana Roo Querétaro Puebla Oaxaca Nuevo León Nayarit Morelos Michoacán Estado de México Jalisco Hidalgo Guerrero Guanajuato Durango Distrito Federal Chihuahua Chiapas Colima Coahuila Campeche Baja California Aguascalientes
20 0
2004-2005
80
60
80
40 20 0 100
80
60 40
20 0 100
57 El aprovechamiento escolar en las primarias generales e indígenas
Porcentaje de alumnos en el nivel 4 (Español 5°) 100
40 20 0 100
2003-2004
2002-2003
2001-2002
0 100 80 60
Entidad
Periodo de la evaluación
Zacatecas Yucatán Veracruz Tlaxcala Tamaulipas Tabasco Sonora Sinaloa San Luis Potosí Quintana Roo Querétaro Puebla Oaxaca Nuevo León Nayarit Morelos Michoacán Estado de México Jalisco Hidalgo Guerrero Guanajuato Durango Distrito Federal Chihuahua Chiapas Colima Coahuila Campeche Baja California Aguascalientes
40 20 0
2004-2005
80 60
60 40 20 0 100 80 80
60 40 20
58 El aprovechamiento escolar en las primarias generales e indígenas
Porcentaje de alumnos en el nivel 4 (Matemáticas 3°) 100
2004-2005
80 60
40 20 0 100
2003-2004
2002-2003
2001-2002
0 100 80 60
Entidad
Periodo de la evaluación
Zacatecas Yucatán Veracruz Tlaxcala Tamaulipas Tabasco Sonora Sinaloa San Luis Potosí Quintana Roo Querétaro Puebla Oaxaca Nuevo León Nayarit Morelos Michoacán Estado de México Jalisco Hidalgo Guerrero Guanajuato Durango Distrito Federal Chihuahua Chiapas Colima Coahuila Campeche Baja California Aguascalientes
40 20 0
59 El aprovechamiento escolar en las primarias generales e indígenas
Porcentaje de alumnos en el nivel 4 (Matemáticas 5°) 100
60 40 20 0 100 80 80
60 40 20
Entidad Tabasco
Quintana Roo
Querétaro
Puebla
Nayarit
Michoacán
Estado de México
Jalisco
Hidalgo
Guerrero
Durango
Chihuahua
Chiapas
Campeche
600
500
400
Periodo de la evaluación 2004-2005
Baja California
Español 3° (promedio)
El aprovechamiento escolar en las primarias generales e indígenas
300
200
60
Primarias indígenas
Primarias indígenas (2004-2005)
800
700
El aprovechamiento escolar en las primarias generales e indígenas
61
Primarias indígenas (Promedio Español 5°) 800 700 600
2004-2005
500
600
Periodo de la evaluación
400
500
2003-2004
300 200 800 700
400
Entidad
Tabasco
Quintana Roo
Querétaro
Puebla
Nayarit
Michoacán
Estado de México
Jalisco
Hidalgo
Guerrero
Durango
Chihuahua
Chiapas
Campeche
200
Baja California
300
El aprovechamiento escolar en las primarias generales e indígenas
62
Primarias indígenas (Promedio Matemáticas 3°) 800
Entidad
700
600
Periodo de la evaluación 2004-2005
500
400
300
Tabasco
Quintana Roo
Querétaro
Puebla
Nayarit
Michoacán
Estado de México
Jalisco
Hidalgo
Guerrero
Durango
Chihuahua
Chiapas
Campeche
Baja California
200
Entidad Tabasco
Quintana Roo
Querétaro
Puebla
Nayarit
Michoacán
Estado de México
Jalisco
Hidalgo
Guerrero
Durango
Chihuahua
Chiapas
Campeche
Baja California
500
400
400
2003-2004
500
300
200
800
700
600
300
200
Periodo de la evaluación
2004-2005
El aprovechamiento escolar en las primarias generales e indígenas 63
Primarias indígenas (Promedio Español 5°)
800
700
600
El aprovechamiento escolar en las primarias generales e indígenas
64
Primarias indígenas (Promedio Matemáticas 5°) 800 700
2004-2005
600
Periodo de la evaluación
500 400 300 200 800 700 600 500
2003-2004
400 300
Entidad
Tabasco
Quintana Roo
Querétaro
Puebla
Nayarit
Michoacán
Estado de México
Jalisco
Hidalgo
Guerrero
Durango
Chihuahua
Chiapas
Campeche
Baja California
200
Entidad Tabasco
Quintana Roo
Querétaro
Puebla
Nayarit
Michoacán
Estado de México
Jalisco
Hidalgo
Guerrero
Durango
Chihuahua
Chiapas
Campeche
Baja California
Eficacia Social (Escuelas indígenas de la M. Cualitativa)
00 2003-2004
00
-100
-200
200
100
-100
-200
Periodo de la evaluación
2004-2005
El aprovechamiento escolar en las primarias generales e indígenas 65
Primarias indígenas (Eficacia Social)
200
100
El aprovechamiento escolar en las primarias generales e indígenas
66
Primarias indígenas (Porcentaje de alumnos e el nivel 4 de Español 3°)
Tabasco
Quintana Roo
Querétaro
Puebla
Nayarit
Michoacán
Estado de México
Jalisco
Hidalgo
Guerrero
Durango
Chihuahua
Chiapas
Campeche
Baja California
Periodo de la evaluación 2004-2005
Entidad
El aprovechamiento escolar en las primarias generales e indígenas
67
Primarias indígenas (Porcentaje de alumnos e el nivel 4 de Español...) 100 80 2004-2005
60
Periodo de la evaluación
40 20 0 100 80 60 40
2003-2004
Entidad
Tabasco
Quintana Roo
Querétaro
Puebla
Nayarit
Michoacán
Estado de México
Jalisco
Hidalgo
Guerrero
Durango
Chihuahua
Chiapas
Campeche
0
Baja California
20
El aprovechamiento escolar en las primarias generales e indígenas
68
Primarias indígenas (Porcentaje de alumnos e el nivel 4 de Español 3°) 100
80
Periodo de la evaluación 2004-2005
60
40
20
0
20
40
60
Entidad
80
100
Tabasco
Quintana Roo
Querétaro
Puebla
Nayarit
Michoacán
Estado de México
Jalisco
Hidalgo
Guerrero
Durango
Chihuahua
Chiapas
Campeche
Baja California
0
El aprovechamiento escolar en las primarias generales e indígenas
69
Primarias indígenas (Porcentaje de alumnos e el nivel 4 de Matemáticas 5°) 100 80 2004-2005
40
Periodo de la evaluación
20 0 100 80 60
2003-2004 40 20
Entidad
Tabasco
Quintana Roo
Querétaro
Puebla
Nayarit
Michoacán
Estado de México
Jalisco
Hidalgo
Guerrero
Durango
Chihuahua
Chiapas
Campeche
0
Baja California
Mean Nivel 4 Matemáticas 5°
60
El aprovechamiento escolar en las primarias generales e indígenas
HEURÍSTICA EDUCATIVA
71
Evaluación Cualitativa del Programa Escuelas de Calidad