18 f5aprovechamientoescolar

Evaluación Cualitativa del Programa Escuelas de Calidad

FASE 5

El Aprovechamiento Escolar en las Escuelas Primarias Generales e Indígenas Reporte de las primeras 4 fases

HEURÍSTICA EDUCATIVA

Armando Loera Varela –investigador principal Óscar Cázares Delgado –investigador

Evaluación Cualitativa del Programa Escuelas de Calidad

FASE 5

El Aprovechamiento Escolar en las Escuelas Primarias Generales e Indígenas Reporte de las primeras 4 fases

HEURÍSTICA EDUCATIVA

Armando Loera Varela –investigador principal Óscar Cázares Delgado –investigador

Chihuahua, Chihuahua, México.

Diciembre, 2005.

El Aprovechamiento Escolar en las Escuelas Primarias Generales e Indígenas Reporte de las primeras 4 fases de la Evaluación cualitativa del Programa Escuelas de Calidad Autores: Armando Loera Varela y Óscar Cázares Delgado

© Armando Loera Varela y Óscar Cázares Delgado, 2005 Edición: Francisco Xavier Ortiz DR © Heurística educativa, 2005 Calle Río Papigochi 2718 Colonia Junta de los Ríos Chihuahua, Chihuahua C.P. 31300, México.

Teléfono y Fax: (52-614) 4242472

El aprovechamiento escolar en las primarias generales e indígenas

Índice Introducción ►7 1.Criteriosmuestrales ►9 2.Instrumentos ►14 3. Resultados longitudinales en primarias generales ►17 3.1 Muestra longitudinal amplia ►17 3.2 Diferencias en la distribución de alumnos en los niveles de competencia curricular ►20 3.3 Muestra longitudinal exacta ►21 4.Comparación entre escuelas PEC y escuelas del grupo de control ►28 4.1 Diferencias en promedios de aprovechamiento ►28 4.2 Diferencias en la distribución de alumnos en los niveles de competencia curricular ►33 5. Resultados en la muestra de escuelas primarias indígenas ►35 5.1 Muestra longitudinal ►35 5.2 Comparación con muestra de control ►38 5.3 Diferencias en la distribución de alumnos en los niveles de competencia curricular ►43 Conclusiones ►45 Anexos ►47

5

El aprovechamiento escolar en las primarias generales e indígenas

7

Introducción

L

a medición del aprovechamiento académico de los estudiantes es uno de los referentes básicos de toda evaluación de impacto por ser éste uno de los pro-

pósitos fundamentales de los programas educativos. En el caso de la evaluación del Programa Escuelas de Calidad este concepto fue muy claro en un principio. Sus reglas de operación, en los ciclos 2002-2003, 2003-2004 y 2004-2005, identifican al aprovechamiento escolar como uno de sus indicadores básicos para la evaluación del programa, y se impone la meta de un crecimiento del 10% anual por escuela y por entidad federativa en habilidades de razonamiento lógico-matemático y en habilidades lingüísticas. En las reglas de operación para el ciclo 2005-2005 desaparece el propósito de mejora del aprovechamiento en un 10% anual y se le conceptualiza de manera menos precisa como un estándar de logro educativo, expresando como parámetros (B.1 y B.2) que los alumnos demuestren un incremento en sus habilidades de razonamiento lógico-matemático y habilidades comunicativas, medidos con base en los estándares nacionales, cuando así corresponda.

Si bien el intento inicial de considerar como meta del PEC la mejora en un 10% anual carecía de bases sólidas y era arbitraria en relación a los diferentes niveles de reto de las escuelas participantes en el programa, se perdió la oportunidad, por parte del programa, de plantear un referente con relación al cual se daría el incremento, con lo que queda como una expresión vaga y confusa. Así, para determinar el incremento se plantean varias cuestiones de inicio: a) ¿Qué se debe comparar (alumnos, grupos, grados, promedios de escuelas, porcentaje de los niveles de aprovechamiento)?

El aprovechamiento escolar en las primarias generales e indígenas

8

b) ¿Cuál es el punto de comparación (línea de base, ciclo escolar anterior, grupo de comparación)? c) ¿Qué significa que “así corresponda” (es censal o sólo se aplicará a escuelas de la muestra cualitativa o alguna otra muestra)?

Por lo que, si bien el estándar de logro académico es central, para el PEC la medición de logros en su proceso de evaluación (cualquier noción de calidad educativa lo incorpora), queda de manera confusa la noción de “incremento” de los estándares de logro académico.

En este reporte analizamos los datos entregados por la Dirección General de Evaluación de Políticas (DGEP) de la Secretaría de Educación Pública (SEP) con relación al aprovechamiento escolar de los alumnos de las escuelas PEC y de escuelas no inscritas en ese programa en el ciclo escolar 2004-2005, según el levantamiento realizado en junio del 2005. Comparamos estos resultados con los obtenidos por el Instituto Nacional de Evaluación de la Educación (INEE) en los ciclos 2002-2003 y 2003-2004, así como por parte de la entonces Dirección General de Evaluación (DGE) en el ciclo 2001-2002. Consideraremos diversos criterios como referentes para dejar claro, desde diversas perspectivas, si se presenta o no algún “incremento” en el logro académico, según es medido por los resultados de las pruebas de estándares nacionales.

El primer capítulo se dedica a argumentar que a pesar de que se han involucrado diversas instancias en la medición del aprovechamiento escolar de las escuelas PEC y que ha habido cambios en los criterios para seleccionar las muestras, se cuenta con información suficientemente aceptable para estimar los cambios en los niveles de aprovechamiento escolar del PEC. En el segundo capítulo se describen aspectos curriculares que permiten medir los instrumentos que se aplican en la evaluación. A partir del tercer capítulo inicia la presentación de resultados con la comparación de promedios de logros y el porcentaje de niveles de logro en las escuelas primarias generales de manera longitudinal.

En el cuarto capítulo se comparan promedios y niveles de logro en la fase 4, contrastando escuelas PEC con un grupo de control, conformado por escuelas primarias generales que no participan en el PEC. En el capítulo 5 se presentan los resultados obtenidos en las muestras de escuelas primarias indígenas, tanto en las PEC como en un grupo de control. Finalmente se presentan conclusiones. En los anexos se adjunta información general de las muestras y por entidad.

El aprovechamiento escolar en las primarias generales e indígenas

9

1. Criterios muestrales

E

n el Programa Escuelas de Calidad (PEC) se decidió realizar diversos tipos de evaluaciones desde el inicio de su operación en el ciclo escolar 2001-2002,

entre ellas la de aprovechamiento escolar. La entidad responsable de la medición de línea de base (ciclo escolar 2001-2002) fue la Dirección General de Evaluación (DGE) de la Secretaría de Educación Pública (SEP). En los dos siguientes ciclos escolares (ciclos 2002-2003 y 2003-2004), la medición se realizó por parte del entonces recién creado Instituto Nacional de Evaluación de la Educación (INEE). En el siguiente ciclo escolar (2004-2005) la medición fue realizada, como en un inicio, por la ahora denominada Dirección General de Evaluación de Políticas (DGEP).

Además de que cambió la institución responsable, también se aplicaron diversos criterios para decidir la muestra en los diversos ciclos. Así, en el primer ciclo se realizaron dos mediciones a una muestra censal en las 2,084 escuelas primarias generales que estaban participando en el PEC (de un total de 2,261), configurando la línea de base.

Para ello se aplicaron exámenes a cuarto y sexto grado en enero de 2002, y a segundo tercero y quinto en junio de 2002. Se seleccionaron hasta treinta alumnos de cada grado de manera aleatoria. En el ciclo escolar siguiente (fase dos de seguimiento) se aplicaron exámenes en tercero, cuarto y quinto durante el mes de junio de 2003 de manera censal en las 2,037 escuelas participantes en el PEC 1 (escuelas que participan en el programa en el ciclo 2001-2002, participaran o no para la fase 2. Por cuestiones logísticas no se pudo realizar la medición en 47 escuelas), y en cada una de ellas hasta 30 alumnos seleccionados de manera aleatoria. En la fase tres de seguimiento dejaron de aplicarse los exámenes a todas las escuelas y únicamente se seleccionó a las escuelas que forman parte de la muestra longitudinal panel de la evaluación cualitativa

El aprovechamiento escolar en las primarias generales e indígenas

10

(para ese ciclo quedaban 411 escuelas de 476 en línea de base) y a 301 escuelas más participantes en el programa (de las cuales no se contó con información adicional sobre su relación con el PEC).En este grupo de escuelas se examinaron a todos los alumnos de los grados segundo, tercero, cuarto y quinto, incrementándose de manera importante el número de alumnos evaluados. Con el retorno de la responsabilidad operativa de la aplicación y calibración de la medición a la DGEP, en junio de 2005 (fase cuatro), se aplicaron exámenes a la muestra cualitativa, en los grados segundo, tercero, cuarto y quinto, teniendo como criterio la selección aleatoria de hasta 30 alumnos por grado, es decir el aplicado en las tres primeras medidas.

A pesar de que ha habido importantes diferencias en los criterios muestrales correspondientes a los cuatro procesos que hasta ahora se han aplicado, es posible hacer comparaciones válidas entre los ciclos escolares. La posibilidad de la comparación radica en el hecho de que en todas las muestras se ha incorporado el grupo de escuelas que conforman la muestra panel del estudio cualitativo, la que a su vez se había seleccionado de manera aleatoria de las escuelas que participaban en el programa en el ciclo de cuando inició su operación (por lo que asume la característica de línea de base, ciclo escolar 2001-2002). El resto de las escuelas sí han variado y no se les considerará en la comparación longitudinal que se realiza en este documento, con la excepción del grupo de control de escuelas en la fase 4. A su vez, a la muestra panel de escuela se le dará dos tratamientos. Por una parte se considerará la muestra longitudinal amplia que se define como la que inicia con 476 escuelas aleatoriamente seleccionadas, y a la que se le van restando las escuelas que se dan de baja del programa o que por algún motivo operativo no contó con las mediciones en tercero y quinto grado, tanto en español como en matemáticas, en las siguientes tres fases del seguimiento. Por otra parte, una muestra panel exacta, conformada por las escuelas de las que se cuenta con información de tercero y quinto, tanto en español como en matemáticas. Tercero y quinto son los grados que se considera que se pueden comparar, distinguiendo español (en realidad lectura) como matemáticas.

La base de la comparación radica en que en los cuatro ciclos escolares se han igualado los registros. Así, por ejemplo, de los registros de 2003 y 2004 se eliminaron reactivos de ciencias naturales, registros relacionados con preguntas abiertas relacionadas con lectura y algunos registros que presentaron problemas de inconsistencia estadística. Para fines prácticos se trata de los mismos reactivos en los cuatro levantamientos de datos, es decir, una vez depurados, se trata de los mismos instrumentos. Dos de los instrumentos midieron tercero (y cuarto en los ciclos en que se aplicó en ese grado) y los otro quinto (y sexto en los ciclos en que se aplicó). Se distingue español (en realidad habilidades y conocimiento del área de Comprensión Lectora, una de las

El aprovechamiento escolar en las primarias generales e indígenas

11

temáticas de la materia de español. Por simplicidad en los reportes, lo denominamos español y matemáticas. El procedimiento de estimación de los resultados, al tratarse de los mismos instrumentos, no requirió de ningún procedimiento de equiparación, así como tampoco se requirió de selección de los denominados ítems ancla. La calibración de los resultados, es decir, la asignación inicial de un valor de dificultad y de habilidad por ítem, considera las cuatro poblaciones de tercero y quinto grado.

Se resolvió un debate desarrollado en los dos primeros ciclos acerca de los parámetros de la equiparación asignando dimensiones diferentes en español y matemáticas. El grado de referencia fue tercero. Los niveles de confiabilidad y validez de los resultados reportados por el INEE, para las tres primeras fases, superan los criterios aplicados a nivel internacional en exámenes estandarizados, por lo que los niveles de error son aceptables. La DGEP siguió puntualmente las recomendaciones del INEE en la estimación de la fase 4. Estas bases fueron entregadas a Heurística educativa y fueron, a su vez, reanalizadas y depuradas para las muestras que aquí se reportan.

Consideramos que estamos usando la mejor información disponible para dar cuenta de comparaciones relevantes en el aprovechamiento escolar a nivel longitudinal. En el caso de la muestra panel exacta contamos con la aplicación de los mismos instrumentos en exactamente las mismas escuelas, lo cual nos aporta un alto nivel de control en la calidad de las conclusiones sobre los cambios en los niveles de aprendizaje de los alumnos asociados al programa.

El diseño original del estudio sobre aprovechamientos escolares (octubre 2001) consideraba una muestra panel (representativa del universo existente de escuelas participantes PEC, que fue estimada en 476 escuelas), con un grupo de comparación correspondientes a las muestra nacional de escuelas que estudiaba la DGE en el proyecto de Estándares Nacionales. Esta muestra nacional sería el grupo de comparación de la muestra panel longitudinal en donde el PEC estaba ejecutando su intervención. Con la emergencia del INEE, hubo cambios en los criterios y decisiones, habiéndose puesto en duda la equiparación de instrumentos, procedimientos y, en consecuencia, la comparabilidad de resultados. En consecuencia, se “perdió” el grupo de comparación en línea de base y las fases de seguimiento dos y tres. Para la cuarta fase, se decidió por parte de la Coordinación Nacional del PEC y la DGEP que se aplicaría exactamente el mismo instrumento en una muestra de control, que seleccionaría la DGEP de la base nacional de escuelas primarias de manera aleatoria simple (controlando por el número de escuelas de la evaluación cualitativa por entidad), en donde se excluyeran las escuelas primarias no inscritas en el programa en el ciclo escolar 2003-2004. De la aplicación se excluyeron tres entidades: Baja California Sur que no había participado desde un principio en la evaluación cualitativa del PEC, Morelos que se había dado de

El aprovechamiento escolar en las primarias generales e indígenas

12

baja de la evaluación en la fase tres, y Zacatecas, en donde coincidió la aplicación en el mes de junio con paros en escuelas públicas. Con esta aplicación la muestra cualitativa cuenta con una muestra de control por primera vez desde que inició la evaluación del programa, por lo que se dedica un espacio especial a los resultados del contraste entre escuelas PEC y no PEC en la fase 4.

El estudio cualitativo y el de aprovechamiento escolar en escuelas primarias indígenas se inició en el ciclo escolar 2002-2003. El tamaño de su muestra se definió en función del número de entidades que participarían en el estudio cualitativo y el número de evaluadores. Una vez que se conoció qué entidades con escuelas PEC indígenas se interesaban en integrar equipos de evaluación para realizar el estudio cualitativo, la DGE seleccionó de manera aleatoria un grupo de escuelas. El INEE realizaría en esta muestra el estudio de aprovechamiento escolar, sin embargo los resultados de estas escuelas no fueron reportados a la Coordinación Nacional del PEC y obviamente tampoco a Heurística educativa. En el ciclo escolar 2003-2004 sí fueron reportados y se asumen como los de línea de comparación para fines prácticos. Para realizar el estudio de la fase 4, la DGEP también seleccionó una muestra de control de primarias indígenas, conformadas por escuelas que no estaban participando del programa en el ciclo escolar 2003-2004 y, en un número semejante por entidad, a las escuelas participantes en la muestra panel longitudinal del estudio cualitativo. Por lo que la estimación longitudinal de escuelas primarias indígenas toma dos ciclos (dos menos que la primaria general), y en la fase 4 se realiza el contraste con la muestra comparativa.

Debe enfatizarse que el diseño longitudinal panel optimiza las posibilidades de identificar los cambios en aprovechamiento escolar, al conformarse de una muestra representativa de las escuelas donde existe más posibilidad de verse influidas por los componentes del Programa al estar más tiempo (cuatro años) inscritos en él. Como se sabe, tanto los programas como las escuelas sufren un proceso de “maduración” que implica una curva de crecimiento del impacto del programa sobre la estructura y cultura de la escuela. Si los programas están bien diseñados, se les ejecuta con eficiencia y se cuida que sus diversos componentes funcionen adecuadamente a nivel escuela, deberían, las escuelas, mostrar paulatinamente un mejora académica, con evidencias tanto de sus procesos académicos como de sus niveles de aprovechamiento escolar.

El diseño longitudinal que se ha aplicado en la evaluación cualitativa permite, mejor que ningún otro, dar cuenta de los cambios en las escuelas debido al doble proceso de maduración. En la fase 4, además, se cuenta con la posibilidad de comparar a este grupo de escuelas que han estado participando del PEC por cuatro años con escuelas públicas, también primarias generales, que nunca han participado en este programa, o que si participaron lo hicieron por muy poco tiempo, de manera que ya no se encontra-

El aprovechamiento escolar en las primarias generales e indígenas

13

ban inscritos en él para el ciclo 2004-4005. La brecha entre el estado de las escuelas PEC, de la muestra panel longitudinal y estas escuelas, debería dar cuenta de los efectos diferenciales que provoca el programa. Obviamente sería preferible que el diseño incluyera una muestra de control en línea de base, y mejor aún en las siguientes fases, pero al no ser esto posible por las razones antes expuestas, se cuenta con el mejor diseño para dar cuenta de los posible efectos del PEC dadas las circunstancias. Cuando se cuenta con un diseño longitudinal la línea de base funciona como grupo de control autoreferenciado. Es imprescindible que haya grupos de control externos cuando se sabe de fenómenos importantes que estén influyendo en escuelas que no participan en el programa. No ha sido el caso en las escuelas públicas mexicanas en el periodo 2001-2005. De cualquier manera se cuenta con mayor control de la incertidumbre en las conclusiones al contar con un grupo de control en la fase 4.

Fases e institución ejecutora del estudio Tipos de muestras

Total de estudiantes examinados Total de estudiantes de escuelas PEC examinados Total de escuelas en la muestra cualitativa (panel extenso) Total de escuelas en el panel exacto

Total de escuelas en el grupo de control

Total de entidades participantes

Estrato

Generales Indígenas Generales

2001-2002 Línea de Base DGE

2002-2003 Fase 2 INEE

2003-2004 Fase 3 INEE

2004-2005 Fase 4 DGEP

178701

164606

104084

42293

1289

10563

6447

33439

72444

21141

3771

3367

434

393

78

78

363

363

78

78

1236 36810

Indígenas Generales

464

440

Indígenas Generales

363

363

Indígenas Generales

379

Indígenas

80

Generales Indígenas

31

31

30

29

15

16

El aprovechamiento escolar en las primarias generales e indígenas

14

2. Instrumentos

C

omo ya se explicó, a las diversas muestras se aplicaron los mismos instrumentos (una vez depurada de ítems no comparables). Los instrumentos fueron

diseñados por la Dirección General de Evaluación en el proyecto Estándares Nacionales y se les denomina pruebas de Estándares Nacionales. En su estimación sobre la habilidad de los estudiantes, se aplica el procedimiento de Rasch, en el marco de la Teoría de Respuesta al Ítem. Las escalas parten del reescalamiento de la unidad de logit, en donde se asigna cero logit al 500. Por cada unidad de logia corresponde una diferencia de 100 unidades. El rango de la medición tiene como mínimo 200 unidades y como máxima 800 unidades. Esta es la base para realizar estimaciones de promedios y estimar otras medidas de distribución.

Sin embargo, debido a que las Pruebas de Estándares Nacionales1 se diseñaron para estimar niveles de habilidad de los alumnos con relación a los planes y programas de estudio, así como los contenidos de los libros de texto, recomendaciones expresadas en los Libros para el Maestro, Ficheros, Libros de Actividades y Libros de lectura.

De manera que, además de manejar conceptos vagos como son los promedios, pueden identificarse niveles de competencia en el logro de objetivos curriculares de la educación básica mexicana. Se han configurado cuatro niveles de competencia curricular para español (lectura) y matemáticas, en donde el nivel 1 corresponde a una ausencia de competencia, los niveles 2 y 3 a niveles intermedios, y el nivel 4 al cumplimiento pleno de los propósitos curriculares.

1

Para una descripción por demás completa y clara sobre el diseño de las Pruebas de Estándares Nacionales y sus fundamentos curriculares, y sobre cuya base se sustenta el contenido de este apartado véase: Quezada, Joaquín et al., Resultados de las Pruebas Nacionales de Aprovechamiento en Lectura y Matemáticas Aplicadas al fin del Ciclo 2002-2003, Instituto Nacional para la Evaluación de la Educación (INEE), Marzo 2004 (especialmente capítulos 3, 4 y 5).

El aprovechamiento escolar en las primarias generales e indígenas

15

En Español (lectura) algunas de las competencias registradas por los alumnos de tercer grado que se ubican en el nivel 3, que se pueden interpretar como satisfactorio, son: ► Localizar en un mapa información gráfica y verbal relacionándolos con conocimientos previos. ► Comparar información de dos textos discontinuos (gráfica con mapa). ► Reconocer ideas principales cuando se expresan en paráfrasis. ► Extraer conclusiones a partir de relaciones lógicas explícitas en textos narrativos o informativos.

En el nivel 4, algunas de las competencias que se muestran son: ► Comparar información explícita en el texto con sus conocimientos previos para sacar una conclusión. ► Predecir expresiones de un texto, que respeten género y función. ► Relacionar un artículo de divulgación con un título informativo y relevante. ► Valorar críticamente lo que leen: comparar, dos textos relacionados, interpretarlos, cuestionarlos y valorar la autenticidad de la información.

En el quinto grado algunas de las competencias de español consideradas en el nivel 3 son: ► Construir el significado que un término altamente polisémico o muy poco frecuente adquiere en un texto. ► Extraer conclusiones a partir de relaciones lógicas explícitas en la lectura. ► Comprender globalmente un texto, su intención, su mensaje y su tema.

En el nivel 4 del quinto grado se identifican competencias como las siguientes: ► Integrar en un enunciado temático las ideas principales de un texto informativo. ► Valorar críticamente lo que leen: interpretan, cuestionan y evalúan mensajes para construir una opinión.

En Matemáticas algunas de las competencias que se consideran en el tercer grado, en el nivel 3 son: ► Resuelven problemas aditivos con dos inferencias. ► Leen el reloj analógico.

El aprovechamiento escolar en las primarias generales e indígenas

16

► Estiman peso en kilogramos. ► Atienden de forma correcta, a las condiciones de simetría alrededor de un eje y de figuras reflejas en general, independientemente del eje y la figura.

En el mismo tercer grado pero en el nivel cuatro se identifican competencias como: ► Resuelven problemas que involucran dos operaciones (sumas y multiplicaciones). ► Realizan sumas simples de fracciones con denominador común y apoyos materiales. ► Calculan áreas de rectángulos por superposición de la unidad y conociendo la medida de sus lados.

Algunas de las competencias que se identifican en el nivel 3 del quinto grado son: ► Identifican figuras que se transforman con el uso de un eje transversal, sea por proyección, rotación o translación. ► Identifican figuras o gráficas que son representadas de forma tubular o verbal. ► Resuelven problemas que deben comparar sumas o realizar estimaciones, para llevar a cabo sumas o multiplicaciones.

Entre las competencias del nivel cuatro del quinto grado se encuentran las siguientes: ► Resuelven problemas que requieren en su solución varias multiplicaciones o sumas. ► Son capaces de resolver problemas en los que se usan fracciones. ► Interpretan gráficas transformando unidades de medición.

Con estas consideraciones se definen los rangos de medición en que se ubican las calificaciones para definir los niveles.

Español (lectura)

Niveles 1

2

3

4

Tercer grado

200-436

436-501

501-565

565-800

Quinto grado

200-426

426-505

505-551

551-800

Matemáticas

Niveles 1

2

3

4

Tercer grado

200-440

440-515

515-565

565-800

Quinto grado

200-390

390-460

460-540

540-800

El aprovechamiento escolar en las primarias generales e indígenas

17

3. Resultados longitudinales en primarias generales 3.1. Muestra longitudinal amplia

P

rimeramente se consideran los resultados de la muestra longitudinal amplia.

Es decir, las escuelas que forman parte del panel de la evaluación cualitativa y

de las cuales se cuentan con estimaciones de logro académico. En la línea de base se cuenta con registros de logro académico con 464 escuelas, en tercer grado, y 463 escuelas en quinto grado; cuatro años después, cuenta con registros efectivos de logro académico en 393 escuelas, con registros de tercero, y 390 escuelas con registros en quinto grado.

En español los resultados muestran variaciones estadísticamente no significativas en los cuatro ciclos escolares, en tercero y quinto, así como manifiesta irregularidad en el sentido (incremental o decremental). Es decir, prácticamente se ha mantenido el mismo nivel promedio de aprendizaje promedio en los cuatro primeros ciclos escolares en que ha operado el PEC. La dispersión también ha sufrido cambios pero no llegan a ser significativos y también muestran irregularidad en su sentido.

El aprovechamiento escolar en las primarias generales e indígenas

LOGROS ACADÉMICOS EN TERCER GRADO. ESPAÑOL

Número de escuelas primarias generales

Muestra longitudinal amplia de escuelas del Programa Escuelas de Calidad.

Media

2001- 2002 Línea de base

2002- 2003 Fase 2

464

440

2003- 2004 Fase 3

18

2004-2005 Fase 4

393

434

469.75

472.74

473.52

469.22

Línea de base

.63%

.80%

-.12%

1.98

2.34

2.26

2.30

42.81

49.24

47.24

45.60

Rango

280.16

309.47

336.36

378.10

Mínimo

371.24

356.14

390.38

375.18

Máximo

651.40

665.61

726.74

753.28

% Diferencia con línea de base Error típico de la media Desviación típica

LOGROS ACADÉMICOS EN QUINTO GRADO. ESPAÑOL Número de escuelas primarias generales

Muestra longitudinal amplia de escuelas del Programa Escuelas de Calidad.

Media

2001- 2002 Línea de base

2002- 2003 Fase 2

2003- 2004 Fase 3

2004-2005 Fase 4

463

440

438

390

497.11

495.36

492.61

494.57

Línea de base

-.35%

-.90%

-.51%

2.03

2.08

1.90

2.00

43.85

43.67

39.95

39.64

Rango

339.27

351.16

331.87

283.67

Mínimo

394.21

358.32

381.26

389.36

Máximo

733.48

709.48

713.13

673.03

% Diferencia con línea de base Error típico de la media Desviación típica

En Matemáticas se observan, al igual que en español, cambios irregulares tanto en tercero como en quinto grado, con variaciones que no llegan a ser estadísticamente significativas. Por lo que se mantiene el mismo nivel de aprendizaje en las escuelas de las muestra panel en estos grados y materias en las escuelas que participan en el programa desde que éste inició su operación.

El aprovechamiento escolar en las primarias generales e indígenas

LOGROS ACADÉMICOS EN TERCER GRADO. MATEMÁTICAS Número de escuelas primarias generales

Muestra longitudinal amplia de escuelas del Programa Escuelas de Calidad.

Media

19

2001- 2002 2002- 2003 2003- 2004 2004-2005 Línea de Fase 2 Fase 3 Fase 4 base

464

440

393

434

487.62

495.62

494.57

492.08

Línea de base

1.64%

1.42%

.92%

2.44

2.70

2.57

2.57

52.61

56.65

53.60

51.02

Rango

319.53

430.13

389.91

414.33

Mínimo

377.04

289.73

360.33

351.42

Máximo

696.57

719.86

750.24

765.75

% Diferencia con línea de base Error típico de la media Desviación típica

LOGROS ACADÉMICOS EN QUINTO GRADO. MATEMÁTICAS Número de escuelas primarias generales

Muestra longitudinal amplia de escuelas del Programa Escuelas de Calidad.

Media

2001- 2002 Línea de base

2002- 2003 Fase 2

463

440

2003- 2004 Fase 3

2004-2005 Fase 4

390

438

417.74

417.60

414.93

413.57

Línea de base

-.03%

-.67%

-1.00%

2.15

2.15

1.92

1.84

46.33

45.27

40.37

36.42

Rango

332.35

381.10

306.13

299.82

Mínimo

282.39

286.53

316.73

341.11

Máximo

614.74

667.63

622.86

640.93

% Diferencia con línea de base Error típico de la media Desviación típica

El aprovechamiento escolar en las primarias generales e indígenas

20

3.2 Diferencias en la distribución de alumnos en los niveles de competencia curricular Como ya se explicó, los resultados permiten ubicar a los alumnos en uno de los cuatro niveles de competencia curricular. En el nivel 1 se ubican a los alumnos que muestran insuficiencia en el alcance de las habilidades esperadas del grado. El nivel cuatro agrupa a los alumnos que muestran plenamente el manejo de los propósitos del grado. Los niveles 2 y 3 son intermedios.

Comparando la fase 4 con línea de base, se obtiene más alto porcentaje en el nivel 4 en tercer grado, tanto en español como en matemáticas. No es el caso en quinto grado. El nivel 3 se obtiene más alto porcentaje en la fase 4 en quinto de español (la más amplia brecha) y en tercero en matemáticas.

Tercer grado Español (lectura) Muestra longitudinal amplia

Niveles % de alumnos 1

% de alumnos 2

% de alumnos 3

% de alumnos 4

Línea de base

33.48

35.03

21.56

9.92

Fase 2

32.81

33.24

21.83

12.09

Fase 3

33.00

33.88

20.26

12.84

Fase 4

34.69

34.40

20.77

10.12

Diferencia de Fase 4 con Línea de base

1.21

-.63

-.79

.20

Quinto grado Español (lectura) Muestra longitudinal amplia

Niveles % de alumnos 1

% de alumnos 2

% de alumnos 3

% de alumnos 4

Línea de base

16.59

40.09

20.91

22.40

Fase 2

18.58

38.91

20.03

22.46

Fase 3

19.20

39.55

19.92

21.31

Fase 4

15.73

30.37

33.62

20.26

-.86

-9.72

12.71

-2.14

Diferencia de Fase 4 con Línea de base

El aprovechamiento escolar en las primarias generales e indígenas

Tercer grado Matemáticas Muestra longitudinal amplia

21

Niveles % de alumnos 1

% de alumnos 2

% de alumnos 3

% de alumnos 4

Línea de base

26.92

38.13

19.21

15.72

Fase 2

24.08

36.54

20.21

19.15

Fase 3

25.03

36.90

19.48

18.56

Fase 4

24.03

40.60

19.40

15.95

Diferencia de Fase 4 con Línea de base

-2.89

2.47

.19

.23

Quinto grado Matemáticas Muestra longitudinal amplia

Niveles % de alumnos 1

% de alumnos 2

% de alumnos 3

% de alumnos 4

Línea de base

36.34

36.23

21.17

6.25

Fase 2

36.37

36.41

20.86

6.34

Fase 3

37.33

36.24

20.90

5.51

Fase 4

34.85

44.90

17.26

2.97

Diferencia de Fase 4 con Línea de base

-1.49

8.67

-3.91

-3.28

3.3 Muestra longitudinal exacta De la muestra panel de 476 escuelas en el ciclo escolar 2001-2002, 463 de ellas fueron efectivamente evaluadas en aprovechamiento escolar; de este total, diversas escuelas se han estado dando de baja del programa en el curso de los cuatro años, hasta llegar a ser 393 escuelas en la fase 4. De ese grupo de escuelas, en 30 no se contaba con información de tercero y quinto, tanto en español como en matemáticas, por lo que queda un total de 363 escuelas. A este grupo se le denomina muestra longitudinal panel exacta. Su estimación permite controlar, por variaciones, que pueda sufrir la estimación del aprovechamiento escolar por la reducción de la muestra longitudinal exacta. Por lo que tenemos un grupo de 363 escuelas que han permanecido en el programa 4 años y a las que se le ha evaluado en tercero y quinto, en español y matemáticas, exactamente con los mismos instrumentos. Este grupo optimiza al máximo la posibilidad de registrar los efectos del PEC en logros académicos.

El aprovechamiento escolar en las primarias generales e indígenas

22

En español no resultan niveles de aprovechamiento promedio diferentes (a nivel estadísticamente significativo) en las fases de seguimiento respecto a línea de base. En tercer grado se manifiesta un aumento en la dispersión de los promedios, particularmente una tendencia incremental en los rangos superiores de calificaciones. En quinto grado la variación de la dispersión muestra irregularidad.

LOGROS ACADÉMICOS EN TERCER GRADO. ESPAÑOL Número de escuelas primarias generales

Muestra longitudinal panel exacta de escuelas del Programa Escuelas de Calidad.

Media

2001- 2002 Línea de base

2002- 2003 Fase 2

2003- 2004 Fase 3

2004-2005 Fase 4

363

363

363

363

468.74

472.78

472.07

469.04

Línea de base

.87%

.71%

.07%

2.19

2.53

2.46

2.42

41.73

48.21

46.96

46.22

Rango

239.78

306.96

336.36

378.10

Mínimo

371.24

358.65

390.38

375.18

Máximo

611.02

665.61

726.74

753.28

% Diferencia con línea de base Error típico de la media Desviación típica

LOGROS ACADÉMICOS EN QUINTO GRADO. ESPAÑOL

Número de escuelas primarias generales

Muestra longitudinal panel exacta de escuelas del Programa Escuelas de Calidad.

Media

2001- 2002 Línea de base

363

2002- 2003 Fase 2

363

2003- 2004 Fase 3

2004-2005 Fase 4

363

363

497.19

495.35

492.79

495.55

Línea de base

-.37

-.89

-.33

2.33

2.18

2.10

2.08

44.58

41.70

40.10

39.73

Rango

339.27

307.85

331.87

275.64

Mínimo

394.21

401.63

381.26

397.39

Máximo

733.48

709.48

713.13

673.03

% Diferencia con línea de base Error típico de la media Desviación típica

El aprovechamiento escolar en las primarias generales e indígenas

23

En Matemáticas se reafirma la falta de cambios estadísticamente significativos entres las fases de seguimiento, tanto en tercero como en quinto. Sin embargo, en el tercer grado se manifiesta un importante aumento en el rango, con sentido incremental.

Esta tendencia no se manifiesta en quinto grado.

LOGROS ACADÉMICOS EN TERCER GRADO. MATEMÁTICAS. Número de escuelas primarias generales

Muestra longitudinal panel exacta de escuelas del Programa Escuelas de Calidad.

Media

2001- 2002 Línea de base

2002- 2003 Fase 2

363

363

2003- 2004 Fase 3

2004-2005 Fase 4

363

363

486.46

496.09

492.47

491.87

Línea de base

1.96%

1.24%

1.12%

2.74

2.90

2.69

2.70

52.29

55.42

51.25

51.62

Rango

317.22

349.23

389.91

414.33

Mínimo

377.04

370.63

360.33

351.42

Máximo

694.26

719.86

750.24

765.75

% Diferencia con línea de base Error típico de la media Desviación típica

LOGROS ACADÉMICOS EN QUINTO GRADO. MATEMÁTICAS. Número de escuelas primarias generales

Muestra longitudinal panel exacta de escuelas del Programa Escuelas de Calidad.

Media

2001- 2002 Línea de base

2002- 2003 Fase 2

363

363

2003- 2004 Fase 3

363

2004-2005 Fase 4

363

417.39

417.65

414.81

414.38

Línea de base

.07%

-.62%

-.73%

2.40

2.35

2.10

1.93

45.76

44.84

40.06

36.78

Rango

332.35

345.94

306.13

289.03

Mínimo

282.39

321.69

316.73

351.10

Máximo

614.74

667.63

622.86

640.93

% Diferencia con línea de base Error típico de la media Desviación típica

El aprovechamiento escolar en las primarias generales e indígenas

24

Enseguida se muestran representaciones gráficas en donde se acentúa en esta muestra diversos comportamientos de los aprovechamientos escolares, identificando la dispersión de las escuelas y los casos extremos.

En español de tercer grado se nota la poca variación del grueso de las escuelas pero se identifica un aumento en los casos extremos ascendentes. En quinto grado, por el contrario, disminuye el rango de los casos extremos, manteniéndose la uniformidad de las medidas centrales.

800

700

Español 3°

600

500

400

300

200

Primarias generales PEC 2001-2002

Primarias Primarias generales PEC generales PEC 2003-2004 2002-2003

Muestra de panel exacta

Primarias generales PEC 2004-2005

El aprovechamiento escolar en las primarias generales e indígenas

800

700

Español 5°

600

500

400

300

200

Primarias generales PEC 2001-2002

Primarias Primarias generales PEC generales PEC 2003-2004 2002-2003

Muestra de panel exacta

Primarias generales PEC 2004-2005

25

El aprovechamiento escolar en las primarias generales e indígenas

26

En Matemáticas se observa que en el tercer grado además de mantenerse las medidas centrales aumentan los casos extremos en la fase 4, tanto hacia arriba como hacia abajo, mostrando un aumento significativo de la varianza. En quinto grado es más irregular el comportamiento de la varianza.

800

700

Matemáticas 3°

600

500

400

300

200

Primarias generales PEC 2001-2002

Primarias Primarias generales PEC generales PEC 2003-2004 2002-2003

Muestra de panel exacta

Primarias generales PEC 2004-2005

El aprovechamiento escolar en las primarias generales e indígenas

27

800

700

Matemáticas 5°

600

500

400

300

200

Primarias generales PEC 2001-2002

Primarias Primarias generales PEC generales PEC 2003-2004 2002-2003

Muestra de panel exacta

Primarias generales PEC 2004-2005

Con el fin de analizar si las escuelas que salieron de la muestra cualitativa manifestaban un grado de aprovechamiento diferentes a las que se permanecieron en la muestra cualitativa se compararon los promedios de logro académico en tercero y quinto, tanto en español como en matemáticas. En ningún caso se observó que se dieran diferencias significativas entre estos grupos de escuelas.

El aprovechamiento escolar en las primarias generales e indígenas

28

4. Comparación entre escuelas PEC y escuelas del grupo de control

E

n la fase 4 se cuenta por primera vez, como ya fue explicado, con una muestra de control. Esta muestra se compone de escuelas primarias generales que no

participaron en el PEC durante el ciclo escolar 2004-2005, por lo que cabe la posibilidad de que alguna haya participado previamente (de lo que se informará en los reportes posteriores). El tamaño por entidad se definió del mismo tamaño que el de la muestra longitudinal panel, sin embargo por problemas logísticos se midió el aprovechamiento escolar en 14 escuelas menos (3.57%) en el grupo de control. La diferencia es mínima y no incide en el tamaño de la brecha, por lo que, para definir el contraste en aprovechamiento escolar, se presentan los resultados de todas las escuelas en donde se realizó la medición. Debe recordarse que en ambos grupos de escuelas se aplicaron las mismas pruebas y se les sometió al mismo proceso de calibración y análisis.

4.1 Diferencias en promedios de aprovechamiento Los resultados muestran que no hay diferencias estadísticamente significativas en el aprovechamiento escolar promedio de las escuelas PEC con la muestra de control no PEC en el ciclo escolar 2004-2005. En los cuatro referentes en que se presenta la comparación (español y matemáticas de tercero y quinto grados) las escuelas de control resultan con promedios ligeramente más altos, especialmente en quinto grado (lo que puede deber a escuelas más grandes y diferentes nivel socio-económico de las familias de los alumnos), pero en ningún caso llega a ser estadísticamente significativo. Por lo que no existen evidencias de que en las escuelas PEC se obtenga un aprovechamiento escolar promedio diferente al resto de las escuelas.

Sin embargo en la dispersión de los resultados resultan algunas diferencias. En español de tercer grado resulta una mayor varianza en la muestra de control que en las escuelas PEC (F=5.41; p=.02).

El aprovechamiento escolar en las primarias generales e indígenas

LOGROS ACADÉMICOS EN TERCER GRADO. ESPAÑOL Número de escuelas primarias generales

Muestra de comparación

Media

2004-2005 PEC

2004- 2005 Control

393

379

29

Diferencia de la muestra PEC con relación a la muestra de control

14 escuelas más en la muestra PEC (3.57%)

469.22

469.97

-.16%

2.30

2.57

-.27

45.60

50.15

-4.55

Rango

378.10

306.59

71.51

Mínimo

375.18

357.60

17.58

Máximo

753.28

664.20

89.08

Error típico de la media Desviación típica

De igual manera, en español de quinto grado la varianza es significativamente mayor en las escuelas no PEC (F=5.95; p=.01), aunque como es posible ver en las siguientes gráficas, escuelas PEC obtienen los más altos niveles de logro en español de tercero y de quinto.

800

700

Español 3°

600

500

400

300

200

Primarias generales PEC 2004-2005

Muestras

Primarias generales control 2004-2005

El aprovechamiento escolar en las primarias generales e indígenas

LOGROS ACADÉMICOS EN QUINTO GRADO. ESPAÑOL Número de escuelas primarias generales

Muestra de comparación

Media

2004-2005 PEC

390

2004- 2005 Control

30

Diferencia de la muestra PEC con relación a la muestra de control 14 escuelas más en la muestra PEC (3.59%)

376

494.57

498.90

-.88%

2.00

2.26

-.26

39.64

43.88

-4.24

Rango

283.67

259.49

24.18

Mínimo

389.36

373.96

15.40

Máximo

673.03

633.45

39.58

Error típico de la media Desviación típica

800

700

Español 5°

600

500

400

300

200

Primarias generales PEC 2004-2005

Muestras

Primarias generales control 2004-2005

El aprovechamiento escolar en las primarias generales e indígenas

31

En matemáticas la varianza es mayor tanto en tercero como en quinto en las escuelas PEC pero no llega a niveles estadísticamente significativos. En quinto grado las escuelas excepcionales por su nivel de aprovechamiento comparativo son PEC, en tercero no se presentan diferencias entre las escuelas excepcionales.

LOGROS ACADÉMICOS EN TERCER GRADO. MATEMÁTICAS Número de escuelas primarias generales

Muestra de comparación

Media

2004-2005 PEC

2004- 2005 Control

Diferencia de la muestra PEC con relación a la muestra de control

393

379

14 escuelas más en la muestra PEC (3.57%)

492.08

493.36

-.26%

2.57

2.78

-.21

51.02

54.17

-3.15

Rango

414.33

427.18

-12.85

Mínimo

351.42

330.04

21.38

Máximo

765.75

757.22

8.53

Error típico de la media Desviación típica

800

700

Matemáticas 3°

600

500

400

300

200

Primarias generales PEC 2004-2005

Muestras

Primarias generales control 2004-2005

El aprovechamiento escolar en las primarias generales e indígenas

LOGROS ACADÉMICOS EN QUINTO GRADO. MATEMÁTICAS Número de escuelas primarias generales

Muestra de comparación

Media Error típico de la media Desviación típica Rango Mínimo Máximo

2004-2005 PEC

2004- 2005 Control

390

376

413.57 1.84 36.42 299.82 341.11 640.93

416.17 1.94 37.62 228.12 314.58 542.71

Diferencia de la muestra PEC con relación a la muestra de control 14 escuelas más en la muestra PEC (3.59%) -.63% -.10 -1.20 71.70 26.53 98.22

800

700

Matemáticas 5°

600

500

400

300

200

Primarias generales PEC 2004-2005

Muestras

32

Primarias generales control 2004-2005

El aprovechamiento escolar en las primarias generales e indígenas

33

4.2 Diferencias en la distribución de alumnos en los niveles de competencia curricular Como ya se explicó previamente, los resultados permiten ubicar a los alumnos en uno de los cuatro niveles de competencia curricular. En el nivel 1 se ubican a los alumnos que muestran insuficiencia en el alcance de las habilidades esperadas del grado.

El nivel cuatro agrupa a los alumnos que muestran plenamente el manejo de los propósitos del grado. Los niveles 2 y 3 son intermedios.

En español de tercer grado los alumnos de las escuelas PEC superan a los de las escuelas de control en los niveles intermedios, pero son superados tanto en el nivel 1 como en el nivel 4. En quinto grado la diferencia a favor de los alumnos en las escuelas PEC es claro en el nivel 3, pero no en el nivel 4, ni en los dos restantes niveles.

Tercer grado Español (lectura) Escuelas PEC Escuelas control Diferencia del PEC

Quinto grado Español (lectura) Escuelas PEC Escuelas Control Diferencia del PEC

% de alumnos 1

Niveles % de alumnos % de alumnos 2 3

% de alumnos 4

34.69

34.40

20.77

10.12

35.52

32.51

20.25

11.69

-.83

1.89

.52

-1.57

% de alumnos 1

Niveles % de alumnos % de alumnos 2 3

% de alumnos 4

15.73

30.37

33.62

20.26

17.31

37.62

20.69

24.36

-1.58

-7.25

12.93

-4.10

El aprovechamiento escolar en las primarias generales e indígenas

34

En Matemáticas de tercer grado los alumnos de las escuelas de control son mayoría en los niveles 1, 3 y 4. En quinto grado dominan los alumnos de las escuelas PEC en los niveles 1 y 2, y de la muestra de control en los niveles 3 y 4.

Tercer grado Matemáticas

Niveles % de alumnos 1

% de alumnos 2

% de alumnos 3

% de alumnos 4

Escuelas PEC

24.03

40.60

19.40

15.95

Escuelas control

24.52

37.63

20.48

17.35

-.49

2.97

-1.08

-1.40

Diferencia PEC

del

Quinto grado Matemáticas

Niveles % de alumnos 1

% de alumnos 2

% de alumnos 3

% de alumnos 4

Escuelas PEC

34.85

44.90

17.27

2.97

Escuelas Control

33.93

42.86

19.61

3.58

.92

2.04

-2.34

-.61

Diferencia PEC

del

El aprovechamiento escolar en las primarias generales e indígenas

35

5. Resultados en la muestra de escuelas primarias indígenas 5.1 Muestra longitudinal

L

as escuelas primarias indígenas no fueron examinadas en el tercer grado en el ciclo escolar 2003-2004, por lo que para identificar cambios en el aprovecha-

miento escolar en este estrato únicamente se toma como referencia la información disponible, esto es, el quinto grado, tanto en español como matemáticas, de los ciclos 2003-2004 y 2004-2005. Como ya se indicó, a pesar de que hubo levantamiento de datos en el ciclo 2002-2003 (lo que debería ser línea de base), esa información no se entregó a Heurística educativa.

En las escuelas primarias indígenas del PEC se observa un incremento en el promedio de los aprovechamiento escolares en español y, especialmente, en matemáticas (en donde la diferencia estuvo cerca de ser estadísticamente significativa, p=.06). Sin embargo, en ninguno de los casos las diferencias alcanzan niveles de significancia estadística menores al p=.01, que es el criterio seguido en este estudio. El principal cambio que se observa se registra en la disminución de la varianza en matemáticas de quinto grado en el último ciclo medido.

El aprovechamiento escolar en las primarias generales e indígenas

LOGROS ACADÉMICOS EN QUINTO GRADO. ESPAÑOL Número de escuelas primarias indígenas

Muestra longitudinal amplia de escuelas del Programa Escuelas de Calidad.

Media Error típico de la media Desviación típica Rango Mínimo Máximo

2003-2004

2004- 2005

75

73

434.68 4.49 38.94 222.30 365.97 588.27

439.06 4.50 38.48 227.40 367.36 594.76

Diferencia del ciclo 2004-2005 con 2003-2004 2 escuelas se dieron de baja del PEC (2.67%) 1.01% .1 -.46 5.10 1.39 6.49

800

700

Español 5°

600

500

400

300

200

Primarias indígenas PEC 2003-2004

Primarias indígenas PEC 2002-2003

Tipos de muestras

36

El aprovechamiento escolar en las primarias generales e indígenas

LOGROS ACADÉMICOS EN QUINTO GRADO. MATEMÁTICAS Número de escuelas primarias indígenas

Muestra longitudinal amplia de escuelas del Programa Escuelas de Calidad.

Media Error típico de la media Desviación típica Rango Mínimo Máximo

2003-2004

2004- 2005

75

73

366.06 4.19 36.31 210.24 297.49 507.73

375.83 3.19 27.33 153.35 293.89 447.24

Diferencia del ciclo 2004-2005 con 2003-2004 2 escuelas se dieron de baja del PEC (2.67%) 2.67% -1.0 -8.98 -56.89 -3.60 -60.49

800

700

Matemáticas 5°

600

500

400

300

200

Primarias indígenas PEC 2003-2004

Primarias indígenas PEC 2004-2005

Tipos de muestras

37

El aprovechamiento escolar en las primarias generales e indígenas

38

En cuanto a la distribución de los alumnos de las escuelas primarias indígenas en los niveles de competencia curricular se observa en quinto grado de español una disminución de los polos inferiores y superiores en el ciclo 2004-2005 con respecto al anterior, incrementándose los niveles intermedios. En matemáticas de quinto grado sólo se incrementa el nivel 2, disminuyendo los niveles 3 y 4. Es doloroso el bajo nivel de competencia 4 en matemáticas.

Primarias indígenas Quinto grado Español Ciclo 2003-2004 Ciclo 2004-2005 Diferencia del ciclo 2004-2005 con relación al ciclo 2003-2004

Primarias indígenas Quinto grado Matemáticas Ciclo 2003-2004 Ciclo 2004-2005 Diferencia del ciclo 2004-2005 con relación al ciclo 2003-2004

Niveles % de alumnos 1

% de alumnos 2

% de alumnos 3

% de alumnos 4

48.98

36.67

8.07

6.26

45.29

38.78

10.41

5.50

-3.69

2.11

2.34

-.76

Niveles % de alumnos 1

% de alumnos 2

% de alumnos 3

% de alumnos 4

63.54

28.05

7.75

.64

60.00

33.07

6.69

.22

-3.54

5.02

-.86

-.42

5.2 Comparación con muestra de control En el ciclo escolar 2004-2005 también se contó con muestra de control de escuelas indígenas, midiéndose los grados tercero y quinto, tanto en español como en matemáticas. En ninguno de los grados o materia la diferencia de promedios llega a ser estadísticamente significativos, aunque en los quintos grados la diferencia en varianza casi llega a ser significativa al nivel requerido en el estudio (p=.01). Es decir, no se puede afirmar que en las escuelas primarias indígenas que participan en el Programa Escue-

El aprovechamiento escolar en las primarias generales e indígenas

39

las de Calidad se aprenda a niveles de aprovechamiento escolar diferentes a escuelas de ese estrato que no participan en el programa en el ciclo escolar 2004-2005.

LOGROS ACADÉMICOS EN TERCER GRADO. ESPAÑOL Número de Muestra de escuelas comparación primarias indígenas Media Error típico de la media Desviación típica Rango Mínimo Máximo

2004-2005 PEC

2004- 2005 CONTROL

Diferencia de PEC con Control

72

80

8 escuelas (11.12%)

424.55 7.21 61.21 332.06 351.79 683.84

426.51 5.93 53.12 257.57 326.22 583.79

-.47% 1.28 8.09 79.49 25.57 100.05

800

700

Español 3°

600

500

400

300

200

Primarias indígenas PEC 2004-2005

Primarias indígenas control 2004-2005

Tipos de muestras

El aprovechamiento escolar en las primarias generales e indígenas

LOGROS ACADÉMICOS EN QUINTO GRADO. ESPAÑOL Número de Muestra de escuelas comparación primarias indígenas Media Error típico de la media Desviación típica Rango Mínimo Máximo

40

2004-2005 PEC

2004- 2005 CONTROL

Diferencia de PEC con Control

73

80

7 escuelas (9.59%)

439.06 4.50 38.48 227.40 367.36 594.76

432.54 5.11 45.72 189.11 354.17 543.27

1.49% -.61 -7.24 38.29 13.19 51.49

800

700

Español 5°

600

500

400

300

200

Primarias indígenas PEC 2004-2005

Primarias indígenas control 2004-2005

Tipos de muestras

El aprovechamiento escolar en las primarias generales e indígenas

LOGROS ACADÉMICOS EN TERCER GRADO. MATEMÁTICAS. Número de Muestra de escuelas comparación primarias indígenas Media Error típico de la media Desviación típica Rango Mínimo Máximo

2004-2005 PEC

2004- 2005 CONTROL

Diferencia de PEC con Control

72

80

8 escuelas (11.12%)

432.85 7.67 65.10 312.55 338.94 651.49

437.87 8.46 75.71 439.91 240.55 680.46

-1.16% -.79 -10.61 -127.36 98.39 -28.97

800

700

Matemáticas 3°

600

500

400

300

200

41

Primarias indígenas PEC 2004-2005

Primarias indígenas control 2004-2005

Tipos de muestras

El aprovechamiento escolar en las primarias generales e indígenas

LOGROS ACADÉMICOS EN QUINTO GRADO. MATEMÁTICAS Número de Muestra de escuelas comparación primarias indígenas Media Error típico de la media Desviación típica Rango Mínimo Máximo

2004-2005 PEC

2004- 2005 CONTROL

Diferencia de PEC con Control

73

80

7 escuelas (9.59%)

375.83 3.19 27.33 153.35 293.89 447.24

371.44 4.77 42.72 295.16 196.52 491.67

1.17% -1.58 -15.39 -141.81 97.37 -44.43

800

700

Matemáticas 5°

600

500

400

300

200

42

Primarias indígenas PEC 2004-2005

Primarias indígenas control 2004-2005

Tipos de Muestras

El aprovechamiento escolar en las primarias generales e indígenas

43

5.3 Distribución en la distribución de alumnos en los niveles de competencia curricular Al comparar los alumnos de escuelas PEC con los alumnos del grupo de control por niveles de competencia curricular se observa la brecha tan estrecha que existe entre ambos grupos. En el nivel 4, de máxima habilidad, es más frecuente encontrar alumnos de escuelas con la única excepción de matemáticas de quinto grado. En todos los casos del nivel 3 dominan los alumnos de las escuelas de control. En el nivel 2 también es más frecuente encontrar alumnos de las escuelas de control, con la excepción del español de tercer grado. En el nivel uno, de mínima habilidad, es más frecuente encontrar alumnos de escuelas PEC, con la excepción del quinto grado de español.

Tercer grado Español Ciclo escolar 2004-2005 Primarias indígenas PEC Primarias indígenas control Diferencia de PEC con relación control

Tercer grado Matemáticas Ciclo escolar 2004-2005 Primarias indígenas PEC Primarias indígenas control Diferencia de PEC con relación control

Niveles % de alumnos 1

% de alumnos 2

% de alumnos 3

% de alumnos 4

64.42

22.28

8.02

5.26

59.86

25.23

11.57

3.32

4.56

-2.95

-3.55

1.94

% de alumnos 1

Niveles % de alumnos % de alumnos 2 3

54.57

30.29

7.46

7.67

49.01

30.06

13.25

7.66

5.56

.23

-5.79

.01

% de alumnos 4

El aprovechamiento escolar en las primarias generales e indígenas

Quinto grado Español Ciclo escolar 2004-2005 Primarias indígenas PEC Primarias indígenas control.

Diferencia de PEC con relación control

Quinto grado Matemáticas Ciclo escolar 2004-2005 Primarias indígenas PEC Primarias indígenas control Diferencia de PEC con relación control

% de alumnos 1

Niveles % de alumnos % de alumnos 2 3

% de alumnos 4

45.29

38.78

10.41

5.50

48.04

35.99

10.76

5.20

-2.75

2.79

-.35

.30

% de alumnos 1

Niveles % de alumnos % de alumnos 2 3

44

% de alumnos 4

60.00

33.07

6.69

.22

59.61

32.61

7.33

.43

.39

.46

-.64

-.21

El aprovechamiento escolar en las primarias generales e indígenas

45

Conclusiones

L

a evaluación cualitativa se diseñó para identificar los cambios que los componentes del Programa Escuelas de Calidad provocan a nivel escuela, para lo cual

se optimizaron las posibilidades de detectarlos a través de una muestra longitudinal tipo panel que registra los cambios en las escuelas del programa donde es más viable detectarlas, es decir, en las que forman parte del programa desde que éste inició. En la fase 4, el diseño fue mejorado en la dimensión de registro del aprovechamiento escolar ya que se contó con un grupo de control (que se había perdido por situaciones fuera del control de los evaluadores). En este reporte se presentan los análisis de los datos reportados por las instituciones generadoras de los estudios (DGE, INEE y DGEP).

Los análisis son reportados por Heurística educativa SC., con base en la mejor información disponible. Por otra parte, debe enfatizarse que los resultados presentados son totalmente equiparables y que la muestra de primarias generales es representativa de las escuelas que participan en el programa desde su inicio de operaciones. La equiparación se da tanto a nivel longitudinal como transversal, en español y matemáticas, del tercero y quinto grado de primaria.

Los resultados en aprovechamiento escolar a nivel longitudinal no han cambiado significativamente en las escuelas PEC, en los primeros cuatro años de operación del programa. Es decir, los alumnos de tercero y quinto grado, no presentan cambios significativos en sus niveles de logro de español y matemáticas. Esta afirmación se aplica tanto a escuelas primarias generales como a escuelas indígenas. Sólo un 6.62 escuelas (26) muestran una mejora académica continua en logro académico durante los cuatro ciclos escolares que se estudian. En el mismo lapso 6.11 (24) de las escuelas muestran un decremento constante de su aprovechamiento escolar. El resto de las escuelas muestra sentido de logro irregular.

El aprovechamiento escolar en las primarias generales e indígenas

46

Por otra parte, tampoco se detectan cambios estadísticamente significativos entre las escuelas PEC y las escuelas del grupo de control, en el ciclo escolar 2004-2005.

Por lo que no existe indicio de que los componentes del programa incidan en el aprovechamiento escolar de las escuelas primarias generales o indígenas hasta ahora.

La eficacia social de las escuelas primarias generales no ha cambiado significativamente. Sin embargo, sí cambia a nivel estadísticamente significativo la eficacia social de las escuelas primarias indígenas. Es decir, los alumnos más pobres de las escuelas primarias indígenas aprenden más de lo que estaban aprendiendo cuando su escuela inició su participación en el PEC. Se identificó, al mismo tiempo, que las escuelas de la muestra panel longitudinal de las escuelas primarias generales que han estado saliendo del programa tenían más alta eficacia escolar que las que han permanecido, por lo que se ha perdido el posible efecto de la eficacia social en este grupo de escuelas.

Considerando los niveles de competencia curricular se observa que los alumnos de las escuelas PEC se mueven con mayor probabilidad a los niveles intermedios (2 y 3), mientras que los alumnos de las escuelas del grupo de control lo hacen a los niveles extremos (1 y 4), tanto en escuelas primarias generales como indígenas.

Es obvio que el programa tiene que rediseñarse para mejorar sus posibilidades de incidir de manera más directa en el aprovechamiento escolar. Este aspecto es aún más crítico cuando el programa inicia la etapa de maduración (5 años de operación) en que los programas educativos exitosos inician su mayor incidencia en logro académico.

En los análisis de la información específica de la evaluación cualitativa se han aportado ya pistas importantes que identifican los aspectos a mejorar del programa. De la información que obtengamos de la evaluación de la fase 5 esperamos identificar más puntualmente aspectos de mejora académica puntual.

El aprovechamiento escolar en las primarias generales e indígenas

Anexo Gráficas comparativas de logros entre todos los tipos de muestras

Español 3° 800

700

600

500

400

300

200

Primarias Primarias Primarias Primarias Primarias generales generales generales generales indígenas PEC 2001- PEC 2002- PEC 2003- PEC 2004- PEC 20042002 2003 2005 2004 2005

Muestras

Primarias generales control 2004-2005

Primarias indígenas control 2004-2005

47

Muestras Primarias indígenas control 2004-2005

Primarias generales control 2004-2005

Primarias indígenas PEC 2004-2005

Primarias indígenas PEC 2003-2004

Primarias generales PEC 2004-2005

Primarias generales PEC 2003-2004

Primarias generales PEC 2002-2003

Primarias generales PEC 2001-2002

El aprovechamiento escolar en las primarias generales e indígenas

Español 5°

800

700

600

500

400

300

200

48

El aprovechamiento escolar en las primarias generales e indígenas

Matemáticas 3° 800

700

600

500

400

300

200

Primarias Primarias Primarias Primarias Primarias generales generales generales generales indígenas PEC 2001- PEC 2002- PEC 2003- PEC 2004- PEC 20042002 2003 2005 2004 2005

Muestras

Primarias generales control 2004-2005

Primarias indígenas control 2004-2005

49

Muestras Primarias indígenas control 2004-2005

Primarias generales control 2004-2005

Primarias indígenas PEC 2004-2005

Primarias indígenas PEC 2003-2004

Primarias generales PEC 2004-2005

Primarias generales PEC 2003-2004

Primarias generales PEC 2002-2003

Primarias generales PEC 2001-2002

El aprovechamiento escolar en las primarias generales e indígenas

Matemáticas 5°

800

700

600

500

400

300

200

50

El aprovechamiento escolar en las primarias generales e indígenas

51

Resultados por entidad2 Escuelas primarias generales Eficacia social-periodos 2.00 2004-2005

1.00 0.00 -1.00 -2.00

2003-2004

1.00 0.00 -1.00 -2.00 2.00

2002-2003

1.00 0.00 -1.00 -2.00 2.00

2001-2002

1.00 0.00 -1.00 -2.00 Morelos Oaxaca Ycatán Tlaxcala Quintana Roo Chiapas Puebla Tabasco San Luis Potosí Tamaulipas Jalísco Zacatecas Veracruz Coahuila Sinaloa Durango Guerrero Hidalgo Michoacán Querétaro Distrito Federal Chihuahua Sonora Campeche Estado de México Baja California Guanajuato Nuevo León Nayarit Colima Aguascalientes

Entidad

2 Para interpretar correctamente estos resultados debe insistirse que las muestras no son representativas de las escuelas de la entidad. Por lo que sus resultados no se deben generalizar. Sólo se pueden comparar los resultados entre las muestras mismas.

Periodo de la evaluiación

2.00

2004-2005

2002-2003

2001-2002

Entidad

Periodo de la evaluación 2003-2004

Zacatecas Yucatán Veracruz Tlaxcala Tamaulipas Tabasco Sonora Sinaloa San Luis Potosí Quintana Roo Querétaro Puebla Oaxaca Nuevo León Nayarit Morelos Michoacán Estado de México Jalisco Hidalgo Guerrero Guanajuato Durango Distrito Federal Chihuahua Chiapas Colima Coahuila Campeche Baja California Aguascalientes

800 700 600 500 400 300 200 800 700 600 500 400 300 200 800 700 600 500 400 300 200 800 700 600 500 400 300 200

52 El aprovechamiento escolar en las primarias generales e indígenas

Promedio 3° de Español

2004-2005

2002-2003

2001-2002

Entidad

Periodo de la evaluación 2003-2004

Zacatecas Yucatán Veracruz Tlaxcala Tamaulipas Tabasco Sonora Sinaloa San Luis Potosí Quintana Roo Querétaro Puebla Oaxaca Nuevo León Nayarit Morelos Michoacán Estado de México Jalisco Hidalgo Guerrero Guanajuato Durango Distrito Federal Chihuahua Chiapas Colima Coahuila Campeche Baja California Aguascalientes

800 700 600 500 400 300 200 800 700 600 500 400 300 200 800 700 600 500 400 300 200 800 700 600 500 400 300 200

53 El aprovechamiento escolar en las primarias generales e indígenas

Promedio Español 5°

2004-2005

2002-2003

2001-2002

Entidad

Periodo de la evaluación 2003-2004

Zacatecas Yucatán Veracruz Tlaxcala Tamaulipas Tabasco Sonora Sinaloa San Luis Potosí Quintana Roo Querétaro Puebla Oaxaca Nuevo León Nayarit Morelos Michoacán Estado de México Jalisco Hidalgo Guerrero Guanajuato Durango Distrito Federal Chihuahua Chiapas Colima Coahuila Campeche Baja California Aguascalientes

800 700 600 500 400 300 200 800 700 600 500 400 300 200 800 700 600 500 400 300 200 800 700 600 500 400 300 200

54 El aprovechamiento escolar en las primarias generales e indígenas

Promedio Matemáticas 3°

2004-2005

2002-2003

2001-2002

Entidad

Periodo de la evaluación 2003-2004

Zacatecas Yucatán Veracruz Tlaxcala Tamaulipas Tabasco Sonora Sinaloa San Luis Potosí Quintana Roo Querétaro Puebla Oaxaca Nuevo León Nayarit Morelos Michoacán Estado de México Jalisco Hidalgo Guerrero Guanajuato Durango Distrito Federal Chihuahua Chiapas Colima Coahuila Campeche Baja California Aguascalientes

800 700 600 500 400 300 200 800 700 600 500 400 300 200 800 700 600 500 400 300 200 800 700 600 500 400 300 200

55 El aprovechamiento escolar en las primarias generales e indígenas

Promedio Matemáticas 5°

2004-2005

2002-2003

2001-2002

Entidad

Periodo de la evaluación 2003-2004

Zacatecas Yucatán Veracruz Tlaxcala Tamaulipas Tabasco Sonora Sinaloa San Luis Potosí Quintana Roo Querétaro Puebla Oaxaca Nuevo León Nayarit Morelos Michoacán Estado de México Jalisco Hidalgo Guerrero Guanajuato Durango Distrito Federal Chihuahua Chiapas Colima Coahuila Campeche Baja California Aguascalientes

100 80 60 40 20 0 100 80 60 40 20 0 100 80 60 40 20 0 100 80 60 40 20 0

56 El aprovechamiento escolar en las primarias generales e indígenas

Porcentaje de alumnos en el nivel 4 (Español 3°)

40 20 0 100 60

2002-2003

2001-2002

80 60

40

Entidad

Periodo de la evaluación 2003-2004

Zacatecas Yucatán Veracruz Tlaxcala Tamaulipas Tabasco Sonora Sinaloa San Luis Potosí Quintana Roo Querétaro Puebla Oaxaca Nuevo León Nayarit Morelos Michoacán Estado de México Jalisco Hidalgo Guerrero Guanajuato Durango Distrito Federal Chihuahua Chiapas Colima Coahuila Campeche Baja California Aguascalientes

20 0

2004-2005

80

60

80

40 20 0 100

80

60 40

20 0 100

57 El aprovechamiento escolar en las primarias generales e indígenas

Porcentaje de alumnos en el nivel 4 (Español 5°) 100

40 20 0 100

2003-2004

2002-2003

2001-2002

0 100 80 60

Entidad

Periodo de la evaluación

Zacatecas Yucatán Veracruz Tlaxcala Tamaulipas Tabasco Sonora Sinaloa San Luis Potosí Quintana Roo Querétaro Puebla Oaxaca Nuevo León Nayarit Morelos Michoacán Estado de México Jalisco Hidalgo Guerrero Guanajuato Durango Distrito Federal Chihuahua Chiapas Colima Coahuila Campeche Baja California Aguascalientes

40 20 0

2004-2005

80 60

60 40 20 0 100 80 80

60 40 20

58 El aprovechamiento escolar en las primarias generales e indígenas

Porcentaje de alumnos en el nivel 4 (Matemáticas 3°) 100

2004-2005

80 60

40 20 0 100

2003-2004

2002-2003

2001-2002

0 100 80 60

Entidad

Periodo de la evaluación

Zacatecas Yucatán Veracruz Tlaxcala Tamaulipas Tabasco Sonora Sinaloa San Luis Potosí Quintana Roo Querétaro Puebla Oaxaca Nuevo León Nayarit Morelos Michoacán Estado de México Jalisco Hidalgo Guerrero Guanajuato Durango Distrito Federal Chihuahua Chiapas Colima Coahuila Campeche Baja California Aguascalientes

40 20 0

59 El aprovechamiento escolar en las primarias generales e indígenas

Porcentaje de alumnos en el nivel 4 (Matemáticas 5°) 100

60 40 20 0 100 80 80

60 40 20

Entidad Tabasco

Quintana Roo

Querétaro

Puebla

Nayarit

Michoacán

Estado de México

Jalisco

Hidalgo

Guerrero

Durango

Chihuahua

Chiapas

Campeche

600

500

400

Periodo de la evaluación 2004-2005

Baja California

Español 3° (promedio)

El aprovechamiento escolar en las primarias generales e indígenas

300

200

60

Primarias indígenas

Primarias indígenas (2004-2005)

800

700

El aprovechamiento escolar en las primarias generales e indígenas

61

Primarias indígenas (Promedio Español 5°) 800 700 600

2004-2005

500

600

Periodo de la evaluación

400

500

2003-2004

300 200 800 700

400

Entidad

Tabasco

Quintana Roo

Querétaro

Puebla

Nayarit

Michoacán

Estado de México

Jalisco

Hidalgo

Guerrero

Durango

Chihuahua

Chiapas

Campeche

200

Baja California

300

El aprovechamiento escolar en las primarias generales e indígenas

62

Primarias indígenas (Promedio Matemáticas 3°) 800

Entidad

700

600

Periodo de la evaluación 2004-2005

500

400

300

Tabasco

Quintana Roo

Querétaro

Puebla

Nayarit

Michoacán

Estado de México

Jalisco

Hidalgo

Guerrero

Durango

Chihuahua

Chiapas

Campeche

Baja California

200

Entidad Tabasco

Quintana Roo

Querétaro

Puebla

Nayarit

Michoacán

Estado de México

Jalisco

Hidalgo

Guerrero

Durango

Chihuahua

Chiapas

Campeche

Baja California

500

400

400

2003-2004

500

300

200

800

700

600

300

200

Periodo de la evaluación

2004-2005

El aprovechamiento escolar en las primarias generales e indígenas 63

Primarias indígenas (Promedio Español 5°)

800

700

600

El aprovechamiento escolar en las primarias generales e indígenas

64

Primarias indígenas (Promedio Matemáticas 5°) 800 700

2004-2005

600

Periodo de la evaluación

500 400 300 200 800 700 600 500

2003-2004

400 300

Entidad

Tabasco

Quintana Roo

Querétaro

Puebla

Nayarit

Michoacán

Estado de México

Jalisco

Hidalgo

Guerrero

Durango

Chihuahua

Chiapas

Campeche

Baja California

200

Entidad Tabasco

Quintana Roo

Querétaro

Puebla

Nayarit

Michoacán

Estado de México

Jalisco

Hidalgo

Guerrero

Durango

Chihuahua

Chiapas

Campeche

Baja California

Eficacia Social (Escuelas indígenas de la M. Cualitativa)

00 2003-2004

00

-100

-200

200

100

-100

-200

Periodo de la evaluación

2004-2005

El aprovechamiento escolar en las primarias generales e indígenas 65

Primarias indígenas (Eficacia Social)

200

100

El aprovechamiento escolar en las primarias generales e indígenas

66

Primarias indígenas (Porcentaje de alumnos e el nivel 4 de Español 3°)

Tabasco

Quintana Roo

Querétaro

Puebla

Nayarit

Michoacán

Estado de México

Jalisco

Hidalgo

Guerrero

Durango

Chihuahua

Chiapas

Campeche

Baja California

Periodo de la evaluación 2004-2005

Entidad

El aprovechamiento escolar en las primarias generales e indígenas

67

Primarias indígenas (Porcentaje de alumnos e el nivel 4 de Español...)

100 80 2004-2005

60

Periodo de la evaluación

40 20 0 100 80 60 40

2003-2004

Entidad

Tabasco

Quintana Roo

Querétaro

Puebla

Nayarit

Michoacán

Estado de México

Jalisco

Hidalgo

Guerrero

Durango

Chihuahua

Chiapas

Campeche

0

Baja California

20

El aprovechamiento escolar en las primarias generales e indígenas

68

Primarias indígenas (Porcentaje de alumnos e el nivel 4 de Español 3°) 100

80

Periodo de la evaluación 2004-2005

60

40

20

0

20

40

60

Entidad

80

100

Tabasco

Quintana Roo

Querétaro

Puebla

Nayarit

Michoacán

Estado de México

Jalisco

Hidalgo

Guerrero

Durango

Chihuahua

Chiapas

Campeche

Baja California

0

El aprovechamiento escolar en las primarias generales e indígenas

69

Primarias indígenas (Porcentaje de alumnos e el nivel 4 de Matemáticas 5°) 100 80 2004-2005

40

Periodo de la evaluación

20 0 100 80 60

2003-2004 40 20

Entidad

Tabasco

Quintana Roo

Querétaro

Puebla

Nayarit

Michoacán

Estado de México

Jalisco

Hidalgo

Guerrero

Durango

Chihuahua

Chiapas

Campeche

0

Baja California

Mean Nivel 4 Matemáticas 5°

60

El aprovechamiento escolar en las primarias generales e indígenas

HEURÍSTICA EDUCATIVA

71

Evaluación Cualitativa del Programa Escuelas de Calidad