Pensar
PARA
Introducción a los Módulos Estos módulos componen un curso, cuyo centro es la lectura y la acción escolar a partir de los resultados de una evaluación estandarizada. Presentamos un proyecto que podríamos caracterizar como “integral”, tendiente a mejorar los aprendizajes de los estudiantes a partir de la información que suelen brindar las diversas evaluaciones estandarizadas masivas que se implementan en nuestro país. Se propone un ejercicio vinculado a los modos de interpretar la información que suelen brindar los informes de resultados de las evaluaciones estandarizadas hasta alcanzar secuencias didácticas concretas de Lengua y de Matemática. Se busca así a partir de los resultados de los alumnos, poder pensar los caminos y las estrategias para alcanzar la mejora. El trabajo se centra en leer, entender, valorar los logros de los chicos y a partir de allí pensar sugerencias sobre cómo diseñar, implementar, monitorear y evaluar los necesarios planes de mejora tendientes, justamente, a alcanzar logros significativos en los aprendizajes de los estudiantes. Entender que lo importante no es el punto en el que se encuentran, sino nuestro conocimiento del mismo para lograr construir estrategias de mejora. A lo largo de estos módulos, pensaremos puntualmente algunos contenidos como modo de ver una estrategia general que cada docente y cada escuela pueden utilizar para trabajar con sus alumnos, en su situación particular. Intentaremos disponer de información “externa” sobre algunos contendidos curriculares considerados indispensables, producidos mediante instrumentos de evaluación pertinentes y de alta calidad técnica. Esto resultará una contribución muy vigorosa como punto de partida para mejorar los aprendizajes de los alumnos. Y además, proporcionará un modelo general para pensar cómo hacerlo. Esta información, complementaria de la indispensable evaluación permanente y situada que realizan constantemente los docentes con sus alumnos en sus aulas, suele proveer de elementos valiosos para diseñar reajustes, nuevas direcciones, intensificaciones, profundizaciones en la acción cotidiana de los docentes en el marco de un plan estratégico institucional. Las evaluaciones estandarizadas aparecen como una experiencia más de construcción de referencias para pensar e implementar estrategias de mejora. El trabajo sirve para que el colectivo docente de la escuela piense los modos para que los alumnos entienden mejor y aprenden más.
PÁGINA 1
Pensar
PARA
1 MÓDULO / Las pruebas estandarizadas de aplicación masiva. En este módulo se presentan las potencialidades y los límites de las pruebas estandarizadas de aplicación masiva. Además se destaca la importancia de la interpretación de la información que pueden producir y su uso para la mejora de los aprendizajes. Se señala el papel decisivo de los supervisores, los directores y los docentes de aula en el proceso de comunicación de resultados y su interpretación.
1. Las pruebas estandarizadas de aplicación masiva. Jorge Fasce Empecemos por aclarar que las hay con base curricular (lo que se evalúa se toma de los diseños curriculares vigentes) y con base en otros criterios (por ejemplo: competencias académicas necesarias para la vida adulta a los 15 años de edad, tal el caso de PISA). En ambos casos, siempre estarán evaluando una pequeña parte de lo que se podría evaluar. Eso no significa, como se verá más adelante, que no pueden dar información significativa y estratégica. Las hay nacionales (En casi todos los países del mundo. En Argentina: ONE – 1993/2015 - APRENDER desde 2016 -) y las hay internacionales (las más conocidas: PISA, TIMSS, PIRLS, CIVIC). Las hay con consecuencias “duras” (la calificación de las pruebas cuenta para el promedio de los alumnos – Costa Rica -; son seleccionadoras para ingresar a la Universidad – España, Italia, Alemania, Francia, Gran Bretaña, etc. -; también hay algunas experiencias en las que los resultados tienen consecuencias en el salario de los docentes – algunos estados de USA – o en las calificaciones de las escuelas – Chile en la época de la dictadura pinochetista - ) y sin consecuencias “duras”: a partir de los resultados y su análisis, elaborar planes institucionales de mejora de los aprendizajes, revisar los diseños curriculares institucionales, revisar los diseños curriculares municipales, provinciales o nacionales, diseñar planes de capacitación, reformular las estrategias de formación docente, rendir cuentas a las autoridades estatales o a las entidades propietarias de las escuelas, etc. En general, están constituidas por ejercicios de opción múltiple para posibilitar correcciones masivas en poco tiempo. Algunas (PISA, ONE en su momento) incluyen una cierta cantidad de ejercicios abiertos. Suelen ir acompañadas de cuestionarios de contexto que responden alumnos y/o docentes y/o directivos y/o familias, que tratan de indagar condiciones edilicias de las escuelas, material didáctico disponible, clima escolar, la situación socioeconómica de las familias de los estudiantes, formación, capacitación, experiencia de los docentes, estilos de gestión institucional, etc. Con el fin de indagar posibles correlatividades de los resultados con esas condiciones ambientales, profesionales y sociales.
PÁGINA 2
Pensar
MÓDULO 1
PARA
1. Las pruebas estandarizadas de aplicación masiva. Algunos “mitos” sobre las evaluaciones estandarizadas: 1. Sólo evalúan dominio memorístico de contenidos, sólo evalúan dominio de información y más grave aún: no pueden evaluar procesos. FALSO. Actualmente, el desarrollo de la elaboración de ejercicios de opción múltiple es tan científicamente fundado, tan sofisticado y hay tanta experiencia acumulada al respecto (más de 50 años de aplicaciones) que pueden evaluar “razonamiento”, “procedimientos cognitivos”. Inclusive, permiten pesquisar formas de enseñanza.
2. Se usan para estigmatizar a docentes, escuelas y familias. FALSO, por lo menos para Argentina. En 22 años de aplicación del ONE jamás se sancionó o se calificó a un docente o a una escuela, basándose en sus resultados. Y siempre se tuvo mucho cuidado en no “armar rankings” (de hecho nunca se hizo). El único que lo hizo fue un diario de circulación nacional en el año 2000 cuando la base de datos del ONE estuvo a disposición de quien quisiera utilizarla.
3. No sirven porque la evaluación debe
ser contextual y situacional. Las evaluaciones descontextua-
lizadas, por lo tanto, no sirven para nada. INCORRECTO PLANTEO porque NADIE en el mundo postula que pueden reemplazar a las evaluaciones que realizan los docentes, periódica y constantemente, en su aula, con sus alumnos. Las pruebas estandarizadas y masivas tienen la potencialidad y la riqueza de la mirada externa objetiva y no contaminada por subjetividades inapropiadas. Por lo tanto, son complementarias de las evaluaciones hechas por los docentes con sus alumnos, aportando información esclarecedora para elaborar planes de mejora.
4. No sirve evaluar resultados, hay que evaluar procesos. FALSO. Por cierto que se deben evaluar los procesos de aprendizaje y de enseñanza pero si no evaluamos los resultados ¿cómo sabemos fehacientemente si los procesos han “funcionado” o no?
5. Son conductistas. FALSO. Las pruebas aceptan procedimientos cognitivos diferentes para hallar los resultados correctos. Ejemplo: si en una prueba de matemática de 3er. grado, un ejercicio pide elegir el resultado correcto de una suma de números de dos cifras con reagrupación, a la prueba no le importa si el estudiante lo hizo haciendo “dibujitos”, “contando con los dedos”, mentalmente o por escrito, pensando que “junta” unidades con decenas, o piensa “me llevo uno” sin saber “lo que se lleva”.
PÁGINA 3
Pensar
MÓDULO 1
PARA
1. Las pruebas estandarizadas de aplicación masiva. Una implementación masiva “saludable” de pruebas estandarizadas requiere: 1. Acuerdos explícitos y explicitados a los destinatarios que correspondan, entre las partes intervinientes pertinentes, acerca de los objetivos que se persiguen. 2. Una selección cuidadosa de los contenidos y/o competencias y/o desempeños a evaluar. Con la participación más completa y pertinente de los involucrados: docentes de aula, directivos, supervisores, especialistas en didácticas, expertos en evaluación. 3. Comunicación oportuna, clara, exhaustiva pero sintética, a la población involucrada, sobre los objetivos que persigue la implementación. 4. Muestras estadísticamente “sanas” si no se tratara de aplicaciones censales (“universales”) para una población dada. 5. Diseño cuidadoso, riguroso, sólidamente fundado en conceptos educativos, pedagógicos y didácticos, de los instrumentos (“pruebas”) de acuerdo con criterios profesionales aprobados internacionalmente en cuanto a características técnicas intrínsecas de dichos reactivos. 6. Condiciones de aplicación absolutamente éticas. 7. Devolución rápida de resultados en formatos y textos accesibles a las poblaciones destinatarias. Con los grados de difusión pública y de confidencialidad que se hayan acordado entre los responsables de la gestión de la implementación.
ACTIVIDADES Ejercicio 1 Complete el siguiente cuadro PRUEBAS ESTANDARIZADAS DE APLICACIÓN MASIVA
POTENCIALIDADES
RIESGOS
Las posibles respuestas pueden revisarse en el anexo. PÁGINA 4
Pensar
PARA
MÓDULO 1
2. El uso de la información en la gestión escolar. 2. El uso de la información en la gestión escolar.
Pilar Pozner Ministerio de Educación de la Nación. Programa Nacional de GestiónInstitucional.2001. Fragmentos a. La información permite hacer visibles los principales logros y problemas de la institución. Una primera función de la información es de carácter diagnóstico general. En la medida que el directivo cuente año tras año con indicadores relativos a un conjunto de aspectos relevantes de la vida de la institución escolar, podrá estar alerta a cambios y problemas relevantes. Por ejemplo, detectar cambios en el tipo de alumnado que la institución atiende; constatar que la proporción de alumnos que no aprueban los exámenes se incrementa cada año o que la institución está logrando disminuir la proporción de alumnos que abandonan los estudios durante el año escolar; verificar que en ciertos meses del año el ausentismo de los profesores se incrementa fuertemente. A través de una encuesta a las familias se puede obtener una visión general de qué aspectos de la labor de la institución son mejor percibidos y valorados y sobre qué aspectos existen fuertes disconformidades. b. La información permite orientar la selección de prioridades, profundizar en la comprensión de los problemas y enriquecer la definición de proyectos de intervención. A partir de una mirada global a la multiplicidad de aspectos y dimensiones que conforman la vida de una institución educativa es posible identificar áreas a priorizar en los procesos de discusión internos. Con relación a estas áreas será necesario, como insumo para la elaboración de proyectos de intervención y mejora, construir otra información que permita una comprensión de mayor profundidad sobre lo que allí ocurre. Por ejemplo, si a través de una mirada global se ha identificado a la deserción como uno de los problemas más importantes a encarar en la gestión institucional, resultará de utilidad realizar un conjunto de entrevistas en profundidad a alumnos que han dejado de asistir al centro educativo para comprender mejor la o las lógicas que hay detrás del fenómeno de la deserción. Obviamente es imposible generar información sistemática y en profundidad de este tipo sobre todos los aspectos de la vida de la institución, por lo que resulta imprescindible realizar una selección de los aspectos más relevantes a partir de una primera mirada global al conjunto de la institución. Si bien la disponibilidad de información sobre lo que acontece en una institución escolar y sobre las razones que lo explican puede ser de interés para comprender la dinámica de la institución, el mayor valor del esfuerzo radica en poder utilizarlo como base para planear transformaciones, o para profundizar aquellas líneas en las que se estuviera trabajando. La información que se produzca en cada escuela tendrá como finalidad primordial servir de base empírica para precisar el porqué de lo que está ocurriendo y definir, afianzar o reorientar estrategias de acción.
PÁGINA 5
Pensar
PARA
MÓDULO 1
2. El uso de la información en la gestión escolar. a) Tres dimensiones principales para orientar la mirada
Como primera aproximación a un "modelo para mirar" las instituciones educativas conviene destacar tres grandes dimensiones: a. los resultados de la labor del centro; b. el contexto sociocultural en que el centro desarrolla su labor; c. los procesos a través de los cuales se desarrolla dicha labor. Los resultados son especialmente relevantes dado que la educación es una actividad intencional, que se propone lograr en los alumnos la incorporación de ciertos aprendizajes: conocimientos, competencias, actitudes y valores. La escuela es una institución que tiene una determinada misión en la sociedad y debe ser capaz de dar cuenta del grado en que está logrando llevarla adelante. De allí que un primer aspecto a "mirar" en la institución sea qué es lo que estamos logrando en nuestros alumnos. Esta mirada puede efectuarse a través de indicadores tales como la tasa de aprobación de cursos, la tasa de deserción, resultados en pruebas de aprendizaje -tanto las que sean de carácter externo como otras que puedan ser construidas dentro de la propia institución-, encuestas de actitudes, seguimiento de egresados, etc.
b) INDICADORES Hasta el momento nuestra atención ha estado dirigida a la reflexión acerca de dónde y qué mirar en una institución educativa. De aquí en más nos proponemos comenzar a trabajar en la construcción de información relevante sobre aspectos clave de la institución educativa. Los conceptos clave a comprender y utilizar son los siguientes: • unidad de observación, • indicador, • índice, • variable. Como ocurre siempre con el lenguaje, algunos términos son intercambiables y pueden tener más de una acepción o ser empleados como equivalentes. Un indicador o un índice pueden ser denominados variables para ciertos propósitos y una variable puede ser transformada en un indicador. La necesidad de trabajar con indicadores se deriva del hecho de que la realidad es inabarcable a nuestro conocimiento. Normalmente tenemos percepciones de la realidad que se derivan de multiplicidad de experiencias e intuiciones no sistemáticas. Por ejemplo, podemos tener una impresión de que en determinado colegio el "clima institucional" es bueno o que cada vez el alumnado que atiende proviene de familias pobres o con dificultades severas, o que los resultados no son muy buenos. Distintos observadores pueden tener distintas impresiones y valoraciones de los mismos colegios, en función de sus diferentes experiencias y sensibilidades.
PÁGINA 6
Pensar
PARA
MÓDULO 1
2. El uso de la información en la gestión escolar.
Los indicadores constituyen una forma de aproximarnos a esas realidades de manera sistemática, comparable a lo largo del tiempo y comparable entre distintos establecimientos educativos. El juicio sobre la realidad no depende únicamente de la apreciación subjetiva del observador, sino que se apoya en un conjunto de datos o evidencia empírica construida en forma sistemática. Esto último no debe interpretarse en el sentido de que los indicadores nos ofrecen una visión indiscutible y acabada de la realidad de que se trate. Por el contrario, los indicadores son siempre recortes parciales de la realidad, nos muestran una parte de ella, y la lectura de la realidad que cada observador haga depende finalmente de las experiencias y marcos conceptuales desde los que lee e interpreta los datos (por eso destacamos el término 'únicamente' en el párrafo anterior). Lo que los indicadores aportan es un conjunto de datos "objetivos" sobre los cuáles basar las interpretaciones. Pero estas no desaparecen ni son sustituidas por los indicadores.
a)c) Un ejemplo El aprendizaje de los alumnos en Matemática Lo que un alumno aprendió en Matemática es algo no observable en forma directa. El profesor del curso puede tener una valoración bastante adecuada de cada alumno a partir de su conocimiento directo y contacto con los alumnos durante todo el año. Pero otro profesor que trabajara con los mismos alumnos, podría tener valoraciones diferentes. Un modo de aproximarse en forma sistemática a esta realidad compleja que es el aprendizaje es construir una prueba. Para ello es necesario primero definir qué deben ser capaces de hacer los alumnos al final del curso de Matemática y luego idear un conjunto de tareas, ejercicios o actividades cuya resolución muestre o "indique" que los alumnos han aprendido lo que se espera de ellos. Cada una de estas actividades es un "indicador" de aprendizaje, en el mismo sentido que las descripciones de la figura 4 son indicadores de NBI (primera acepción del término indicador). A diferencia de la clasificación de los hogares, en que se adoptó el criterio de que bastaba con que una necesidad esté insatisfecha para clasificar al hogar como NBI, en el caso del aprendizaje normalmente se adoptará el criterio de que el alumno debe resolver un conjunto de las actividades propuestas como mínimo para considerar que ha logrado los aprendizajes esperados (no se considerará a un alumno "apto", "aprobado" o "suficiente" por resolver una de las actividades propuestas sino varias de ellas, por ejemplo, dos tercios de ellas). Una vez definido para cada alumno si logró o no un resultado satisfactorio en la prueba, es posible construir un indicador del nivel de logro de la sección o de la escuela, por ejemplo a través del cálculo de qué porcentaje del total de los alumnos ha sido aprobado. Este procedimiento es equivalente al señalado más arriba para caracterizar el nivel de pobreza de los barrios. El porcentaje de alumnos aprobados constituye un indicador (en la segunda acepción del término) del logro en Matemática de la sección o establecimiento, y me permite identificar cuáles son los que tienen mejores niveles de logro y cuáles tienen mayores problemas. Asimismo, si se utilizan las mismas pruebas o pruebas de dificultad equivalente a lo largo de los años es posible apreciar si en un mismo establecimiento el nivel de logro en Matemática mejora o empeora. PÁGINA 7
Pensar
PARA
MÓDULO 1
2. El uso de la información en la gestión escolar.
ACTIVIDADES Ejercicio 2 Complete el siguiente cuadro
1. ¿Cuál es la función de la información en la gestión escolar? 2. ¿Cuáles son las principales dimensiones para analizar la información? 3. ¿Qué es un indicador? Las posibles respuestas pueden consultarse en el anexo.
3. Devolución de resultados de aprendizaje y metas de mejora Propuesta de taller con la participación de personal de supervisión y conducción de las escuelas. Fundamentación En principio, se considera imprescindible que se incluya en el programa de ayuda a las escuelas para elaborar planes de mejora en función de los resultados, al personal de supervisión y equipos técnicos de la jurisdicción ya que serán ellos los encargados de asistir a las escuelas en la elaboración, implementación y seguimiento de los planes de mejora. En segundo lugar, se estima muy valioso que igual que todas las acciones de la escuela, esta acción también sea pensada como una situación de enseñanza y aprendizaje y debido a ello se tratará de respetar todas las sugerencias que las teorías de la enseñanza y del aprendizaje plantean en cuanto al desarrollo de prácticas didácticas. Finalmente, una idea fundamental que rige el diseño del taller es que pueda ser replicado por el personal de conducción con los docentes de aula de cada escuela.
Momento 1. Presentación de resultados. Tres horas reloj La propuesta es implicar a los participantes desde sus expectativas sobre los resultados y el análisis de los mismos (partiendo de sus saberes previos construidos por sus estudios y por su experiencia). a. CONSIGNA: ¿Qué relación existe entre vuestras expectativas en cuanto a los resultados que obtendrían los estudiantes de su escuela y lo que finalmente obtuvieron? Pensar primero dentro de su escuela misma y luego en las comparaciones con otros ámbitos (escuelas similares, municipio, provincia, nación). Primero en Lengua, luego con Matemática. 1. TRABAJO EN GRUPOS PEQUEÑOS 2. PUESTA EN COMÚN
PÁGINA 8
Pensar
MÓDULO 1
PARA
3. Devolución de resultados de aprendizaje y metas de mejora.
b. CONSIGNA: ¿Cuáles podrían ser las causas de las coincidencias (o de las discrepancias) entre las expectativas y los resultados obtenidos? Primero en Lengua, luego con Matemática. 1. TRABAJO EN GRUPOS PEQUEÑOS 2. PUESTA EN COMÚN c. CONSIGNA: ¿Cuáles serían las causas de los resultados obtenidos? Primero en Lengua, luego con Matemática. 1. TRABAJO EN GRUPOS PEQUEÑOS 2. PUESTA EN COMÚN d. CONSIGNA: ¿Cómo se podrían volcar en un plan de mejora de un año lectivo, las acciones áulicas e institucionales necesarias para afianzar los logros y superar las dificultades? Primero en Lengua, luego con Matemática. 1. TRABAJO EN GRUPOS PEQUEÑOS 2. PUESTA EN COMÚN
Momento 2. Empezando el camino hacia los planes y metas de mejora. Tres horas reloj. a. CONSIGNA: A partir de los resultados de aprendizaje, se propone que los participantes “imaginen” focos de mejora. Para ello se sugiere relacionar los resultados por disciplina que figuran en los informes finales de las pruebas estandarizadas el informe APRENDER con los documentos técnicos que se sugiere consultar en los informes por escuela, que caracterizan las competencias y los contenidos de cada nivel de desempeño. 1. TRABAJO EN PEQUEÑOS GRUPOS 2. PUESTA EN COMÚN. b. CONSIGNA: ¿Cuáles pueden ser las causas de las dificultades de los resultados que determinan la elección de los focos de mejora? Se sugiere retomar la consigna C del Momento 1. 1. TRABAJO EN GRUPOS PEQUEÑOS 2. PUESTA EN COMÚN c. CONSIGNA: Identifique algunas estrategias institucionales y didácticas en las que se pueda pensar para mejorar los focos elegidos. 1. TRABAJO EN GRUPOS PEQUEÑOS 2. PUESTA EN COMÚN
PÁGINA 9
Pensar
PARA
MÓDULO 1 SÍNTESIS
Síntesis del módulo Las pruebas estandarizadas de aplicación masiva pueden brindar información para elaborar planes institucionales de mejora de los aprendizajes, revisar los diseños curriculares institucionales, revisar los diseños curriculares municipales, provinciales o nacionales, diseñar planes de capacitación, reformular las estrategias de formación docente, rendir cuentas a las autoridades estatales o a las entidades propietarias de las escuelas. Un trabajo con auténtica participación de supervisores y directivos en el análisis de los resultados obtenidos, a través de, por ejemplo, encuentros con dinámica de taller, es esencial para que la información producida por las evaluaciones pueda servir para afianzar logros y superar dificultades. Para alcanzar esa “auténtica participación” habrá que pensar las reuniones como verdaderas situaciones de enseñanza-aprendizaje para los participantes, para ello se proponen instancias, de trabajo en grupos chicos, así como momentos de síntesis a través de puestas en común. Los temas
a desarrollar deberían incluir las compara-
ciones entre expectativas y resultados, la detección de logros y dificultades, la reflexión sobre las cusas de los mismos y la explicitación de posibles acciones componentes de los planes de mejora, cuyo proceso de elaboración se tratará en módulo siguiente.
Bibliografía Linn, R., Baker, E. & Dunbar, S.: “Complex, performance-based assessment” Educational Researcher, 20(8), 1991. Ravela, Pedro (2006a); “¿Cómo presentan sus resultados los sistemas nacionales de evaluación educativa en América Latina?”. En: Patricia Arregui (ed.), Sobre estándares y evaluaciones en América Latina. Santiago de Chile. PREAL. Pags.181-248. Ravela, Pedro (2006b); Fichas didácticas. Para comprender las evaluaciones educativas. Santiago de Chile. PREAL. Ravela, Pedro (2008); “Políticas Educativas y Evaluación”. En Pedro Ravela, Héctor Valdés, Fabio Jurado, Dulfay González y otros, La evaluación externa en seis países de América Latina: Balances y retos. Cali. Ed. Bonaventuriana. Págs. 54-87. Resnick, D. & Resnick, L. P.: “Performance assessment and the multiple functions of educational measurement” en M. B. Kane and R. Mitchell (eds.) Implementing performance assessment: promises, problems, and challenges New Jersey: Lawrence Erlbaum Associates, 1996. Santos Guerra, Miguel Ángel: Evaluación Educativa, Magisterio del Río de la Plata, Buenos Aires, 1996.
PÁGINA 10
Pensar
PARA
MÓDULO 1 ANEXO
Anexo Ejercicio 1 Potencialidades: Obtener información que brinda la posibilidad de • elaborar planes institucionales de mejora de los aprendizajes, • revisar los diseños curriculares institucionales, • revisar los diseños curriculares municipales, provinciales o nacionales, • diseñar planes de capacitación, • reformular las estrategias de formación docente, • rendir cuentas a las autoridades estatales o a las entidades propietarias de las escuelas. Riesgos: • No definir y explicitar claramente los objetivos y los contenidos de las evaluaciones con suficiente anticipación, • no requerir la pertinente participación de los docentes y técnicos necesarios que aseguren la correspondencia entre objetivos y contenidos evaluados, • muestras no correctas, • demora inadecuada en la devolución de resultados.
Ejercicio 2 Posibles respuestas 1.a. La información permite ver logros y dificultades de la institución y seleccionar las prioridades de las acciones de mejora. 2.b. Las principales dimensiones son los resultados, el contexto sociocultural de la institución y los procesos de acción. a.c. Los indicadores se apoyan en evidencia empírica construida en forma sistemática. Aportan datos "objetivos" sobre los cuáles basar las interpretaciones. Pero estas no desaparecen ni son sustituidas por los indicadores
PÁGINA 11