test-estandarizados

Test Estandarizados 驴C贸mo usar los resultados para mejorar el aprendizaje?

Arica, 19 de diciembre de 2013

Prof. Rodolfo Hidalgo Caprile rhidalgo@santillana.com Director de Contenidos Editorial Santillana

¿Qué es un test estandarizado y para qué se utiliza?

Instrumento diseñado y construido teniendo en consideración todos los criterios técnicos propios del paradigma psicométrico y de la estadística.

Se aplica a muestras representativas y de gran tamaño que miden determinadas variables: inteligencia, comprensión lectora, competencias matemáticas o científicas, entre otras.

Su foco es cuantitativo y busca extrapolar sus resultados o establecer grupos de distribución de rendimiento asociados a la curva normal.

¿Cómo se elabora un test estandarizado?

Etapas de construcción 1. Análisis del currículo: Construcción de tabla de especificaciones

Disminución del currículo evaluado

a. Selección de Objetivo de Aprendizaje b. Selección de Contenido c. Selección de habilidad d. Selección de Indicadores e. Elegir una Taxonomía (Ej: de Bloom Reformulada, 2001)

2. Preparar preguntas considerando: a. Contexto b. Enunciado c. Opciones

Explicitar habilidades/contenidos evaluados

¿Cómo se elabora un test estandarizado?

Etapas de construcción 3. Revisión de expertos en:

Disciplina (contenidos duros) Evaluación Estilo (redacción, ortografía) Pedagogía

4. Prueba de campo para evaluar (“probar la prueba”):

a. Funcionamiento de instrucciones b. Claridad de ítems c. Aspectos formales

¿Cómo se elabora un test estandarizado?

Etapas de construcción 5. Análisis Psicométrico:

a. Grado de dificultad b. Índice de discriminación c. Funcionamiento de distractores d. Grado de omisión

6. Ensamblar la Prueba

Modelo de Expectativas Evaluativas (R. Hidalgo, 1995)

Situaci贸n 1

Situaci贸n 2

Modelo de los Cuatro Cuadrantes (R. Hidalgo, 2012)

En resumen, un test estandarizado…

•

Instrumento estandarizado

•

Paradigma psicométrico

•

Foco cuantitativo

•

Mide variables

•

Curva de Gauss

Atenta y contradice la esencia de lo que significa educar a una persona

Comparación: Pruebas de Papel y lápiz v/s Pruebas Estandarizadas Pruebas de papel y lápiz

Pruebas estandarizadas

Evalúan lo enseñado (programas propios/rezago curricular)

Evalúan el currículo vigente y con carácter nacional.

Abarcan lo o enseñado en clases.

Abarcan una selección del contenido, no necesariamente lo enseñado.

Evalúan el nivel de logro de los estudiantes.

Seleccionan alumnos en función de sus resultados

Entrega información para optimizar proceso E-A.

Entrega información para discriminar entre la cohorte.

Los resultados pueden variar en dos aplicaciones sucesivas (baja confiabilidad).

Los puntajes obtenidos no varían significativamente en aplicaciones sucesivas (alta confiabilidad)

No considera, necesariamente, procedimientos para asegurar validez (de contenido, predictiva, ecológica, etc).

Sí consideran e implementan procedimientos para asegurar validez (de contenido, predictiva, ecológica, etc).

Comparación: Pruebas de Papel y lápiz v/s Pruebas Estandarizadas Pruebas de papel y lápiz

Pruebas estandarizadas

No hay correlación entre el grado de dificultad del ítem y el desempeño total del estudiante en el test.

Sí hay correlación entre el grado de dificultad del ítem y el desempeño total del estudiante en el test

No hay análisis estadístico del test y sus reactivos.

Análisis estadístico del test y sus reactivos: grado de dificultad, índice de discriminación, funcionamiento de los distractores, grado de omisión.

Se aplica a un número reducido de estudiantes, sin validación previa (“probar la prueba).

Se aplica en dos momentos: una muestra representativa para probar el test y luego a una gran población.

El análisis de los resultados se hace desde una lógica edumétrica .

El análisis de los resultados se hace desde una lógica psicométrica.

驴Y c贸mo mejorar?

Recogida e interpretaci贸n de resultados

Las limitaciones de un colegio para generar test estandarizados

Test

Masa crítica: la cantidad de estudiantes debe ser representativa de manera de tener datos que muestren la tendencia que se dará en la población al momento de aplicar el test.

Análisis de datos: los análisis son variados y requieren de procedimientos estadísticos muy técnicos, que demandan, entre otras cosas, tiempo.

Proceso E-A

Disminución de la calidad en la enseñanza: los test estandarizados NO miden todo el currículo y al enfocarnos solo en enseñar eso, los alumnos aprenden MENOS.

Un par de propuestas‌

驴qu茅 dice la investigaci贸n?

Reflexiones pedag贸gicas sobre test estandarizados

En Chile

Análisis crítico de la validez del sistema de medición de la calidad del la educación (Simce) María Teresa Flórez Petour (agosto, 2013)

Ley de Campbell Mientras más sea utilizado un determinado indicador social cuantitativo para la toma de decisiones éste será sujeto a mayor presión y será más probable que corrompa y distorsione los procesos sociales que, se supone, debería monitorear.

Indicador Social Mejorar Calidad enseñanza

+

Presión Social Ranking colegios/Se máforos SIMCE

+

Corrupción o distorsión del sistema Preparar para SIMCE y dejar de educar

Una investigación en EE.UU: Measuring Up What Educational Testing Really Tells Us. Daniel Koretz, 2008.

• Estudió colegios con aumentos de puntajes muy significativos en test estandarizados.

• Aplicó un test estandarizado propio y…sorpresa…

Resultados de la investigación: Los profesores implementaron las siguientes prácticas para “inflar” los resultados en test estandarizados: 1. Aumento del número de ensayos para mejorar resultados en los test

2. Reasignar cargas horarias (menos horas en historia y en música) 3. Restringir el acceso a rendir los test a estudiantes con NEE

4. Elaboración y uso de “ítems clones” 5. Entrenamiento para encontrar las “claves”, sin enseñar el contenido

Conclusiones de la investigaci贸n: 1. Los estudiantes dejan de aprender una serie de materias que requerir谩n tanto en el nivel universitario como en la vida laboral.

2. Se deja de cumplir con la esencia de la escuela: los alumnos van al colegio para aprender a ser aut贸nomos, a desarrollar habilidades, a socializar a pensar critica y reflexivamente, etc.

3. Los resultados obtenidos por estos medios no permiten extrapolar ni predecir rendimientos o desempe帽os futuros.

Un modelo evaluativo

¿Centrado en la selección de estudiantes (Psicométrico)?

Centrado en el aprendizaje de los estudiantes (Edumétrico)?

Lo podemos hacer, y…exige…

¡Tiempo!

Manejo técnico

Test Estandarizados ÂżCĂłmo usar los resultados para mejorar el aprendizaje?

ÂĄMuchas gracias!

Prof. Rodolfo Hidalgo Caprile rhidalgo@santillana.com Director de Contenidos Editorial Santillana

Bibliografía consultada y sugerida • Barberà, Elena. (1999): Evaluación de la enseñanza, evaluación del aprendizaje. Edebe, • Bonvecchio, Mirta. (2004): Evaluación de los aprendizajes. Manual para docentes. Novedades Educativas - EDIUNC, Mendoza, Argentina.

• Castillo, Santiago & Cabrerizo, Jesús (2003): Evaluación educativa y promoción escolar.

Prentice Hall, Madrid, España.

Förster, C. & Barahona, C. (2008): Evaluación al interior del aula: una mirada desde la validez, confiabilidad y objetividad. Revista Pensamiento Educativo. Volumen 43, pp 285-305.

• Hidalgo, R: (1988): La importancia del concepto actual de evaluación. Revista de Pedagogía Nº310, pp 168-170, Agosto, Santiago, Chile.

• Hidalgo, R: (2012): El concepto de evaluación que tienen los profesores y su incidencia en el aprendizaje de los estudiantes. Ruta maestra, Nº2, pp 20-25, Bogotá, Colombia.  Krathwohl, D. (2002): A revision of Bloom´s Taxonomy: An Overview. Theory Into Practice.

Volume 41, Number 4, Autum, pp 212-218.

• Moreneo, Carles. & cols (2009): Pisa como excusa. Repensar la evaluación y la enseñanza.

Graó, Barcelona, España.