Módulo 1 - 2014

MÓDULO

1 EVALUACIÓN DE DE EVALUACIÓN LOS APRENDIZAJES LOS APRENDIZAJES EN EDUCACIÓN SUPERIOR EN EDUCACIÓN SUPERIOR DIRECCIÓN ACADÉMICA DE PREGRADO

UNIVERSIDAD DE LA FRONTERA

1

ÍNDICE DEL MÓDULO I. PRESENTACION DEL MÓDULO ...........................................................................1 II. DESAFÍOS DE LA EVALUACIÓN UNIVERSITARIA .............................................2 Evaluar en el Nivel Universitario Plantea Dificultades Específicas ............. 6 Una buena evaluación debe ser válida y confiable...................................... 9 La Evaluación Requiere de Consensos ....................................................... 10 Las prácticas de evaluación se benefician con actuales aportes de las TIC .................................................................................................... 11 III. ¿QUÉ NECESITAMOS EVALUAR? ....................................................................13 ¿Qué resultados de aprendizaje buscamos? ............................................. 13 Hacia situaciones de desempeño más auténticas ..................................... 18 IV. MODALIDADES DE EVALUACIÓN ....................................................................20 Razones para preferir una modalidad de evaluación ................................ 20 Exámenes.................................................................................................... 21 Presentación de trabajos prácticos individuales ....................................... 27 Presentación de trabajos prácticos grupales ............................................ 35 ECOE — Examen clínico objetivo estructurado.......................................... 42 El Uso de TIC Combinadas con las Estrategias de Evaluación .................. 53 V. EVALUAR PARA PROMOVER LA AUTONOMÍA .................................................56 ¿Quién ejerce el control de la evaluación? ................................................ 56 Evaluación por Pares .................................................................................. 57 Autoevaluación ........................................................................................... 58 VI. USO DE LOS RESULTADOS DE EVALUACIÓN ..................................................63 La Función de Calificar ............................................................................... 63 La Función de Retroalimentar .................................................................... 63 VII. CÓMO SE ELABORAN LOS INSTRUMENTOS DE EVALUACIÓN .....................68 Elaboración y validación de instrumentos de evaluación ......................... 68 Diseño de un Instrumento Piloto ............................................................... 69 Puesta a prueba con estudiante y ajustes ................................................. 72 REFERENCIAS........................................................................................................74 REFERENCIAS WEB ...............................................................................................76

Módulo 1 Evaluación de los Aprendizajes en Educación Superior

I. PRESENTACION DEL MÓDULO

RESULTADO DE Al finalizar el Módulo se espera que los participantes sean capaces de diseñar estrategias e instrumentos de evaluación que detecten el logro de resultados de aprendizaje y el avance en el desarrollo de las competencias genéricas UFRO.

Durante el proceso de enseñanza y aprendizaje los participantes tendrán la posibilidad de: •

Reflexionar sobre la necesidad de revisar e innovar las metodologías de evaluación en la enseñanza universitaria.

•

Analizar las condiciones y desafíos que conlleva la puesta en práctica de nuevas estrategias de evaluación tanto desde la perspectiva de los estudiantes como de los profesores.

•

Reflexionar sobre los distintos tipos de conocimiento que pueden ser evaluados con distintas metodologías y reconocer ventajas y desventajas de cada una de estas.

•

Prever las condiciones necesarias para que la evaluación revierta en mejoras de los resultados de aprendizaje.

•

Aplicar, a través de ejercicios, casos de estudio y las TIC, estrategias de evaluación formativa y sumativa que promuevan la reflexión, el pensamiento crítico, la vinculación teoría/práctica y la resolución de situaciones problema.

Durante los encuentros presenciales del Módulo se empleará como soporte para el desarrollo de alguna de las actividades la Plataforma UTIC (www.utic.ufro.cl), y se podrá solicitar a los cursantes presentar sus materiales en versión electrónica a través de dicha plataforma, así como utilizarla para la realización de actividades (tareas, foros, glosarios, entre otras). Para tal fin, se recomienda a los cursantes traer sus notebooks para las sesiones presenciales.

La aprobación del Módulo requerirá: a) Asistir, al menos, al 80% de los encuentros presenciales. b) Cumplir con la entrega de los trabajos solicitados.

La evaluación del Módulo se realizará por medio de: a) Los trabajos realizados durante el curso presencial. Estos trabajos se traducirán en

dos

calificaciones. b) El promedio de aprobación deberá ser mayor o igual a 5.0 Este módulo contribuye con un 20% de la aprobación global del Programa.

1

Módulo 1 Evaluación de los Aprendizajes en Educación Superior

II. DESAFÍOS DE LA EVALUACIÓN UNIVERSITARIA Los estudiantes pueden escapar a una mala enseñanza pero no pueden escapar a una mala evaluación.

Boud, D. en R ace & Brow n (2001)

Braslavsky (1999) propone que los sujetos del siglo XXI deberán ser capaces de protagonizar un proceso hacia lo desconocido, de manejarse más con incertidumbres que con certezas, y que para construirse a sí mismos como sujetos requieren desarrollar competencia e identidad. En todo el planeta los educadores reconocen esta necesidad y se observan esfuerzos que buscan desarrollar las competencias de los estudiantes a través de la actualización de los curriculums y de la promoción de nuevas prácticas y materiales de uso en la enseñanza, pero frecuentemente hay una dimensión curricular poco revisada: la de la evaluación. ¿Qué papel juega la evaluación en el desarrollo de competencias? Para evaluar competencias complejas, debemos observar evidencias de que los estudiantes pueden elegir y combinar varios procedimientos que han aprendido, de tal forma que sean capaces de resolver un problema de manera apropiada.

Cuando se aborda el tema de la evaluación hay que tener en cuenta que se trata de un componente curricular de alta influencia: hay evidencias de que la modalidad de evaluación elegida puede tener más impacto sobre el aprendizaje que los propios materiales o estrategias de enseñanza. Crossouard (2007) nos recuerda además resultados de la investigación que señalan que la evaluación educativa tiene alto impacto en la formación de la identidad de los sujetos, ya que la calificación que proporcionan los establecimientos de enseñanza como instituciones sociales establecidas contribuye a desarrollar nuestra autoestima (o lo contrario) y a fortalecer una autoimagen que nos permitirá la inclusión social (o lo contrario).

OBSERVACIÓN:

La importancia que se otorga a la calificación y la certificación de los estudiantes desde el punto de vista social suele impulsar a los docentes a concentrar sus esfuerzos en evaluaciones para calificar más que en evaluaciones formativas.

2

Módulo 1 Evaluación de los Aprendizajes en Educación Superior Los estudiantes interactúan con la información producida en sus evaluaciones a través de indicadores que resumen su desempeño, normalmente unas notas numéricas. Estas notas condensan el juicio global de un equipo docente, y dado que es esperable que al docente se lo consulte o cuestione acerca de la nota que ha puesto a cada estudiante, dedica buena parte de su tiempo y energía a producir la evidencia suficiente para emitir la calificación (evaluación sumativa o con fines de certificación).

Practicar una evaluación formativa significa en cambio recoger evidencias del desempeño de los estudiantes para modificar la propia enseñanza, de manera de satisfacer mejor las necesidades de aprendizaje de los estudiantes, decidir en qué punto del aprendizaje están, hacia dónde necesitan seguir, y cómo ayudarlos a llegar ahí. En ese sentido, practicar una evaluación formativa requiere dedicar energía y tiempo para devolver a los estudiantes señales que los ayuden a avanzar en su aprendizaje. Perrenoud (1998) propone que plantear una oposición entre evaluación sumativa y evaluación formativa es un falso dilema, puesto que en realidad se trata de usar los mismos datos para dos objetivos diferentes: mientras todavía hay tiempo de trabajo, los datos recogidos en las evaluaciones se reinvierten en adaptar las estrategias de enseñanza y aprendizaje, y cuando termina el curso, será momento de realizar una apreciación global del trabajo realizado.

OBSERVACIÓN:

La evaluación queda frecuentemente reducida a lo que es fácil de evaluar y calificar.

Esto envía a los estudiantes un “mensaje oculto” que los lleva a adoptar formas de aprender útiles para pasar exámenes y no para lograr una comprensión a fondo.

Harlen (2005) señala que las pruebas que tienen alto impacto en la vida futura de los estudiantes inevitablemente se diseñan para que sean lo más “objetivas” posible, porque para evitar injusticias se valora que el proceso de corrección y calificación sea confiable. El resultado es reducir lo que se evalúa a aquello que se puede corregir y calificar de manera fácil y confiable. Por lo general, esto lleva a no incluir en las evaluaciones tareas que den cuenta de aprendizajes valiosos, por ejemplo la resolución de problemas o el pensamiento crítico.

3

Módulo 1 Evaluación de los Aprendizajes en Educación Superior OBSERVACIÓN:

Ciertos formatos de evaluación, por ejemplo los exámenes de opción múltiple, se eligen por razones prácticas de facilidad de aplicación o porque se los considera estadísticamente sólidos, dándose por cierto que eso significa que son justos y confiables. Sin embargo, esto no quiere decir que sean válidos como evidencia de un aprendizaje profundo y sustentable.

Realizar una evaluación significativa, en tanto descriptiva del trayecto individual de aprendizaje de cada estudiante, de sus logros y sus procesos, no puede resolverse de manera abreviada, confiando en evaluaciones estandarizadas, sino que debe basarse en prácticas evaluativas mucho más ricas y complejas que dar un examen (Walker 2005).

Tardif (2006) plantea que la evaluación de competencias es contraria a la yuxtaposición de una serie de “pruebas” diseñadas en forma aislada e independiente, y que debe desarrollarse a lo largo del tiempo como para poder determinar el desarrollo de la competencia. Tal y como lo plantea Perrenoud (op cit), se trata de situaciones no necesariamente excepcionales ni extremadamente difíciles, pero que deben incluir algún tipo de toma de decisión por parte del estudiante, por ejemplo si valen las reglas conocidas, o si hay que dejar de lado esas reglas o adaptarlas al caso que se trabaja. Una evaluación de competencias no puede por lo tanto replicar el modelo tradicional de evaluar conocimientos sino que ha de incluir más evaluaciones basadas en tareas contextualizadas.

OBSERVACIÓN:

El uso formativo de las situaciones de evaluación para promover aprendizajes profundos y desarrollar competencias puede poner en cuestión las prácticas tradicionales de enseñanza y el lugar de poder de los docentes, en particular porque algunas competencias se ponen de manifiesto en situaciones de trabajo grupal, con lo que resulta difícil asignar la calificación individual.

El hábito cultural de atribuirles todas las dificultades de los educandos a los educandos mismos es una tendencia que permanece marcada. Las expectativas preexistentes sobre las relaciones humanas en el aula vuelven problemático el trabajo colaborativo entre docentes y estudiantes. Una postura docente que se vea como colaboradora con sus estudiantes para el 4

Módulo 1 Evaluación de los Aprendizajes en Educación Superior logro de los aprendizajes, y que por lo tanto privilegie el uso de la evaluación para retroalimentar a los estudiantes sobre sus avances, significa que docentes y estudiantes se asuman como “socios en el aprendizaje”. Ello podría traer aparejado que el docente atraviese situaciones donde hay mayor simetría de poder que pondrían en cuestión luego su rol como juez de los desempeños en el momento de la evaluación para la certificación (una relación de poder fuertemente asimétrica).

Un aspecto de la evaluación colaborativa implica también algunos temas particulares. De acuerdo con Oandasan y Reeves (2005), hay poca bibliografía sobre las maneras de evaluar las competencias vinculadas con el conocimiento, las habilidades y las actitudes que se requieren para una práctica colaborativa. Las ventajas de la evaluación del trabajo grupal, aparte de reducir la carga de trabajo para calificar a los individuos, residen en los beneficios educativos de incluir en las competencias habilidades importantes como el trabajo en equipo, el liderazgo, la comunicación y la organización. Sin embargo, es complejo asegurar el empleo de una estrategia de evaluación que sea justa y que pueda establecer los niveles de contribución de cada miembro del grupo; algunas estrategias que lo permitirían se apoyan en dar cierto peso en la calificación a la evaluación que hacen los pares y a la autoevaluación.

5

Módulo 1 Evaluación de los Aprendizajes en Educación Superior

Evaluar en el Nivel Universitario Plantea Dificultades Específicas A veces ya no sabemos por qué evaluamos, cómo evaluamos y terminamos por sentir que la evaluación es una de las tareas más pesadas y menos interesantes del proceso de enseñanza—aprendizaje. Esta situación se experimenta como una incomodidad y una carga ¿Cómo devolverle “cabeza y corazón” al proceso de evaluación?

FICHA N°1 Dificultades en el proceso de evaluación Por favor marque al costado cuáles de los siguientes problemas tiene Ud. observados en su práctica docente. Agregue a la lista otros problemas que Ud. considere del mismo estilo A los estudiantes se les acumulan las evaluaciones en un período del año Existen niveles de exigencia distintos en las evaluaciones de diversas materias Hay veces en que siento que la forma de evaluar que uso invita a los estudiantes a memorizar—y—olvidar La tarea de evaluar sobrecarga mi tiempo de trabajo.

Las evaluaciones sobrecargan el tiempo de los estudiantes Tengo cursos muy numerosos y eso no me permite aplicar evaluaciones ricas y complejas.

Tengo poco tiempo disponible para evaluar de manera efectiva Me cuesta encontrar maneras para dar retroalimentación a todos los estudiantes, por ejemplo luego de los exámenes finales No encuentro modos de usar los resultados de evaluación para hacer que los estudiantes aprendan mejor.

Me cuesta definir en forma escrita cuáles son mis criterios de calificación Los estudiantes tienen poco tiempo disponible para hacer los trabajos fuera de clases Me resulta dificultoso diseñar situaciones para que los estudiantes se autoevalúen Encuentro difícil hacer comentarios escritos a todos los estudiantes sobre sus exámenes o trabajos.

Otros

En lo sucesivo, en este módulo se tratarán algunas de estas cuestiones, aportando conceptos clarificadores y modelos posibles para repensar la práctica evaluativa habitual.

6

Módulo 1 Evaluación de los Aprendizajes en Educación Superior

Evaluación y aprendizaje están estrechamente relacionados La evaluación y el aprendizaje están estrechamente vinculados. La investigación (Watkins y Hattie 1985) señala que los mecanismos de evaluación influyen en los estilos de aprendizaje e incluso definen si se producirá aprendizaje o no. La mayor influencia en la forma en que el estudiante enfoca su estudio es el régimen de evaluación del curso (Ramsden, 1992; Gibbs, 1992). Dicho de otra forma, los procedimientos de evaluación son una de las maneras más efectivas de influir en la forma de aprender de los estudiantes. Se promueve un aprendizaje

superficial cuando se impone una carga de trabajo excesiva, se usa una gama estrecha de técnicas de evaluación, y se le da un énfasis indebido a la reproducción del conocimiento. Se promueve el aprendizaje profundo cuando se elige una variedad de métodos de evaluación, se trabajan situaciones auténticas y se hace hincapié en trabajos que demandan demostrar lo que se ha comprendido.

Evaluar sirve a varios propósitos… …sin embargo, no siempre los conocemos o estamos concientes de ellos.

Usos posibles de la evaluación •

Calificar o ubicar a un estudiante en una escala

•

Aprobar o reprobar a un estudiante

•

Otorgar una licencia profesional

•

Permitir el ingreso a un curso posterior de estudios

•

Retroalimentar a los estudiantes sobre sus fortalezas y debilidades

•

Aumentar las capacidades de autoevaluación de los estudiantes

•

Retroalimentar a los docentes para mejorar la enseñanza

•

Retroalimentar a cuerpos profesionales

•

Contribuir a determinar un perfil de los estudiantes

•

Motivar a los estudiantes

•

Motivar a los docentes

•

Predecir el éxito en la investigación y en los futuros cursos profesionales

•

Predecir el éxito en el futuro empleo

•

Contribuir a un análisis FODA de los estudiantes

•

Contribuir a un análisis FODA de los docentes y/o del curso

•

Ayudar a una institución a mejorar la calidad de los cursos que imparte 7

Módulo 1 Evaluación de los Aprendizajes en Educación Superior Para recuperar un sentido más propio del término, evaluación se deriva de la frase latina “ex valuare”, es decir hacer explícito el valor de algo. El término sinónimo en inglés es “assessment”, que deriva de la frase latina “ad sedere”, que significa sentarse al costado de alguien. Por lo tanto, en forma primaria la evaluación se trata de valorar y retroalimentar.

Después de eso, los resultados de la evaluación pueden usarse para otros propósitos, como ser calificar y aprobar o reprobar, aunque es frecuente observar que estos últimos usos suelen predominar sobre los primeros.

La finalidad primera de la evaluación es asegurarse de que los estudiantes hayan alcanzado los resultados de aprendizaje definidos para el curso y tomar decisiones reparadoras en el caso de que esto no haya sucedido, ANTES DE QUE FINALICE EL CURSO Respecto de esta doble finalidad de la evaluación, y en relación con el momento del proceso de aprendizaje en el que se la utiliza, es habitual distinguir entre evaluación formativa y

sumativa. La evaluación formativa es aquella que primariamente procura el desarrollo de los estudiantes de modo que sean conscientes de sus fortalezas y debilidades gracias a la retroalimentación individual. La evaluación sumativa ocurre al final de un curso de estudio y se la utiliza primariamente con el propósito de formular un juicio final sobre el estudiante, normalmente en comparación con sus compañeros; final, en el sentido de que la forma en que el estudiante se desempeñe en esta evaluación se utilizará para decidir si el estudiante puede avanzar, por ejemplo, al curso siguiente, o si puede ser admitido a un curso optativo.

A veces se busca que la evaluación tenga a la vez propósitos formativos y sumativos, pero normalmente, tanto el docente como el estudiante ponen más atención al elemento sumativo. Cuando aumenta la cantidad de evaluaciones sumativas, los estudiantes se concentran en aprobarlas y tienden menos a tomar riesgos o a ser innovadores en sus enfoques frente a la evaluación, a menos que su docente los estimule a hacerlo.

8

Módulo 1 Evaluación de los Aprendizajes en Educación Superior

Una buena evaluación debe ser válida y confiable La evaluación debe estar diseñada de modo que refleje los resultados de aprendizaje esperados para el curso. Si esto ocurre, la evaluación satisface los requisitos esenciales de validez, concepto que indica hasta que punto las evaluaciones y sus resultados demuestran el logro de los resultados esperados por parte de los estudiantes.

Características de una evaluación efectiva: alineamiento, validez, confiabilidad y transparencia Alineamiento entre • • •

Resultados de aprendizaje claros y realistas Oportunidades de aprendizaje para alcanzar dichos resultados Métodos y tareas de evaluación en relación con los resultados de aprendizaje y métodos de enseñanza

Validez: la evaluación debe medir aquello que procura medir: •

Por ejemplo, una monografía sobre las habilidades y técnicas del tenis no es una prueba válida de que un estudiante sea bueno jugando tenis.

Confiabilidad: la evaluación debe ser consistente y justa: •

Buena confiabilidad entre evaluadores; diferentes evaluadores deben poner notas muy parecidas al evaluar un mismo producto o desempeño del alumno.

Transparencia: Que no haya “trampas”, “pillerías” ni sorpresas para los estudiantes: • • •

Los estudiantes no tienen por qué adivinar lo que el evaluador tiene en mente.

Los logros de aprendizaje tienen que estar explícitos en la planificación y disponibles públicamente.

Los criterios de evaluación tienen que estar disponibles para los alumnos con suficiente anterioridad

Otro término clave es la confiabilidad. Es un término que tiene que ver con la influencia subjetiva sobre los procesos de evaluación. Si usted estuviera de licencia por un período prolongado y un colega corrigiera un examen que usted preparó, ¿los resultados serían similares? Cuando usted tiene una enorme cantidad de pruebas para corregir, ¿cómo puede garantizar que las pruebas que usted califica al principio las trata exactamente de la misma manera que las que corrige al final? ¿Cómo se compara el grupo de estudiantes de este año

9

Módulo 1 Evaluación de los Aprendizajes en Educación Superior con los del año pasado, cuando tal vez el tema o el enfoque que usted le ha dado este año puede ser muy distinto al del año pasado?

La Evaluación Requiere de Consensos La evaluación es un componente del currículum universitario y tiene interacciones sistémicas con los demás componentes como son los planes de asignatura, las metodologías de enseñanza, los materiales de instrucción, el plan de estudio en su conjunto.

SOBRE ELEMENTOS DEL CURRÍCULUM,

Fuentes y elementos del currículo http://www.slideshare.net/analisiscurricular/fuentes-y-elementos-del-curriculo

Fuentes y elementos básicos del curriculum http://www.scribd.com/doc/11485045/Elementos-Curriculum

Y como todo componente del currículum, impacta sobre un grupo amplio de interesados (“stakeholders”) que tienen algo que decir toda vez que una modificación de una práctica de evaluación los afecta en algún sentido. Daremos aquí dos ejemplos:

1.

Las actividades de evaluación que permiten realizar juicios globales sobre el desempeño de un estudiante son acciones concretas mediante las cuales se evalúan sus avances en un doble registro: a) en la asignatura y b) en dirección al desarrollo del perfil del titulado.

Por lo tanto, para garantizar que haya coherencia entre los desempeños que se demandan de los estudiantes desde una asignatura particular y el perfil del titulado, se requiere secuenciar y coordinar los resultados de aprendizaje a los que se comprometen las diferentes asignaturas y volverlos comunicables para el diálogo curricular entre colegas a la hora de diseñar evaluaciones. Para ello, conviene que cada asignatura desarrolle parámetros o indicadores que identifiquen y expresen de manera comunicable los aspectos a evaluar para cada resultado de aprendizaje.

2.

Los estudiantes son quienes pueden recibir los beneficios de una práctica de evaluación, como también “soportar” sus inconvenientes. Por ello es importante generar espacios para discutir con los estudiantes la importancia de la evaluación, sus tipos y estrategias, buscando que expongan sugerencias y comentarios para implementar o mejorar dicho proceso dentro de determinado curso teniendo como referencia los resultados de aprendizaje esperados, los criterios y evidencias que se utilizan para evaluarlos, los 10

Módulo 1 Evaluación de los Aprendizajes en Educación Superior posibles niveles de desempeño y la demanda de conocimiento y pericia que implican; esto ayuda a que perciban la evaluación como más cercana a ellos y menos como un instrumento para juzgar su aprendizaje de forma unilateral.

Las prácticas de evaluación se benefician con actuales aportes de las TIC Se usa el término e-assessment para designar un rango de actividades donde se utilizan tecnologías digitales para la evaluación. Estas actividades incluyen diseño y aplicación de evaluaciones, calificación (ya sea automatizada o por personas con ayuda de escáner y herramientas en línea, y todos los procesos de emitir reportes, almacenar y transferir datos asociados con evaluaciones públicas e internas.

La tecnología puede agregar valor a la práctica de la evaluación de diversas maneras: aumentando el rango de lo que se evalúa, dando evidencia de logros cognitivos y de habilidades que no es accesible a la evaluación tradicional, aumentando la validez de los sistemas de evaluación y estimulando un aprendizaje profundo.

La tecnología puede ayudar a tomar pruebas a muchos estudiantes juntos, pero la ventaja real está en la inmediatez de la retroalimentación que permite y las oportunidades de conducir a los estudiantes a profundizar los aprendizajes mediante herramientas de reflexión en línea como las bitácoras personales, participación en actividades de autoevaluación periódica por ejemplo. a través de cuestionarios, juegos didácticos o simulaciones.

Integración de evaluación, retroalimentación, recursos de aprendizaje y de registro de logros Módulo de aprendizaje

Evaluación

Módulo de revisión

Retroalimentación al estudiante (para apoyar la revisión)

Retroalimentación al estudiante (Para apoyar el futuro aprendizaje)

Próximo módulo de aprendizaje

Módulo de almacenamiento (Para la futura acreditación.

Ej: e-portafolios) 11

Módulo 1 Evaluación de los Aprendizajes en Educación Superior La adopción de estrategias de e-evaluación puede tener implicancias más radicales que el simple cambio del modo de evaluación; puede cuestionar nuestros supuestos sobre la forma en que se estructura el proceso educativo y movilizar los patrones de acción de los docentes y estudiantes. Una consecuencia puede ser cambiar el enfoque pedagógico de un curso o materia, hacia aspectos de la práctica que antes no se podían desarrollar, por ejemplo a través de ejercicios de simulación que replican contextos más auténticos, inclusión de audio e imágenes en los trabajos presentados, pero también modifica la asignación de tareas docentes, porque una parte del peso de la tarea que normalmente se dedica a la corrección de las evaluaciones se traslada ahora al diseño de situaciones de e-assessment.

SOBRE E-ASSESSMENT, PUEDE VER:

E-Assessment http://www.slideshare.net/jquintana/e-assessment-3562415 E-Assessment http://www.slideshare.net/EvelynIzquierdo/e-assessment Evaluación formativa y sumativa de estudiantes universitarios: aplicación de las tecnologías a la evaluación educativa http://hdl.handle.net/10366/18453

12

Módulo 1 Evaluación de los Aprendizajes en Educación Superior

III. ¿QUÉ NECESITAMOS EVALUAR? Alicia: “Minino, serías tan amable de decirme qué camino debo tomar?

“Eso depende mucho de a dónde quieres ir,” dijo el Gato “No me importa demasiado dónde” dijo Alicia.

“Entonces no importa por qué camino vayas,” dijo el Gato “…mientras llegue a alguna parte,” agregó Alicia a modo de explicación “Ah, seguramente lo harás,” dijo el Gato, “con tal que camines lo suficiente”.

Lew is Carroll, Alicia en el país de las m aravillas

Secuencia lógica de las definiciones curriculares Si Ud. tuviera que diseñar un curso nuevo, ¿en qué orden produciría los siguientes componentes?

Actividades de evaluación Contenidos de la materia Resultados de aprendizaje Actividades de enseñanza y aprendizaje A pesar de la tentación de comenzar definiendo los contenidos de la materia, el orden más sensato de las cuestiones anteriores sería comenzar por los resultados de aprendizaje, después definir la modalidad de evaluación a partir de ellos, y sólo después será posible establecer el contenido temático y las actividades de enseñanza y aprendizaje.

¿Qué resultados de aprendizaje buscamos?

Hasta hace relativamente poco, la determinación de los resultados de aprendizaje se basó principalmente en la taxonomía de Bloom (1965). Este autor desarrolló una jerarquía de aprendizajes que se resume en la tabla siguiente. Se suponía que los estudiantes van ascendiendo a través de los niveles que van desde el conocimiento a la evaluación. Esta guía se utilizó mucho para formular los objetivos de aprendizaje de manera que la evaluación tuviera el nivel apropiado a las posibilidades cognitivas de los estudiantes y a la etapa 13

Módulo 1 Evaluación de los Aprendizajes en Educación Superior académica que éstos transitan, porque normalmente no se considera apropiado pedirle a los estudiantes al principio de un curso que, por ejemplo, evalúen críticamente los procedimientos de producción de conocimiento en el campo disciplinar, aunque sí sería justificable (después de un poco de estudio) pedirles que expliquen el contexto histórico en el que se produce ese conocimiento.

Taxonomía de Bloom de los objetivos educativos (dominio cognitivo) 1. Conocimiento

Lo que puede ser recordado.

Palabras para la evaluación: haga una lista, describa, bosqueje

2. Manipulación

Capacidad de reformular el conocimiento.

Palabras para la evaluación: compare, contraste

3. Aplicación

Capacidad para aplicar el conocimiento reformulado en nuevas situaciones o casos reales o realistas.

Palabras para la evaluación: recomiende, proponga

4. Análisis

Capacidad de subdividir un problema real o realista en sus partes constitutivas, y establecer las relaciones entre cada una.

Palabras para la evaluación: explique, desagregue, identifique

5. Síntesis

Capacidad de combinar elementos separados en un todo.

Palabras para la evaluación: sintetice, modelice, relacione

6. Evaluación

Capacidad para hacer un juicio acerca del valor de algo.

Palabras para la evaluación: critique, evalúe

En los 90, Anderson (2001) revisó el esquema de Bloom y a partir de el desarrolló un esquema de clasificación bidimensional que cruza las categorías de Bloom con diferentes tipos de conocimiento. En la taxonomía original sólo se habían incluido los conocimientos fácticos y conceptuales, en especial porque se prestaban a ser medidos a través de pruebas objetivas; sin embargo para la didáctica ha venido cobrando importancia una concepción del conocimiento que incluye también el “saber hacer” o conocimiento procedimental que forma parte insoslayable del desempeño en la vida profesional, y el “saber saber”, o conocimiento sobre los propios procesos de aprendizaje, que es la clave del “aprender a aprender”. Una forma en la que se nota ese cambio, es que las categorías pasan de expresarse como 14

Módulo 1 Evaluación de los Aprendizajes en Educación Superior sustantivos (p.ej. “análisis”) a verbos (“analizar”), ya que se considera que el conocimiento es un proceso activo.

Clasificación de Anderson Dimensión del conocimiento

Dimensión del proceso cognitivo 1. recordar

2. entender

3. aplicar

4. analizar

5. evaluar

6. crear

Conocimiento fáctico Conocimiento conceptual Conocimiento procedimental Conocimiento metacognitivo Además hoy en día se reconoce que junto a los saberes académicos y estratégicos existen otros saberes sociales como la capacidad de comunicar, de colaborar en equipos, de automotivarse, de anticiparse a situaciones, que han mostrado tener alta correlación con el desempeño futuro de los profesionales y son valorados por los empleadores, a la vez que constituyen dimensiones de la autoeficacia personal. Las universidades prestan cada vez más atención a incluirlos en los perfiles de los graduados, comprometiéndose a desarrollarlos y por lo tanto, a evaluarlos y reconocerlos. El conocimiento metacognitivo y los saberes de regulación emocional y relación comienzan a ser incluidos por la epistemología, y por lo tanto lentamente se vuelven objetos de conocimiento y de didáctica. Eso implica: se enseñan, se pueden evaluar, es aceptable que su evaluación tenga consecuencias en el medio universitario.

15

Módulo 1 Evaluación de los Aprendizajes en Educación Superior SOBRE LAS TAXONOMÍAS MENCIONADAS, VER:

Taxonomía de Bloom para la era digital http://www.eduteka.org/TaxonomiaBloomDigital.php La taxonomía cognitiva de Bloom - Aprender es acción http://upload.wikimedia.org/wikipedia/commons/8/8c/La_rosa_de_Bloom.png La taxonomía de Bloom y sus dos actualizaciones http://www.eduteka.org/TaxonomiaBloomCuadro.php3

http://www scribd com/doc/11485045/Elementos Curriculum

A continuación se desarrollan algunas definiciones aclaratorias y se proponen algunos ejemplos concretos de saberes vinculados a la formación del profesional psicólogo, organizados según la clasificación de Anderson, a los que se agrega la dimensión del conocimiento socioemocional.

16

Módulo 1 Evaluación de los Aprendizajes en Educación Superior Tipos y subtipos principales

Ejemplos

A. Conocimiento fáctico – Los elementos básicos que deben conocer los estudiantes para estar familiarizados con una disciplina o resolver problemas en ella.

A.1. Conocimiento del vocabulario

Vocabulario técnico, símbolos geográficos, símbolos musicales

A.2. Conocimiento de detalles y elementos específicos

Recursos naturales principales, fuentes de información confiable

B Conocimiento conceptual – Las interrelaciones entre los elementos básicos, dentro de una estructura mayor que les permite funcionar en conjunto B.1. Conocimiento de clasificaciones y categorías

Períodos geológicos, formas de propiedad comercial

B.2. Conocimiento de principios y generalizaciones

Teorema de Pitágoras, ley de la oferta y la demanda

B.3. Conocimiento de teorías, modelos y estructuras

Teoría de la evolución, estructura del Poder Legislativo

C Conocimiento Procedimental – Cómo hacer algo, métodos de indagación, criterios para utilizar las habilidades, algoritmos, técnicas y métodos C.1. Conocimiento de habilidades y algoritmos disciplinares específicos

Habilidades para pintar con acuarela, algoritmo de la división de números enteros

C.2. Conocimiento de técnicas y métodos específicos

Técnicas de entrevista, métodos de tabulación de datos numéricos

C.3.Conocimiento de criterios para determinar cuándo usar un adecuado

Criterios para aplicar la Segunda Ley de Newton, criterio para juzgar si es adecuado un determinado método de estimación financiera

D Conocimiento Metacognitivo– Conocimiento acerca de los modos de conocer en general, y conciencia de los propios modos y tendencias cognitivas D.1. Conocimiento estratégico

Conocimiento del bosquejado como medio de capturar la estructura de una unidad temática de un libro, conocimiento sobre cómo usar reglas heurísticas

D.2. Conocimiento acerca de tareas cognitivas, incluyendo conocimientos contextuales y condicionales

Conocimiento de los tipos de exámenes que toman diversos docentes, conocimiento de la demanda cognitiva que exigen diferentes tareas

D.3. Conocimiento de las fortalezas y debilidades cognitivas personales

Saber que somos buenos criticando textos, pero que somos débiles para escribir textos; conciencia del propio nivel de conocimiento.

F Conocimiento Socioemocional — Habilidades para llevar adelante buenas y productivas relaciones humanas y capacidades de autorregulación emocional.

F.1. Habilidades sociales y comunicacionales

Capacidad de empatizar con otros, detección de las necesidades de los demás a través del diálogo, asumir roles de liderazgo y de seguimiento.

F.2. Autoconocimiento y regulación emocional

Motivación ante obstáculos, saber que nos cuesta conservar la calma, mostrar persistencia en el esfuerzo

17

Módulo 1 Evaluación de los Aprendizajes en Educación Superior

Hacia situaciones de desempeño más auténticas Para el diseño de instrumentos de evaluación, hay una serie de elementos a considerar que permiten estructurar (a) la situación a la que hacen frente los estudiantes y las instrucciones complementarias para que operen en esa situación y (b) la tarea posterior de los evaluadores.

Situaciones para evaluar ¿Qué tienen en común las siguientes situaciones?. ¿A qué nivel de la taxonomía de Anderson operan?

• • • • • • •

Diagnosticar a un paciente a partir de sus respuestas a un cuestionario.

Resolver un problema de optimización del tiempo de una entrevista.

Aplicar un test de psicodiagnóstico.

Analizar datos de una estadística de salud mental comunitaria.

Escribir un informe de derivación.

Criticar la intervención psicológica analizada en un video Demostrar habilidades comunicativas apropiadas ante un paciente simulado

¿Qué tienen en común las siguientes situaciones? ¿A qué nivel de la taxonomía de Anderson operan?

• • •

Contestar V ó F a las siguientes 50 preguntas.

Resolver los siguientes ejercicios.

Completar los espacios con la formulación adecuada.

Probablemente las situaciones listadas en primer lugar cumplen mejor con algunos de los criterios de autenticidad que propone Monereo (2003), en particular el de centrarse en la actuación o realización (performance) de una tarea, y así inferir el nivel de pericia alcanzado por el estudiante en tareas semejantes. En cambio, la segunda lista de situaciones suele estar más asociada a lo que Wiggins (1990) llama la evaluación tradicional.

Actualmente en el nivel universitario se recomiendan enfoques de enseñanza que permitan que los estudiantes desarrollen desempeños ricos, auténticos y complejos que los acerquen paulatinamente a situaciones como las que enfrentarán en su vida profesional. Por cierto, es 18

Módulo 1 Evaluación de los Aprendizajes en Educación Superior necesario que aprendan conocimientos que constituirán recursos para tales desempeños, pero ese conocimiento ha de enseñarse en referencia con los tipos de problema que permite resolver, en un contexto, en vez de enseñarlo como "conocimiento textual" completamente desvinculado de sus usos (Idrissi et al. 2009), y prestando atención a los desafíos personales y sociales que implica poner en uso el conocimiento en situación.

Por lo tanto, dentro de un enfoque de enseñanza orientado a mejorar los desempeños, suelen identificarse dos momentos principales –aunque no secuenciales– en el aprendizaje. El estudiante: i.

aprende los recursos: saber qué (conceptos), saber cómo (procedimientos), y saber ser (actitudes);

ii. participa en actividades de integración y de evaluación formativa que le permiten aprender a movilizar esos recursos en situaciones complejas.

Existen variadas estrategias que generan evidencias más ricas y complejas para evaluar el resultado del aprendizaje y que remiten a desempeños más parecidos a los que depara la práctica profesional, por ejemplo la construcción de portafolios, la presentación escrita de análisis de casos y resolución de problemas, las entrevistas en profundidad, cuestionarios cualitativos y cuantitativos, juegos de roles y simulación de situaciones. En estos desempeños evaluamos un resultado de aprendizaje principalmente a través de una producción del estudiante, utilizando criterios sobre el producto: ¿es un producto de calidad? ¿Responde a lo que se le pidió? etcétera. Pero también podemos evaluar un resultado de aprendizaje en términos de calidad del proceso: rapidez del proceso, autonomía del estudiante, respeto a los demás compañeros. (Roegiers, 2007).

Esto significa un cambio en la situación de enseñanza–aprendizaje y en la evaluación. Las tareas que resuelven los estudiantes, como parte de su aprendizaje o en las situaciones de evaluación sumativa, se vuelven más auténticas y complejas, y requieren que se involucren en una comunidad de aprendices que incluye al propio docente, a través de prácticas de colaboración, en vez de seguir procedimientos que tienden al aprendizaje memorístico e individualista. Por otro lado, el modo de evaluación descansa más en la colección de una variedad de evidencias amplias, incluyendo la autoevaluación y la evaluación de los pares, que permita mostrar los productos del estudiante, antes que una mirada centrada en pruebas de rendimiento por vía de tests estandarizados.

19

Módulo 1 Evaluación de los Aprendizajes en Educación Superior

IV. MODALIDADES DE EVALUACIÓN A veces nos sentimos tan limitados por la presión de tener que rendir cuentas que inadvertidamente creamos actividades de evaluación que pueden tener justificación técnica pero que no ayudan a los estudiantes ni a los aprendizajes.[…] ¿Cómo podemos hacer algo distinto? ¿Qué sabemos sobre el diseño de evaluaciones que nos ayude a crear tareas que nuestros estudiantes recuerden como valiosas y satisfactorias, y que a nosotros nos dé placer ocuparnos de ellas?

D. Boud

Razones para preferir una modalidad de evaluación Diferentes disciplinas académicas tienen diversas culturas y tradiciones de evaluación.

Algunas disciplinas son más discursivas y se apoyan fuertemente en la presentación de monografías y escritos, algunos de ellos desarrollados en situación de examen, mientras que en otras disciplinas no se piden escritos sino cálculos, planos o proyectos.

Existe una racionalidad implícita pero no cuestionada en preferir situaciones más “tradicionales”. Por lo general, las ventajas que se suelen rescatar de estas últimas son: a) Optimizan el tiempo y los recursos docentes; b) Pueden ser aplicadas en un entorno controlable para evitar plagio o copia; c) Producen resultados “dentro de ciertos límites”, es decir no hay resultados excepcionales o inesperados; d) Dejan una evidencia objetiva material (un papel escrito o marcado por el estudiante); e) Pueden ser comparadas de manera consistente entre estudiantes y entre cohortes si existen criterios preestablecidos.

Pero esta evaluación “tradicional” también tiene desventajas a) Puede resultar inadecuada para saber si los estudiantes logran resultados de aprendizaje más complejos y ricos, más auténticos en el sentido discutido anteriormente; b) No se presta fácilmente a ser reconvertida en una evaluación con soporte digital; c) Asumen que la población estudiantil es homogénea; 20

Módulo 1 Evaluación de los Aprendizajes en Educación Superior d) Se vuelve más complicada a medida que aumenta la cantidad de estudiantes.

Un buen diseño de evaluación…

•

Debe proveer la información que sea necesaria para registrar juicios sobre el desempeño del estudiante.

•

Debe tener una influencia positiva sobre lo que hacen los estudiantes, desde antes de la evaluación y hasta su aprendizaje posterior a la evaluación.

•

Debe ser valorado por los estudiantes como una actividad que vale la pena.

A veces es posible encontrar soluciones creativas mirando fuera de la propia tradición y conviene estar abiertos a la posibilidad de préstamos y modificaciones a partir de lo que se hace en otras disciplinas. Para ello en lo que sigue de esta sección se presenta una serie de métodos de evaluación señalando sus ventajas y limitaciones, incluyendo algunos casos de buenas prácticas.

Exámenes Exámenes orales Son una oportunidad de conocer más “personalmente” al estudiante. Pueden tener intención formativa, a manera de una entrevista, aunque el uso típico y tradicional ha sido utilizarlos para la evaluación sumativa de un curso. Permiten evaluar la manera de responder del estudiante frente a situaciones hipotéticas planteadas por el evaluador que requieran integrar conocimientos vistos en distintos momentos de la asignatura, e incluso la aplicación de conocimientos o criterio construidos en anteriores asignaturas. Hay que tener en cuenta que en este tipo de situaciones se evalúan conocimientos del estudiante pero también su capacidad de comunicarlos efectivamente en una situación de exposición que puede resultar bastante forzada o estresante, y no siempre es fácil evaluar por separado “lo que se sabe” de la manera en que se es capaz de expresarlo. Puede haber un solo evaluador, o puede ser conducido por un panel. Este tipo de exámenes, si no se cuenta con unos criterios de evaluación y un conjunto de situaciones previamente comunicadas al estudiante, pueden tener altos niveles de discrecionalidad y por lo tanto dar origen a quejas de injusticia.

21

Módulo 1 Evaluación de los Aprendizajes en Educación Superior USO DE TIC:

Es muy sencillo actualmente realizar grabación de audio digital (MP3) de una conversación de examen, que puede funcionar como evidencia de respaldo y para analizar más a fondo la comprensión de los estudiantes. También puede aplicarse la técnica de registro audiovisual en una videoconferencia, en la que el o los estudiantes están físicamente distantes rindiendo un examen oral.

Exámenes escritos Una de las razones de la popularidad de los exámenes entre los académicos es que los estudiantes están familiarizados con el formato. Además nos gustan porque son tradicionales, y en general lo que conocemos nos hace sentir seguros; si nosotros tuvimos que dar examen, ¿por qué no van a darlo ellos? La duración típica, de entre dos y tres horas, se debe a razones que tienen que ver con la tradición pero probablemente también con la biología humana. Es muy importante no tratar de hacer entrar una cantidad excesiva de material en un examen de tres horas así que conviene preguntarse: ¿cuántas preguntas vamos a incluir? ¿Hay que considerar un tiempo extra de lectura? ¿Todas las preguntas tienen más o menos la misma extensión? ¿Hay muchas opciones diferentes? ¿Los estudiantes ya dieron un examen parecido a éste? Las respuestas ¿requieren mucha redacción?

Ventajas y desventajas asociadas a los exámenes escritos (Primera parte) Esta forma de evaluación tiene varias ventajas. Haga una lista para compartir con los colegas.

1) ______________________________________________ 2) ______________________________________________ 3) ______________________________________________ 4) ______________________________________________

22

Módulo 1 Evaluación de los Aprendizajes en Educación Superior Probablemente su lista incluya alguna de las siguientes ideas: •

Son relativamente eficientes en términos del tiempo de los estudiantes y del tiempo del docente

•

Son confiables

•

Evalúan las capacidades individuales de los estudiantes

•

Es difícil que haya plagio

•

Es difícil que se copien

•

Es fácil organizar que un examinador externo modere la corrección.

Ventajas y desventajas asociadas a los exámenes escritos (Segunda parte) Esta forma de evaluación tiene varias desventajas. Haga una lista para compartir con los colegas.

1) ______________________________________________ 2) ______________________________________________ 3) ______________________________________________ 4) Aquí hay algunas que frecuentemente suelen citarse: •

Se juzga a los estudiantes por su desempeño en un día particular

•

Corregirlas puede ser tedioso y lleva una cantidad desproporcionada de tiempo

•

Frecuentemente la caligrafía de los estudiantes es indescifrable

•

La mala interpretación de un enunciado puede llevar a resultados desastrosos

•

Es difícil pensar preguntas nuevas todas las veces.

23

Módulo 1 Evaluación de los Aprendizajes en Educación Superior USO DE TIC:

Es posible emplear bancos de comentarios prediseñados para producir hojas de retroalimentación, generales o específicas. También se pueden usar formatos para respuestas cortas o de desarrollo cuyo registro queda en una plataforma (por ejemplo Campus Virtual), desde la cual se puntúa, retroalimenta y califica al estudiante.

Exámenes a libro abierto Para estos exámenes, los estudiantes pueden traer sus materiales del aprendizaje. Ud. puede restringirlos por ejemplo a un solo libro (por lo común el texto principal del curso) o a la inversa, se puede estimular a que los estudiantes vengan con sus propias notas, “torpedos”, materiales de revisión, copias de otros documentos.

Para los estudiantes es mucho más desafiante rendir exámenes a libro abierto porque las preguntas probablemente tienen más que ver con el uso y aplicación del conocimiento y de los conceptos, es decir que deben resolver actividades que están en un nivel más alto de las taxonomías de Bloom o Anderson. El aprendizaje superficial, es decir la repetición de datos memorizados, otorgará poco puntaje. Sin embargo, si el material es realmente complejo sería justo recompensar en parte esta habilidad memorística. De hecho, en este tipo de exámenes los estudiantes necesitarán también apoyarse en su memoria, porque no tienen tiempo de buscar todo en el libro. Diseñar preguntas adecuadas puede ser también un desafío importante para el docente, y la experiencia indica que los criterios de calificación para estos exámenes tienen que ser bastante flexibles.

USO DE TIC:

Se puede emplear, al igual que en el punto anterior, formatos de respuesta en que el estudiante presenta su elaboración al docente.

Exámenes a partir de un cuestionario previo En estos casos se da a los estudiantes un listado de preguntas que entrarán en el examen.

Un riesgo es que si los estudiantes conocen de antemano las preguntas de la evaluación es posible que se concentren solo en ellas y elijan no estudiar ciertos temas. Una forma de evitar esto es hacer que todas las preguntas sean obligatorias o por ejemplo se puede presentar a los estudiantes una lista de 10 preguntas de examen al principio del curso y decirles que por lo menos 4 de ellas aparecerán en dicha evaluación. La ventaja es que así se garantiza que se estudien todos los temas, pero las preguntas en este caso tendrán que ser 24

Módulo 1 Evaluación de los Aprendizajes en Educación Superior bastante amplias, porque de lo contrario los estudiantes limitarán su estudio al ámbito particular de la pregunta que usted les plantea.

USO DE TIC:

Es posible reutilizar, en una situación integradora, preguntas de cuestionarios de evaluación formativa que los estudiantes resuelven con cierta periodicidad, ya sea clase a clase, semana por semana, etcétera.

Exámenes domiciliarios En esta técnica a los estudiantes se les da una semana para completar el examen, que por supuesto es a libro abierto. Hay quienes argumentan que si uno se puede llevar a casa el enunciado del examen, eso deja de ser un examen. Sin embargo, en este tipo de evaluaciones se pueden proponer preguntas realmente desafiantes que involucren uso de información, investigación original, búsquedas avanzadas en Internet y uso de bases de datos. Otra ventaja es que se puede pedir que las respuestas vengan escritas en un procesador de texto. La desventaja principal de estos exámenes es que los estudiantes le dedican mucho tiempo y dejan de lado todo otro trabajo, aún si el examen tiene baja ponderación en la evaluación general del curso. Además es posible que algunos estudiantes de bajo rendimiento no hagan la mayor parte del trabajo por sí mismos.

USO DE TIC:

Este tipo de evaluación puede desarrollarse por medio de un Wiki u otro tipo de herramienta colaborativa, donde el docente puede monitorear el desarrollo de la actividad en lo que respecta, a tiempos, participación o aportes y contenido elaborado. Así también, puede retroalimentar a los estudiantes sobre el mismo documento.

Test con preguntas de opción múltiple Las preguntas de opción múltiple se pueden utilizar para controlar la asimilación de conocimiento fáctico, pero se tiene menos confianza en que sirvan para comprobar niveles de comprensión

más

profundos.

Sin

embargo,

este

tipo

de

exámenes

puede

ser

intelectualmente desafiante y muy demandante cuando está bien hecho. El costo de desarrollar un buen instrumento de opción múltiple es elevado en tiempo y se requiere renovarlo todos los años.

25

Módulo 1 Evaluación de los Aprendizajes en Educación Superior Las ventajas de utilizar este tipo de test son entre otras: •

Permitir un muestreo más adecuado de todos los temas. Los estudiantes responden más preguntas sobre más cosas en la misma cantidad de tiempo.

•

Aumentar la consistencia en la calificación entre un examen y el siguiente. Un examen determinado recibirá el mismo puntaje ya sea si se lo corrige al principio o al final del lote, o incluso si lo corrige otra persona.

•

Reducir la cantidad de tiempo para corregirlos.

•

Limitar el rango de respuestas posibles a la pregunta, con lo que se le indica al estudiante más claramente cuál es el punto que el docente quiere enfatizar.

•

Eliminar la desventaja para aquellos que escriben lentamente.

•

Permitir la entrega inmediata a los estudiantes del listado de respuestas correctas de modo que puedan saber exactamente en donde se equivocaron.

•

Facilitar análisis posteriores de tipo cuantitativo, por ejemplo qué porcentaje de estudiantes optaron por una determinada respuesta asociada a un error de comprensión.

USO DE TIC:

Para este tipo de evaluación es aconsejable el empleo de los Cuestionarios en plataforma, los cuales se sustentan en bancos de preguntas elaborados por el docente y la funcionalidad propia de este tipo de herramienta y que apuntan a las ventajas enunciadas anteriormente.

26

Módulo 1 Evaluación de los Aprendizajes en Educación Superior

MICROCASO Evaluación en línea indicando el nivel de seguridad en las respuestas La corrección incluyendo nivel de seguridad o CBM (confidence—based marking, por su sigla en inglés) requiere que los estudiantes señalen el grado de certidumbre que le otorgan a cada respuesta en una prueba objetiva.

Los estudiantes califican su certidumbre en una escala de 1 a 3 (3 es muy seguro, 1 es no muy seguro); reciben 1, 2 o 3 puntos si la respuesta es correcta, y en el caso de que sea incorrecta reciben 0 puntos, o se les descuentan 2 y 6 puntos respectivamente. Las preguntas para realizar la evaluación con CBM están almacenadas en un servidor, y cuando el estudiante comienza la prueba los archivos se descargan a su computadora personal. Como resultado, los estudiantes pueden aplicarse la prueba en cualquier momento y lugar. Cuando se usan con fines sumativos, las pruebas se hacen en papel, y las hojas de respuestas se entregan para ser leídas con un lector óptico.

Este esquema permite reducir la tendencia a un aprendizaje memorístico porque para sacar buenas notas los estudiantes tienen que poder dar cuenta de cuánta confianza sienten al responder. El uso de ejercicios CBM durante el aprendizaje permite a los estudiantes una retroalimentación instantánea que le muestra donde su conocimiento estaba poco firme o era incorrecto. Como ejercicio de seguimiento después de una clase puede utilizarse mezclando preguntas sencillas, de respuesta esperable, con otras más complicadas que estimulen un pensamiento más profundo o planteen dudas para discutir la clase siguiente.

Presentación de trabajos prácticos individuales Los trabajos del curso pueden servir tanto para la evaluación formativa como sumativa. Antes de analizar los diferentes tipos de trabajos prácticos conviene pensar algunas cosas sobre cómo comunicar sus expectativas a los estudiantes: cuanto más claro sea Ud. para especificar lo que quiere, es menos probable que los estudiantes produzcan respuestas inesperadas.

Puede resultar útil si en la consigna Ud. incluye lo siguiente:

•

Unos criterios muy claros acerca de cómo debe ser el trabajo;

•

Un título posible (o explicitar si se espera que ellos busquen uno) 27

Módulo 1 Evaluación de los Aprendizajes en Educación Superior •

Información definida acerca de la extensión esperada;

•

Definición de hasta qué punto los estudiantes tienen libertad de elegir la forma de presentación (si tienen total libertad para elegirla, es mejor decirlo explícitamente);

•

Para tareas complejas pida que primero le presenten un plan de trabajo y evalúelo o discútalo con toda la clase o en forma individual;

•

Una lista de lecturas y referencias apropiada.

En la lista anterior no se mencionó expresamente que •

Conviene explicitar el propósito de la tarea y cuál es su relevancia en el contexto del curso;

•

Es necesario proponerles a los estudiantes unos criterios de evaluación claramente especificados.

El propósito explícito permite que los estudiantes den valor a la tarea que Ud. les solicita, sobre todo cuando les señala las relaciones entre la tarea y los resultados de aprendizaje esperados para su materia.

Los criterios de evaluación variarán obviamente de acuerdo con la naturaleza del trabajo práctico, pero servirán para orientar a los estudiantes acerca de lo que usted espera de ellos y desarrolla en ellos habilidades de autoevaluación. En el apartado donde se discute la autoevaluación se da un ejemplo de hoja de criterios de evaluación.

Antes de proponer la tarea a los estudiantes conviene mostrar las preguntas o tareas de evaluación a algún colega, para verificar si existen ambigüedades, y lo mismo conviene hacer con los criterios de evaluación.

Al proponer la tarea a los estudiantes, además de dar por escrito las instrucciones para hacer el trabajo, discútalas en clase con tiempo y deje espacio para preguntas; si durante esa discusión fuera evidente que hay algún malentendido o confusión, averigüe qué es lo que los confunde, de modo que pueda evitarlo en el futuro.

28

Módulo 1 Evaluación de los Aprendizajes en Educación Superior USO DE TIC:

Este tipo de evaluación puede ser desarrollada mediante el empleo de herramientas colaborativas de Campus Virtual o de Google Docs. Además, puede ser complementada con foros de consulta o foros temáticos en que aporta el docente y los propios estudiantes.

Algunas preguntas para pensar el reglamento de presentación de trabajos 1) ¿Hasta que punto es usted estricto con los límites de extensión de los trabajos? ¿Qué pasa si se excede el límite concedido?

2) ¿Cuáles son las multas por entregar fuera de tiempo?

3) ¿Usted penaliza los errores de ortografía o de redacción? ¿Los corrige?

4) ¿Como tiene previsto detectar y tratar la cuestión del plagio?

5) ¿Los estudiantes están informados de sus respuestas a las preguntas anteriores?

Monografías y ensayos Las monografías son una forma popular de evaluación, por lo que es adecuado que los estudiantes ejerciten sus habilidades para presentar información de manera lógica y persuasiva bien antes del momento estresante del examen escrito o la entrega del trabajo final. Las monografías son buenas para evaluar una amplia gama de habilidades que incluyen la planificación, la selección, la organización y la presentación de información.

Los trabajos escritos permiten mostrar distintos niveles de aprendizaje. Del más profundo al más superficial podemos mencionar: •

Dar argumentos apoyados en evidencia

•

Exponer un punto de vista propio acerca de un tema

•

Presentar una distribución estructurada de hechos y opiniones

29

Módulo 1 Evaluación de los Aprendizajes en Educación Superior El desempeño de los estudiantes con las monografías depende de una gran cantidad de factores que incluyen la experiencia previa (sobre la que el docente no tiene control).

Algunas monografías pueden incluso

llegar a carecer de sentido porque los estudiantes

incluyen en ellas todo lo que han leído o han escuchado, sin priorizar ni seleccionar el contenido. Por eso, si la nota de la monografía cuenta para la calificación final, habrá que considerar que algunos estudiantes pueden haber tenido instrucción sobre las habilidades requeridas para escribir una buena monografía, pero otros no.

En general los estudiantes se benefician si usted los retroalimenta tempranamente en su trabajo. Por ejemplo, pueden presentarle un plan de trabajo en media carilla, con un bosquejo de la estructura y del contenido. Si el curso tiene pocos estudiantes usted incluso podría leerles el primer borrador.

USO DE TIC:

Las monografías y ensayos, como producto, pueden ser una fuente importante para enseñar a los estudiantes a redactar un paper, editar, referenciar autores, indexar bibliografía y publicar, empleando herramientas gratuitas como ISSUU, papel digital u otras similares. Asimismo, para la evaluación de ellas puede emplearse rúbricas con criterios predefinidos.

30

Módulo 1 Evaluación de los Aprendizajes en Educación Superior

MICROCASO Corrección por Pares y Autocorrección de Trabajos Monográficos Este caso corresponde a un curso de educación que logró reducir en forma importante su evaluación sumativa haciendo foco estratégico en la evaluación de resultados de aprendizaje específicos, desplegando la evaluación a lo largo de más de un curso, y utilizando la autoevaluación y la evaluación por pares para dar retroalimentación a los estudiantes acerca de sus avances.

El curso dejó un sistema de evaluación muy costoso para reemplazarlo por uno de los sistemas más económicos que se hayan visto. En el sistema antiguo, los estudiantes producían cantidades de monografías que los docentes debían leer, pero no había prácticamente ninguna seguridad de que se pudiera medir a todos con el mismo estándar. No podían decir si los estudiantes eran o no competentes.

Se podía decir que los estudiantes estaban atareados, pero no que fueran competentes. Las tareas eran muy grandes y complejas, y la retroalimentación llegaba siempre muy tarde. El curso no tenía exámenes, funcionaba sólo a través de trabajos prácticos.

Ahora los docentes se han puesto de acuerdo en tomar un examen, salvo que a los exámenes los llaman "tareas a tiempo limitado". Las tareas de examen simulan trabajos prácticos, o en algunos casos son idénticas a éstos. Por ejemplo, en el examen se les entregarán registros del desempeño de algunos estudiantes en lengua a lo largo del año escolar. Los datos consisten en una carilla de papel A4 y una hoja de comentarios sobre los estudiantes, y las cuestiones que se les plantean son por ejemplo “comente sobre la adecuación del sistema de registro que usa el maestro” y “comente sobre la adecuación del plan del docente para tratar las diferencias individuales en la clase en referencia al currículum nacional, a lo que usted sabe sobre la enseñanza de la lengua, y a lo que usted sabe acerca del sistema de registro".

Por lo tanto, el examen incluye cosas que forman parte de la lista de resultados de aprendizaje del curso.

Los estudiantes saben que pueden esperar una pregunta sobre los registros escolares, en la que tendrán que mirar algunos registros reales. Saben que habrá alguna pregunta acerca de la planificación escolar, y que se les entregarán algunos planes de clase reales. La única forma de prepararse para dar este examen es haber analizado los sistemas de registro y buscar el sentido que tienen, haber mirado planes de clase y buscar el sentido que tienen. La regla base es que en el examen los estudiantes no van a ser enfrentados a una tarea que no hayan trabajado de manera formativa durante el año.

Durante el año, se estimula a los docentes a utilizar respuestas modélicas, retroalimentación entre pares, autoevaluación y discusión en clase. Los estudiantes se reúnen en equipos de aprendizaje para ayudarse a preparar los trabajos prácticos y a darse retroalimentación. Antes y después de la fecha de entrega de cada trabajo práctico, estos equipos de aprendizaje se encuentran con sus tutores, pero en ocasiones también se encuentran sin los tutores.

La calificación se reduce a cuatro exámenes ("tareas a tiempo limitado") en las que se evalúa el curso anual completo. Los diferentes jefes de curso acuerdan el rango de tareas, de modo que no haya dos docentes que traten el mismo tema, por ejemplo la planificación. Se entrega una grilla de resultados de aprendizaje que los estudiantes deben desarrollar, y tiene que quedar claro que el examen abarque los resultados de aprendizaje. Las respuestas a los exámenes son bastante breves, de modo que un examinador externo pueda luego ver a los estudiantes en acción en la práctica y ver si pueden hacer estas cosas o no.

31

Módulo 1 Evaluación de los Aprendizajes en Educación Superior

Proyectos Los proyectos pueden ser realizados por individuos o grupos y normalmente involucran cierta cantidad de investigación y diseño original. Son un excelente vehículo para garantizar que los estudiantes se aproximen a algunas de las necesidades del mundo del trabajo profesional.

Para algunos estudiantes que ya trabajan a tiempo parcial, la tarea de proyecto se puede realizar dentro de la organización donde trabajan y los empleadores pueden otorgar un premio por este trabajo que cumple las labores de una consultoría. Este tipo de trabajo también puede servir para que los estudiantes demuestren sus habilidades de trabajo en equipo y de comunicación si se solicita un reporte escrito y/o una presentación.

USO DE TIC:

Los proyectos pueden requerir el uso de software específico, por ejemplo para el dibujo de planos, cálculo de costos, producción de diagramas de flujo, entre otros. Es importante que la entrega del proyecto admita la compilación de archivos de diversos formatos. Así también, el desarrollo (redacción) de un proyecto requiere trabajar sobre un mismo documento, una sola versión de éste, por lo que se hace aconsejable emplear herramientas como Google Docs para su elaboración.

Problemas y estudios de caso Para muchas asignaturas de tipo profesional, la mejor manera de comprobar la comprensión de los conocimientos y de sus aplicaciones es utilizar problemas o pequeños estudios de caso. Éstos se proponen frecuentemente como trabajos finales en algunas asignaturas, por lo que conviene dar la oportunidad a los estudiantes de desarrollar estas habilidades durante el curso, a través de seminarios o trabajos que incluyan este tipo de situaciones. La primera exposición de los estudiantes a un problema complejo puede resultar intimidatoria, por lo que hay que ofrecer una guía clara acerca de cómo enfrentarlos.

USO DE TIC:

Se les puede solicitar a los estudiantes que presenten un listado de referencias de web visitadas, entregar productos parciales del análisis del problema o caso por vía electrónica o, en su defecto, revisar los estados de avance por medio de documentos compartidos, lo que permite visualizar los aportes individuales especialmente cuando el trabajo es grupal.

32

Módulo 1 Evaluación de los Aprendizajes en Educación Superior

Presentaciones Algunos estudiantes encuentran que hablar en público es particularmente dificultoso y no se sugiere evaluar a todos los estudiantes individuales con este método haciéndolos presentar delante de grupos grandes. Si uno de los resultados de aprendizaje del curso es el desarrollo de habilidades de presentación, entonces lo ideal para empezar son pequeños seminarios grupales, que resultan menos amenazantes. Es mejor darles a los estudiantes la oportunidad de practicar sus habilidades en presentaciones breves y plantearles luego retroalimentación constructiva, antes de que se produzca la evaluación sumativa del curso. Una manera de hacer esto es implementar seminarios conducidos por los propios estudiantes (ver a continuación). Hay algunas preguntas básicas que tenemos que resolver primero: ¿Los estudiantes fueron evaluados antes en relación con sus habilidades de presentación? ¿Se les dio orientación sobre recursos que pueden ayudarles a desarrollar sus habilidades de comunicación, incluyendo videos que muestren buenos modelos, o el préstamo de filmadoras de manera que puedan ensayar? ¿Existen a su disposición tutoriales sobre cómo utilizar software de presentación?

USO DE TIC:

Los estudiantes pueden utilizar una variedad de métodos audiovisuales para acompañar su presentación que incluye software de presentación (local o en línea) para dar mayor complejidad y riqueza a su producción.

Portafolios Los portafolios son colecciones organizadas del trabajo de un estudiante, que dan muestra de sus esfuerzos, progresos y logros en relación con los resultados de aprendizaje propuestos.

Pueden trascender una asignatura particular, y ser un elemento de integración en dirección al perfil profesional. En opinión de Paulson et al (1991), se deben reunir los siguientes requisitos: •

Participación del estudiante para definir qué va a ser incluido como contenido

•

Criterios explícitos del docente respecto de la forma de seleccionar el contenido

•

Criterios explícitos para juzgar los méritos del portafolio

•

Presencia de reflexiones personales del estudiante.

No sería viable que la evaluación del estudiante requiera al docente examinar a fondo la totalidad del portafolios; sin embargo con fines de evaluación formativa el docente puede tomar algunas muestras del mismo o solicitarle al estudiante que él seleccione algunos de los contenidos que juzgue buenas muestras de su trabajo, para ofrecer su retroalimentación.

33

Módulo 1 Evaluación de los Aprendizajes en Educación Superior

MICROCASO Uso de Portafolios de Informes de Laboratorio en Ingeniería Civil En este caso, el tiempo de corrección se redujo a un 5% de lo que era antes (a través de una técnica de muestreo de las tareas para retroalimentación y calificación, calificación sólo de una parte de una tarea, evaluación entre pares, autoevaluación, uso de respuestas modélicas, y nuevos requisitos del curso).

Un departamento de ingeniería civil se quejaba de la lentitud en la corrección de los informes de laboratorio y tenía la sensación de que este trabajo estaba mal encarado. Los estudiantes no entendían por qué había que dedicarle tanto tiempo. No quedaba claro cuál es el sentido de la calificación. Los profesores revisaron los objetivos de los talleres de sus cursos de laboratorio y decidieron que básicamente les interesaban cuatro cosas: el análisis e interpretación de los datos, las habilidades de comunicación escrita, el diseño experimental y la comprensión de los conceptos clave. A los estudiantes se les informó lo siguiente: “Les vamos a pedir un portafolios al final del año que contenga por lo menos 20 informes de los 25 trabajos prácticos; si no entregan los 20, no aprueban el curso y no se les permite dar el examen”.

A los estudiantes se les informó también que del portafolio se extraerían cuatro informes al azar. Uno de ellos sería evaluado respecto de las habilidades de comunicación, otro en cuanto al procesamiento de los datos, uno en relación con el diseño experimental y uno respecto de la comprensión de conceptos ingenieriles. Los estudiantes no sabían cuál informe sería evaluado para cada una de estas cosas, de modo que tuvieron que prestar atención a las cuatro cosas en cada uno de los informes. El esquema de calificación que se diseñó tenía un foco muy claro, de modo que el trabajo de corrección resultó muy rápido. No sólo se corregían cuatro informes sobre 20, sino que además se estaba evaluando el 20% de los cuatro trabajos, de modo que el tiempo de corrección se redujo aproximadamente al 5% del que se utilizaba antes Los informes se recibían en la oficina, recibían un sello con la fecha y se conservaban en el portafolio de cada estudiante, de modo que los estudiantes no podían agregar nada al portafolio que no estuviera entregado a tiempo. Y no podían cambiarlo posteriormente. Una vez cumplida la fecha de entrega, el docente retroalimentaba los estudiantes sobre ese trabajo práctico en especial, utilizando informes modelo, o ejercicios de corrección por pares, o ejercicios de autocorrección, o por medio de comentarios generales después de haber revisado algunos de los informes entregados. En estas ocasiones se usaron diversos métodos para que los estudiantes revisaran la calidad de sus trabajos y la de los trabajos de los demás, y reflexionaran acerca de los estándares de calidad pero en ningún caso hubo tarea de corrección por parte del docente.

Además de este enorme ahorro en el tiempo docente, encontraron también que esta forma de trabajar mejoraba la calidad del trabajo de los estudiantes. Antes, cuando los estudiantes tenían que entregar más de 20 informes, que iban a ser corregidos todos, sabían que la nota de cada uno de estos informes pesaba poco, de manera que se permitían una entrega de menor calidad. Ahora, sólo se evalúan cuatro informes (y ellos no saben cuáles cuatro), y cada uno de los informes evaluados significa un porcentaje importante de la nota, de manera que actualmente todos se aseguran de que cada informe sea de calidad.

USO DE TIC:

El empleo de portafolio electrónico, denominado también e-portafolio o carpeta digital, como estrategia de trabajo y evaluación de los estudiantes es una buena alternativa a considerar.

34

Módulo 1 Evaluación de los Aprendizajes en Educación Superior

Presentación de trabajos prácticos grupales El trabajo en grupo puede ser novedoso para muchos estudiantes, por lo tanto es necesario ayudarlos a desarrollar su propia confianza en esta modalidad de trabajo y a crear una cultura de la evaluación entre pares. En la lista a continuación se destacan algunos principios.

Principios a tener en cuenta para la evaluación de los grupos Sí •

Informe a los estudiantes por adelantado del esquema de evaluación

•

Anime a los estudiantes a que planifiquen la tarea

•

Especifique los resultados de aprendizaje esperados

•

Negocie el proceso, la ponderación, los criterios, el formato

•

Asegúrese de que los estudiantes se “compran” los resultados

•

Sea explícito acerca de la manera en que quiere que se formen los grupos

•

Tenga claro si va a evaluar el resultado de la tarea o además el propio proceso de aprendizaje

•

Aclare qué tipo de comunicación entre grupos considera legítima: ¿se espera que los estudiantes cooperen con otros grupos, o compiten entre ellos?

•

¡Sea innovador! ¡Desarrolle el espíritu emprendedor de sus estudiantes!

•

Desarrolle algunas evaluaciones formativas durante la tarea grupal y dé retroalimentación

•

Manténgase en contacto con el avance del grupo

•

Delegue a los estudiantes la responsabilidad primaria de la calificación

•

Motive a los estudiantes para que registren el proceso grupal, por ejemplo pidiéndoles unas breves notas de reflexión

•

Asegúrese de tener una posición de respaldo (las cosas a las que usted se reserva el derecho).

No

•

Mantenga igual la formación de los grupos a lo largo de varios trabajos

•

Permita que los estudiantes confundan un grupo de afinidad con un buen grupo de aprendizaje

•

Espere que todos los estudiantes cubran los mismos contenidos

•

Ponga una nota común para todos los miembros del equipo

•

Evalúe todo el tiempo

•

Cambie las reglas sobre la marcha sin negociar

•

Exagere las especificaciones; dé espacio para la creatividad y el pensamiento original.

USO DE TIC:

El empleo de herramientas colaborativas en Campus Virtual (wiki, glosarios, entre otras), apoyan el concepto de trabajo grupales prácticos, en los cuales el docente puede ir revisando los estados de avance y los aportes de los miembros del equipo de b j 35

Módulo 1 Evaluación de los Aprendizajes en Educación Superior La formación de los grupos es algo que merece cierta atención. Hay varios métodos que se pueden elegir: • • • • • • •

Usar criterios específicos, por ejemplo categorías de desempeño o de capacidad (similares o mixtas) Arbitrarios, por ejemplo orden alfabético Por amistad.

Por conveniencia, por ejemplo estudiantes que viven cerca Los estudiantes eligen los grupos a partir de criterios que usted les da Usted forma los grupos a partir de unos criterios Igual que en el caso anterior, pero los estudiantes indican una persona que quieren que esté en el grupo y una que no quieren tener su grupo.

El último método es el que consume más tiempo, pero tiende a funcionar mejor porque los estudiantes participan en el proceso pero en definitiva Ud. mantiene el control. Los grupos no tienen que ser demasiado grandes; para trabajos breves, probablemente 3 es un buen número; para trabajos más complejos el número de integrantes no debiera superar los seis.

La ventaja principal de la evaluación grupal es que se reduce la cantidad de trabajos que hay que evaluar. Aún si calificar un trabajo grupal lleva más tiempo porque probablemente resulta más extenso y complejo, igual se tarda bastante menos tiempo que si hay que calificar trabajos individuales. Asimismo también es un muy buen espacio donde promover la autoevaluación y la evaluación entre pares.

Algunas objeciones acerca de la evaluación grupal son: • • •

• •

Los individuos son los que hacen el trabajo, no los grupos; por lo tanto hay que asignar nota individual de una manera equitativa Los grupos mixtos tienden a un desempeño promedio, y por lo tanto la evaluación grupal tenderá a producir poca distribución de notas (¿Y eso está mal?)

Los grupos son más eficaces y productivos que los individuos por separado, de manera que la calidad del trabajo puede ser superior. Esto puede tener como resultado que las notas promedio de todo el grupo resulten demasiado altas (¿Y eso está mal?)

Si no hay nota individual, puede haber aprovechadores que se beneficien de la nota grupal sin haber hecho nada.

Las contribuciones notables de los individuos más esforzados tales no se reconozcan apropiadamente.

USO DE TIC:

Plataformas como Campus Virtual entregan a los docentes opciones para la formación de grupos de acuerdo a criterios o de manera aleatoria.

36

Módulo 1 Evaluación de los Aprendizajes en Educación Superior

¿Cómo se asignan las notas a un grupo?

Si se decide establecer una evaluación grupal, ¿cómo calificar? La forma más fácil es otorgar una sola nota al grupo, y asignarles la misma nota a todos los miembros del grupo. Esto puede funcionar si todos los miembros se dedicaron por igual y se repartieron adecuadamente las tareas. Sin embargo, es probable que muchos grupos no operen de manera tan efectiva; por ejemplo uno de los miembros del grupo es el que dirige y es muy dinámico mientras que otro contribuye apenas con algunas páginas de información básica que encontró en un texto. Si un miembro del grupo se enferma, o tiene algunos problemas que le impiden hacer una contribución significativa, el resto del grupo simplemente puede “cubrirlo” y no informar del asunto.

La forma clásica de resolver estas cuestiones es hacer que los miembros del equipo evalúen las contribuciones individuales de cada compañero. Para eso todos los miembros del grupo deben entregar una hoja individual anónima de evaluación con la lista de todos los miembros del grupo (incluyéndose ellos mismos) y poner a cada uno una nota seguida por un comentario breve respecto de la contribución de los compañeros.

Ejemplo de instructivo para la evaluación de los miembros del grupo Haga una lista de los miembros del grupo incluyéndose usted mismo, y póngale a cada miembro una nota del uno al cinco, donde cinco = excelente, cuatro = bueno, tres = satisfactorio, dos = flojo, uno = inaceptable. Si una persona no hizo contribuciones, le corresponderá un cero. Use los criterios de calificación acordados en clase y acompañe cada calificación con un breve comentario.

Respuesta de un estudiante: Alex: 4. Le pedimos que buscara datos sobre la definición y que comentara sobre su efectividad; tardó dos días en entregarla al grupo, y de no ser por eso se hubiera merecido un cinco porque trabajo muy duro y el material fue excelente.

Beba: 0. Beba dijo que contribuiría al final del proyecto, porque tenía trabajo muy importante para otra materia que tenía que presentar urgente. Finalmente acordamos que ella procesaría la versión final y se ocuparía de encuadernarla, pero no apareció y otro tuvo que encargarse de ese trabajo.

Cris: 3. Cris recogió las evidencias que le pedimos pero dijo que había muy poca información disponible por lo novedoso del tema; desafortunadamente alguien descubrió otra fuente valiosa pero ya era tarde para incluirla. Cris ayudó al procesamiento del documento.

Daniel: 4. Daniel consolidó el trabajo de los demás y realizó comentarios muy útiles al borrador final; él pasó la mayor parte del trabajo en la computadora. Hizo también la encuadernación y controló todas las referencias.

37

Módulo 1 Evaluación de los Aprendizajes en Educación Superior Usted se dará cuenta de que en el ejemplo se les pide todos los estudiantes que se evalúen.

La razón es que así se consigue que la evaluación sea anónima y eso ayuda desarrolla el juicio objetivo por parte de los estudiantes.

USO DE TIC:

En Campus Virtual es posible que los estudiantes realicen evaluaciones y autoevaluaciones de manera expedita mediante el sistema de encuestas.

Acordar los criterios de calificación con los estudiantes es un ejercicio útil para ellos. ¿Qué es lo que van a evaluar, el esfuerzo o la calidad de los productos? ¿O ambas cosas? ¿Es de esperar que todos los miembros colaboren con la búsqueda de información y ayuden a procesarla, o sería mejor que una sola persona sea responsable del trabajo final de pasarlo a la computadora y simplemente comente o corrija el trabajo de los demás? ¿Hay que asignarle tareas a cada persona sobre la base de lo que más les gusta hacer, o darles aquello en que pueden colaborar mejor? ¿Los criterios son razonables? ¿Son confiables?

38

Módulo 1 Evaluación de los Aprendizajes en Educación Superior

MICROCASO Evaluación con Responsabilización Grupal en Contabilidad Este caso describe como mejoró el aprendizaje al organizar equipos de enseñanza entre pares en un sistema que no requiere ningún tiempo adicional de evaluación ni de retroalimentación por parte del docente tutor.

Un curso de contabilidad del primer año había quedado reducido a unas clases teóricas y un examen, y los resultados eran terribles. La tasa de fracasos era muy elevada. Casi nadie recibía una nota superior al 70%, mientras que casi un 40% de los estudiantes acaba por debajo del 40%. La mayoría de los estudiantes calificaba entre 30 y 50%, lo que se consideraba muy pero muy bajo.

El docente responsable les mostró a los estudiantes con gran valentía los resultados descorazonadores del año anterior, y les propuso participar de un experimento realmente revolucionario. “¿Les gustaría un sistema en el cual nos organizamos en equipos de cuatro, y les ponemos a cada uno la nota promedio que se saque el equipo, ya que me parece que si hacemos esto ocurrirá lo que sucedió en otros lugares donde se hizo lo mismo, es decir que los resultados mejorarán muchísimo?" Y sorprendentemente, los estudiantes votaron a favor.

Introdujeron la modificación, y funcionó. Organizaron a los estudiantes en equipo de aprendizaje de cuatro miembros y les dijeron: “Van a estudiar en equipos de cuatro, cada uno de ustedes dará el examen y las pruebas en forma individual, pero recibirán la nota promedio del equipo de cuatro”. La comisión de exámenes había estipulado tres condiciones: (i) que los estudiantes estuvieran de acuerdo, (ii) que no se permitiera que un estudiante individual pasara el curso si su nota individual era un desaprobado, es decir que nadie pudiera pasar el curso aprovechándose del promedio de los otros compañeros y (iii) que ningún individuo pudiera desaprobar el curso si su nota individual era un aprobado.

Los estudiantes se enseñaron unos a otros furiosamente para garantizar que el promedio fuera alto. La nota promedio llegó alrededor de 56, y cerca de un 25% de los estudiantes sacaron más de 70. Aún así, a los estudiantes se les permitió rendir un recuperatorio, y la nota del recuperatorio contaba para volver a calcular el promedio grupal si lo aumentaba, de modo que el grupo trabajó con los estudiantes que tenían que dar recuperatorio. Por primera vez en la historia nadie desaprobó el curso. Éste tipo de esquemas funciona mejor cuando los tutores usan su tiempo con los grupos mejorando el proceso de aprendizaje, más que desarrollando el contenido. Lo que hizo la diferencia fue el cambio de proceso generado por la nueva dinámica social. Se pueden utilizar métodos más eficientes de evaluación, pero eso no mejora el aprendizaje a menos que al mismo tiempo se establezca un proceso social, es decir la forma en la que la gente colabora y conversa fuera de la clase, y se aprovechen fuerzas tales como la presión social y la presión de los pares.

39

Módulo 1 Evaluación de los Aprendizajes en Educación Superior

Seminarios conducidos por los estudiantes A los estudiantes se les asigna un tema y se les dice en qué semana les corresponderá presentarlo (o se les permite sortear o negociar el tema o la fecha entre ellos, o escoger a partir de una lista de temas). El resto del curso tiene que hacer una lectura previa a cada seminario y pensar preguntas específicas para discutir. En el seminario, el o los estudiantes que lo dictan hacen una breve presentación subrayando los puntos principales del tema, las áreas de dificultad específica, algunos recursos que pueden haber descubierto por ejemplo artículos en los periódicos, sitios web, un blog, etcétera, y luego conducen la discusión alrededor de las preguntas en un foro temático estimulando a que todos los presentes participen; es decir, hacen lo que usted como docente haría normalmente. Mientras tanto, usted actúa principalmente como observador, aportando sólo cuando se le pide que lo haga, a menos que se presente un error importante que hay que corregir para evitar un problema de comprensión. Con estudiantes muy motivados, esta práctica puede significar eliminar casi totalmente las clases frontales, e introduce un aspecto competitivo que muchos grupos encuentran interesante.

Como aspectos negativos, los estudiantes tienden a dedicar gran esfuerzo al seminario que dictan ellos y menos esfuerzo a los otros, aunque realmente aprenden a apreciar las dificultades que tiene dictar un seminario si no está bien preparado. Los criterios de calificación que usted emplee deben ser muy claros, y lo mejor es haberlos discutido previamente con los estudiantes. Típicamente, las categorías a calificar son:

• • • • • • • •

La calidad de la presentación La comprensión del tema Los recursos e información adicional La calidad del material impreso entregado, si es que existe La calidad del material digital presentado, si corresponde La capacidad de responder preguntas La capacidad de producir conocimiento en conjunto con el grupo.

Si el seminario en su conjunto resultó entretenido y estimulante.

Los observables que usted incluya deben reflejar los resultados de aprendizaje del curso.

Estos seminarios son además una forma relativamente relajada de introducir prácticas de 40

Módulo 1 Evaluación de los Aprendizajes en Educación Superior evaluación entre pares y de autoevaluación que se discuten en otra parte de este documento. Si además los seminarios son evaluados con nota, se puede lograr que mejore la asistencia y que las contribuciones de los estudiantes tengan mejor calidad. Sin embargo se necesita una preparación meticulosa por parte del docente; aquí mencionamos algunas cuestiones a considerar:

•

¿Todos los seminarios van a ser calificados o sólo algunos? En cualquiera de los casos, hay que dar oportunidad de que todos los estudiantes demuestren sus talentos, por ejemplo haciéndoles a todos por lo menos una pregunta cada vez.

•

¿Cuáles son las penalidades en el caso de que inasistencia? ¿Que evidencia requerirá usted como razón válida de inasistencia?

•

¿En qué momento se ponen las notas? Usted necesitará conocer muy bien a los estudiantes si los va a calificar a todos durante la sesión del seminario; a veces es difícil estar atento al estudiante B si todavía estamos pensando la nota del estudiante A.

•

¿Qué criterios va a usar para calificar? ¿Son suficientemente válidos?

•

¿Hay otros docentes involucrados en el proceso? Si es así, ¿cómo se puede garantizar la consistencia entre distintos evaluadores?

Conviene dar la retroalimentación y las notas a los estudiantes al final de la sesión, pero si hay otros docentes involucrados, como puede resultar en el caso de que haya varias sesiones de seminarios paralelos, habrá que realizar comparaciones regulares de los desempeños y del tipo de notas que se asignan a los diferentes grupos.

De lo antedicho, podría parecer que evaluar seminarios es como atravesar un campo minado, pero este tipo de técnica mejora mucho la participación de los estudiantes, y la preparación de ellos para sus seminarios rinde dividendos en otras instancias de evaluación.

41

Módulo 1 Evaluación de los Aprendizajes en Educación Superior

ECOE — Examen clínico objetivo estructurado Un ejemplo de un solo evento de evaluación con varios componentes es el Examen Clínico Objetivo Estructurado (ECOE, u OSCE por su sigla en inglés), que ha sido adaptado a diversos escenarios. En 1975, Harden y colaboradores 1 comenzaron a utilizar observaciones directas apoyadas en listas de cotejo para desarrollar el ECOE, con la finalidad de superar las desventajas del examen oral tradicional. La idea que orientó este desarrollo es que para evaluar las habilidades clínicas de los estudiantes es necesario observarlos interactuando con los pacientes, porque en la medida en que el examen se parezca más a la tarea profesional la evaluación resultará más auténtica y de mayor valor. Actualmente esta metodología de evaluación se considera en muchos países como el estado del arte para evaluar la competencia clínica.

Los componentes de la competencia clínica que se pueden evaluar son: el interrogatorio, la exploración física, la interpretación de los estudios de laboratorio, el diagnóstico y el plan de tratamiento.

Numerosos estudios han demostrado que el ECOE tiene validez, es confiable y práctico. Sin embargo, su diseño requiere de un proceso de planeación laborioso, por lo cual se aconseja integrar un comité de varias personas que determinen conjuntamente: •

Qué áreas se van a evaluar

•

Qué competencias conviene evaluar según los problemas más prevalentes

•

Qué cantidad y tipo de estaciones incluir, de acuerdo a la/s habilidad/es crítica/s que se considere/n más representativa para cada patología

Este comité luego debe elaborar el material de apoyo para cada estación: resúmenes clínicos de casos reales, listas de cotejo, estudios de laboratorio o gabinete, formularios con instrucciones precisas de lo que el estudiante debe realizar en cada estación.

Posteriormente, se seleccionarán usuarios reales y simulados a los que habrá que adiestrar para que actúen de forma consistente como pacientes estandarizados.

1

Harden, RM, Gleeson FA. Assessment of Clinical Competence Using an Objective Structured Clinical Examination (OSCE) Med. Educ. 1979; 13: 41—54

42

Módulo 1 Evaluación de los Aprendizajes en Educación Superior Durante la prueba, el estudiante rota por determinado número de estaciones, en cada una de las cuales pasa un tiempo predeterminado, habitualmente del orden de cinco minutos, luego de los cuales se traslada a la siguiente estación. Existen dos tipos de estaciones: a) de procedimiento, donde el estudiante interactúa con un usuario real o simulado previamente estandarizado, para realizar una tarea específica p.ej. el interrogatorio o la exploración física. En algunos casos es necesario utilizar modelos para ciertas maniobras molestas para el usuario. En estas estaciones se requiere de un examinador que observe las acciones que lleva a cabo el estudiante y aplique una lista de cotejo previamente elaborada y validada por un grupo de expertos. b) de interpretación y solución de problemas diagnósticos y/o terapéuticos, en las que el estudiante de acuerdo un caso clínico debe utilizar los hallazgos de los estudios de laboratorio (una placa radiográfica, una impresión mandibular) y establecer un diagnóstico y manejo terapéutico corresponde. En estas estaciones no es necesaria la presencia del examinador, ya que la respuesta puede ser calificada posteriormente, también de acuerdo a una guía elaborada antes del examen.

La utilización de listas de cotejo busca superar el problema de la inconsistencia entre evaluadores, pues de esta forma se califica el desempeño de los examinados con formatos previamente validados por expertos con lo que aumenta la confiabilidad entre diferentes evaluadores.

El ECOE es una prueba flexible en la cual se pueden utilizar una variedad de métodos para obtener información que permita evaluar las habilidades clínicas. Combinado con formatos escritos, puede incrementar la confiabilidad si se incluye una cantidad suficiente de estaciones para lograr una muestra amplia de situaciones clínicas.

Algunas limitaciones señaladas al ECOE son: •

Los

conocimientos

y

destrezas

del

estudiante

se

examinan

en

forma

compartimentada, y no siempre se valora la habilidad para tratar al paciente de forma integral.

•

La naturaleza restrictiva del formato de registro en lista de cotejo, que requiere un procedimiento especial de conversión a calificación.

•

La artificialidad de alguna de las estaciones.

43

Módulo 1 Evaluación de los Aprendizajes en Educación Superior •

El tiempo utilizado y el costo en personal que participa en la elaboración y aplicación, el cual es mayor que en los exámenes tradicionales

MICROCASO ECOE como evaluación formativa2 La cátedra de Odontología Infantil Integral implementa un Examen Clínico Objetivo y Estructurado (ECOE) como evaluación formativa, ya que a través de la información que se obtiene del desempeño de los estudiantes en las competencias clínicas, permite conocer cuáles son sus dificultades y de esta manera dar retroalimentación a la propuesta de enseñanza, modificando, si fuera necesario, sus contenidos y/o estrategias.

Este examen incluye 10 estaciones, seleccionando las situaciones clínicas más significativas y menos frecuentes que pueden presentarse en la clínica, teniendo en cuenta los Resultados de Aprendizaje del Programa de la Cátedra, lo que le agrega un valor didáctico a la evaluación. Para ello, se elaboró una tabla de especificaciones de acuerdo a los Resultados de Aprendizaje a evaluar (Cuadro 1).

Los contenidos que integran las estaciones son: traumatismos, urgencias en odontopediatría, estomatología, oclusión, bioseguridad, farmacología, radiología, prevención y educación para la salud.

Se evaluaron las siguientes competencias clínicas: elaboración de Historia Clínica, realización de diagnóstico y elaboración de Plan de Tratamiento, interpretación de estudios complementarios, prescripción de un fármaco, respuesta a consulta telefónica, realización de procedimientos, información a pacientes.

Los instrumentos utilizados fueron: la observación directa de conductas (entrevista, procedimientos, etc.), donde hay un observador con un instructivo (Cuadro 2.a) y una lista de cotejo previamente elaborada (Cuadro 2.b). Hay estaciones que admiten respuestas escritas, formulación de un plan de tratamiento, informe de una Rx, confección de una receta; en estos casos hay una hoja de respuestas que el estudiante debe completar y depositar en una urna.

De acuerdo a la complejidad de la situación, se definió el tiempo de duración de cada estación que varió entre 3 y 15 minutos.

De las diez estaciones: -

Cuatro correspondieron a la resolución de situaciones clínicas simuladas.

-

Una a la realización de procedimientos.

-

Y cinco a la resolución de un instrumento escrito.

Las observaciones del desempeño de los estudiantes fueron realizadas en base a la administración de distintas listas de control o cotejo de acuerdo a la situación y desempeño observados, en las que se consideraron sub-competencias referidas a las habilidades comunicacionales, actitudes y resolución del motivo de consulta.

Continúa

…

44

Módulo 1 Evaluación de los Aprendizajes en Educación Superior En todos los casos las respuestas correctas y los puntajes fueron establecidos de antemano, permitiendo cumplir con el criterio de objetividad de la evaluación. Para las estaciones que requirieron la presencia de “madres y maestra simuladas”, se elaboró un guión y fueron preparadas para el ejercicio del rol (Cuadro 3).

La tarea de los coordinadores centró en el control del tiempo de duración de cada estación y organización de la entrada y circulación de los estudiantes por las respectivas estaciones.

Los estudiantes recibieron información de sus docentes acerca de la metodología de examen la semana previa a la experiencia.

La devolución de los resultados fue realizada tres semanas después de la implementación del ECOE, en la cual se trabajó en torno a los logros y errores comunes detectados en el grupo, así como también se orientó a cada estudiante con relación a sus desempeños individuales. Cada estudiante acude a una devolución individual en la que puede ver sus resultados y se le explica cuáles fueron sus aciertos y errores.

Cada estación va a ser calificada como aprobada o no aprobada, de acuerdo a que se cumplan los criterios de evaluación correspondientes.

•

Estaciones con situaciones clínicas simuladas: -

En la lista de cotejo cada conducta se va a evaluar como tarea realizada o no realizada.

-

Se considera tarea no realizada cuando el estudiante no la realiza o lo hace en forma incompleta o incorrecta.

-

Se considerará aprobada la estación cuando: o Se obtenga como mínimo el 60% del total de indicadores, y o Los ítems con asterisco sean realizados correctamente, ya que se consideran fundamentales.

•

Estación con resolución de procedimientos: -

•

Utiliza una lista de cotejo con 5 ítem que deben ser realizados correctamente.

Estaciones con resolución de un instrumento escrito: -

La resolución en la hoja de respuesta debe estar correctamente realizada para que se considere aprobada

Recursos: Se utilizaron recursos humanos (madres/ maestra simuladas, observadores y coordinadores), físicos (boxes o aulas de la Cátedra de Odontología Integral Niños) y materiales.

45

Módulo 1 Evaluación de los Aprendizajes en Educación Superior

CUADRO 1 Item de información

Item de comprensión

Item de aplicación

Total de item

Traumatismos 1- Situación odontológica 2- Examen clínico y Rx. 3- Elaboración de Historia Clínica 4- Diagnóstico del paciente 5- Trat. Inmediato y mediato 6- Clasificación de traumatismos

7% 1% ---1% 2% 2% 1%

15% 3% 3% 3% 3% 3% -----

22% 4% 3% 4% 5% 5% 1%

Urgencias 1- Situación odontológica 2- Diagnóstico del paciente 3- Resolución de la urgencia 4- Clasificación de urgencias

4% 1% 2% ----1%

10% 3% 3% 4% -----

14% 4% 5% 4% 1%

Estomatología 1- Situación odontológica 2- Diagnóstico 3- Tratamiento

5% 1% 2% 2%

9% 3% 3% 3%

14% 4% 5% 5%

Oclusión 1- Clasificación de mantenedor de espacio 2- Diseño de mantenedor de espacio

1% 1% ----

4% ---4%

5% 1% 4%

2% 2% -----

4% ---4%

8% 4% 4%

Farmacología 1- Selección de fármaco 2- Confección de receta 3- Cálculo de dosis

3% 2% ---1%

10% 3% 4% 3%

13% 5% 4% 4%

Radiología 1- Diagnóstico radiográfico en niños

-------

4% 4%

4% 4%

Medidas preventivas 1- Medidas preventivas: dieta 2- Elab. de med. prev. para pobl. determ.

2% 2% ----

4% ----4%

6% 2% 4%

Educación para la salud 1- Situación odontológica 2- Historia clínica 3- Medidas preventivas 4- Educación para la salud adec. a la situación

4% 1% 1% 2% -----

10% 3% 3% ----4%

14% 4% 4% 2% 4%

28%

70%

100%

Bioseguridad 1- Normas de bioseguridad 2- Aplicación de normas de bioseguridad.

Total

2% 2% -----

2%

46

Módulo 1 Evaluación de los Aprendizajes en Educación Superior

CUADRO 2 Ejemplo de instructivo para el observador.

Ud. participará de la evaluación de los estudiantes de 5° año de la Carrera de Odontología que cursan la materia Odontología Integral Niños.

•

Debe permanecer lo suficientemente cerca para poder escuchar pero no tanto como para interrumpir.

•

El estudiante sólo debe hablar con la madre simulada y por ningún motivo dirigirse a Ud.

•

Ud. no debe darle ninguna instrucción al estudiante, ya que todas las necesarias le fueron dadas previamente.

•

Ud. debe marcar “SI” en la lista de cotejo en cada una de las acciones indicadas cuando observe su presencia en el desarrollo de la actuación del estudiante.

•

Debe marcar “NO” si no realiza la acción o la realiza en forma incorrecta o incompleta.

•

Con respecto a la acción “Informa a la madre sobre el diagnóstico correcto”, se considerará correcto el diagnóstico de Afta.

•

Con respecto a la acción “Informa el tratamiento adecuado” se considerarán correctas alguna de las siguientes opciones: Buches alcalinos, Pansoral, Oralsone o tratamiento sintomático.

•

Con respecto a la acción “Menciona correctamente la etiología de la lesión”, se considerará correcta si el estudiante menciona alguna de las siguientes opciones: etiología multifactorial o etiología traumática, stress o disminución del sistema inmune.

•

En el caso de que el estudiante no mencione las opciones arriba indicadas, Ud. marcará el casillero “NO” de la lista de cotejo y deberá registrar en “Observaciones Generales” el diagnóstico, tratamiento y etiología dadas por el estudiante.

•

Si lo considera necesario además puede indicar en “observaciones generales” cualquier otra dificultad observada.

•

Esta estación dura 8 minutos y el estudiante debe resolver la consulta de una madre que concurre al Servicio de Guardia de la Cátedra Odontología Integral Niños por molestias que presenta su hijo en la mucosa bucal y dolor provocado por movimientos y al comer alimentos dulces y salados.

•

Se evaluará la habilidad para comunicarse con la madre y la idoneidad para resolver la consulta.

Agradecemos su colaboración.

47

Módulo 1 Evaluación de los Aprendizajes en Educación Superior

CUADRO 2b Lista de cotejo ACTITUDES

SI NO

1. Saluda a la madre 2. Se presenta 3. Invita a tomar asiento 4. Mira a la madre cuando ésta le habla 5. Tranquiliza a la madre 6. Escucha sin interrumpir 7. Se muestra interesado 8. Se despide RESOLUCIÓN DEL MOTIVO DE LA CONSULTA 9. Pregunta el motivo de la consulta 10. Pregunta sintomatología 11. Pregunta tiempo de evolución de la lesión 12. Informa a la madre sobre el diagnóstico correcto* 13. Informa el tratamiento adecuado 14. Menciona correctamente la etiología de la lesión HABILIDADES DE COMUNICACIÓN 15. Usa un tono de voz adecuado (claramente audible, sin ser elevado o imperativo) 16. Es ordenado en el interrogatorio 17. Es ordenado en las explicaciones 18. Responde a las inquietudes de la madre 19. Utiliza un lenguaje acorde a la situación El estudiante realizó preguntas no incluidas en la lista ¿Cuáles?

1 ________________________________________________________ 2

48

Módulo 1 Evaluación de los Aprendizajes en Educación Superior

CUADRO 3 Ejemplo de instructivo para la madre.

Ud. participará en la evaluación de estudiantes de quinto año de la Carrera de Odontología que cursan la asignatura Odontología Integral Niños.

• No le de al estudiante ninguna información que él no le pida. Sólo conteste lo que le pregunten. No muestre la foto si no le es solicitada.

• Si el estudiante le hace cualquier pregunta que no figure en este instructivo, considere que es normal.

• Ud. se llama Ana María, tiene 32 años y su hijo de 8 años se llama Leandro. Es de clase media.

• Ud. concurre al Servicio de Guardia de la Cátedra de Odontología Integral Niños porque su hijo presenta molestias en la mucosa bucal y dolor provocado por movimientos y al comer alimentos dulces y salados. Estos síntomas tienen una evolución de 2 días. No presenta sintomatología general.

• El niño no presenta antecedentes de riesgo médico.

• Ud. está muy preocupada.

Agradecemos su colaboración.

USO DE TIC:

El empleo de grillas de evaluación o rúbricas con criterios que pueden preestablecerse, son una opción a consignar por los docentes, empleando para ello sitios como Rubistar (http://rubistar.4teachers.org) y recomendaciones para la generación de Matriz de valoración (http://www.eduteka.org/MatrizValoracion.php3)

49

Módulo 1 Evaluación de los Aprendizajes en Educación Superior

MICROCASO Esquema de acreditación especializada de la Sociedad de Abogados de Nueva Gales del Sur (NSW Law Society).

En 1991 la NSW Law Society inició el proceso de desarrollar un esquema de acreditación especializada para abogados en NSW. Los objetivos establecidos del programa son para ayudar al público y a la profesión al: ofrecerles una forma de identificar abogados con competencias especiales en un área de práctica, estimular mejoras en la calidad y el costo de los servicios legales y proporcionar profesionales con incentivos y oportunidades a fin de perfeccionar las competencias en las áreas de práctica.

Cuando se desarrollaron estos objetivos loables se pensó poco en la forma en que se podrían implementar. Originalmente, se creyó que sería suficiente basar la evaluación especializada en: •

un sistema de evaluación de pares,

•

un examen de conocimientos jurídicos establecidos por el Consejo, y

•

la necesidad de emprender un número específico de cursos de educación continua.

Esto es completamente típico del pensamiento de la mayoría de las profesiones, por lo que respecta a la evaluación. Refleja la creencia general en muchas profesiones de que los profesionales experimentados saben qué se necesita para lograr un desempeño competente a todos los niveles de práctica, no es necesario formalizarlo por escrito. Pero cuando empezó el debate sobre la aplicación del enfoque por competencias en las profesiones, el Consejo especializado de la Law Society decidió desarrollar un conjunto de normas de competencia para cada una de las áreas de especialización y basar la evaluación en estas normas de desempeño.

En la especialidad de Derecho Civil, por ejemplo, se establecieron 6 "módulos" de competencia y 16 "elementos" en total. Los módulos son los siguientes: •

desarrolla vínculos con el cliente,

•

recopila y evalúa hechos y órdenes,

•

planea itinerarios y cursos de acción,

•

lleva a cabo planes,

•

actúa como abogado,

•

concluye el caso.

Por ejemplo, el segundo módulo de competencia es Recopila y evalúa hechos y pedidos. Uno de los elementos es recibir pedidos del cliente. Los criterios de desempeño incluyen lo siguiente: Cuando el especialista recibe pedidos... muestra cumplimiento, persistencia y conocimiento de la pertinencia. El abogado estructura el proceso para ayudar al cliente a desarrollar una historia y obtener de él un enunciado inicial. Esto incluiría la naturaleza del problema, lo que el cliente desea lograr, la narración del cliente de hechos significativos, la posición de los hijos y de terceros que se consideren importantes, así como una opinión de la posición de la parte contraria. El abogado llama la atención del cliente con respecto a cualquier laguna o inconsistencia y revisa los pedidos junto con el cliente... el abogado examina el asunto de los costos (y) lo negocia con ética a partir de los pedidos y llevan un registro claro de las mismas.

50

Módulo 1 Evaluación de los Aprendizajes en Educación Superior En el Módulo 1 -Desarrolla relaciones con el cliente, uno de los elementos es "escucha eficazmente al cliente". El criterio de desempeño es: ... el abogado es capaz de percibir las necesidades inmediatas del cliente con respecto a su seguridad, sus hijos y su situación financiera.

El otro elemento es: "se comunica en forma clara y apropiada". Los criterios de desempeño incluyen: ... formula preguntas eficaces e interactúa con los clientes de manera sustentada,... no adopta una actitud discriminatoria y utiliza un lenguaje sencillo para comunicarse...

Después de desarrollar las competencias, el panel de expertos en legislación familiar se dio a la tarea de planear una estrategia de evaluación. Se desarrollaron cuatro métodos de evaluación: •

una prueba escrita,

•

una simulación,

•

un archivo simulado, y

•

revisión/arbitraje por pares.

La decisión de utilizar esta combinación de métodos se basó en los tres principios fundamentales de la evaluación que se resumen a continuación: •

el uso de métodos integrados, es decir, los que evalúan la mayor parte de las competencias en una etapa de evaluación

•

el uso de métodos directos que son fieles al desempeño en el mundo real

•

el uso de una diversidad de métodos y de la recopilación de un conjunto de evidencias en las que se puede basar un juicio

A continuación se describen dos de estos métodos de evaluación, la simulación y el archivo simulado, ya l l f d l l ó d ld

51

Módulo 1 Evaluación de los Aprendizajes en Educación Superior LA SIMULACION El desarrollo de una relación con el cliente, como lo refleja el recibir instrucciones iniciales, se identificó como una de las características que distingue la práctica en el campo de la legislación familiar. Esta relación depende de la posesión de una serie de competencias asociadas con: la comunicación, recopilación de evidencia, los principios éticos, la habilidad de evaluar hechos. Estas se encuentran en los módulos 1 y 2 de las competencias. Por lo tanto, la simulación se desarrolló después de que se agruparon los elementos y criterios de desempeño a partir de un número determinado de módulos.

Se desarrollaron seis dramatizaciones. A pesar de que son representaciones de hombres, mujeres, situaciones y problemas diferentes, todas tienen la misma estructura: una necesidad inmediata, aspectos a largo plazo, información que no se revela a menos que las preguntas lo soliciten, programa oculto del cliente, presentación de problemas que demandan soluciones extrajudiciales y otros aspectos de naturaleza religiosa/cultural que requieren un manejo cuidadoso, temas éticos y cuestiones relativas a los costos.

Se desarrollaron previamente escalas de calificación para tratar de aumentar la confiabilidad entre evaluadores.

Por ejemplo, para la comunicación, se estableció como desempeño pobre cuando: "no permite que el cliente hable con libertad, casi no lo escucha, repite las preguntas, no tiene mucho contacto visual, ignora el lenguaje corporal, sólo hace preguntas cerradas, no parafrasea ni resume. Como desempeño excelente se determinó cuando: "formula preguntas eficaces para alentar que el cliente hable con libertad, lo escucha con atención, mantiene contacto visual, utiliza el lenguaje corporal, usa lenguaje sencillo, maneja las emociones de cliente, parafrasea y resume.

Para la recopilación de información como desempeño pobre se estableció cuando: "obtiene evidencia por casualidad, no tiene conciencia de la importancia, no establece una secuencia de eventos, deduce información inadecuada. Como desempeño excelente se incluyó: "el preguntar con persistencia, adopta métodos para probar la veracidad de las declaraciones de los clientes, etc."

Cada aspirante entrevistó a un "actor" entrenado (un estudiante de leyes avanzado) por más de 60 minutos, se grabaron en videocinta las dramatizaciones y un grupo de evaluadores que había tomado una sesión de capacitación las valoraron. En dicha sesión de capacitación, los evaluadores observaron y discutieron los ejemplos de los videos de simulación, y determinaron los criterios para definir lo que constituía un desempeño satisfactorio, insatisfactorio y "ampliamente" satisfactorio. Los evaluadores habían leído previamente las normas y era de esperarse que estuvieran familiarizados con ellas. El acuerdo sobre el desempeño requerido para la categoría satisfactorio se logró muy rápido mediante la sugerencia de que los profesionistas experimentados tenían claros los modelos tácitos del desempeño profesional. El consenso sobre la tercera categoría, aunque no fue instantáneo, se logró bastante rápido cuando se sugirió que calificar no es una tarea tan difícil en la evaluación referida a criterios como muchos temían.

52

Módulo 1 Evaluación de los Aprendizajes en Educación Superior EL ARCHIVO SIMULADO Este archivo es una tarea para evaluarse en casa que resume un grupo de problemas legales asociados con un caso de divorcio complejo.

Consiste en dos elementos: el primero se refiere a la realización de un borrador de documentos. Esta sección se evalúa la habilidad de los aspirantes para presentar el caso de manera competente, incluye un conocimiento de reglas/procedimientos del juzgado y la habilidad de preparar documentos en un lenguaje claro. El segundo se encarga de un asunto legal muy complejo que requiere una gran investigación, la habilidad de realizar un análisis jurídico y de desarrollar un plan con opciones. Por lo general, esto incluía áreas de la ley donde la legislación no era clara y donde un número de casos recientemente reportados aclararon la ley tal y como se estableció. Esto evalúa un número de competencias a partir de cierta cantidad de módulos. Los archivos que se presentaron a los evaluadores eran de 30 páginas, aproximadamente. Los ejemplos de los archivos simulados se calificaron y discutieron durante la sesión de capacitación y se estableció un acuerdo sobre lo que era un desempeño satisfactorio. Además, se discutieron errores comunes de evaluación (por ejemplo, el "efecto halo").

Se ha convenido en cualquier juicio inaceptable de cualquiera de los métodos de evaluación conducirá de inmediato a una segunda evaluación y, finalmente, se ofrecerá retroalimentación sobre cualquier resultado que no haya sido satisfactorio.

En las otras áreas de acreditación especializada, se han planeado otros métodos de evaluación que incluyen elementos tales como un juicio simulado para especialistas en derecho penal. Se han realizado sesiones de capacitación similares.

En resumen, el consejo especialista en leyes ha desarrollado un esquema de evaluación que es, a primera vista, mucho más válido que el examen legal tradicional. Es un ejemplo de evaluación basada en competencias el cual es integrado, directo y que recopila una buena cantidad de evidencia para basar un juicio. Se necesitaran más investigaciones para establecer la confiabilidad de las estrategias de evaluación.

El Uso de TIC Combinadas con las Estrategias de Evaluación Las evaluaciones basadas en TIC pueden tomar formatos diversos, entre otros: Entrega electrónica de trabajos escritos, presentación de estados de avance o publicaciones electrónicas.

Elección por parte de los estudiantes entre tomar una prueba presencial con papel y lápiz o tomarla a través de una herramienta digital o en línea.

Creación de un espacio web específico, un blog, un foro u otro para presentar casos o resolución de problemas.

Rotulación de diagramas, esquemas y dibujos disponibles en formato digital o en línea

53

Módulo 1 Evaluación de los Aprendizajes en Educación Superior Realización de cuestionarios en línea (de opción múltiple o de respuesta corta) Exámenes en línea con monitoreo de la hora de inicio y término.

En relación con los exámenes en línea, hay que tener en cuenta que pueden ahorrar tiempo y esfuerzo a los docentes, pero el diseño de las situaciones puede resultar más complejo que preparar una prueba de lápiz y papel. En parte esto se debe a que es posible presentarle a los estudiantes unos escenarios más variados, por ejemplo usando recursos interactivos (imágenes, sonidos, diálogos, simulaciones) que cuando se usa solo texto impreso.

Respecto de la utilización de las TIC en algunas de las estrategias de evaluación analizadas anteriormente, la tabla siguiente resume algunos ejemplos de la forma en que se intersectan los resultados de aprendizajes evaluados (en niveles cada vez más altos de la escala de Bloom) con las modalidades de evaluación en línea y las características de los estudiantes. Si los estudiantes no han tenido suficiente experiencia con el uso de correo electrónico, procesadores de texto, foros de discusión, y otras herramientas, antes e aplicar estos formatos de evaluación será necesario garantizar que todos dispongan de cierta confianza en el uso de las herramientas propuestas.

Si el propósito es:

54

Módulo 1 Evaluación de los Aprendizajes en Educación Superior Desarrollar/ev Se podría usar… aluar…

Un cuerpo de conocimientos Autonomía del estudiante

Cuestionarios o exámenes en línea Cuestionario en línea con retroalimentación formativa

Habilidades para el trabajo grupal

Grupos de estudio en línea

Comprensión de conceptos básicos Habilidades para la resolución de problemas

Módulos interactivos en Internet con respuestas automatizadas pero sin nota Juegos de roles en línea, donde los estudiantes adoptan un papel que se les asigna y resuelven un problema desde el punto de vista de ese personaje, con participación obligatoria

Capacidad de pensar críticamente y formular su análisis crítico

Escenarios en línea, e información con avisos automatizados, foros de discusión con participación obligatoria

Capacidad de reflexión

Preguntas retóricas, éticas o de otros tipos, y foros en la web que deben usar los estudiantes para compartir reflexiones, con participación obligatoria

Pero además de cuestiones de acceso y competencia en el uso de la tecnología, habría además que considerar…

• Probabilidad de copiarse • Que la dificultad de algunos estudiantes con

las TIC los desanime a usar esta modalidad • La comprensión del estudiante de cómo hacer contribuciones efectivas • La comprensión del estudiante sobre cómo se va a evaluar el producto y el proceso del grupo • Interés del estudiante, motivación y enganche con los módulos/materiales, ya que no se pone nota

• La comprensión del estudiante de cómo hacer

contribuciones efectivas • Interés del estudiante, motivación y enganche con los materiales/juegos de rol, ya que no se pone nota

• La comprensión del estudiante de cómo hacer contribuciones efectivas

• Los diversos niveles de compromiso de los

estudiantes en el aprendizaje colaborativo

• Posibles variaciones en los momentos de inicio y completamiento entre distintos estudiantes • La comprensión del estudiante de cómo hacer contribuciones efectivas • Los diversos niveles de compromiso de los estudiantes en el aprendizaje colaborativo • Posibles variaciones en los momentos de inicio y completamiento entre distintos estudiantes

55

Módulo 1 Evaluación de los Aprendizajes en Educación Superior

V. EVALUAR PARA PROMOVER LA AUTONOMÍA El poder soberano sólo puede residir en un individuo en un momento determinado. No se lo puede compartir sino solo rendirlo ante otro individuo. Desde esa perspectiva, uno es autoridad o agente de poder y el otro es receptor o súbdito del poder. El paradigma del poder epistémico propone que en el proceso de evaluación el poder puede ser compartido o negociado entre diversas partes… Por lo tanto los estudiantes y los docentes ya no estarían en un callejón sin salida respecto de a quién le pertenece la evaluación decisiva Kelvin H. K. Tan

¿Quién ejerce el control de la evaluación?

A menudo damos por sentado que la evaluación es una tarea exclusiva del profesor, y que los estudiantes no tienen participación en su diseño o en otros aspectos de la toma de decisiones asociada con su calificación. Esto es una sobrecarga muy importante para los hombros de los docentes.

Los niveles de decisión respecto de la evaluación implican varios aspectos. Los estudiantes tienen diversos niveles de opción, porque pueden elegir los cursos de la carrera si son optativos o modulares, e incluso en ciertos casos pueden elegir si son evaluados por promoción, a través de exámenes, o por trabajos prácticos presentados, etcétera. Pero una vez que se han anotado en un determinado curso, los estudiantes que asisten a ese curso particular ¿podrían optar, por ejemplo, entre entregar trabajos o presentarse a examen?

Probablemente la reacción inmediata ante esta pregunta es que usted y el equipo de docentes diseñaron una estrategia de evaluación y esta debe ser la misma para todos los estudiantes… pero si los resultados de aprendizaje se pueden demostrar de distintas maneras, ¿por qué la que usted elige tendría que ser la única? ¿Y qué piensa sobre la posibilidad de elegir las preguntas en un examen? Por ejemplo, los evaluadores pueden desear que los estudiantes respondan a elección algunas preguntas de las dos secciones distintas del examen, siempre que cubran un mínimo de preguntas de cada sección.

56

Módulo 1 Evaluación de los Aprendizajes en Educación Superior También hay diferentes posibilidades de opción en los trabajos prácticos. Algunos docentes tal vez quieren que los estudiantes propongan un tema que luego el docente debe aprobar; otros tal vez dan una lista de temas o títulos de monografías; otros incluso pueden no dar opciones. La justificación de introducir niveles de opcionalidad no es necesariamente obvia, incluso para los docentes; cuando no hay opción, las evaluaciones suelen ser más confiables, pero a menos que el tema sea muy amplio y que los criterios establezcan que se aceptan diferentes interpretaciones, el tema único lleva a que el docente tenga que leer muchos trabajos similares y por lo tanto difíciles de diferenciar.

La mayoría de nosotros desearíamos que nuestros estudiantes se conviertan en aprendices independientes a lo largo de toda la vida. Para que esto suceda, necesitan sentir la alegría de estudiar, cosa que no ocurre automáticamente en una carrera universitaria, y además tienen que aprender a confiar en su propia capacidad de juzgarse a sí mismos y a los demás. Este desarrollo puede motivarse con las prácticas de evaluación por pares y de autoevaluación.

Evaluación por Pares Existen evidencias que sugieren que la evaluación por pares es una práctica en aumento en el nivel universitario. En los primeros ejemplos de esta práctica, los estudiantes tenían que preparar resúmenes de unos temas, que luego eran corregidos por sus compañeros; además tenían que realizar proyectos que incluían actividades como juegos de rol o producción de videos de entrenamiento. Para realizar la evaluación, se les dio una guía con principios básicos de evaluación y con algunos criterios que podían utilizar. Después de cierta resistencia inicial al ejercicio, todos los estudiantes reconocieron su valor y las notas que pusieron se hallaban muy cerca de las que habría puesto el propio docente. Los estudiantes calificaron tanto los trabajos escritos como los diversos proyectos, y los tutores monitorearon y evaluaron al equipo calificador. El sistema pasó por algunas modificaciones, y al principio demandó mucha atención del docente, pero se evidenció también que los estudiantes habían desarrollado estrategias de aprendizaje en profundidad.

57

Módulo 1 Evaluación de los Aprendizajes en Educación Superior

Autoevaluación Hasta el momento hay poca investigación sobre el valor de la autoevaluación, pero el proyecto SAPHE de autoevaluación para la educación superior ha realizado una labor pionera al respecto. El proyecto ilustra de qué manera la autoevaluación desarrolla practicantes reflexivos y desarrolla habilidades esenciales para la empleabilidad.

La validez de la autoevaluación podría ser un problema si no se da suficiente orientación al estudiante sobre la manera en que debe hacerla, pero se ayuda mucho a los estudiantes si se permite que participen en la formulación de los criterios de calificación. Existe un debate acerca de cuánta libertad dar a los estudiantes para formular los criterios… ¿Tenemos que darles unas orientaciones y dejarlos que trabajen a partir de esa base, o queremos tener control completo sobre el asunto? En los primeros años de la carrera a menudo a los estudiantes no les gusta autoevaluarse; piensan que el docente es el que tiene experiencia, y que a él le corresponde la tarea de evaluarlos. En los años finales de una carrera, los estudiantes han dominado estas dificultades (especialmente si se los ha estimulado a usar la autoevaluación y participar en la evaluación por pares), pero a esta altura pueden estar muy preocupados por su promedio final y por lo tanto les cuesta ser objetivos. A continuación se brinda un modelo de hoja de criterios para la autoevaluación.

58

Módulo 1 Evaluación de los Aprendizajes en Educación Superior

Criterios para la autoevaluación de una monografía 1. La monografía ¿contiene una argumentación razonada con la que intento persuadir a un lector escéptico de que la línea de razonamiento utilizado está justificada?

2. ¿El argumento es claro? ¿Todas sus partes son claras? ¿Es fácil de comprender, tiene sentido? ¿Está presentado de forma lógica?

3. A partir de lo anterior: ¿Existe un razonamiento desarrollado, donde la claridad y el significado de cada apartado nace del punto anterior? Para ayudar el desarrollo y aclarar al lector cómo se desarrollará el argumento: a) Hace falta una considerable planificación: cuando uno planea una monografía, el proceso no se detiene con llegar a un primer bosquejo del plan; uno sigue tratando y piensa otras formas de alcanzar el objetivo. La primera forma no siempre es la mejor y frecuentemente ni siquiera es la manera más obvia. b) Se necesitan subtítulos. Estos no necesariamente tienen que ser encabezados telegráficos de una palabra, sino que deben expresar de forma concisa lo que se va a encontrar en la sección que sigue. No hay que pensar que los subtítulos "rompen" el flujo de la monografía; antes bien, hacen que ésta sea fluida e integran los elementos del argumento en la mente del lector, ayudando a que resulte mucho más clara.

4. ¿Existe una afirmación inicial que establece la posición que se adopta? Esta afirmación puede incluir comentarios sobre cómo se va a interpretar una pregunta, qué clase de información es pertinente, por qué es pertinente.

5. A partir de aquí, ¿es relevante la totalidad del material? ¿Se explica por qué es relevante? Hay que seguir recordándole al lector las razones por las que lo que se escribe es significativo y cómo se relaciona con a) el subtítulo y b) el esquema de conjunto. Hay que preguntarse también hasta qué punto es relevante el material que se presenta; sólo si tiene una relevancia de primer orden conviene ponerlo en el cuerpo principal del texto; si tiene una relevancia de segundo orden, se puede poner en una nota al pie. Si es de tercer orden es preferible evitarlo.

6. La opinión y las afirmaciones (que siempre son bienvenidas) ¿Se apoyan en evidencia, o están respaldadas de alguna manera, por ejemplo haciendo referencia a trabajos publicados en el campo, a datos o a una argumentación detallada? Ese material de respaldo a menudo hay que ponerlo en las notas o en los apéndices, pero no puede faltar.

7. ¿Existen ejemplos acerca de lo que usted está diciendo que puedan aportarse en cada ocasión posible?

8. La monografía ¿Se concentra la discusión de la argumentación, más que la descripción? En general, lo que generalmente quiere saber el lector de un ensayo es más bien el por qué; es decir: “¿Por qué difiere este caso de otro, o por qué este sistema legal utiliza un enfoque diferente al de otro país? ¿El ensayo es repetitivo? ¿Dice las mismas cosas dos veces?

FUEN TE: Adaptado de Gibbs et al. Assessing M ore Students P roject , Ox ford and P olytechnics and Colleges Funding Cou ncil 19 92.

59

Módulo 1 Evaluación de los Aprendizajes en Educación Superior Los estudiantes no sólo pueden autoevaluar sus propias producciones escritas, sino también sus presentaciones orales. El principal impacto que se busca con esto es mejorar el desempeño de los estudiantes y reducir la necesidad de una retroalimentación detallada por parte del docente. A su vez así se facilita el aprendizaje independiente, lo que modifica la naturaleza de la relación docente estudiante, colaborando en el desarrollo de las competencias genéricas como el aprender a aprender y el pensamiento crítico.

Si usted desacuerda fundamentalmente con las notas que el estudiante asigna a un compañero o a sí mismo, ¿va usted a modificar esas notas? De ser así, obviamente hay que reservarse el derecho de antemano, o avisar que la autoevaluación del estudiante tendrá peso parcial en la nota final. Pero si el docente va a ejercer su veto en la evaluación por pares o en la autoevaluación, ya sea eliminando completamente esa nota o diluyéndola o contribuyendo con más del 50% de la nota, es poco probable que los estudiantes desarrollen confianza en sus propias habilidades. Irónicamente, a veces los estudiantes quisieran que el docente se reserve este poder cuando se sienten inseguros, y prefieren que el docente sea el árbitro final. También podrían quejarse del sistema y decir que calificar es trabajo del docente, y no de ellos. Si esto pasara, sería una útil oportunidad para discutir el doble rol de la evaluación; es probable que la mayoría de los estudiantes jamás ha escuchado los términos formativo y sumativo, lo que puede permitir discusiones interesante acerca de las razones por las que se evalúa.

60

Módulo 1 Evaluación de los Aprendizajes en Educación Superior

MICROCASO Calificación entre Pares en Ingeniería Eléctrica Este caso destaca como se puede reducir significativamente la carga de evaluación de los docentes utilizando la corrección entre pares y la autocorrección de exámenes utilizando respuestas modelo, acompañadas por un muestreo realizado por el docente.

Más de 100 estudiantes de un curso de física de un tercer año evaluaron sus propios resultados y el resultado de un compañero en un examen parcial de mitad de curso. La primera clase luego del examen se les entregó a los estudiantes unas respuestas modélicas, unos comentarios y una guía de calificación.

Cada estudiante recibió un examen anónimo, y un conjunto de respuestas modelo.

Se les pidió que completaran la hoja de calificación, diciendo en qué parte el estudiante se había apartado de las respuestas modelo, y poniéndole un puntaje a cada sección (en una escala provista por el docente). La semana siguiente los estudiantes devolvieron los exámenes y las hojas de calificación, y recibieron su propio examen.

Entonces aplicaron el mismo procedimiento a su propio examen, sin saber qué nota le había puesto el compañero a su examen. Las notas generadas por el propio estudiante y por su compañero fueron comparadas: si la diferencia era menor al 10%, al estudiante se le concedía la nota que se había puesto en su autoevaluación. De lo contrario, el examen era corregido por un miembro del equipo docente.

Para evitar que los estudiantes se pusieran de acuerdo entre ellos respecto de las notas, algunos de los exámenes de una muestra tomada al azar fueron corregidos por el personal docente. Los estudiantes estuvieron conformes con el sistema, el personal dijo que ahorraba bastante tiempo, incluso teniendo en cuenta el tiempo extra consumido para preparar las respuestas modélicas y organizar la entrega y devolución de exámenes entre estudiantes.

61

Módulo 1 Evaluación de los Aprendizajes en Educación Superior

MICROCASO Evaluar la Capacidad de Evaluar a Otros en Humanidades Este caso describe cómo se puede reducir significativamente la tarea de corrección del personal docente; los estudiantes siguen escribiendo una monografía igual que antes pero además adquieren mejores ideas sobre el contenido de la materia y habilidades de escritura al tener que corregir otros cinco ensayos y juzgarlos.

En un curso de primer año de humanidades, el trabajo práctico consistía en presentar una monografía, pero a medida que el número de estudiantes iba en aumento la corrección se fue convirtiendo en una tarea que consumía cada vez más tiempo. Por lo tanto, mientras que se mantuvo el requisito de que los estudiantes escribieran una monografía, en lugar de que los docentes la corrigieran se les pidió a los estudiantes que traigan su monografía y los criterios de corrección (que se le habían entregado en el mismo momento en que se les pidió la tarea) a un examen parcial de medio término. En el examen se le asignaron a cada uno cinco monografías de distinta calidad sobre el mismo tema de ellos y se les pidió que las calificaran y las ordenaran de mejor a peor utilizando los criterios de corrección y tomando como guía la propia monografía que habían escrito. Después, se calificó a los estudiantes de acuerdo con la medida en que sus justificaciones y su ordenamiento se acercaba a lo que el personal docente consideraba el orden correcto, cosa que requería un tiempo considerablemente menor que corregir una monografía entera. Cuando se devolvieron estas calificaciones, se las acompañó con una explicación escrita sobre las decisiones de calificación de los docentes en el caso de las cinco monografías. Los docentes del curso informan que la calidad de los siguientes escritos ha mejorado considerablemente desde que se adoptó esta estrategia.

USO DE TIC:

En Campus Virtual es posible que los estudiantes realicen evaluaciones y autoevaluaciones de manera expedita mediante el sistema de encuestas combinadas con el empleo de grillas de evaluación o rúbricas con criterios que se definan entre el docente y los estudiantes.

62

Módulo 1 Evaluación de los Aprendizajes en Educación Superior

VI. USO DE LOS RESULTADOS DE EVALUACIÓN Si la retroalimentación procura mejorar la comprensión actual de los estudiantes, la pro— alimentación (feedforward) busca dar oportunidad a que los estudiantes mejoren sus futuros aprendizajes y trabajos.

E. Brow n (2006)

La Función de Calificar Calificar un trabajo, un examen o en suma cualquier desempeño de un estudiante es un proceso que comporta dos pasos: Establecer un juicio sobre el desempeño Convertir el juicio generado sobre ese desempeño en un código que reduce la cantidad de información a unas categorías previamente establecidas.

Para que ambos procesos tengan características de confiabilidad y reproducibilidad, se necesita disponer de criterios y parámetros. Estos elementos permiten comunicar a los estudiantes qué es lo que esperamos de ellos en cada trabajo, mejoran la imparcialidad al corregir trabajos de distintos estudiantes, y se pueden usar para que los propios estudiantes ejerciten la evaluación entre pares y la autoevaluación. El diseño de los criterios o parámetros requiere pensar previamente lo que para nosotros es relevante y separarlo de otros detalles a lo que le concederemos menor importancia al realizar el juicio del trabajo.

La Función de Retroalimentar La retroalimentación es parte crucial del ciclo de aprendizaje. Algunos estudiantes probablemente nos ven como personas preocupadas, amistosas y deseosas de ayudar, pero de un día para el otro podemos convertirnos en crueles villanos: cuando vamos a evaluarlos.

Dentro de la idea de evaluación formativa, siempre podemos dar retroalimentación útil sin que necesariamente esté asociada con una calificación. El propósito de la retroalimentación es darle al estudiante la información que necesita para desempeñarse mejor la próxima vez; si no fuera a haber una próxima vez, la retroalimentación le permitirá comprender las fortalezas y debilidades del trabajo que se ha evaluado.

63

Módulo 1 Evaluación de los Aprendizajes en Educación Superior Aplíquese usted mismo el breve test que sigue. Para eso, lea la hoja de retroalimentación que usted le haya dado a alguno de sus estudiantes recientemente y después responda las preguntas ¿Cuántos puntos se sacó?

Usted y la retroalimentación Asígnese un punto para cada respuesta positiva: 1.

2.

3.

4.

5.

6.

7.

8.

9.

10.

11.

12.

Comenzó con un comentario positivo o una felicitación Escribió un resumen breve de su opinión Equilibró comentarios negativos con comentarios positivos y constructivos Convirtió todas las críticas en sugerencias positivas Hizo sugerencias generales que podrían mejorar posteriores evaluaciones Hizo preguntas que estimulan reflexiones acerca de la tarea Utilizó un lenguaje informal y conversacional Explicó todos sus comentarios Sugirió un trabajo de desarrollo posterior o indicó referencias para leer Explicó la nota de la prueba y por qué no puso más o menos Ofreció ayuda con problemas específicos Ofreció oportunidades para discutir la evaluación y sus comentarios.

Si obtuvo menos de 10, ¡hay mucho para mejorar!.

Si un trabajo se califica como aprobado o desaprobado sin nota numérica, los comentarios deben ser detallados, y especialmente si el trabajo está en la frontera de la aprobación. Se ha dicho que los estudiantes dan más valor a la nota numérica que a los comentarios, pero eso probablemente diga más sobre la clase de retroalimentación que dan la mayoría de los docentes.

Para ser efectiva, la retroalimentación debe ser:

Oportuna: La retroalimentación oportuna es necesaria, porque cuanto más se demora, es menos probable que la retroalimentación sea significativa o relevante, y los estudiantes habrán pasado a otro tema.

Cuando comienza un trabajo, el estudiante debe saber cuando va a recibir la calificación, cosa que idealmente no debería ocurrir más de dos semanas después de la fecha de entrega o de tres semanas si se lo va a corregir dos veces. Normalmente, se penaliza a 64

Módulo 1 Evaluación de los Aprendizajes en Educación Superior los estudiantes cuando entregan tarde los trabajos, pero nadie penaliza a los docentes que tardan demasiado en devolver los trabajos.

Poder dar retroalimentación oportuna requiere que usted administre bien su tiempo; la corrección tiene que tener espacio apropiado en su agenda de trabajo, para lo que hay que asignarle una cantidad realista de tiempo dedicado. Ir leyendo de a uno o dos exámenes entre medio de reuniones o de clases no lo ayuda a ser consistente.

Estim ulante y constructiva: La frase de apertura es la que tiene el mayor impacto y probablemente convenga redactarla al final, porque debe comunicar con precisión su opinión global. No sirven los comentarios generales del tipo “buen trabajo”; el estudiante no sabe con ese comentario por qué el trabajo es bueno. Algunos docentes a veces no quieren escribir sobre el trabajo del estudiante, pero ello prefieren que lo hagamos porque eso les da certeza de que realmente lo leímos; además, los comentarios específicos son mucho más significativos cuando están ubicados en el lugar apropiado.

En trabajos flojos, también es más fácil escribir algo positivo acerca de alguno de los puntos de la tarea. ¡Y los buenos estudiantes también necesitan estímulos! Tal vez el trabajo que usted acaba de corregir es el mejor que un estudiante ha logrado producir hasta ahora, por lo que el/ella necesita saber qué fue lo que usted encontró bueno.

Una retroalimentación que se concentra en los puntos negativos no ayuda a mejorar. Es preferible señalar los puntos negativos sin emocionalidades, señalando qué habría que hacer distinto la próxima vez.

Racional: Los estudiantes necesitan ver una relación clara entre lo que usted esperaba y las notas que usted con el trabajo que han hecho. Si usted dispone de criterios de calificación claros, que le ha comunicado previamente a sus estudiantes, dar retroalimentación será un proceso más fácil. Incluso puede hacer la devolución utilizando la propia lista de criterios con unas casillas para marcar con un tilde, o preparar unos comentarios genéricos, en el caso de que trabaje con grupos grandes Estrategias de retroalimentación: En grupos grandes, por ejemplo de más de 300 estudiantes, dar retroalimentación puede ser una tarea que lleva mucho tiempo. Se pueden considerar estrategias que reduzcan este esfuerzo: 65

Módulo 1 Evaluación de los Aprendizajes en Educación Superior •

Dé retroalimentación a los estudiantes en grupo. Eso puede ayudarlos a darse cuenta de que no son ellos solos los que cometen errores

•

Use “bancos de comentarios” que Ud. tiene que repetir frecuentemente

•

Sea selectivo; por ejemplo, puede dar retroalimentación sobre los dos o tres trabajos mejores.

•

Proponga respuestas modélicas luego de una evaluación basada en preguntas

•

Use códigos para corregir el trabajo de los estudiantes (en vez de poner comentarios a cada uno de puño y letra) y luego explique los códigos en un bloque de clase destinado a la retroalimentación.

•

Use esquemas para dar retroalimentación en línea, por ejemplo a partir de las funcionalidades que ofrece Campus Virtual.

MICROCASO Evaluación Formativa Asistida por Computadora en Química Este caso destaca la forma en que unos test asistidos por computadora pueden ayudar a los estudiantes a recibir retroalimentación regular y desarrollar ritmo del aprendizaje a lo largo de un curso.

Un curso de introducción a la química con muchos estudiantes tenía el problema de que una importante cantidad de sus estudiantes lo cursaban sólo porque era obligatorio como requisito para otros cursos, y se trataba de estudiantes que habían tenido muy poca química previamente, o que habían tenido malas experiencias en química, y no era una materia que hubieran elegido para estudiar. Un problema importante era la cantidad de matemáticas que tenía el curso, lo que asustaba a muchos de los estudiantes. La respuesta usual era trabajar lo menos posible durante el curso hasta casi venida la fecha del examen, momento en que ya era demasiado tarde. El docente sabía que les beneficiaría trabajar con ritmo desde el principio del curso, especialmente los problemas matemáticos, y recibir retroalimentación positiva de manera que eso les ayudara a desarrollar la confianza en sí mismos.

Desafortunadamente, la única manera en que esto podría lograrse era pidiendo trabajos para evaluarlos regularmente, pero el número de estudiantes era muy grande para que fuera posible hacerlo si los docentes tenían que corregir todo.

La solución fue crear unos test de opción múltiple sencillos utilizando un software gratuito y fácil de usar llamado Castle Toolkit. El test se pone en el sitio web del curso cada semana, los estudiantes pueden hacerlo en el momento en que elijan. Estos test no tienen nota, no se registra quiénes lo hacen y quienes no, y pueden repetirlos una y otra vez hasta que obtienen todas las respuestas correctas. Por lo tanto, ¿qué incentivo tienen los estudiantes para hacerlos? Ellos saben desde el principio del curso que el examen final incluirá una sección de preguntas de opción múltiple, y que la mitad de estas preguntas se elegirán entre las preguntas que se usaron en los exámenes semanales. Esto parece haber resultado incentivo suficiente para invitar a la mayoría de los estudiantes a resolver los test semanales y se ha logrado una mejora notable en los exámenes finales del curso.

66

Módulo 1 Evaluación de los Aprendizajes en Educación Superior

Retroalimentación luego de exámenes No se acostumbra dar retroalimentación en las evaluaciones sumativas, porque frecuentemente los exámenes se consideran un punto final. Si el estudiante completó con éxito un examen, pensamos que no necesitan que les digamos cómo y por qué aprobaron, pero no es tan fácil emplear el mismo argumento si desaprobamos al estudiante. La razón principal de un fracaso en el examen suele ser que el estudiante no conoce qué evidencia tiene que suministrar para mostrar su competencia. Esto quiere decir que no comprendió bien los criterios de evaluación, o que los desconocía. Idealmente, hay que asegurarse con tiempo de esta comprensión, y si es necesario, discutirla a fondo en las semanas previas al examen. Un enfoque alternativo es hacer un pre—examen para ser corregido entre pares, de modo que los estudiantes puedan auto evaluar sus niveles de competencia.

USO DE TIC:

Se recomienda emplear las funcionalidades de “Tareas” en Campus Virtual, ya que permite al docente calificar, conceptualizar y retroalimentar, individual o grupalmente, a

67

Módulo 1 Evaluación de los Aprendizajes en Educación Superior

VII. CÓMO SE ELABORAN LOS INSTRUMENTOS DE EVALUACIÓN Diseñar tareas de evaluación que promuevan aprendizajes a largo plazo puede ser uno de los aspectos más creativos y satisfactorios de la enseñanza universitaria Assessment Futures

Elaboración y validación de instrumentos de evaluación Para considerar en el diseño de un instrumento o práctica de evaluación, además del tipo de resultados de aprendizaje que se desea evaluar, es necesario tener en cuenta criterios prácticos en tanto los procesos que haya que realizar para su aplicación guarden relación con el tiempo, los recursos y la energía que se requiere para su a) producción, b) aplicación c) corrección y d) devolución y retroalimentación. Las siguientes recomendaciones resultan útiles para aumentar los niveles de economía y eficiencia de un esquema de evaluación: •

Tener presente para qué se evalúa.

•

Evitar el exceso de ítemes, consignas, preguntas.

•

Evitar leer demasiados trabajos de los estudiantes.

•

Evitar tener que comentar en exceso el trabajo de los estudiantes.

•

No corregir varias veces el trabajo de los estudiantes.

•

Encontrar maneras de aprovechar mejor los métodos de evaluación en uso.

•

Buscar enfoques alternativos de la evaluación, preferiblemente consultando fuentes originales.

A partir de la propuesta de Lewey (1992) se pueden identificar 3 fases de puesta a prueba para cualquier producto curricular, y en particular para una estrategia de evaluación: 1. Ensayo de laboratorio : el desarrollador genera un instrumento piloto y lo prueba con individuos o pequeños grupos (voluntarios), la aplicación es supervisada, se observan las respuestas y conforme a ellas se modifica el instrumento y se propone un esquema e instructivo para la aplicación.

68

Módulo 1 Evaluación de los Aprendizajes en Educación Superior 2. Ensayo a escala : el desarrollador prueba el instrumento en forma completa con un curso, pero indicando que es una versión preliminar. Aquí se verifica la respuesta grupal, y cuestiones de escala que no se observan en el ensayo individual, y conforme a esto se modifica el instrumento o los procedimientos de aplicación, y se corrigen los instructivos de aplicación 3. Ensayo de cam po : otros docentes utilizan el instrumento en forma completa con sus cursos. La idea es ver si se lo puede usar sin apoyo técnico permanente del desarrollador.

Los usuarios luego dan retroalimentación al desarrollador para hacer ajustes finales.

Diseño de un Instrumento Piloto Un piloto es un ensayo controlado para evaluar la probabilidad de éxito de una implementación masiva, en particular: •

Mostrar la viabilidad de la propuesta.

•

Explorar su robustez en diferentes contextos.

•

Identificar fortalezas y debilidades.

•

Construir consenso para el cambio.

•

Capacitar personas que puedan luego implementarla masivamente.

Si se implementan cambios sin hacer un piloto, hay quien puede cuestionar la legitimidad del cambio, con lo que la resistencia aumenta y la implementación enfrenta dificultades.

En esta primera etapa, el instrumento o práctica evaluativa se diseñará teniendo como guía las siguientes preguntas: 1. ¿Qué resultado de aprendizaje espero poder evaluar?

2. ¿A qué nivel de las taxonomías corresponde?

3. ¿Qué situación permite a cada estudiante producir un desempeño que entregue evidencias de que se haya logrado ese resultado? (Ej: Tener que responder oralmente

a una pregunta abierta; tener que producir una carta de porte; tener que escoger opciones de respuesta frente a una pregunta; tener que resolver un problema a partir de un enunciado; tener que exponer oralmente sus conclusiones ante un auditorio; 69

Módulo 1 Evaluación de los Aprendizajes en Educación Superior tener que argumentar las conclusiones de un estudio de caso; tener que construir una maqueta o modelo que funcione; tener que presentar una carpeta de presupuesto para una obra; tener que proponer un plan de tratamiento para un paciente.

Considerar que cada tipo de situación es útil para evaluar resultados de aprendizaje que corresponden a diferentes niveles de la taxonomía.

Mejor para evaluar habilidades productivas, interactivas y de evaluación → Proyectos o Simulaciones clínicas → Exámenes de respuesta abierta — Presentaciones → Monografías sobre un contenido específico → Preguntas estructuradas — demostración de técnica → Preguntas de respuesta corta → Preguntas de opción múltiple

Mejor para evaluar habilidades de recuperación de conocimientos básicos y de información

4. ¿Los desempeños pueden producirse individualmente o la situación requiere de una tarea colectiva?

5. ¿Todos o algunos de los desempeños pueden aprovechar un componente TIC? 6. La situación diseñada, ¿permitiría evaluar además alguna competencia genérica? ¿qué observables permitirían hacer ese juicio?

7. ¿Qué manera/s de registrar evidencias de desempeño se puede/n utilizar? ¿Alguna/s de ella/s puede/n apoyarse en TIC? ¿Cuáles formas de registro cumplen con requisitos de validez, confiabilidad y publicidad?

8. ¿Qué criterios y escalas pueden utilizarse para calificar la calidad de los desempeños?

9. ¿Quién va a observar los desempeños y a aplicarles esos criterios y escalas? ¿Yo mismo? ¿Los estudiantes a otros estudiantes? ¿Los estudiantes a sí mismos?

10. ¿Qué instrucciones hay que dar a los estudiantes para que produzcan el desempeño?

11. ¿Qué condiciones, posibilidades o limitaciones hay que plantearles? (Ej: incluir fuentes

bibliográficas; respetar una fecha u horario límite; entregar el material en determinado formato).

70

Módulo 1 Evaluación de los Aprendizajes en Educación Superior 12. ¿Qué reglas prácticas debe cumplir quien comande la aplicación del instrumento? (Ej:

controlar el cumplimiento de los tiempos; ayudar a los estudiantes a interpretar consignas, no dar indicios de cuál es la respuesta esperada).

13. El instrumento ¿Permite comunicar los resultados de la evaluación inmediatamente, o se debe procesar por separado? ¿Quién estará a cargo del procesamiento posterior?

14. ¿Qué políticas de conservación de la evidencia producida hay que implementar? (Ej:

conservar los escritos al menos dos años en archivo; mantener fotografías de los productos en archivo; devolver los productos calificados para que formen parte del portafolios del estudiante).

Idealmente, una práctica evaluativa bien diseñada debería poder ser implementada en ausencia de su diseñador, más aún si se utilizan soportes basados en TIC. Para eso se necesita tener por escrito las respuestas a las preguntas anteriores, en forma de instructivos, incluso una descripción clara de los soportes que se requieren

Materiales complementarios de la evaluación Las Instrucciones Son un conjunto de detalles e informaciones que facilitan la comunicación entre el evaluador y el estudiante.

Cuanto más claras para el estudiante, más oportunidades de que su producción esté a la altura de lo esperado.

• • • •

Consignas que especifican lo que el estudiante debe hacer; qué recursos puede emplear, que restricciones debe asumir.

Estándares de satisfacción: mensajes que explicitan niveles de tolerancia, de precisión, de exactitud de resultados, tamaño de la producción.

Condiciones de tiempo y lugar donde se resuelve la evaluación: en dos horas, en una semana, en casa o en un aula o en el taller, individualmente, en grupos.

Quién es el evaluador: docentes de la cátedra, los propios compañeros, uno mismo.

Los soportes de evaluación Son los materiales complementarios que debe tener previstos el evaluador para poder aprovechar al máximo la instancia de evaluación, y garantizar la confiabilidad de los resultados y la transparencia del proceso de calificación.

• • • •

Herramientas para la observación y registro de los desempeños: listas de cotejo, filmadora, cámara fotográfica, grabador de voz, entre otros.

Criterios de evaluación / Hoja de corrección Escalas de calificación / criterios de moderación de las evaluaciones entre pares o autoevaluaciones.

Soporte informático para la publicación o aplicación de instrumentos; para el registro de los estados de avance, la retroalimentación y entrega de calificaciones.

71

Módulo 1 Evaluación de los Aprendizajes en Educación Superior

Puesta a prueba con estudiante y ajustes Hay ciertos beneficios en que los pilotajes sean proyectos colaborativos. Idealmente eso significa la participación de estudiantes, docentes, especialistas y funcionarios. Cada grupo aporta perspectivas propias a la tarea de modificación en curso, y tiene intereses concretos que atender. Este modelo está asociado a un estilo de trabajo democrático y es útil para introducir cambios sustentables en cuestiones controversiales o delicadas como es la evaluación. Requiere de un liderazgo bien preparado para garantizar que no se pierda el foco y que las decisiones se tomen en un marco de compromiso.

La nueva práctica que usted desea implementar…  ¿Difiere mucho o poco de las prácticas existentes con las que están familiarizados los docentes?  ¿Difiere mucho o poco de las prácticas a las que están acostumbrados los estudiantes?  ¿Es consistente con las normas y regulaciones de la Universidad? ¿Requiere alguna autorización administrativa previa?  ¿Qué tipo de diálogo debería prever con colegas y estudiantes... o antes de la aplicación de la nueva práctica? o luego de conocer los primeros resultados?

No se preocupe por que el nuevo modelo de evaluación parezca más desafiante; los estudiantes pueden preferirlo si sienten que permite un desempeño más auténtico en el que pueden dar más cuenta de su conocimiento.

Antes de la primera implementación, usted probablemente necesitará realizar acuerdos con los estudiantes voluntarios y las autoridades de la cátedra, previendo mecanismos de seguridad explícitos. Por ejemplo, aplicar el nuevo modelo de evaluación en paralelo con la evaluación tradicional, garantizando la calificación más beneficiosa al estudiante.

Se sugiere una estrategia en tres pasos: — Prueba del instrumento piloto con individuos o pequeños grupos (voluntarios): usted mismo deberá supervisar la aplicación, y registrar informaciones que le permitan ajustar el 72

Módulo 1 Evaluación de los Aprendizajes en Educación Superior instrumento. A partir de lo aprendido, usted podrá proponer la modalidad de aplicación a un grupo clase y generar el instructivo para la aplicación.

— Prueba a escala preliminar con un grupo clase completo. Luego de ella, podrá revisar nuevamente el instrumento o los procedimientos de aplicación, y proponer cambios pertinentes a los instructivos de aplicación.

— Prueba por parte de otros docentes, en el caso en que la práctica pueda extenderse a otros cursos dentro de la misma asignatura. Prevea solicitar la retroalimentación a los usuarios para ajustar los detalles finales.

73

Módulo 1 Evaluación de los Aprendizajes en Educación Superior

REFERENCIAS Anderson, L W, Krathwohl D R (eds.) (2001). A Taxonomy for Learning, Teaching, and Assessing: A Revision of Bloom's Taxonomy of Educational Objectives. New York: Longman Bloom, B.S. (1965). Taxonomy of Educational Objectives: The Classification of Educational Goals. New York: David McKay Company, Inc. Bone A (1999) Ensuring successful assessment Coventry: UK Centre for Legal Education Boud, D. (1995) — Assessment and learning: contradictory or complementary? En: P. Knight (Ed.) Assessment for Learning in Higher Education. London: Kogan Page, 35‐48.

Boud, D. (2009) How can practice reshape assessment? in G. Joughin (ed.) Assessment, Learning and Judgement in Higher Education. Dordrecht: Springer, 29-43.

Braslavsky, C. (1999) — Re—haciendo escuelas: hacia un nuevo paradigma en la educación latinoamericana. Aula XXI Santillana—Convenio Andrés Bello, Buenos Aires—Bogotá.

Brown, E. (2006) Effective feedback en http://www.open.ac.uk/fast/pdfs/Brown.pdf Brown, G. et al (1997) Assessing student learning in higher education. London: Routledge.

Crossouard, B. (2009) — A sociocultural reflection on formative assessment and collaborative challenges in the states of Jersey. Research Papers in Education Vol. 24, No. 1, March 2009, 77–93: Gibbs G., Simpson, C. Conditions Under Which Assessment Supports Students’ Learning Gibbs, G. (1992) Improving the quality of student learning. Technical and Educational Services. Bristol.

Gibbs, G. Jenkins, A y Wisker, G 1992 Assessing more students, Oxford and Polytechnics and Colleges Funding Council /Rewley press Harlen, W. (2005) — Teachers’ summative practices and assessment for learning – tensions and synergies — The Curriculum Journal, Vol. 16, No. 2, June 2005, pp. 207 – 223 Idrissi, M.K., Bennani, S., y Hachmoud, A. (2009): An ontology for the formalization of the competencesbased approach. En Research, Reflections and Innovations in Integrating ICT in Education - MéndezVilas, A, Solano Martín, A; Mesa González J.A. and Mesa González J (eds), VOL. 3 (pp. 1235-1512) FORMATEX, Badajoz, Spain (2009) Kelvin H. K. Tan. Does student self-assessment empower or discipline students? Assessment & Evaluation in Higher Education, Vol. 29, No. 6, December 2004 Leask, B. (1999). ‘Issues in on-line delivery: quizzes and discussion groups’ Lewey, A. in Walberg, H. and Geneva, H., The International Encyclopaedia of Educational Evaluation, 1992 Oxford, Pergamon Press, pp 203-204 74

Módulo 1 Evaluación de los Aprendizajes en Educación Superior Monereo,C. La evaluación del conocimiento estratégico a través de tareas auténticas. Revista Pensamiento Educativo, 2003; 32; 71-89.

Morales Vallejo, P. (2010) Corrección de las pruebas objetivas teniendo en cuenta el nivel de seguridad en las respuestas http://www.upcomillas.es/personal/peter/otrosdocumentos/NivelSeguridad.pdf Oandasan, I, Reeves, S. (2005) — Key elements of interprofessional education. Part 2. Factors, processes and outcomes . Journal of Interprofessional Care 19 (Suppl.1), 39‐48 Paulson, F.L. Paulson, P.R. and Meyer, CA. (1991, February). "What Makes a Portfolio a Portfolio?"

Educational Leadership, pp. 60-63.

Perrenoud, Ph. (1998) — L’évaluation des élèves. De la fabrication de l’excellence à la régulation des apprentissages, Bruxelles, De Boeck. / (1999) Dix nouvelles compétences pour enseigner. Invitation au voyage, Paris, ESF. / (2000) D’une métaphore l’autre : transférer ou mobiliser ses connaissances ?, in Dolz, J. et Wiggins, G. (1989) A true test : Toward more authentic and equitable assessment, Phi Delta Kappa, 70, pp. 703‐714.

Price, M. & Rust, C. (1999) The experience of introducing a common criteria assessment grid across an academic department. Quality in Higher Education. 5 (2).

Price, M., O’Donovan, B. & Rust, C. (2001) Strategies to develop students’ understanding of assessment criteria and processes. In C. Rust (ed.) Improving student learning - 8 Improving student learning strategically, [in press] Oxford: Oxford Centre for Staff and Learning Development.

Race P & Brown S (2001) Inspiring learning about teaching and assessment [The ILTA Guide] York: Institute of Learning and Teaching Ramsden, P. (1992) Learning to teach in higher education. London: Routledge.

Roegiers, X. (2007): Pedagogía de la integración – Competencias e integración de los conocimientos en la enseñanza – Coordinación Educativa y Cultural Centroamericana, San José de Costa Rica.

Rust C (2001) A briefing on the assessment of large groups York: LTSN Generic Centre University of South Australia, (2001). http:://www.unisanet.unisa.edu.au/flc/pdonline/IssuesinOnlineAssessment.doc Tardif, M. (2006) — L'évaluation des compétences : Documenter le parcours de développement.

Montréal: Chenelière Education. – Cited in Endrizzi, L., Rey, O.: Dossier d'actualité n° 39 – November

2008 Assessment: a central issue for learning

http://www.inrp.fr/vst/LettreVST/english/39‐november‐2008_en.php Scallon G. (2007) — L'évaluation des apprentissages dans une approche par compétences. Bruxelles: De Boeck, 2e éd. (1re éd. 2004).

Walker, K. (2005) — How can I ensure that my child is learning at the right rate, and what types of assessment are most important in early childhood and primary years? The Education Age, 29/8/2005 Watkins, D., y Hattie, J. (1985). A longitudinal study of the approaches to learning of Australian tertiary students. Human Learning, 4, 127-141.

Wiggins, Grant (1990). The case for authentic assessment. Practical Assessment, Research & Evaluation, 2(2). http://pareonline.net/getvn.asp?v=2&n=2 75

Módulo 1 Evaluación de los Aprendizajes en Educación Superior

REFERENCIAS WEB •

Sitio con un documento sobre prácticas de evaluación digital. http://www.jisc.ac.uk

•

Colección de interesantes documentos sobre evaluación del Oxford Centre for Staff and Learning Development. http://www.brookes.ac.uk/services/ocsd/2_learntch/assessment.html

•

Colección de estudios de caso sobre prácticas evaluativas del Oxford Centre for Staff and Learning Development. http://www.brookes.ac.uk/services/ocsd/2_learntch/aup14pr.html

•

Learning and Teaching Support Network (LTSN). http://www.heacademy.ac.uk/resources/detail/assessment/assessment_series

•

Sobre exámenes de opción múltiple. http://www.ukcle.ac.uk/resources/assessment-andfeedback/mcqs

•

Sitio muy interesante sobre estrategias de evaluación. http://www.iml.uts.edu.au/assessmentfutures/index.html

•

Sobre evaluación en ciencias. http://www.open.ac.uk/fast

•

Sobre Análisis FODA. http://www.educarchile.cl/Portal.Base/Web/VerContenido.aspx?ID=116842

•

Sobre elementos del currículum. http://www.slideshare.net/analisiscurricular/fuentes-yelementos-del-curriculo

•

Sobre las taxonomías de Bloom y posteriores revisiones. http://www.eduteka.org/TaxonomiaBloomDigital.php

•

Proyecto SAPHE sobre autoevaluación estudiantil. http://www.shape-project.eu

•

Disponible en el sitio de la University of South Australia. http://w3.unisa.edu.au/oes

76