El USO DE RÚBRICAS PARA LA EVALUACIÓN EN LOS CURSOS EN LÍNEA1 MEd. Ida Virginia Fallas Monge Universidad Estatal a Distancia Costa Rica
Resumen del contenido Una de las mayores dificultades que enfrentan los facilitadores de los cursos en línea, es la necesidad de contar con herramientas que les permitan evaluar el desempeño del estudiante en forma objetiva y consistente. Los foros de discusión de manera particular, presentan un reto ya que se debe considerar no solo la cantidad de intervenciones del estudiante, sino ante todo la calidad de dichas participaciones. Además se debe tomar en cuenta el tipo de aporte y su pertinencia, por ejemplo se debe analizar si el estudiante es generador de ideas o si más bien responde a las iniciativas de los otros participantes. En este contexto, las rúbricas pueden convertirse en una herramienta útil para estudiantes y educadores. Las rúbricas a semejanza de las listas de cotejo permiten valorar el aprendizaje, los conocimientos y las competencias, logrados por el estudiante en un trabajo o actividad particular; pero a diferencia de las segundas, estas plantillas establecen una gradación o unos niveles de la calidad de los diferentes criterios con los que se puede desarrollar un objetivo, una competencia, un contenido o cualquier otro tipo de tarea que se lleve a cabo en el proceso de aprendizaje. En este taller se orienta al facilitador del curso en línea sobre la manera en la cual puede utilizar las rúbricas para evaluar y retroalimentar el trabajo de los estudiantes en un curso virtual.
Introducción Hoy en día se podría decir que el número de universidades que no cuentan con cursos total o parcialmente en línea es sumamente bajo. Aún instituciones cuya tradición de años ha sido la presencialidad, están buscando alternativas que les permitan incorporar la virtualidad dentro de sus sistemas de educación. Se estima que las empresas relacionadas con la industria de la educación en línea tendrán un crecimiento anual del 70%, de acuerdo con la firma de análisis de mercado estadounidense International Data Corporation ( IDC.) A su vez se pronostica que el volumen de negocios que la educación a través de Internet registrará en el año 2005, será de 23,000 millones de dólares, lo que representa un enorme crecimiento comparado con los 1,700 millones reportados en 1999.
1
Ponencia presentada en la Conferencia Internacional de Educación a Distancia, San Juan Puerto Rico, Agosto, 2005.
Esta amplia oferta de cursos en línea, va acompañada de una necesidad de establecer reglas para estandarizar los requisitos mínimos de calidad de estos programas. Como una iniciativa en este sentido, ocho comisiones acreditadoras en los Estados Unidos, han propuesto una serie de lineamientos denominados “Las mejores prácticas para los grados académicos ofrecidos en modalidad electrónica”, con la finalidad de crear un marco de calidad para la educación en línea. Estos lineamientos procuran ayudar a las instituciones educativas en el planeamiento de actividades de educación a distancia y sirven como marco de referencia para la autoevaluación de dichos programas. En el reporte mencionado se describen cinco aspectos que se deben considerar para desarrollar un programa de educación en línea de calidad: contexto y compromiso institucional, currículo e instrucción, apoyo al docente, apoyo al estudiante y finalmente evaluación y retroalimentación. Esta ponencia se enmarca dentro de la última área indicada. La evaluación en nuestros días demanda una mayor atención, dado que las nuevas prácticas de enseñanza en línea, requieren un nuevo modelo de evaluación tanto del desempeño del estudiante como del programa mismo.
Evaluación y retroalimentación En el nuevo paradigma educativo, dónde se está dando un cambio en el énfasis de la enseñanza centrada en el maestro, hacia el aprendizaje centrado en el estudiante, es fundamental que la evaluación sea parte integral del proceso, aportando información útil para estudiantes, profesores e instituciones, propiciando la discusión sobre las dificultades detectadas en el aprendizaje con el propósito de poner en marcha acciones correctivas y siendo aplicada de forma continua a lo largo de todo el proceso. Correctamente entendido, el papel primario de la evaluación es obtener información útil, que le permita al estudiante saber en todo momento, si va por el camino adecuado para alcanzar las metas académicas que se le han propuesto. Dicha información le permitirá, ya sea por sí sólo, o con la guía del educador, conocer sus deficiencias y sus fortalezas, y le posibilitará la búsqueda de actividades o estrategias que le permitan superar las primeras y sacar ventaja de las segundas. Por lo tanto, no se debe entender la evaluación como la distribución de pruebas al final de un periodo para asignar calificaciones y determinar quienes aprueban y quiénes no aprueban. De acuerdo con Zabala (2000) el peso de los exámenes convencionales en la evaluación de los alumnos universitarios es según su propia opinión, abrumador. Además, más de dos de cada tres consideran que, para superarlos, el aprendizaje memorístico es clave, o mejor aún, la clave, y que buena parte de lo aprendido se olvida pronto. Los profesores por su parte confirman que las pruebas escritas convencionales, son la base de la evaluación de los alumnos universitarios. Aún cuando
señalan una utilización minoritaria de otros tipos de procedimientos como pruebas objetivas, sobre todo, trabajos individuales, en grupo, etc., el peso relativo que dentro del proceso evaluador tienen las pruebas convencionales es siempre mayor. La investigación ha demostrado que los diferentes tipos de aprendices requieren distintos niveles de apoyo y que el tipo de apoyo que se le brinde al estudiante puede determinar su éxito en el aprendizaje a distancia (Ally & Fahy, 2002). En este sentido la evaluación del aprendizaje más que un elemento coercitivo, debe convertirse en una herramienta de retroalimentación que le permita al estudiante tener claro los estándares de desempeño que se esperan en las distintas tareas y descubrir los aspectos específicos en los cuales debe poner un mayor esfuerzo. Por todo lo anterior, al considerar el aspecto de la evaluación en línea, lo primero que debe quedar claro es que sería absurdo repetir los mismos esquemas cuestionados en el modelo tradicional; más bien, esto ambientes de aprendizaje virtual deberían brindarnos una oportunidad para replantearnos el tema de la evaluación en general y propiciar una búsqueda de modelos alternativos para la valoración de los aprendizajes.
Foros de discusión En los cursos en línea, los foros de discusión, se convierten en herramientas que nos brindan grandes posibilidades para la construcción del conocimiento. En sus orígenes el foro o Comitium era el lugar en el que se reunía el Senado de la antigua Roma y donde se presentaba a debate un tema que era a continuación públicamente discutido por los presentes. En Internet los foros de mensajes o foros de discusión constituyen una aplicación tecnológica que le da soporte a las discusiones en línea. Su origen se remonta a los años 1980 y 1990 cuando alcanzaron gran popularidad los sistemas de noticias BBS (Bulletin Board System) y la denominada Usenet. Los foros proveen uno de los mejores medios de comunicación entre los miembros de una comunidad en Internet, ya que se convierten en el lugar de expresión, opinión y consulta de los integrantes de la misma, potenciando la comunicación y posibilitando el contacto y conocimiento entre los mismos. En el foro se colocan temas de interés que generan un intercambio entre los participantes de la comunidad, quienes aportan sus opiniones, intervienen respondiendo a los comentarios de otros participantes, sugieren material de consulta, difieren en sus puntos de vista, etc. Estos foros generalmente cuentan con un moderador que orienta la discusión, y procura mantenerla interesante. La experiencia ha mostrado que una de las claves del éxito de los foros reside en la calidad de la pregunta que se proponga o el interés que el tema propuesto despierte en la comunidad. En este sentido, los foros no deberían
abrirse simplemente para completar temas del currículo, donde se propone un nuevo contenido para su discusión. Si se desea que el foro sea una herramienta generadora de ideas y de puntos de vista divergentes, la forma en la cuál se plantee la pregunta o el tema de discusión debe ser cuidadosamente estudiada. Una de las mayores dificultades que enfrentan los facilitadores de los cursos en línea, es la necesidad de contar con herramientas que les permitan evaluar el desempeño del estudiante en forma objetiva y consistente. Los foros de discusión de manera particular, presentan un reto al facilitador ya que se debe considerar no solo la cantidad de intervenciones del estudiante, sino ante todo la calidad de dichas participaciones. Además se debe tomar en cuenta el tipo de aporte y su pertinencia, por ejemplo se debe analizar si el estudiante es generador de ideas o si más bien responde a las iniciativas de los otros participantes. En este contexto, las rúbricas pueden convertirse en una herramienta útil tanto para estudiantes como para educadores.
Rúbricas Las rúbricas están directamente relacionadas con la denominada evaluación del desempeño, auténtica o formativa. En este modelo de evaluación, como su nombre lo indica, se busca determinar el nivel o la eficacia mostrada por un estudiante en el desempeño de una tarea. Cuando se habla de rúbricas, una de las primeras preguntas que surgen es ¿son lo mismo que las listas o tablas de cotejo? La respuesta a esta interrogante es no, las listas de cotejo presentan un objetivo de aprendizaje, una competencia, una actitud, etc., que se espera que los y las estudiantes dominen al final de un proceso. Una lista de cotejo para evaluar el aporte individual de cada estudiante en un proyecto grupal podría tener la siguiente apariencia: LISTA DE COTEJO: APORTE INDIVIDUAL AL PROYECTO EN GRUPOS ASPECTOS A CONSIDERAR Aporta significativamente a la investigación. Respeta la opinión de sus compañeros Trabaja ordenadamente Cumple en el tiempo previsto Cumple con su parte del trabajo
SI
NO
El principal problema de las tablas de cotejo es la interpretación libre que deja de los criterios de evaluación, por ejemplo, los y las alumnas se pueden preguntar, qué entiende el profesor como aporte significativo a la investigación, ¿qué implica cumplir con mi parte del trabajo?, etc. Otro problema que surge, es que generalmente los y las educadoras son quienes aplican las tablas de cotejo y en ciertos tipos de trabajo es difícil tener claro el desempeño individual; en la hoja anterior por ejemplo, ¿de qué manera puede el educador comprobar que un determinado estudiante respeta la opinión de sus compañeros? Las rúbricas a semejanza de las listas de cotejo permiten valorar el aprendizaje, los conocimientos y/o las competencias, logrados por el estudiante en un trabajo o materia particular; pero a diferencia de las segundas, las rúbricas establecen una gradación o unos niveles de la calidad de los diferentes criterios con los que se puede desarrollar un objetivo, una competencia, un contenido o cualquier otro tipo de tarea que se lleve a cabo en el proceso de aprendizaje. De acuerdo con Goodrich H. (2000) la rúbrica es una herramienta de evaluación que identifica ciertos criterios para un trabajo, o sea “lo que cuenta”; por lo tanto, la rúbrica le ayuda al estudiante a determinar cómo se evaluará su trabajo. Por ejemplo, una rúbrica para un proyecto de multimedia enlistará aquellas actividades o tareas que el estudiante debe de incluir para recibir una determinada nota o evaluación, tales como claridad, organización, aspectos estéticos, etc., pero adicionalmente se indicará los diferentes niveles de calidad para cada uno de estos criterios. Al establecer los criterios, uno de los mayores retos es evitar un lenguaje poco claro; por ejemplo un término como creatividad es difícil de definir. Si se quiere que la rúbrica retroalimente a los alumnos, estos conceptos deben ser definidos en los descriptores, utilizando palabras que el estudiante entienda con claridad. Otra recomendación importante es utilizar un lenguaje positivo; en lugar del empleo de términos como desordenado o pasivo, es recomendable indicar por ejemplo, que el estudiante no organiza la información de forma clara o que requiere de la motivación por parte del facilitador para participar en la discusión. Existen diferentes rúbricas de evaluación desarrolladas por profesionales en aspectos como reportes escritos y presentaciones orales, sin embargo la recomendación es que sea el educador en unión con su grupo de estudiantes quienes diseñen las rúbricas de los diferentes proyectos. Es importante comparar diferentes proyectos, buenos y malos para identificar las características que hacen que, los buenos proyectos sean buenos y los malos proyectos sean malos. Esta práctica reafirma el argumento que se utiliza con mayor frecuencia al recomendar el uso de este modelo de evaluación, el cual afirma que las rúbricas ayudan a definir que se entiende por “calidad”.
Por lo general, las rúbricas especifican el nivel de desarrollo esperado para obtener diferentes niveles de calidad. Estos pueden estar expresados en términos de una escala como: Excelente, Bueno, Necesita mejorar, etc. o en
términos numéricos como 4, 3, 2, 1. La siguiente es una rúbrica diseñada para evaluar las ponencias presentadas en un congreso. RÚBRICA PARA EVALUAR PRESENTACIÓN CATEGORÍA El o la ponente Calidad del contenido
Seguimiento del tema y organización
4 Excelente
2 Aceptable
1 Necesita mejorar
Completo entendimiento del tema
Buen entendimiento Buen entendimiento del tema de ciertas partes del tema
Cada punto principal apoyado con hechos relevantes, estadísticas o ejemplos.
Mayoría de los puntos principales apoyados con hechos relevantes, estadísticas o ejemplos.
Cada punto principal Puntos principales apoyado con hechos sin apoyos relevantes, estadísticas o ejemplos, pero dudosa relevancia de algunos.
Precisión al contestar todas las preguntas planteadas sobre el tema
Precisión al contestar la mayoría de las preguntas planteadas sobre el tema
Precisión al contestar ciertas preguntas planteadas sobre el tema
Imprecisión al contestar las preguntas planteadas sobre el tema
Enfoque en el tema el 100% de la presentación
Enfoque en el tema entre el 99% y el 90% de la presentación
Enfoque en el tema entre el 89% y el 75% de la presentación
Tema de la presentación difícil de determinar
Todos los argumentos vinculados con una idea principal y organizados de manera lógica
Mayoría de los argumentos vinculados claramente con una idea principal y organizados de manera lógica
Todos los argumentos vinculados claramente con una idea principal, pero la organización no siempre es precisa y lógica.
Argumentos no vinculados claramente con una idea principal
Título original y conforme al tema desarrollado
Título conforme a ciertos aspectos desarrollados
Título sin relación con los contenidos
Demuestra considerable trabajo.
Fortalece la presentación.
No existe o resta valor a la presentación.
Uso general de gestos, contacto visual, tono de voz y nivel de entusiasmo adecuado para mantener la atención de la audiencia
Uso esporádico de gestos, contacto visual, tono de voz y nivel de entusiasmo adecuado para mantener la atención de la audiencia
Estilo que no mantiene la atención de la audiencia
Título creativo y pertinente Demuestra Apoyo considerable audiovisual y trabajo y estilo de creatividad. presentación Uso consistente de gestos, contacto visual, tono de voz y nivel de entusiasmo adecuado para mantener la atención de la audiencia Originalidad
3 Buen trabajo
Gran originalidad; Cierta originalidad; Reconoce el empleo ideas creativas e ideas nuevas y de ideas de otras ingeniosas perspicacia personas; escasa evidencia de ideas originales.
Escaso entendimiento del tema
No aporta nuevas ideas o enfoques.
A continuación se presenta un ejemplo sencillo de una rúbrica que he diseñado para ser usada en la Universidad Estatal a Distancia, para evaluar el trabajo en un curso en línea, incluyendo la participación en los foros de discusión. RÚBRICA PARA VALORAR LA PARTICIPACIÓN DEL ESTUDIANTADO EN EL CURSO EN LÍNEA
Criterios: Excelente el o la estudiante Dominio del tema Demuestra excelencia en el en el curso manejo de los conceptos claves. Participación en el Critica constructivamente el aprendizaje trabajo de otros. colaborativo Sustento teórico de Provee evidencias que sus opiniones apoyan sus opiniones de acuerdo con su experiencia y lecturas previas del material. Aportes Frecuentemente ofrece innovadores nuevas interpretaciones del en las discusiones material que se discute. Calidad de los Sus contribuciones son aportes relevantes, de alto contenido e invitan a la reflexión. Puntualidad de los Sus participaciones se hacen aportes a tiempo y son relevantes.
Cumplimiento de Presenta trabajos de gran tareas calidad siempre a tiempo.
Bueno
Necesita mejorar
Muestra evidencia de comprender la mayoría de los conceptos. Es capaz de disentir o coincidir en ciertos aspectos. Tiene habilidad básica para apoyar sus opiniones y demuestra conocimiento del material de estudio. Ocasionalmente ofrece un punto de vista divergente. Participa de forma regular en la discusión con aportes interesantes. Ocasionalmente necesita que un facilitador/a le invite a participar y algunas de sus participaciones se hacen en forma tardía. Algunos de sus trabajos no reflejan el mayor esfuerzo o no se entregaron a tiempo.
Tiene un conocimiento superficial del material. Rara vez expresa su propia opinión sobre los temas discutidos. No aporta evidencias que apoyen sus opiniones. No emite nuevas perspectivas a los temas discutidos. Ofrece puntos de vista cortos, superficiales o irrelevantes. Casi nunca toma la iniciativa para participar, generalmente lo hace fuera de tiempo. La mayoría de sus trabajos podrían mejorarse y ser entregados en los plazos establecidos.
Las rúbricas sirven para analizar la forma en la cuál está aprendiendo el estudiante, y por lo tanto se pueden considerar como una herramienta de evaluación formativa, sobre todo cuando se convierten en parte integral del proceso de aprendizaje. Esto se logra de manera especial cuando el estudiante es parte integral del proceso y no solamente conoce a priori los criterios que se tomarán en cuenta en su evaluación, sino que también se le brindan oportunidades para autoevaluarse y para coeevaluar a sus compañeros; incluso cuando, una vez familiarizado con el proceso, se le da la posibilidad de colaborar en la creación de la rúbrica de evaluación.
¿Por que usar rúbricas?
La autora Helen Goodrich mencionada anteriormente indica algunas razones de la importancia para utilizar las rúbricas como herramientas de evaluación: 1. Las rúbricas mejoran el desempeño del estudiante ya que propician condiciones favorables para el aprendizaje. Cuando los alumnos reciben las rúbricas de antemano, entienden cómo los evaluarán y pueden prepararse por consiguiente, ya que tienen pautas explícitas con respecto a las expectativas del profesor. 2. Cuando se utilizan las rúbricas para la autoevaluación de los estudiantes, ellos y ellas mejoran considerablemente su capacidad de localizar problemas en su propio trabajo y desarrollar estrategias para resolver esas dificultades por sí mismos. Las rúbricas incrementan en el estudiante el sentido de responsabilidad hacia su propio trabajo. 3. Cuando los y las educadoras evalúan los trabajos, proyectos, intervenciones, etc., saben con claridad qué determina la calidad de dichos productos. La mayoría de los educadores que utilizan éstas técnicas encuentran que la evaluación se convierte en un proceso mucho más objetivo y que les permite brindar retroalimentación más precisa al estudiante en torno a los aspectos en los que debe mejorar.
Herramienta en línea para la creación de rúbricas Existe un excelente sitio de Red que permite crear diferentes rúbricas, que pueden ser impresas, exportadas a una página web o descargadas en una hoja de cálculo. La herramienta se llama RubiStar y se encuentra en el sitio: http://rubistar.4teachers.org/index.php RubiStar es gratuita gracias a una concesión del Ministerio de Educación de los Estados Unidos de América y por lo tanto puede ser empleada las veces que se requiera. Además cuenta con una excelente colección de rúbricas ya diseñadas para proyectos específicos, que se encuentran disponibles tanto en el idioma inglés como en español. Con esta información concluyo esta ponencia, esperando que la misma sea útil para los educadores virtuales, quienes tomando las palabras del poeta nos encontramos también en la dura tarea de reconocer que generalmente“...no hay camino sino que se hace camino al andar”.
Bibliografía Ally, M. & Fahy, P. J. (2002). “Using students’ learning styles to provide support in distance education.” Artículo publicado en la 18th Annual Conference on Distance Teaching and Learning Proceedings, Madison, Agosto 14 - 16.
“Best practices for electronically offered degree and certificate programs” Disponible en: http://www.wcet.info/resources/accreditation/Accrediting%20%20Best%20Practices.pdf. Consultado 11/7/2005 EDUTEKA. Matriz de Valoración. Disponible en: http://www.eduteka.org/ediciones/recomendado_julio02.htm. Consultado 11/7/2005 Goodrich H. (2000) "Using Rubrics to Promote Thinking and Learning"; "Educational Leaderdship". Volume 57 Number 5 February 2000. (United States) International Data Corporation (IDC) (2004). Education Markets Research. Disponible en : http://www.idc.org/. Consultado 11/7/2005 International Data Corporation (IDC) (2004 “IDC's Latin America Top 10 Consumer Market Predictions for 2005”. Disponible en : http://www.idc.org/. Consultado 11/7/2005 Zavala Vidiella, Antoni (2000). “La práctica educativa. Unidades de análisis”, en La práctica educativa. Cómo enseñar. Graó. España,.