Evaluar las competencias en educacion superior by pablo gonzalez

Evaluar las competencias en educación superior. Dr. Michel Laurier

Michel Laurier Universidad de Otawa Canadá Evaluar las competencias en educación superior 1.25:45 Muchas gracias, lo que voy hacer ahora es la continuación o la complementariedad del taller con muchas de las mismas ideas pero quisiera profundizar un poco mas los conceptos y una presentación un poco mas teórica con una perspectiva mas critica también… Como saben yo vengo de la universidad de Ottawa estoy trabajando en la universidad de Ottawa hace 5 semanas, es una universidad bastante nueva para mi, yo venia de la universidad de Montreal antes, allá he trabajado con muchos programas por competencias a nivel de educación básica, programa de competencias en la escuela primaria , secundaria también he trabajado en la implementación programas por competencias para la formación docentes, tenemos un referencial de competencias, también he trabajado en programa por competencias mas sobre la parte evaluativa para la enseñanza de idiomas particularmente para los inmigrantes que llegaron en Quebec que deben aprender un idioma que son contenido por excelencia para las competencias y voy a hablar un poco de lo que hicimos en ese marco…entonces durante la presentación quisiera profundizar algunas características de las competencias que influyen en la prácticas evaluativas.. Diapositiva 1 Profundizar algunas caracteristicas de las competencias que influyen las prácticas evaluativa

Presentar una perspectiva critica sobre el tipo de evaluación que resulta de los programas por competencia

Evaluar las competencias en educación superior. Dr. Michel Laurier

Vamos a ver algunos conceptos que hemos presentado en los talleres pero también un poco mas de las consecuencias de esas características de esas competencias…luego presentar una perspectiva critica sobre el tipo de evaluación que resulta de los programas por competencia.

Para recordarles ese proceso, siempre la evaluación es un proceso para la toma de decisiones, aunque muchas veces la decisión misma no pertenece a la evaluación, entonces el proceso de evaluación está orientado hacia la decisión y hay varias etapas…una etapa de planificación y por eso la función de evaluación es muy importante, son cosas muy diferentes de evaluar para hacer evaluación formativa o evaluar para hacer evaluación sumativa para la certificación de los aprendizajes entonces son maneras de conceptualizar la situación, los instrumentos totalmente diferente… hay que recopilar datos eso es muy importante, en la tradición psicométrica en evaluación muchas veces tratábamos de obtener datos de tipo cuantitativos entonces se fundo toda una teoría de evaluación basada sobre resultados cuantitativos y particularmente desde la perspectiva de tener mucha confiabilidad… voy a hablar un poco mas de eso después… ahora se usan mucho mas observaciones, entonces una perspectiva mucho mas cualitativa que a veces podemos convertir en resultados cuantitativos pero la perspectiva es diferente porque hay una persona humana que va a observar un desempeño lo que cambia bastante la manera de hacer la evaluación, eso no quiere decir que antes no había personas humanas, siempre hay, para interpretar, hay que interpretar los resultados, se pude interpretar de varias maneras, en el campo de la evaluación hay dos maneras de interpretar los resultados, una que se llama interpretación normativa, que quiere decir que se comparan los estudiantes con el grupo, el caso mas típico de evaluación e interpretación normativa son las pruebas de inteligencias… por ejemplo un C.I de 100 no quiere decir 100 unidades de inteligencia sino solamente una ubicación sobre un eje desde la persona menos inteligente hasta la persona mas inteligente, es solamente una posición donde se comparan las personas, en la tradición psicométrica había esa interpretación normativa que era muy frecuente desde hace mas de cuarenta años hay otra perspectiva que es una interpretación que llamamos criterial, entonces la comparación no se hace entre los alumnos o los estudiantes

Evaluar las competencias en educación superior. Dr. Michel Laurier

pero a partir de lo que se espera, cual es la distancia entre lo que puedo observar y lo que deseaba al principio, entonces lo que se había descrito en el programa, en la competencia, podríamos también agregar un tercer tipo de interpretación que podríamos llamar interpretación dinámica donde se comparen varios estados de los aprendizajes, por ejemplo al principio del año y al final del año entonces se comparan dos momentos pero siempre que sea una comparación entre los estudiantes, entre lo que se observa y lo que se deseaba o entre varios momentos, siempre hay una comparación para interpretar, también al corazón de ese proceso hay un juicio, otra vez una persona humana, hay un juicio profesional que uno hace a partir de observaciones a partir de su experticia y entonces eso es central al proceso de evaluación, siempre es una persona que hace el juicio, claro que no es objetivo, no puede ser, es una persona, lo que puede ser objetivo es la recopilación de datos, pero el juico debe ser subjetivo, no arbitrario… pero subjetivos si, y finalmente hay que comunicar, se puede comunicar de varias maneras, la comunicación puede ser informal como la retroalimentación que hacemos en el contexto de la regulación o evaluación formativa, o puede ser mas formal hasta el diploma… pero siempre hay que comunicar el resultado de la evaluación por lo menos al estudiante mismo y a veces otras personas también…

Hay diferentes tipos de evaluación de decisiones que se pueden tomar, decisiones de tipo regulación, lo que llamamos antes evaluación formativa , ahora se habla mas de regulación porque se usa el termino formativa de varias maneras, por ejemplo en evaluación de programas se usa evaluación formativa con un sentido un poco diferente y no sé aquí pero en el sistema escolar de Quebec se utilizó mucho el concepto de evaluación formativa hasta que signifique algo que no tiene nada que ver con la regulación, una evaluación formativa para muchos docentes y los alumnos era algo que no cuenta y aquí no se habla de eso.. aquí es una forma de evaluación que va ayudar al estudiante para que aprenda , entonces son decisiones pedagógicas no son decisiones administrativas no son decisiones de certificación, el propósito es ayudar al estudiante y eso se pude hacer en varios momentos y muchas veces sobre conocimientos porque los conocimientos son condiciones para que se desarrollen las competencias… hay otro tipo de decisiones también decisiones de reconocimientos de las competencias por ejemplo al final del año o al final de curso hay que hacer un balance, eso se basa normalmente sobre competencias, a veces sobre conocimientos o habilidades pero mas sobre competencias, decisiones de certificación que es muy

Evaluar las competencias en educación superior. Dr. Michel Laurier

importante porque puede cambiar el futuro de las personas y siempre de deben hacer sobre las competencias, porque hay que certificar si una persona puede actuar en una situación en particular, también otro tipo, la selección, que es muchas veces un reconocimiento de las competencias por ejemplo si quiere seleccionar una personas para un empleo o para posgrado o pruebas de clasificación, yo trabajé mucho en el campo de idiomas y muchas veces tuve que clasificar a los estudiantes porque empiezan a niveles diferentes entonces hay que crear varios grupos basándose sobre el desarrollo de la competencia y hay una última función de la evaluación que es el pilotaje del sistema... no vamos a hablar mucho de eso es algo diferente…pablo conoce bastante sobre eso, es la evaluación de programas…entonces en ese caso no importan tanto el estudiante mismo sino el programa, hay que evaluar los aprendizajes pero para juzgar la calidad del programa y no de la calidad del aprendizaje de una sola persona ….

Bueno, ¿Cuándo hay que reconocer las competencias?...Se puede hacer al final de un curso, cuando hay varios cursos en un programa hay que evaluar y normalmente se espera que en un programa por competencias que cada curso contribuye al desarrollo de unas competencias, normalmente hay una principal y otras que se pueden agregar el problemas es muchas veces es como combinar esas evaluaciones, se pueden reconocer las competencias a través de las pasantías, eso es muy importante, las pasantías son oportunidades de evaluar las competencias y hay que aprovecharla porque son situación de vida profesional donde el estudiante tiene la oportunidad de mostrar su competencia de tal modo que es el mejor fondo para evaluar pero muchas veces el mas complicado porque hay varios actores que no son todas personas que vienen del programa mismo, se pueden evaluar las competencias durante actividades de síntesis, puede ser trabajo de calificación o examen de certificación y finalmente hemos hablado de eso durante el taller, el portafolio muchos programas por competencias utilizan el portafolio, ahora se utilizan muchas versiones de portafolios, el portafolio clásico para evaluar es una colección de documentos o producciones que el estudiante mismo va a escoger para demostrar su competencia, entonces hay un proceso de evaluación donde se hace por el estudiante mismo antes que le presente a otra persona para una evaluación mas formal…el portafolio es importante aunque hay muchas veces problemas de confiabilidad, vamos a volver sobre ese tema porque se

Evaluar las competencias en educación superior. Dr. Michel Laurier

puede observar desde que se usan los portafolios que muchas veces los observadores o los evaluadores no evalúan de la misma manera los portafolios, entonces ese es un problema de confiabilidad importante..

Tenemos la competencia al centro…la competencia no se pude observar, no se puede tocar la competencia, la competencia no se puede contarla, hay que inferirla a través de un desempeño que van hacer los estudiantes, ese desempeño viene de la tarea por eso hay que conceptualizar tareas que son ricas que permitan la inferencia de la competencia que no se pude observar, en la tarea hay algunas condiciones que van a contextualizar la tarea que pueden contribuir a facilitar el trabajo de los estudiantes o contribuir a hacerlo mas complicado. Como se trata de una situación de evaluación hay criterios que son importantes, el criterio son la inferencia del observador como son observadores tienen sus limitaciones son seres humanos que no pueden observar todo por lo tanto es importante que focalicen sobre los aspectos mas importante, es importante también cuando son situaciones de certificación que los evaluadores interpreten de la misma manera los criterios y la investigación muestra que cuando se forman a los evaluadores va a aumentar mucho la confiabilidad.

Evaluar las competencias en educación superior. Dr. Michel Laurier

Ya conocen la definición de competencia que se define como un saber actuar en situación de vida cotidiana o profesional y donde hay un problema en particular…

Esta definición dice de otra manera de lo que dicen otras definiciones pero es la misma idea...

“La competencia es un conjunto de conocimientos, habilidades, actitudes que todos en conjunto forman la competencias que interactúan y no es verdad que cuando se evalúa la competencias no se evalúan los conocimientos, deben evaluarse los conocimientos porque forman parte de las competencias…”

Evaluar las competencias en educación superior. Dr. Michel Laurier

Hemos visto durante el taller estas características de una competencia, entonces las dos primeras son la definición de la competencia que es un “saber actuar que se aplican en varias situaciones de vida” y “un conjunto de conocimientos habilidades y actitudes”, también las competencias interactúan muchas veces no se pude evaluar en una tarea compleja una sola competencias y también hay las competencias transversales o genéricas que por definición debieran interactuar con otras y lo que importante también es que ese saber actuar se desarrolla en el tiempo, eso es importante, una de las fuentes de las competencias son las enseñanza y aprendizaje a lo largo de la vida, porque la competencia se desarrolla por toda la vida y también se manifiesta por un desempeño, que como lo decía antes no se pueden observar hay que tener un desempeño que observar un desempeño a través de una tarea, esa son las características que vimos en el taller, y agregamos una a un nivel mas teóricos pero que son importantes dese la perspectiva de evaluación.. Primero, a veces decimos que las competencias son nuevas, bueno, no son tan nuevas…bueno si hacemos un búsqueda por Google van a encontrar miles de sitios que hablan de competencias y eso desde hace muchos años, desde el principio de los años 60...en los años 60 ya se hablaba de competencia, he encontrado un articulo del año 1959 que hablaba acerca del término de competencia, no es un concepto nuevo pero es un concepto que cambia de forma porque la pedagogía que se asocia con el concepto puede cambiar.. Pero las fuentes más importantes son:

Las fuentes mas importantes son el campo de la capacitación profesional y técnica, el concepto de competencia fue definido en ese campo es una lógica de formación ocupacional de tal modo que mucha veces cuando se trata de implementar ese concepto en una universidad, bueno la gente dice es una perspectiva muy utilitarista…que no cabe bien con el contexto de la universidad eso es verdad y es una visión de las empresas del mercado laboral pero no es la única fuente de desarrollo del concepto de competencias, se puede ver a través de la literatura que se habla de competencia en los años 70 en el movimiento de eduaction Technology cuando de hablaba del uso de la tecnología para el aprendizaje y la perspectiva era muy diferente era una perspectiva neoconductivista a través de Bloom y otros que eran… que tenían una perspectiva de enseñanza programada, entonces se podía definir la competencia y había una definición muy precisa de cada

Evaluar las competencias en educación superior. Dr. Michel Laurier

componente de la competencia, eso fue muy popular durante los año 70 pero en una perspectiva totalmente diferente no se hablaba de constructivismo, Metacognición, de esos conceptos era una perspectiva diferente…la otra fuente importante es del campo de la lingüística, hubo un lingüista famoso Chomsky , que ahora hace mas política que lingüística…es un lingüista famoso que hacia la diferencia entre competencia y su actuación, la competencia es un sistema de reglas que permiten una infinidad de mensajes con un sistema limitado de reglas y ese sistema de reglas es la competencia, no se pude observar directamente por ejemplo cuando yo hablo no se puede observar el sistema de reglas hay que inferirlo a través de la producción del mensaje… eso viene desde una perspectiva que no es neoconductivista porque Chomsky fue uno de los primeros cognitivistas…americano, él trabaja todavía en el Massachuts Institut Technology en lingüística famoso por su acción política de él viene el concepto de competencias… “De todo se pude decir que el movimiento de competencia no es un enfoque pedagógico, no involucra que haya una manera de enseñar y de aprender, no es una teoría de aprendizaje, es solamente una manera de organizar el curriculum, no involucra ningún enfoque pedagógico… es un modelo de organización curricular pero no es un modelo pedagógico…”, por eso en los últimos años se ha asociado mucho la idea de competencia con una perspectiva constructivista, es que solamente se justaron los dos movimientos pero el concepto de competencia no involucra que sea una pedagogía de ese tipo...se basara sobre objetivos en una perspectiva mas de Skinner con estímulos y respuesta… con variaciones, esa es la forma mas pura y mas dura pero hubo teorías de aprendizaje basad en la repetición en el fortalecimiento de la respuesta.. Los tipos de competencias..

Tipos de competencias…..Hace más o menos 10 años se hablaba principalmente de dos tipos: la competencias de las disciplinas y las competencias genérica o transversales… García San pedro plantea que no son suficientes, hay competencias básicas o instrumentales, muchas veces que se aprenden en la escuela, como la comunicación oral, la capacidad de escribir un texto, hay también competencias genéricas o transversales que se encuentran en todas las disciplinas por ejemplo trabajar en equipo es muy importante en muchas disciplinas, como la redacción y comunicación.

Evaluar las competencias en educación superior. Dr. Michel Laurier

Eso son competencias genéricas o transversales, pero se puede agregar otro tipo de competencias especificas o especializadas que son por ejemplo elaboración de mapas cartográficos, no es que todos tengan que hacer eso, es muy especializado…es una competencia para los que tienen que hacer eso cada día, la interpretación de una ley es una competencia, pero es una competencia especializada y también hay otra categoría que son las metacompetencias que son competencias que van ayudar a solucionar problemas generales o ayudar a aprender por ejemplo la capacidad de analizar problemas, la capacidad de desarrollar estrategia de aprendizajes, de autoevaluarse, son competencias que van a servir a lo largo de la vida para aprender, para solucionar problemas de la vida…entonces hay varios tipos y hay tipos que se encuentran mas en programas de tipo capacitación ocupacional como la tercera categoría y otros que se encuentran mas en escuelas de educación básica como en la 1° categoría.. “Una característica del concepto de competencias que hay un impacto sobre la evaluación es que se puede decir que la competencia permite separarse de la prescripción para asegurar la ejecución…”

Que significa esto….es que así se puede lograr una autonomía profesional en situación compleja cuando se refiere al experto, la persona que tiene la competencia al nivel mas alto entonces esa persona va a tomar distancia hacia la norma, no hay un solo camino para hacer una cosa se pude hacer de manera diferente y varios expertos es posible que solucionen una tarea de manera diferente, entonces lo que importa no es el camino que toman sino el resultado que tienen… por eso se puede separar de la prescripción porque no se pude decir hay que hacer eso, eso, lo que interesa es que el resultado sea bueno...por eso los expertos pueden tener soluciones que sean nuevas… está incluido en el concepto de competencia esa idea que se pude innovar para solucionar problemas y adaptar la tarea a varias situaciones, entonces los expertos van a solucionar problemas de varias maneras y eso depende de las características de las situaciones y de los actores, otra cosa también es que esos expertos vana automatizar sus gestos profesionales de tal modo que muchas veces es muy difícil pedir a los expertos que expliquen lo que hacen porque han integrado el que hacer y no lo pueden formalizar porque está totalmente

Evaluar las competencias en educación superior. Dr. Michel Laurier

integrado…otras características que es importante de la perspectiva evaluativa es que la competencia es un construido social compartido…

Lo que quiere decir es son situaciones problemas que se ubican en un tiempo en un sitio y son productos históricos que son productos de la interacción entre de las personas, también la competencia como un constructo compartido favorezca el desarrollo de una identidad profesional por ejemplo, cuando puedo decir que domino las competencias de los docentes, por ejemplo, me voy a desarrollar una identidad de docente, entonces el acuerdo que hay entre una comunidad de practica sobre lo que es necesario para hacer lo que hay que hacer en la profesión contribuye al desarrollo de esa identidad profesional, lo que es interesante es que por ejemplo los colegios profesionales, las asociaciones profesionales, a ellos les interesa mucho las competencias porque es el hilo conductor de su identidad profesional… otra cosa que es importante y estoy seguro lo viven aquí, la competencia o las competencias forman un conjunto bastante complejo y hay complementariedad en la acción de cada profesor en el programa de modo que favorezca una perspectiva de programa y eso no es lo natural en una universidad donde cada uno es responsable de su propio curso, cuando se adopta un perspectiva de competencias se necesita mas concertación mas trabajo en equipo hay que asegurarse que no haya repetición y que haya complementariedad y que los varios aspectos de la competencia se tomen en cuenta, entonces favorecen una perspectiva mas de programas mas que curso aislados…y lo que puede ser interesante también es como es un constructo social compartido es posible que se creen también unidades de aprendizaje, y veo también que aquí ustedes tratan de ver cuales son las competencias para enseñar por competencias y están creando una comunidad de aprendizaje…

Evaluar las competencias en educación superior. Dr. Michel Laurier

Otra característica es que la definición de la competencia es un proceso social y también deductivo…es a partir de la definición de una función social por ejemplo que se necesita para hacer docente, que se necesita para hacer abogado, científico en químico, y eso se deriva de los atributos que son necesarios para la ejecución de la profesión y entonces se define como una construcción… en términos de evaluación de habla de un construido/constructo que es un conjunto bastante unidimensional de cosas que tenemos que evaluar…es un proceso… la definición de competencias es al contrario de la evaluación por ejemplo cuando trato de definir una competencia, es un proceso de deducción… me digo bueno…tenemos un grupo de profesionales que tienen que hacer ese tipo de profesión que es necesario, y voy a definir del principio mas generales hacia el mas particular lo que es la competencia, cuando estoy evaluando es al contario … estoy observando un desempeño entonces algo muy particular para ver si se puede inferir lo que es mas general entonces me voy a decir si la persona puede hacer eso entonces es posible inferir que domina una parte de la competencia y si domina un parte de la competencia entonces es posible que domine la competencia entera… entonces es un proceso inductivo, el contrario de la elaboración de la competencia, hay mucha literatura sobre la evaluación como proceso de inferencias, desde hace 20 años , un autor que se importante Kent dice que cuando hay un resultado que se observa un desempeño se debe generalizar hacia un universo de situaciones parecidas y después hasta un campo y después hasta el constructo que es la competencias entonces es un construido de varios niveles, también hace 20 años está el concepto de “evaluación autentica” que se llama también evaluación basada sobre el desempeño, que es muy importante desde hace 20 años es una perspectiva interesante desde el punto de vista de las competencias… aunque hay algunos problemas que quisiera explicar… Se aclara el concepto de construido y constructo…En ingles se llama Construct….quiere decir que es una representación teórica de lo que tenemos que evaluar. Es fundamental para la validez es el objeto que tratamos de evaluar es importante que estemos de acuerdo en lo que vamos a incluir en el constructo….porque es el objeto que tratamos de evaluar. Por ejemplo hubo mucha literatura sobre el constructo de lectura en la escuela y hay varias pruebas de lectura y hay una definición de lectura que incluye algunas habilidades y todo eso forma el constructo y en el campo de la validez hay un autor quien se llama Mesig que dice

Evaluar las competencias en educación superior. Dr. Michel Laurier

que la validez mas importante es la validez de constructo, hay que asegurarse que estamos evaluando esa representación del objeto con todas esos vínculos que hay entre las habilidades entre los conocimientos... Entonces no es la palabra que debe utilizar al desayuno con los colegas...

Hablaban de la evaluación autentica…tal vez conocen esos conceptos…la situación de evaluación siempre es autentica y por eso de habla de evaluación basada sobre desempeño…

La idea viene de las dos primeras características que tratamos de encontrar situaciones de la vida cotidiana o vida profesional que sean motivadoras para el alumno, eso es la idea, en lugar de tener problemas que son solo ejercicio académicos… Que se pueden encontrar en la vida real, es un elemento de validez porque al final queremos que los estudiantes pueden funcionar en un ámbito de vida cotidiana o profesional y esto va a asegurar que los estudiantes o candidatos, va a ser lo mejor que sea posible, que es un principio fundamental para evaluar, si no puedo suponer que la persona hace lo mejor que puede hacer entonces no puedo evaluar…entonces si a los estudiantes no les motiva la tarea no hay ninguna inferencia que puedo hacer, siempre esta este principio que el alumno hace lo mejor que puede hacer ….pero hay otros problemas con el concepto de evaluación autentica porque Wiggins no viene del campo de la evaluación de aprendizaje dice, es interesante que las situaciones de evaluación sean también oportunidades para aprender, si son oportunidades para aprender el objeto va a cambiar durante la evaluación entonces puede ser un problema, él dice también que es importante que haya interacción con los pares, bueno pero la competencia también es algo individual y si estoy evaluando la competencia de un grupo voy a tener información sobre el grupo pero no información individual, él dice que es importante que el alumno tenga control sobre el proceso en situaciones de regulación si, no hay problema es importante…. en situación de certificación eso va a dar problemas de equidad porque van a cambiar las situaciones, las comparaciones van a ser difíciles…son algunos problemas que se encontraron… Una cosa que es muy importante y me parece bueno es una consecuencia de ese tipo de visión de evaluación es que desde los últimos 20 Años hay una focalización sobre la validez…

Evaluar las competencias en educación superior. Dr. Michel Laurier

Asegurarse que estamos evaluando el constructo…..y lo que es totalmente lo contrario a la teoría psicométrica que se funda sobre mucho mas el principio de confiabilidad, las fundaciones de la teoría psicométrico son mas el requisito de confiabilidad, reducir el error de medición mucho mas que la validez, durante mucho años la preocupación de la validez era solamente asegurarse las correlaciones entre pruebas que deben medir el mismo constructo pero nada mas, la teoría misma se fundaba sobre el principio de confiabilidad... “Bueno la idea de confiabilidad es en relación con la precisión es decir tratar de reducir el error”, entonces hay varios métodos para reducir el error de medición, el ejemplo clásico, es que cuando tienen una prueba de pregunta de elección múltiple, si tienen una prueba con 20 preguntas van a tener poca confiabilidad, si tiene una prueba con 40 preguntas van atener una confiablidad mucho mas grande y es el número de observaciones que va a aumentar la confiabilidad, pero eso supone que todas las preguntas miden el mismo constructo pero muchas veces no se preocupaban de eso y hace 20 años se preocupan mucho mas de la validez aunque no son conceptos totalmente distintos y ese es el problema muchas veces de la evaluación autentica se trata de tener mucha validez , situaciones que sean de la vida profesional real, situaciones que motivan a los estudiantes y situaciones donde se puede demostrar fácilmente el vinculo entre lo que van a ser las personas como profesionales y lo que está en la prueba misma pero muchas veces no se preocupa de la confiabilidad, pero que hacemos por ejemplo cuando tenemos un portafolio que se ha basado sobre situaciones de vida real pero que hacemos si dos evaluadores que tratan de evaluar el mismo objeto no están de acuerdo y eso ocurre muchas veces, que hacemos…podemos decir...es una manera de mejorarlo…pero a veces hay ese problema y uno va a decir eso es valido y es normal que en la vida real que las personas no estén de acuerdo… pero una ves que decimos eso que hacemos…entonces decimos es válido, pero si la proporción de error es tan grande no se puede hacer nada …el error no es claramente lo que queremos evaluar …porque no se evalúa ….la focalización sobre la validez hace que a veces olvidamos también que asegurarse que las personas estén de acuerdo que tengan la misma perspectiva sobre el desempeño… Aunque hay una focalización sobre la validez… hay problemas de validez…

Evaluar las competencias en educación superior. Dr. Michel Laurier

Es una idea un poco difícil de entender pero se puede imaginar que hay una tarea y como es una tarea que es una tarea de evaluación auténtica vamos a contextualizar la tarea, decir usted como profesional va a hacer eso y eso en esas condiciones. Una descripción con mucho detalles de la situación…bueno una vez que tenemos esa descripción y tenemos el desempeño del estudiante como se puede decir que lo que ha hecho el estudiante se puede generaliza hacia otras situaciones parecidas si el contexto es tan preciso ese es un problema de generalización que va a afectar la validez porque siempre la evaluación es un proceso de inferencia porque trato de inferir desempeño que en todas la situaciones parecidas el estudiante podrá ejecutar el mismo tipo de desempeño pero si la situación es muy contextualizada solamente puedo decir lo puedo hacer ahora en esa situación pero no se en el futuro en otra situación parecida , ese es un problema de generalización de transferencia de la inferencia hacia un universo mas grande… Por eso hay que desarrollar tareas que sean genéricas que puedan representar un universo mas amplio… Eso va a ocurrir muchas veces cuando se trata de evaluar la competencia de principiante que si queremos que haga la tarea tenemos que darle muchos detalles porque la característica del experto va a descubrir lo que va a hacer a ver si falta este tipo de información que hay que inferir otra …pero a los principiantes hay que describir con mucho detalle la tarea de tal manera que al final no sabemos si hubo existo por la información que había en la descripción dela tarea o si esa persona podía hacer igual en otras situaciones… Problemas también de validez de contaminación, sesgos en evaluación autentica no se controla siempre de manera suficiente el contenido si tengo documentos que ya conocen algunos alumnos y que otros no conocen voy a favorecer ese grupo, eso es un sesgo entonces hay un grupo de personas que se favorecen porque …tienen algunos elementos de la situación de evaluación eso ocurre mucho en la evaluación basada en el desempeño...también estrategias de éxito, usted hablaba como se pude saber que son producciones que vienen de las personas …eso es ...se puede comprar un documento de otra persona…existe … es parte de la vida real …y también es mas importante cuando son decisiones de certificación porque las consecuencias son importantes. Se pude decir que es una estrategia de éxito pero hay un problema de honestidad, pero hay otras estrategias de éxito que no son tan malas… digamos …pero pueden contaminar las situaciones de evaluación...yo trabajo en el campo de la evaluación de idiomas y hay muchas pruebas para evaluar el nivel de dominio del idioma… y eso se ve en China por ejemplo…los chinos que vienen a los EEUU a estudiar tienen que aprender inglés, conocen las características de las pruebas que a veces son buenos ejemplos de pruebas de desempeño van a desarrollar técnicas para tener éxito en la pruebas no van a aprender ingles, no pueden hablar pero van a poder hacer la prueba…Eso

Evaluar las competencias en educación superior. Dr. Michel Laurier

es una forma de contaminación ..Desarrollo de estrategias…contaminan la evaluación. También modificación de las condiciones…es claro que por ejemplo si están haciendo una evaluación durante una pasantía…lo que hay que hacer es aprovechar la pasantía, pero la situación va a ser diferente, son contextos diferentes, actores diferentes, tareas diferentes…como se puede comparar las condiciones cambian de tal modo que las comparación es difícil…muchas veces decimos que los pares tienen que colaborar y es verdad que en una situación profesional las personas trabajan en equipo…y es normal que hayan competencias que se desarrollan en equipo pero como evaluador lo que me interesa no es la evaluación del equipo, la competencia de la persona...entonces si es una situación de evaluación que es valida involucra que haya trabajo en equipo como voy a inscribir la competencia personal… A veces entonces se mezclan estrategias de éxito que utilizan la colaboración de los pares y por eso hay que guardar momento de evaluación a nivel individual para asegurarse que no estamos evaluando la competencia colectiva …a veces es posible que nos interese la competencia individual porque es algo que pude ser compartido pero normalmente en situación de certificación es la persona que le interesa… de tal modo que todo eso da algunos problemas de equidad que es importante… desde el punto de vista de la validez de la evaluación pero también importante desde el punto de vista de la ética porque estamos tomando decisiones que son muy importantes para las personas y sabiendo que es posible que haya problemas de comparación y de equidad.. Otra cosa también la Importancia de la observación..

Antes en el marco tradicional de la evaluación había una prueba con preguntas distintas y la suma podía interpretarse como el grado de desarrollo de las competencias o el grado de logro de los objetivos, ahora es mucho mas observación… pero hay problemas, no se trata entonces de un resultado cuantitativo aunque siempre es posible convertir esas información para tener resultados objetivos cuando uno tiene criterios con peso diferente entonces se pude calcular un resultado cuantitativo pero todo está basado de todos modos sobre la observación no es solo contar el numero de respuesta exactas, pero a veces no funciona porque no se puede observar todo hay primero los limites del observador humano si uno tiene una lista de 40 criterios que va a pasar no pasa nada porque es demasiado el observador no puede observar tantas cosas entonces ese es un limite también hay desempeños que no se observan fácilmente yo he trabajado mucho sobre

Evaluar las competencias en educación superior. Dr. Michel Laurier

pruebas de lecturas que pasa cuando observamos a una persona leyendo no pasa nada… puedo poner algunos sensores sobre los ojos para poder ver el movimiento de los ojos pero hay muy poco desempeño, pero nadie va a decir que la lectura no es una competencia, claro que es una competencia pero el desempeño no se pude observar, entonces hay que evaluarla de manera distinta… es claro que una evaluación basada sobre el desempeño no va a funcionar… otro ejemplo de los que se observa difícilmente… respecto de las normas éticas, si trato de tener una situación para observarlo puede ser peligroso, voy a esperar que haya un fracaso antes que pueda evaluar, entonces hay algunas competencias que no se pueden evaluar fácilmente porque no hay nada que observar…también hay limitaciones si trata de evaluar el contexto del aula…es un ámbito con unas características que son muy diferentes del lugar donde normalmente se utilizan las competencias, y por eso las pasantías son muy muy importantes, por eso hay que trabajar con las personas que reciben a los estudiantes, hay que desarrollar instrumentos de observación, hay que visitar a los estudiantes durante las pasantías, las pasantías son lugares de observación únicos que hay que aprovechar… Otro problema… muchas veces se habla de la calidad de la retroalimentación…

Es importante para los estudiantes que reciban una retroalimentación de calidad, pero cuando están evaluando una competencia en una tarea compleja lo mas que pueden decir es lo que hay en su instrumento de observación, no pueden decir falta ese conocimiento, falta esa debilidad… pero si es una situación muy integrativa donde está el problema ¿que tipo de diagnóstico puedo hacer? ….eso pertenece a la regulación, si es necesario que haya también pruebas o test para averiguar algunas conocimientos, para averiguar habilidades particulares … para diagnosticar … porque es verdad que puedo hacer una tarea integrativa y decir que hubo tal problema o no ha logrado ejecutar la tarea, pero si quiero diagnosticar… saber porque hubo tal problema, tengo muy poca información después de la observación de una tarea compleja…eso es lo que quiero decir… Como a veces es difícil tener un diagnostico fuerte con evaluaciones basada sobre desempeño, lo que se hace desde algunos años es construir escalas de competencia, hemos dicho que la competencia se desarrolla en un tiempo que pude ser bastante largo y no es verdad que al final de la formación inicial los estudiantes van a ser totalmente competentes, van a desarrollar las competencias en el futuro y tal vez toda su vida… entonces la competencia es un eje que tienen varios puntos de referencia y esa es la idea de escala de competencia…

Evaluar las competencias en educación superior. Dr. Michel Laurier

“Tratar de darse puntos de referencia que pueden servir para informar a los formadores y a los estudiantes como se desarrolla las competencias…” Voy a dar un ejemplo de lo que hicimos en Quebec en la formación de los inmigrante que deben aprender el Francés…hicimos una escala de competencia, la escala de competencia es un agrupamiento de indicadores, los indicadores son manifestaciones que se pueden observar que son típicas de un grado de desarrollo de la competencia, esos indicadores que pueden ser muy precisos o a veces bastante generales tienen que ser ordenados en niveles, por ejemplo: si tengo tres niveles habrá un conjunto de indicadores del 1° nivel, 2° y 3° nivel… y esos indicadores describen lo que pueden hacer una persona en un momento significativo de su aprendizaje…de tal modo que si uno tiene una escala de competencia sino se puede hacer un diagnóstico muy fuerte por lo menos se puede ubicar al estudiante sobre el eje de desarrollo de la competencia … Entonces lo que hicimos en el ministerio de Inmigración…

Son cursos para los inmigrantes que llegan a Canadá y deben aprender el idioma, en ese caso las competencias son fáciles de identificar: el saber leer, escribir, y expresarse oralmente y escuchar esas son las competencias…

Evaluar las competencias en educación superior. Dr. Michel Laurier

Y el objetivo de la escala de competencia es ver donde están los consensos en una comunidad práctica, en la mayoría de los casos no se puede usar una teoría del desarrollo de las competencias porque muchas veces no existe o es tan general que no conviene para un tipo de personas, entonces lo que se trata de hacer es ver que dice la comunidad de práctica sobre el desarrollo de las competencia, entonces lo que hicimos es que hemos escogido algunos expertos que eran profesores de experiencia o asesores, personas que conocían muy bien ese tipo de estudiantes y conocían los programas y como expertos hicieron una lista de lo que se pude observar durante el desarrollo de la competencia. Por ejemplo una persona que se expresa oralmente, ¿Qué se puede observar a diferentes niveles?... en ese caso teníamos 12 niveles …es mucho...pero es una competencia donde el nivel 1 (uno) es casi nada… solamente algunas palabras y el nivel doce es una persona que domina muy bien el idiomas y a veces mucho mas que los nativos es un rango bastante grande...entonces teniamos una lista de indicadores que se puso en un cuestionario y fue distribuido en toda la comunidad de los docentes que trabajan con los inmigrantes para ver donde están los consensos y a partir de esos consensos es posible hacer descripciones de lo que se va a encontrar a cada nivel de desarrollo de la competencia…como ejemplo, ese es el nivel de expresarse oralmente hay 12 niveles …este es el nivel cuatro…

Es un nivel que es funcional una persona puede sobrevivir fácilmente, trabajar pero en un contexto donde no hay una pedida lingüística importante, no es un a persona que puede ser abogado…pero puede sobrevivir, hay una definición general y una lista de indicadores que son validos porque la comunidad de práctica está de acuerdo para decir que estos indicadores se pueden observar y que son típicas de lo que se encuentra en el nivel cuatro, eso no describe totalmente lo que es la competencia pero nos da puntos de referencias, hicimos la comparación con otra escala que existe en otra parte de Canadá y con un marco de referencia de la comunidad de Europa, pero lo que queríamos hacer era asegurarnos de que esa escala funcionaba con el grupo muy particular que tenemos que son Inmigrantes adultos. Es una manifestación que debe ser regular…si por ejemplo tomamos el primer indicador: “habla del tiempo presente de sus actividades cotidianas con indicaciones de tiempo y de frecuencia…”para que la persona este a nivel cuatro eso se debe observar de manera regular… si no puede siempre hacer eso es porque esta a nivel tres …pero si no quieren que todos los estudiantes sean iguales tengan la misma evaluación es necesario que tengan una escala y hay que construirla pero se puede hacer, reunir

Evaluar las competencias en educación superior. Dr. Michel Laurier

un grupo de expertos y pedirles que hagan una lista de lo que es típico de cada nivel y si tienen los recursos y la comunidad es amplia la pueden validar con un cuestionario… Pero esos indicadores no describen toda la competencia son sólo los que dan acuerdos…en la movilización de los indicadores habían uno que no parecían buenos, pero habían algunos que decían ..Ese es el nivel ocho...otros que decían ese es del nivel dos …sino estaban de acuerdo lo desechaban …consenso de la comunidad de práctica… Bueno para concluir

Primero, desde algunos años el enfoque es mucho más cualitativo que cuantitativo… pero eso no quiere decir que no debe ser riguroso, pero se funda mucho más la evaluación sobre la observación de desempeño que en la suma de respuestas sobre elementos aislados, también el juicio del profesional del formador es muy importante, y por eso hay que formar a los evaluadores y profesores y es verdad que la literatura muestra que cuando se forman alguien a los instrumentos, al uso de escalas, al uso de instrumentos de observación, se puede mejorar la confiabilidad, lo que muchas veces es un problema, pero el juicio profesional es el centro de la evaluación… es un gesto profesional que se puede mejorar con la práctica con la formación, es claro que es subjetivo pero no arbitrario, requiere innovación, capacitación concertación es importante que los actores el programa se hablen, que se formen en el uso de instrumentos y diseños de tarea de evaluación… también hay como una percepción que ya que son evaluaciones basada sobre observaciones mas cualitativas que los requisitos clásicos sicométrico no funcionan, eso no es verdad… todavía tenemos que asegurarnos que las evaluaciones sean ..y ese es el orden primero sean validas si no están evaluando lo que deben evaluar no vale la pena, segundo que sean confiables porque si hay demasiados errores por ejemplo si los evaluadores no están de acuerdo en la mayoría de los casos no va a servir mucho y tercer y que es muy importante y porque cuesta mucho trabajo, mucho esfuerzo, mucho dinero… las evaluaciones basadas en competencias debe ser factible.. No se pude tener la evaluación perfecta porque siempre hay condiciones que no lo permiten, pero hay que hacer lo mejor que sea posible ..debe ser factible. Y la verdad es que hubo muchos programas por competencia que se desarrollan sin pensar en los problemas de evaluación… y siempre es la parte mas débil de esos programas porque es difícil

Evaluar las competencias en educación superior. Dr. Michel Laurier

y verdad que no pude ser perfecta, no hay una evaluación perfecta pero una ves que sabemos hay algunas soluciones, que hay algunas cosas que se pueden hacer tratamos de hacerlo…pero nunca aunque haya un monto de recursos y de tiempo no se puede hacer lo ideal en la evaluación siempre es una aproximación… pero debe ser un aproximación justa respecto a las personas .