Censo Acad´emico en L´ınea, CENACAD: Revisi´on y Propuesta Juan Jos´e Salcedo 30 de enero de 2011 Resumen La escuela Superior Polit´ecnica del Litoral, ESPOL, a trav´es del Vice-rectorado general, El Centro de Investigaciones y Servicios Educativos, CISE y el Centro de Investigaci´ on Cient´ıfica y Tecnol´ ogica, CICYT, desarrollaron el sistema automatizado que sostiene y permite el Censo Acad´emico en Linea, o CENACAD cuyo objetivo principal es la evaluaci´ on acad´emica de los docentes de ESPOL. A pesar de ser un elemento de evaluaci´ on docente, el CENACAD ha pasado a ser una instituci´ on para los estudiantes. Es parte del ser polit´ecnico. Sin embargo en la actualidad cuestionamos la efectividad del CENACAD porque sus 27 preguntas por materia resultan tediosas para una gran cantidad de estudiantes polit´ecnicos. Este trabajo busca hacer una revisi´ on a los contenidos del cuestionario del CENACAD y proponer varias mejoras que considero importantes.
1.
Introducci´ on
2.
La encuesta del CENACAD esta compuesta por 5 categor´ıas que agrupan a las 24 preguntas cuantitativas y una secci´ on de comentarios que agrupan a las restantes 3 preguntas cualitativas. A continuaci´ on se detallan las secciones con su respectivo n´ umero de preguntas entre par´entesis.
El Problema
Ciertamente la encuesta del CENACAD eval´ ua los aspectos m´as importantes dentro del proceso de ense˜ nanza y constituye una herramienta u ´til en la evaluaci´on de la calidad de la educaci´on en ESPOL. Generalmente se sugiere que el poco inter´es en llenar la encuesta se debe principalmente a la extensi´on de la encuesta. Sin embargo, a pesar que 1. Dise˜ no de experiencias educativas (6 pregunefectivamente la encuesta es extensa, no considero tas) que esto sea un factor que afecte el comportamiento de quien la llena. Esto lo digo porque no podemos 2. Promoci´ on del aprendizaje (13) pensar que los estudiantes desechen la oportunidad 3. Producci´ on de materiales did´ acticos (2) de emitir su criterio sobre los aspectos que afectan su vida estudiantes u ´nicamente porque toma mucho 4. Administraci´ on de la ense˜ nanza (2) tiempo. 5. Evaluaci´ on general (1) El bajo inter´es de los estudiantes polit´ecnicos en llenar la encuesta no es s´ı m´as que un consecuencia 6. Comentarios (3) del problema real. La b´ usqueda el problema subyaPor otro lado, seg´ un datos del portal web del cente requiere una investigaci´on a los fundamentos CENACAD, el sistema ha realizado evaluaci´on a y objetivos del CENACAD. Para esto listo los objetivos del CENACAD tal aproximadamente siete mil paralelos, un poco m´as de mil profesores y en promedio es llenada por casi como son presentados en el portal web del mismo. ocho mil estudiantes cada semestre. Esto da como resultado 530 mil formularios procesados. El proceso del CENACAD tiene a su disposici´on Objetivos Generales la capacidad tecnol´ ogica de la ESPOL que dado esContribuir a mejorar la evaluaci´on acad´emitos resultados esta siendo aprovechada al m´aximo. ca de los docentes de la ESPOL a trav´es de A pesar de todo esto es evidente que el estudiantala creaci´on de un Sistema Automatizado de do polit´ecnico tiene un inter´es reducido en llenar las Censo Acad´emico para el Web. encuestas. En la siguiente secci´ on buscamos identificar algunos problemas que pueden ser la causa del reduciMinimizar los errores sobre los datos de las do inter´es en la encuesta del CENACAD. encuestas en l´ınea. 1
Objetivos Espec´ıficos
estudiante, as´ı aquel profesor que en la escala del 1-10 merece un evaluaci´on sobresaliente a pesar de siempre llegar tarde obtendr´a un 9 o 10 en todas las casillas. Habr´a otros que no usar´an criterios l´ogicos y asignar´an el n´ umero de tel´efono de alg´ un pariente como calificaci´on a los profesores. Y la lista de m´etodos no objetivos para llevar el CENACAD puede por s´ı solo constituir un tema de investigaci´on. Finalmente, el objetivo referentes a las t´ecnicas estad´ısticas de inferencia no es necesario porque la inferencia estad´ıstica parte del hecho de los datos provienen de una muestra. Debido a la naturaleza poblacional del CENACAD, en el sentido que todos los profesores son evaluados, aplicar tales t´ecnicas resulta innecesario. Es curioso resaltar que ninguno de los objetivos del CENACAD menciona que busca lograr una vez realizada la evaluaci´on. ¿Se entera al profesor de los resultados? ¿Se reemplaza a los profesores con rendimiento por debajo un m´ınimo establecido? ¿Se premia a los profesores con puntuaciones altas y sostenidas? ¿Reciben capacitaci´on los profesores que emplean m´etodos de ense˜ nanza retr´ogrados? ¿Reciben clases de comunicaci´on efectiva aquellos con puntuaciones baja en ense˜ nanza comprensiva? El portal del CENACAD permite ver la evaluaci´on del profesor, de materias, incluso por facultades. Pero esta revisi´on es u ´til para el estudiante en el proceso de elecci´on del profesor. Si ninguna de las acciones mencionadas en el p´arrafo anterior son llevadas a cabo, no veo el beneficio acad´emico del CENACAD. Tal vez ESPOL y los directivos no se han percatado. Tal vez estaban muy ocupados realizando el CENACAD, verificando que cada pregunta a˜ nada valor al cuestionario, que cada palabra est´e bien seleccionada, que el sistema muestre al estudiantes u ´nicamente las materias y profesores que le corresponden evaluar. Pero estoy seguro que alguien s´ı se dio cuenta, el estudiante.
Reducir considerablemente el tiempo en obtener los reportes de evaluaci´ on de los docentes Reducir los costos que involucra el proceso de evaluaci´ on al docente Evaluar nuevos aspectos en el desempe˜ no del docente Obtener un alto nivel de confiabilidad de los resultados de las evaluaciones realizadas Garantizar un alto porcentaje de confiabilidad en el proceso de evaluaci´ on docente, aplicando m´etodos estad´ısticos. Utilizar las T´ecnicas estad´ısticas adecuadas que permitan inferir de manera correcta sobre los resultados obtenidos.
La realizacion del CENACAD minimiza los errores de la tabulaci´ on de encuestas en l´ınea y por tanto constituye en s´ı un alternativa superior para la evaluaci´ on de docentes. Con su mera existencia el CENACAD cumple sus dos objetivos generales. Asimismo, el hecho de ser un sistema automatizado para la tabulaci´ on de resultados, reduce los tiempos y los costos involucrados. La cr´ıtica se presenta con los objetivos espec´ıficos que siguen: ¿El CENACAD eval´ ua realmente aspectos nuevos del docente? ¿Son estos resultados confiables? ¿Es necesaria las t´ecnicas estad´ısticas para inferir sobre los resultados? Sobre los aspectos nuevos que eval´ ua es dif´ıcil saber, primero debemos conocer como era la evaluaci´ on antes del CENACAD y contrastar ambos cuestionarios. Sin embargo, la ventaja que presenta el CENACAD es su capacidad de adaptaci´on. Debido a ser en-l´ınea el costo de adici´ on, eliminaci´on o modificaci´ on de preguntas es relativamente cercano a cero. F´ acilmente pueden ser incluidas preguntas de temas relevantes como presentaci´ on del docente, 3. La Propuesta conocimiento de la actualidad de la materia de dicta, motivaci´ on a usar t´ecnicas modernas, etc. EnA complex system that works is invaritonces si incluye o no incluye las preguntas adeably found to have evolved from a simple cuadas se reduce a ser un asunto de importancia system that worked. The inverse propomenor. sition also appears to be true: A comAnalizar la confiabilidad de los resultados es alplex system designed from scratch nevtamente dificultoso dado que partimos del hecho er works and cannot be made to work. que el inter´es de los estudiantes por llenar el CEYou have to start over, beginning with a NACAD es muy bajo. ¿Qu´e criterios emplean los working simple system 1 . estudiantes que carecen de inter´es para llenar la encuesta? Las alternativas pueden sonar incluso irraMi hip´otesis es que dado que el CENACAD no cionales. Habr´ a quienes le asignan una sola pun- constituye un mecanismo de mejoramiento de la tuaci´ on en funci´ on de una evaluaci´ on general del educaci´on la utilidad percibida por su realizaci´ on 1 Gall,
J. How Systems Really Work and How They Fail. p´ ag. 71
2
es muy baja. El estudiante no tiene incentivos a llenarla, i.e., no tiene inter´es en hacerlo. La propuesta para mejorar el CENACAD nace de la frase de John Gall (aquella al inicio de esta secci´ on). El CENACAD es un sistema complejo, porque el nivel de preguntas que realiza eval´ uan aspecto profundos de un profesor, pero no es funcional porque no cumple el fin u ´ltimo de una encuesta: tomar decisiones. Su complejidad no parte de haber sido un sistema simple, sino de un lista de aspectos que se consideraban importantes. Un sistema funcional y simple puede tomar la forma de una encuesta b´ asica que tenga repercusiones reales. Con esto se garantiza cambios de comportamiento de los profesores en mejorar los aspectos evaluados. Por ejemplo, un sistema extremadamente simple que funciona puede incluir tan solo cuatro preguntas:
idad de la educaci´on en la ESPOL no tiene precedentes, sin embargo, los directivos de la ESPOL no est´an utilizando todas sus capacidades. Los directivos de ESPOL necesitan vincular los resultados del CENACAD con mecanismo de incentivos para modificar la conducta de docentes que no cumplan el nivel un catedr´atico ejemplar. Los estudiantes se han percatado de la inconsecuencia de su pronunciamiento a trav´es del censo en l´ınea, de tal forma que no tienen inter´es en llenar el cuestionario. Todo esto nos llev´o a la conclusi´on que el CENACAD es un sistema complejo que no funciona. Para reparar este error sugiero la reformulaci´on del un cuestionario simple que vincule los resultados. Una vez creado el sistema simple que sea funcional empezar a a˜ nadir las preguntas y volverlo un sistema complejo. Paralelamente sugiero la creaci´on de mecanismo de filtrado de informaci´on. Debido a posiblidad 1. Desempe˜ no del profesor/a (del 1 al 10). que los estudiantes usen el nuevo censo como retaliaciones contra los profesores es importante crear 2. Cantidad de veces que llega tarde a clases (por criterios de selecci´on de los estudiantes que pueden semana). llenar el cuestionario. Podemos concluir que la efectividad del CE3. N´ umero de evaluaciones realizadas (lecciones, NACAD no se base en el n´ umero de preguntas, ni talleres, etc.). tampoco en el n´ umero de temas sobre los cuales pre4. Es respetuoso el profesor en su trato con es- gunta, sino en la forma en que el estudiante siente que su aportacion al llenar el CENACAD a˜ nade valtudiantes. or sea para su propia educaci´on o la de sus pares. La primera pregunta es la de mayor valor para Logrando as´ı un inter´es genuino por parte de los la ESPOL, me permite conocer la evaluaci´ on gener- estudiantes a llenar la encuesta. al de cada profesor. Los profesores con desempe˜ nos De esta forma, al emplear la informaci´on aporaltos y bajos pueden ser publicados. tada por el estudiante, se inicia una depuraci´on de La pregunta sobre puntualidad puede ser liga- profesores que no tienen los requerimientos necesarnanza y aumenta tanto la cantidad da a un castigo econ´ omico. La pregunta sobre el ios para la ense˜ n´ umero de evaluaciones que realiza el profesor en relativa de profesores mejor preparados como el nivtodo el semestre es una indicador proxy del nivel de el acad´emico de los estudiantes y su inter´es en el CENACAD. exigencia de la materia. La pregunta sobre el trato al estudiante nos permite saber sobre irregularidades en comportamiento del profesor. Si se tuviera una varianza muy alta se deber´ıa realizar una investigaci´ on. Al controlar estos aspectos b´ asicos y dise˜ nados los mecanismo de reforzamiento en comportamientos positivos, el alumno comprender´ a la importancia de llenar la encuesta con sus cinco sentidos. Y el problema del inter´es estar´ a resuelto. Una vez que los mecanismo se hallen institucionalizados y el alumnado este consciente de los beneficios del CENACAD, i.e. que el sistema est´e funcional, se pueden a˜ nadir preguntas y volver al CENACAD en un sistema complejo que funciona.
4.
Conclusiones
El CENACAD es una herramienta de an´alisis muy poderosa. La utilidad que presenta para la cal3
5.
Preguntas del CENACAD
14. Promueve la reflexi´on de los temas tratados. 15. Mantiene una comunicaci´on fluida con los estudiantes.
En esta secci´ on se lista el contenido de la evaluaci´ on docente tal como se present´ o a los estudiantes de la ESPOL en el segundo t´ermino acad´emico del 2011.
16. Es respetuoso con los estudiantes. 17. Responde oportunamente a las cuestiones que se plantea en clase sobre temas relacionados con la materia.
Dise˜ no de Experiencias Educativas 1. Utiliza ayuda audiovisual para apoyar el contenido de la clase.
18. Desarrolla el contenido de la clase de una manera ordenada.
2. Cumple con la programaci´ on que propuso al inicio del curso.
19. Desarrolla el contenido de la clase de una manera comprensible.
3. Eval´ ua peri´ odicamente trabajo o intervenciones en clase.
Producci´ on de Materiales Did´ acticos
4. Las evaluaciones que realiza, se ajustan a los temas desarrollados en clase.
20. Prepara recursos did´acticos, bibliogr´aficos u otro tipo para facilitar el aprendizaje.
5. Presenta con claridad las instrucciones para la evaluaci´ on del aprendizaje.
21. Utiliza con frecuencia esquemas y gr´aficos para apoyar sus explicaciones.
6. Motiva al estudiantes a hacer investigaci´on bibliogr´ afica.
Administraci´ on de la Ense˜ nanza
Promoci´ on del Aprendizaje
22. Da a conocer el resultado de las evaluaciones en el plazo establecido.
7. Al inicio del curso proporciona y explica a los estudiantes la programaci´ on del curso.
23. Asiste con puntualidad a clases.
8. Al inicio del curso proporciona y explica a los estudiantes las pol´ıticas del curso.
Evaluaci´ on General 24. Considerando todas las caracter´ısticas relacionadas con el profesor/a evaluado/a elija una nota entre 1 y 10 a su desempe˜ no como tal.
9. Estimula la participaci´ on activa del estudiante en clase. 10. Resume las ideas fundamentales discutidas, antes de pasar a una nueva unidad o tema. 11. Cuando introduce conceptos nuevos los relaciona, si es posible, con los ya conocidos.
Secci´ on de Comentarios 25. Aspectos que se deben mejorar.
12. Motiva el aprendizaje de la materia.
26. Aspectos que se deben cambiar.
13. Tiene predisposici´ on para aclarar dudas y ofrecer asesor´ıas dentro y fuera de clases.
27. Aspectos que se deben mantener.
4