Transparencia en evaluaciones e instrumentos de medición by Fundación Pro Acceso

Pro

Acceso

F u n d a c i ó n

Informe:

TRANSPARENCIA EN EVALUACIONES E INSTRUMENTOS DE MEDICIÓN DE ALTAS CONSECUENCIAS

Informe: Transparencia en evaluaciones e instrumentos de medición de altas consecuencias

INFORME:

“TRANSPARENCIA EN EVALUACIONES

E INSTRUMENTOS DE MEDICIÓN DE ALTAS CONSECUENCIAS” Una publicación de Fundación Pro Acceso

Autores: Mladen Koljatic Mónica Silva

Mariano Sánchez Fontecilla 344 casa 11, comuna de Las Condes, Región Metropolitana. Correo electrónico contacto@proacceso.cl. Teléfono (562) 24958614. Página web www.proacceso.cl

Informe: Transparencia en evaluaciones e instrumentos de medición de altas consecuencias

ÍNDICE INTRODUCCIÓN .................................................................................................................... 3 I.- EL CASO DE LA PRUEBA DE SELECCIÓN UNIVERSITARIA .............................................. 5 1.- Relevancia de la Institucionalidad ........................................................................... 5 2.- Institucionalidad de la PSU entre 2004 y junio del 2013 ........................................ 8 3.- Cambios propuestos por el MINEDUC a la institucionalidad de la PSU a raíz del Informe de Pearson ........................................................................................................ 11 4.- Cambios menores a la institucionalidad de la PSU ............................................. 12 II.- REFLEXIONES A PARTIR DE LA PSU ................................................................................ 15 ¿Qué sucede con otras pruebas y evaluaciones? ................................................... 15 CONCLUSIONES .................................................................................................................. 19 ANEXOS................................................................................................................................ 20 ANEXO 1: Ejemplos de denuncias en prensa (en orden cronológico). ................. 20 ANEXO 2: Organigrama EUNACOM ............................................................................ 22

Informe: Transparencia en evaluaciones e instrumentos de medición de altas consecuencias

INTRODUCCIÓN El mundo de hoy se caracteriza por el uso masivo de instrumentos de medición en el ámbito educacional y profesional. Si bien desde hace décadas las pruebas psicológicas y educacionales se han utilizado para orientar decisiones de admisión y selección, el empleo de este tipo de pruebas ha ido en creciente aumento. En el ámbito educacional, si en el pasado sólo algunos colegios de élite tenían procesos de selección para entrar al prekinder, hoy prácticamente todos lo hacen. Lo mismo sucede con las pruebas de selección a las universidades, donde las universidades privadas se han plegado al sistema de admisión que emplea la PSU. Hoy por hoy en el país no sólo se emplean pruebas que seleccionan a los postulantes a las universidades

(PSU)

sino

que

además

utilizan

pruebas

evaluaciones

“licenciamiento” que buscan determinar la idoneidad profesional en algunas carreras. Es el caso del Examen Único Nacional de Conocimientos de Medicina (EUNACOM), el cual es encargado por el Estado a la Asociación de Facultades de Medicina de Chile (ASOFAMECH). Por ley se exige la obtención de un puntaje mínimo (definido por el Ministerio de Salud) para que un médico pueda ser contratado en cargos médicos en los servicios de salud dependientes del Ministerio de Salud (MINSAL), en consultorios municipales, otorgar prestaciones a beneficiarios FONASA en modalidad de libre elección y postular a programas de especialización médica. La ASOFAMECH, por su parte, considera el puntaje obtenido en el EUNACOM para seleccionar candidatos a sus programas de especialización. Asimismo, la aprobación del EUNACOM sirve para revalidar el título obtenido en el extranjero1. El Sistema de Evaluación del Desempeño Profesional Docente (más conocido como “Evaluación Docente”) también conlleva altas consecuencias para quienes la rinden. Se trata de una evaluación obligatoria para los más de 70 mil docentes de aula que se desempeñan en establecimientos municipales a lo largo del país. De sus resultados depende la permanencia de los docentes en el sistema público. Hay importantes El uso de los puntajes de EUNACOM por parte del MINSAL fue temporalmente discontinuado en el año 2013 por una denuncia de filtración de sus preguntas en la versión 2012, enviándose un proyecto de ley a fin de eximir de la rendición del EUNACOM, por un periodo de tres años, a quienes hubieren recibido títulos profesionales de médico cirujano de universidades cuyas carreras de medicina estén acreditadas. Fuente www.eunacom.cl [Fecha de consulta 5/6/2013]. 1

Informe: Transparencia en evaluaciones e instrumentos de medición de altas consecuencias

consecuencias, tanto positivas como negativas, atadas al rendimiento en la evaluación docente2. Es posible que dentro de poco la prueba INICIA, que se planteó como un instrumento de evaluación para medir los conocimientos pedagógicos y disciplinarios de los egresados de las carreras de pedagogía, también se convierta en una prueba de altas consecuencias3. Lo que une a la PSU, el EUNACOM y la Evaluación Docente es que se trata de instrumentos de altas consecuencias, puesto que sobre la base de sus resultados se toman decisiones que pueden afectar la vida de las personas. La construcción de los instrumentos sobre los cuales se toman decisiones de relevancia (instrumentos de altas consecuencias para los individuos que las rinden) debiera ser materia de particular atención, como lo es en países desarrollados. Hay consenso entre los expertos en medición que mientras mayores sean las consecuencias individuales y sociales que pueden acarrear las decisiones que se toman sobre la base de los resultados de pruebas y evaluaciones, mayor esmero debe ponerse en establecer su utilidad y validez4. Desgraciadamente, en el país existe poca conciencia acerca de los requerimientos técnicos que deben ser considerados para efectos de que el uso de puntajes en pruebas y evaluaciones sea legítimo. Es claro que no todas las evaluaciones y pruebas que se emplean están bien construidas y hay uso inapropiado, e incluso abusivo, de la medición educacional. Ante estos casos existe y existirá la tentación de desecharlas y buscar criterios alternativos de selección. No obstante hay abundante evidencia de la efectividad de las pruebas cuando éstas han

Por ejemplo, hasta 2010 la ley establecía que tras cumplir tres evaluaciones consecutivas con resultado Insatisfactorio, el profesor debía abandonar la dotación docente, número que se redujo a dos a partir de la evaluación 2011, tras promulgarse un cambio en la normativa legal (Ley 20.501 de febrero de 2011) Fuente: http://www.docentemas.cl/dm05_informes_consec.php .[Fecha de consulta 6/6/2013 ]. 2

Se planteó como una evaluación diagnóstica para entregar información diagnóstica a las instituciones de educación superior sobre la calidad de la formación de sus egresados de Pedagogía, proveer información a los egresados de carreras de Pedagogía respecto a los aprendizajes adquiridos en su formación de pregrado e identificar fortalezas y debilidades de la formación docente, a fin de orientar el diseño de las políticas públicas para mejorar la formación inicial docente en Chile. (Fuente:http://www.mineduc.cl/usuarios/einicia/File/Vale%20socializacion%20final.pdf). 3

American Educational Research Association (AERA), American Psychological Association (APA) & National Council on Measurement in Education (NCME), Standards for Educational and Psychological Testing (NCME). Washington D.C.,1999, pg. 139. 4

Informe: Transparencia en evaluaciones e instrumentos de medición de altas consecuencias

sido desarrolladas conforme a estándares de calidad consensuados por los expertos. El buen uso de los resultados de las pruebas y evaluaciones puede redundar en mejores decisiones acerca de las personas y programas de lo que sería el caso si ellas no se usaran y pueden abrir vías a un más amplio y equitativo acceso a oportunidades educacionales y de empleo5.

I.- EL CASO DE LA PRUEBA DE SELECCIÓN UNIVERSITARIA 6 1.- RELEVANCIA DE LA I NSTITUCIONALIDAD Calidad y equidad son dos pilares fundamentales sobre los cuales descansa el uso apropiado de pruebas educacionales de altas consecuencias. La calidad se refiere a que las pruebas midan lo que tienen que medir y la equidad implica que las pruebas no otorguen ventaja injustificada a un grupo de postulantes en desmedro de otro. ¿Cómo se garantiza que las pruebas de altas consecuencias cumplan con ambos criterios? Se garantiza a través de evidencia basada en estudios y en el juicio de expertos. La experiencia enseña que no cualquier experto sirve para estos fines.

Por ejemplo,

quienes han desarrollado las pruebas no deben ser los únicos evaluadores de éstas puesto que, aun cuando no exista el ánimo de engañar, se corre el riesgo de que sus apreciaciones no sean objetivas con respecto a la calidad y equidad de las pruebas. En el peor de los casos, el conflicto de interés en los evaluadores puede traducirse en que los informes oficiales se transformen en meras pseudoevaluaciones, figura que se define en la literatura especializada como un proceso de evaluación con fuerte injerencia de las partes comprometidas que presionan para que aparezcan resultados favorables a sus intereses. En el caso de las pruebas educacionales, una pseudoevaluación proveería información parcial o sesgada para construir una imagen positiva con respecto a la calidad de éstas, minimizando o escondiendo los problemas. 7

AERA, APA & NCME,1999. Standards for Educational and Psychological Testing. Washington D.C.

Más información al respecto se encuentra en el informe “Acceso a la Información y Sistemas de Medición en Educación en Chile”, publicado por Pro Acceso. Accesible en http://www.proacceso.cl/node/1007. (Fecha de consulta 6/7/2013). 6

Stufflebeam, D. y Webster, W. (1980). “An analysis of alternatives approaches to evaluation”. Educational Evaluation and Policy Analysis, 2 (3), 5-20. 7

Informe: Transparencia en evaluaciones e instrumentos de medición de altas consecuencias

El control de los datos y la falta de transparencia favorecen malas prácticas que han sido descritas en la literatura: “Cuando sólo un lado tiene la posibilidad de hablar, puede decir lo que se le antoja. Sin un contrapunto aparente, “datos” pueden ser fabricados de la nada, sin evidencia suficiente. Investigaciones serias que apoyan un punto de vista distinto son simplemente ignoradas, como si no existieran. No se les menciona a los periodistas, ni se citan en trabajos o bibliografías”8. Para evitar los conflictos de interés que pueden resultar en malas prácticas (evaluaciones subjetivas, engañosas e incluso en pseudoevaluaciones) que inhiban el desarrollo de pruebas justas y de calidad, es necesario gestar una institucionalidad que vele por la transparencia en la evaluación, algo de lo cual hay poca conciencia en el país. La importancia de gestar una institucionalidad independiente y transparente para las pruebas educacionales queda clara al estudiar el tema de las pruebas de selección a las universidades chilenas. Algunos datos bastan para describir los problemas asociados a una institucionalidad débil y poco transparente en esta materia: 

En el año 2000, en el marco de una reforma educacional, el Ministerio de Educación convocó a una comisión de profesionales, funcionarios ministeriales y del Consejo de Rectores para reformular las pruebas de admisión a las universidades9.



La recomendación de la comisión ministerial fue la de rediseñar el sistema de pruebas de manera que cumplieran el doble propósito de evaluar la enseñanza media científica humanista--como SIMCE de Cuarto Medio—y además servir para seleccionar alumnos a la universidad 10. Tal decisión fue tomada a sabiendas de

Traducido de Phelps, R. (2008). Educational achievement testing: Critiques and rebuttals. En “Correcting Fallacies about educational and psychological testing”, Washington D.C. American Psychological Association (APA). 8

Cox, C. y otros. “Comisión Nuevo Currículum de la Enseñanza Media y Pruebas del Sistema de Admisión a la Educación Superior”. Noviembre, 2000. Informe anexado a Acta 427 del CRUC, llevada a cabo en dependencias de la U. de Magallanes, 18 y 19 de Enero, 2001. 9

CRUCH (2001). Página del Acta Sesión 427 llevada a cabo en dependencias de la U. de Magallanes, 18 y 19 de Enero, 2001. 10

Informe: Transparencia en evaluaciones e instrumentos de medición de altas consecuencias

que el cambio dejaría en desventaja a los alumnos de la educación técnicoprofesional, que estudiaban un currículum distinto al científico-humanista, como demuestran fehacientemente documentos extraídos de las actas del CRUCh de la época11. 

El cambio de pruebas se financió con fondos públicos, a través de un proyecto Fondef, con participación de miembros de la Comisión Ministerial que recomendó el cambio de pruebas. El proyecto adolecía de graves fallas técnicas que han sido descritas en otras publicaciones, al punto que hubo quienes dudaron de que el proyecto hubiera sido evaluado por expertos en medición. No fue posible corroborar ni refutar esta hipótesis puesto que nunca se pudo acceder a la evaluación técnica del proyecto Fondef. Ésta, junto con otros documentos relativos al proyecto que dio origen a las nuevas pruebas de admisión chilenas, fueron destruidos en el año 200812.



A partir de la primera aplicación de la PSU y durante diez años la población recibió por parte del CRUCh comunicados e informes que avalaban el buen desempeño de las pruebas. En seis informes oficiales el CRUCh no entregó información para el grupo de la educación técnica-profesional, el más perjudicado con el cambio de pruebas, y tampoco informó acerca del evidente aumento de los puntajes del grupo particular pagado ni del consiguiente aumento de la brecha entre estos grupos.



Luego de diez años desde su primera aplicación, en enero del 2013, expertos de la consultora Pearson Education emitieron un informe muy negativo con respecto a la PSU, manifestando serios reparos con respecto a la calidad y equidad de este instrumento de selección y objetando el uso de puntajes PSU para fines tales como la asignación de becas y beneficios estudiantiles. El informe contenía más de cien recomendaciones para superar graves deficiencias en la construcción de las pruebas y uso de los puntajes PSU13.



El informe de Pearson con respecto a la PSU no fue el primer informe de una organización internacional acerca de las pruebas de admisión: en el año 2005,

CRUCH (2001).Acta Sesión 431. Anexo “Minuta Reunión de Trabajo Gabinete Sra. Ministra de Educación”, 25/6/2001. 11

Según refiere respuesta de Conicyt a una solicitud de acceso que fue respondida con fecha 24/05/2012.

13Pearson

Education (2013). “Final Report Evaluation of the Chile PSU”. http://www.mineduc.cl/usuarios/mineduc/doc/201301311057540.Chile_PSU-Finalreport.pdf.

Accesible

en:

Informe: Transparencia en evaluaciones e instrumentos de medición de altas consecuencias

luego de la primera aplicación de la PSU, la U. de Chile (entidad a cargo de la elaboración de la PSU) contrató una auditoría al Educational Testing Service (ETS) de Estados Unidos. La U. de Chile no dio a conocer el informe a pesar de haber sido solicitado insistentemente, llegando el caso a los tribunales14. 

El primer informe de la PSU realizado por el ETS en el año 2005 fue finalmente liberado en el año 2012 gracias a la Ley de Transparencia. Muchos de los problemas detectados ya en ese informe del año 2005 seguían presentes al año 2013, incluso algunos de ellos exacerbados por malas decisiones técnicas.



Más allá de los contenidos específicos del informe de Pearson con respecto a las falencias de la PSU, lo que éste dejó en evidencia fue que durante diez años el público recibió informes complacientes e ilusorios con respecto a la calidad y equidad de las prueba, emitidos por los responsables de éstas.



A la luz de las graves falencias de la PSU descritas en el informe de Pearson, el entonces Ministro de Educación, Harald Beyer, propuso un cambio en la institucionalidad para favorecer la transparencia en el manejo de la PSU y sistema de admisión en general de manera de garantizar la calidad y equidad futura de las pruebas15. Su propuesta fue desechada por el CRUCh.

A continuación se presenta la institucionalidad vigente de la PSU desde su creación hasta junio del año 2013 y los cambios menores que el CRUCh decidió introducir en ella como consecuencia del informe de Pearson.

2.- INSTITUCIONALIDAD DE LA

PSU ENTRE

2004 Y JUNIO DEL 2013

El CRUCh es la entidad que maneja y controla la PSU. La institución que elabora las pruebas y tiene a cargo los aspectos prácticos de su aplicación, la entrega de resultados y la postulación es el DEMRE de la U. de Chile. Existía hasta junio del 2013 un Comité Técnico Asesor del CRUCH que supervisaba todo el proceso, desde la elaboración hasta la entrega de resultados y ejecutaba estudios evaluativos de las pruebas, reportando al Consejo Directivo de la PSU compuesto por Rectores del CRUCh.

Sentencia 19° JCS “Zavala Guzmán Ferna con Rector Universidad de Chile”, rol N° 13286-2007, confirmada por la Iltma. Corte de Apelaciones de Santiago, rol N° 3175-2008. 14

http://www.mineduc.cl/contenido_int.php?id_contenido=22848&id_portal=1&id_seccion=10. consulta: 7/6/2013). 15

(Fecha

Informe: Transparencia en evaluaciones e instrumentos de medición de altas consecuencias

El organigrama se representaba así16:

* La Comisión Coordinadora estaba compuesta por un representante de cada una de las universidades del CRUCh y desempeñaba funciones de corte administrativo, como por ejemplo participar en la determinación de fechas del proceso de admisión, entre otras.

El Consejo de Rectores designaba a un Consejo Directivo (CD) para la PSU, conformado por rectores del CRUCh (entre ellos el de la U. de Chile y el de la UC) y que tenía a su cargo los temas de selección y admisión de alumnos en el marco de las políticas determinadas por el CRUCh. El CD tenía tuición sobre los aspectos técnicos del proceso, en especial en lo referente al DEMRE de la U. de Chile, entidad que administra la PSU17. El Consejo Técnico Asesor (CTA) era un organismo del CRUCh cuya misión era colaborar con el CD, con amplias atribuciones en materia de coordinación, supervisión y evaluación de la PSU. Se definía como la “entidad intermediadora entre el CD y los equipos técnicos 16

CRUCH (2004). Según el Acta Sesión 457, 29/4/2004.

A diferencia del caso chileno, en otros países los consejos directivos de las pruebas están constituidos por especialistas en medición. 17

Informe: Transparencia en evaluaciones e instrumentos de medición de altas consecuencias

responsables de la elaboración y aplicación de las pruebas de selección”. El CTA estaba formado por un grupo de académicos provenientes de las universidades del CRUCh, designados por el CD, el cual también designaba al presidente del CTA. A partir del 2004, el CTA estuvo constituido por los dos creadores de las pruebas PSU, un miembro del DEMRE (entidad elaboradora de la PSU) y otros tres académicos provenientes de universidades del CRUCh. El CTA del CRUCh fue la entidad que desarrolló los estudios evaluativos oficiales del CRUCh, dados a conocer a la opinión pública y que describían el supuesto buen funcionamiento de la PSU. Sólo algunas bases de datos empleadas por el CTA eran asequibles a los investigadores independientes. La falta de independencia de los estudios, la falta de transparencia en la entrega de información y los conflictos de interés fueron materia de denuncias por parte de académicos e investigadores a través de la prensa a lo largo de los años, las cuales no fueron respondidas por el CRUCh18 (en Anexo 1 se incluyen ejemplos). La falta de transparencia y el férreo control de la información permitieron mantener el statu quo sin corregir las falencias de las pruebas de admisión. La principal y más seria, la transgresión al principio de equidad para con los estudiantes de la educación media técnico-profesional al haber diseñado la PSU sobre la base del currículo de la enseñanza media científica-humanista. En el caso de la PSU existió una institucionalidad inadecuada que favoreció una toma de decisiones poco transparente y que permitió mantener ocultos los problemas de las pruebas ante la opinión pública, sin que ellos se resolvieran. En vista de ello, el 12 de abril del 2012, Fundación Pro Acceso junto a la Federación de Estudiantes de la Universidad Católica (FEUC), solicitó al Consejo para la Transparencia (CPLT) que, en ejercicio de sus facultades legales, diera curso a una instrucción o recomendación a las autoridades del

Entre otras: M. Koljatic y M. Silva. “Verdades oficiales de la PSU”. Arte y Letras de El Mercurio (22/11/2005); H. Beyer. “Equidad en PSU”. Cartas al Editor. Diario El Mercurio (17/1/2007); S. Prado. “Predicción y PSU”. Cartas al Editor. Diario El Mercurio (18/8/2008). 18

Informe: Transparencia en evaluaciones e instrumentos de medición de altas consecuencias

Estado con competencia en Educación, con el objetivo de mejorar los estándares de transparencia y acceso a la información en el proceso PSU 19. El CPLT se pronunció en respuesta al requerimiento el 23/5/2013, realizando una serie de recomendaciones para favorecer la transparencia en el proceso de desarrollo de las pruebas. Estableció que si bien existía abundante información disponible en la página web del DEMRE, ésta se refería al proceso de rendición de la prueba y no atendía a las necesidades de acceso de otros actores, como académicos y gestores de políticas públicas, entre otros.20 El aprendizaje que puede sacarse a partir del manejo de la PSU es que no basta con que existan consejos directivos para las pruebas de altas consecuencias. Éstos deben estar integrados por especialistas que no tengan conflictos de interés y deben operar bajo principios de transparencia, entregando acceso a la información y bases de datos a otros investigadores. Al igual que los directorios de empresas, debe existir una cara visible y sus miembros deben entregar información y responder de la calidad de su trabajo.

3.- CAMBIOS PROPUESTOS POR EL MINEDUC A LA INSTITUCIONALIDAD DE LA PSU A RAÍZ DEL INFORME DE PEARSON A la luz de la evidencia de mal funcionamiento de las pruebas revelado por el informe de Pearson, al ocultamiento de la información al respecto y a la pasividad de las autoridades a cargo del sistema de admisión para enmendar las falencias en la PSU, el entonces Ministro Harald Beyer propuso cambios medulares a la institucionalidad. Sugería el documento del MINEDUC que la nueva institución a cargo de las pruebas del sistema de admisión debía estar organizada como una entidad autónoma (fundación, corporación u otra de carácter similar) que rindiera cuentas de su desempeño.

Más información en: http://www.proacceso.cl/noticia/universitarios_y_acad_micos_abogan_por_la_transparencia_de_la_prueba 19

Documento íntegro disponible en: http://www.consejotransparencia.cl/consejo/site/artic/20130517/asocfile/20130517151116/oficio_psu.pdf http://www.consejotransparencia.cl/cplt-recomienda-medidas-para-una-mayortransparenciade-lapsu/consejo/2013-05-17/ 151116.html (Fecha de consulta: 6/7/2013). 20

Informe: Transparencia en evaluaciones e instrumentos de medición de altas consecuencias

La tuición de las pruebas del sistema de admisión recaería sobre un nuevo Consejo Directivo compuesto por 15 integrantes y en el cual estarían representados, pero no en forma única ni excluyente, los intereses del CRUCH. Así, 6 miembros serían elegidos por el CRUCh; 3 miembros serían elegidos por otras instituciones de educación superior; 4 miembros elegidos por el MINEDUC y también participarían 2 representantes de los establecimientos secundarios del país. El CD tendría que responder de la calidad y equidad, no sólo de las pruebas sino del sistema de admisión en su conjunto, además de dar cuenta de los cuantiosos fondos públicos invertidos en éste (los aranceles para rendir la PSU son cubiertos por fondos estatales para los alumnos de colegios municipales y particulares subvencionados). La Universidad de Chile tradicionalmente no ha rendido cuenta del uso de los fondos recibidos por concepto de la PSU. Los rectores del CRUCh rechazaron los cambios propuestos por el MINEDUC

para la

formación de una nueva institucionalidad, haciendo una defensa corporativa de sus derechos e insistiendo en mantener el control y la tuición sobre la PSU, abriéndose a introducir sólo cambios menores en la institucionalidad del sistema de admisión 21.

4.- CAMBIOS MENORES A LA INSTITUCIONALIDAD DE LA PSU Los cambios efectuados por el CRUCh en la institucionalidad de la PSU han sido, a la fecha, mínimos. Sigue existiendo un comité directivo compuesto exclusivamente por rectores del CRUCh y crearon la figura de una directora ejecutiva, designada por ellos mismos. La institucionalidad propuesta e implementada por el CRUCh ha sido calificada por observadores independientes como un cambio menor que mantiene el statu quo 22. Si bien se han anunciado cambios en el instrumento, en materia de equidad, las modificaciones anunciadas en la PSU distan de ser medulares y no se ajustan a las

La reacción del CRUCh ante la propuesta del MINEDUC fue ampliamente cubierta por los medios. A continuación van algunos links a noticias en medios escritos http://www.latercera.com/noticia/educacion/2013/03/657-514601-9-mineduc-critica-a-u-de-chile-por-defensacorporativa-sobre-control-de-la-psu.shtml; http://www.emol.com/noticias/nacional/2013/03/07/587327/rectoresresponden-a-beyer-por-psu.html. 21

Ver a modo de ejemplo dos editoriales de prensa al respecto: “¿Nueva institucionalidad para la PSU?”. Editorial Diario El Mercurio, 19/5/2013 (pg. A3); “Nuevos Cambios a la PSU”. Editorial Diario El Mercurio, 3/6/2013 (pg. A3). 22

Informe: Transparencia en evaluaciones e instrumentos de medición de altas consecuencias

recomendaciones formuladas en el informe de Pearson. En éste se sugiere reducción de contenidos en todas las pruebas, restringiendo los contenidos a evaluar a aquellos contenidos y aptitudes que son necesarias para tener una buena predicción del rendimiento, a fin de corregir el sesgo en la prueba a favor de los alumnos de la educación científica-humanista. Sin embargo, no se ha definido un cronograma de cambios en tal sentido para el mediano y el largo plazo. El único cambio anunciado se verifica en la prueba optativa de Ciencias para los alumnos de la educación técnica: ya no se verán obligados a rendir el módulo optativo de Biología, Química o Física, que examina contenidos de 3° y 4° Medio que no están contemplados en su currículo. No obstante, el cambio es tardío e insuficiente. Tardío puesto que como revelan las actas del CRUCh, sus creadores y los rectores sabían en el año 2001 que la solución en la PSU de Ciencias era muy fácil de implementar. Bastaba con eximirlos de rendir los módulos optativos, que es en la práctica lo que se hará a partir de la admisión del 2014. El cambio anunciado en la prueba de Ciencias es además insuficiente ya que la prueba más lesiva para las oportunidades de los alumnos de la enseñanza media técnicoprofesional, según datos del informe de Pearson, es la PSU de Matemáticas. Ésta, junto a la PSU de Lenguaje son las más relevantes, puesto que no sólo son exigidas para la admisión en todas las carreras ofrecidas por universidades del CRUCh y universidades privadas adscritas al sistema de admisión, sino que además sobre la base de los puntajes alcanzados en estas pruebas se adjudican becas y ayudas estudiantiles. El caso de la PSU refleja la desprotección de quienes son evaluados y la necesidad de generar una institucionalidad que vele por sus derechos. Al no existir una institucionalidad clara, se diluyen las responsabilidades y nadie se hace cargo de corregir los errores. A modo de ejemplo se cita a continuación un párrafo de una columna del rector de la U. de Chile en que denunciaba al Ministerio de Educación de mal uso de los puntajes de las pruebas PSU: …”Parece importante relevar (ya que la autoridad ministerial no lo ha hecho) que el informe Pearson de la PSU dejó al descubierto la inexistencia de estudios que avalen el uso de la PSU para fines de asignación de becas y créditos a los estudiantes. De este modo, el uso de este instrumento para fines distintos a aquellos para los cuales fue creado, sin la realización de los estudios y validaciones correspondientes, es algo que la autoridad deberá explicar al país y corregir. No

Informe: Transparencia en evaluaciones e instrumentos de medición de altas consecuencias

corresponde que el Consejo de Rectores cargue con las responsabilidades propias del Ministerio de Educación23.”

Sin embargo, en este caso, no es claro que la responsabilidad de mal uso recaiga exclusivamente en el Ministerio de Educación. Los estándares internacionales señalan al respecto que a menos que el CRUCh (vía CTA y/o DEMRE) hubiera informado al MINEDUC que no se debía usar los puntajes para estos efectos, el CRUCh no estaría libre de responsabilidad. La advertencia acerca de lo inapropiado de usar los puntajes para efectos que no fueran los de admisión estaban claros en el informe del ETS del 2005, el cual fue ocultado por la U. de Chile. Por lo tanto, previo a adscribir la responsabilidad en el mal uso al MINEDUC hay que aclarar que existió una advertencia en tal sentido. Si luego de haber sido advertido, el usuario no desarrollara los estudios necesarios, ciertamente estaría en falta24. Lo grave de la situación es que nadie se hace cargo de los errores ni de corregirlos. La falta de transparencia y la renuencia a reconocer y a corregir las falencias de las pruebas con el consiguiente perjuicio para los grupos más vulnerables de la población, culminó con la presentación ante los tribunales chilenos de un recurso de protección a favor de los alumnos de la educación técnica. Al no ser acogido, el caso fue llevado por Pro Acceso ante la Comisión Interamericana de Derechos Humanos 25. La judicialización del problema habla de las falencias de una institucionalidad que responda a las exigencias de calidad y equidad que plantean las evaluaciones de altas consecuencias en el país.

V. Pérez. “Admisión a las Universidades”. Columna Diario La Tercera (17/3/2013).

Los estándares de AERA, APA y NCME (1999) señalan al respecto : “The test developer should set forth clearly how test scores are intended to be interpreted and used…”. (ST. 1.2, pg. 17-18); “If validity for some common or unlikely interpretation has not been investigated…potential users should be cautioned…” (ST.1.3, pg. 18). “The conscientious developer of a standardized test attempts to screen and educate potential users” (p.111). 24

Denuncia presentada el 15/7/2012.

Informe: Transparencia en evaluaciones e instrumentos de medición de altas consecuencias

II.- REFLEXIONES A PARTIR DE LA PSU El caso de la PSU debe llevar a reflexionar acerca de la calidad de la institucionalidad de otras pruebas de altas consecuencias en el país. Surge naturalmente la pregunta de cuál es el contexto en que se manejan otras pruebas y evaluaciones de altas consecuencias y los antecedentes que están disponibles para evaluar si existe una institucionalidad adecuada para garantizar su calidad y equidad. En el caso de Chile, las consideraciones acerca de la institucionalidad cobran vital importancia, ya que en las pruebas de altas consecuencias hay un monopolio nacional. Cuando hay competencia, las agencias se ven forzadas a mantener altos estándares profesionales no sólo en relación con el público en general sino en relación con otras agencias que ofrecen similares servicios. Cuando no es posible (o conveniente) mantener una diversidad de instituciones que compitan por entregar el servicio—lo cual sucede a menudo en países pequeños como es el caso de Chile—es de la mayor importancia que existan mecanismos de transparencia, tales como contar con instituciones externas que controlen su desempeño. Sin una institucionalidad sólida, los sistemas de evaluación nacionales son fácilmente corruptibles. 26 El desarrollo de pruebas y sistemas de evaluación nacionales, por lo general comprometen cuantiosos recursos públicos de los cuales las entidades deben dar cuenta, algo que en el caso de la PSU no se ha cumplido.

¿QUÉ SUCEDE CON OTRAS PRUEBAS Y EVALUACIONES? A fin de evaluar el acceso a información para pruebas de altas consecuencias, Pro Acceso realizó una solicitud de acceso a la información pública, dirigida al Ministerio de Educación como al Ministerio de Salud 27, requiriendo, en general, información presupuestaria, de auditoría y existencia de estudios técnicos independientes que avalaran la calidad de los instrumentos. En relación con la Evaluación Docente, la respuesta oficial consistió en indicar cuáles han sido los procesos de licitación 28 y Heyneman, S. (1987). “Uses of Examinations in Developing Countries: Selection, Research and Education Sector Management”. IJED, 7(4), 251-263. 26

Realizada el día 13 de mayo y con respuesta el día 5 de junio de 2013.

Procesos de licitación ID son 2079-1-LS11, 2079-1-LS12 y 2079_25-LS13, disponibles en www.mercadopublico.cl

Informe: Transparencia en evaluaciones e instrumentos de medición de altas consecuencias

reconocer la inexistencia de auditorías. En relación con la última de estas peticiones, se adjuntó un documento realizado por académicos en el marco de un convenio de colaboración PNUD/MINEDUC, más no constituye una evaluación al instrumento al estilo de la realizada por ETS en 2005 o Pearson en 2013.29 No obstante, la respuesta del ministerio informaba acerca de la existencia de una auditoría en curso desarrollada por la OCDE. El caso de EUNACOM es más complejo y más parecido a la situación que se vive con la PSU. Primero, porque oficialmente no es una prueba que dependa del Ministerio de Salud, aun cuando hasta el año 2012 era un requisito para postular a cargo médicos en los servicios de salud pública. El ministerio es un usuario de los puntajes, pero no tiene control sobre la prueba, de la misma manera que el Ministerio de Educación es usuario de los puntajes de la PSU para efectos de asignar beneficios, pero sin control sobre ella. La prensa ha informado recientemente de problemas con EUNACOM. A raíz de una situación de filtración de preguntas del examen el Ministerio de Salud (MINSAL) optó por no seguir empleando el instrumento. Así como el EUNACOM, la Evaluación Docente ha sido blanco de críticas puesto que uno de sus instrumentos, la creación de un portafolio (en el cual el profesor debe presentar evidencia que dé cuenta de su mejor práctica pedagógica), se puede comprar en el mercado: “Una simple búsqueda en internet muestra que él puede ser adquirido por valores que van desde 70 mil hasta 200 mil pesos, en un activo mercado virtual” 30. Más allá de escandalizarse por las faltas que dichas situaciones entrañan, la gravedad del hecho es que se afecta la validez del uso de los puntajes en las pruebas. Ante ello cabe preguntarse, ¿quién responde o quién se hace cargo? En la respuesta a esta pregunta entra en juego la institucionalidad. El EUNACOM es “encargado por el Estado a la Asociación de Facultades de Medicina de Chile (ASOFAMECH)”31. En su organigrama, al igual que en el caso de la PSU, se advierte

Alvarado, Macarena, Cabezas, Gustavo y otros: “La Evaluación Docente y sus instrumentos: discriminación del desempeño docente y asociación con los resultados de los estudiantes”. 29

S. Urzúa. “Al maestro con cariño”. Columna de Opinión. El Mercurio (22/7/2013).

Fuente: www.asofamech.cl. (Fecha de consulta: 6/7/2013).

Informe: Transparencia en evaluaciones e instrumentos de medición de altas consecuencias

que la institucionalidad no contempla un ente autónomo que la desarrolle ni una instancia técnica externa e independiente que avale la calidad del examen (ver Anexo 2). Al igual que en el caso de la PSU, en la institucionalidad no se advierte participación de los principales stakeholders interesados en el proceso de evaluación. Por ejemplo, no hay presencia de miembros designados por el Ministerio de Salud que es uno de los principales usuarios del sistema al exigir la aprobación del examen para ejercer en el sistema de salud público. En la misma línea, en el caso de la Evaluación Docente, sin embargo, no está explícitamente descrita la institucionalidad en la página web y tampoco se presenta un organigrama con identificación de personas responsables. Se señala al respecto en la página web: “La Evaluación Docente está a cargo del Ministerio de Educación, a través del Centro de Perfeccionamiento, Experimentación e Investigaciones Pedagógicas (CPEIP). Para su ejecución, el Ministerio de Educación ha encargado la asesoría técnica de MIDE UC, Centro de Medición de la Universidad Católica de Chile. En este Centro se constituye el Equipo Docente más, responsable de desarrollar las distintas acciones y materiales que requiere el proceso de evaluación, tanto en sus aspectos técnicos como operativos.”

Surge la interrogante, ¿quién se hace responsable del buen (o mal)

funcionamiento de la Evaluación Docente? Al parecer nadie, puesto que ante la grave denuncia acerca de la venta de portafolios en la Evaluación Docente, no hubo respuesta oficial alguna. En cuanto a la calidad de EUNACOM y Evaluación Docente como instrumentos de medición, no hay en sus páginas web referencia a estudios o auditorías llevadas a cabo por entidades independientes y que avalen la calidad de las pruebas y la racionalidad del uso de los puntajes de corte para asignar beneficios. Si tales estudios existen, no son fácilmente asequibles33. Por tratarse de instrumentos de altas consecuencias, es necesario

Fuente: www.docentemas.cl (Fecha de consulta: 9/7/2013).

En la actualidad hay un estudio en curso acerca de la calidad de la Evaluación Docente solicitado a la OCDE y financiado por el MINEDUC (Fuente: Respuesta a solicitud de información AJ-001W1557132 del 13/5/2013). 33

Informe: Transparencia en evaluaciones e instrumentos de medición de altas consecuencias

incorporar una mirada independiente en la forma de auditorías periódicas para verificar la calidad técnica del examen y la validez de los puntos de corte empleados por el MINSAL y la definición categorías que se emplean en la Evaluación Docente 34. Dada la importancia de las decisiones que se toman sobre la base de los puntajes de estas pruebas de altas consecuencias existe un imperativo moral de evaluarlas en forma seria y rigurosa y de dar el más amplio acceso a las bases de datos empleadas a otros investigadores de manera que los estudios puedan ser replicados y extendidos.

A raíz de la denuncia de filtración de preguntas en el examen médico en diciembre del 2012, en la página web de EUNACOM (www.eunacom.cl) se anunció la creación una mesa de trabajo conjunta con Minsal y otros stakeholders para estudiar los siguientes puntos: traspasar la administración del examen a un organismo autónomo; excluir a las escuelas de medicina de la elaboración y revisión de las preguntas; revisar la forma de publicación de resultados y revisar la forma de entrega del resultado individual (con o sin puntaje). No se menciona, sin embargo, el tema del estudio de los puntos de corte. 34

Informe: Transparencia en evaluaciones e instrumentos de medición de altas consecuencias

CONCLUSIONES Una de las más claras lecciones que pueden extraerse a partir de los errores de la PSU es que no debe subestimarse la importancia de la institucionalidad a través de la cual se manejan las pruebas de altas consecuencias. La calidad de los instrumentos y la fe pública en las evaluaciones dependen en gran medida de ésta. Debe existir un ente autónomo que rinda cuentas acerca de la calidad del instrumento para el propósito que se emplea ante un directorio en que estén representados todos los principales stakeholders. Quienes participan en el proceso de construcción de las pruebas o desempeñan funciones de asesores no deben ser los únicos con acceso a los datos ni pueden constituirse en los evaluadores oficiales de las pruebas. En aras de la transparencia es clave otorgar acceso a los informes así como a las bases de datos empleadas en las evaluaciones oficiales para promover la investigación en torno a los instrumentos de medición, contribuyendo además a la transparencia y fe pública en el sistema. Idealmente, se debería contemplar la realización de auditorías independientes y periódicas del sistema de evaluación, realizadas por expertos internacionales sin conflictos de interés a fin de garantizar una evaluación imparcial y objetiva, resguardando la fe pública en el sistema de pruebas. Manejar las pruebas de altas consecuencias como quien dirige “una liga amateur”

conlleva el riesgo de judicializar los errores y gestar las

condiciones para una moratoria al uso de pruebas.

Así definió la forma como se manejó la PSU desde el CRUCh uno de los creadores de la prueba y miembro del CTA. Ver “La PSU Rinde Examen”, Revista Qué Pasa, 07/12/2012. 35

Informe: Transparencia en evaluaciones e instrumentos de medición de altas consecuencias

ANEXOS ANEXO 1: EJEMPLOS DE DENUNCIAS EN PRENSA (EN ORDEN CRONOLÓGICO). Extracto de M. Koljatic y M. Silva (“Las “Verdades Oficiales” de la PSU”, El Mercurio, 27/11/2005) que resalta la falta de independencia y de objetividad en las evaluaciones oficiales acerca de la calidad de la PSU. ¿INDEPENDENCIA? El Comité Técnico Asesor [CTA] no es un comité independiente [al estar conformado por los creadores de las pruebas y quienes las elaboran]… Se entrega la menor información posible, los errores se mantienen en reserva y la opinión pública recibe comunicaciones parciales, engañosas o ilusorias… Para restaurar la confianza perdida en el sistema, el DEMRE —u otra entidad independiente— debe constituirse como una organización autónoma, sin fines de lucro y enfocada en desarrollar un trabajo técnico de calidad. El DEMRE (u otra entidad) deben tener autonomía en su manejo presupuestario y estar obligados a reinvertir sus excedentes en mejorar las pruebas, así como responder ante la comunidad académica y ante la opinión pública por la calidad de su trabajo. Extracto de una carta de H. Beyer (“Equidad en PSU”, Cartas al Editor, El Mercurio, 17/1/2007)

objetando las conclusiones de un trabajo presentado por uno de los

creadores de la PSU y miembro del CTA del CRUCh a la prensa, en el cual entregaba datos equívocos con respecto a la equidad de las pruebas: “Equidad en PSU” Señor Director: A propósito del interesante debate sobre equidad y PSU que presentase “El Mercurio” el domingo pasado… la comparación entre instrumentos no puede hacerse [como la presenta el miembro del CTA del CRUCh]… Muchos investigadores no podemos desarrollar estudios más acuciosos porque no podemos acceder a las bases de datos correspondientes. Curioso, ¿no?

Informe: Transparencia en evaluaciones e instrumentos de medición de altas consecuencias

(III) Extracto de una carta de S. Prado (“Predicción y PSU”, Cartas al Editor, El Mercurio, 18/8/2008), objetando las conclusiones de estudios oficiales del CTA del CRUCh a la vez que denunciaba la falta de acceso a las bases de datos: “Predicción y PSU” Sr. Director: Acabo de hacer mi tesis sobre la PSU y obtuve resultados que no son consistentes con los reportados en el Estudio de Validez Predictiva realizado por el Comité Técnico Asesor del Consejo de Rectores, y que aparece mencionado en su edición del Viernes 15 del presente. Quise aclarar la causa de esta inconsistencia y procedí a solicitar la base de datos que el Comité Técnico Asesor dejó disponible a partir del 14 de Agosto de este año. Sin embargo, al hacerlo, me percaté de que no entregan toda la información necesaria para poder replicar sus resultados. La entrega de una base que no esté ligada al desempeño de los estudiantes en la universidad (y que sólo contenga información de la admisión) impide realizar investigación asociada a la validez predictiva del sistema de admisión vigente, ya que el desempeño en la universidad, tal como se menciona en el estudio en cuestión, es el criterio más ampliamente usado para este objetivo. Además al no contar con la identificación de los colegios de procedencia, se coarta la posibilidad de incorporar la calidad educativa escolar (medida a través del SIMCE) dentro del estudio y ver el impacto que esta tiene en el desempeño futuro. En aras de la transparencia, no es razonable que sólo tengan acceso a los datos quienes desarrollan las pruebas. Además, el acceso público a estos datos permitiría resolver dudas que surgen a partir de la lectura del estudio del Comité Técnico Asesor, como por ejemplo: el tratamiento que se dio a los cambios curriculares ocurridos durante el período de estudio; las consideraciones que se hicieron para alumnos que reprobaban ramos el primer semestre y que le impedían tomar ramos "clave" el segundo y finalmente el tratamiento que se dio a alumnos que convalidaban ramos o ingresaban a través de canales de admisión especial.

Ninguna de estas cartas recibió respuesta.

Informe: Transparencia en evaluaciones e instrumentos de medición de altas consecuencias

ANEXO 2: ORGANIGRAMA EUNACOM36

El Consejo de Decanos de ASOFAMECh delega la administración del examen en el Director del EUNACOM, quien cuenta con la asesoría de un Consejo de Directores y de un Consejo Estadístico. Las decisiones que afecten al contenido del examen, tales como los temas cubiertos o la proporción de preguntas de cada tema, deben ser tomadas por el Consejo de Directores. El Director cuenta con la asesoría de un Consejo Estadístico para efectos de escalas de puntaje, análisis de resultados y diseño del examen. La coordinación de los Comités Técnico y de Contenidos está a cargo del Sub-Director Académico y los aspectos administrativos del examen a cargo del Sub-Director Administrativo, quien además está encargado de la coordinación de la sección práctica del examen en las distintas escuelas.

Fuente: http://www.eunacom.cl/organizacion/organizacion.html