Pro F u
Acceso n
d
a
c
i
รณ
n
Informe:
Acceso a la informaciรณn y sistemas de mediciรณn en educaciรณn en Chile:
El caso de las pruebas de admisiรณn
A CCESO A LA INFORMACIÓN Y SISTEMAS DE MEDICIÓN EN EDUCACIÓN EN C HILE : EL CASO DE LAS PRUEBAS DE ADMISIÓN
Informe:
Acceso a la información y sistemas de medición en educación en Chile:
El caso de las pruebas de admisión UNA PUBLICACIÓN DE FUNDACIÓN PRO ACCESO
Mladen Koljatic M. Mónica Silva R.
El informe está disponible en www.proacceso.cl
Permitida su reproducción total o parcial, así como su traducción a cualquier idioma siempre que se cite la fuente y no se utilice con fines lucrativos.
www.proacceso.cl
1
A CCESO A LA INFORMACIÓN Y SISTEMAS DE MEDICIÓN EN EDUCACIÓN EN C HILE : EL CASO DE LAS PRUEBAS DE ADMISIÓN
ÍNDICE Resumen .............................................................................................................................................. 3 Introducción ........................................................................................................................................ 4 Diferencias entre el sistema PAA‐PCE y la PSU ................................................................................... 5 El cambio de la PAA‐PCE por el SIES‐ PSU: proyecto FONDEF ............................................................ 6 Auditoría de la PSU por el Educational Testing Service( ETS) ............................................................. 7 La demanda por el informe del Educational Testing Service (ETS) ..................................................... 9 Las peticiones de una nueva evaluación de la PSU ........................................................................... 10 La promesa de una auditoría transparente ...................................................................................... 11 Impacto de la falta de transparencia: dificultades en el acceso a la información y mantención del statu quo ........................................................................................................................................... 14 Comentarios Finales .......................................................................................................................... 16
www.proacceso.cl
2
A CCESO A LA INFORMACIÓN Y SISTEMAS DE MEDICIÓN EN EDUCACIÓN EN C HILE : EL CASO DE LAS PRUEBAS DE ADMISIÓN
RESUMEN En el ámbito de la educación, las pruebas de admisión a las universidades del Consejo de Rectores de Universidades Chilenas (CRUCH) son un caso de pruebas de altas consecuencias para los individuos que las rinden. No son las únicas: las pruebas de egreso y titulación, tales como la prueba INICIA, el Examen Médico Nacional y la Evaluación Docente, también caen bajo este rubro. Las instituciones que las diseñan e implementan tienen el deber de evaluarlas, pero no debieran ser las únicas en hacerlo. El acceso a la información a académicos independientes es de gran importancia para monitorear su calidad y garantizar que éstas cumplen con los características requeridas para ser legítimamente utilizadas para propósitos de selección. En Chile hay poca conciencia por parte de la sociedad civil de que quienes son evaluados tienen derecho a exigir que las pruebas empleadas para tal efecto cumplan con estándares mínimos de calidad. En el caso particular de la prueba de selección universitaria (PSU), ello se ha visto dificultado por las restricciones impuestas a académicos independientes para lograr acceso a la información que permita corroborar la calidad de su funcionamiento y equidad para todos los grupos que la rinden. Toda prueba de altas consecuencias individuales, especialmente si es financiada con fondos públicos, debe ser objeto de un cuidadoso escrutinio, realizado en forma periódica por entidades independientes, carentes de conflictos de interés y que den cuentas a la comunidad académica y la sociedad civil de la calidad y equidad de éstas para ser legítimamente utilizadas en la toma de decisiones. A la luz de lo sucedido en Chile con respecto a la PSU, debe estudiarse la posibilidad de introducir cambios en la institucionalidad de la prueba, con miras a resguardar los intereses y derechos de quienes son evaluados.
www.proacceso.cl
3
A CCESO A LA INFORMACIÓN Y SISTEMAS DE MEDICIÓN EN EDUCACIÓN EN C HILE : EL CASO DE LAS PRUEBAS DE ADMISIÓN
INTRODUCCIÓN Las pruebas de admisión a las universidades conllevan muy altas consecuencias para quienes las rinden porque el acceso a universidades prestigiosas tiene gravitación en su vida laboral y en sus expectativas de ingresos futuros. En países como Chile, el acceso a carreras prestigiosas en universidades de reconocida calidad está altamente asociado a la movilidad social. Por tratarse de pruebas de altas consecuencias,
el acceso a la información es vital para protegerlo de
corrupción y garantizar la transparencia en todas las etapas del proceso. Durante años, el sistema universitario chileno fue un sistema de élite. Hasta la década del sesenta, se accedía a la universidad mediante el bachillerato. Al aumentar la demanda por acceso, el sistema de bachillerato resultó ineficiente, además de prestarse para críticas acerca de su falta de estandarización y, por ende, de la subjetividad en los resultados ya que estos dependían del criterio de la comisión. Así, con la expansión de la demanda por acceso a las universidades de los años sesenta, se desarrolló un conjunto de pruebas estandarizadas para reemplazar al bachillerato. Estas consistían en dos pruebas de
razonamiento (verbal y
matemático) sobre la base de conocimientos simples: la Prueba de Aptitud Académica (PAA). Éstas eran complementadas con pruebas de conocimientos específicos (PCE) que evaluaban manejo de contenidos en matemáticas, física, química, biología, ciencias sociales y arte. La base del sistema de admisión eran las notas de Enseñanza Media y las PAA, puesto que las PCE eran requeridas sólo para algunas carreras del sistema universitario. La batería de pruebas del sistema PAA-PCE, al igual que el bachillerato que las precedió, eran implementadas por la Universidad de Chile. Los resultados de las PAA-PCE eran publicados en el diario El Mercurio, como así también los resultados del proceso de selección. Si bien más de algún postulante habría preferido saltarse el bochorno de ver su puntaje impreso, el procedimiento www.proacceso.cl
4
A CCESO A LA INFORMACIÓN Y SISTEMAS DE MEDICIÓN EN EDUCACIÓN EN C HILE : EL CASO DE LAS PRUEBAS DE ADMISIÓN
público y centralizado de admisión contribuía a la transparencia del sistema. Posteriormente, para resguardo de la privacidad, empezaron a publicarse los resultados con el RUT del postulante, omitiendo el nombre.
DIFERENCIAS ENTRE EL SISTEMA PAA-PCE Y LA PSU La batería de pruebas PAA-PCE se usó por más de tres décadas en el país. La decisión de cambiar la batería en uso se tomó en el marco de la implementación de la reforma curricular de la educación media de fines de los años 90, la cual fue financiada con fondos del Banco Mundial. El Ministerio de Educación (MINEDUC) debía por tanto garantizar la sustentabilidad de la reforma y evaluar sus resultados1.
Así, en el año 2000, el MINEDUC convocó a una comisión para
estudiar el nuevo currículum y las pruebas de la educación superior, donde estaban representados una variedad de stakeholders del sistema de selección, entre ellos quienes liderarían el proyecto Nuevo Sistema de Ingreso a la Educación Superior (SIES) que dio origen a la PSU. Las nuevas pruebas, a diferencia de la anterior PAA, estarían orientadas no sólo a seleccionar alumnos para las universidades, sino que cumplirían un segundo propósito: evaluar los aprendizajes de la enseñanza media en seis asignaturas, mediante cuatro pruebas obligatorias: Lenguaje y Comunicación, Matemática, Ciencias (Química, Biología y Física) y Ciencias Sociales. Dado su doble propósito de selección y evaluación de la educación media, las pruebas incluirían el 100% de los contenidos mínimos del currículum de la enseñanza medio científico-humanista susceptible de ser evaluados mediante preguntas de selección múltiple2.
1
The World Bank (2001, Octubre 19). “Implementation Completion Report (CPL‐38830;SCL 38836) on a Loan in the Amount of U.S. $35 Million to the Republic of Chile for a Cl‐Secondary Education”. Latin America and the Caribbean Regional Office. Washington DC. 2 Comisión Nuevo Currículum de la Enseñanza Media y Pruebas del Sistema de Admisión a la Educación Superior (2000, Nov. 22). Informe sometido en consulta previa a la ministra de educación.
www.proacceso.cl
5
A CCESO A LA INFORMACIÓN Y SISTEMAS DE MEDICIÓN EN EDUCACIÓN EN C HILE : EL CASO DE LAS PRUEBAS DE ADMISIÓN
EL CAMBIO DE LA PAA-PCE POR EL SIES- PSU: PROYECTO FONDEF El cambio de la PAA al SIES fue precedido por una intensa controversia. En el año 2002, al conocerse algunos aspectos de las nuevas pruebas, surgieron fundadas dudas con respecto a la calidad del proyecto FONDEF que estaba sustentando el cambio. Los tiempos especificados para el desarrollo de las nuevas pruebas, el fundamento teórico sobre el cual se desarrollaban éstas
y la evidencia
presentada por sus autores con respecto a los supuestos beneficios asociados al cambio fueron puestos en tela de juicio. A modo de ejemplo, el formato de preguntas de las nuevas pruebas (ítems de respuesta graduada) fue duramente cuestionado por investigadores independientes, ya que se podían responder acertadamente mediante un truco lógico, sin necesidad de conocer el contenido evaluado.3 A lo anterior, se añadía la omisión en el proyecto de un marco de validación apropiado para evaluar el cumplimiento de los beneficios esperados y las legítimas dudas que surgían de si era prudente cambiar pruebas de escasos contenidos por otras de extensos contenidos en un país con alta desigualdad en el acceso a la educación de calidad. Las falencias del proyecto SIES desde una perspectiva técnica eran tantas y tan evidentes que no podrían haber sido ignoradas por especialistas en medición, con lo cual se justificaba preguntarse: ¿Quiénes evaluaron el proyecto SIES? ¿Cuáles eran sus calificaciones profesionales? ¿Cuál su filiación institucional? ¿Habían
aprobado
reformulación?
Las
el
proyecto
preguntas
sin
observaciones
quedaron
sin
que
respuesta,
obligaran puesto
a
que
su las
evaluaciones de los proyectos, incluso las de proyectos que han sido aprobados y financiados por FONDEF, no son de acceso público. Luego de la controversia por las limitaciones del SIES y conscientes de las dificultades que había tenido el proyecto, las autoridades optaron por cambiarle
3
Dussaillant, F. (2002). Debate Público: Comportamiento Estratégico y Respuestas Graduadas en el SIES. Estudios Públicos, 87, 345‐368. Comisión de Matemáticas CEP (2002), El SIES y la Matemática. Estudios Públicos, 87, 369‐394.
www.proacceso.cl
6
A CCESO A LA INFORMACIÓN Y SISTEMAS DE MEDICIÓN EN EDUCACIÓN EN C HILE : EL CASO DE LAS PRUEBAS DE ADMISIÓN
el nombre, primero por PAT (Prueba de Admisión de Transición) y luego a PSU (Prueba de Selección Universitaria). Las diferencias con respecto al SIES eran menores: se eliminaron las preguntas graduadas, los postulantes estarían obligados a rendir sólo tres de las cuatro pruebas y los contenidos a incluir en las primeras versiones de las pruebas fueron reducidos, incrementándose año a año hasta llegar a incorporar el 100% de los contenidos curriculares de la modalidad científica-humanista evaluables mediante pruebas de alternativas en el proceso de admisión 2007. A continuación se
describen algunas instancias
en que se han generado
dificultades en el acceso a información relativa al sistema de admisión.
AUDITORÍA DE LA PSU POR EL EDUCATIONAL TESTING SERVICE( ETS) Luego del debut de la PSU para el proceso de admisión 2004 y de los magros resultados de su primera aplicación, el Departamento de Evaluación, Medición y Registro Educacional (DEMRE) de la Universidad de Chile fue blanco de ataques y críticas por supuestos errores en la transformación de puntajes en la PSU de Matemáticas. En noviembre del año 2003, luego del primer ensayo de la PSU, el Rector de la Universidad de Chile había vaticinado que los puntajes mínimos para ingresar a las carreras el 2004 aumentarían4. Sin embargo, erró totalmente en la predicción y alumnos que tenían suficiente puntaje para entrar a los planteles tradicionales, se matricularon en universidades privadas pensando que sus puntajes no eran lo suficientemente altos. Las universidades, por su parte, mantuvieron los mismos puntos de corte que usaban con la PAA y no llenaron sus cupos en carreras que tradicionalmente tenían alta demanda.5 Ante las críticas al DEMRE y para evitar nuevos tropiezos en la segunda aplicación de la PSU, el Rector de la U. de Chile contrató ese mismo año al prestigioso Educational Testing Service (ETS) para realizar una evaluación de las nuevas
4
“Alumnos Lograron Mejores Puntajes en la PSU comparado con la PAA” (2003, 28 de noviembre). Diario La Segunda. 55 “UES Tradicionales No Logran Llenar Vacantes” (2004, 23 de enero). Diario La Segunda.
www.proacceso.cl
7
A CCESO A LA INFORMACIÓN Y SISTEMAS DE MEDICIÓN EN EDUCACIÓN EN C HILE : EL CASO DE LAS PRUEBAS DE ADMISIÓN
pruebas de admisión. La auditoría fue publicitada como “la acreditación de la PSU” por la autoridad máxima de la Universidad de Chile.6 No obstante, una vez entregado el informe del ETS a las autoridades de la Casa de Bello, éste no fue dado a conocer a la opinión pública. Con la única evaluación independiente de la PSU mantenida en secreto, los únicos reportes oficiales dados a conocer por el Comité Técnico Asesor del CRUCH fueron realizados por los propios creadores de las pruebas y personal del DEMRE. Sus evaluaciones oficiales se
caracterizaban por ser complacientes y
marcadamente optimistas con respecto al funcionamiento de la PSU. Los análisis eran parciales, sus autores no respondían a las críticas metodológicas a sus estudios, ni estaban disponibles las bases de datos para investigadores independientes. 7 Un ejemplo de ello fue el primer estudio de validez predictiva de la PSU, dado a conocer a través de los medios de comunicación y que adolecía de serias falencias metodológicas8. En reiteradas oportunidades, se presentaban resultados de estudios a través del diario, sin que los datos fueran accesibles para replicar la información oficial que merecía dudas. Por ejemplo, un reconocido experto educacional protestaba desde la tribuna de un diario de alta circulación por un estudio oficial del Comité Técnico Asesor del CRUCH que negaba el crecimiento de la brecha de rendimiento en la PSU, con el consiguiente perjuicio para los grupos más vulnerables del país: “Muchos investigadores no podemos desarrollar estudios más acuciosos porque no podemos acceder a las bases de datos correspondientes. 6
http://noticias.universia.cl/vida‐universitaria/noticia/2004/10/22/344256/universidad‐chile‐firma‐ convenio‐prestigioso‐organismo‐internacional‐evalua‐psu.html 7 Este tipo de estudio se denomina “pseudoevaluación”. Se trata de estudios dirigidos a construir una imagen positiva de una política o programa ( Stufflebeam, D. y Webster,W. (1980). “An analysis of Alternative Approaches to Evaluation”. Educational Evaluation and Policy Analysis, 2(3), 5‐20). 8
Comité Técnico Asesor del CRUCH (2006). “Estudio Acerca de la Validez Predictiva de los Factores de Selección a las Universidades del Consejo de Rectores”. Dicho estudio fue criticado en la revista Estudios Públicos (http://www.cepchile.cl/dms/lang_1/doc_3863.html), sin respuesta por parte de los miembros del Comité Técnico Asesor del CRUCH.
www.proacceso.cl
8
A CCESO A LA INFORMACIÓN Y SISTEMAS DE MEDICIÓN EN EDUCACIÓN EN C HILE : EL CASO DE LAS PRUEBAS DE ADMISIÓN
Curioso, ¿no?”
9
En la misma línea, otro investigador señalaba: “En aras de la
transparencia, no es razonable que sólo tengan acceso a los datos quienes desarrollan las pruebas”.10 Ninguno de ellos recibió respuesta a pesar de que el acceso a los datos y transparencia en los procedimientos es una característica del quehacer científico y un requisito para el progreso en el conocimiento: los estudios deben ser replicables y verificables. Así pasaron dos años donde académicos, líderes de la sociedad civil y representantes estudiantiles veían aumentar la brecha de rendimiento a favor de los alumnos de colegios particulares pagados, pedían que se entregara
el
informe del Educational Testing Service con respecto a la PSU y que las bases de datos empleadas por los evaluadores oficiales de la PSU
fueran de acceso
público para los académicos. En el caso del informe del ETS, al solicitar el documento a la U. de Chile, sus autoridades adujeron que existirían cláusulas de confidencialidad impuestas por el ETS que impedirían que se hiciera público el informe. Consultadas al respecto, altas autoridades del ETS negaron que así fuera y afirmaron que el informe era propiedad de la U. de Chile y que podían entregarlo o no, a voluntad. Todo ello parecía indicar que en el tema de la PSU no existía la voluntad de dar acceso a la información.
LA DEMANDA POR EL INFORME DEL EDUCATIONAL TESTING SERVICE (ETS) Luego de infructuosas gestiones y reiteradas peticiones por parte de académicos, líderes estudiantiles y de la sociedad civil, las cuales fueron sistemáticamente ignoradas por las autoridades universitarias, se optó por recurrir a una solicitud de información por la vía de tribunales. Así, en el año 2007, Fundación Pro Acceso representó al presidente de la Federación de Estudiantes de la Universidad Católica (FEUC) quien junto a un grupo de académicos (caso Zavala Guzman vs. 9
Harald Beyer. “Equidad en PSU”. Carta al Editor 17/1/2007. El Mercurio. Sebastián Prado. “Predicción y PSU”. Carta al Editor, 8/19/2008. El Mercurio.
10
www.proacceso.cl
9
A CCESO A LA INFORMACIÓN Y SISTEMAS DE MEDICIÓN EN EDUCACIÓN EN C HILE : EL CASO DE LAS PRUEBAS DE ADMISIÓN
Rector Universidad
de Chile Rol 13286-2007 19° Juzgado Civil) elevaron una
petición ante la justicia para lograr acceso al informe. El tribunal en el caso denegó la petición de acceso a la información, acogiendo y avalando la postura de la U. de Chile por cuestiones meramente formales11. Entre sus argumentos, los abogados de la U. de Chile sostenían que dar a conocer el informe comprometía la autonomía de la universidad, a la que no le serían aplicables las normas de transparencia contenidas en la Ley N° 19.653, y también poniendo en riesgo los intereses comerciales de dicha casa de estudios.
LAS PETICIONES DE UNA NUEVA EVALUACIÓN DE LA PSU En vista de que la U. de Chile se negó a entregar el informe del Educational Testing Service, entre un grupo de académicos, estudiantes y líderes de la sociedad civil cobra fuerza la idea de aunar esfuerzos para solicitar una nueva evaluación independiente de la PSU. Todos los actores sociales reiteraban la necesidad de que la auditoría abordara el tema esencial de si la PSU era una prueba adecuada y legítima para ser usada en todos los grupos que la rendían. Especial preocupación causaba el aumento anual de las brechas de rendimiento entre el grupo de alumnos de los colegios particulares pagados, cuyos puntajes crecían año a año por sobre los de los colegios municipales (principalmente los de establecimientos técnico profesionales) que atendían a los grupos más vulnerables de la población. Cabe recordar acá que la PSU estaba diseñada en torno al currículum de la enseñanza media científico-humanista, al cual los alumnos de la modalidad técnico profesional no estaban expuestos. Así, en el año 2008 Fundación Equitas lanzó una campaña para solicitar una evaluación independiente de la PSU, esta vez de carácter público. Por su parte, los
líderes de las sucesivas generaciones de la CONFECH, asesorados por la
Fundación Pro Acceso, elevaron en los años siguientes solicitudes al Ministerio de 11
Sentencia caso Zavala Guzmán vs. Rector Universidad de Chile Rol 13286‐2007 19° Juzgado Civil disponible en: http://civil.poderjudicial.cl/CIVILPORWEB/DownloadFile.do?TIP_Documento=3&TIP_Archivo=3&COD_Opcio n=1&COD_Tribunal=277&CRR_IdTramite=11975812&CRR_IdDo
www.proacceso.cl
10
A CCESO A LA INFORMACIÓN Y SISTEMAS DE MEDICIÓN EN EDUCACIÓN EN C HILE : EL CASO DE LAS PRUEBAS DE ADMISIÓN
Educación (MINEDUC) para tener un proceso de licitación y auditoría transparentes. Existía conciencia entre quienes solicitaban la evaluación de la PSU de que los alcances de una auditoría podían fácilmente malograrse y convertirse en una mera pseudoevaluación de no resguardarse el proceso de licitación. En una reunión conjunta entre líderes de la sociedad civil, académicos, estudiantes y especialistas en transparencia, se enfatizó la necesidad de monitorear el proceso de manera que éste no se desvirtuara.
LA PROMESA DE UNA AUDITORÍA TRANSPARENTE Ante el anuncio de que la PSU sería sometida a una auditoría durante el primer semestre del año 2009, los presidentes de la Federación de Estudiantes de la Universidad de Chile (FECH), de la Federación de Estudiantes de la Universidad Católica (FEUC) y de la Federación de Estudiantes de la Universidad de Santiago de Chile (FEUSACH), le dirigieron una carta a la Ministra de Educación y al Consejo de Rectores. En ella insistían en que dicha auditoría fuera realizada “con los máximos estándares de transparencia, con el objeto de asegurar que [a diferencia de lo sucedido con el informe de la PSU] sus resultados sean conocidos por todo el país”12. Sin embargo, la auditoría no se materializó ese año. Al año siguiente, ante las noticias de que se estaba avanzando en la concreción de la auditoría internacional para el segundo semestre, la nueva CONFECH manifestaba su preocupación por el desarrollo de los términos de referencia para la licitación. Mediante una carta a la Ministra de Educación pedían formalmente tener acceso a las bases técnicas y términos de referencia, y la instaban a “expresar los procedimientos que se ocuparán para la adjudicación de la auditoría, además de los criterios de transparencia que se adoptarán para la elección del comité auditor...”.13 Al no recibir respuesta satisfactoria, dos semanas después volvieron a la carga, esta vez derechamente cuestionando la forma
12
La Nación, 29/01/2009. La petición fue formulada por los presidentes de las federaciones de estudiantes de las universidades de Chile, PUC, USACH, Federico Santa María sede Santiago y el Secretario General de la Federación de Estudiantes de la Universidad de Valparaíso (FEUV) sede Santiago. 13
www.proacceso.cl
11
A CCESO A LA INFORMACIÓN Y SISTEMAS DE MEDICIÓN EN EDUCACIÓN EN C HILE : EL CASO DE LAS PRUEBAS DE ADMISIÓN
como se estaba gestando la tan prometida auditoría. En palabras del presidente de la Federación de Estudiantes de la FECH de la época: “Queremos abogar por la transparencia de todos los mecanismos de selección de las instituciones, de los resultados y de las consecuencias sociales…Queremos conocer las bases de esta auditoría para asegurar que ahí se den garantías de calidad, de transparencia y de bien común”14. Sin recibir respuesta a su solicitud de información acerca del proceso de elaboración de los términos de referencia, los líderes estudiantiles de la CONFECH continuaban expresando su disconformidad con la forma en que se estaba llevando a cargo el proceso, en particular que el comité tripartito constituido para redactar los términos de referencia de la licitación incluyera a los responsables de las pruebas: miembros del Comité Técnico Asesor de Rectores y de la U.de Chile. Una nota periodística de El Mercurio15 recogía el malestar del Presidente de la Federación de Estudiantes de la Universidad Católica: “No es posible que los mismos que hicieron la PSU y que la administran, ahora decidan la forma en que se va a evaluar…
Nos parece preocupante, por lo que exigimos mayor
participación en la creación de estas bases de licitación, para que distintos actores sociales, ya sean dirigente estudiantiles con otros miembros de la sociedad civil, puedan contribuir a la construcción de esas bases”. Sin embargo, la solicitud de los líderes estudiantiles fue desatendida excluyéndose la participación de actores sociales independientes. La inquietud era justificada, ya que en los términos de referencia la auditoría se advertía insuficiente: la pregunta central de si es legítima una prueba de admisión basada en el currículum científico-humanista para quienes provienen de la educación técnico profesional, no se formulaba. Tampoco se solicitaban análisis para esclarecer qué contenidos podían eliminarse de las actuales pruebas para mantener o mejorar su capacidad predictiva y hacerlas menos lesivas para los
14
Julio Sarmiento, Presidente de la FECH en entrevista a Radio Universidad de Chile, 20/01/2010 (http://radio.uchile.cl/noticias/58668/). 15 Joaquín Walker, Pdte de la FEUC, citado en El Mercurio, 25/01/2010.
www.proacceso.cl
12
A CCESO A LA INFORMACIÓN Y SISTEMAS DE MEDICIÓN EN EDUCACIÓN EN C HILE : EL CASO DE LAS PRUEBAS DE ADMISIÓN
grupos más vulnerables. En resumen, las preguntas centrales atingentes a la equidad de las pruebas y a la legitimidad de su uso para todos los grupos que la rinden, en especial aquellos más vulnerables, se omitieron. No se mencionaba la existencia del informe del Educational Testing Service con respecto a la PSU ni el crítico informe de la OCDE del año 200916 y sólo se consignaban como antecedentes relevantes para el estudio de la PSU las evaluaciones oficiales del Comité Técnico Asesor del CRUCH. En la convocatoria realizada, el proceso no se ajustó tampoco a los cánones de transparencia y participación ciudadana solicitados por los líderes estudiantiles y de la sociedad civil. El Ministerio de Educación cursó invitaciones a cinco instituciones, sin un criterio claro que justificara el por qué se invitó a algunas y se excluyó a otras de tanto o mayor prestigio que algunas de las convocadas. En el proceso de licitación participaron sólo dos proponentes, siendo adjudicado el proyecto a la empresa Pearson Educación de Chile, Ltda17. La petición de los líderes estudiantiles tenía sustento. La falta de transparencia y las restricciones de acceso a la información, de acuerdo a Heyneman18, se asocian a la corrupción de los sistemas educacionales. El ámbito de la medición educacional es particularmente sensible, por cuanto hay incentivos monetarios muy altos asociados a los procesos y a los resultados de los sistemas de evaluación. Baste considerar que el año 2012 la U. de Chile recibirá aproximadamente 7 mil millones de pesos por la vía de los aranceles PSU. Dado los altos montos involucrados es que la transparencia y la rendición de cuentas 16
OECD y Banco Mundial (2009). La Educación Superior en Chile; Vargas, G. (2009). La PSU y la Educación Técnica. El Mercurio, 10 de febrero, pg. A2; Koljatic, M. & Silva M. (2006). Equity Issues Associated to the Change of Tests in Chile. Equal Opportunities International, 25(7), 544‐561; Koljatic, M. Silva, M. (2011). Reflexiones a siete años de la implementación de la PSU. Estudios Públicos, 120, pgs. 125‐146; Beyer, H. (2009). Igualdad de Oportunidades y Selección a las Universidades. Puntos de Referencia 303. Publicación del Centro de Estudios Públicos, Santiago de Chile, entre otras. 17 Kolatic, M. y Silva, M. (2011). Acceso y Equidad en las Demandas Estudiantiles. Revista de Administración Y Economía. Número Especial de Educación (Octubre), pg. 24‐29. 18 Heyneman, S. (2004). Education end Corruption. International Journal of Educational Development, 24(6), pgs. 637‐648.
www.proacceso.cl
13
A CCESO A LA INFORMACIÓN Y SISTEMAS DE MEDICIÓN EN EDUCACIÓN EN C HILE : EL CASO DE LAS PRUEBAS DE ADMISIÓN
deben ser promovidas y resguardadas, lo cual es un desafío pendiente para nuestro país. Al generar las pruebas cuantiosos recursos, se puede fácilmente perder el foco de la calidad y equidad de los instrumentos, lo que puede llevar a privilegiar el lucro por sobre consideraciones de bien común.19
IMPACTO DE LA FALTA DE TRANSPARENCIA: DIFICULTADES EN EL ACCESO A LA INFORMACIÓN Y MANTENCIÓN DEL STATU QUO La falta de acceso a la información en materia de instrumentos de medición ha sido tolerada en el país. Hay una tradición de falta de transparencia y de rendición de cuentas que sería motivo de escándalo en países desarrollados. A modo de ejemplo, en países como Suecia, una vez rendidas las pruebas de admisión éstas son publicadas al día siguiente. Quienes las rinden pueden revisarlas y tienen fresca en la memoria sus respuestas, lo que les da una idea clara de su rango de puntaje. Errores en la formulación de los ítems y en la puntuación son más fácilmente detectables por los postulantes. La calidad de las preguntas es materia de escrutinio público, lo que redunda en un estímulo para dar una buena calidad de servicio, puesto que los errores no pasan desapercibidos. En Chile, a diferencia de Suecia, las PSU empleadas en el proceso de admisión anual se entregan meses después de aplicadas, lo que hace que los errores no sean tan evidentes. Por ejemplo, en la aplicación de la PSU 2011 se debieron eliminar dos preguntas. Eufemísticamente se señalaba en el portal del DEMRE la siguiente nota explicativa: “Revisado el comportamiento estadístico registrado por cada una de las preguntas de la prueba y las observaciones a preguntas 19
En relación a este punto cabe mencionar que el diputado Julio Dittborn, en Enero del 2008, trató de que se transparentaran las ganancias de la U de Chile, pidiendo a la Fiscalía Nacional Económica una investigación sobre el uso de los diversos recursos recaudados por la prueba. El diario la Tercera que recogía la noticia señalaba que el malestar con este tema era de larga data: “Ya en 2002 la entonces ministra de educación, Mariana Aylwin, acusó directamente a la Universidad de Chile de cobros excesivos, señalando que el test no debería costar más de $ 7.000, siendo que en ese momento se cobraba alrededor de $ 20.000… Cuánto cuesta hacer las pruebas es una cifra que nunca se ha difundido claramente….” Fuente: “Investigan a la U. de Chile por Dineros de la PSU” Diario La Tercera, 19 de Enero 2008.
www.proacceso.cl
14
A CCESO A LA INFORMACIÓN Y SISTEMAS DE MEDICIÓN EN EDUCACIÓN EN C HILE : EL CASO DE LAS PRUEBAS DE ADMISIÓN
formuladas por los postulantes, se procedió a eliminar, por razones técnicas, 2 preguntas de la batería de pruebas PSU, Proceso de Admisión 2011”20. Los únicos evaluadores de la calidad técnica de las preguntas que componen la PSU son el DEMRE y el Comité Técnico Asesor del CRUCH. La información de las respuestas a las preguntas individuales que componen las pruebas no es accesible a otros investigadores con lo cual no es posible corroborar en forma independiente la calidad técnica de las preguntas que la componen. El DEMRE y el Comité Técnico Asesor del CRUCH son juez y parte del proceso, lo cual limita la objetividad de sus apreciaciones. Toda la información que el CTA del CRUCH y el DEMRE manejan debería estar disponible a investigadores independientes que se comprometan a resguardar la confidencialidad de los datos. Esta es una práctica habitual en el manejo de bases de datos sensibles en el ámbito académico. En Chile, dado que los puntajes en la PSU no sólo se emplean para fines de admisión sino también para la asignación de becas y beneficios estudiantiles21 es doblemente importante contar con mecanismos que garanticen la transparencia y acceso a la información, a fin de promover la mejora continua en la equidad y calidad del sistema.
20
http://www.demre.cl/escala_p2011.htm Cabe señalar que el legítimo uso de puntos de corte, tanto para admisión como para la asignación de ayudas estudiantiles requieren de estudios que los validen. Aún cuando este requisito se cumpla, la asignación de beneficios no debe recaer exclusivamente en los puntajes de las pruebas, como señala una de las más prestigiosas organizaciones de los Estados Unidos, orientada a promover altos estándares éticos en los procesos de admisión (National Association for College Admission Counseling). 21
www.proacceso.cl
15
A CCESO A LA INFORMACIÓN Y SISTEMAS DE MEDICIÓN EN EDUCACIÓN EN C HILE : EL CASO DE LAS PRUEBAS DE ADMISIÓN
COMENTARIOS FINALES El estudio de los problemas de la PSU, la forma cómo ésta se ha implementado y la falta de acceso a la información, llevan a sugerir la necesidad de reformar la institucionalidad del sistema de admisión a las universidades chilenas. Se requiere fomentar la rendición de cuentas y mayor transparencia en cuanto a los recursos que las pruebas generan y cómo tales recursos se reinvierten en el mejoramiento de éstas. Con miras a mejorar el sistema, convendría diseñar una institucionalidad independiente, que vele por la calidad técnica y equidad de las pruebas, que opere con transparencia y rindiendo cuentas a un directorio del más alto nivel, el que a su vez debe responder ante la comunidad académica y la sociedad civil. De haber existido en el año 2000 un directorio independiente para las pruebas de admisión difícilmente habría sido aprobado el cambio de pruebas en las condiciones en que éste se realizó. A partir de la experiencia vivida con la PSU parece también conveniente estudiar mecanismos que garanticen la transparencia en los procesos de evaluación y rendición de cuentas periódicas por parte de los organismos encargados de la administración de las pruebas. Lo anterior no sólo es necesario para la PSU sino para otras pruebas de altas consecuencias que se aplican en el país, tales como la Evaluación Docente, el Examen Médico Nacional y la prueba INICIA que se implementará próximamente. Toda
prueba sobre cuyos resultados se tomen
decisiones que afectarán la vida de quienes se someten a rendirlas debe estar sujeta al mismo análisis y escrutinio riguroso y transparente, de manera de garantizar los derechos de quienes son evaluados a serlo mediante pruebas idóneas y de calidad comprobada.
www.proacceso.cl
16