5. bis Traducción Lee Harvey by Federico Renda

“Ensayo del Mejoramiento” Lee Harvey Resumen La presentación examinará el nivel y la naturaleza del mejoramiento en la educación superior: la pureza de la plata mejorada. La presentación interactiva pondrá el foco en el aprendizaje transformativo: en el estudiante y en el aprendizaje situado antes que en estilos de aprendizaje o técnicas de enseñanza abstractas y su vínculo con el acrecentamiento de la calidad. Se harán preguntas sobre el impacto de los procesos de mejoramiento y se hará una sugerencia en cuanto a cómo se han evaluado 20 años de aseguramiento de la calidad. La presentación también criticará los rankings, arguyendo que no logran alentar el compromiso fundamental con el aprendizaje transformativo. Introducción Ensayar se define como “el acto o proceso de probar, especialmente de analizar o examinar metales y minerales, para determinar la proporción de metal puro”. La presentación examinará el nivel y la naturaleza del mejoramiento en la educación superior: la pureza de la plata mejorada. Actualmente, se discute mucho acerca del acrecentamiento y se continúa haciendo mucha buena práctica que va desde iniciativas del aula directamente hasta procesos de aseguramiento de la calidad al nivel del sistema. ¿Pero estamos realmente mejorando algo o simplemente parecemos hacerlo? Desarrollo de la educación superior Dejen que les sugiera tres puntos de vista sobre el desarrollo de la educación superior. En primer lugar, un punto de vista positivo que dice que la educación superior se ha enfrentado a un período de cambio rápido, probablemente el trastorno más grande de toda su historia. El cambio es el resultado de fuerzas externas, que incluyen la necesidad de una mano de obra más educada y una movilidad de los trabajadores, que ha derivado en la masificación de la educación superior y en las consecuentes reducciones en la financiación por cada estudiante, en una mayor diversidad en el sistema y aún en un cambio en el estatus de quienes trabajan en el sector. A través de todo esto, la educación superior se ha adaptado y ha entregado y continúa entregando cada vez más investigación y enseñanza innovadora. Las instituciones han asumido cada vez más responsabilidades. Un elemento fundamental en todo esto es el aseguramiento de la calidad en la educación superior, que aunque suele implicar trabajo adicional y cantidades significativas de dinero, ha derivado en un sistema de educación más transparente y ha tenido un impacto positivo general. De hecho, sin aseguramiento de la calidad el edificio de la educación superior completo, enfrentado por las fuerzas del mercado, habría estado en peligro de derrumbarse. En segundo lugar, un punto de vista bastante más cínico sugiere que la masificación no ha ampliado el acceso. Además, ha habido un deterioro general en la educación superior. En la práctica, el servicio ofrecido a los estudiantes ha declinado, con mucho menos contacto de persona a persona, menos horas de enseñanza, menos tiempo pasado en brindar una retroalimentación valiosa, clases alienantes grandes, lo cual deriva en la carencia del sentimiento de pertenencia y en los consecuentes índices de deserción elevados, especialmente en el primer año de estudio de los estudiantes. Los estudiantes tienen una experiencia más fragmentada de sus pares debido a los sistemas de elección de “cafetería” divididos en semestres y en módulos y a la necesidad de que los estudiantes pasen cada vez más tiempo trabajando para ganar dinero. El llamado aprendizaje autónomo, centrado

en el estudiante es solamente una excusa para no ensañar. Cada vez más, el personal pasa más tiempo en la investigación, produciendo más y más documentos de cada vez menos valor debido a las presiones para publicar, lo cual ha derivado en una abundante cantidad de periódicos mediocres. Cada vez más, los estudiantes están tomando un enfoque instrumentalista y las instituciones están interesadas en el empleo de los graduados más que en desarrollar graduados versados en su disciplina que quieran aprender por el puro placer de aprender. El administrativismo ha conducido en forma dominante a la educación superior, con gerentes “profesionales”, desligados de la práctica académica, que adoptan tácticas agresivas. Los departamentos de recursos humanos, de contabilidad y de comercialización conducen las universidades. La libertad académica está sufriendo una embestida. El aseguramiento de la calidad oculta lo que realmente está ocurriendo, es una charada trivial que finge que está todo bien. Los gerentes de las instituciones están interesados en sus propias carreras y están más preocupados por las tablas de las ligas y por los demás adornos del medio competitivo que por el desarrollo académico que transcurre en su propia institución. Un tercer camino intermedio sugiere que el acceso ha mejorado, aunque no tanto como se puede desear pero que no se puede obligar a las personas a ingresar a la educación superior. Algunos aspectos de la experiencia del aprendizaje han cambiado, el tiempo de contacto con la clase, por ejemplo, pero como éstas eran predominantemente lecciones, que no eran buenos sitios de aprendizaje, un enfoque más centrado en el estudiante ha alentado la autonomía del estudiante. Las técnicas de enseñanza y aprendizaje han mejorado considerablemente y la tecnología moderna implica que la información es de fácil acceso y que no es necesario que el contacto sea cara a cara. Más aún, lo que se espera de los estudiantes y lo que los estudiantes esperan es más transparente que veinte años atrás y la fecundación cruzada de ideas en un sistema diverso y poroso es (potencialmente) mayor. Los gerentes profesionales son necesarios en un mundo ferozmente competitivo y la educación superior ya no puede funcionar con el liderazgo académico humillante inepto del pasado. De todos modos, el rumor de la desaparición del poder de los académicos es prematuro. De hecho, en la mayor parte de las situaciones, las instituciones tienen más autonomía, ligada al aseguramiento de la calidad. El aumento del aseguramiento de la calidad ha sido una consecuencia inevitable de los cambios que enfrenta la educación superior. La eficacia del aseguramiento de la calidad depende de sus propósitos y de sus enfoques y está en función del nivel de motivación y de compromiso de todos los depositarios. Es tentador preguntarles cuál caracteriza mejor su posición (teniendo presente que son caricaturas). Mejoramiento/Acrecentamiento ¿Entonces qué estamos mejorando? El término “realce” ha ganado fama pero si bien sería lo mismo que mejoramiento, también implicaría modificar la apariencia: de ahí el “brillo de la plata”, el título de este Foro. Si estamos mejorando, ¿qué estamos haciendo en la práctica para mejorar la enseñanza y la investigación? ¿Estamos haciendo algo más que hacer que luzcan mejor? ¿Cómo lo sabemos? El aseguramiento de la calidad es, supuestamente, la principal herramienta para el mejoramiento. ¿Entonces qué ha conseguido el aseguramiento de la calidad en la educación superior? El impacto del aseguramiento de la calidad en la calidad de las habilitaciones de educación superior. ¿Los casi veinte años de aseguramiento de la calidad han tenido algún impacto en la calidad de los programas de títulos?

Naturalmente, en algunos países, el aseguramiento de la calidad, aunque con otros nombres, ha existido durante mucho más de 20 años. Por ejemplo, el esquema del examinador externo ha estado en funciones desde que el sistema universitario en el Reino Unido comenzó a expandirse hace más de cien años con la creación de las nuevas universidades cívicas. Otros países adoptaron un sistema de examinador externo con mucha anticipación a la “revolución de la calidad” que ganó impulso a fines de la década de 1980. Además, en el Reino Unido, la acreditación profesional (de programas) está establecida hace mucho tiempo en algunas áreas, tales como la medicina, y en esos casos está encapsulada en la legislación regulatoria. En Estados Unidos la acreditación regional y profesional data de principios del último siglo. Aunque es difícil desenredar los ordenamientos preexistentes de mecanismos y procesos de calidad más recientes, aún queda sin responder la pregunta con respecto a ¿qué impacto ha tenido la actividad de aseguramiento de la calidad de los últimos veinte años? El impacto es un concepto difícil en sí mismo. Si se entiende que implica una simple relación de causa y efecto entonces es difícil decir que todos los cambios percibidos en la calidad de los títulos son atribuibles a la causa del aseguramiento de la calidad. Existen impactos directos de los procesos de aseguramiento de la calidad, tales como la generación de documentos de cursos, informes de auditoría y similares pero dicha emisión de documentos no se traduce necesariamente e inequívocamente en cambios (con optimismo en mejoramientos) en la calidad de los títulos. Un enfoque de “capa permeable” alternativo sugiere que las actividades de las agencias de aseguramiento de la calidad, combinadas con desarrollos internos en las instituciones, situadas en un contexto de mercado o gubernamental más amplio, se combinan para cambiar actividades, perspectivas y actitudes. La implementación de las políticas internacionales, nacionales, institucionales o depertamentales ocurre en formas no intencionales o no anticipadas por aquellos que generaron la política. Otra complicación cuando se investiga el impacto sobre la “calidad del título” es si esto se refiere a alguna noción de “regla de oro” abstracta de qué debería ser un título de tipo ideal o si se relaciona con la experiencia de aprendizaje del estudiante. Están aquellos que argumentarían que, a pesar del aseguramiento de la calidad, un título no es lo que solía ser. En realidad, cuando una proporción minúscula de personas (privilegiadas) iban a la universidad, el título era exclusivo y bastante diferente de lo que es hoy. Si la exclusividad lo hizo algo mejor (no más comercializable) es un punto opinable. La sugerencia de los defensores de una edad de oro es que cuando era exclusiva, la calidad de un título otorgado era “más alta”, lo cual implica que los estudiantes hacían más para alcanzar una recompensa con éxito. Esto es muy discutible. El vicerrector actual de la Universidad de Surrey, por ejemplo, señaló recientemente: Creo que se puede argumentar que la calidad del primer 13% (es decir, el 13% del 43% [del grupo que accede a la educación superior en Inglaterra]) de los graduados del sector de la Educación Superior es por lo menos tan fuerte como solía ser para el grupo completo en la década de 1970. Muchos gerentes senior líderes gubernamentales experimentaron un sistema de educación más selecto y no pueden apreciar plenamente el equilibrio entre calidad y diversidad que observamos hoy. La vasta mayoría del 30% adicional que obtiene una experiencia de educación superior se beneficia, aumentando significativamente el logro educacional general de la mano de obra de la nación (Snowden, 2008). De todos modos, los reclamos de “aturdimiento”, correlacionado con la “inflación de la calificación”, que derivan en una proporción más alta de primeros títulos y títulos de segunda clase superiores en el Reino Unido y fenómenos similares en Estados Unidos y en otro lugar, no plantea preguntas acerca de estándares comparables. Sin embargo, los estándares de resultados y calidad del proceso no son lo mismo.

Recientemente, en el Reino Unido, se ha reavivado el frenesí acerca de los estándares incitados por los comentarios de un académico de que a los estudiantes se les dan calificaciones más altas que las que merecen debido a la presión de los cuadros de rankings publicados (Alderman y Brown, 2008; Shepherd, 2008; Lipsett, 2008a). Esto coincidió con un llamado de la Agencia de Aseguramiento de la Calidad (QAA) a observar más de cerca la manera en que se evalúan los títulos. El estudio de la QAA descubrió que se pondrían en riesgo los estándares académicos como consecuencia de las debilidades en la forma en que funcionan las comisiones de evaluación (Lipsett, 2008b). Como de costumbre, los medios británicos sacaron de contexto la mayor parte de esto (Williams, 2008) y tuvimos otro ejemplo de que el Reino Unido se disparó a sí mismo al pie por de la educación superior. Los empleadores siempre son rápidos para hacer oír su voz y las quejas habituales de que los graduados no son “aptos para el propósito” (tales como qué pocos graduados de juegos para computadoras están a la altura de los estándares de la industria (Lipsett, 2008)) se han incrementado por las preocupaciones por la incoherencia en el estándar de las calificaciones finales del título (Asthana, 2008). De todos modos, los empleadores continúan empleando a graduados y mayormente están contentos con aquellos a quienes emplean. Continuando desde un enfoque de la “regla de oro”, existe un dilema similar si se pone el foco en la experiencia de aprendizaje del estudiante. Existen algunas pruebas a favor de la visión cínica acerca de la alienación de los estudiantes y del poco contacto cara a cara con el personal. Sin embargo, las técnicas de enseñanza y aprendizaje han mejorado (prescindiendo de la función del aseguramiento de la calidad) y ha habido un cambio en la función del profesor y en la comunicación estudiante-profesor (aunque no siempre tiene buena acogida de los disertantes “tradicionales”). Habiendo dicho esto, y a pesar de las dos décadas de aseguramiento de la calidad, existe una investigación notablemente poco sustancial sobre el impacto del aseguramiento de la calidad en la educación superior. No está claro, con excepción de los costos, por qué hay escasez de otras pruebas que no sean anecdóticas. Quizás la exploración del impacto se basa demasiado en enfoques positivistas que buscan causas y efectos cándidos. El enfoque fenomenológico o dialéctico probablemente parece que dará mejores frutos, como por ejemplo, en los estudios de cerca críticos del compromiso de los académicos con los temas de la calidad (Newton, 2000). El espacio impide un análisis detallado de la investigación existente sobre el impacto y se hará referencia a dos análisis bastante recientes, uno derivado de las propias agencias de aseguramiento de la calidad y el otro de un análisis reciente de Bjorn Stensaker en el Foro de la Calidad de la Asociación de Universidades Europeas. En una conferencia dos años atrás, con el auspicio de la Red Internacional de Agencias de Aseguramiento de la Calidad en la Educación Superior, los delegados de las agencias de la calidad sostuvieron que, a pesar de que no existía ninguna conexión causal simple, el aseguramiento de la calidad externo tuvo un impacto significativo, inclusive en la situación de la enseñanza y el aprendizaje (Harvey, 2006). Las agencias identificaron varios aspectos: el aseguramiento de la calidad externo impuso el requisito a las instituciones de tener responsabilidad por los estudiantes inscriptos, que se reflejó en una creciente preocupación por la deserción. Ha habido ajustes curriculares demostrables y crecimiento de las evaluaciones de los cursos, los procedimientos de apelaciones y quejas. Además, ante el reclamo de las agencias, los estándares han mejorado y hay abundantes ejemplos de mejores maneras de enseñar. El aseguramiento de la calidad “legitima el debate de la enseñanza”; ya no es aceptable considerar a la enseñanza como un dominio privado. Stensaker (2007, p. 60) también evitó un impacto directo simple del aseguramiento de la calidad y argumentó que los impactos de la calidad se pueden interpretar en forma bastante diferente según el punto de partida. Identificó cuatro áreas de impacto: poder, profesionalismo, permeabilidad y relaciones públicas. Sobre la primera área, señaló que los procesos de calidad respaldan el desarrollo de un liderazgo institucional más fuerte en la educación superior demostrado por la creciente centralización de la información y líneas de

responsabilidad mucho más claras a pesar de eliminar algunas responsabilidades pasadas de cada académico. En segundo lugar, el trabajo de calidad se ha hecho más profesional, con “rutinas escritas, manuscritos y manuales impulsados por las normas que dan indicaciones de cuándo hacer qué, y las personas a cargo”. Algunas simplemente ven esto como una mayor burocracia mientras que otras consideran que es hacer al “conocimiento tácito” transparente. En tercer lugar, Stensaker argumentó que el aseguramiento de la calidad ha derivado en una proliferación de información y que probablemente sabemos más que nunca antes acerca de la educación superior. En cuarto lugar, en el frente de las relaciones públicas, los “procesos de calidad se usan como una herramienta de comercialización y colocación de marca”. También ha argumentado que los procesos de calidad son “de asistencia como una manera de defender al sector contra los sistemas de rankings e indicadores de rendimiento pobremente desarrollados, injustos o desequilibrados que actualmente recorren el mundo”. (Stensaker, 2007, p. 61). Volveré a los rankings. Por lo tanto, el aseguramiento de la calidad, discutiblemente, ha tenido un impacto. Aún no está claro si ha mejorado la experiencia de aprendizaje del estudiante. Cambiemos de política en esto. Aprendizaje Transformativo A principios de la década de 1990, siguiendo el análisis de la calidad como un concepto y arraigado en mi herencia metodológica de la investigación social crítica (Harvey, 1990), estaba aficionado a la idea del aprendizaje como un proceso transformativo y escribí diferentes cosas que culminaron en la publicación, en 1996, de Transforming Higher Education, (Transformar la Educación Superior), escrito conjuntamente con Peter Knight, quien lamentablemente ya no está con nosotros (Harvey y Knight, 1996). Peter y yo habíamos planeado actualizar el volumen de 1996, una década después, y mi última comunicación con él fue para postergar una reunión para iniciar la reedición. En mi opinión, los principios del aprendizaje transformativo de ese libro han guiado y apuntalado todo el trabajo que he realizado sobre la calidad, la posibilidad de empleo y la retroalimentación de los estudiantes. El aprendizaje transformativo parte de la premisa de que el estudiante es un participante en un proceso educativo. Los estudiantes no son productos, clientes, consumidores, usuarios de servicios o clientes. La educación no es un servicio para un cliente (mucho menos un producto que se ha de consumir) sino un proceso progresivo de transformación del participante. Existen dos elementos de la calidad transformativa de la educación, que realzan al participante y habilitan al participante. Una educación de calidad es aquella que efectúa cambios en los participantes y, de ese modo, los realza. Una institución de alta calidad sería aquella que realza en gran medida a sus estudiantes (Astin, 1990). Sin embargo, el realce no es por sí solo transformativo, nada más que el brillo de la plata transforma la sustancia del objeto de plata. El segundo elemento de la calidad transformativa es la habilitación. Habilitar a los estudiantes implica darles poder a los participantes para influir en su propia transformación. Implica que los estudiantes tomen posesión del proceso de aprendizaje. Más aún, el propio proceso de transformación brinda la oportunidad para la auto-habilitación, a través la mayor confianza y conocimiento de sí mismo. En esencia, la habilitación se trata de desarrollar la capacidad crítica de los estudiantes, es decir, su capacidad para pensar y actuar en una forma que trascienda los preconceptos,

prejuicios y marcos de referencia que se dan por sentados. El pensamiento crítico no se debe confundir con la “crítica”, especialmente la noción de sentido común de la crítica negativa. Desarrollar el pensamiento crítico implica hacer que los estudiantes cuestionen la ortodoxia establecida y aprendan a justificar sus opiniones. Se alienta a los estudiantes a pensar en el conocimiento como un proceso en el cual ellos participan, no alguna “cosa” que enfocan experimentalmente y se apropian selectivamente. El desarrollo de la capacidad crítica se trata de que los estudiantes tengan la confianza de evaluar y desarrollar los conocimientos para ellos mismos antes que presentar porciones sustanciales empaquetadas ante un evaluador que les dirá si son suficientes o “correctos”. Una capacidad crítica permite a los estudiantes autoevaluarse, para poder decidir cuál es el trabajo de buena calidad y tener confianza cuando lo han logrado. En síntesis, un enfoque que alienta la capacidad crítica trata a los estudiantes como ejecutantes intelectuales y no como una audiencia dócil. Transforma la enseñanza y el aprendizaje en un proceso activo de llegar a comprender. Permite que los estudiantes vayan fácilmente más allá de los confines restringidos de la base de conocimientos “segura” de su disciplina académica para aplicarlos a lo que enfrenten en el mundo después de la educación. Esto es habilitar para la vida y requiere un enfoque de la enseñanza y el aprendizaje que va más allá de requerir que los estudiantes aprendan un conjunto de conocimientos y puedan aplicarlos analíticamente. La educación superior es más que solamente producir acólitos hábiles, por importante que esto sea indudablemente. También es producir personas que puedan conducir, que puedan producir nuevos conocimientos, que puedan ver problemas nuevos e imaginar nuevas formas de enfocar problemas viejos. La educación superior cumple la función de preparar a las personas para ir más allá del presente y poder responder a un futuro que ahora no se puede imaginar. Ir más allá de lo conocido: las personas que recurren a una variedad de estructuras explicativas y que también se paran fuera de ellos mismos al punto de reconocer sus limitaciones y el nivel al cual toda estructura limita, y también permite, pensar y sentir. El desarrollo de la capacidad crítica implica alentar a los estudiantes a desafiar preconceptos, los suyos propios, los de sus pares y los de sus profesores. Se trata del proceso de llegar a entender. Esta forma de habilitación está en el corazón del proceso dialéctico de la transformación crítica. La acción transformativa crítica implica llegar al corazón de un tema mientras que simultáneamente lo coloca en su contexto más amplio. Es una cuestión de moverse conceptualmente hacia atrás y hacia delante entre lo que el estudiante ya sabe y lo que el estudiante está descubriendo, entre el detalle específico y su significación más amplia, y entre la práctica y la reflexión. El aprendizaje transformativo implica un proceso de desconstrucción y reconstrucción. Se necesita que los conceptos abstractos se hagan concretos y que un concepto central o esencial se identifique como un pivote para la actividad desconstructiva. La desconstrucción llega debajo de las apariencias superficiales; sean modalidades tradicionales de trabajo, actitudes que se dan por sentadas, valores fijados, mitos comunes, ideología o hechos “bien conocidos”. El concepto central se usa para “abrir con palanca” el área de investigación. Es decir, la relación entre el concepto central y el área de investigación se investiga tanto al nivel abstracto como al nivel concreto para explorar si las presuposiciones abstractas subyacentes chocan con la realidad concreta. No todos los conceptos brindan una palanca adecuada, en realidad, la actividad reflexiva crítica consiste en un proceso constante de exploración y reflexión hasta que se ubica la palanca apropiada. Es como intentar abrir con una palanca la tapa de una lata usando y descartando numerosas herramientas idóneas hasta que uno realiza el trabajo. Entonces es el momento de clasificar el contenido. Esto es lo que Karl Marx (1867) hacía, naturalmente, en su desconstrucción de las relaciones de producción en Kapital. La visión económica convencional de la oferta y la

demanda no explicó la situación empobrecida de los operarios de las fábricas del siglo XIX y desconstruyó la ganancia a una de la transformación en mercancía. Su concepto fundamental era aquel de la forma de mercancía que cuando se aplicaba al trabajo de los obreros ellos mismos proporcionaban una comprensión de la explotación. En forma similar, un siglo después, el análisis del trabajo en el hogar de Christine Delphy, entre los argumentos feministas de que el trabajo en el hogar debe ser una actividad paga, cambió el concepto del trabajo en el hogar de un grupo de tareas a una relación de producción dentro de la unidad del hogar. El trabajo en el hogar es un trabajo no remunerado que un miembro de la familia realiza para otro. Verlo como un grupo de tareas refleja una ideología patriarcal que oculta la verdadera naturaleza de la relación explotadora. El aprendizaje transformativo no es solamente agregar a un estudiante una masa de conocimientos o un conjunto de aptitudes y habilidades. En su núcleo, la transformación, en un sentido educacional, se refiere a la evolución de la manera en que los estudiantes enfocan la adquisición de conocimientos y aptitudes y los relacionan con un contexto más amplio. El enfoque del aprendizaje también da prioridad a la noción transformativa de calidad1 . Una visión transformativa crítica pregunta cómo contribuye el aseguramiento de la calidad a transformar la habilidad conceptual y el conocimiento de sí mismo del estudiante. Entonces, en mi opinión, el criterio para evaluar los cambios en la educación superior y el impacto del aseguramiento de la calidad es: “¿se ha permitido o impedido el aprendizaje transformativo?” El jurado aún está afuera en esto pero soy optimista en cuanto a que los nuevos enfoques que restablecen la confianza y el foco en el aprendizaje de los estudiantes, tal como en Escocia, impactarán en el aprendizaje transformativo. Pero hay un monstruo al acecho. Rankings Dije que volvería a las listas de rankings (cuadros de ligas) como las llamamos en el Reino Unido. ¿Qué es lo bueno de ellas? Son fáciles de usar. ¿Qué es lo malo de ellas? Casi todo lo demás. Los rankings de las instituciones de educación superior han estado entre nosotros durante algún tiempo pero sólo recientemente han ganado fama, debido a la conversión de la educación superior en un comercio y a la competencia por los estudiantes internacionales. Propósitos Los propósitos de los rankings incluyen:  brindar información fácil de interpretar acerca de la posición de las instituciones de educación superior;  estimular la competencia entre instituciones;  diferenciar diferentes tipos de instituciones y programas;  contribuir a las evaluaciones de calidad nacionales;  contribuir a los debates acerca de la definición de “calidad” en la educación superior (CHE/CEPES/IHEP, 2006).

El concepto transformativo de calidad es un concepto de meta-calidad. Otros conceptos, tales como excelencia, consistencia, aptitud el propósito y valor para el dinero, son operacionalizaciones posibles del proceso transformativo antes que fines en sí mismos. (Harvey, 1994, p. 51; Harvey & Knight, 1996, páginas 14-15). Sin embargo, son operacionalizaciones insuficientes que suelen relacionarse solamente con aspectos marginales de la calidad transformativa y no logran encapsular el proceso dialéctico.

Sin embargo, la relación con la calidad es cándida. La construcción de índices mediante los cuales las instituciones o los departamentos se ordenan en rankings es arbitraria, inconsistente y está basada en medidas convencionales. Las operacionalizaciones del concepto de calidad son superficiales en el mejor de los casos y casi todas ponen el foco en solamente una noción de calidad, aquella de excelencia. Críticas de los rankings Los rankings habitualmente están basados en un solo indicador pero se recopilan usando un grupo de indicadores que se combinan en un solo índice. Para ser válido, el índice debe ser la operacionalización de un concepto teórico: aquello que se supone que está comparando el ranking. El enfoque clásico (Lazarsfeld et al, 1972) tiene seis etapas. En primer lugar, una manifestación y definición clara de qué es el concepto que se está midiendo. En segundo lugar, la identificación de las diferentes dimensiones del concepto teórico. En tercer lugar, la especificación de conjuntos de indicadores que representan aspectos de cada dimensión. En cuarto lugar, la selección de un indicador o una serie de indicadores apropiados de la gama de indicadores posibles. En quinto lugar, la consideración de cada indicador dentro de cada dimensión sobre la base de una comprensión teóricamente sólida de la importancia del indicador como una medida de la dimensión. En sexto lugar, una consideración de cada dimensión del concepto y la combinación de las dimensiones en un solo índice (Harvey, 2008). Las críticas de los rankings provienen de un conjunto de fuentes y están basadas en inquietudes metodológicas, pragmáticas, morales y filosóficas. Ellas incluyen: Selección de indicadores: hay pocas pruebas de que esto implica reflexión teórica, antes bien los rankings están basados en datos convenientes. Por lo tanto, los conceptos difíciles tales como calidad de enseñanza están excluidos, aún cuando son relevantes (Van Dyke 2005). Esto deriva en desvíos considerables: Las cuentas de publicaciones suelen resaltar periódicos que sirven como árbitros... publicados en inglés y seleccionados teniendo en consideración las normas de los sistemas académicos principales de Estados Unidos y Gran Bretaña... Usar reconocimientos internacionales tales como Premios Nobel como un poder para la excelencia le resta importancia a las ciencias sociales y a las humanidades, campos en los cuales no se entregan Premios Nobel y produce mayores desventajas para los países en desarrollo y universidades más pequeñas en todo el mundo. El uso de cuentas de citas... resalta el material en inglés y los periódicos que son fáciles de obtener en sistemas académicos más grandes. Se sabe bien, por ejemplo, que los científicos estadounidenses citan principalmente a otros estadounidenses y que tienden a ignorar el saber de otros países. Esto puede impulsar artificialmente el ranking de universidades de Estados Unidos... También es el caso que las universidades con facultades de medicina y fortaleza en las ciencias tienen una ventaja significativa porque estos campos generan más hallazgos externos y los investigadores de ellas publican más artículos. (Altbach, 2006). Consideración de indicadores: No hay pruebas de consideraciones apuntaladas teóricamente; en la práctica se asignan arbitrariamente (Usher y Savino, 2006). Tampoco hay ninguna consistencia en los pesos entre diferentes sistemas de rankings (Stella y Woodhouse, 2006). Confiabilidad: A los editores de periódicos les puede gustar el drama de los cambios significativos en la posición de la liga de un año a otro pero esto escasamente refleja con precisión cambios reales en las instituciones, son pocas veces tan dramáticos como para que sean notorios dentro de 12 meses. Sin embargo en el ranking del THES de Osaka, Japón pasó de la posición 69 en 2004 a la posición 105 en 2005 y volvió a la 70 en 2006. La Ecole Polytechnique, de Francia, pasó de la posición 27 en 2004 a la 10 en 2005 y a la 37 en 2006. La Universidad de Ginebra pasó de no figurar en el ranking en 2004, a la posición 88 en 2005 y a la posición 39 en 2006 (RFSU, 2008).

Importancia Estadística: Los rankings colocan a las instituciones en orden, con frecuencia basados en diferencias diminutas, estadísticamente insignificantes en los puntajes. El Relevamiento Nacional de Estudiantes del Reino Unido hace rankings de instituciones a pesar del hecho de que el error estándar de las medidas comprende una gran proporción de las instituciones enumeradas. Una institución especializada, por ejemplo, cayó 60 lugares de un año al siguiente. Medio político y cultural Institucional: El contexto afecta cómo funcionan las instituciones y qué hacen. Es necesario tener en consideración estos contextos pero esto pocas veces ocurre cuando se recopilan listas de rankings internacionales. Foco de atención: Los rankings de instituciones las tratan como homogéneas cuando existe una enorme variedad dentro de las instituciones. Competencia: Los rankings exacerban la competencia entre instituciones que deriva en menos cooperación, lo cual puede ser perjudicial para el estudiante y la institución así como para la educación superior en general. Impacto de los sistemas de rankings en la educación superior Los rankings han tenido un impacto mucho más allá de aquel que garantizaría su diseño arbitrario. Es por eso que son importantes y, en su forma actual, peligrosos. Una posición en un ranking en un cuadro de liga es una estadística fácil de llevar a un bando por los políticos y los gerentes senior de las universidades así como por los profesores y los representantes de los sindicatos cuando les conviene. Instituciones Según Thakur (1007, p. 89) existen pruebas de que los sistemas de rankings han impactado en las instituciones de educación superior y en sus depositarios. Por ejemplo, una de las principales universidades de Malasia, la Universidad de Malaya: cayó 80 lugares en los rankings del THES sin ninguna declinación en su rendimiento real debido a cambios de definiciones. Esto derivó en un reemplazo del Vicerrector y desconcertó a la universidad, que reclamó en una publicidad dos meses de falta de los resultados del THES de 2005, en que luchó por estar entre las 50 mejores universidades en 2008. La mayor parte de los impactos a nivel institucional son bastante menos dramáticos que este ejemplo. Muchas instituciones, directa o indirectamente influidas por los sistemas de rankings, han desarrollado manifestaciones de misiones para convertirse en una de las mejores universidades o de las ubicadas en los primeros puestos. Esto implica la pérdida de libertad e independencia para las instituciones para controlar su marca y las condiciones de su éxito. (Carey, 2006). Empleadores Existen pruebas de que los empleadores usan las listas de rankings como parte de la selección de reclutamientos de graduados. Los reclutadores de graduados británicos, por ejemplo, tienen una jerarquía implícita de las instituciones británicas y en casos extremos solamente reclutan de ciertas universidades. También han tenido un grupo de preferencias por las universidades internacionales, lo cual ha sido reforzado por el advenimiento de las listas de rankings globales. Equidad y acceso Los rankings presentan una amenaza para la equidad ya que alientan el reclutamiento de estudiantes selectos (Clarke, sin fecha). van Vught (2007) ha argumentado igualmente que

la competencia entre instituciones a nivel del mundo ha aumentado la “carrera por la reputación”, que es costosa para las instituciones. Una consecuencia significativa, en algunos países tales como Estados Unidos, es que los estudiantes privilegiados pueden acceder a las instituciones de alta reputación mientras que los estudiantes menos privilegiados pierden esa oportunidad. Ejemplos de Rankings Existen rankings internacionales así como nacionales, los primeros intentan ordenar instituciones sobre una base mundial o continental. La mayor parte de los rankings, nacionales o internacionales son de instituciones, aún cuando algunas veces de un subgrupo de instituciones, tales como facultades de administración. Algunos rankings, habitualmente nacionales, intentan hacer rankings basados en un tema. Algunos rankings están basados en indicadores de investigación, algunos en la enseñanza, algunos en el sitio web institucional, algunos intentan ser abarcativos, algunos se basan en evaluaciones de estudiantes. En la mayor parte de los casos, los rankings son “no oficiales” encomendados y publicados por organizaciones comerciales. Algunos ejercicios de rankings no oficiales están realizados por unidades dentro de las universidades. El Ranking Académico de Shangai de las Universidades del Mundo El Instituto de Educación Superior de la Universidad Jiao Tong de Shangai, realizó un ejercicio para averiguar cuál era la brecha entre las universidades chinas y las universidades de investigación mundiales. Publicó el Ranking Académico de las Universidades Mundiales (ARWU) y se sorprendió por la magnitud del interés. Las instituciones están ordenadas sobre la base de cuántos alumnos e integrantes del personal ganan Premios Nobel y Medallas Fields, la cantidad de Investigadores Muy Citados en veintiún amplias categorías de temas, de artículos publicados en Nature y Science, de artículos colocados en el Índice Ampliado de Citas de Ciencias (SCIE) y en el Índice de Citas de Ciencias Sociales (SSCI). (Liu y Cheng, 2005). Los criterios son muy particulares y específicos del resultado de la investigación sin ninguna referencia a la enseñanza excepto el posterior éxito de investigación de los alumnos. Sin embargo, es una operacionalización extraña de la excelencia en la investigación universitaria. Aparte de estar muy tergiversado su construcción y consideración es idiosincrásica. Una analogía sería como asignar puntos a clubes de fútbol cada vez que sus jugadores salen hacia su equipo nacional. Que este ranking ingenioso pero artificial debería tener aceptación mundial es desconcertante. El estatus proporcionado por el ranking de Shangai sugiere que una vez que se publica un “cuadro de la liga”, las personas dejan de mirar a su base y toman los datos estadísticos como algo objetivo, especialmente si los rankings refuerzan los prejuicios y preconceptos de status quo acerca de la reputación. Ranking de Universidades del Mundo del Suplemento de Educación Superior de Times El Ranking de Universidades del Mundo del Suplemento de Educación Superior de Times (THES) enumera 200 universidades basado en cinco indicadores cualitativos y cuantitativos. Se usó la revisión de pares: se les pidió a 5000 académicos de los cinco continentes, considerados expertos en su campo, que nominaran a las principales universidades en sus campos de conocimiento. Inicialmente, esta revisión de pares explicó el 50% de la cantidad total de puntos de cada universidad, que cayó al 40% en 2005, cuando se introdujo una encuesta a empleadores. La encuesta a empleadores, de 1471 reclutadores de empresas internacionales, les pidió a los encuestados que identificaran a las 20 mejores universidades de las cuales prefieren reclutar graduados.

El listado del THES ha sido ampliamente criticado pero también ampliamente usado. Como con el ranking de Shangai, las partes integrantes del ranking del THES son idiosincrásicas y la consideración es arbitraria sin ningún fundamento evidente en la teoría. La principal preocupación de las críticas tienden a ser los juicios de reputación de los pares. Por su parte, el listado del ranking del THES se apoya pesadamente en evaluaciones subjetivas de expertos. Cuán válidas son estas últimas y cuán bien representan a las instituciones cubiertas son preguntas importantes que quedan sin responder (RFSU, 2008). Aunque aluden al sondeo del THES, Stella y Woodhouse (2006, pp 8-9) plantean algunas objeciones generales al uso de opiniones de expertos que incluyen el “efecto halo”, bases de conocimientos insuficientes, celos académicos y llegan a la conclusión de que existe poca justificación científica para continuar basándose en la opinión experta. Esto es algo irónico viniendo de una agencia de aseguramiento de la calidad que usa la revisión de pares. Control del fenómeno de los rankings En respuesta a la creciente demanda de los consumidores la UNESCO inició el Grupo de Expertos en Rankings Internacionales (IREG), que adoptó los Principios de Berlín sobre el Ranking de Instituciones de Educación Superior (CHE/CEPES/IHEP, 2006) para promover un sistema de mejoramiento continuo de los rankings (IHEP, 2008). Los Principios son un grupo de oraciones diseñadas para asegurar que “aquellos que producen rankings y cuadros de ligas se hagan responsables por la calidad de su propia recolección de datos, metodología y diseminación”. Algunas universidades se han preocupado tanto por los rankings que se han negado a participar. Por ejemplo, en 1999, la Universidad de Tokio y 19 universidades de China Continental, que incluyen la Universidad de Pekín, así como otras 15 instituciones se rehusaron a brindar información a la revista Asiaweek para su ranking anual de universidades en la región de Asia y el Pacífico. Asiaweek (1999) abandonó este ranking poco tiempo después. Recientemente, un grupo de siete instituciones de Canadá indicaron que ya no participarían en el ranking anual de universidades de la revista Maclean en ese país (Birchard, 2006). La respuesta de Maclean fue que continuaría realizando rankings de esas instituciones usando datos de otras fuentes públicas, por lo tanto ya no es necesaria la participación voluntaria de las instituciones. Preocupaciones de los Depositarios A pesar de los Principios de Berlín existen preocupaciones difundidas por el ranking de la educación superior de una gama de depositarios. Una reunión ministerial informal en Tokio en 2008 llegó a la conclusión de que la “desviación en la base de información de rankings existentes hacia los resultados de la investigación se apartaría de los esfuerzos para mejorar el rendimiento educacional” (OECD, 2008). Stella y Woodhouse (2006) de la Agencia Australiana de la Calidad de las Universidades (AUQA) argumentó que los rankings infringen un enfoque de aptitud para el propósito, que por lo menos en teoría es el corazón de la mayor parte de los enfoques de las agencias de la calidad. El ranking juzga según un grupo de criterios genéricos, que son perjudiciales para la diversidad institucional. La Unión de Estudiantes Europeos (ESU, 2006) objeta el elitismo generado por los rankings y reclama que realmente no informan a los estudiantes. Una reunión de la Comisión Permanente de Educación Superior e Investigación en Oslo objetó el ranking porque es “irreconciliable con el principio de equidad y las misiones

educacionales que satisfacen las diferentes aspiraciones de los estudiantes”, ignora el contexto cultural, aumenta la conversión en un comercio y más fundamentalmente manifiesta: Las presiones del resultado de los sistemas de rankings también desvían la atención de los líderes de las instituciones de educación superior de los estudiantes y del propósito y la misión genuinos de la educación superior, acrecentando la competencia entre las instituciones. En este sentido, existe un riesgo real de que las instituciones de educación superior pongan el foco en los esfuerzos para ascender en la escalera del ranking, ignorando su misión en el desarrollo y la divulgación de conocimientos para el progreso de la sociedad. Además, los lugares en el ranking ponen demasiado el acento en las instituciones e ignoran los programas de estudio. (Education International, 2006, p.1). Amenaza En conclusión, los rankings proporcionan una amenaza real para los procesos de calidad. Los procesos simplistas y la construcción idiosincrásica de cuadros de ligas parecen tener más atracción popular y aún credibilidad entre una gama de depositarios, que incluyen personas que toman decisiones, que el trabajo duro meticuloso de las agencias de calidad. Entre las numerosas consecuencias perjudiciales asociadas con los rankings de universidades, el problema fundamental es que no parecen “recompensar” la enseñanza. En particular, contrariamente a los desarrollos recientes en el aseguramiento de la calidad que ponen el foco en acrecentar la experiencia de aprendizaje del estudiante, los rankings ponen un freno potencial al desarrollo de estudiantes transformados críticos. Desarrollar una educación crítica no es un camino para ascender en los cuadros de ligas. Para tomar una analogía futbolística, no se ganan puntos por tener una buena política sobre la juventud. Los puntos provienen de estrellas del lanzamiento. Todos sabemos, sin embargo, que sin una buena política sobre juventud, los clubes tienen que comprar las futuras estrellas o si no tienen el dinero comienzan a declinar. El punto, sin embargo, es que una preocupación excesiva por ascender en las tablas de rankings llevará a poner el foco en aquellos aspectos que se incluyen en la metodología del ranking, principalmente, éstos no incluyen desarrollar el aprendizaje transformativo.