Criterios para construir un sistema nacional de información educativa by Heurística Educativa

CRITERIOS PARA CONSTRUIR UN SISTEMA NACIONAL DE INFORMACIÓN EDUCATIVA ÚTIL PARA LA POLÍTICA Y LA PRÁCTICA. Armando Loera Varela 2011 Si bien todos los conceptos son socialmente construidos, por lo que su significado debe considerar aspectos culturalmente situados en contextos específicos, los usados en la definición de asuntos públicos, como los que expresan la política social, además muestran su desarrollo histórico en etapas. Tal es el caso de la noción de "indicador", elemento constitutivo de los sistemas nacionales de información. El concepto "indicador" tiene múltiples significados dependiendo del contexto y de los propósitos del análisis, de forma que algunos autores consideran inútil tratar de acotarla a una definición precisa 1. Para fines de la conversación que pretendemos animar acotaremos la noción al ámbito de la política educativa, de sus actores y practicantes. Entenderemos por indicador una unidad de información, usualmente pero no necesariamente cuantitativa, que nos permite fundamentar empíricamente un juicio acerca del estado de un sistema educativo, de sus componentes, procesos, recursos y, fundamentalmente, de sus metas. Estos juicios se basan frecuentemente en comparaciones en el tiempo de diversas unidades de segmentación (por ejemplo, escuelas, aulas, estudiantes).

No se correcto inferir de un indicador único, incluso de varios indicadores, un juicio definitivo sobre el estado de un sistema educativo. Ese juicio, en una democracia, en todo caso, es resultado de una amplia deliberación social en donde los indicadores deben jugar el papel de ser meros insumos para el debate. En las discusiones públicas en donde se usen indicadores se debe tener claro que a pesar de que los indicadores se expresan en estadísticos que si bien se basan en datos por sí mismos no se refieren a "hechos". Todo indicador es expresión de una peculiar manera de concebir la constitución y funcionamiento de sistemas complejos, como los son los educativos, por lo que deben ser usados con suma precaución, especialmente para atribuir responsabilidades, identificar causas o definir el estado "real" de la educación 2. Es más, debe tenerse claro que en el diseño de un sistema nacional de información subyace un modelo conceptual del sistema educativo, en el que se especifica qué es lo importante a reportar y discutir de manera pública 3.

Para los fines específicos de este documento reseñamos de manera breve las etapas de la conformación de los indicadores que han centrado la discusión pública sobre el estado de la educación en México, posteriormente se listarán once sugerencias para definir criterios de configuración de los indicadores. Es claro que no se trata de definir aquí un nuevo catálogo de indicadores diferentes a los ya existentes, sino que el magisterio defina los

Jaeger, R., "About Educational Indicators", in L. S. Shulman (ed.), Review of Research in Education, Vol. 6. Stecher, B., y Koretz, D.M., Issues in Building an Indicator System for Mathematics and Science Education, Santa Monica, RAND, 1996. 3 MacRae, Duncan, Policy Indicators: links between social science and public debate, Chapel Hill, The University of New Carolina Press, 1985. 2

criterios que desde su perspectiva deben considerarse en el debate sobre el tema. Debate que nos corresponde a todos los educadores, no sólo a los técnicos.

Primera etapa: indicadores para la planificación de la cobertura y la eficiencia. En una primera etapa, que pudiéramos describir como racionalista ingenua y que domina hasta los años ochenta del siglo XX, dominaba la perspectiva de que las discusiones acerca de los indicadores educativos era exclusivo de técnicos de la planificación de los sistemas o, a lo más, de investigadores calificados. De igual manera, los reportes de la información basada en los indicadores eran para consumo interno de ciertos administradores de los sistemas educativos, especialmente aquellos que tenían que ver con decisiones sobre distribución y asignación de los recursos necesarios para operar al Sistema. Decisiones sobre ¿dónde construir una escuela?, ¿qué tan grande debe ser?, ¿cuántos maestros se deben asignar?, ¿qué tanto mobiliario?, ¿cuántos paquetes de recursos didácticos?, por muchos años fueron los tipos de decisiones para los cuales se requería de información basada en indicadores. Era la época de la expansión de los sistemas educativos y las metáforas usadas en ese tiempo eran que se debería responder a la "demanda" con suficiente "oferta". De esta manera la planificación se convertía en la tarea por excelencia de la formulación de políticas. Incluso se tendía a ver a los sistemas con imágenes propias de la ingeniería, como un sistema de flujos, en los que había entradas (matrícula), desgranamientos (con las diversas modalidades de deserción) y salidas de los niveles educativos (tasas de graduación). Tal vez por ello era común encontrar profesionales de la ingeniería o de la contabilidad a cargo de la planificación de los sistemas educativos. Los datos eran manejados discrecionalmente y de manera "racional". La sociedad era informada sobre los temas considerados importantes para la educación como la cobertura y la eficiencia terminal. Es decir, básicamente, cuántos alumnos estaban matriculados por grado; qué edad tenían, cuántos resultaban aprobados o promovidos al siguiente ciclo, cuántos eran retenidos en el mismo grado, y cuántos simplemente dejaban de asistir a las escuelas (lo que en México se ha denominado "deserción").

Poco a poco se empezaron a generar estadísticas con mayor precisión y desagregación según los temas de la agenda pública. Por ejemplo, cuando la discusión pública sobre la educación empezó a enfatizar la importancia de la educación para la mujer, se empezaron a generar datos de matrícula por género; cuando la discusión se centró en la relevancia de la educación para el desarrollo o en la capacidad del Estado para ofertar adecuadamente el derecho a la educación, se "cruzaron" datos de la matrícula de la escuela con datos de los censos de población por áreas poblacionales, con lo que se contó con una estimación de la "tasa de cobertura"; luego se cayó en cuenta que alumnos contabilizados como "desertores" por haber salido de alguna escuela pudieran inscribirse en otra en diversos tiempos del ciclo escolar o en diversos grados, por lo que se identificaron diversas modalidades de deserción, algunos prefirieron manejar el término de movilidad escolar. Estas estimaciones para mejorar su precisión han requerido de una clave única para los alumnos, de manera que se puede reconstruir el trayecto de una cohorte demográfica. Por muchos años, sin embargo, una de las cualidades más buscadas de los sistemas educativos consistió en estimar su tasa de eficiencia terminal, es decir, la relación existente entre los alumnos matriculados en el primer grado del nivel y los egresados exitosos del último grado, considerando los ciclos

escolares para graduarse (seis para primaria, tres para secundaria. No se ha considerado apropiado aplicar ese concepto a preescolar por la dificultad de garantizar su cobertura).

Con esta base algunos analistas empezaron a utilizar términos ahora considerados como inapropiados, como "desperdicio escolar", que se aplicaba al grupo de alumnos que dejaban sus estudios truncados antes de graduarse. Usualmente los reportes mostraban cifras muy agregadas (por entidad y a nivel nacional), tanto de matrícula como cantidades de escuelas funcionando o construidas o número de maestros laborando. En esta primera etapa de presencia de los indicadores la labor de maestros y directivos se reducía a llenar los formatos requeridos para la toma de decisiones "racionales" de esos técnicos. Su papel consistía en producir información. De igual manera, los supervisores escolares eran simples transmisores de la información. La recogían de las escuelas y la llevaban a las oficinas de planificación o de estadísticas educativas. Los procesos de producción, transmisión, manejo y registro de los datos eran débiles y podían sufrir diversos niveles de "arreglos", presuntamente para mantener consistencia de los datos. Por décadas la información estadística de la Secretaría de Educación Pública-SEP fue reconocida por su inexactitud e incoherencia, que era más evidente al analizar los datos de manera longitudinal (comparación de tendencias a través de los ciclos escolares) o comparaciones transversales (en el mismo ciclo escolar se contrastan diversas zonas, niveles o modalidades).

En esta etapa existían pocos resultados de investigación y menos estudios evaluativos. No se consideraba apropiado que estos escasos resultados se mezclaran con estadísticas recogidas de manera censal (principalmente por la reconocida Forma 911) para fines de planificación. Las estadísticas educativas formaban parte de las Cuentas Nacionales y en todo caso servían para basar decisiones entonces vistas como esenciales para el sistema como la contratación de maestros, la construcción de la infraestructura escolar y la producción de recursos didácticos4.

Segunda etapa: la nueva gestión de los sistemas educativos. Desde inicios de los años noventa del siglo XX se desarrolla una nueva jerga tecnocrática para debatir sobre el estado de la educación, que expresaba las fuerzas de la relativamente nueva globalización económica, social y cultural que estaba iniciando su impacto los sistemas educativos. Esta jerga se manifiesta en tres aforismos que identifican la topología de la nueva forma de hablar sobre educación:

a). "La educación debe ser de calidad". En una primera instancia se partía que "calidad" consistía en un alto nivel de satisfacción de las expectativas o necesidades de los clientes. Obviamente estas expresiones derivaban de discursos propios de la administración de empresas privadas, que se insertan en las instancias públicas a través de la "Nueva Gestión Pública" que es una tendencia que asumen que las organizaciones gubernamentales deben mejorar con base en las mejores 4

Es claro que no se ha terminado esta primera etapa, esta perspectiva está presente hasta épocas muy recientes en ámbitos oficiales, lo que uno encuentra si se revisa el documento de la SEP, "Lineamientos para la formulación de indicadores educativos", DGPP, México 2005.

prácticas de gestión experimentadas por las empresas privadas. Los problemas básicos que ha tenido esta forma de ver a la educación es que nunca ha estado claro quién es el cliente de la educación cuyas expectativas deben ser satisfechas y el nexo entre esas expectativas y el derecho público de educación 5.

b). "Solo puede mejorar lo que puede ser medido". La expresión probablemente tiene sentido en ámbitos productivos de objetos con atributos conmensurables con base en instrumentos y procedimientos acordados. El tema en educación es que si bien algunos de sus ámbitos pueden ser medidos con relativa exactitud (por ejemplo: tasa de alumnos por docente, promedio de docentes por escuela), buena parte de los recursos, procesos y resultados educativos son de tal complejidad que su medición es compleja y en todo caso imprecisa. Ha sido claro que en conceptos como "enseñanza de calidad" o "buena escuela" se pueden tener acercamientos más o menos acordados, algunas veces con bases metodológicas e instrumentos relativamente idóneos, pero no dejan de ser conceptos ambiguos y vagos que eluden estimaciones exactas. Si existen procesos de validación metodológica y un acuerdo social legítimo ello es válido, sin embargo en nuestro país hasta ahora estos atributos han sido evadidos y se han impuesto de manera vertical y autoritaria presuntas mediciones de la calidad. Tenemos ejemplos claros en el uso nada riguroso de la prueba Enlace para determinar cuáles son escuelas de calidad o maestros de alto desempeño. No es el objetivo analizar los abusos en en el reporte de los resultados de la prueba Enlace en este documento, basta señalar que el hecho de contar con un instrumento censal que se aplica a todas las escuelas y a la mayor parte de los alumnos, si bien permite contar con promedios de logro en lenguaje y matemáticas, no por ello se cuenta con una estimación, ni cercana siquiera, de calidad educativa. El debate es rico, pero podemos anotar que cualquier noción mínimamente defendible de calidad educativa requiere de la contextualización de los resultados, de la consideración de procesos en los desempeños efectivos de los actores educativos y de la incorporación de la filosofía curricular en la valoración de los niveles de desempeño de los alumnos (¿cómo relacionar una prueba memorística con el construccionismo que inspira el diseño curricular de los programas de estudio?).

c). "Es necesario implantar una cultura de la calidad, a toda costa". Se ha legitimado la instalación de procedimientos, presuntamente de carácter evaluativo, bajo la noción de que por alguna parte es necesario empezar a construir la cultura de la evaluación. Esto está lejos de ser cierto. Universalizar exámenes metodológicamente imprecisos es la forma más burda de configurar procesos de evaluación injustos, con numerosos efectos perversos en el sistema. El más claro ejemplo del desperdicio de recursos del sistema en la prueba censal Enlace radica en que cuando llegan los presuntos resultados de vuelta a las escuelas al ciclo escolar siguiente los docentes simplemente ya no pueden hacer nada con ellos simplemente porque ya tienen otros alumnos, perdiendo el carácter diagnóstico con el que inicialmente se presentó. Lo que los especialistas han denominado "inflación de grados" ha estado ya mostrándose en los resultados especialmente de Enlace, lo que permite ver con claridad que se ha pasado de una visión ingenua de los indicadores educativos a

Para una interesante discusión sobre la visión de expectativas de cliente y derecho ciudadano en esa perspectiva se recomienda: Schachter, H. L. Reinventing Government or Reinventing Ourselves. Albany: State University of New York Press, 1997.

un uso ideológico de los mismos, que ha tenido como repercusiones campañas de desprestigio de la educación pública y de sus docentes, de manera específica.

En la segunda etapa se ha hecho un uso intenso pero no por ello riguroso de los indicadores educativos. Ahora contamos con extensos catálogos de indicadores educativos, tanto por parte de la SEP como por parte del Instituto Nacional de Evaluación de la Educación -INEE-, así como por instancias no gubernamentales, tanto nacionales como internacionales, que se aplican en México. No sólo se cuenta con más, y más detallados de los indicadores tradicionales, como la cobertura y la eficiencia terminal, sino como ya hemos visto de conceptos tan sinuosos como el de calidad, así como más información pública sobre aspectos antes poco publicitados como indicadores sobre presupuesto educativo así como de recursos privados dedicados a la educación. En el diseño del Sistema de Indicadores Educativos se ha tomado el modelo Contexto-Insumos-Procesos-Productos6, que es un modelo usado desde hace muchos años en la evaluación de programas 7. Una condición para que funcione ese modelo consiste en que las variables (en este caso indicadores) se refieran a las mismas unidades de análisis (el mismo objeto evaluado, por ejemplo alumnos, escuelas, docentes). El problema con el actual catálogo de indicadores del INEE radica en que se refieren a muy diversas unidades de análisis y la asociación de indicadores es débil o simplemente inexistente.

Los nuevos catálogos de indicadores, sin embargo, no han madurado la calidad de los debates y de los análisis de las políticas y menos de las prácticas educativas. Es decir, a pesar de contar con más datos no conocemos mejor al sistema educativo y no contamos con herramientas para saber cómo tomar decisiones más adecuadas y pertinentes. Una imagen cercan radica en el hecho de que podemos leer con mucha minuciosidad un buen directorio telefónico, incluso hacer cálculos interesantes considerando los datos que contiene, pero difícilmente pudiéramos decir que el directorio es una buena fuente de conocimiento de los procesos culturales y sociales de cualquier ciudad. No conocemos de sociólogos y antropólogos que caractericen a una ciudad con base en su directorio telefónico, o fuentes semejantes. La saturación de la información nunca se convierte en sabiduría que permita actuar de manera comprensiva e inteligente 8. En esta etapa los maestros y directivos cuentan con más información que nunca sobre el sistema educativo a nivel agregado e incluso sobre comparaciones de sus escuelas, alumnos y docente. Sin embargo, son muchos los casos que se considera a este cúmulo de información 6

El modelo se hace operativo considerando como elementos sistémicos: Contexto, Recursos, Procesos y Resultados, desagregados por niveles del sistema escolarizado y una sección para el sistema no escolarizado, lo que da como resultado 25 indicadores de contexto social, 37 de contexto escolar, 19 de procesos (por cierto ninguno con relación a desempeño docente ya que clima de aula es un aspecto diferente), 14 de resultados inmediatos y 9 de resultados mediatos. Aparte se consideran 4 indicadores de PISA, lo que da como resultado un catálogo de 108 indicadores, véase: SEP-INEE, Plan de Desarrollo del Sistema Nacional de Indicadores Educativos de México, 2007-2014, México S/F; Propuestas y Experiencias para desarrollar un Sistema Nacional de Indicadores Educativos, México, INEE, 2007. La propuesta de sistema se basa en un estudio delphi desarrollado entre expertos de indicadores aunque no pasa de ser una clasificación de indicadores ya que no se registran los criterios de validez, confiabilidad y uso de los mismos. Llama la atención que la estrategia de reporte y uso son poco considerados. 7 Stufflebeam, Daniel L., The CIPP Model for Evaluation, en D.L. Stufflebeam, et al, Evaluation Models: viewpoints on Educational and Human Services Evaluation, Boston: Kluwer Academic Publishers, 2000. 8 Uno de los reportes de indicadores más usados para enriquecer los debates nacionales sobre su estado de la educación es el reporte del Ministerio de Educación Francés denominado "El estado de la escuela (l´état de l´école: http://www.education.gouv.fr/cid53863/l-etat-ecole-indicateurs-sur-systeme-educatif-francais.html). Este sistema reporta apenas una treintena de indicadores, a la mayor parte le da seguimiento histórico y anualmente introduce algunos pocos dependiendo de la coyuntura planteada en la discusión pública. Los indicadores se clasifican en costos, actividades y resultados.

como no pertinente, suele ser confusa y si bien alguna es usada de manera práctica (por ejemplo, para citar en el diseño de los Planes Estratégicos de Transformación Escolar-PETEs) poca se convierte en punto de partida para decisiones oportunas. Además es sumamente cara9.

Tercera etapa: un sistema nacional de información educativa para el debate riguroso y democrático. Esta etapa se encuentra en proceso de construcción y el próximo Congreso Nacional puede constituir una oportunidad para que el magisterio organizado defina criterios del Sistema Nacional de Información Educativa que resignifiquen a la educación pública, identifique y aprecie el esfuerzo de sus actores y permita introducir aspectos de la gestión hasta ahora excluidos, como la equidad, la pertinencia cultural y la gobernabilidad. Desde nuestro punto de vista ese esfuerzo pudiera incorporar los siguientes criterios para su diseño 10:

1. Partir de un modelo sistémico de la educación que identifique ámbitos de decisiones relevantes para el buen funcionamiento. En el diseño de los catálogos de indicadores, y sus bases de datos, actualmente domina el modelo de flujo, en el que se identifican insumos (recursos) y productos (resultados). Sobre insumos y productos se estructuran múltiples catálogos de información y sus consiguientes bases de datos, dependiendo de unidades de análisis relativamente arbitrarias. Los procesos usualmente quedan englobados en la denominada "caja negra", en la que los datos cuantitativos son pocos y usualmente irrelevantes para entender procesos complejos, como son las prácticas de gestión y de aula. Una posible alternativa consiste en identificar ámbitos de decisión que sean relevantes para el buen funcionamiento del sistema. A pesar de la complejidad son relativamente pocos los ámbitos de decisiones relevantes a nivel de políticas educativas. Sugiero que el modelo articule los ámbitos y no los aísle. Las actuales bases de datos dinámicas permiten máxima flexibilidad en el manejo de estos datos. Los ámbitos a considerar pudieran ser, al menos:

a) Presupuesto y recursos económicos del sistema, con fondos desagregados por criterios de asignación. En particular debería quedar claramente definido un fondo mínimo para la operación de las escuelas. b) Contexto socioeconómico, demográfico y cultural de las escuelas. Cada escuela contaría con una estimación de un indicador que permita contar considerar el tipo de necesidades específicas que la caracterizan. c) Infraestructura, asociada a estándares que se han formulado al respecto sobre características básicas de aulas y escuelas. d) Equipamiento académico, configurado por materiales y equipos que sean considerados básicos para el funcionamiento de los centros escolares. 9

No conocemos los costos de la prueba Enlace, por ejemplo, pero una estimación de una prueba semejante que se aplica en Chile, estimó su costo por estudiante en $14.90 dólares, lo que implicaría que el sistema probablemente gaste más en evaluar que en mejorar aspectos básicos para su funcionamiento; véase: Wolff, Laurence, The Costs of Students Assessments, Washingtonj, D.C. PREAL, No. 38, Septiembre, 2007. 10 Una primer versión de este modelo para el diseño de indicadores educativos se presenta en Loera, A., "Elementos para la discusión sobre indicadores de la calidad educativa", publicado en la Memoria del Seminario Iberoamericano para la Elaboración de un Sistema de Indicadores de la Educación en el contexto de políticas de equidad, realizado del 24 al 27 de noviembre de 1997, Madrid España. Se trata de un modelo centrado en los desempeños de los alumnos, docentes y escuelas, sus condicionantes sociales y los ámbitos de toma de decisión de política educativa de los cuales dependen sus recursos.

e) Docentes y directivos, asociados al padrón de perfiles laborales así como los referentes para valorar sus trayectos de formación y desempeño. f) Currículo, compuesto por las competencias y estándares de desempeño de alumnos que sean legítimas, válidas y justas de esperar por nivel, modalidad, contexto y grado. Los referentes curriculares, y sus consecuentes trayectos educativos por grado, conformarían la base para las evaluaciones de alumnos. g) Gestión de escuelas y zonas escolares, compuesto por referentes básicos que sean útiles para procesos de autoevaluaciones, evaluaciones de pares, procesos de certificación o evaluación externa. h) Trayectoria escolar, considerando la clave única de cada alumno se llevaría a cabo un padrón nacional que permita registrar su vida en el sistema educativo nacional, incorporando características personales, registro por escuela y aula, resultados académicos, entre otros. Los indicadores que conformen el trayecto escolar deben ser los requeridos para estimar adecuadamente la "oportunidad para aprender" de cada alumno o alumna.

2. Basarse en valorar el funcionamiento del sistema con base en seis valores públicos: cobertura, eficiencia, calidad, equidad, pertinencia y gobernabilidad. La información contenida en el Sistema Nacional de Información Educativa debería estar conformada por indicadores que apuntalen los debates sobre el estado de la educación de manera suficientemente informada. En particular, examinar la capacidad del Estado nacional para respetar el derecho ciudadano a la educación.

El derecho de todos los mexicanos a una buena educación tiene que ver con los primeros cinco valores del sistema educativo. Estos valores pueden ser considerados para expresar de manera operativa los atributos elementales de ese derecho, que pudiera consistir en que a la edad apropiada para su desarrollo le sea accesible entrar a una escuela con suficientes docentes, que tengan tal perfil y desempeño (cobertura) que le permitan al alumno graduarse en tiempo idóneo (eficiencia), de manera que incorpore las competencias establecidas en los programas nacionales (calidad), sin que se le disminuya la posibilidad de aprendizaje significativo para su vida (pertinencia) por cuestiones socio-económicas, de género, culturales o cualquier otra (equidad). Un posible reducto conceptual de estas cinco aristas de los valores públicos involucrados en el sistema educativo nacional radica en determinar criterios para determinar niveles mínimos de oportunidad de aprendizaje, considerando aspectos situados de la oferta y la demanda del servicio. Estimar qué tasa de oportunidad de aprendizaje garantiza el Estado a los ciudadanos seguramente provocaría un enriquecimiento en la calidad del debate nacional sobre la educación que recibimos los mexicanos.

El sexto atributo tiene que ver con la operación del sistema educativo nacional, de manera que la SEP y las secretarías de educación de las entidades federativas cuenten con las bases operativas y los recursos que les permitan hacer funcionar el sistema educativo, garantizando atributos básicos para su operación cotidiana, especialmente en el ámbito de distribución de facultades característico del esquema federal que nos ha caracterizado desde 1992.

3. Permitir al menos cinco niveles de desagregación dinámica de los datos: aula, escuela, zona, estado y nacional. Crear y mantener un Sistema de Información Nacional es sumamente costoso, por lo que la identificación de indicadores útiles, válidos y pertinentes debe ser examinada exhaustivamente. En especial se debe tener cuidado en que sean efectivamente útiles, no sólo para formular reportes sino para tomar decisiones relevantes para el funcionamiento del sistema educativo. En este sentido el futuro Sistema debe considerar un nuevo papel para docentes y directivos, de manera que no se les vea simplemente como productores de datos, o receptores pasivos, sino como participantes activos en la mejora de los desempeños del sistema en sus diversas variantes, especialmente en el espacio institucional en el que cotidianamente desempeñan su labor: el aula, la escuela e incluso la zona escolar. Por lo que será muy importante cuidar que la desagregación de los datos sea tal que se refieran a esos espacios de manera específica, que la información sea clara, fácil de gestionar y llegue de manera oportuna para tomar decisiones pedagógicas y de gestión relevantes.

4. Partir de una perspectiva holística, no parcial, de los aspectos educativos cuyo valor público se discute, incorporando dimensiones mixtas en su expresión no sólo en estadísticos. Si bien la presencia de indicadores cualitativos y mixtos es cada vez más reconocida en el mundo de la investigación educativa, poco se ha incursionado en su instalación en los sistemas de planificación o de evaluación. Mucho ayuda contar con criterios de desempeño consensados, ya que los mismos permiten recuperar las perspectivas de los actores sobre procesos que eluden su simplificación a estadísticos simples. Además permitirían entender mejor procesos esenciales como los desempeños pedagógicos en el aula, que hasta ahora están fuera de ser contemplados en los sistemas de indicadores. Se pudiera explorar la incorporación de estos criterios para valorar, en particular, la calidad, equidad y pertinencia del sistema educativo.

5. Configurar una cultura de la información y la evaluación con base en rigurosidad metodológica, justa en la consideración de los contextos y basada en la confianza a los actores. La introducción de evaluaciones censales, cueste lo que cueste, ha provocado que las evaluaciones sean vista como ilegitimas y sospechosas de que sus reales propósitos sean otros que los explícitos. El principio de rendición de cuentas es válido si, y sólo si, esas cuentas son válidas desde el punto de vista metodológico, pero también si se respeta el derecho de confidencialidad de las personas a las que se refiere la información y se consideran aspectos relevantes para apreciar los desempeños de manera "situada", es decir considerando los factores de contexto y otros determinantes que permiten hacer comparaciones legítimas. Por otra parte, el diseño mismo del sistema debe ser vista como una inversión en confianza a los actores del sistema educativo: alumnos, padres de familia, directivos y otras autoridades. El sistema en su diseño y operación debe evitar la atribución a falsas culpabilidades o erróneas generalidades. Por lo que se deben explicitar criterios de manejo confidencial de las bases de datos y sus reportes, especialmente cuando los datos se desagregan a niveles específicos de aula, escuela o zona escolar.

6. Impulsar la información requerida para apreciar al sistema de acuerdo a referentes consensados y revisables de manera periódica. La definición de un Sistema Nacional de Información Educativa debe ser vista como un primer ensayo, que debe ser revisado de manera periódica (probablemente cada cinco años), de manera que se revisen

los resultados, se eliminan o se incorporen nuevos criterios o indicadores. Las prioridades de decisión cambian, el sistema va incorporando aprendizajes importantes sobre sí mismo y la agenda pública es dinámica, por lo que cambian sus requerimientos de información. Este criterio debe combinarse de manera funcional con la necesidad de reflejar tendencias multianuales para ver el comportamiento histórico de la educación. Para su revisión el sistema debe instalar un proceso de monitoreo permanente de la validez, confiabilidad, utilidad y uso justo, que permita contar con buena información.

7. Los nuevos catálogos de indicadores deben partir de que sus usuarios críticos radican en la escuela y que no existe ninguna posibilidad de mejorar al sistema si no se mejoran las escuelas que lo componen, una por una. Por lo que deben ser usables, claros y pertinentes para la gestión de las escuelas y la mejora de los desempeños académicos. Entre los criterios para el diseño y operación del Sistema Educativo Nacional deben incorporarse criterios para el reporte y uso de la información. Los docentes frente a grupo, los directores de escuela y los supervisores escolares deben ser vistos como usuarios participativos, de manera que hagan planes de mejora de sus desempeños con base en esa información.

8. Existe una dimensión institucional en la operación del Sistema Nacional de Información Educativa y de la conformación de los catálogos de indicadores que es necesario reconocer y enmarcar en el funcionamiento de un Estado comprometido con la transparencia, la participación social y la eficiencia en su operación. En el Sistema Nacional de Información Educativa se establecen los elementos básicos de los cuales depende la formulación de políticas pertinentes, de la calidad del debate nacional sobre el estado actual y futuro de la educación y de los juicios evaluativos sobre las áreas que el sistema debe corregir. Claro que pudiera examinarse la posibilidad de conformar un Consejo Nacional de Información Educativa, que tenga como propósito la operación responsable del Sistema Nacional de Información Educativo, que bien puede depender orgánicamente de la SEP. Sin embargo, difícilmente un organismo especial pudiera legitimarse, especialmente cuando ya existe el INEE, que cuenta ya con un catálogo de indicadores, como hemos visto, y cuyas funciones incluye la realización de estudios especializados que reportan el estado de la educación en México. Por lo que más bien deben establecerse criterios que mejoren lo existente y no se caiga en el recurso de inventar organismos especializados, solución que en ocasiones entorpece la solución de los problemas.

9. El Sistema Nacional de Información Educativa debe fundarse en principios compartidos con el Sistema Nacional de Evaluación Educativa. No sería conveniente definir un Sistema Nacional de Evaluación separado y operando con criterios diferentes a los del Sistema Nacional de Información Educativo ya que constituyen dos manifestaciones de los mismos principios de la auto-regulación y orientación a la mejora del sistema educativo. Tres principios relevantes que pueden compartir ambos sistemas nacionales son:

- Antes de medir o de evaluar se deben establecer los referentes esperados. Es decir, debemos de establecer las metas y los niveles esperados, para después analizar si los hemos alcanzado. En México hemos cometido el error

de generar múltiples indicadores sin establecer su relación con la agenda de la política y la práctica educativa o evaluar sin saber qué tanto es el nivel que buscamos alcanzar 11.

- Siempre es necesario asociar factores asociados a los resultados. No basta publicar resultados sin fundamentar posibles causas o factores que den cuenta de lo que está sucediendo. Este aspecto es especialmente relevante en la evaluación educativa, en donde se han publicado resultados que deja a la mera especulación saber a qué se deben estos resultados y no otros. Esto ha sucedido tanto en estudios nacionales como en internacionales.

- Cuando se comunican los reportes se deben diseñar reportes apropiados para docentes, directivos, supervisores y padres de familia, de manera que la información sea relevante para la toma de decisiones aula por aula, escuela por escuela, zona escolar por zona escolar.

10. Evitar privilegiar a uno o varios indicadores específicos en la definición de criterios de evaluación de políticas educativas, evitando la aplicación de la "ley de Campbell" de los indicadores de política social.

Donald T.

Campbell fue uno de los investigadores en educación más importantes en la definición de diseños metodológicos válidos en la investigación social. Este autor nos llama la atención a lo relativamente fácil que es corromper cualquier medición social, incluida la educación. Enunció su ley indicando 12: "Un indicador social mientras más sea usado para la toma de decisiones públicas será sujeto a presiones para modificarlo, de manera que se distorsione y corrompa el aspecto que trate de medir". La facilidad de distorsionar indicadores claves hace riesgoso cualquier apuesta pública a "mejorar" los resultados de los sistemas educativos. Un ejemplo ilustrativo de la manera cómo funciona esta ley se encuentra en el proceso denominado por Daniel Koretz 13 como "inflación de calificaciones", que consiste en que cambios positivos en los indicadores no reflejan reales procesos sino que hay tanta gente interesada en reportarlos que se provoca un proceso ilusorio de mejora en educación (también es compatible con el reporte negativo, en donde se trata de satisfacer ideologías que buscan desprestigiar la educación pública). Esto es especialmente cierto cuando se asocia a los resultados de los indicadores estímulos importantes, ya sea económicos o simbólicos. Cada vez son más los especialistas en educación que expresan la necesidad de manejar con mucha precaución cualquier reporte que tenga como resultado premios o castigos, especialmente si se basa en pruebas estandarizadas 14.

Entre los procesos que provocan inflación de calificaciones, especialmente por parte de la implementación de exámenes estandarizados se encuentran, entre otros, los siguientes: - Modificar las muestras de un ciclo a otro; - Evitar que alumnos y alumnas que puedan salir mal participen en los exámenes; 11

La Subsecretaría de Educación Básica de la SEP y el SNTE han impulsado una propuesta de referentes educativos para el desempeño de alumnos, docentes y escuelas, consúltese en: http://www.referenteseducativos.net/ 12 Campbell, Donald T., "Assessing the Impact of Planned Social Change,", en G. M. Lyons, ed. Social Research and Public Policies: The Darmouth/OECD Conference, Hanover, N. H., Public Affairs Center, 1975. 13 Koretz, Daniel, Measuring Up: What Educational Testing Really Tell Us, Cambridge, Mass., Harvard University, 2008. 14 Barrenechea, I. (2010) “Evaluaciones estandarizadas: seis reflexiones críticas” Archivos Analíticos de Políticas Educativas, 18 (8). Recuperado [fecha] de http://http://epaa.asu.edu/ojs/article/751

- Prepararlos específicamente para el examen, sustituyendo los programas de estudio por los temarios de los exámenes (o con consideración de las bases de ítems); - Permitir la copia; - Modificar los resultados, ya sea en las pruebas, durante su captura o en las bases de datos; - Reiterar los ítems en exámenes de varios ciclos, de manera que son predecibles;

Estos procesos de inflación de grados se aplica tanto a evaluaciones censales (que se aplica a todos los estudiantes) que a las evaluaciones con base a muestras probabilísticas. Siempre es necesario recordar que no existe garantía de objetividad en el diseño de ningún indicador educativo, por lo que se requiere constantemente revisar su validez y confiabilidad. Si a un indicador se le asocian premios o castigos será relativamente fácil modificarlos de acuerdo a los intereses, expectativas e ideologías de los usuarios y analistas. Por lo que siempre se debe mantener una mirada crítica de la naturaleza de los indicadores. El magisterio organizado debe establecer mecanismos que impidan usos ilegítimos que impulsen las ya conocidas simulaciones que imperan en diversos aspectos de la educación.

11. Cuidado con los ordenamientos jerárquicos (rankings) o uso de datos sin explicitación del modelo. Un último criterio a considerar en esta breve mirada a los criterios para definir el Sistema Nacional de Información Educativa tiene que ver con la manera como se presentan los análisis basados en indicadores educativos. En la primera década del siglo XXI ha surgido, especialmente en Europa, el denominado movimiento de "gobernabilidad con base en indicadores"15 (governance by numbers) y en Estados Unidos como el movimiento de Reforma impulsado por los datos16 (Data driven). El movimiento consiste en impulsar agendas de reforma social con base en comparaciones (a lo que se denomina método abierto de coordinación) que usen de manera extensa ordenamientos jerárquicos o comparaciones de países o entidades con diversos niveles de desagregación (se puede llegar a escuelas o incluso a maestros). La idea básica de este movimiento consiste en que todos buscamos evitar aparecer en los últimos lugares (en todo caso abajo del promedio) y con ellos se motiva o persuade a quienes aparecen en esos lugares a mejorar sus desempeños, sin necesidad de asociar estímulos económicos especiales. Esta competitividad simbólica, dicen, es el mejor impulsor de cambios, especialmente hacia las características que muestran los "campeones" (benchmarks), los que salen mejor en esos indicadores. La Organización para la Cooperación Económica y el Desarrollo (OECD) es una de las principales impulsoras de este tipo de diseño en sus reportes en educación, tanto en los resultados de su examen PISA (Programa Internacional para la Evaluación de Estudiantes-Programme for International Student Assessment) como en su reporte de indicadores Panorama Educativo -"Education at Glance". El problema básico con este movimiento es que las comparaciones pocas veces son apropiadas y metodológicamente robustas. En términos sencillos, se

Consúltese: Grek, Sotiria and Ozga, Jenny, Governing by Numbers? Shaping Education through Data, CES Briefing, The University of Edinburgh, No. 44, February 2008; Gornitzka, Ase, The Open Method of Coordination as Practice- A wathershed on European education policy?, Centre for European Studies, University of Oslo, No. 16, Diciembre, 2006 y de manera particular Grek, Sotiria, "Governing by numbers: the PISA "effect" in Europe", Journal of Education Policy, Vol. 24, No.1, January 2009. 16 Esty, Daniel C. y Rushing, Reece, The Promise of Data Driven Policy Making in the Information Age, Center for American Progress, Abril, 2007.

comparan peras con manzanas. Aún más, el método abierto de coordinación establece las bases para que existan fuerzas transnacionales en la definición de las agendas nacionales, por lo que debe ser visto con sumo cuidado, especialmente por países cuyas condiciones de desarrollo son sumamente diferentes de aquellos que ocupan los primeros lugares17. El énfasis en competitividad global pone las fuerzas sociales en tensión con la cohesión social interna y elementos que requieren de apuntalar la equidad y la cooperación.

PREGUNTAS PARA LA DISCUSIÓN: 1. ¿Cuál debe ser el papel del magisterio en el diseño de un sistema nacional de indicadores educativos?

2. De las once propuestas que sugiere el autor del documento como criterios para establecer un nuevo sistema de indicadores, ¿Cuáles aprueba y cuáles rechaza?, ¿considerando qué argumentos?, ¿qué otros criterios incorpora al diseño de ese sistema?

3. ¿Considera que el sistema debe introducir competencia entre maestros y escuelas, así como entre nuestro país y otros, por la forma como se presentan resultados basados en indicadores o evaluaciones?

Humburg, Martin, The Open Method of Coordination and European Integration: The Example of European Education Policy, Freie Universitat, Berlin, Junio 2008; Cammack, Paul, Competitiveness and Convergence: The Open Method of Coordination in Latin America, Papers in the Politics of Global Competitiveness, No. 5, March, 2007.