Discusión de indicadores educativos buenosaires, arg by Heurística Educativa

ELEMENTOS PARA LA DISCUSIÓN SOBRE INDICADORES DE CALIDAD EDUCATIVA. Armando Loera Varela Coordinación de Investigación y Desarrollo Académico. Gobierno del Estado de Chihuahua. México. Organización de Estados Iberoamericanos. Buenos Aires, Argentina. Noviembre, 1997. La tarea del seminario, identificar indicadores complejos acerca de la calidad de los sistemas educativos de la región, es fascinante por su complejidad. Este documento pretende simplemente apuntar algunos elementos para iniciar la conversación del seminario. En un principio dilucidar sobre la naturaleza de los sistemas educativos, que ocupará la mayor parte de esta exposición. En segundo lugar considerar algunas concepciones acerca de una noción de por sí vaga como es la de calidad de la educación, la que será tocada brevemente. Finalmente, nos atreveremos a apuntar una sugerencia sobre el tema central del seminario. Esto se hará de manera muy breve, ya que entendemos que estaremos por un largo periodo analizando diversas posibilidades, por lo que no tiene sentido intentar resolver algo que esta planteado que se vaya desarrollando junto con el seminario. Se deja de lado la discusión acerca de desarrollar una perspectiva peculiar sobre este tema en Iberoamérica. Para fines de este trabajo, se propone que este último punto no se convierta en un punto de partida sino, en todo caso, como un punto de llegada dentro de nuestras tareas.

I. SISTEMAS DE INDICADORES . La diversidad de significados del concepto de indicador es obvia. Aquí partiremos de la noción de indicador como un elemento informativo, específicamente cuantitativo, sobre atributos de los sistemas educativos como totalidad o de algunos de sus componentes básicos, que pueden servir como fundamento para elaborar juicios sobre los fines, los contextos, los insumos, los procesos o los productos de la educación. El lenguaje común maneja la noción de indicador como una medida estadística que da una visión general de un aspecto de la sociedad1. Si bien se les reconoce con facilidad su definición conceptual es difícil. Así, Jaeger2, después de hacer una extensa revisión de la literatura acerca de los indicadores sociales concluyó que no tiene sentido intentar dar una definición precisa y definitiva sino que en todo caso sólo se deben elaborar nociones que

Johnstone, James N., Indicators of Education Systems, Kogan Page/UNESCO, Paris, 1981. 2 Jaeger, R., About Educational Indicators, en L.S. Shulman (ed.) Review of Research in Education, Vol. 6, pp. 276-315.

emerjan de la práctica de representar el estado agregado de un grupo de personas o instancias sociales y de su transformación. Partiendo de esta base, Shavelson3 propone conceptualizar a los indicadores como una estadística individual o compuesta que se relaciona con un constructo básico de los sistemas educativos y que es útil en el contexto de las políticas. Si son funcionales tienen la capacidad de que muy pocos de ellos proporcionan una visión general de las condiciones de un sistema tan complejo como el educativo. Además proveen de elementos para hacer comparaciones, elaborar juicios evaluativos, analizar tendencias y predecir cambios. Por otra parte, los indicadores detectan la dimensión de los procesos de transformación de los sistemas educativos así como proveen de evidencias que sean capaces de enriquecer el diálogo público sobre el estado de la educación y las prioridades de la acción estatal y social. De esta forma, los indicadores pretenden ser unidades de información que permiten aportar elementos para dar respuesta fundamentada a preguntas básicas sobre el sistema, tales como: ¿Cuál es el estado del sistema educativo? ¿Se han estado mejorando nuestras escuelas? ¿Contamos con mejores maestros que antes? ¿Por qué nuestros alumnos aprenden tan poco de matemáticas? ¿Estamos desarrollando competencias para las exigencias de los empleadores? Un aspecto común a estas preguntas es que en última instancia se elabora un juicio sobre el sistema educativo, sus componentes o procesos. La naturaleza del juicio es crítico para el desarrollo del sistema de indicadores. Esto es debido a la naturaleza política de los indicadores sociales. Los juicios formulados por los actores del sistema educativo se basan en diversos sistemas de referencia: como las ideologías, las creencias y conocimiento. Los indicadores educativos tratan de proveer de fundamentos factuales a los juicios que los actores elaboran pero que se debe admitir que pueden mezclarse o combinarse con aspectos ideológicos o de mera opinión. Así lo reconocen incluso indicadores como los usados por Education at a Glance, el reporte de la OECD, combina estadísticas generadas a partir de censos poblacionales, censos escolares, análisis de contaduría pública y, de una forma interesante de resultados de investigaciones de campo con base en muestras poblacionalmente representativas no únicamente en aspectos relativos a los niveles de desempeños escolares, actividad propia de la investigación evaluativa, sino también de temas sobre opiniones y

Shavelson, Richard J., et al., What Are Educational Indicators and Indicators Systems? ERIC/TM Digest, ERIC Clearinghouse on Tests, Measurement, and Evaluation, Washington, D.C., 1991.

expectativas sobre educación4, más dentro de la tradición de encuestas de opinión pública que de la investigación educativa. A los juicios elaborados con base en este tipo de fuentes de información se les denominará juicios factuales. Al menos podemos diferenciar 5 tipos de juicios factuales acerca de la educación5: 1. Juicios de autorreferencia. Estos juicios se elaboran con base en transformaciones de los atributos de un sistema consigo mismo, ya sea en el tiempo (longitudinalmente) o entre diversos componentes en el mismo momento (transversalmente) en aspectos autodefinidos por las comunidades educativas. Si bien los juicios pueden basarse en descripciones, los actores usualmente lo refieren a aspectos valorativos y el sentido de las tendencias que manifiestan las transformaciones. Por ejemplo, en mi escuela los maestros ahora son mejores porque tienen menos ausentismo que hace tres años, lo que nos propusimos a partir de este ciclo escolar. 2. Juicios referidos a objetivos. Este tipo de juicios se diseña con fundamento en los objetivos de la educación en general. De manera más particular en la capacidad de si los alumnos son suficientemente competentes para lograr expresar los objetivos de un nivel del sistema, de un plan de estudios o de un programa curricular. Por ejemplo: un 72% de los alumnos saben sumar correctamente expresiones de dos dígitos, por ejemplo 88+33. 3. Juicios referidos a criterios. Este tipo se basa en los juicios referidos a objetivos pero se expresa de manera que se identifica si se satisface o no un criterio determinado: Por ejemplo: Un 85% de los alumnos saben resolver adecuadamente sumas de dos dígitos (criterio: adecuadamente significa que al menos 60% de las operaciones fueron resueltas sin errores). 4. Juicios referidos a dominios. También basados en objetivos, los juicios referidos a dominios se refieren a una área epistémicamente diferenciada de la curricula, en referencia a la cual se diseñan un grupo de ítemes que son aleatoriamente seleccionados para ser evaluados. Por ejemplo: Un 85% de alumnos conocen las operaciones matemáticas. 5. Juicios referidos a normas. Particularmente los indicadores que van del C21-C27. Payne, David A., Measuring and Evaluating Educational Outcomes, McMillan Publishing Company, New York, 1992, p17. Con la excepción del primer criterio, que es sugerencia del autor del presente documento. 4 5

Este tipo de juicios distingue niveles de desempeño claramente jerarquizados entre los sistemas o componentes de él que son evaluados. Se tiene como presupuesto que los individuos ubicados en un nivel preestablecido (por ejemplo en un percentil o número de desviaciones estándar a partir de la media) son superiores a los de los niveles que están por debajo. Por ejemplo: los alumnos de las escuelas urbanas saben más de matemáticas que los de la escuela indígena ya que su promedio es mayor y su desviación estándar menor. Un sistema de indicadores no es una simple colección de indicadores individuales. La información que provee un sistema de indicadores debe ser mayor que la obtenida por la suma de los indicadores individuales6. Si bien los indicadores son estadísticas, no cualquier estadística educativa es un indicador. Sólo aquellas estadísticas que son capaces de dar una idea global y sentar las bases para elaborar un juicio sobre el funcionamiento del sistema educativo serían indicadores. De ahí que el reto más importante en la conformación de un sistema de indicadores es que con muy pocas estadísticas se pueda dar una muy buena idea acerca de todo el sistema. En forma tentativa esta sería la naturaleza por excelencia de los indicadores complejos. Las estadísticas que sirvan de base a los indicadores deben reflejar el estado de factores críticos en el funcionamiento de la educación y establecer relaciones entre sí de manera que se pueda modelar al propio sistema educativo. CRITERIOS DE EVALUACIÓN DE INDICADORES. Los sistemas de indicadores pueden ser juzgados en base a seis criterios generales, dos que se refieren a atributos de los indicadores y cuatro al sistema en cuanto tal: 1) Por la validez interna de los indicadores. Consiste en la precisión matemática del cálculo involucrado en los indicadores cuantitativos o la precisión conceptual de los indicadores cualitativos. 2) Por la validez externa de los indicadores. Consiste en la capacidad del indicador de representar correctamente el fenómeno del sistema educativo. Por ejemplo, el concepto de eficiencia interna tradicionalmente usado en México donde se toma en cuenta la matricula total de los grados precedentes representa de manera inexacta el fenómeno del flujo de alumnos ya que en esa matrícula están alumnos rezagados. Para reconstruir la cohorte y reportar la eficiencia interna correctamente se necesita identificar la matricula inicial del grupo precedente, de manera que se pueda estimar el desgranamiento de ese grupo en particular en los ciclos escolares posteriores. 3) Por la consistencia del sistema. Consiste en la coherencia de los indicadores entre sí, evitando contradicciones entre la categorías de información reportada. Los sistemas deben tener cierto grado de

Shavelson, R.J., op.cit.

redundancia, en cuanto que varios indicadores midan el mismo fenómeno, con el fin de determinar la consistencia de la información y de los indicadores usados. 4) Por la comprensibilidad del sistema de indicadores. Consiste en la capacidad de los sistemas de indicadores para considerar los factores críticos que permiten describir o explicar la condición del sistema educativo. En ese sentido los indicadores deben referirse, como se verá en la tercer parte, al menos a ámbitos tales como: las metas educativas, las políticas educativas, los determinantes socio-económicos y los procesos pedagógicos. Esto es sobre los insumos, los procesos, los productos, los contextos y los fines. 5) Por basarse en un modelo causal. Consiste en la característica del sistema de indicadores de enfocarse en los factores estratégicos para que decisiones o acciones política puedan alterar en forma dramática el comportamiento del sistema. Para lograrlo el sistema de indicadores debe fundamentarse en un modelo causal de funcionamiento del sistema, donde los factores de intervención política son meramente instrumentales para el logro de las metas del sistema educativo7.

6) Por su uso. En última instancia éste es el criterio más relevante para evaluar los indicadores. Los usos pueden ser instrumentales en aspectos de planeación o programación; conceptuales en cuanto que educa a los tomadores de decisión sobre los factores críticos del sistema educativo o iluminativos8, para enriquecer las conversaciones sociales y los diálogos de política. Para ser usado el sistema de indicadores necesita de un proceso de reporte que se caracterice por analizar y entregar información para actores de varios niveles, también debe combinar presentación de estadísticas con análisis conceptuales y estudios a profundidad, y, por último, los datos deben presentarse con base en una teoría educativa sostenible ante expertos del área. Un buen sistema de indicadores, por lo tanto, informa lo suficiente como para elaborar juicios con fundamento sobre la condición de la educación y establece elementos para diseñar, implementar y evaluar políticas para su mejoramiento. Si el sistema de indicadores no influye en el proceso de las políticas educativas su costo, cualquiera que sea, es muy alto. Hasta ahora los sistemas de información educativa han tratado de impactar más las unidades dedicadas a la planeación y a la programación. Esto se ha debido a que la política prioritaria ha sido la de expansión de la oferta educativa y, más recientemente, la de la eficiencia terminal. Con estas prioridades bastaba saber que tantas escuelas, maestros y otros insumos mínimos existían, de qué tipo eran y dónde 7MacRae,

Duncan, Policy Indicators: links between social science and public debate, Chapel Hill, The University of North Carolina Press, 1985. 8 Véase Weiss, Carol H., The Many Meanings of Research Utilization", en M. Bulmer et al., Social Science and Social Policy, London, Allen & Unwin, 1986.

estaban ubicados. Ahora que aparecen como relevantes otras metas del sistema educativo como las de calidad, equidad y pertinencia se requiere de indicadores más sofisticados de insumos e impactos, e incursionar en los de proceso. El cambio de metas implica también un cambio de usuarios de la información. Como se señaló arriba, una condición que tienen los indicadores educativos para tener implicaciones de políticas es importante que involucren un modelo causal que identifique los factores críticos del funcionamiento del sistema9. Los indicadores estarán referidos a esos factores críticos para colaborar en el entendimiento del estado del sistema y para insinuar el tipo y la dimensión del esfuerzo estatal para hacer correcciones. El proceso de implantación como el cumplimiento de una decisión pública tiene en los indicadores una etapa decisiva en el análisis. Los indicadores de desempeño contienen tanto las metas como la capacidad del sistema para determinar si funciona o no el esquema causal implícito en la política10. La única forma para determinar el éxito o fracaso de un proceso de implementación es monitoreando sus indicadores, los que nos permitirán decidir hasta que punto se cumplen o no las metas perseguidas. Si se proclama que una política educativa promueve el mejoramiento del sistema se deben especificar las razones por las cuales ello deba suceder. Al mismo tiempo, no sólo se pretende evaluar las políticas actuales sino también las pasadas, el estado de los factores críticos del sistema, las tendencias y los escenarios futuros. Los indicadores permiten dar seguimiento al logro de los objetivos, pero la relación entre el indicador y las metas es de carácter probabilístico, no lógica, por lo que es necesario contar con múltiples indicadores de una meta. Por otra parte es importante ver que un indicador refleja varios hechos y que la interpretación en un sólo sentido puede provocar confusiones. Por lo que se debe evaluar un sistema a partir una visión de conjunto de los indicadores11. Por otra parte, debe tenerse claro que los indicadores de un sistema de educación usualmente son incapaces para evaluar el impacto de programas educacionales. Los indicadores no substituyen a procesos de investigación que evalúen el impacto de intervenciones como programas o proyectos en cuanto que les falta el nivel de rigor y de detalle de los buenos proyectos de evaluación. CONSTRUCCIÓN DE UN SISTEMA DE INDICADORES.

Peters, Guy B., "Policy Design and the Development of Policy Indicators", Knowledge, Vol. 9, No. 2, December, 1987, pp. 278-296. 10 Van Meter, D. y Van Horn, C., "The Policy Implementation Process: a conceptual framework", in Administration and Society, Vol. 6, No. 4, 1975, pp. 445-488. 11 Medina, A., y Mejía, J., El Control en la Implantación de la Política Pública, Plaza y Valdés Editores, México, 1993.

Shavelson12 identifica las siguientes etapas para la identificación de un sistema de indicadores: 1) Conceptualizar indicadores potenciales. Los indicadores potencialmente importantes pueden considerar insumos (recursos humanos o financieros asignados al sistema educativo) , procesos (conjunto de dinámicas relativas al ambiente de aprendizaje en las aulas) y productos (las consecuencias de la experiencia escolar en alumnos de antecedentes diversos). 2) Una vez que se tenga un listado de indicadores potenciales se debe de refinar. Para depurar el listado de constructos se debe tener en mente de forma prioritaria el propósito (o propósitos) a los que se va a orientar el sistema de indicadores. Con este fin se debe consultar a los usuarios potenciales quienes definirán las categorías más pertinentes para sus actividades (monitoreo, planeación, programación, discusión de metas, evaluación) y el nivel y categorías de desagregación requerido. De igual forma, se debe tomar en consideración la cantidad y calidad de información disponible y los costos que implicaría reportar sistemáticamente indicadores que requieren información de alta calidad y precisión. Con toda esta información se define un mapa conceptual que liste los indicadores y sus nexos. Una vez que el mapa conceptual de indicadores esté construido se exploran las bases de datos existentes y las modalidades disponibles para obtener la información que necesita el sistema de indicadores. Algunos indicadores requerirán censos poblacionales o de escuelas mientras que otros necesitarán de investigaciones muestrales. Las alternativas tanto de los indicadores como de las bases de datos por ellos requeridos se deben someter a criterios de factibilidad política, económica y organizacional. En el análisis de la factibilidad política debe de revisarse la reacción de los protagonistas del sistema (sindicato, uniones de padres y otros grupos de interés) en la obtención de información o en el reporte de ciertas categorías de información (por ejemplo, se sabe de la alta sensibilidad de los sindicatos magisteriales a indicadores de evaluación de los docentes). La cultura de la evaluación del sistema no se puede desarrollar de inmediato ni por decreto. Se requiere de procesos de aprendizaje gradual. El análisis de factibilidad económica requiere de estudios de costos muy detallados. Sumar un sólo indicador en procesos censales puede incrementar de manera muy significativa en sistema educativos grandes. Finalmente, el análisis de factibilidad organizacional tomaría en cuenta la capacidad técnica del personal que procesa, analiza y reporta la información así como la capacidad

Shavelson, Richard. J. Steps in Designing an Indicator System, ERIC/TM Digest, ERIC Clearinghouse on Tests, Measurement, and Evaluation, Washington, D.C., 1991.

tecnológica que posibilitaría la obtención, procesamiento, análisis y publicación de la información. En los reportes más recientes de los sistemas educativos nacionales o de organismos internacionales existen intentos de llevar a cabo análisis de los indicadores presentando tablas cruzadas de manera que se pueda inferir la pertinencia de ciertos indicadores. Sin embargo, fuera del cruce de las variables no se reporta ningún análisis posterior que defina la fuerza de la asociación entre las mismas. Obviamente que de la simple presentación de los datos no se infiere más que intuitivamente el impacto que el gasto puede haber tenido en fenómenos tan complejos como el analfabetismo y la eficiencia terminal. Esta forma de presentar elementos de juicio sobre el impacto de la inversión pública en educación, sin mayor análisis, puede resultar contraproducente ya que puede dar lugar a inferencias ilegítimas. Un sistema de indicadores pretende establecer el estado de la educación identificando y entendiendo los factores críticos de su funcionamiento. Una de las formas como el entendimiento se facilita es a través de tipologías o criterios de clasificación de indicadores. Obviamente no existe un criterio único de clasificación de los indicadores. Mientras algunos investigadores han propuestos métodos empíricos13, los reportes de los indicadores de los sistemas educativos usan criterios más cualitativos, aunque muy diversos. Por ejemplo, el reporte "The Condition of Education", del Departamento de Educación de los Estados Unidos clasifica 60 indicadores en las siguientes categorías: 1) Acceso, participación y progreso; 2) Rendimiento, obtención y curriculum; 3) Impactos económicos y de otros tipos; 4) Tamaño, crecimiento y productos de las instituciones educativas; 5) Clima, grupos y diversidad de las instituciones educativas y 6) Recursos humanos y financieros de las instituciones educativas. La OECD14, por su parte, clasifica sus 38 indicadores para comparar sistemas nacionales en tres categorías generales y nueve subcategorías: I. Costos, recursos y procesos escolares. 1. Gastos en educación. 2. Recursos humanos. 3. Participación en educación. 4. Características del proceso de toma de decisiones.

Sokal, R.R. and Sneath, P.H.A., Principles of Numerical Taxonomy, San Francisco, Freeman, 1963; McQuitty, L.L., "A Comparative Study of Some Selected Methods of Patterns Analysis", Educational and Psychological Measurement, Vol. 31, 1971, pp. 607-626; Rummel, R.J., Applied Factor Analysis, Evanston, Northwestern University Press, 1970; y el más influyente en indicadores de sistemas educativos. Johnstone, James N., Op. cit. 14 OECD, Education at a Glance, Centre for Educational Research and Innovation, Paris, 1993.

II. El contexto de la educación. 5. El contexto demográfico. 6. El contexto social y económico. III. Los resultados de la educación. 7. Rendimientos de los estudiantes. 8. Resultados del sistema. 9. Impacto en el mercado laboral. El reporte de indicadores de Francia, L'etat de l'ecole, no presenta ninguna clasificación o agrupación de sus 18 indicadores aunque define tres metas: eficiencia, eficacia y equidad. PROPUESTA DE CLASIFICACIÓN DE UN SISTEMA DE IDENTIFICADORES. En este documento se clasifican los indicadores ya que pretende dar las bases para estructurar un sistema de indicadores. La clasificación parte de un mapa conceptual con propósitos heurísticos en cuanto que pretende facilitar el entendimiento del sistema educativo. Este mapa conceptual tiene su origen tanto en la sistematización de resultados de investigaciones relativas a las metas de los sistemas educativos15 como en un esquema categorial del impacto de las políticas educativas en el mejoramiento del sistema16. Desde esta perspectiva se reconocen 4 ámbitos respecto al funcionamiento del sistema: metas, los componentes de las políticas, los determinantes del proceso educativo y los elementos del proceso pedagógico. Un sistema taxonómico más cercano al autor es relativo a las metas del sistema educativo. Parte de que en los sistemas educativos se reconocen seis metas fundamentales: Cobertura y Acceso, Eficiencia interna, Calidad, Efectividad o Impacto, Capacidad de Gestión y Equidad17. a) Cobertura y Acceso. Cobertura y acceso son denominaciones que no son libremente intercambiables ya que enfatizan categorías diferentes del mismo fenómeno: la capacidad del sistema de educación pública por proveer de servicios educativos a la población. El término "cobertura" enfatiza la oferta, es decir la capacidad del Estado por incorporar "la demanda" de los servicios educativos. En educación básica la demanda de cobertura se define por atributos de edad (demanda social) o de promoción de grados (demanda normal). Se 15

Loera, Armando, Conceptos y Uso de la Base de Datos de Investigaciones Educativas del Tercer Mundo, BRIDGES project, Harvard Institute for International Development, Octubre, 1988 (mimeo). 16 McGinn, Noel F. and Borden,, Allison, M., Framing Questions, Constructing Answers: linking research with education policy for developing countries, Harvard Institute for International Development, Cambridge, Mass., 1995. 17 Cfr. Prawda, Juan, Técnicas Cuantitativas de Análisis de Políticas, Manual del II Curso de Formación de Analistas de Políticas Educativas, Córdoba, Arg., Agosto de 1995.

cumple con la cobertura en cuanto se provee de capacidad de ofrecer "servicios educativos" a los alumnos. No se cuestiona, al menos necesariamente, ni la pertinencia ni los aspectos de equidad de tales servicios. En cambio el término "acceso" acentúa la situación del efecto de la oferta educativa en la demanda. El concepto de acceso implica el nexo entre la capacidad del Estado de ofrecer servicios educativos y la efectiva participación de la población (definidos por condiciones propias, de sus familias o de sus comunidades) de aprovechar esa oferta y traducirla en participación de la oportunidades educativas18. En gran medida la noción de oportunidad educativa lleva implícito aspectos de pertinencia y equidad. Así no basta con proveer de maestros, escuelas y curricula a los alumnos rurales o de grupos indígenas. Se requiere que el modelo ofrecido efectivamente respete la cultura y a otras características de la demanda. El sistema no puede asumir que la naturaleza de la demanda del servicio educativo es homogénea. Por lo que se da "acceso" efectivo a la escuela sólo si las experiencias educativas a las que los grupos marginales permiten corregir su marginalidad. Desde esta perspectiva es inequitativo tratar igual (es decir bajo el mismo modelo) a los desiguales. Las oportunidades educativas, así consideradas, implican pertinencia de los procesos pedagógicos respecto a la cultura y a las expectativas de estudiantes, familias y comunidades. b) Eficiencia interna. Es la capacidad del sistema para aprovechar de manera óptima sus recursos para alcanzar sus objetivos, de manera que la eficiencia aumenta cuando los educadores son capaces de obtener los objetivos con menos recursos o costos. Esto implica disminuir los diversos tipos de "desperdicio" de los recursos. El desperdicio se expresa en dimensiones de fracaso escolar, tales como la repitencia y la deserción definitiva o temporal del sistema19. En ocasiones se ha tratado indistintamente dos pares de términos: por una parte "aprobación" y "promoción" y por otra "reprobación" y "repitencia". Sin embargo es importante hacer distinciones con el fin de hacer más precisa la estimación de la eficiencia. Usualmente la aprobación constituye un juicio del docente sobre el desempeño de los alumnos en donde expresa que han mostrado logros suficientes para verse sometidos con éxito al curriculum en un grado superior al cursado. Sin embargo en los sistemas donde existe la política de promoción automática la aprobación deja de ser un juicio relativo al desempeño de los alumnos para convertirse en un acto declarativo de carácter administrativo. Sin embargo, observaciones de aula e investigaciones en países con políticas de promoción automática20 indican que en algunos casos (no se ha estimado la 18

Cfr. Anderson, Mary B. , Improving Access to Schooling in the Third World: an overview, BRIDGES Research Report Series, No. 1, Cambridge, Mass., March, 1988. 19 ,Cfr. Eggers-Piérolanet al., Internal Efficiency, BRIDGES, Training manual, HIID/BRIDGES, Cambridge, Mass., July, 1992. 20 Cfr. Loera, Armando, La Repitencia de Grado en la Escuela Primaria Colombiana, Harvard Institute for International development, Cambridge, 1993.

dimensión del fenómeno) los alumnos pueden ser aprobados pero no resultan promovidos. En ocasiones los padres de familia deciden retener al alumno en el mismo grado ya que no ha aprendido lo que ellos esperan en ese grado. En otras ocasiones el mismo maestro comunica a los padres que su hijo esta formalmente aprobado pero que en realidad no sería capaz de estudiar con éxito el grado superior. Por lo que recomienda que permanezca en el mismo grado. Más claramente, el alumno puede ser aprobado pero ser repitente. Estas decisiones pedagógicas no se reflejan en las estadísticas de las escuelas. Por otra parte Ernesto Schiefelbein21 y Ernesto Cuadra22 han llamado la atención en el hecho de que la repitencia tiende a subestimarse en los reportes de estadísticas escolares. Por lo que es necesario controlar este aspecto reportando la edad de los alumnos, y distinguiendo en ellos a los de nuevo ingreso de los repitentes. Uno de los indicadores de eficiencia interna que no se reportan usualmente debido a que involucra aspectos técnico complejos es el promedio de años requeridos para terminar un ciclo (que resulta de multiplicar el número de estudiantes de una cohorte que se gradúan por el número de años que les llevó completar el ciclo, dividido por el número de graduados totales de esa cohorte), la duración promedio de estudios de los desertores (que resulta de multiplicar el número de desertores de una cohorte por el número de años que duraron dentro del sistema entre el total de desertores), el promedio de estadía en el ciclo de todos los estudiantes (que resulta de los alumnos año obtenidos en la duración promedio para graduarse y la duración promedio de los desertores entre el número base de la cohorte), la tasa de desperdicio del flujo educativo (que es el porcentaje que resulta de sumar los alumnos año por cada grado cursado y restarle el número total de graduados en el plazo idóneo-sin repetir ni desertar- por 100)23, la tasa de comportamiento de la matrícula (que es el resultado de dividir el número de alumnos de un grado entre el número de alumnos en un año comparable anterior y la tasa de incorporación24. d) Efectividad o Impacto. La efectividad o impacto del sistema educativo es la incidencia que tiene el sistema educativo en otros sistemas, tales como el económico, el cultural, el social y el político. Estos indicadores intentan responder la pregunta ¿para qué le sirve la educación a la sociedad toda?. Los indicadores de este tipo tienen que medir el beneficio general que recibe la sociedad de la inversión pública y privada en educación y constituye la meta por excelencia de los sistemas educativos. En lo económico se esperaría que la inversión en educación implique crecimiento en la productividad y en la calidad de vida, en lo cultural una mayor sofisticación de los procesos de interacción, en lo social una disminución de los 21

Schiefelbein, E. with Wolff, L., Repetition and Inadequate Achievement in Latin America´s Primary Schools: A Review of Magnitudes, Causes, Relationships and Strategies, A View from LATHR, The World Bank, August, 1992. 22 Cuadra, Ernesto, Indicators of Student Flow Rates in Honduras: an assessment of an alternative methodology, BRIDGES Research Report Series, No. 6, December, 1989. 23 Cfr. Prawda, Juan, Op. cit. 24 Cfr. Poiacina, Marta R., et al, Deserción, Desgranamiento, Retención, Repitencia, Editorial Kapelusz, Buenos Aires, Argentina, 1983.

procesos de anomia y en lo político una profundización de las actitudes y comportamientos participativos y de respeto cívico. A los datos de estos indicadores deberían sumarse los reportes comparativos arriba señalados (por ejemplo la comparación entre gasto educativo y escolaridad) en caso de que se formulara un indicador compuesto a partir de la asociación, o al menos se llevara a cabo un análisis de asociación. Como no se ha dado ninguno de estos casos se dejan fuera del listado de indicadores de impacto usados. Algunos de los indicadores de impacto que se han propuesto son la tasa de empleo de la población, las características de las empresas dominantes en la economía, el nivel de diferencia entre las calificaciones de la población y las características de las empresas, las oportunidades de capacitación a los empleados, las actitudes hacia el trabajo, los salarios25, el valor neto presente de los salarios por nivel educativo, las actitudes y comportamientos sociales por grados de educación, tasas de tiempo en encontrar empleo por grados educativos, criminalidad por niveles educativos, actitudes políticas por niveles educativos y participación electoral por grados educativos. e) Capacidad de Gestión. Se entiende por capacidad de gestión del y en el sistema educativo la cantidad de recursos económicos y organizacionales que permiten la asignación de los insumos requeridos y el desarrollo de los procesos idóneos para el logro de los fines curriculares. Así los sistemas con un mayor presupuesto asignado, normas de aplicación efectiva y relación óptima entre insumos clave y procesos pedagógicos mostrarían una mayor capacidad de gestión que los que no tienen estas características ya que muestra capacidad para atraer recursos por el que otros sectores compiten y ponerlos a funcionar de manera adecuada. f) Equidad. La equidad como meta educativa se refiere a la distribución de los recursos educativos a la vez que al impacto diferencial que tienen los procesos, modelos e insumos en alumnos con características heterogéneas en aspectos individuales, familiares, comunitarios o culturales. La tendencia dominante en el tratamiento de la categoría de equidad consiste en desagregar los datos relativos a las otras metas educativas o los insumos por categorías de grupos en desventaja social por motivos de ingreso económico, género, locación (urbano/rural-ciudades grandes/pequeñas), etnicidad, religión, lenguaje, desplazamiento (grupos de refugiados o migrantes) y habilidad física o mental26. En ese sentido más que desarrollarse indicadores específicos sobre equidad educativa se han estimado la distribución de los indicadores por las unidades de desagregación usuales (por género, edad, tipo de sostenimiento, indígena/bilingüe, entidades federales y ciclos 25

Todos ellos sugeridos en Rumberger, Russell W., Labour Market Outcomets as Indicators of Educational Performance, en Making Education Count, Centre for Educational Research and Innovation, OECD, Paris, 1994. 26 Rawley, Christina, "Identifying Disadvantaged Groups for Equity Policy Initiatives", The Forum, Vol.1, N.4, May 1992, pp.1-2.

escolares). Por otra parte se cuenta con información de la inversión que hacen las familias mexicanas distribuidas en deciles: Sin embargo, estos indicadores y estimaciones de equidad educativa son insuficientes ya que presume un igualitarismo simple. En este sentido el concepto de equidad ha sido objeto de análisis que implican retos en el diseño de indicadores. Uno de los desarrollos teóricos más interesantes es el concepto de "proporcionalidad solidaria" de la oferta educativa por Latapí27. Desde esta perspectiva la equidad implica para el nivel de educación básica asegurar la igualdad de acceso y permanencia, igualdad de insumos educativos en calidad y cantidad en los establecimientos escolares, compensación de insumos a los grupos más necesitados y resultados de aprovechamiento mínimos. Algunos indicadores que posiblemente tendría sentido construir para medir la equidad de las oportunidades educativas podrían partir de una estimación de rendimientos en índices como el de Gini en donde se midiera el impacto de factores relativos a insumos o procesos pedagógicos en un n número de categorías grupos en los que se quiera medir la equidad.

ÁMBITO DE POLÍTICAS. A pesar de que la problemática educativa suele ser vista como demasiado amplia, en realidad son pocos los ámbitos abiertos para decisiones y acciones de las instancias públicas28. En forma global son siete los ámbitos de políticas de los sistemas educativos, en referencia a los cuales se pueden diseñar indicadores relevantes. a) Infraestructura. A este ámbito pertenecen políticas relativas a las instalaciones físicas de los establecimientos escolares tales como aulas, oficinas administrativas, servicios higiénicos, jardines, laboratorios, gimnasios, servicio de agua potable, servicio de electricidad y mobiliario escolar. b) Estructura administrativa. La estructura administrativa se compone de aspectos muy diversos, donde se involucran características de liderazgo, normatividad, estrategias administrativas y características del ambiente escolar a nivel institución. Algunos de los factores que pertenecen a este ámbito son las características personales de los directivos, capacitación de directivos, características personales de los supervisores, capacitación de los supervisores, tipo de ambiente escolar, cantidad de turnos, clases de nivel avanzado o especiales, grupos multigrado, tasa de maestros por alumnos, rango de estudiantes por grupo, número de grados en la escuela, número de alumnos en la escuela, índice de maestros por grado, criterios de aceptación de alumnos, normas de promoción, normas de expulsión, normas sobre reprobación, estilo de liderazgo de los directivos, existencia de programas de 27

Latapí, Pablo, "Reflexiones sobre la Justicia en la Educación", Revista Latinoamericana de Estudios Educativos, Vol. XXIII, No. 2, pp. 9-41. 28 Lockheed, M.E. and Verspoor, A.M., Improving Primary Education in Developing Countries: a review of policy options, The World Bank, Washington, D.C., 1990.

instrucción extraordinarios, existencia de programas alimenticios o asistenciales y monto del financiamiento recibido de parte de la comunidad. c) Estructura Financiera. La estructura financiera se refiere a las fuentes de ingreso económico, dimensión del gasto, monto de los costos públicos y privados y a los apoyos institucionales en dinero a docentes, estudiantes o proyectos. Los indicadores actuales relativos a la estructura financiera están enfocados a la inversión federal y sólo a nivel de censo se manejan costos privados: d) Características del maestro y su formación. Esta categoría es muy amplia pero tiene en el docente su unidad conceptual. A ella pertenecen tanto características del maestro como de su formación y actualización. De esta manera se incluyen en la categoría aspectos como origen cultural y socioeconómico del maestro, las estrategias de selección y asignación de docentes, la capacidad cognoscitiva, edad, experiencia docente, género, nivel de motivación, estatus laboral, ingresos económicos, condiciones de trabajo, niveles de titulación y nivel de carrera magisterial. e) Tecnología instruccional. En la categoría de tecnología instruccional se sitúan los insumos materiales que enriquecen el ambiente de aprendizaje de los alumnos o les sirven de intermediarios a los maestros en la entrega del curriculum29. Incluye, entre otras, libros de texto, libros auxiliares, guías para maestros, ayudas de aula, afiches, computadoras para instrucción, programas de computadoras para instrucción, equipo de laboratorio, equipo de talleres, equipos deportivos, radios, televisión, videograbadoras y equipo audiovisual.

f) Tiempo. La categoría tiempo se maneja distinto en el área de políticas que en el de procesos pedagógicos30. En el área de política el concepto es el de tiempo asignado en varios niveles: calendario escolar, jornada de trabajo y turno. En el área de los procesos pedagógicos la categoría de tiempo a considerar es la dedicada directamente al aprendizaje (time-on-task o Academic Learning Time). g) Curriculum intencional. En sentido estricto el curriculum intencional31 es una sistematización preestablecida de los procesos de enseñanza-aprendizaje y se presenta en formas de programas de

Thiagarajan, S. and Pasigna, A.L., Literature Review on the Soft Technologies of Learning, BRIDGES Research Report,N.2, July, 1988. 30 Montero-Sieburth, Martha, Classroom Management: instructional strategies and the allocation of learning resources, BRIDGES Research Report Series, No. 4, April, 1989. 31Lockheed, M.E. and Verspoor, A.M., Op. Cit.

aprendizaje. Este curriculum se asume como único y homogéneo en todas las escuelas del país. Por lo que no existe un reporte acerca de innovaciones o interpretaciones locales. Sin embargo, en un sentido más amplio se puede entender como curriculum intencional las diversas modalidades de educación básica, tales como la educación indígena, la rural comunitaria, los centros psicopedagógicos (con atención en aprendizaje, lenguaje y conducta), las unidades de servicio de apoyo a la educación regular-de educación especial(deficiencia mental, trastornos de audición o lenguaje, trastornos visuales, trastornos neuromotores, problemas de conducta, aprendizaje y deficiencia mental) y unidades de atención a niños sobresalientes. Cada una de estas modalidades cuentan con su propio sistema de indicadores y de bases de datos. ÁMBITO DE DETERMINANTES. Para los fines de este documento se denomina "determinantes" a los factores que son inalterables para el sistema educativo (al menos de manera directa e inmediata), que modifican el efecto de las políticas educativas e influyen directamente en los procesos pedagógicas y en la interpretación de las metas educativas. Los factores determinantes más importantes son los económicos, demográficos, culturales, comunitarios o familiares que impactan la capacidad de aprendizaje de los alumnos, la capacidad de enseñanza de los maestros y la extensión de las oportunidades de aprendizaje de los alumnos. a) Características del sistema económico. A diferencia de la meta de eficacia o de impacto, en donde se trata de identificar la influencia del sistema educativo en la estructura económica y en el mercado laboral, en esta otra dimensión los factores económicos son los que impactan a la educación. Los indicadores que se pudieran definir en este ámbito serían comparaciones de crecimiento entre los salarios mínimos y los salarios del magisterio, la relación entre incremento de la oferta educativa y crecimiento de los sectores de la economía, tasas de costo-oportunidad en los diversos niveles y para diferentes sectores socio-económico y la relación entre participación en el PIB y participación en el sistema educativo. b) Características demográficas. La definición de las tasas de crecimiento poblacional son básicas para la planeación de los sistemas educativos. c) Cultura de las comunidades. Las características de las comunidades que se toman actualmente en cuenta en los indicadores se refieren a criterios de desagregación: d) Características de las familias. Es obvio que a nivel de indicadores no se puede tener una gran variedad de características de las familias. Sin embargo, existen dos aspectos que pareciera fácilmente

operacionalizables y que dan una buena idea de la influencia de las características de la familia en la educación. La primera es en relación con el financiamiento que reciben los establecimientos de parte de las familias. Este financiamiento puede tomar modalidades de cuotas, colegiaturas o cualquier otra; ya sea que lo reciban los directivos o las sociedades de padres. En principio pareciera posible inquirir estos montos en forma total por establecimiento, o de manera unitaria por familia. Tal vez el mayor problema radica en la validez del autoreporte de los datos. como se sabe, el autoreporte de cantidades de dinero usualmente involucra subestimaciones. Por otra parte, es posible identificar el nivel de involucramiento de las familias de las escuelas por su participación en asambleas, en el Consejo de Participación o en el promedio de respuesta de los padres al llamado de maestros o directivos.

ELEMENTOS DEL PROCESO PEDAGÓGICO. Tal vez la mayor dificultad conceptual operativa en la teoría de los indicadores en la actualidad radica en la construcción de indicadores del proceso educativo. El principal problema radica en la falta de consenso en la literatura especializada acerca de los factores críticos de la enseñanza, los métodos de excelencia, las tipologías de la enseñanza o el mismo significado de las medidas de tiempo32. Hopkins33 ha propuesto los siguientes indicadores al nivel de escuela: - grado de orientación a los rendimientos académicos. - liderazgo educativo. -planeación consensada y cooperativa entre los maestros. - calidad del curriculum en términos de su contenido y estructura. - disciplina. y los siguientes como indicadores de proceso a nivel de aula: - tiempo dedicado al aprendizaje ( incluyendo tareas). - enseñanza estructurada. - oportunidad para aprender. - altas expectativas en estudiantes. - nivel de monitoreo de los estudiantes. - reforzamiento. Sin embargo, el autor no da indicaciones de cómo se pueden manejar estos constructos a nivel aula o establecimiento en un sistema nacional de información educativa. Es obvio que todavía hace falta mucho trabajo tanto en el desarrollo conceptual de estos indicadores como en elaborar esquemas de uso significativo de los mismos. Esto es cierto tanto en México, donde no se ha intentado incursionar en este tipo de indicadores, como a nivel internacional. 32

Cfr. Bellon, J.J., et al., Teaching from a Research Knowledge Base: a development and renewal process, Maxwell Macmillan International, New York, 1992. 33 Hopkins, D., Process Indicators for School Improvement, en A. Tuijnman and N. Bottani (ed.), Making Education Count: developing and using international indicators, OECD, Centre for Educational Research and Innovation, Paris, 1994.

La conformación de un sistema de indicadores se tiene que enfrentar no solamente a problemas técnicos o teóricos, tales como el escaso desarrollo del actual listado de indicadores, la pobre capacidad de análisis y de reporte; sino también a elementos muy significativos de la estructura misma del sistema educativo. Al menos tres de estos elementos son, sin duda, relevantes: el estado de la cultura de la evaluación, el impacto de la federalización y el estado de la construcción del diálogo social acerca de la educación. La cultura de la evaluación se encuentra en una etapa muy inicial de su desarrollo. La falta de indicadores y de datos pertinentes y de calidad son aspectos importantes pero de menor relevancia que la publicidad de la información que se tiene. Así, por ejemplo, el programa de la carrera magisterial ha sido el esfuerzo más significativo de impulsar una cultura de la evaluación del desempeño docente pero no sólo existen problemas con sus indicadores de desempeño, sino fundamentalmente con la confidencialidad de la información. Tal vez en una próxima etapa a la vez que se depuran los indicadores se inicie la socialización tanto de los criterios como de los resultados. Con ello se impulsaría la cultura de la evaluación hacia otros factores críticos de la evaluación del sistema, como los desempeños a nivel de establecimiento escolar o la evaluación sistemática y significativa (por impacto no por insumos o procesos) de los programas.

Como lo han señalado Chapman y Mählck34, en realidad se sabe poco sobre el funcionamiento real y el impacto de los sistema de indicadores y de información educativa. Pero de lo poco que se sabe se tiene la certeza de que cualquier intento debe asociar el desarrollo de la capacidad técnica con la capacidad política para involucrar a los grupos de interés del sector educativo. Sólo de esta manera los sistemas de información provocarán quiebres semánticos que modifiquen la manera de hablar y pensar acerca de la educación en un país. Así se esperaría crear grandes coaliciones sociales en favor de la educación entre sindicatos magisteriales, secretaría de educación, partidos políticos, grupos de padres de familia y organizaciones no gubernamentales.

II. CALIDAD DE LA EDUCACIÓN. En esta sección se está lejos de aportar una definición más de calidad de la educación así como de hacer una exhaustiva revisión de la muy extensa literatura que existe sobre este tema. Sólo para efectos ilustrativos se identifican algunas concepciones que se han estado discutiendo en Latinoamérica. Se considerarán en cuanto su relevancia para el diseño de los indicadores.

Chapman, D.W. and Mählck, L.O., Linking Data to Action, en D.V. Chapman and L.O. Mählck (ed.), From Data to Action: information systems in educational planning, UNESCO, Pergamon Press, Paris, 1993.

Felipe Martínez Rizo, de México, considera una concepción multidimensional de la noción de calidad educativa en cuanto que comprende la relevancia, la eficiencia interna, y externa, el impacto, la equidad y la eficiencia. Así, un sistema educativo de calidad sería aquel que: "- Establece un curriculum adecuado a las necesidades de la sociedad en que se ubica (relevante). - logra que la más alta proporción posible de destinatarios acceda a la escuela, permanezca en ella hasta el final del trayecto previsto (eficiencia interna) y egrese habiendo alcanzado los objetivos de aprendizaje establecidos (eficiencia externa). - Consigue que el aprendizaje relevante alcanzado por los alumnos sea asimilado por éstos en forma duradera y sea utilizado para mejorar su desempeño como adultos en los diversos papeles sociales que deben desempeñar (impacto). - Y hace todo lo anterior aprovechando de la mejor manera posible los recursos de que dispone, evitando despilfarros y derroches de cualquier tipo (eficiente)."35 Esta perspectiva sistémica y holística de la calidad tendría como implicación una difícil operacionalización de la noción de calidad educativa. De alguna manera se acerca a la experiencia de la OECD de listar cuanto dato se tenga disponible, tratar de que tenga pertinencia de política educativa, y como resultado de la sumatoria, inferir el estado de la calidad educativa36. En este caso encontrar macroindicadores, que asumieran ponderaciones para las diversas ponderaciones del sistema (como cobertura, relevancia, eficiencia interna) tendría sentido, aunque probablemente se encuentre que se estan agregando conceptos que corresponden a diversas categorías. Por otra parte, Ángel Facundo y Carlos Rojas, de Colombia, definen la calidad de la educación como: "X educación es de calidad en t = por definición, si y sólo sí, en t, presenta los satisfactores de las necesidades sociales fundamentales percibidas como tales en forma consensual por la comunidad histórica determinada a la que pertenece y a la cual sirve"37 Así la educación es de calidad cuando satisface las necesidades sociales de manera que pertenezca a su tiempo y se adecue a las exigencias de su respectiva civilización. Los autores distinguen entre calidad integral o política, la calidad formal o científica y la calidad institucional o infraestructural. Por calidad política entienden la naturaleza de los fines y las cualidades del producto educativo, como la capacidad de las comunidades de autodirigirse, la demostración de capacidad cultural y la capacidad para autodeterminarse y autopromocionarse. La calidad formal radica en que los procedimientos pedagógicos y las tecnologías educativas empleadas correspondan al avance científico de la pedagogía. Por su parte, la calidad institucional, que se refiere a las características idóneas de los espacios Martínez Rizo, Felipe, La Calidad de la Educación en Aguascalientes: diseño de un sistema de monitoreo, Universidad Autónoma de Aguascalientes, Instituto de Educación de Aguascalientes, 1996, p. 138. 36 Papadopoulos, George S., Education 1960-1990. The OECD perspective, OECD, Paris, 1994, p. 189-191. 37 Facundo, Ángel y Rojas, Carlos, La Calidad de la Educación: cómo entenderla y evaluarla, FES, Bogotá, 1990, p.43. 35

educativos de manera que se permita un ambiente adecuado para la satisfacción de las necesidades sociales. Así como de insumos como personal, políticas, planes , programas y sistemas de monitoreo, control y evaluación. Desde esta perspectiva los indicadores de calidad tendrían que basarse en encuestas que determinen el nivel de satisfacción de las necesidades sociales, que para efectos prácticos se refiere a las expectativas de los usuarios. Esta noción es próxima a las visiones de calidad educativa desde la perspectiva de control total de calidad38 o de valor agregado en el servicio público39. Por último, desde una perspectiva más acotada y clásica, la Oficina Regional para América Latina y el Caribe de la UNESCO, asume a la calidad educativa se refiere a los rendimientos académicos y a los factores que la explican. Desde este punto de vista el desarrollo de indicadores de calidad tiene que ver con los niveles de rendimientos académicos en áreas críticas de la curricula, contextualizados por nivel socio-económico o ámbito cultural. Ésta sería la perspectiva que se buscaría desarrollar más claramente en el sentido de indicadores complejos de calidad educativa ya que ofrece mayor claridad y diferenciación conceptual que las visiones referidas a los usuarios y sus atributos, que es sólo una modalidad de calidad, y las sumatorias, donde se confunde calidad con la sumatoria de atributos de un sistema educativo. Sin embargo el problema radica en comparar resultados y procesos con insumos y contextos muy diferenciados. Una alternativa consiste en focalizar los factores propios del ámbito de políticas educativas, esto es, aquellos que denotan la maniobrabilidad dentro del sistema y el impacto de las decisiones tomadas en relación a los determinantes y los aspectos oscuros de la caja negra, como los procesos de gestión escolar y relaciones pedagógicas. Así se entendería por calidad al porcentaje de "explicación" propia de los factores de política en relación a desempeños académicos en áreas curriculares relevantes. La calidad educativa dependería, de esta manera, de la capacidad de impacto de las decisiones en contextos y procesos diferenciados. Es obvio, que los retos más importantes para implementar esta idea radica en aspectos técnicos, aunque también habría que construir consensos acerca de la noción de "factores propios de los ámbitos de políticas".

III. INDICADORES COMPLEJOS PARA LA CALIDAD. De la discusión precedente se identifican tres alternativas para diseñar indicadores complejos de calidad:

Cohen, Steven y Brand Ronald, Total Quality Management in Government, JosseyBass Publishers, San Francisco, 1993; Osborne, David y Gaebler, Ted, Reiventing Government, Penguin Books, New York, 1992. 39 Moore, Mark H., Creating Public Value, Harvard University Press, Cambridge, 1995; Calidad de servicio y atención al usuario en el Sector Público, Domen Ediciones, Santiago, Chile, 1997. 38

- Indicador de calidad como resultante de la sumatoria o la ponderación de los diversos componentes del sistema, como eficiencia, relevancia o equidad. - Indicador de calidad como grado de satisfacción de los usuarios, desagragados por niveles de referencia por tipo de usuario o grupo de referencia políticamente importante. - Indicador de calidad expresado como el impacto diferenciado de las políticas educativas en los rendimientos escolares u otros aspectos críticos del sistema. 1. LA CALIDAD COMO SUMATORIA DE ATRIBUTOS. Un sistema de indicadores que asuman la calidad como resultante de los atributos generales del sistema debe ponderar características tan diferentes como cobertura, eficiencia interna, eficiencia externa, equidad, relevancia o cualquier otro atributo. Sin embargo, sería teóricamente factible con ciertos acuerdos técnicos. Sin embargo, cualquier criterio de ponderación tendría que enfrentarse con la pertinencia temporal del atributo. En algunos países la cobertura sigue siendo el aspecto más relevante, en otros es la equidad, en otros es la eficiencia. Por lo que habría que pensar en cuestiones de consenso acerca de las prioridades de los atributos del sistema. Pudiera darse el caso de acotar los atributos a aspectos teóricamente más relevantes, como cuestiones de proceso o de resultado. Aunque este ejercicio no pasaría de ser meramente descriptivo.

2. LA CALIDAD COMO SATISFACCIÓN DE NECESIDADES O EXPECTATIVAS. Una visión de calidad como satisfacción de expectativas es importante aunque debe construirse con muy diversos niveles de agregación para que tenga sentido. Así debería de contarse con instrumentos a nivel aula, escuela, zona escolar, estado y país. Fuera de la escuela pudiera pensarse en investigaciones tipo encuesta. Si bien esta solución se enfrenta al problema de comparar niveles de satisfacción ante grupos con expectativas diferentes, habría posibilidades de enfrentarlo técnicamente. Su mayor problema reside en el hecho de que esta información esté desconectada de la información cotidiana que se recolecta desde la escuela y de los atributos de sus componentes. Así que también quedaría reducido a un nivel descriptivo. 3. LA CALIDAD COMO IMPACTO DIFERENCIADO DE LAS POLÍTICAS. Un indicador complejo no es simplemente una sumatoria de indicadores simples ni un indicador de procesos complejos dentro del sistema educativo. Tiene que ver más con reducir en un índice un aspecto central del sistema educativo. Por lo que el proceso de construcción de indicadores complejos se refiere más a indicadores del tipo de años promedio para terminar un nivel educativo la primaria (que es resultado de un cálculo de varios indicadores como eficiencia terminal combinado con el número total de alumnos y otras estadísticas). Es decir, es un estadístico que se refiere a una combinación de factores significativos.

En un intento de distinguir este tipo de factores significativos y en trascender la naturaleza descriptiva de los indicadores de calidad propondría focalizar la información que se refiere a lo que antes denominamos el ámbito de las políticas educativas, con aspectos que dependen de la habilidad de los formuladores de política y de la gobernabilidad del sistema por los espacios de maniobra identificados y ejercidos. La idea es considerar que un sistema no es de calidad en términos absolutos sino más bien en términos relativos. Es decir se debe decir un sistema tiene más, menos o igual calidad que otro, pero se debe evitar hablar de sistemas de calidad o sistemas que no la tienen. Una vez que se habla de calidad en términos relativos el punto es identificar el valor agregado que depende de las aspectos que expresan el ámbito de políticas. El reto técnico se puede afrontar con el uso de herramientas estadísticas propias hasta ahora de la investigación educativa más que de la planificación, aunque ya utilizadas por las unidades de evaluación educativa. Así, y dependiendo de los niveles de sofisticación y de la calidad y naturaleza de los datos disponibles, sería posible usar desde simples correlaciones hasta la posibilidad de identificar ponderaciones propias de los modelos de variables latentes, como análisis factorial, path analysis o estructural40, LISREL41 o regresiones logísticas multinivel42, con los que es posible evitar los problemas de la regresión lineal y diferenciar la capacidad predictiva de ámbitos específicos o poder distinguir efectos propios al nivel aula, escuela o zona escolar, por ejemplo. Los modelos construidos a partir de estos análisis estadísticos pudieran ser considerados en sí mismos como indicadores complejos o construirse a partir de la agregación hasta cierto nivel (por agregación de unidades de análisis: aula, escuela, zona escolar, estado, país; por agregación de factor de política: infraestructura, capacitación de maestros, material educativo, gestión escolar, tiempo, financiamiento, etc.). En cualquier caso, el reto mayor radica en la cantidad y calidad de los datos a utilizar. En principio éste aspecto ya estaría empezando a ser cubierto con el desarrollo de unidades de evaluación más sofisticados en los países, en las que debería enfatizarse el uso de variables que midan el impacto de las políticas, y que puedan aceptar las implicaciones que ello pudiera tener en la discusión pública de qué se esta haciendo y qué se necesita hacer para mejorar la educación. Este tipo de tratamiento pudiera iluminar estas conversaciones sociales probablemente con un poco más de elementos que los tradicionales indicadores descriptivos.

Loehlin, John C, Latent Variable Models, Lawrence Erlabaum Associates, Publishers, London, 1987. 41 Jöreskog Karl and Sörbom, Dag, LISREL, SPSS, Chicago, 1988. 42 Prosser, R., Rasbash, J., Goldtein, H. Data Analysis with ML3, Institute of Education, University of London,1991. 40