Curso 12

EVALUACIÓN DE LA CALIDAD DE LA EDUCACIÓN EN CUBA. FUNDAMENTOS, ESTRUCTURA Y RESULTADOS

Curso 12

Autores Dr. C. Paúl Torres Fernández Profesor Titular, Jefe de Programa Ramal, investigador del ICCP Dr. C. Héctor Valdés Veloz Coordinador Regional LLECE-UNESCO Dr. C. Pedro Valiente Sandó Profesor Titular, Jefe de Proyecto Docente-investigador del ISP “José de la Luz y Caballero” - Holguín Dr. C. Maritza Guerra Zaldívar Profesora Auxiliar, docente-investigadora del ISP “José de la Luz y Caballero” - Holguín Dr. C. Juana María Remedios González Profesora Titular, docente-investigadora del ISP “Capitán Silverio Blanco Núñez” - Santí Spíritus MSc. Silvia Puig Unzueta Investigadora del ICCP MSc. Sol Ángel Galdós Sotolongo Investigadora del ICCP

Edición: Dr. C. María Julia Moreno Castañeda Corrección: Lic. José Luis Leyva Labrada.

Diseño y composición: MSc. Nelson Piñero Alonso

© sobre la presente edición, sello editor Educación Cubana.

Ministerio de Educación, 2009.

ISBN

978-959-18-0420-4

Sello Editor EDUCACIÓN CUBANA Dirección de Ciencia y Técnica Avenida 3ra # 1408 esquina a 16.

Miramar, Playa. Ciudad de La Habana. Cuba.

Teléfono: (53-7) 202-2259

ÍNDICE Introducción/ 1 Evaluación de la calidad de la educación, origen y desarrollo.

Conceptos de evaluación, calidad, educación y de evaluación de la calidad de la educación/ 4 Modelos y ámbitos de evaluación. Normas evaluativas. Tipos de evaluación/ 16 Metodologías de evaluación educativa; indicadores, instrumentos y orientaciones metodológicas y organizativas/ 51 Estado del Arte de la evaluación educativa/ 66 Conclusiones/ 102 Bibliografía/ 103

Introducción En la actualidad, la evaluación de la calidad de la Educación constituye una prioridad para numerosos Estados y organismos internacionales. Como expresión de ese creciente interés se han venido organizando, en los últimos años, diversos estudios internacionales de evaluación educativa, entre los que destacan: Trends in Internacional Mathematic and Science Study (TIMSS), de la International Association for the Evaluation Achievement (IEA) y los desarrollados por el Programa Internacional de Evaluación de Estudiantes (PISA), de la Organización para la Cooperación y el Desarrollo Económica (OCDE).

En América Latina son conocidos los esfuerzos de concertación intergubernamental en esa área, de los cuales es fruto el Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación (LLECE).

Asociado al mismo, es conocido el Primer Estudio Internacional Comparativo sobre Lenguaje, Matemática y factores asociados, para alumnos del tercer y cuarto grado de la Educación Básica (1997) y, más recientemente, el Segundo Estudio Comparativo y Explicativo – SERCE- (2006).

Cuba, tras numerosas y valiosas investigaciones pedagógicas durante casi cuatro décadas de educación revolucionaria, se ha insertado sólidamente en los últimos diez años en ese esfuerzo por la medición científica de la calidad de los servicios educativos prestados y del impacto de las políticas educativas introducidas.

En ese sentido, ha sido creado desde hace unos años, en el Instituto Central de Ciencias Pedagógicas (ICCP), un Grupo de investigación de Evaluación de la Calidad de la Educación, el que ha venido acumulando en los últimos tiempos una valiosa experiencia en la realización de estudios de evaluación educativa, con la preparación y conducción de doce Operativos Nacionales de Evaluación de la Calidad. Asimismo, la dirección del Misterio de Educación (MINED) creó desde el 2001 los Grupos Provinciales de Calidad, con funciones amplificadas a partir de la emisión de las resoluciones ministeriales RM 106/04 1 y RM 104/05.

1

Esta resolución se encuentra ya derogada.

De esta manera se ha venido creando condiciones para la ejecución de un esfuerzo mayor, la constitución de un Sistema Cubano de Evaluación de la Calidad de la Educación, que contribuya sensiblemente al logro de niveles superiores de funcionamiento del Sistema Educativo Nacional y, con ello, a una mejor contribución de la Educación Cubana al logro de los objetivos políticos de la actual Batalla de Ideas.

La articulación de dicho Sistema, desde la base hasta el organismo central, el estudio de ámbitos complementarios a su objeto de estudio, así como la necesidad de profundizar en las causas de las dificultades en el aprendizaje de las asignaturas básicas del programa escolar, derivadas de las mediciones nacionales y territoriales y de instrumentar propuestas metodológicas y educativas de atención a los problemas del aprendizaje y de la formación de valores morales diagnosticados, son razones que justifican la articulación de investigaciones científicas en un programa rector de ciencia e innovación tecnológica, que las encauce y dirija. Es así que en el actual Sistema de Ciencia e Innovación Tecnológica del MINED ocupe un lugar central el Programa Ramal No.10, de Evaluación de la Calidad de la Educación.

El mismo se ha planteado como objetivo fundamental “evaluar los principales resultados del Sistema Educativo Nacional y los factores asociados que lo potencian o dificultan” (ICCP, 2006: 3). Para darle cumplimiento al mismo, se han previsto tres líneas prioritarias de investigación: Articulación e implementación del sistema de evaluación de la calidad de la educación a escala nacional, Identificación de las principales causas de dificultades formativas y del aprendizaje de las asignaturas básicas del programa escolar, derivadas de mediciones nacionales y territoriales, y Elaboración de propuestas metodológicas y educativas para la atención de los problemas del aprendizaje y de la formación axiológica de los estudiantes diagnosticados.

En el presente curso se explicarán los esfuerzos que se han venido realizando en el país para desarrollar la primera de esas líneas

2

prioritarias. En tal sentido, se han previsto diez epígrafes que se desarrollarán a continuación.

A lo largo de ellos se expondrán los elementos más generales de la teoría de la Evaluación de la Calidad de la Educación o Evaluación Educativa, destacando su origen y fases de desarrollo, hasta explicar la manera en que se interpretan a la luz de la actual construcción de un Sistema Cubano de Evaluación de la Calidad de la Educación.

En un primer acápite, se esclarecerán los conceptos de Evaluación, Calidad, Calidad de la Educación y de Evaluación de la Calidad de la Educación. Posteriormente, se trabajarán consecutivamente los siguientes aspectos: modelos y ámbitos de evaluación, normas evaluativas, tipología de la Evaluación Educativa y el procedimiento de organización de la evaluación educativa, así como la conformación de metodologías de evaluación a través de la precisión de indicadores, instrumentos y orientaciones metodológicas y organizativas.

Después se revelarán las experiencias cubanas en la implementación de metodologías de evaluación del desempeño cognitivo de los estudiantes, del desempeño profesional de los docentes y de las instituciones escolares, para finalmente explicar las ideas que se tienen acerca de la articulación de éstas, y otros metodologías similares, en un sistema evaluativo nacional, la manera de procesar e interpretar los datos generados y de informar los resultados de las evaluaciones, de cara al perfeccionamiento del Sistema Educativo Nacional.

3

EVALUACIÓN DE LA CALIDAD DE LA EDUCACIÓN Desde la antigüedad se han venido creando y empleando procedimientos instructivos en los que los profesores utilizaban referentes implícitos para valorar y, sobre todo, diferenciar estudiantes (Escudero, 2003). En ese sentido, se hace referencia a autores como (Dubois; 1970) y (Coffman; 1971), quienes refieren normas que se empleaban en la China Imperial, hace más de tres mil años, para seleccionar los altos funcionarios.

Otros autores, citados por T. Escudero, como (Sunberg, 1977), hablan de pasajes evaluadores en la Biblia, mientras que (Blanco, 1994) refiere los exámenes de profesores griegos y romanos. Pero según (Mc Reynold, 1975), el tratado más importante de la antigüedad sobre Evaluación es el Tetrabiblos, atribuido a Ptolomeo.

También Cicerón y San Agustín introdujeron en sus escritos conceptos y planteamientos evaluadores.

En el siglo XVIII, a medida que aumenta la demanda y el acceso a la educación, se acentúa la necesidad de la comprobación de los logros individuales y las instituciones educativas comienzan a elaborar e introducir normas sobre la utilización de exámenes escritos. (Gil, 1992) En los Estados Unidos, H. Mann comienza, en 1845, a utilizar las primeras técnicas evaluativas del tipo test. Sin embargo, no se trata todavía de una evaluación sustentada en un enfoque teórico, sino de algo que responde a prácticas en buenas medidas rutinarias y con frecuencia basadas en instrumentos poco fiables.

A finales del siglo XIX, en 1897, aparece un trabajo de J. M. Rice que se suele señalar como la primera investigación evaluativa en educación (Mateo et al, 1993). Se trataba de un análisis comparativo en escuelas norteamericanas sobre el valor de la instrucción en el estudio de la ortografía, utilizando como criterio las puntuaciones obtenidas en los test.

Un análisis más completo del desarrollo histórico de la Evaluación aparece en (Valdés-H, 2007) y ha estado marcado por las siguientes características: (Ver Tabla1)

4

Tabla.1 Desarrollo histórico de la evaluación Período:

Características fundamentales:

Antigüedad

Tetrabiblos de Ptolomeo, considerado el tratado más antiguo sobre evaluación.

Edad Media

Se introducen los exámenes en los medios universitarios con un carácter más formal (exámenes orales y públicos, en presencia de un tribunal).

Renacimiento Siglo XVIII

Siglo XIX

Siglo(XX) (inicios)

Se siguen utilizando procedimientos selectivos de evaluación.

Se acentúa la necesidad de comprobación de los méritos individuales, se introducen normas para los exámenes escritos.

Se establecen los sistemas nacionales de educación y aparecen los diplomas de graduación.

Se comienza a utilizar las primeras técnicas evaluativas del tipo test. No se trata todavía de una evaluación sustentada en un enfoque teórico, sino más bien basada en instrumentos poco confiables.

Se despierta un marcado interés por la medición científica de las conductas humanas. Surge un movimiento renovador de la metodología de las ciencias humanas, asumiéndose el positivismo de las ciencias naturales.

Se desarrolla una actividad conocida como testing, que se define por las características siguientes: Medición y evaluación resultaban términos intercambiables, en la práctica sólo se hablaba de medición. La evaluación era sustituida por una simple medición.

El objetivo era detectar y establecer diferencias individuales, dentro del modelo del rasgo y atributo que caracterizaba las elaboraciones psicológicas de la época.

Los tests de rendimiento, sinónimo de evaluación educativa, se elaboraban para establecer diferencias individuales.

La utilización de los tests tuvo una gran influencia del psico-diagnóstico y ofrecieron a la escuela un instrumento definitivo para la cuantificación científica del aprendizaje y rendimiento de los alumnos.

5

Esta descripción de carácter histórico pone en primer plano el necesario abordaje del concepto de Evaluación de la Calidad de la Educación. En su artículo “Evaluación Educativa una aproximación conceptual”, (Elola-Toranzos, 2000) destacan que dentro de los significados más frecuentes a los que se asocia la categoría evaluación se encuentran:

El que vincula la evaluación a los exámenes, pero estos últimos son considerados instrumentos de poder, por lo que pueden producir secuelas negativas en el desarrollo de los alumnos.

Los instrumentos de evaluación se emplean a menudo con fines diferentes a los que fueron diseñados; por ejemplo, cuando se dan altas calificaciones como premio y cuando se otorga baja calificaciones como castigo, Se observa desfase entre la teoría y la práctica vinculada con la evaluación, atribuible a diferentes causas, como la burocracia escolar, la presión del tiempo, cierta inercia y rutina, etc.

También señalan que existe una tendencia a identificar evaluación y calificación, lo que se apoya en las consideraciones siguientes:

Los instrumentos de evaluación se refieren a un número muy reducido de competencias cognoscitivas, muchas veces reducidas a la memorización comprensiva.

Los significados más frecuentes asociados con la evaluación son: • Control externo.

• Función penalizadota.

• Cálculo del valor de una cosa.

• Calificación.

• Grado de suficiencia o insuficiencia.

Estos autores consideran que en el estudio inicial de esa categoría, se centró la atención en asociar la misma a críticas, detección de errores, identificación de dificultades, recopilación de información, tarea de supervisar, así como al control de actividades. Todos estos términos con los que la relacionan, la alejan, de su función desarrolladora, de su visión de tomar decisiones para modificar y cambiar la práctica educativa.

6

En cambio, la evaluación se percibe por otros de diferentes maneras; (Astin, 1997) refiere que: “Es una herramienta potencialmente poderosa para construir un programa educativo más eficaz y eficiente, ya que aporta estrategias para mejorar el proceso de enseñanza-aprendizaje al poner de manifiesto las debilidades del programa en formación”.

Por otra parte, (Gómez, 1999), plantea que: “Es un conjunto de procedimientos que nos proporcionan información relevante para adoptar decisiones respecto al proceso de enseñanza y aprendizaje”.

En cambio, (Tenbrik, 1988) refiere que: “Es el proceso de obtener información y usarla para formar juicios que a su vez se utilizarán en la toma de decisiones”.

Estos autores abordan la definición de evaluación en la educación como una herramienta para la toma de decisiones, para mejorar el proceso docente-educativo.

En esa misma dirección, (Achig, citado por Valiente-Álvarez; 2000c: 8). Señala que la evaluación: “(…) es un juicio de valor de la misión y los objetivos de una determinada institución, en perspectiva del cambio, con amplia participación de sus integrantes, que se sustenta en una rigurosa y sistematizada información, con la finalidad de ayudar (…) para que comprenda su realidad, reflexione y se proyecte hacia niveles de calidad y pertinencia”.

En este sentido, (Stufflebeam, citado por Jara, 2004: 22) la define como: “(…) el estudio sistemático planificado, dirigido realizado con el fin de ayudar a un grupo de clientes a juzgar y perfeccionar el valor o mérito en algún objeto, resaltando sus posibilidades de contribución a la mejora de los procesos”.

Además de los elementos anteriores, se introduce en estas dos últimas definiciones, un aspecto importante que es la amplia participación de los integrantes, lo cual refuerza la función de mejora del proceso evaluativo.

7

Otro autor que realiza una contribución notable a esa definición es (Días Sobrino, citado por J. M. Lehmkuhl, 2002: 12), cuando plantea que: “(…) la evaluación es el proceso sistemático y permanente que permite obtener información sobre el objeto evaluado para contrastarlo con su marco de referencia y a partir de ese contraste emitir juicios de valor y proponer alternativas para mejorar dicho objeto”.

Desde este punto de vista, la evaluación no se concibe solo como un resultado, como un fin, sino también como el proceso, que requiere de diferentes etapas de recogida de información, en donde una dependen de las otras.

También se incluye un aspecto clave en la definición, que es la obtención de información para contrastar con su marco de referencia; es decir, con criterios previamente establecidos, lo que señala la necesidad de comparar con el deber ser. Por lo que no se reduce a una simple medición, como se valoraba cuando comenzó a manejarse este término en el campo de la pedagogía. Es un proceso que conduce a la conformación de un juicio de valor.

En esta misma dirección, (Toranzos, 2000) plantea que en todo proceso de evaluación existen ciertos componentes, que son: Búsqueda de indicios: a través de la observación o de ciertas formas de medición, donde se obtiene información que constituyen evidencias visibles de aquellos procesos o elementos más complejos que son objetos de la evaluación.

Forma de registro y análisis: a través de variados instrumentos se registran estos indicios. Es muy positivo recurrir a la mayor variedad posible de instrumentos y técnicas de análisis con carácter complementario.

Criterios, constituye un componente central de elementos a través de los cuales se pueda establecer la comparación. Este es uno de los elementos de más difícil construcción metodológica en la evaluación. Por una parte, se corre el riesgo de reducir la evaluación a una acción de carácter normativo. La mayor discusión se plantea alrededor de la legitimidad de los criterios adoptados, es decir con quién y cómo se definen estos criterios.

8

Juicio de valor: es el componente distintivo del proceso de evaluación la acción de juzgar, de emitir o formular juicios de valor; éste es el elemento que diferencia la evaluación de una descripción detallada, es un elemento central de la acción evaluativa.

Toma de decisiones: es otro importante componente inherente al proceso de evaluación que lo diferencia de otros tipos de indagación sistemática.

Se comparten los criterios planteados por dicha autora, con relación a los componentes del proceso de evaluación, entre los que debe existir una estrecha interrelación, revelando sus funciones.

Después de realizar un análisis de las definiciones abordadas por J. M Astin, J. L Gómez, T. D. Tenbrik, D. L. Stufflebeam, Días Sobrino, L. V. Toranzos, y L. Achig, se puede afirmar que en ellas existe falta de unidad en el tratamiento brindado a la categoría; unos la ven como un proceso que revela información del objeto de evaluación, permitiendo tener un mayor conocimiento del mismo; otros en cambio lo aprecian como una etapa del proceso educativo, mientras que otros la valoran como un producto, como el resultado. No obstante, la mayoría coincide en plantear que va encaminada a mejorar la actividad educativa.

Sin embargo, no la aprecian como una posibilidad para incorporar nuevos criterios y de mejorar los ya establecidos, aspecto este con el cual no se coincide ya que como toda teoría se perfecciona, esta abierta al cambio.

Los autores de este trabajo consideran que la evaluación es un proceso que tiene como objetivo la búsqueda e interpretación sistemática de información válida y confiable del objeto o actividad valorada, a través de variados instrumentos, para contrastarla con criterios establecidos y, sobre su base, formulan juicios de valor que permitan la toma de decisiones, para trazar estrategias de mejora educativa.

La evaluación está, así, íntimamente ligada a la determinación del grado de calidad del objeto o actividad evaluada. El concepto calidad comienza a manejarse en el mundo empresarial; no obstante, se

9

extendió a otras ramas sociales. Hoy en día se comprende mejor la necesidad de su conceptualización y operacionalización.

En el curso Pre-Congreso Pedagogía ´2005 “Calidad y Equidad de la Educación: Concepciones teóricas y tendencias metodológicas para su evaluación”, se plantea que: “Etimológicamente, calidad viene del latín quiálitas, que es una derivación del latín qualis”. El Diccionario Crítico Etimológico Castellano e Hispánico de Corominas y Pascual señala: “En latín qualis, “tal como”, “como”, “de qué clase”, indica la cualidad, el modo de ser”. (Valdés-Torres, 2005) En los Diccionarios de la Lengua Española de la Real Academia, del uso del español, de María Moliner, e ideológico de la lengua española, de Julio Casares, se encuentran las siguientes acepciones del término calidad:

Propiedad o conjunto de propiedades inherentes a una cosa, que permite apreciarla como igual, mejor o peor que las restantes de su especie.

En sentido absoluto, buena calidad, superioridad o excelencia.

El gran Diccionario Enciclopédico Ilustrado señala, en este sentido, que constituye un: “Conjunto de propiedades y atributos que configuran la naturaleza de una persona o cosa. Lo que tiene más valor o está más alto. Posición social función u oficio de una persona.

Idoneidad para desempeñar un cargo. Valor o gravedad de una cosa.”

(Editorial Grijalbo, 1999).

Para (Salmerón, citado por Valiente- Álvarez; 2000d: 5), calidad es: “(…) el grado de coincidencia con las exigencias, como la concordancia entre las propiedades de un producto, elemento o material y el fin que se destina”.

En cambio, (Lafourcade, citado por Valiente-Álvarez, 2000d: 5), señala: “Calidad de algo se refiere a una o varias propiedades de ese algo, que permiten apreciarlo como igual, mejor o peor que otras unidades de su misma especie. Siendo en esencia un concepto evaluativo, averiguar la calidad de algo exige constatar su

10

naturaleza y luego comparación”.

expresarlo

de

modo

que

permita

una

Estos autores coinciden con (Valdés-Torres, 2005), cuando critican las definiciones de calidad como cualidad, como superioridad de algo, pues limita el establecimiento de juicios de valor.

Es conveniente definir, entonces, los términos de este concepto.

Siguiendo a (Valdés- Pérez) y (Valdés- Torres; 2005) se reconoce que Calidad, “es una cualidad integral de un objeto que expresa en qué grado se asemeja a un patrón ideal de esa clase de objeto permitiendo establecer juicios ordinales entre objetos de una misma clase; es el conjunto de cualidades de un objeto o fenómeno que induce a la comparación con sus semejantes y, por tanto, a una calificación”.

Si se tiene en cuenta que este trabajo se inscribe en la teoría de la Evaluación de la Calidad de la Educación, es necesario definir también que se entiende por Educación. Se asume, en ese sentido, la definición que brinda el Grupo Pedagogía del Instituto Central de Ciencias Pedagógicas: “La educación es un proceso conscientemente organizado, dirigido y sistematizado sobre la base de una concepción pedagógica determinada, que se plantea como objetivo más general la formación multilateral y armónica del educando para que se integre a la sociedad en que vive y contribuya a su desarrollo y perfeccionamiento. El núcleo esencial de esa formación ha de ser la riqueza moral”. (Valdés; 2003) Sobre la base de esos dos conceptos claves es posible definir entonces el de Evaluación Calidad de la Educación. Según H. Valdés, existen tres tendencias claramente diferenciadas al abordar el tratamiento dado al concepto de Evaluación de la Calidad de la Educación. Una de ellas procura discutirlo y definirlo teóricamente. La segunda trata de definirlo sólo operacionalmente, a través de un conjunto de indicadores, mientras que la tercera elude definirlo.

(Valdés; 2003) Si bien las dos últimas tendencias son metodológicamente incorrectas, pues obvian una operación lógica básica del tratamiento

11

de un concepto, como es definir; tampoco dentro de la primera tendencia se aprecia una postura uniforme. Ese propio autor refiere varias posiciones aún dentro de la primera tendencia: Definiciones centradas en el producto. Se tiene así, por ejemplo, la siguiente consideración: “Una educación será de calidad en la medida en que todos los elementos que intervienen en ella se orientan a la mejor consecución posible”. (Cobo, citado por Valdés, 2003) Definiciones centrada en los procesos (Cobo, citado por Valdés, 2003). En ese sentido se señala que: “Es un proceso o principio de actuación que no apunta exclusivamente a la obtención de unos resultados inmediatos o finales, sino fundamentalmente, un modo de ir haciendo, poco a `poco, las cosas para alcanzar los mejores resultados posibles en orden a la que se nos demanda y las posibilidades y limitaciones reales que se tienen”. (citado por Valdés 2003) Centradas en el profesorado; como se ilustra en la siguiente declaración: “La calidad de la educación se concibe como el proceso de optimización permanente de la actividad del profesor que promueve y desarrolla el aprendizaje formativo del alumno”. (CarrKemmis, 1988) Centradas en el alumno, como se muestra a continuación: “El esfuerzo por mejorar la calidad de la educación tiene como últimos destinatarios a los alumnos. Son ellos quienes, finalmente han de verse beneficiados por el mejor funcionamiento de los centros docentes. Lo que se intenta conseguir es que los alumnos, todos los alumnos, y de acuerdo con sus posibilidades, aprendan más y mejor, aprendan a aprender por sí mismos, desarrollen el gusto por el estudio, el deseo de saber más, y alcancen progresivamente una madurez personal, social y moral (…)”. (Cobo, citado por Valdés, 2003) Centradas en el currículum; como señala J. D. Wilson: “La calidad de la educación consiste en planificar y evaluar el currículum óptimo (según los criterios de optimización de cada país) para cada

12

alumno, en el contexto de una diversidad de individuos que aprenden”. (Wilson, 1992) Centrada en el centro educativo: “La calidad cuanto se manifiesta es un producto fundamentalmente de lo que acontece en estructuras y procesos de la instituciones Orden; 1993)

de la educación, en válido, dependerá la escuela, de las educativas”. (De la

Este amplio espectro de aspectos, en torno a los cuales se han venido desarrollando las definiciones del concepto de Evaluación de la Calidad de la Educación, evidencia la complejidad de esa categoría y, a la vez, la necesidad de una visión holística de la misma.

En ese sentido (Aguerrondo, 1996), en su artículo “La calidad de la Educación. Ejes para su definición y evaluación, hace alusión a las características siguientes: Está social e históricamente determinada, puesto que tiene que ver con los patrones históricos y culturales que están relacionados con una realidad específica, con una formación social concreta, en un país concreto y en un momento concreto.

Es compleja y totalizante, dado que estudia un objeto multidimensional y puede ser aplicado a cualquiera de los ámbitos que conforman el campo educativo.

Se constituye en objetivo de la transformación educativa, puesto que sirve para orientar la dirección de las decisiones y de patrón de comparación para ajustar decisiones y reajustar procesos.

En correspondencia con ellas, los autores de este trabajo asumen la siguiente definición de H. Valdés: “Por evaluación de la calidad de la educación entendemos el proceso sistemático de recogida de datos incorporado al sistema general de actuación educativa, que permite obtener información válida y fiable sobre cada una de las variables de contexto, insumo, proceso y producto que integran la definición operacional asumida en el país, región o institución educativa de que se trate. La información así obtenida se utilizará para emitir juicios de valor acerca del estado de la calidad educativa, los que constituyen puntos de partida para

13

la toma de decisiones para mejorar la actividad educativa valorada”.

(Valdés, 2005: 15) En la misma se resaltan seis características esenciales: La evaluación es proceso y no sólo producto.

Es sistemática y no esporádica.

Se apoya en información válida y confiable.

Se refiere no sólo a los productos, sino también a los procesos, contextos, e insumo de la educación.

Se utiliza para juzgar, para valorar.

Está comprometida con el cambio educativo, con la mejora escolar.

De las mismas pueden inferirse, al menos, fundamentales de la evaluación educativa:

tres

funciones

La función de diagnóstico (conocimiento del estado del objeto evaluado).

La función de valoración (calificación del estado real del objeto evaluado, en contraste con su estado ideal).

La función de mejora (implicación en el perfeccionamiento del objeto evaluado, en la toma de decisiones).

Otros autores, (Valiente-Álvarez, 2000a) (Valiente-Guerra, 2008), identifican un número mayor de funciones; a saber: la informativa, de control, de diagnóstico, educativa y desarrolladora.

Función Informativa: tiene como objetivo principal la producción de información caracterizadora y valorativa sobre el objeto, para la toma de decisiones con vistas a la mejora de la gestión en relación con el mismo. Esta función se explica, además, por el papel que la evaluación debe jugar para la rendición de cuentas, a los diferentes actores sociales interesados, acerca de lo qué está ocurriendo en la práctica educativa.

Función de Control: pues el proceso de evaluación permite, tomando como base la información que produce, la verificación y constatación del cumplimento de las metas y objetivos planeados,

14

detectar las desviaciones ocurridas, identificar lo que puede ser destacable positivamente y plantear las medidas correctivas al respecto.

Función de Diagnóstico: pues debe posibilitar una caracterización del estado del funcionamiento de los objetos evaluados (el sistema educativo en su conjunto, los programas y políticas, las instituciones educativas, el desempeño docente, el aprendizaje de los alumnos), donde resulten identificados los logros, potencialidades (fortalezas internas y oportunidades en el contexto), deficiencias, desajustes, disfunciones y barreras en un momento determinado, lo que permite operar en la derivación de acciones que coadyuven al alcance de la calidad educativa. La identificación de potencialidades se convierte en un importante recurso informativo para la adecuación del pronóstico y los objetivos planificados.

Función Educativa: dado su carácter participativo y comprometedor, debe contribuir al proceso de formación de los diferentes agentes de la comunidad educativa, al informarlos y hacerlos conscientes sobre el comportamiento de las diferentes variables que intervienen para el logro de la calidad educativa y su incidencia personal en ello. Tal toma de conciencia debe contribuir al aumento de la implicación y participación individual, al mejoramiento profesional y humano del personal que conforma la comunidad educativa y a la formación y el desarrollo del colectivo.

Función Desarrolladora: las acciones para la evaluación están encaminadas a la mejora y perfeccionamiento del proceso y los resultados de la actividad educativa y al logro de niveles superiores de calidad. En tal sentido, debe coadyuvar, cada vez más, al alcance de peldaños más elevados, sobre la base de la adopción de las mejores decisiones, sustentadas en una información objetiva, confiable y relevante. Esta función resume e integra a las anteriores al estar asociada directamente al objetivo fundamental de toda evaluación educativa y justifica plenamente su necesidad”.

(Valiente-Guerra, 2008: 23)

15

MODELOS DE EVALUACIÓN EDUCATIVA Existe una gran cantidad de modelos de evaluación educativa en la literatura especializada, los cuales han sido clasificados por diversos autores conforme a su enfoque, su tiempo, sus características, sus propósitos, objetivos, época. etc. Pero un modelo es una herramienta conceptual para entender mejor un evento; o sea, es la representación del conjunto de relaciones que describen un fenómeno.

Según (Briones, 1998), se entiende por modelo de evaluación a un esquema o diseño que caracteriza la forma de la investigación evaluativa que ha de realizarse, las técnicas o procedimientos para la recolección y análisis de la información, el conocimiento final que se desee obtener y los usuarios principales de los resultados del estudio.

Por otra parte, estos modelos, como lo señala A. De la Orden (1985), son en realidad el reflejo de la creencia e ideología, ya que al denominarlos con el término “modelo” se crea la expectativa de que pueden proporcionar la suficiente orientación y los procedimientos específicos para asegurar una evaluación adecuada.

En este sentido, queda claro que la función de un modelo de evaluación, como señala González Soler (1987), es la de proponer al evaluador un marco conceptual y racional que le permita elaborar un diseño de actuación y poner en marcha el proyecto de evaluación.

Se han elaborado una cantidad considerable de modelos de evaluación educativa, de los cuales la gran mayoría se han elaborado o adaptado a la educación superior.

A continuación se presentan algunos de estos.

Con el objetivo de facilitar la comprensión de los mismos, se enuncian a continuación tres difundidas clasificaciones: (I) la de House (1997), (II) la de Briones (1998) y (III) la de Stufflebeam (1987).

I. E. R. House (1997), establece su clasificación a partir de ocho modelos de evaluación educativa. Estos responden a la evaluación de proyectos y programas sociales, se caracterizan por los métodos que emplean, por las preguntas que hacen, por los aspectos que examinan. Ellos son: Modelo del análisis de sistemas, Modelo de los

16

objetivos conductuales (modelo desarrollado por R. Tyler llamado también Modelo Tayleriano), Modelo de toma de decisiones, Modelo de Evaluación Libre de Metas, Modelo la crítica del arte, Modelo de acreditación o certificación, Modelo de evaluación de adversarios, y Modelo transaccional.

II. G. Briones (1998), clasifica sus aportaciones en modelos analíticos y globales: Analíticos: Modelo CIPP: Contexto-Insumo-Proceso-Producto. Fue creado por D. Stufflebeam (1971) y otros investigadores; es muy aceptado desde el principio, ha sido uno de los más aplicados; es amplio, abarcador, adaptándose a variados ámbitos de la evaluación Sus áreas principales son: • La evaluación del contexto, se refiere al examen exploratorio para constatar las dificultades y necesidades educativas no satisfechas en un cierto contexto con el fin de diseñar un conjunto de objetivos a partir de los cuales se puede elaborar un programa.

• La evaluación de insumos (elementos de entrada), intenta determinar los recursos materiales y humanos que se requieren para alcanzar los objetivos propuestos, así como las diversas formas según las cuales esos recursos deberían emplearse para su mejor aprovechamiento.

• La evaluación de procesos tiene como objetivo comprobar la eficacia de la vía de utilización de insumos, así como identificar los factores que pueden dificultar el desarrollo de las acciones.

De esta manera, se podrá proporcionar información para la solución a los problemas planteados.

• La evaluación del producto tiene como objetivo principal medir e interpretar el logro de los objetivos evaluativos, ya sea durante el desarrollo o al final. Los logros alcanzados se comparan con las expectativas que se tenían con respecto a los niveles que se proponía alcanzar.

17

Modelo de Referentes Específicos: Es propuesto por el propio autor (G. Briones), su base son las características generales de los programas destinados a alcanzar ciertos resultados, además de proporcionar diversas orientaciones para la evaluación de componentes específicos de un programa determinado, sea en el campo de la educación, de la salud, de la agricultura, etcétera.

Comprende: la evaluación del contexto, la evaluación de los objetivos, la evaluación de los recursos, la evaluación del funcionamiento o proceso, la evaluación de la población y la evaluación de los resultados.

Modelo de Utilización Focalizada: Su creador es M. Quinn Patto, e incorpora: Identificación y organización de las personas relevantes que toman las decisiones y de los usuarios de la información, Identificación y focalización de las preguntas de evaluación relevantes. Los métodos de evaluación se seleccionan para generar información útil para las personas que toman las decisiones y para los usuarios debidamente identificados y organizados, Las personas que toman las decisiones y los usuarios de la información participan con los evaluadores en el análisis e interpretación de los datos. Los evaluadores y las personas que toman las decisiones negocian y cooperan para la diseminación.

Globales: Modelo de Evaluación Iluminativa: Modelo presentado en 1976 por M. R. Parlett y D.E. Hamilton, se basa en un enfoque subjetivista que pondera la información cualitativa, por lo que la evaluación iluminativa encarna un enfoque cultural, etnográfico, de naturaleza holística, en el cual no hay preocupación por el análisis de componentes, de variables, de controles de tipo experimental.

Los autores consideran al evaluador iluminativo como una persona que no es un técnico, ni inspector, ni un antropólogo (que describe exhaustivamente el programa), sino que es un intérprete del programa que se está evaluando para personas que no participan en él y también contribuye a reinterpretarlo para sus miembros.

III. D. L. Stufflebeam y A. J. Shinkfield (1987) clasificaron los modelos evaluativos atendiendo los enfoques que presentan varios autores:

18

Modelo de evaluación orientada hacia los objetivos: Los modelos antes del 1942 consideraban como eje central del análisis de la evaluación a la valoración de los logros alcanzados por el estudiante, se igualaba la evaluación a la valoración. Es R. Tyler quien propone formalmente un grupo de objetivos educativos.

También destaca la obligación de fundar, clasificar y definir los objetivos en términos de rendimiento, como una etapa inicial del estudio evaluativo. La evaluación se modifica en un proceso para constatar la coherencia entre los objetivos y las operaciones, a partir de una serie de pasos.

De acuerdo con R. Tyler, el procedimiento para evaluar es el siguiente: •

Establecer las metas u objetivos.

•

Ordenar los objetivos en amplias clasificaciones.

•

Definir los objetivos en términos de comportamiento.

•

Establecer situaciones y condiciones según las cuales puede ser demostrada la consecución de los objetivos.

•

Explicar los propósitos de la estrategia al personal más importante en las situaciones más adecuadas.

•

Escoger o desarrollar las apropiadas medidas técnicas.

•

Recopilar los datos de trabajo.

•

Comparar los datos con los objetivos de comportamiento.

Metfessel y Michael: un desarrollo del método Tayleriano: Al igual que R. Tyler, estos autores reconocen que las decisiones educativas serían más objetivas si se apoyaban en la valoración de los resultados. En consecuencia, fomentan un paradigma evaluativo de ocho etapas con el objetivo de apoyar al personal (profesores y directivos) de las escuelas a evaluar el alcance de los objetivos en los programas escolares.

Edward A. Suchman y su Modelo Científico de Evaluación: En la década del ´60 este autor reitera la importancia de mejorar los programas con relación a sus prácticas. Consecuentemente,

19

propone criterios particulares para lograr un resultado exitoso en los programas. A. Suchman determina su modelo de evaluación por tres elementos principales: conceptuales, metodológicos y administrativos. El mismo hace hincapié en la formación de valores, aprecia que este es el inicio y fin del ciclo en la evaluación.

Igualmente fija tres tipos de estudios evaluativos: la evaluación última, la investigación pre-evaluativa y la evaluación a corto plazo; así mismo considera cinco categorías: esfuerzo, trabajo, suficiencia del trabajo, eficiencia y proceso.

A. Suchman orientó su trabajo a verificar las diferencias entre estudios evaluativos y los no evaluativos, concluyendo que su divergencia fundamental radicaba en el modo que se hace la exposición del problema. Después de importantes experimentaciones se confirma la hipótesis de la incidencia entre las causas y efectos de un programa, por un lado, y la planificación, por otro. La esencia de su modelo está en aseverar que la cadena de causas propuestas en una evaluación se reforma en uno más de los campos y actividades que llevan a las conclusiones. (Jara, 2004) (Ver Fig. 1).

Precondiciones Consecuencias

a

Variable Independiente

Program

1

a 2

a 3

.

Program

Acontecimientos que influyen

b1 b2 b3 . . . b0

Variable Independiente

Efecto

c 1

c 2

c Efecto

3

.

Fig. 1: Modelo de Evaluación de Suchman

Modelo Evaluativo Centrado en el Cliente: R. Stake elabora un modelo en 1967, donde utiliza la representación de un gran reloj (Ver Fig. 2), para configurar a la evaluación educativa. El sentido

20

del movimiento de las agujas, así como el aspecto que señalaban, se relaciona con la mejor satisfacción del cliente.

11 Reunir los informes formales si los

12 Hablar con los clientes, el personal del programa y las audiencias.

10 Elaborar un esquema para uso de la audiencia

2 Planificar las actividades del programa

9 Validar: confirmar, buscar evidencias para la no confirmación 8 Desarrollar temas, preparar descripciones y estudiar casos concretos 7 Observar los antecedentes, las transacciones y los resultados propuestos

1 Identificar el alcance del programa

3 Descubrir los propósitos e intereses 4 Conceptualizar las cuestiones y problemas 6 Seleccionar observadores, jueces e instrumentos si los hay.

5 Identificar los datos necesarios para investigar los problemas

Fig. 2: Modelo de Evaluación de Reloj, de Stake

Modelo CIPP de Stufflebeam: Es considerado el modelo de mayor alcance de generalización. Este autor orienta la evaluación hacia el perfeccionamiento, el cambio, la transformación y considera que el fin primordial de la evaluación no está en corroborar sino en mejorar, perfeccionar. Lo anterior se verifica si existe coherencia

21

entre las necesidades de las personas y de la realidad educativa con el beneficio que conllevan las metas propuestas. (Ver Fig. 3) CONTEXTO

Condiciones demográficas, socioeconómicas y culturales en las que se desarrolla la educación, y que, al menos en parte, son consecuencia de la misma; en ocasiones también informan de las actitudes y

PROCESO

Organización y funcionamiento de los centros, práctica educativa y clima escolar, etc.

ENTRADA Recursos materiales y humanos, es decir, tanto el profesorado- como el alumnado que participa en ella.

Por ejemplo: “tiempo que se dedica a la enseñanza”; “horas dedicadas según materias”, entre otros.

PRODUCTO

Resultados de los alumnos a través de pruebas de evaluación, de los certificados y títulos que consiguen y, finalmente, la inserción en el mercado de trabajo.

En: http://paginaspersonales.deusto.es/avilla/doc3/3.2.%20indicadores.ppt.

Fig. 3: Modelo de Evaluación CIPP, de Stufflebeam

22

En conclusión, los modelos antes presentados, son abstracciones de procesos complejos que contribuyen a la comprensión de la misma a través de representaciones gráficas que reflejan sus elementos y relaciones. Cada modelo responde a un enfoque, estructura y formación específica de su autor y de las necesidades propias de la época; cada uno tiene ventajas y limitaciones.

En este trabajo se asume, siguiendo el criterio de (Valdés-Pérez, 1989) y (Valdés-Torres, 2005) precisamente el modelo holístico de Contexto-Entrada-Proceso-Producto (CIPP) de D. L. Stufflebeam, destacando los siguientes indicadores: Contexto: las medidas de administración educativa, el grado de escolarización, el tamaño del centro, la composición del alumnado, el tipo de centro y la zona donde está instalado.

Entrada: la experiencia docente, el gasto por alumno y la participación de los padres.

Procesos: acciones dirigidas al cumplimiento de los objetivos educativos, el liderazgo, el trabajo en equipo del profesorado, la calidad del currículo (estructura y contenido), el tiempo dedicado a las tareas escolares, las actividades de enseñanza, las expectativas sobre el rendimiento de los alumnos y el seguimiento del rendimiento de los alumnos y su refuerzo.

Productos: el rendimiento y la formación del alumno.

Al modo de ver de los autores señalados, éste es el modelo más completo, más holístico y más abarcador y es el que con mayor amplitud representa las áreas del proceso educativo. El mismo propone una evaluación integral, sistemática y no subjetivista, ni simplificada, penetrada por métodos científicos para el análisis de la información.

Normas de la evaluación educativa Una vez establecida una definición-marco de Evaluación de la Calidad de la Educación se requiere reflexionar acerca de las normas que orientan su empleo. En ese sentido, son universalmente conocidas cuatro grupos de normas desarrolladas por el Joint Committee on Standard of Educational Evaluation (Editorial Océano, 2001):

23

Utilidad: comprende las normas para que la evaluación sea informativa, oportuna e influyente; exige que los evaluadores se familiaricen previamente con las audiencias, conozcan sus necesidades y transmitan con claridad la información adecuada, cuando ésta sea necesaria. Las normas incorporadas a este grupo son las siguientes: Identificación de la audiencia.

La confianza en el evaluador.

La selección y alcance de la información.

La interpretación valorativa.

Claridad y difusión del informe.

Trascendencia de la evaluación.

Factibilidad: incluye las normas que reconocen que una Evaluación Educativa ha de realizarse en un contexto real y con un costo asequible; una preocupación clave en torno a ello es que el diseño de la evaluación sea realizable, además de lo anteriormente expuesto con relación a recursos humanos, materiales y tiempo razonables en función de los propósitos. Las tres normas de este grupo son las son las siguientes: Procedimientos prácticos.

Viabilidad política, y Relación costo / producto ajustado.

Legitimidad: incluye las normas que reflejan el hecho de que las evaluaciones educativas afectan a las personas de distintas maneras; están pensadas para proteger a las personas afectadas; son las siguientes: Obligación formal.

Conflicto de intereses.

Exposición total y sincera.

Derecho a la información pública.

24

Derechos del sujeto.

Interacciones entre personas.

Equilibrio del informe, y Responsabilidad económica.

Precisión: que incluye las normas que determinan si una evaluación ha producido la información adecuada; la información obtenida debe ser técnicamente adecuada y los juicios han de guardar una relación lógica con los datos, evitando extrapolaciones imprudentes; sus once normas son las siguientes: Identificación del objeto.

Análisis del contexto.

Propósitos y procedimientos descritos.

Fuentes de información confiables.

Mediciones válidas.

Mediciones confiables.

Control sistemático de los datos.

Análisis de la información cuantitativa.

Análisis de la información cualitativa.

Conclusiones fundamentales.

Informe objetivo.

Este conjunto de normas propone una filosofía del trabajo evaluativo y constituye un referente para determinar la calidad de una evaluación realizada.

Es importante trabajar por lograr un equilibrio entre estos grupos de normas; así por ejemplo, una sobrevaloración de la precisión no debe descuidar la factibilidad o legitimidad de la evaluación o viceversa.

25

Tipos de evaluación de la Calidad de la Educación En la literatura especializada se abordan diferentes tipos de evaluaciones. Unos no excluyen a los otros, sino que pueden utilizarse combinadamente.

Según (Casanova, 1992: 41), las evaluaciones educativas se pueden clasificar de la siguiente manera/(Ver Tabla 2) Tabla. 2- Tipos de Evaluación Educativa Criterio:

Tipología:

Por su finalidad o función

Formativa Sumativa

Por su extensión

Global Parcial

Por los agentes evaluadores

Interna Auto-evaluación Hetero-evaluación Co-evaluación Externa

Por su momento de aplicación

Inicial Procesal Final

Según la finalidad o función se presenta una doble opción: evaluación formativa o evaluación sumativa. La función formativa de la evaluación se lleva a cabo principalmente en la evaluación de proceso; se utiliza fundamentalmente como estrategia de mejora y, a la vez, sirve para ajustar los procesos de cara a conseguir las metas propuestas; tiene un carácter continuo.

La función sumativa de la evaluación, por su parte, se orienta más a la evaluación de productos; es decir, de procesos terminados, con realizaciones precisas y valorables. Se aplicará, por tanto, en el

26

momento concreto en que se toma la decisión de evaluar un objeto o componente determinado; es una evaluación complementaria a la evaluación formativa y está orientada a comprobar la eficacia de los resultados de los planes o programas institucionales.

Por su extensión se puede discriminar la evaluación global y la evaluación parcial. La evaluación global abarca todos los componentes del sistema educativo; es decir, evaluar de modo integral, holístico, considerándolo como una totalidad interactuante, en la que cualquier modificación en uno de sus componentes tiene consecuencias inmediatas en el resto de los componentes que lo integran.

La evaluación parcial del sistema educativo, por su parte, pretende el estudio y la valoración de determinados componentes y aspectos del mismo; este tipo de evaluación abarca distintos componentes: personales, materiales, organizativos, pedagógicos, etc.

Por su parte, según los agentes evaluadores participantes se consideran dos tipos de evaluación: la interna y la externa.

Se denomina evaluación interna a aquella que es llevada a cabo por los propios integrantes de la instancia evaluada; la evaluación interna ofrece diversas alternativas de realización: autoevaluación, heteroevaluación y coevaluación.

La autoevaluación es la evaluación realizada sobre el trabajo de los propios evaluadores; el evaluador y evaluado coinciden.

En la hetero-evaluación la valoración es realizada por un evaluador distinto de las personas evaluadas, pero de la misma instancia administrativa que ellos. Los agentes que realizan la heteroevaluación pueden ser: Profesionales no pertenecientes al centro, pero con autoridad para incidir sobre él.

Personas que no forman parte del centro y no mantienen una relación regular con el mismo.

Representantes de sectores sobre los que ejerce su impacto la educación y tienen interés en la calidad del producto educativo.

27

Por último, en la coevaluación los evaluadores y evaluados intercambian su papel alternativamente. (Gento, citado por ValienteÁlvarez; 2000: 11) Por otra parte, se denomina evaluación externa aquella en la que los especialistas no forman parte de la estructura evaluada, juzgan el funcionamiento de ésta desde una posición administrativa superior.

Según el momento de aplicación, la evaluación educativa puede clasificarse en: evaluación inicial, evaluación procesal y evaluación final.

La evaluación inicial es aquella que se realiza al comenzar un proceso evaluador y consiste en la recogida de datos sobre la situación de partida del objeto a evaluar. En la evaluación inicial, habitualmente, se recogen datos relativos a las dimensiones de contexto y entrada.

La evaluación procesal consiste en la valoración, a través de la recogida continua y sistemática de datos, del funcionamiento del objeto de evaluación a lo largo del período intermedio de tiempo para el que se haya planteado la consecución de unos objetivos; los datos se tomarán en relación con los componentes del mismo que se vayan a evaluar.

La evaluación final, consiste en la obtención de datos al terminar el período de tiempo previsto para la consecución de los objetivos educacionales.

Estas clasificaciones son todas válidas, en tanto representan atributos del proceso evaluativo, vistos desde diferentes aristas. En ese sentido, se podrían combinar las diferentes formas de evaluación descritas; de manera que se realizarían tres evaluaciones en el curso escolar o período lectivo considerado.

La primera sería la inicial, con carácter de diagnóstico y la realizarían los miembros de la misma institución o instancia (autoevaluación); la segunda, sería procesal, fundamentalmente entre instituciones e instancias de una misma enseñanza (coevaluación), por último, la final, con una evaluación externa al cierre del curso escolar o período lectivo.

28

Dentro de ellas se podrían, a su vez, combinar la formas de evaluación según su extensión (global o parcial) y según su finalidad o función (formativa o sumativa); todo atendiendo a las cambiantes condiciones contextuales y propósitos de la evaluación.

Metodologías de evaluación educativa Una vez definidos los ámbitos de la Evaluación de la Calidad de la Educación (en términos de modelos de evaluación), las condiciones para ejecutarla (normas de la evaluación educativa) y las diferentes formas de llevarlo a cabo (tipos de evaluación), se requiere reflexionar acerca de la elaboración de los recursos a través de los cuales se puedan obtener los datos necesarios para poder establecer los juicios y valoraciones propias de una evaluación.

Ello presupone tres elementos fundamentales: indicadores que resulten de operacionalización de las variables que caracterizan al objeto de estudio seleccionado, instrumentos de evaluación que aglutinen a esos indicadores y orientaciones metodológicas y organizativas que permitan orientar la correcta administración de estos últimos.

Pero primero, debería establecerse claramente qué entender por metodología de evaluación. De acuerdo con (Galdós, 2008: 34): “(…) una metodología incluye un sistema de métodos, procedimientos y técnicas que, regulados por determinados requerimientos, permiten ordenar mejor el pensamiento y el modo de actuación para obtener determinados propósitos. Es una forma de organizar determinada actividad (…), de ahí que sea un proceso lógico conformado por etapas o pasos estrechamente relacionados que, ordenados de manera particular y flexible, permiten el logro del objetivo propuesto”.

Ahora bien, puesto que se trata de una metodología para el desarrollo de la Evaluación Educativa, ha de tenerse en cuenta las características esenciales de la definición de ésta (Valdés, 2005). En consecuencia, la autora define el concepto de metodología de evaluación como un “conjunto de indicaciones para aplicar los instrumentos de evaluación diseñados y realizar los análisis con los

29

datos obtenidos, con el propósito de juzgar y perfeccionar el objeto evaluado”. (Galdós, 2008: 34) Claro que esas indicaciones, por un lado, se refieren a instrumentos de evaluación que están conformados por indicadores representativos del objeto de estudio; además, deben servir para establecer juicios de valor (generalmente apoyados en algún índice estadístico) y ofrecer recomendaciones para el mejoramiento de la actividad evaluada. Por tanto, una metodología de evaluación (educativa) presenta una estructura como la siguiente/Ver Fig. 4) Indicadores y criterios de calificación

Instrumentos

Índice Estadístico y Recomendaciones.

Indicaciones para la aplicación

Fig. 4 Estructura de una metodología de evaluación

Con relación a la operacionalización de las variables caracterizadoras del objeto de estudio, en (Torres et al, 2004) se reconocen diferentes enfoques para la obtención de indicadores para las metodologías de evaluación educativa:

Se utiliza sólo un estudio teórico del (generalmente de carácter documental).

Se somete a criterio de expertos los indicadores, jerarquizándolos eventualmente (validación parcial).

Se obtienen los indicadores a través de mediciones directas en la práctica educativa, en condiciones naturales (estudio de corte ex- post-facto).

30

objeto

de

análisis

Los trabajos de (Lorenzo; 2004) y (A. Suárez; 2004) explican las limitaciones de las dos primeras variantes, en las condiciones concretas de Cuba. R. Lorenzo realizó un estudio asociado al primer enfoque y pudo detectar que las investigaciones de origen anglosajón destacan un promedio de 12,7 factores asociados al aprendizaje escolar, mientras que en las de origen iberoamericano se obtiene un promedio similar de 13,3 factores; sin embargo, las coincidencias de factores asociados al aprendizaje identificadas disminuyen a sólo cuatro, con significativas diferencias en los porcentajes de referencias: Clima del Centro anglosajonas: 63,6% vs. iberoamericanas 92,3% Expectativas del profesor sobre el grupo de alumnos: anglosajonas 90,9% vs. iberoamericanas 61,5%.

Metodología docente: anglosajona 63,6% vs. iberoamericanas 84,6%.

Existencia de objetivos consensuados: anglosajonas 54,6% vs. iberoamericanas 69,2%.

Este hallazgo sugiere una inseguridad en la confiabilidad del análisis de metodologías de evaluación educativa obtenidas sólo por la vía teórica. La Tesis de A. Suárez por su parte confirmó, en relación con el segundo enfoque (de validación parcial), que en Cuba se han realizado pocos trabajos referidos a la Evaluación de la Calidad de la Educación y, los que se han hecho, describen un elevado número de indicadores a tener en cuenta, lo que afecta el criterio de la racionalización en el proceso de la evaluación educativa.

Fue así que, por ejemplo, en el caso de la obtención de una Metodología de Evaluación Institucional (Torres-Galdós; 2005) se asumió el tercer enfoque, consistente en un estudio de corte ex post-facto, que no es más que obtener datos de la práctica educativa que brinden información acerca de cuáles variables (principales) utilizar para confeccionar la metodología buscada. Las condiciones bajo las cuales se produce la medición de las variables deben ser normales, sin modificaciones intencionales previas; es decir, en su contexto natural de desenvolvimiento.

31

Como se quiere que la selección sea de tal manera que se minimice el número de variables e instrumentos a emplear (para lograr el reclamado equilibrio entre precisión científica y factibilidad económica y financiera), se debe partir de una operacionalización máxima del ámbito de estudio, de modo que no queden elementos importantes excluidos.

Pero las metodologías de evaluación educativa no están conformadas sólo por indicadores e instrumentos. Hay que dotarlas también de indicaciones acerca de cuándo, cómo y con quién aplicar los instrumentos de evaluación y devolver los resultados de la evaluación.

En correspondencia con lo señalado en los epígrafes anteriores, en particular lo referido al carácter sistémico del proceso evaluativo y la clasificación de la evaluación educativa de acuerdo con los momentos en que se realiza, el cuándo aplicar las metodologías de evaluación se responde con tres etapas evaluativas: una inicial, otra intermedia y una final. Esto, a su vez, está estrechamente vinculado a la determinación de los agentes evaluativos; el con quién evaluar implicaría asociar la evaluación inicial con la auto-evaluación, la evaluación intermedia o procesal con la co-evaluación y la heteroevaluación, mientras que la evaluación final estaría imbricada con la evaluación externa.

El cómo ejecutar la evaluación se orienta por las ya declaradas funciones de la evaluación educativa y sus normas. En ese sentido, es importante considerar el acompañamiento del juicio valorativo final con un cuerpo amplio y sugerente de recomendaciones, de manera que produzca una contribución de peso, no sólo a las funciones de diagnóstico y de valoración de la evaluación, sino también a la decisiva función de mejora.

El procedimiento de elaboración de instrumentos de evaluación, también correspondiente a este apartado, a partir de una adecuada definición teórica y operacional del objeto de evaluación y la utilización de índices estadísticos para ajustar el juicio valorativo, se orienta por las normas de precisión. Mientras que el intento de reducir el número de indicadores, a partir de la delimitación de las variables principales del objeto de evaluación (en tanto serían las

32

variables que muestran ser las de mayor impacto sobre los productos principales del Sistema Nacional Educativo se estaría dando cumplimiento a las normas de factibilidad, de tanta importancia para el contexto nacional.

Estas indicaciones se resumen en el siguiente cuadro/Ver Tabla 3) Tabla 3. Organización de la Evaluación Educativa CUÁNDO

CÓMO

CON QUIÉN

Auto-evaluación Determinación de los instrumentos de evaluación a partir de Co-evaluación y Evaluación las variables principales. heterointermedia o procesal evaluación Cálculo del índice estadístico.

Evaluación inicial

Evaluación final

Establecimiento de un juicio valorativo y de un cuerpo de recomendaciones.

Evaluación externa

La elaboración de metodologías de evaluación educativa, como las anteriormente explicadas, son la base para estructurar procesos evaluativos; sin embargo, estas no deben implementarse de una forma arbitraria. Se requiere la concepción de un procedimiento general de organización de la evaluación educativa.

Si se tiene en cuenta que la Evaluación de la Calidad de la Educación es, de la manera es que ha sido definida, esencialmente un proceso de investigación en Educación, que se ejecuta de acuerdo con determinados fines y normas propias de esta actividad social, entonces dicho proceso debiera establecerse de acuerdo con los siguientes pasos: Determinación de las funciones de la evaluación (para qué evaluar: diagnóstico, valoración y/o mejora escolar).

33

Verificación de las normas de evaluación (utilidad, precisión, factibilidad y legitimidad).

Delimitación del objeto de evaluación (qué evaluar: alumnos, docentes, directivos, familiares, escuela, comunidad).

Definición teórica de la variable-objeto de evaluación (alcance de la evaluación).

Definición operacional de la variable-objeto de evaluación (obtención de indicadores principales, a través de un estudio teórico, una consulta a expertos o un estudio de corte ex -postfacto).

Elaboración de los instrumentos de evaluación (contentivos de los indicadores obtenidos) y de los criterios de evaluación.

Organización del trabajo de campo: agentes y etapas evaluativas (con quién, y cuándo evaluar).

Análisis de los resultados (interpretación cuantitativa y cualitativa de los datos aportados por los instrumentos de evaluación; empleo eventual de índices estadísticos).

Elaboración del informe evaluativo (juicios y argumentaciones valorativas; planteamiento de recomendaciones) Realización de una meta-evaluación (verificación de la calidad técnica de la evaluación educativa realizada).

No debe perderse de vista que este procedimiento de organización de la evaluación educativa no es, además, descontextualizarlo; está acotado por los intereses y las condiciones nacionales de los países para los que se diseñan.

A continuación se mostrarán tres ejemplos de metodologías evaluativas diseñadas para la Evaluación de la Calidad de la Educación en Cuba.

34

Metodología estudiantes

de

evaluación

del

desempeño

cognitivo

de

los

Una premisa para la correcta implementación de una metodología para evaluar el desempeño cognitivo de los escolares es la toma de decisiones sobre algunos aspectos teóricos básicos de la construcción de pruebas de rendimiento cognitivo. En ese sentido, cabe señalar que se reconocen en la literatura especializada dos formatos fundamentales de pruebas: pruebas objetivas y pruebas de desarrollo o ensayo libre (Valdés-Torres, 2005) (Ravela, 2006) (Ferrer, 2006).

Las pruebas objetivas son un conjunto de preguntas e ítems breves, claros y precisos que demandan del alumno una respuesta igualmente breve, generalmente limitada a una elección entre una serie de alternativas que se les proporcionan; tienen la ventaja de que sus resultados se pueden devolver con mayor rapidez que los de las pruebas de desarrollo.

En cambio, la característica esencial de las pruebas de desarrollo o ensayo libre radica en la libertad de expresión que le brinda al alumno, puesto que no está obligado a elegir una respuesta entre diversas alternativas Este tipo de prueba exige que el sujeto organice sus propios conocimientos, seleccione lo más Importante, manifieste su creatividad y originalidad y construya la respuesta que considere mejor, lo que –al mismo tiempo- se convierte en su mayor obstáculo, por lo extenso de su aplicación y calificación.

Actualmente, en Cuba, se sigue el criterio de realizar pruebas mixtas, en las que se combinen las preguntas cerradas con preguntas abiertas o de desarrollo, aunque de respuestas relativamente breves, buscando aproximarse al conocimiento de los procedimientos que emplean los estudiantes en su razonamiento.

En cuanto a la de elaboración de una metodología de evaluación del desempeño cognitivo de los estudiantes, y siguiendo a (Puig, 2007), se hace necesario desarrollar para la determinación de los indicadores y los criterios de calificación las siguientes acciones previas:

Determinar las exigencias cognitivas curriculares oficialmente

establecidas que se desean evaluar, precisando los niveles de

35

asimilación tratados en el nivel, grado, asignatura o área del saber que se desea explorar.

Establecer los niveles de desempeño cognitivo, en correspondencia

con los niveles de asimilación que debieron alcanzar los alumnos en el área del saber que se desea explorar.

Considerar las normas para la elaboración y tipologías de los ítems.

Es evidente que la preparación de la evaluación del rendimiento cognitivo de los estudiantes debe comenzar con el estudio de los documentos programáticos, rectores, del proceso docente-educativo; se debe partir de una detallada revisión de los programas, los libros de texto y las orientaciones metodológicas para los docentes. No se deben evaluar contenidos que no estén programados, ni desarrollados al momento de la evaluación; por lo tanto, se debe explorar cuáles son las condiciones imperantes en relación con la implementación de los programas escolares.

En relación con el segundo aspecto, S. Puig define de la siguiente manera al desempeño cognitivo: “Cuando hablamos de desempeño cognitivo queremos referirnos al cumplimiento de lo que uno debe hacer en un área del saber de acuerdo con las exigencias establecidas para ello, de acuerdo (…) con la edad y el grado escolar alcanzado (…)” (Puig, 2003: 4); al mismo subordina el concepto de niveles de desempeño cognitivo, caracterizado en los siguientes términos: “(…) cuando se trata de los niveles de desempeño cognitivo nos referimos a dos aspectos íntimamente interrelacionados, el grado de complejidad con que se quiere medir este desempeño cognitivo y al mismo tiempo la magnitud de los logros del aprendizaje alcanzados en una asignatura determinada. (…)” (Puig, 2003: 4) Esta autora identifica tres niveles desempeño cognitivo, cada uno de los cuales está vinculado a la magnitud y peculiaridad de los logros del aprendizaje alcanzados por los estudiantes: Primer nivel. Capacidad del alumno para utilizar las operaciones de carácter instrumental básicas de una asignatura dada, para ello deberá reconocer, identificar, describir e interpretar los conceptos y propiedades esenciales en los que esta se sustenta.

36

Segundo nivel. Capacidad del alumno de establecer relaciones conceptuales, donde además de reconocer, describir e interpretar los conceptos deberá aplicarlos a una situación planteada y reflexionar sobre sus relaciones internas.

Tercer nivel. Capacidad del alumno para resolver problemas, por lo que deberá reconocer y contextualizar la situación problemática, identificar componentes e interrelaciones, establecer las estrategias de solución, fundamentar o justificar lo realizado”. (Puig, 2003: 4-5) S. Puig explica asimismo que en cada asignatura estos niveles se manifiestan con particularidades propias, atendiendo a las características específicas de cada una de ellas. En la obra de referencia (Puig, 2003), como en (Puig, 207), la autora ofrece caracterizaciones y ejemplos de los diferentes niveles de desempeño cognitivo para Matemática, Español, Historia y Ciencias Naturales.

Otras precisiones sobre el tema y ejemplos pueden encontrarse también en. (Torres et al, 2007) Por último, en cuanto a las normas para la elaboración y tipologías de los ítems, es importante tener en cuenta que se debe analizar previamente la estructura y características básicas de los mismos y, después, enunciar los tipos de ítems más utilizados en el ámbito educativo.

Un ítem, cuando corresponde a una pregunta cerrada, consta de una base que representa una situación-problema y una serie de alternativas de respuesta.

Una de estas alternativas debe ser correcta.

De las muchas formulaciones incorrectas que pueden acompañar a la opción de respuesta correcta, las más interesentes y útiles son aquellas que no son evidentemente incorrectas (con lo que se facilitaría el acierto en la respuesta al ítem), sino que contienen uno o varios elementos correctos, distrayendo la atención de los estudiantes no bien preparados; estas opciones, así elaboradas, se conocen como distractores.

Como bien se señala en (Torres et al, 2007: 8-9), “(…) definir los distractores de las preguntas cerradas constituye un acto de creatividad importante pues presume buscar las opciones que permitan a los evaluadores acercarse a los errores que cometen los

37

alumnos expresadas en estrategias erradas (…) es importante tener en cuenta que, la respuesta considerada distractor (dé) siempre la posibilidad de un análisis sobre las posibles causas de los errores. Lo anterior explica la necesidad de describir en qué consiste cada distractor una vez definido. Esto facilita el posterior análisis del comportamiento de los mismos como un recurso para lograr una aproximación a los errores y sus posibles causas”.

Ahora bien, no todos los ítems corresponden a preguntas cerradas, pero igual deben responder a un objetivo curricular y a un nivel de desempeño cognitivo específico, así como proporcionar un acercamiento a las causas didácticas de los errores cognitivos asociados. En estos casos se habla de dos componentes: El crédito, para discriminar entre: medianamente correcta o incorrecta, y

respuesta

correcta,

Las categorías, que caracterizan los diferentes procedimientos o estrategias utilizadas por los estudiantes para dar respuesta al ítem.

Siguiendo a (Puig, 2007: 65), constituyen normas básicas para redactar los ítems con buena calidad las siguientes: La base y las opciones deben estar redactadas con claridad, precisión y sencillez. El lenguaje utilizado debe ser directo y comprensible.

Debe evitarse el uso de las mismas preguntas y problemas que se utilizaron durante la explicación de la prueba.

Las preguntas deben implicar respuestas definidas.

Los distractores deben ser verosímiles y no ser ambiguos ni equívocos.

Deben incluirse ítems de distinto tipo, y presentarlos agrupados por módulos. La redacción de las bases debe ser autosuficiente.

Conviene eliminar lo irrelevante.

Deben estar claras y explícitas las normas para responder el ítem.

La redacción de las opciones de respuesta debe ser breve.

38

Evitar las pistas innecesarias. La respuesta correcta no debe destacarse de los distractores por tener una redacción más amplia o enfatizada.

Las opciones correctas deben distribuirse aleatoriamente dentro del ítem a lo largo de toda la prueba.

En la literatura se refieren varios tipos de ítems; los más utilizados en la práctica docente son: los de selección simple, selección múltiple, selección de la respuesta incorrecta, de base común, de ordenamiento, de identificación de gráficos, localización en mapas, de verdadero o falso y de emparejamiento. En (Puig, 2007: 117-122) pueden encontrarse ejemplos apropiados de cada uno de ellos.

Una vez producidos los ítems, se hace necesario someterlos a revisión. La revisión técnica de los ítems se divide en dos aspectos. El primero consiste en una revisión estructural sistemática, hecha por especialistas que dominen el contenido y con una amplía experiencia en la elaboración de ítems. El segundo implica comprobar la relación entre el ítem y el contenido que se supone este mide. Con los ítems elaborados y técnicamente revisados se puede conformar un banco de ítems, que es la base para la futura confección de la prueba de rendimiento.

Como sigue explicando (Puig, 2007), para la elaboración de los instrumentos de evaluación de este ámbito (pruebas de rendimiento cognitivo), se deberán desarrollar los pasos siguientes:

a. Elaboración del diseño conceptual (tabla de especificaciones). b. Elaboración del diseño operacional.

I Preparación y realización de un pilotaje.

II Análisis de los resultados del pilotaje.

La tabla de especificaciones es un instrumento que se emplea con el propósito de tener alguna seguridad de que la prueba será una muestra representativa de los contenidos y los niveles de desempeño cognitivo con que se quieren medir esos contenidos. Para su confección se deberá previamente realizar indagaciones y adoptar decisiones como las siguientes:

39

Decidir el total de ítems que debe tener la prueba, de acuerdo a la aplicación.

Determinar la carga horaria que tiene cada tópico o agrupación de contenidos dentro del presupuesto de tiempo general del programa.

Listar los objetivos que comprende cada tópico y decidir cuáles deben ser sometidos a evaluación, por su grado de importancia e impacto.

Asumir una clasificación determinada de los ítems por niveles de desempeño.

Decidir qué objetivos deben ser medidos con preguntas abiertas y cuáles a preguntas cerradas.

Tabla 4 Ejemplo de Tabla de Especificaciones Ítems del Ítems del Ítems del Total de nivel I nivel II nivel III ítems

Tópicos:

Total de horas:

Por ciento

Numeración

55

30

3

2

2

8

Fracciones

63

35

4

3

2

9

Geometría

37

21

2

2

1

5

Magnitudes

25

14

1

1

1

3

TOTAL

180

100

10

9

6

25

Para la elaboración de la tabla de especificaciones se opera de la siguiente forma:

Se calcula el por ciento de horas de cada unidad del programa.

Proporcionalmente a esos valores se calculan la cantidad de ítems que le corresponde a esa unidad (o tópico), del total de preguntas de la prueba previsto.

También proporcionalmente al total de preguntas que por niveles de desempeño cognitivo se ha prefijado, se calcula la cantidad de ítems por tópicos para cada nivel de desempeño.

40

Resulta conveniente añadir a la tabla de especificaciones, los objetivos específicos que se han decidido evaluar en cada uno de los tópicos, precisando además nivel de desempeño y tipos de pregunta a través de los cuales se evaluará. La tabla de especificaciones constituye un claro indicador de la validez del instrumento, toda vez que muestra hasta qué punto la prueba elaborada se corresponde con los objetivos fundamentales del programa y ofrece mayor espacio a los contenidos de enseñanza mejor representados en el mismo.

A partir de la tabla de especificaciones, y con ayuda del banco de ítems, se elaboran candidatos de pruebas de rendimiento cognitivo que deben sometidas a un pilotaje previo. El propósito fundamental del pilotaje es acumular datos empíricos que posibiliten llevar a cabo análisis estadísticos de las propiedades psico-métricas de los ítems que la conforman.

En el contexto de la Teoría Clásica del Test (TCT) se controlan los parámetros siguientes: • Índice de facilidad (IF): expresado por el por ciento de estudiantes que logran responder correctamente; si ese porcentaje es muy alto, entonces el índice es bajo (poco difícil), en caso contrario es alto (muy difícil).

• Índice de discriminación (ID): determinado por la diferencia que se establece entre los resultados de los estudiantes de mejor rendimiento cognitivo y los de peor resultado, en el conjunto de la prueba, y el • Índice de homogeneidad (IH): también llamado de consistencia interna, y está determinado por la correlación entre el resultado en el ítems y el puntaje general en la prueba.

Como ha señalado (Puig, 2007: 68): “Las tres características antes dichas están relacionadas entre si. Los elementos o cuestiones demasiado fáciles habitualmente no discriminan bien. Igualmente, la homogeneidad de una prueba se hace mayor si los elementos quo la componen son suficientemente discriminantes”.

El índice de facilidad varía desde 0 a 1. Los valores extremos cercanos a 0 o a 1 indican que los sujetos examinados encontraron al

41

ítem o demasiado fácil o demasiado difícil. La fórmula más utilizada para su cálculo es la siguiente:

IF =

No. de respuestas correctas No. total de los que la responden

Para toda una prueba, lo deseable es que exista una distribución casi normal de los índices de facilidad (una curva platicúrtica). Para el análisis de los ítems, según este índice, se puede establecer la clasificación como la siguiente/Ver Tabla 5) Tabla 5: Clasificación de los ítems según el índice de facilidad Intervalos

Clasificación del ítem

0,0 – 0,20

Muy difícil

0,21 – 0,40

Difícil

0,41 - 0,60

Media

0,61 - 0,80

Fácil

0,81 – 1,00

Muy fácil

Por su parte, el Índice de discriminación puede calcularse de acuerdo con la formula siguiente:

Número de acertantes del subgrupo superior (25%) − ID =

número de acertantes del subgrupo inferior (25 %).

Número total de los que la responden

En este caso, el ID varía desde — 0,50 a + 0,50.

Aquí lo esperable es que el ID sea positivo, si es cero entonces el ítem no es útil, pues no está discriminando; si es negativo hay que revisar al ítems, significa que el grupo inferior respondió la pregunta mejor que el grupo superior de estudiantes.

Finalmente, el índice de homogeneidad se calcula por medio del coeficiente de correlación punto-biserial, entre los resultados de cada

42

pregunta y el del conjunto de la prueba. Se calcula a través de la fórmula:

rbis

M+ − M− . pq , donde: = S

M+ = Promedio de los que contestaron correctamente.

M- = Promedio de los que contestaron incorrectamente.

S = Desviación estándar de la prueba. p = Proporción de sujetos que contestaron correctamente. q = Proporción de sujetos que no contestaron correctamente.

Conforme el IH es más próximo a la unidad, más cerca está la pregunta de medir lo mismo que mide el conjunto de la prueba; por tanto, para la valoración de los ítems, de acuerdo con el mismo, se puede utilizar el criterio siguiente/ Ver Tabla 6): Tabla 6: Clasificación de los ítems según el índice de homogeneidad Índice punto biserial

Evaluación de los ítems

Menor que 0,20

No satisfactorio

0,20 – 0,29

Aceptables con objeciones.

0,30 – 0,39

Buenos

Mayor que 0,40

Muy buenos

Otras consideraciones importantes en relación con la elaboración de pruebas de rendimiento cognitivo son los siguientes: Las cuestiones deben estar bien dosificadas en cuanto a sus

dificultades, constituyendo un desafío a la inteligencia y capacidades de los alumnos dentro del nivel de desarrollo en que se encuentren.

Graduar la extensión de las cuestiones en correspondencia con la

capacidad de trabajo intelectual de los escolares de modo que puedan ser resueltas las tareas cognoscitivas en el tiempo higiénicamente requerido.

43

Los ítems de la prueba han de estar colocados de manera que

encierren una dificultad progresiva. Suelen colocarse primero los más sencillos, e ir incrementando la dificultad hasta llegar al máximo, para finalizar con unos pocos ítems de menor dificultad.

Los ítems deben ser representativos de los contenidos y deben

medir los objetivos propuestos, de modo que la prueba en su conjunto tenga una muestra de ítems representativa de los objetivos y comportamientos que se pretende evaluar.

También se deben prever acciones especialmente diseñadas para la fase de administración de las pruebas de rendimiento cognitivo y captura de los datos (criterios organizativos). Para su correcto desarrollo es necesario la formulación de pautas, las que se referirán a: Normas para la calificación de las preguntas abiertas y definición de distractores.

Indicaciones para la captura de la información en las Bases de Datos.

La administración de las pruebas de rendimiento demanda de una cuidadosa organización. Para la realización de los Operativos Nacionales de Evaluación de la Calidad de la Educación en Cuba se editan un grupo de documentos que establecen pautas acerca de cómo realizar las muchas acciones que ese evento evaluativo genera. Éstas van dirigidas a normar las funciones de los siete grupos de trabajo que participan: la Comisión Nacional, con sus Orientadores Nacionales; las Comisiones Provinciales con sus Orientadores Territoriales; los Directores; los Aplicadores; los Tribunales de Calificación y los Digitadores.

Para los Tribunales de Calificación, en particular, se elabora un instructivo por asignatura evaluada, en el que se presenta la clave de calificación de las preguntas abiertas y cerradas y la definición de los distractores, como se destacó con anterioridad. (Ver Tabla 7y 8)

44

Tabla .7: Ejemplo de clave de calificación en un instructivo para Tribunal Pregunta 1

Dominio Nivel de cognitivo: desempeño: Numeración I

2 3 4 5

Variables Magnitudes Geometría Cálculo

I I I I

Tipo de pregunta: Cerrada Cerrada Cerrada Cerrada Abierta

6 7 8 9

Numeración Cálculo Estadística Variables

II II II II

Cerrada Cerrada Cerrada Abierta

10 11 12 13 14 15

Geometría Numeración Variables Geometría Funciones Magnitudes

II III III III III III

Cerrada Cerrada Cerrada Abierta Cerrada Cerrada

Clave Forma A 1

1) 2) 3) 4) 5) 6) 7) 8)

3 3 2 6091 -3377 -3,22 -1,983 -9,768 190,35 -104 35

Clave Forma B 1

1) 2) 3) 4) 5) 6) 7) 8)

4 1 4

1 3

y -2

2 2 1 6,88 cm2 3 4

1 2

3 3 2 4491 -3478 -4,22 10,88 1 -8,008 289,94 -104 55 4 1 4 y -3

2 2 1 13,8 cm2 3 4

45

Tabla 8 Clave de pregunta abierta en un instructivo para tribunal Crédito

Procedimiento

Crédito total: 3

1 Resuelve correctamente el ejercicio.

Crédito parcial: 2

1 Domina el procedimiento de cálculo pero comete un error en los cálculos intermedios.

2 Domina el procedimiento de cálculo pero comete algún error en la colocación de la coma decimal.

3 Domina el procedimiento de cálculo, no comete errores de cálculo pero no tiene en cuenta la regla de los signos.

1 No domina el procedimiento de cálculo.

2 Domina el procedimiento de cálculo pero comete dos o más errores en los cálculos intermedios.

Sin crédito: 3 Comete errores de procedimiento y cálculo 1 4Respuestas borradas, tachadas, o expresiones que no corresponden.

5 Refiere en la respuesta del ejercicio, no sé, no la entiendo.

Y

Ejercicio ilegible para el alumno o mal impreso

Z

Respuesta en blanco.

También es importante pautar el trabajo de digitación de los datos (respuestas de preguntas cerradas y calificaciones de preguntas abiertas), toda vez que ese proceso se realiza actualmente a través del sistema de gestión de bases de datos Microsoft Access 2000, con el que una persona, con un mínimo de conocimientos en computación, puede llenar los datos sin cometer un número elevado de errores; además de que facilita la automatización de los resultados. (Ver Fig. 5)

46

Fig.5 Formulario de Base de Datos para prueba de rendimiento

Estas Bases de Datos operan, fundamentalmente, con un formulario para la digitación de los datos, un grupo de tablas relacionadas para el correcto almacenamiento de los mismos y varias consultas para la devolución de los resultados. En el instructivo correspondiente se le explica a los digitadores cuáles códigos utilizar en los campos del formulario para capturar correctamente los datos, cómo realizar la depuración de la Base de Datos antes de activar las consultas de calificación y cómo interpretar la información que éstas devuelven.

Debe tenerse presente que estas Bases de Datos no sólo trabajan con los porcentajes de Respuestas Correctas, sino además con los por cientos de estudiantes por niveles de desempeño cognitivo, para lo cual debe establecerse un criterio de ubicación. En los Operativos Nacionales de Evaluación de la Calidad de la Educación se han ido estableciendo, en ese sentido, los criterios siguientes:

Un alumno estará en el nivel I si responde correctamente, al menos, más del 60% de las preguntas correspondientes a ese nivel.

47

Un alumno estará en el nivel II si, además de haber alcanzado el nivel I, responde correctamente al menos más del 50% de las preguntas correspondientes al nivel II.

Un alumno estará en el nivel III si, además de haber alcanzado el nivel II, responde correctamente al menos el 40% de las preguntas correspondiente al nivel III.

Por último, en la fase de interpretación y difusión de los resultados de la evaluación del rendimiento cognitivo se deben elaborar informes técnicos por parte de especialistas, tanto en evaluación educativa como en las materias del currículo escolar evaluadas. Se destacan dos tipos fundamentales de reportes: Informe general (con los porcentajes de respuestas por educaciones, asignaturas, dominios cognitivos y niveles desempeño cognitivo) Informes complementarios (con el análisis de los distractores y de los créditos y procedimientos de las preguntas abiertas más afectados en cada una de las disciplinas curriculares evaluadas).

En el caso del Informe General, se tienen presente los indicadores siguientes: •

Porcentaje de respuestas correctas por preguntas y, en total, en la prueba.

•

Porcentaje de respuestas desempeño cognitivo.

•

Porcentaje de respuestas correctas por dominio cognitivo.

•

Porcentaje de alumnos por niveles de desempeño cognitivo.

correctas

en

cada

nivel

de

En este informe, para valorar los resultados obtenidos se utilizan los criterios siguientes:

48

•

Menos del 40% de respuestas correctas – deficiente.

•

Entre el 40% y el 60% de respuestas correctas - alerta de la existencia de serios problemas curriculares.

•

60% o más de respuestas correctas - aceptable.

Por su parte, los Informes complementarios están dirigidos a describir los elementos del conocimiento más afectados, a partir de la delimitación de los Distractores (en el caso de las preguntas “cerradas”) y de los Créditos-Procedimientos incorrectos (en el caso de las preguntas “abiertas”) con mayor incidencia en los resultados.

Es un informe eminentemente técnico, por lo que es confeccionado por las Comisiones Nacionales de Asignaturas, de conjunto con los especialistas en Evaluación Educativa del ICCP. Se elabora sobre la base de tres tipos de documentos fundamentales: •

Tablas de Especificaciones.

•

Pruebas de rendimiento cognitivo.

•

Instructivo de Calificación correspondiente.

Se esperan de él tres resultados concretos: •

Los objetivos curriculares más afectados, entre los evaluados.

•

La interpretación de las causas de los errores cognitivos correspondientes, y

•

Las recomendaciones enfrentarlos.

didáctico

-

metodológicas

para

Este último tipo de informe tiene una fuerte implicación en la función de mejora de la Evaluación de la Calidad de la Educación; toda vez que sirve de plataforma para desarrollar diversas actividades de capacitación y preparación metodológica con los docentes y directivos. Un reto actual del Sistema Educativo Nacional es fortalecer esta dirección del trabajo. A continuación se mostrará un ejemplo de tratamiento metodológico a un error frecuente de Español de (Bernabeu et al, 2007: 29-31): Error frecuente: Falta de originalidad en las ideas.

Los alumnos, en sus respuestas, utilizan expresiones literales de los textos trabajados, por lo que no logran expresarse con sus propias palabras y no reflejan un estilo personal. Se pone de manifiesto un

49

insuficiente desarrollo del vocabulario y poco conocimiento sobre el tema sugerido en la situaci贸n comunicativa.

Comportamiento del error en el tiempo/Ver Fig. 6 y 7) Primer ciclo ORIGINALIDAD

%RC 50,0% 40,0% 30,0% 20,0% 10,0% 0,0% 2002

2003

2004

2005

OPERATIVOS Fig. 6 Comportamiento del error en primer ciclo

Segundo ciclo ORIGINALIDAD

%RC

38,0% 36,0% 34,0% 32,0% 30,0% 2003

2004 OPERATIVOS

2005

Fig. 7 Comportamiento del error en el segundo ciclo

50

Sugerencias metodológicas para lograr que los alumnos escriban con originalidad o un estilo propio: El profesor debe orientar al alumno en la planificación de su texto, a partir de la comprensión de la situación comunicativa propuesta.

Puede proponer que se realicen las siguientes preguntas: ¿Sobre qué voy a escribir? ¿Para qué y por qué voy a escribir? ¿Qué sé sobre el tema? ¿Sobre qué aspecto debo buscar más información?

En profesor debe lograr que los alumnos, constantemente: • Elaboren textos para planificar, tales como: listas, esquemas, sistema de preguntas y respuestas, etc.

• Revisen su texto, tanto los borradores como el texto definitivo, tomando como guía las preguntas que se hicieron en el momento de la planificación.

METODOLOGÍAS DE EVALUACIÓN DEL DESEMPEÑO PROFESIONAL DE LOS DOCENTES Se ha señalado que el primer paso para la elaboración de una metodología de evaluación educativa es la determinación de los indicadores y los criterios de calificación. Ello se ve fortalecido con un estudio previo del ámbito correspondiente.

En este caso, H. Valdés partió de definir teóricamente el concepto de evaluación del desempeño profesional de los docentes; el cual expresó en los siguientes términos: “La evaluación del desempeño profesional del docente es un proceso sistemático de obtención de datos válidos y fiables, con el objetivo de comprobar y valorar el efecto educativo que produce en los alumnos el despliegue de sus capacidades pedagógicas, su emocionalidad, responsabilidad laboral y la naturaleza de sus relaciones interpersonales con alumnos, padres, directivos, colegas y representantes de las instituciones de la comunidad”. (Valdés, 2006: 62)

51

A partir de esta definición teórica, el autor realiza una operacionalización de la variable correspondiente, de la cual obtuvo cinco dimensiones y numerosos indicadores (Ver tabla 9).

Tabla 9 Operacionalización de la variable desempeño profesional del docente

Dimensiones 1. Capacidades pedagógicas.

52

Indicadores 1.1. Grado de dominio de los contenidos que imparte, de la Teoría de la Educación, de la Didáctica General y de la Didáctica de la especialidad.

1.2. Capacidad para hacer su materia entretenida e interesante.

1.3. Calidad de su comunicación verbal y no verbal.

1.4. Capacidad para planificar adecuadamente el proceso docente – educativo.

1.5. Alcance de su contribución a un adecuado clima de trabajo en el aula.

1.6. Capacidad para identificar, comprender las situaciones áulicas y ajustar su intervención pedagógica.

1.7. Utilización de variedad de prácticas educativas.

1.8. Grado de conocimiento y tratamiento de las características psicológicas individuales de los alumnos.

1.9. Grado de información sobre la marcha del aprendizaje de sus alumnos.

1.10. Calidad de su representación sobre el encargo social de la escuela.

1.11. Contribución a la formación de valores nacionales y universales y al desarrollo de capacidades valorativas.

1.12. Efectividad de su capacitación y autopreparación.

1.13. Capacidad para crear un ambiente favorable para que el alumno conozca sus derechos y responsabilidades, y aprenda a ejercerlos.

Dimensiones

2. Emocionalidad

3. Responsabilidad en el desempeño de sus funciones laborales.

Indicadores 1.14. Capacidad para desarrollar un proceso de reflexión autocrítica permanente sobre su práctica educativa 2.1. Vocación pedagógica.

2.2. Autoestima.

2.3. Capacidad para actuar con justicia, y realismo.

2.4. Nivel de satisfacción con la labor que realiza.

3.1. Asistencia y puntualidad a la escuela y a sus clases.

3.2. Grado de participación en las sesiones metodológicas o en jornadas de reflexión entre los docentes.

3.3. Cumplimiento de la normativa.

3.4. Nivel profesional alcanzado.

3.5. Implicación personal en la toma de decisiones de la institución.

3.6. Grado de autonomía profesional relativa alcanzada para desarrollar su tarea en la institución.

3.7. Nivel profesional alcanzado.

4.1. Nivel de preocupación y comprensión de 4. Relaciones interlos problemas de sus alumnos. personales con sus alumnos, padres, 4.2. Nivel de expectativas respecto al desarrollo directivos, docentes de sus alumnos. y comunidad en 4.3. Flexibilidad para aceptar la diversidad de general. opinión y sentimientos de los alumnos y

respeto real por sus diferencias de género, raza y situación socioeconómica.

1.5. Resultados de su labor educativa.

1.5.1. Rendimiento académico alcanzado por sus alumnos en la o las asignaturas que imparte.

1.5.2. Grado de orientación valorativa positiva alcanzado hacia las cualidades de la personalidad deseables de acuerdo al modelo de hombre que se pretende

53

Dimensiones

Indicadores formar.

1.5.3. Grado en que sus alumnos poseen sentimientos de amor a la Patria, a la naturaleza, al estudio y al género humano.

Cont. Tabla 9

En (Valdés, 2008: 12-36) se explican detenidamente los criterios para la calificación de cada uno de los indicadores identificados, en lo que el autor de denomina: reglas para la asignación de la calificación, utilizando una escala ordinal de cuatro categorías (MB, B, R y M).

Con relación a la elaboración de los instrumentos de evaluación, el autor propone el siguiente grupo de instrumentos, (Ver tabla 10) como parte de la metodología de evaluación elaborada (Valdés, 2006: 80):

54

Tabla 10 Instrumentos de evaluación del desempeño profesional del docente

Método

Dimensiones que evalúa

1. Observación de clases.

• Capacidades pedagógicas.

• Sistema de relaciones interpersonales con sus alumnos.

• Responsabilidad en el desempeño de sus funciones.

• Emocionalidad.

• Resultados de su labor educativa.

2. Encuesta de opiniones • Capacidades pedagógicas. profesionales.

• Emocionalidad.

3.

Pruebas objetivas • Resultados de su labor estandarizadas y test sobre educativa. desarrollo humano.

4. Portafolio • Responsabilidad en el desempeño de sus funciones.

5. Test de conocimientos y • Capacidades pedagógicas. ejercicios de rendimiento profesional.

6. Autoevaluación • Capacidades pedagógicas.

• Responsabilidad en el desempeño de sus funciones.

En cuanto al tercer elemento estructural de una metodología de evaluación educativa, la formulación de indicaciones metodológicas y organizativas, tanto en (Valdés, 2006) como en (Valdés, 2008), se realizan cuantiosas consideraciones acerca del empleo de cada una de estas técnicas.

Un elemento novedoso que introduce este autor es a lo que se le denomina plan de evaluación, que no es más que un “(…) ordenamiento espacio – temporal de las acciones de evaluación que se realizarán durante un ciclo escolar”. (Valdés, 2008: 37). Dicho plan quedó formulado de la siguiente forma/(Ver Tabla 11).

55

Tabla 11 Plan de evaluación del desempeño profesional del docente

Finalmente se tiene la interpretación y difusión de los resultados de la evaluación. En ese sentido, el autor opta por una explicación de los tres modelos más difundidos de toma de decisiones estadística para combinar datos: el conjuntivo2, el disyuntivo3 y el 4 compensatorio y una valoración de la utilización de cada uno de ellos. Concluyendo que: “(…) la evaluación satisfactoria de un docente debería exigir un mínimo en cada variable evaluada. Así tal vez en estos casos se necesite emplear un enfoque evaluativo que combine los modelos conjuntivo y compensatorio”. (Valdés, 2006: 124-125)

2

Los evaluados deben aprobar todas las medidas para obtener una calificación general satisfactoria.

3 Los evaluados deben obtener satisfactorio sólo en una de las medidas.

4 Se combinan los datos en un algoritmo, comúnmente aditivo, que permite que las bajas puntuaciones en unas variables se vean compensadas por las altas puntuaciones en otras. (Valdés, 2006: 124-125)

56

En consecuencia, en (Valdés, 2004: 77) se recomienda el empleo de un índice con una media ponderada, “(…) donde los coeficientes de ponderación se correspondan con el ordinal que según los expertos consultados obtuvieron cada uno de los parámetros sobre los que se les consultó su grado de relevancia”. El autor propone el siguiente índice integral de desempeño del docente (IIDD): IIDD = [(27 (2,4) + 26 (2,8) + 25 (3,4) + 24 (3,1) + 23 (2,11) + 22 (2,5) + 21 (2,7) + 20 (2,10) + 19 (2,12) + 18 (6,1) + 17 (6,2) + 16 (3,2) + 15 (5,1) + 14 (2,9) + 13 (5,3) + 12 (5,2) + 11 (1,1) + 10 (3,3) + 9 (4,1) + 8 (4,3) + 7 (2,1) + 6 (2,2) + 5 (2,3) + 4 (4,2) + 3 (1,2) + 2 (2,6) + (4,4))] / 378 Puesto que la fórmula devuelve un valor entre 0 y 1, se utiliza la siguiente escala de conversión del valor numérico del IIDD a calificación cualitativa/(Ver tabla 12) Tabla 12 Calificación final del desempeño profesional del docente Valor del IIDD IIDD mayor o igual que 0,9

Categoría cualitativa MB

IIDD mayor o igual que 0,7 y menor que 0,9

B

IIDD mayor o igual que 0,5 y menor que 0,7

R

IIDD mayor o igual que 0,3 y menor que 0,5

M

Es de esperar que, junto a la categoría final de calificación se manejen con el evaluado un grupo de recomendaciones para el perfeccionamiento de su labor.

Un caso particular de evaluación del desempeño del docente propone (Remedios, 2003), al presentar una metodología de evaluación para docentes de los Institutos Superiores Pedagógicos (ISP). Esta autora operacionaliza la variable evaluación del desempeño profesional de los docentes de los ISP en tres dimensiones:

57

Modo de actuación profesionales.

en

el

cumplimiento

Cualidades personales.

La naturaleza de sus relaciones correspondientes indicadores.

de

las

interpersonales,

funciones

con

sus

La dimensión modo de actuación profesional de los docentes de las universidades pedagógicas cubanas se ha definido como: “(…) el sistema de acciones que realiza el docente vinculadas a las funciones docente-metodológica, orientación-educativa e investigativa y las relaciones entre ellas, con el fin de formar de manera continua profesionales de la educación, mediante el que se modela una ejecución y se expresan los niveles de motivación, el sistema de conocimientos, habilidades, hábitos y capacidades alcanzados, como manifestación de su propia identidad profesional”. (Remedios, 2001: 36) Con relación a la dimensión cualidades personales del docente del ISP, la autora se orienta por aquellos elementos que se relacionan con la creatividad de este profesional, los que están estrechamente vinculados a su modo de actuación y a la naturaleza de las relaciones inter-personales (motivación profesional, originalidad, flexibilidad, independencia cognoscitiva y responsabilidad).

58

La dimensión naturaleza de las relaciones interpersonales del profesor es vista por la autora como una manifestación particular de las relaciones sociales; es decir, expresión de la comunicación social y recuerda que la comunicación es un proceso esencial que se interrelaciona con la actividad humana, la que ha ido evolucionando en dependencia del propio desarrollo alcanzado por el hombre y las condiciones histórico concretas en las que ha vivido. (Remedios, 2007: 5) A partir de ellas, la autora considera un número considerable de indicadores que propone sean evaluados a través de cinco técnicas principales: Observación de las formas de organización del proceso pedagógico.

Autoevaluación.

Portafolio.

Ejercicios de rendimiento profesional.

Cuestionario de opiniones de los estudiantes.

5

A continuación se presenta uno de los instrumentos considerados por esta autora, la guía para el portafolio (Remedios, 2007: 24): “Objetivo: Recopilación de documentos que evidencian resultados del desempeño de los docentes en el cumplimiento de sus funciones profesionales. Índice:

Expediente de la disciplina o asignatura en el que debe aparecer entre otras cosas: programa, esquema y dosificación del contenido de enseñanza y aprendizaje, sistema de medios de enseñanza, sistema de estudio independiente, guías de

5

Para la autora: las clases abiertas y metodológico-demostrativas, los exámenes de oposición para cambio de categoría docente y los exámenes de mínimo en la formación doctoral. (Remedios, 2007: 13)

59

observación a videos, vídeo clases, tele clases, materiales apoyo a la docencia, bibliografía actualizada, clases modelos.

de

Productos derivados del trabajo metodológico: preparación de reuniones metodológicas, clases metodológicas demostrativas e instructivas, clases abiertas, Entrenamientos Metodológicos Conjuntos.

Materiales elaborados desde el trabajo en un proyecto de investigación: sistematizaciones teóricas, instrumentos científicos para la recogida de datos, propuestas metodológicas o didácticas, informe con el análisis de resultados obtenidos, ponencias presentadas en eventos, artículos científicos, libros, póster, entre otros productos.

Materiales derivados de las acciones de superación: en cursos de postgrado, maestría, especialidad, doctorado.

Productos realizados en las acciones de atención a los estudiantes práctica laboral investigativa y en la aplicación del sistema de trabajo político ideológico.

Resultados de la aplicación del sistema de evaluación de sus estudiantes”.

Metodologías de evaluación institucional El último ejemplo de metodología de evaluación educativa que se referirá es desarrollado por (Torres-Galdós, 2007), considerando que cuenta también con experiencias de instrumentación en la práctica educativa cubana.

Con relación a la determinación de los indicadores y los criterios de calificación este ámbito requirió de un esfuerzo especial, toda vez que la operacionalización de la variable funcionamiento de una institución escolar, genera un cantidad extraordinaria de indicadores.

Ello condujo a los autores a un proceso de reducción estadística y de análisis lógico, aplicado a los resultados de un estudio de corte ex-post-facto en diez escuelas del país, del que fueron levantados datos correspondientes a 238 indicadores.

60

El método estadístico utilizado fue el de Análisis Factorial, con el que se identificaron seis macro-variables dentro de la matriz de datos obtenida con la aplicación de los 12 instrumentos de investigación utilizados. Esas macro-variables se le conocen como factores y su utilidad radica en que explican una parte considerable de la varianza total de los datos. A su vez, dentro de los factores se pudieron identificar indicadores que probaron tener un peso considerable en la explicación del valor propio de cada factor. Se obtuvieron por esa vía 36 indicadores; denominados, en consecuencia, variables principales. (Ver Tabla 13) Tabla 13 Variables principales mediante análisis factorial

A continuación se mostrarán en la tabla 14, esas 36 variables principales resultantes y los cuatro instrumentos de evaluación a través de los cuales fueron obtenidas y a las que, en consecuencia, fueron asociadas.

61

Tabla 14 Indicadores e instrumentos

62

Indicador

Variables principales

Instrumentos

I1

El director desarrolla con buena calidad el trabajo docente-metodológico con los docentes.

Guía de observación de escuela.

I2

El director fomenta y estimula la realización de actividades extraescolares.

Guía de observación de escuela.

I3

El director favorece el buen clima y las relaciones entre el profesorado.

Guía de observación de escuela.

I4

El director mantiene frecuentes y fluidas relaciones con las familias.

Guía de observación de escuela.

I5

El Director estimula la participación y el compromiso del alumnado con la escuela.

Guía de observación de Escuela.

I6

El director procura la relación con otros establecimientos del mismo o de distinto nivel.

Entrevista al director.

I7

El director procura que el centro educativo tenga una imagen propia y sea bien considerado entre los demás.

Entrevista al director.

I8

El director auspicia el desarrollo de actividades de innovación en la escuela.

Entrevista al director.

I9

El director dedica considerable tiempo a actividades docentes.

Guía de observación de escuela.

I10

El director dedica considerable tiempo al liderazgo pedagógico.

Guía de observación de escuela.

I11

El director convoca con frecuencia reuniones con el profesorado para aspectos esenciales del trabajo de la escuela.

Entrevista al director.

I12

El director tiene buenas relaciones con sus docentes.

Guía de observación de escuela.

I13

El director tiene buenas relaciones con la Entrevista al administración educativa superior. director.

I14

El director se siente satisfecho con la participación de los alumnos.

Entrevista al director.

I15

El director se siente satisfecho con la participación de los profesores.

Entrevista al director.

I16

El director se siente satisfecho con la participación de los padres y madres.

Entrevista al director.

I17

El director se siente satisfecho con el funcionamiento global de la escuela.

Entrevista al director.

I18

El ambiente físico es confortable.

Guía de observación de escuela.

I19

En la escuela existen recursos suficientes Guía de observación y adecuados para llevar a cabo las de escuela. tareas docentes.

I20

Es una característica de la escuela el interés personal que tienen los profesores por los estudiantes.

Guía de observación de escuela.

I21

Existe una planificación adecuada de las actividades docentes.

Cuestionario a profesores.

I22

Existen debates pedagógicos.

Cuestionario a profesores.

I23

Los profesores trabajan en conjunto para Cuestionario a planificar las clases. profesores.

I24

Los docentes tienen tiempo suficiente para la retro-alimentación con sus alumnos.

Cuestionario a profesores.

I25

Los profesores de este centro son estimulados por hacer un buen trabajo.

Cuestionario a profesores.

I26

El número de horas lectivas que se trabaja al día es elevado.

Entrevista al director.

I27

Los desperfectos se reparan inmediatamente.

Entrevista al director.

I28

Hay tratamiento eficaz de asuntos rutinarios y del mantenimiento de la disciplina y el orden.

Guía de Observación de clases.

I29

Hay explicación de los objetivos desde el Guía de Observación inicio de la clase. de clases.

63

I30

Se realiza un recordatorio sistemático de Guía de Observación los objetivos de Clases.

I31

Hay un resumen de los contenidos al finalizar la sesión de clases.

Guía de Observación de clases.

I32

Existe ajuste de los problemas y tareas al contenido.

Guía de Observación de clases.

I33

Hay desarrollo del pensamiento de los estudiantes.

Guía de Observación de clases.

I34

Se realiza vinculación del contenido de enseñanza con la vida.

Guía de Observación de clases.

I35

Hay fomento de buenos modales.

Guía de Observación de clases.

I36

Se realiza consolidación de valores patrióticos y humanistas.

Guía de Observación de clases.

Cont. Tabla 14

En este otro caso, se propone que los indicadores sean evaluados con una escala única de tipo dicotómica, empleando los criterios de: “se logra” (1 punto) y “no se logra” (0 punto). Para cada uno de los indicadores se explican qué aspectos avalan el criterio “se logra”.

En cuanto a las orientaciones para la administración de los instrumentos, en (Torres-Galdós, 2007: 37-38) se pueden encontrar valiosas recomendaciones acerca de la combinación de la evaluación interna y externa en el trabajo con este importante ámbito de la Evaluación Educativa; así como indicaciones de cómo desenvolver la Evaluación Institucional en las condiciones específicas del país, aprovechando las estructuras creadas, con la creación y desarrollo de los Grupos Municipales y Provinciales de Calidad.

Finalmente, esta metodología propone un procedimiento para la interpretación de los resultados acorde con la naturaleza de la vía utilizada para la obtención de los datos de la evaluación.

Puesto que la máxima cantidad de puntos acumulables es 36 y la menor 0 y como, de acuerdo con el procedimiento estadístico utilizado para la reducción del número de variables, no todos los

64

indicadores cargan el mismo factor, ni estos tienen el mismo peso en la explicación de la varianza de los datos primarios, se consideró conveniente calcular primero el promedio de los indicadores que cargan un mismo factor y después la media ponderada de los seis valores así obtenidos, la que se denominó Índice general evaluativo del centro (Igec)/(Ver fig. 8) I gec =

6 . F + 5 .F + 4 .F + 3 .F + 2 .F + F 4 5 6 1 2 3 21

Fig. 8 Índice general evaluativo del centro

Se trata de un valor que oscila entre 0 y 1, el que representa una mejor calificación en la medida en que se aproxime a 1 y peor en tanto se acerque a 0. Luego, se sugiere el empleo de una escala empírica para la traducción del valor numérico del Índice general evaluativo del centro a un juicio valorativo final. Las escuelas que obtengan un Índice general evaluativo de centro con un valor menor o igual que 0,3 se evaluará de “Mal”, mientras que las que obtengan un valor mayor que 0,3 pero menor o igual que 0,6 se calificarán de “Regular” y las que obtengan una puntuación superior a 0,6 en ese Índice, la calificación de “Bien”.

Sin embargo, lo más importante en esta fase final sigue siendo el establecimiento de un cuerpo de recomendaciones suficientemente preciso y sustentado como para contribuir sensiblemente a la mejora escolar.

65

ESTADO DEL ARTE DE LA EVALUACIÓN EDUCATIVA Cuando se hace un análisis del amplio espectro de trabajos que describen la aparición y fomento de la Evaluación Educativa o Evaluación de la Calidad de la Educación, como práctica educativa (Torres et al, 2008b), suelen identificarse tres fuentes principales: Economicista.

Academicista.

Institucionalista.

La fuente economicista de la Evaluación Educativa ha sido esbozada, de alguna forma, por autores como: (Tiana-Santángelo, 1994), (Lanza, 1996), (Tiana, 2000), (Wolf, 2006) y (Ferrer-Arregui, 2006).

Para H. Lanza la Evaluación Educativa no ha sido más que una consecuencia directa de la relación entre competitividad y conocimiento, en el contexto de las relaciones económicas contemporáneas; siguiendo a G. Rama, H. Lanza explica que: “(…) hay un mundo donde la competitividad, la capacidad de conocer es un problema central y porque hay un mundo competitivo (…) es que las unidades educativas se evalúan por lo que se aprende en ellas”. (Lanza, 1996: 8) Como ejemplo de su manifestación concreta refiere la aparición del Informe “Nation at risk”, derivado de los resultados de la aplicación de pruebas académicas en los EE.UU., en los años ´80, a partir del cual se llegó a considerar a este país –en términos de educacióncomo “una nación en riesgo”. (Ferrer-Arregui, 2006: 254) Para A. Tiana y H. Santángelo los estudios evaluativos internacionales han evidenciado la asociación entre esos dos aspectos (competitividad económica y desarrollo educacional). En tal sentido han señalado: “(…) la publicación de algunos resultados, a finales de los ochenta, puso de manifiesto que países que han ido ganando terreno en términos de competitividad económica internacional a las grandes potencias, también han mejorado sensiblemente su posición en el

66

terreno de los resultados académicos, casi insospechados”. (Tiana-Santángelo, 1994: 3)

hasta

extremos

En particular, A. Tiana ha argumentado: “La última década del siglo XX fue testigo de una preocupación creciente por la mejora de la calidad de la educación (…) La presión económica internacional, la expresión del proceso de globalización, la introducción masiva de las nuevas tecnologías de la información y la comunicación, junto con otros fenómenos económicos y sociales de gran impacto, volvieron a atraer la atención hacia la educación (…) apareciendo nuevas iniciativas en ese sentido, como la construcción de un sistema internacional de indicadores de la educación, tarea impulsada por la OCDE desde finales de los años ochenta”. (Tiana; 2000:1) Esta situación ha encontrado también eco latinoamericana; L. Wolf ha señalado al respecto:

en

la

región

“América Latina no es ajena a las evaluaciones educacionales. A fines de los años setenta, el Programa de Estudios Conjuntos para la Integración Económica Latinoamericana (CIEL) completó un estudio comparativo del aprendizaje en cinco países, utilizando los instrumentos desarrollados por la Asociación Internacional para la Evaluación del Rendimiento de los Alumnos (lEA)”. (Wolf, 2006: 14) G. Ferrer y P. Arregui han sido más precisos en ese sentido y han señalado que: “Opiniones especializadas argumentan que el impulso por la creación de estos sistemas de evaluación en los países en desarrollo estuvo influido por la presión de algunas agencias de cooperación internacional que condicionaron los préstamos para educación al desarrollo de sistemas nacionales de medición que permitieran medir los resultados de esas millonarias inversiones en reformas educativas”. (Ferrer-Arregui; 2006: 253) Por otra parte, la –aquí denominada- fuente academicista de la aparición y desarrollo de la Evaluación Educativa tiene sus raíces en la creciente presencia de la investigación científica en el estudio de

67

los procesos y fenómenos sociales, especialmente los de carácter educativos. Esa posición ha sido compartida por diversos especialistas en el tema (Wolf et al., 1992) (Delgado, 1995) (TianaSantángelo, 1994) (Tiana, 2000) (Ravela, 2006) (Wolf, 2006).

No debe perderse de vista, que en la base del surgimiento en Hamburgo, en fecha tan temprana como 1958, de la primera institución internacional interesada en la evaluación de la Educación, la ya referida Asociación Internacional para la Evaluación del Rendimiento de los Alumnos (lEA), estaba la idea de un “laboratorio educativo mundial”, con fines claramente orientados hacia la mejora educativa. (Tiana, 2000: 1) Más aún, uno de sus principales antecedentes6, la Docimología, aparecida en 1938 como disciplina referida de las pruebas pedagógicas, al decir de H. Piéron, también tiene a la investigación científica como sustrato (Delgado, 1995).

6

La Evaluación Educativa estuvo estrechamente ligada desde sus orígenes a la valoración del aprendizaje de los alumnos, bajo el impulso de los avances obtenidos por la Psicometría y la Pedagogía Experimental. Sus primeras manifestaciones prácticas se encuentran, posiblemente, en la introducción de los llamados Tests Mentales por F. Galton, los que resultaron rápidamente extendidos por Alemania, Francia y los Estados Unidos. En el año 1876, F. Kreapelin creó un laboratorio psicológico en el que se midieron los tiempos de reacción de la memoria, la percepción y la fatiga, alcanzando notoriedad con las publicaciones de R. L. Thondike sobre el tema, en 1904. A partir de 1910 se desarrolló rápidamente la línea iniciada por J. M. Rice en el campo de la evaluación, con la aparición de escalas de redacción, de ortografía y de cálculo aritmético. En 1942, R. Tyler dirigió su atención al funcionamiento de los programas educativos, con lo que la trilogía programa-alumno-docente pasó a constituir el núcleo de atención básica, brindando además un especial impulso al desarrollo curricular. Sus aportes en ese sentido permitieron imprimir a la evaluación un corte más dinámico, como mecanismo capaz de provocar una mejora del currículo y de la instrucción. Posteriormente, L. J. Cronbach agrega un nuevo e importante elemento para la concepción de la evaluación, entendiéndola como recogida y uso de información para la toma de decisiones. Merecen también destacarse los aportes de M. Scriven, al llamar la atención sobre la ideología del evaluador y el sistema de valores imperantes en la sociedad, los que condicionan los resultados de los estudios.

68

La asimilación de la Evaluación Educativa como investigación científica distingue ésta de otras formas de control del Sistema Educativo, situando el énfasis en la función de mejora de la calidad de la educación; un caso especial de ello es su utilización para valorar la puesta en práctica y conducción de Reformas Educativas (Tiana-Santángelo, 1994).

Al decir de P. Ravela: “La mayoría de los sistemas educativos latinoamericanos ha justificado la creación de unidades de evaluación (…) con argumentos similares: contribuir a la mejora de la calidad y la equidad del sistema educativo; entregar información relevante, válida y confiable para la toma de decisiones de política educativa; promover la mejora de las prácticas de enseñanza en las escuelas, etc.”. (Ravela, 2006: 295) Ha sido precisamente queriendo avanzar en esa dirección que un número creciente de países latinoamericanos se han mostrado interesados en participar, primero, en evaluaciones internacionales esporádicas, como las organizadas por la Asociación Internacional para la Evaluación del Rendimiento de los Alumnos (lEA) y el Servicio de Pruebas Educacionales (ETS), y en programas internacionales de evaluación, más recientemente, como el Tercer Estudio Internacional de Matemáticas y Ciencias (TIMSS) y el Programa Internacional de Evaluación de Estudiantes (PISA). (Wolff, 2006) Por última, la fuente institucionalista de la Evaluación Educativa se apoya en el deber ético de las instituciones educativas de rendir cuenta de su gestión ante la sociedad (accountability); aparece descrita en los trabajos de: (Tiana-Santángelo, 1994), (Ravela, 1994), (Lanza, 1996), (Kallen et al., 1996) y (Valdés, 1999).

Para H. Lanza, el Estado, en tanto garante de las necesidades sociales, debe generar recolecciones masivas de datos sobre los resultados del servicio educativo y realizar análisis cuantitativos que proporcionen un diagnóstico de la educación. Asociados a estos procesos evaluativos se presentan, por tanto, un conjunto de

69

categorías de trascendencia social, como: calidad educativa, eficacia, eficiencia y equidad. (Lanza, 1996) Y es que, al decir de P. Ravela: “… el sistema educativo suele alimentar en los estudiantes y en sus familias falsas expectativas acerca de la formación adquirida y de las potencialidades para el trabajo posterior, ya que tiende a promover al estudiante aun cuando no se satisfagan los niveles mínimos de logro”. (Ravela, 1994; citado por Messina-Sánchez, 1996: 8) De modo que los sistemas nacionales de evaluación constituyen un instrumento esencial para articular estrategias de mejoramiento de la calidad de la educación. (Ravela, 1994) También en línea con esta tercera fuente, señala H. Valdés: “A partir de la segunda mitad de la década de los años ´80 se han venido instalando, de manera creciente, sistemas de medición y evaluación de la calidad de la educación (…) a partir del redimensionamiento de las funciones de los organismos centrales del estado que dirigen la educación, que se ha operado como consecuencia de la aplicación de políticas descentralizadas”.

(Valdés, 1999: 19) Para A. Tiana y H. Santángelo la renovación por los Estados de la concepción y prestación del servicio público de la educación, “en el contexto de la crisis del Estado de bienestar”, gestó en los ´80 y consolidó en los ´90 los eventos de evaluación de la Educación, tanto en Europa como en América. (Tiana-Santángelo, 1994) A la consolidación de ese principio de la rendición de cuentas ante la sociedad han contribuido también los estudios internacionales de evaluación educativa, toda vez que: “(…) facilita(n) una colección de indicadores con una utilidad evidente, tanto para enjuiciar la evolución temporal del propio país, como para tener una indicación con respecto a la posición relativa que ocupa en el concierto de los países de su más inmediata referencia”. (Tiana-Santángelo, 1994: 9) Como se ha señalado, los primeros intentos de estudios comparados de calidad educativa se remontan a los años 50, cuando se

70

constituyó la International Association for the Evaluation of Educational Achievement (IEA), agrupación voluntaria e independiente, no gubernamental, de instituciones de investigación que representan a los sistemas educativos de los países miembros.

Uno de los principales propósitos de la IEA ha sido la determinación de los niveles de calidad educativa de los países participantes, como instrumento metodológico encaminado a proporcionar generalizaciones científicas y favorecer la toma de decisiones en materia de política educativa.

Los estudios promovidos por la IEA, particularmente las diferentes versiones de TIMSS, han servido de modelo para la puesta en práctica de otros similares, entre los que se destacan los impulsados por la Organización para la Cooperación y Desarrollo Económico (OCDE), espacialmente los difundidos Estudios PISA. “Entre los factores contextuales más importantes estudiados en ellos están: la inversión per cápita en cada sistema nacional, las características familiares y socio-culturales de los estudiantes, la infraestructura escolar, la preparación académica de los docentes, la cobertura curricular (…) en las áreas disciplinares evaluadas y las actitudes y valores de los alumnos con relación a esas áreas” (Ferrer-Arregui; 2006: 254-259).

Por tanto, son exploradas, de una u otra manera, las áreas de: contexto, entrada, proceso y producto.

En la realización de estudios internacionales se pueden apreciar dos propósitos fundamentales (Tiana, 2000):

Ofrecer información comparada sobre los resultados cognitivos de los diversos sistemas educativos, y

Proporcionar claves para la explicación e interpretación de los mismos.

Algunos de ellos tienen uno solo de estos propósitos, pero en general se combinan ambos, con vistas a promover la mejora del servicio educativo a partir del análisis del funcionamiento de los Sistemas Nacionales Educativos de los países que participan. Resalta la

71

intención de la OCDE de generar, desde finales de los años ´80, un sistema internacional de indicadores educativos (Proyecto INES) “(…) con la finalidad de permitir comparaciones en materia de educación entre distintos países y de proporcionar información sobre las tendencias a lo largo del tiempo de estas comparaciones transversales”. (MEyC, 2006b: 5) En América Latina se cuenta con alrededor de veinte años de experiencia en la realización de estudios de evaluación de la calidad de la educación, pero no es hasta los años ´90 en que la situación educativa regional resultó propicia para la expansión de sistemas nacionales de evaluación educativa.

En la década de los ´80, sólo Chile y México contaban con avances en la línea, dentro del área. Así, por ejemplo, en el caso de México, “en el período 1976-1982 (…) se realizó la primera evaluación con representatividad nacional a muestras de escuelas: evaluación del rendimiento de los alumnos de cuarto y quinto grado de educación primaria” (Martínez, 1994: 27).

Como explica V. Arencibia, en la región latinoamericana, con anterioridad a la creación de los sistemas nacionales de evaluación sólo “(…) se habían registrado evaluaciones (…) limitadas y específicas y (que) eran utilizadas para la promoción y el acceso a niveles educacionales superiores”. (Arencibia, 1997: 12) Sin embargo, ya a inicios de los ´90 se apreció un desarrollo vertiginoso de la evaluación de la calidad de la educación en el área.

Como han señalado (Ravela et al., 2006: 53): “(…) a partir de 1992, al menos veinte países de América Latina y el Caribe pusieron en funcionamiento algún tipo de sistema nacional de evaluación de aprendizajes”.

Si bien, en esos primeros años aún algunos de estos países de avanzada en la línea (Chile, Costa Rica, México y Colombia), no habían “(…) incorporado adecuadamente la investigación a las evaluaciones y pruebas” (Wolff et al., 1992: 27), lo cierto es que en poco tiempo el accionar evaluativo comenzó a alcanzar niveles considerables de profesionalización.

72

Un ejemplo de ello fue el paso a la Teoría de Respuesta al Ítem (TRI) por Brasil, ya en 1997, seguido de Chile y Argentina, dos años después, y por Perú, en el 2000 (Ravela, 2006: 204). También habla a favor de ese criterio la extensión de la evaluación, en fecha tan temprana como 1994, al estudio de factores asociados al aprendizaje (referidos a familiares, directivos y docentes), y no sólo del rendimiento cognitivo de los estudiantes, en varios países de la región. (REPLAD, 1994) Parecen ya superadas esas primeras etapas donde los nacientes sistemas nacionales de evaluación educativa latinoamericanos se debatían entre diagnóstico y acreditación (a través de pruebas de rendimiento cognitivo) o producción de información para la mejora del Sistema Educativo (mediante el análisis del estado del aprendizaje y de los factores asociados al mismo), como ha explicado (Lanza, 1996); o lo que es lo mismo, entre medición o evaluación.

Aún cuando el término sistemas de evaluación educativa se ha generalizado en la región para referirse al trabajo en evaluación de instituciones nacionales, en la literatura especializada no se define ni se caracteriza ese concepto.

Más bien parece que, inconscientemente, se ha estado operando con la expresión por analogía con el término Sistema Nacional de Educación, sin que quede explícito por qué se considera que los elementos que lo integran constituyen un sistema.

En cuanto a los ámbitos o áreas sujetas a evaluación por esas entidades, la literatura muestra coincidencia en torno a una visión holística del objeto de estudio, en tanto debe reflejar diversos componentes del sistema educativo nacional. Algunos de los criterios registrados son los siguientes: “(…) los sistemas nacionales de evaluación debieran (…) proveer información del sistema como un todo, no acerca de los estudiantes individuales”. (Arencibia, 1997: 8) “La evaluación de la calidad de la educación es definida como una tarea que compromete al conjunto del sistema educativo, sin reducirse a los rendimientos escolares“. (Delgado, 1995: 4)

73

“(…) Si bien el sistema de evaluación se inicia con la medición de los aprendizajes, se observa inquietud por no reducir la actividad a una mera medición y por involucrar la comprensión del contexto”.

(Martínez, 1994: 28) “Si bien la medición de los dominios cognoscitivos es un primer paso, es necesario explorar los otros dominios (…) donde radican los factores que determinan los resultados”. (Casasuss, 1995: 19) “(…) la construcción de índices socio-económicos o socio-culturales constituye una práctica habitual en los proyectos de evaluación de centros escolares o de sistemas educativos emprendidos en diferentes países”. (Tiana, 2000: 8) “Si la pretensión de los sistemas nacionales de evaluación es la de elevar la calidad de los sistemas educativos, resulta entonces un error constreñir ésta a la evaluación de los alumnos (…) Esta situación hace evidente la necesidad creciente de mover el énfasis de estas evaluaciones hacia variables de proceso e insumo, con lo cual se podrían formular hipótesis explicativas más precisas (….)”.

(Valdés, 1999: 19) Sin embargo, entre las numerosas obras consultadas no se aprecia una tendencia a la explicación de las variables consideradas por los sistemas de evaluación educativa para el desarrollo de sus eventos evaluativos; particularmente ambiguo resulta, en ese sentido, el término factores asociados al aprendizaje, también bastante difundido en la región. Algo similar ocurre con la descripción de los instrumentos de evaluación empleados; en todo caso, las mejor caracterizadas son las pruebas de rendimiento cognitivo que invariablemente utilizan, toda vez que sigue siendo este ámbito el mayoritariamente explorado.

Con respecto a las metodologías de evaluación empleadas, tampoco se reporta mucha información explícita. Se supone que subsista un predominio de las técnicas de la investigación cuantitativa, a juzgar por el papel central que la evaluación del rendimiento cognitivo ocupa. Sin embargo, prestigiosos autores han llamado la atención sobre la necesidad de superar los inferiores niveles de trabajo descriptivo.

74

Así se tiene que, por ejemplo, H. Valdés reclama: “(…) una aplicación de evaluaciones que ponga un mayor énfasis en lo explicativo, donde se utilicen métodos multivariados (…) y entrevistas de grupos focales (…) de manera no contrapuesta sino buscando una real complementariedad (…)” (Valdés, 1999: 21).

Mientras que L. Wolff, R. Horn y E. Vélez alertan que: “(…) las evaluaciones son una gran riqueza y es posible sacar mayor provecho de ellas si se vinculan con un programa de investigación amplio y completo” (Wolff et al., 1992: 31).

Otra cuestión importante es el aspecto de la pertinencia de los resultados de la evaluación desarrollada por los llamados sistemas nacionales de evaluación educativa. En relación con ella, P. Ravela ha sido especialmente crítico. Al respecto ha señalado: “(…) los ranking en general (…) no reflejan calidad educativa (…) porque en la mayor parte de los casos no va acompañada por otro tipo de información que ayude al lector a comprender más cabalmente lo que fue evaluado y lo que los resultados significan.

La gran ausente (…) es la información sobre lo que saben hacer y qué no saben hacer los estudiantes (…) cuáles son los conocimientos y capacidades que se esperan alcancen los alumnos en diferentes etapas de su escolaridad y en qué grado lo están logrando”. (Ravela, 2006: 341) En todo caso, a lo que se aspira con un programa de evaluación educativa nacional son acciones de mayor alcance, como: “(…) diseñar políticas concretas de intervención compensatorias, (…) fortalecer (…) la gestión escolar, mejorar el ejercicio profesional de los docentes, elevar la participación de la familia (…), colocar el tema de la calidad de la educación en el centro de la agenda nacional”. (Ravela, 1994:9) En cuanto a propuestas de planes de resultados no se aprecia en la literatura especializada referencias, ni explícitas ni implícitas, con lo cual se acentúa la incertidumbre en torno al real significado del término sistema evaluativo para la región.

75

Ahora bien, este Estado del Arte quedaría incompleto si no le incorpora, al menos sucintamente, lo acaecido en el caso de Cuba.

En ese sentido se puede decir que, a partir de la implantación del perfeccionamiento del Sistema Nacional de Educación, en el período 1972-1981, se pusieron en práctica algunos mecanismos para iniciar un proceso continuo de monitoreo y evaluación de los resultados de las medidas aplicadas en esa reforma educativa y su efecto en la elevación de la calidad educativa.

En abril de 1994, la dirección del Instituto Central de Ciencia Pedagógicas, propuso crear un sistema de evaluación educativa en Cuba. Se comenzaron de inmediato a esbozar las primeras ideas con la participación de metodólogos de la dirección de Ciencia y Técnica.

En agosto de 1995, el investigador H. Valdés fue nombrado Coordinador Nacional del Laboratorio Latinoamericano de de la Evaluación de la Calidad de la Educación (LLECE). La inserción del país en este Laboratorio influyó, de forma decisiva en la creación de un sistema evaluativo nacional, desde entonces conocido como Sistema (Cubano) de Evaluación de la Calidad de la Educación (SECE).

Una primera versión de SECE se elaboró en el período 1996-1999, a partir de la tesis de maestría defendida por H. Valdés; en ella se sentaron las bases de las concepciones teóricas de la calidad de la educación y su evaluación, las que fueron después plasmadas en el libro “La evaluación de la Calidad en la Educación Básica” (ValdésPérez, 1999).

En esa obra los autores esbozaron una propuesta de Sistema de Evaluación de la Calidad de la Educación (SECE) para el país, sobre la base de cuatro criterios:

Carácter universal de la educación.

Unidad entre enseñanza y educación.

La institución escolar, la familia y la comunidad-sociedad como ámbitos de la educación.

Integración de variables-proceso y variables-resultado. (ValdésPérez; 1999: 16)

76

También se pautaron las fases por las que, a criterio de esos autores, debería conducirse el proceso evaluador: Definición del plan o diseño de evaluación.

Recogida sistemática de datos.

Análisis de los datos recogidos.

Valoración de la información obtenida.

Redacción del informe de conclusiones.

Toma de decisiones. (Valdés-Pérez; 1999: 9) Esa primera propuesta de SECE estaba constituida por 8 ámbitos, 59 variables y 11 instrumentos de evaluación: un conjunto de pruebas de conocimiento y otra sobre actualización política, una encuesta de opiniones profesionales, una guía de observación de actividades, un test de orientaciones valorativas, un expediente de escuelas y cinco cuestionarios (a directores, a padres, a docentes, a estudiantes y a directivos de instituciones comunitarias) (Valdés-Pérez; 1999: 4148).

Para conformar esos instrumentos de evaluación, los autores definieron dos grupos de variables: las incidentes o de proceso y las de producto, como se puede apreciar en la Tabla 15, En la obra no aparecen referencias explícitas a la decisión de no asumir las variables de contexto y de entrada. La tabla siguiente las resume y asocia a los instrumentos de evaluación considerados: Tabla 15 Variables e instrumentos de la primera versión Variables • Proceso docenteeducativo.

Variables incidentes o de proceso

• Institución escolar.

• Gestión educativa de la escuela.

Instrumentos • Cuestionario a maestros.

• Observación de actividades.

• Cuestionarios a alumnos.

• Ficha o expediente de la escuela.

• Cuestionarios a directores.

• Encuesta de opiniones

77

• Gestión de la comunidad.

• Eficiencia interna.

Variables de producto

• Desarrollo de la personalidad del alumno.

profesionales.

• Cuestionario a padres.

• Cuestionarios a directivos de instituciones comunitarias.

• Macro-indicadores educativos.

• Pruebas de conocimientos.

• Prueba sobre actualización política.

• Test de orientaciones valorativas.

Cont. Tabla15

Una segunda versión de SECE se produjo, en este caso con rango de Proyecto de Investigación Asociado a un Programa Ramal, a principios de la década actual, bajo la dirección de L. Campistrous, quien fungió a su vez como Jefe del Programa Ramal homónimo.

La propuesta asumía iguales presupuestos de partida que la anterior (Valdés et al., 2002: 2-10). Las variaciones con respecto a la precedente radicaban en dos aspectos fundamentales: Consideración de nuevos ámbitos de evaluación.

El hecho de proponerse alcanzarlos de una manera gradual, por etapas.

En la primera fase se cubrirían sólo tres componentes: Aprendizaje y formación de los estudiantes.

Eficiencia interna.

Externa del sistema y la dirección del proceso educativos en los centros.

Posteriormente se agregarían otros ámbitos: Evaluación del desempeño profesional del docente.

De la familia y la comunidad.

Evaluación institucional. (Valdés et. al., 2002: 11)

78

En correspondencia con la consideración de más ámbitos de evaluación, en esta segunda variante de SECE se proyectaron nuevos instrumentos de evaluación: Encuesta socio-educativa. sendas guías de observación de clases y de escuela, y Registro de control de indicadores de eficiencia interna del sistema nacional.

Otro elemento novedoso de este nuevo proyecto fue la construcción de índices educativos para orientar el trabajo de perfeccionamiento, uno denominado Índice General Integral (Campistrous et al., 2001b) y otro llamado Índice Socio-educativo. (Campistrous et al., 2001c) Para el primero se tomaron datos de diferentes fuentes de control y evaluación del Sistema Educativo Nacional, con centro en los resultados del V Operativo Nacional de Evaluación de la Calidad de la Educación (Campistrous et. al., 2001a); se utilizó la técnica de consulta a expertos y el método estadístico de Análisis factorial. (Ver Fig. 9)

79

Índices de las dimensiones Dimensiones ponderadas por criterio de expertos 6 4 2

Índices

0 -2

ISLA

STGO.

HLGUIN.

GRANMA

L.TUNAS

CMAGUEY

C.AVILA

S.SPITUS

V.CLARA

CFUEGOS

MTANZAS

C.HABANA

PINAR

HABANA

-6

GTMO.

-4 Eficiencia Aprendizaje Profesores Inspección Operativo

Provincias Gráfico 1

Fig. 9 Obtención del Índice integral general

En el caso de la construcción del Índice Socio-educativo se trabajó con los numerosos datos que proporcionó la encuesta socioeducativa aplicada en el contexto del V Operativo Nacional de Evaluación de la Calidad de la Educación, en la que se consideraron tres grandes dimensiones: Dimensión escolar.

Dimensión socio-moral.

Dimensión sociopolítica.

El procesamiento estadístico se realizó, primero, a nivel descriptivo y, después, con el empleo del método de Análisis Factorial. (Ver Fig. 10)

80

INDICE EDUCATIVO POR PROVINCIAS 156

152

INDICE

148

144

140

136

132 Pinar C. Haban Villa Cl S.Spírit Camaguey Holguín Santiago Isla Habana Matanzas Cienfueg Ciego Las tuna Granma Guantána PROVINCIAS GRAFICO

Fig.10 Obtención del índice integral de la dimensión escolar

Otra característica importante de esta segunda versión de SECE para Cuba fue la creación de estructuras territoriales de apoyo al SECE: los Grupos provinciales y municipales de calidad.

La instauración de estas estructuras por el Ministerio de Educación, a solicitud de la Comisión Nacional de Evaluación de la Calidad de la Educación, en noviembre de 2000, tuvo como propósitos fundamentales: “(…) centrar el trabajo de la evaluación de la calidad del Sistema en las provincias, coadyuvar junto a la Comisión Nacional a la implantación del Sistema Nacional, asegurar el funcionamiento del sistema a nivel de provincia y la interpretación de resultados a este nivel; así (como) garantizar a la Dirección del Ministerio la confiabilidad y validez de los resultados provinciales”.

(MINED, 2000) Estas comisiones estuvieron inicialmente subordinadas a los directores provinciales de educación, y la integraban tanto metodólogos de esa instancia, como profesores de los institutos superiores pedagógicos. Originalmente, sus funciones fueron:

Organizar en la provincia los Operativos Nacionales y cooperar con el Grupo Nacional en su realización.

81

Contribuir al procesamiento de los datos provinciales y utilizarlos para realizar inferencias sobre la situación de la provincia y las diferencias entre los municipios.

Elaborar bancos de ítems para contribuir a la ampliación del banco nacional.

Prepararse para realizar la auto-evaluación de la provincia en el futuro.

Durante la reunión con los jefes provinciales de los Grupos de Evaluación de la Calidad de la Educación, celebrada en junio del 2001, se hizo visible la necesidad de ampliar sus funciones y se le plantearon, además las siguientes tareas a las provincias:

Asumir encargos de los proyectos del Programa Ramal Calidad de la Educación, teniendo en cuenta el potencial científico y líneas de investigación que han venido trabajando relacionadas con el proyecto.

Procesar la información correspondiente a su provincia de la Base de Datos entregada, donde además aparecen los resultados nacionales.

A partir de sus resultados, proyectar estudios de profundización utilizando diferentes métodos, entre ellos cualitativos, que les permitan hacer una aproximación de cuáles son las causas que provocan el bajo aprendizaje de los alumnos; para ello pueden seleccionar escuelas de resultados extremos.

Confeccionar Bancos de Preguntas con los distractores correspondientes, en las cuatro asignaturas evaluadas que permitan en futuros Operativos tener la base necesaria para la selección de preguntas.

Enviar al ICCP los nombres de los miembros de los grupos provinciales y sus respectivos correos electrónicos y facilitar las comunicaciones entre ellos y el Grupo Nacional.

Ante la exigencia de revitalizar el trabajo de las referidas comisiones se le solicitó a las estructuras de dirección provinciales, en octubre de 2003, atender un grupo de requerimientos, dirigidos

82

fundamentalmente a la elevación de la superación profesional de esos colectivos y de su protagonismo en la aplicación de comprobaciones de conocimientos y en las evaluaciones de los Operativos Nacionales de Evaluación de la Calidad de la Educación.

Otro importante momento del trabajo de estos Grupos lo constituyó el cumplimiento de las indicaciones derivadas de las RM 106/04 y 04/05, en el curso 2004-2005, en lo referido a la dirección científico-metodológica y en el control del aprendizaje, en apoyo a las comisiones nacionales y territoriales de asignaturas priorizadas.

Desde el 2004 se ha venido realizando anualmente SeminarioTalleres a representantes de los Grupos Provinciales, por parte del Grupo de Evaluación de la Calidad de la Educación del ICCP, con vistas a elevar la preparación técnica de sus miembros y debatir aspectos importantes de la labor de esos grupos de trabajo del MINED. Derivado de los mismos, se transmitió al Grupo Nacional de calidad, del MINED, la necesidad de reconsiderar las funciones y precisar la estructura de dichos Grupos Provinciales, de acuerdo con las exigencias actuales del trabajo, quedando establecidas las siguientes funciones a partir del 2006:

Apoyar la organización y ejecución en las provincias los Operativos Nacionales, cooperando con los Orientadores Nacionales en su realización.

Realizar el procesamiento de los datos provinciales derivados de los Operativos Nacionales, utilizarlos para realizar inferencias sobre la situación de la provincia y confeccionar un Informe provincial con el análisis de los mismos, el que presentarán al Consejo de Dirección Integrado en los días subsiguientes a la conclusión de los Operativos.

Efectuar eventos evaluativos similares a instancia provincial y municipal, previo encargo del Consejo de Dirección Integrado Provincial.

Organizar, procesar y enviar al ICCP el parte trimestral de enseñanza y aprendizaje, establecido en base a las RM 106/04 y

83

04/05 y a las precisiones para evaluar el proceso de enseñanzaaprendizaje del ICCP, la DFPPP y las Direcciones Nacionales de las diferentes educaciones, del 06.11.04.

Sistematizar los resultados de evaluaciones académicas y formativas en los territorios, identificar regularidades y recomendar a las comisiones de asignaturas territoriales, a los subdirectores provinciales de las diferentes educaciones y al Consejo de Dirección Integrado Provincial, asignaturas, temas del contenido escolar y de la formación ideo-política y axiológica de los estudiantes e instituciones educativas donde realizar estudios de profundización, entrenamientos (…) o visitas especializadas, con vistas a elevar la calidad de la educación en el territorio.

Elaborar bancos de ítems para contribuir a la ampliación del banco nacional de las asignaturas priorizadas.

Ejecutar las actividades encargadas en el contexto de la construcción del Sistema de Evaluación de la Calidad de la Educación (SECE).

Asistir a los Seminario-Talleres Nacionales convocados por el ICCP para el perfeccionamiento del trabajo territorial en el área de la evaluación de la calidad de la educación.

Estas estructuras de apoyo territorial constituyen, hoy en día, un poderoso instrumento para perfeccionar la línea de la Evaluación de la Calidad de la Educación en el país.

Articulación de un Sistema Cubano de Evaluación Educativa Como se ha señalado, tanto en Latinoamérica como en Cuba se ha hecho evidente la necesidad de concebir sistemas nacionales de evaluación y que estos abarquen el rendimiento cognitivo y factores asociados a éste. Sin embargo, no ha quedado explícito el significado del término sistema evaluativo; es decir, el por qué se considera que los elementos que lo integran constituyen un sistema.

Es por ello imprescindible hacer algunas reflexiones iniciales acerca del concepto de sistema.

84

En el Diccionario de Filosofía, se define sistema en los siguientes términos: “Conjunto de elementos que tienen relaciones y conexiones entre sí y que forman una determinada integridad, unidad“. (Editorial Progreso; 1984: 395); definición que es muy próxima a la de los autores (Rosental-Iudin, 1981: 426), quienes establecen que un sistema es “(un) conjunto de elementos relacionados entre sí que constituyen una determinada formación íntegra”.

No muy diferente se define este concepto en los diccionarios generales. Por ejemplo, en (Larousse, 2000: 927) se establece que un sistema es un “conjunto de elementos interrelacionados entre los que existe una cohesión y una unidad de propósitos”. Mientras que en (Microsoft Encarta, 1993-2005) se señala que es un “conjunto de cosas que relacionadas entre sí ordenadamente contribuyen a determinado objeto”. Por su parte, (Antillana, 2003: 1279) plantea que es un “conjunto ordenado de elementos diferenciados cuya interrelación e interacción supone una función global”.

De modo que pueden destacarse como características esenciales de este concepto los rasgos de: conjunto de elementos, interrelación y propósito común”. En otras palabras, las partes por separado no forman sistema; tampoco lo logran las partes orientadas hacia fines diferentes.

Siguiendo esta línea, (Valiente-Guerra, 2008: 31) consideran que un sistema (nacional) de evaluación educativa puede ser considerado “(…) un dispositivo administrativo para la conducción del sistema educativo. Su función es ofrecer información sobre los resultados de la educación, el funcionamiento de distintos niveles del sistema, las condiciones que afectan los procesos en las distintas instancias y el aporte de distintos actores. Esto con el propósito de definir las políticas educativas, orientar el desarrollo de planes de mejoramiento y rendir cuentas sobre la respuesta del sistema a las demandas de la sociedad”.

85

En consecuencia, y considerando además el concepto de Evaluación Educativa (Valdés, 2005: 15)7 y el modelo de evaluación asumidos, puede definirse como Sistema (cubano) de Evaluación Educativa al conjunto de metodologías de evaluación educativa que conectan entre sí con el propósito de diagnosticar y valorar el funcionamiento de un Sistema Educativo Nacional y, sobre la base de lo anterior, contribuir a su perfeccionamiento.

De esta definición se desprende que el fin de un Sistema de Evaluación Educativa es, en última instancia, favorecer el mejoramiento del servicio educativo. Puesto que lo hace apoyado en metodologías de evaluación de ámbitos del mismo, su contribución al perfeccionamiento del sistema educativo se realiza sobre la base del empleo de recursos de la investigación educativa, con el consiguiente fortalecimiento de la objetividad de los resultados evaluativos que se obtienen.

Como se está hablando de un sistema evaluativo nacional es obvio que el contexto en que se intenta instaurar juega un importante papel; en consecuencia, se ha de orientar no sólo por la teoría general de la Evaluación Educativa, sino además por las condiciones histórico-concretas del país.

En consecuencia, en el caso de Cuba, se han establecido los siguientes principios para el establecimiento del sistema de evaluación de la calidad de la educación: Principio de la unidad de la precisión y la factibilidad de las metodologías de evaluación: Esto es, la elaboración de metodologías, de instrumentos e indicadores obtenidos de acuerdo con los requisitos de la 7

“Por Evaluación de la Calidad de la Educación entendemos el proceso sistemático de recogida de datos incorporado al sistema general de actuación educativa, que permite obtener información válida y fiable sobre cada una de las variables de contexto, insumo, proceso y producto que integran la definición operacional asumida en el país, región o institución educativa de que se trate. La información así obtenida se utilizará para emitir juicios de valor acerca del estado de la calida educativa, los que constituyen puntos de partida para la toma de decisiones para mejorar la actividad educativa valorada”.

86

investigación científica (especialmente la validez y la confiabilidad de los instrumentos a emplear), pero a la vez ajustados a una razonable racionalización de los recursos materiales, financieros y humanos disponibles (Valdés-Pérez, 1999: 72) (Torres et. al., 2006: 51) (Torres-Galdós, 2007: 48-49).

Principio de la participación masiva de los agentes educativos en la evaluación: Es de gran importancia Operativos Nacionales profundización), como la co-evaluaciones) (ICCP, (Torres, 2007: 5).

la evaluación externa (en términos de y sus correspondientes estudios de evaluación interna (auto-evaluaciones y 2006: 1) (Torres-Galdós, 2007: 49)

Principio del carácter gradual de la evaluación educativa: Se tiene en cuenta tanto la evaluación inicial, como procesal y final. En la primera se implican los claustros de las instituciones docentes, en la segunda los Grupos Municipales de Evaluación de la Calidad y en la tercera los Orientadores Nacionales y Territoriales y los Grupos Provinciales de Evaluación de la Calidad de la Educación (Valdés-Pérez, 1999: 72) (Torres-Galdós, 2007: 38) (Torres, 2007: 5).

Principio de la unidad de la evaluación de variables-producto y variables-exploratorias: Al evaluar se deben recolectar datos, tanto del comportamiento de variables-producto esenciales (como el aprendizaje y las orientaciones valorativas), como de variables-exploratorias (de contexto, de entrada y de proceso) que, al ser cruzadas estadísticamente con las primeras permiten estimar el impacto de las segundas con relación a aquellas (Torres, 2007: 5).

Principio de la unidad de la evaluación de la investigación cuantitativa y la cualitativa: La evaluación debe devolver rápidamente un grupo de datos esenciales, en cuya captura y procesamiento predominará el empleo de técnicas de la investigación cuantitativa, pero además debe complementarse con estudios de profundización donde

87

intervendrán recursos y técnicas de la investigación cualitativa; estos últimos serán ejecutados por equipos de investigación territoriales, organizados en Proyectos de Investigación Asociados al Programa Ramal y extenderá su responsabilidad hasta la producción de propuestas educativas y didácticas especialmente diseñadas para contrarrestar las principales deficiencias cognitivas y formativas detectadas. (Torres, 2007: 5) Esclarecidas sus metas y principios orientadores, corresponde ahora precisar el contenido del referido Sistema (cubano) de Evaluación Educativa. Puesto que, como se ha sustentado con anterioridad, la Evaluación de la Calidad de la Educación no debe limitarse a la medición de variables-producto (como el aprendizaje); debe también “(tratar) de identificar (…) las posibles causas de las imperfecciones detectadas en la práctica”. (Valdés-Pérez, 1999: 14) Como actividad investigativa comprometida con el perfeccionamiento, la Evaluación Educativa debe estudiar a las variables-explicativas (por ejemplo, los procedimientos de enseñanza más frecuentemente empleados, las valoraciones acerca del funcionamiento del centro escolar, las relaciones interpersonales, el apoyo familiar, etc.) con igual rigor metodológico con que lo hace con las variables-producto.

Es así que se ha asumido como contenido de la Evaluación Educativa en Cuba seis ámbitos trascendentales del sistema nacional de educación: Aprendizaje de los estudiantes (en representación de la esfera cognitiva).

Formación de valores morales (en representación de la esfera afectivo-volitiva de su personalidad).

Desempeño profesional de los docentes.

Desempeño profesional de los directores.

Funcionamiento de las instituciones escolares.

Gestión educativa de la familia y la comunidad.

88

Un séptimo aspecto a tener e cuenta para realizar un análisis objetivo del funcionamiento del sistema educativo nacional es la consideración y análisis de importantes macro-indicadores de eficiencia interna y externa.

Los dos primeros constituyen variables de producto. Las otras son variables de contexto, entrada o proceso y operarían, desde la mirada del SECE, como variables que explican las primeras. (Ver Fig. 11)

E v a lu a c i ó n d e l d e s e m p e ñ o p r o f e s io n a l d e l d o c e n t e .

E v a lu a c i ó n d e l d e s e m p e ñ o p r o f e s io n a l d e lo s d ir e c t iv o s .

E v a lu a c i ó n a c a d é m ic a y f o r m a t iv a d e lo s a lu m n o s .

E v a lu a c i ó n I n s t it u c io n a l.

I n d ic a d o r e s f u n d a m e n t a le s d e l S is t e m a E d u c a t iv o N a c io n a l.

V A R IA B LES E X P LIC A T IV A S

V A R IA B LES EX P LICA D A S

E v a lu a c i ó n d e l d e s e m p e ñ o e d u c a t iv o d e la f a m ilia y la c o m u n id a d .

Fig. 11 Ámbitos del Sistema Cubano de Evaluación Educativa

Ahora bien, si compleja es la medición de variables-producto de la actividad educativa (como el aprendizaje y la formación axiológica de los estudiantes), difícil y laboriosa resulta la evaluación de esas variables-explicativas.

El proceso docente-educativo es multifactorial, luego el número de variables explicativas a considerar es elevado. Ello plantea el dilema, particularmente trascendente para el país, de conjugar precisión científica con factibilidad económica y financiera.

89

Una solución adecuada a esa contradicción sería la de jerarquizar el peso de esas muchas variables-explicativas sobre las variablesproducto principales para ordenar su eventual inclusión en instrumentos de evaluación. Las variables de mayor peso así obtenidas, pueden denominarse variables-explicativas principales.

Pero, como se conoce, para realizar el proceso evaluativo no basta con disponer de indicadores apropiados sobre el objeto o fenómeno a valorar, también resulta importante el diseño y administración de los instrumentos de investigación que los contenga y una metodología que oriente su administración. Aquí también es válido el intento de racionalización, potenciando la utilización de las entrevistas (individuales y grupales) y la observación en sustitución de las costosas encuestas. Con relación a esta última técnica cabe alertar también su potencial influencia negativa sobre la precisión de la evaluación, toda vez que se ha hecho una tendencia en este tipo de instrumento el responder de acuerdo con el deber ser.

Así como se ha hablado de cuidar la utilidad, la factibilidad y la precisión en los instrumentos de la Evaluación educativa (OEI, 2006), es necesario preservar también la legitimidad de los mismos; es decir, su capacidad de no lesionar a los agentes educativos evaluados durante su aplicación. Con estas últimas reflexiones se ha pretendido explicar, en lo fundamental, el cómo evaluar en educación.

Evidentemente, este reclamado intento de investigar también las variables-explicativas principales sugiere que la Evaluación educativa no debe limitarse a un acto evaluativo de corta duración, como sucede con los Operativos Nacionales de Evaluación de la Calidad de la Educación. Se impone un proceso relativamente prolongado de evaluación (sistemático, se plantea en la definición-marco asumida).

En la literatura especializada se sugieren, de acuerdo con el momento en que se realizan, tres tipos de evaluaciones: una inicial, otra procesal y una final (Casanova, 1992: 47) (OEI, 2006). La Evaluación Educativa en el país debiera alcanzar los tres momentos señalados. Claro que esta declaración acerca de cuándo evaluar está sujeta a la disponibilidad de agentes evaluadores.

90

Como se conoce, se ha hecho un gran esfuerzo por constituir Grupos provinciales y municipales de evaluación de la calidad de la educación; los primeros visiblemente fortalecidos, los segundos aún por completar y desarrollar, pero todos con posibilidades de realizar una considerable contribución a la evaluación de tipo procesal y final, en términos de estudios de profundización de evaluaciones provinciales y nacionales. Queda pendiente encaminar a la evaluación inicial.

Lo adecuado parece ser, siguiendo también lo declarado en (ValdésPérez, 1999: 71-72) e (ICCP, 2006: 1), implicar a los agentes educativos “de base” (docentes y directivos de escuela) también en la evaluación; de lo que se trata es de desarrollar “una cultura de la evaluación educativa”.

De ese modo, y siguiendo también a (Casanova, 1992: 40-51), junto a (Bolívar; 1994, pp.2-6) (Escudero; 1997, pp.2-24) (Escudero; 2003; pp.21-25) y (Grupo Editorial Océano; 2001, pp.571-575), pudiera hablarse de una clasificación de la Evaluación Educativa atendiendo a los agentes que la conducen: evaluación externa y evaluación interna (en forma de auto-evaluación y co-evaluación).

Se está reflexionando aquí en torno a con quién evaluar la Calidad Educativa.

Si se combinan las clasificaciones de cuándo y con quién efectuar la Evaluación Educativa, entonces podría diseñarse un proceso de autoevaluación (hacia el interior de las escuelas o de comunidades) hacia el inicio del curso y de co-evaluación (con intercambios de equipos evaluadores de escuelas o de una misma comunidad) hacia mediados de curso, para cerrar el mismo con una evaluación externa centrada en la realización del Operativo Nacional y de estudios de profundización (ejecutados por los equipos provinciales de Evaluación de la Calidad de la Educación).

Este último proceso debe acompañarse de estudios de profundización a ejecutar por los Proyectos de Investigación asociados al Programa Ramal. Estos pudieran ser estudios transversales (o sea, tratando de penetrar en los resultados del último Operativo Nacional), en los que debieran predominar el empleo de técnicas de la investigación cualitativa (observación participante, entrevista a profundidad,

91

grupos focales, estudios de casos, etc.), con vistas a detectar estrategias de aprendizaje y formación axiológica exitosas, así como “obstáculos epistemológicos” de los contenidos escolares evaluados, entre otros aspectos, y producir propuestas educativas y metodológicas que los contrarrestan (guías de ejercicios, otros materiales didácticos y formativos, software educativos, guiones de video-clases, etc.).

También serían deseables y útiles estudios longitudinales (es decir; utilizando datos de varios Operativos Nacionales), con vistas a identificar regularidades, errores cognitivos frecuentes, etc., y generar productos educativos similares a los arriba señalados.

En resumen, la representación proyectiva que se tiene de esta nueva versión de Sistema Cubano de Evaluación de la Calidad de la Educación es la siguiente: Tabla 16 Organización del Sistema Cubano de Evaluación Educativa CUÁNDO:

• Al comienzo de un período evaluativo.

(Inicial)

• A mediados de un período evaluativo.

(Procesal)

CÓMO:

• Aplicación de las

Metodologías de Evaluación para los ámbitos: alumnos, docentes, directivos, escuelas, familias y comunidad.

• Indicadores de Eficiencia Interna y Externa del Sistema Nacional de Educación.

• Cumplimiento de las • Al concluir un

período evaluativo. (Final)

normas de utilidad, precisión, factibilidad y legitimidad.

• Estudios transversales y longitudinales de profundización.

92

CON QUIÉN: • Con evaluadores del propio centro. (Autoevaluación) • Con especialistas de otro centro cercano y el GMEC. (Co-evaluación) • Con Orientadores Nacionales y Territoriales y el Grupo Provincial de Evaluación de la Calidad (GPEC).

(Evaluación Externa) Proyectos de Investigación asociados al PR.

Coincidiendo con (Valdés-Pérez; 1999: 73) y (Valdés et. al., 2002: 11), es previsible que semejante empresa no se podrá ejecutar en un breve plazo, requerirá de mucho esfuerzo organizativo, una sostenida capacitación y, sobre todo, de una prolongada generación de resultados concretos y tangibles.

De hecho, hasta el presente el SECE se encuentra en fase de construcción. En los epígrafes anteriores se mostraron tres metodologías de evaluación, en lo fundamental, concluidas e introducidas parcialmente en la práctica educativa8. En las restantes se trabaja intensamente por el ICCP, de conjunto con Institutos Superiores Pedagógicos seleccionados y se espera próximamente poderlas integrar, con vistas a instrumentar y validar el sistema.

Todo esto, sin olvidar que las metodologías de evaluación que se han estado creando, sus instrumentos e indicadores requieren de una repetida y prolongada validación práctica, en escenarios educativos diferentes (por ejemplo, contrastando territorios con cobertura docente aceptable y otros con situación crítica en ese indicador básico), con vistas a mostrar estabilidad en los resultados, requisito esencial de la confiabilidad de la investigación científica.

A pesar de no haberse concluido aún esta tercera versión de SECE, es posible mostrar un cúmulo de valiosas experiencias, tanto referidas a Resultados de Proyectos de Investigación Asociados al Programa Ramal de Evaluación de la Calidad de la Educación, como a estudios de profundización realizados por los Grupos provinciales de calidad.

En relación con las primeras, puede destacarse el conjunto de Resultados del año 2007, un resumen de los cuales se muestra a continuación en la Tabla 17.

8

Metodologías de evaluación del desempeño cognitivo de los estudiantes, del desempeño profesional de los docentes y del funcionamiento de las instituciones educativas.

93

Tabla 17 Resultados de Proyectos de Investigación Asociados al PR10 en 2007 Provincia

Proyecto de Investigación

Resultados

Pinar del Río

Evaluación de las causas esenciales y contextuales que inciden en las diferencias entre los centros que alcanzan altos y bajos resultados en el aprendizaje de los escolares de las educaciones primaria, secundaria básica, media superior de la provincia de Pinar del Río en los tópicos: magnitudes geométricas, procesamiento de información estadística y lingüística.

Informe sobre las causas de los altos o bajos resultados del aprendizaje en las secundarias básicas de la provincia de Pinar del Río.

Pinar del Río

Integración de los Entrenamientos Metodológicos Conjuntos al Sistema de Evaluación de la Calidad de la Educación: una propuesta para su concreción en la provincia de Pinar del Río.

Una propuesta parametrizada para desarrollar el proceso de integración contextualizado de la evaluación de la calidad y de los Entrenamiento Metodológico Conjunto.

Ciudad de La Habana

Principales causas de las insuficiencias en el aprendizaje y la formación de los alumnos.

Principales causas de las insuficiencias en el aprendizaje y la formación de los alumnos en Ciudad de La Habana.

CELEP

Propuesta de un sistema de evaluación de la calidad de la atención educativa a niños y niñas de 0 a 6 años

Sistema de evaluación de la calidad de la atención educativa validado en la práctica Fundamentación teórica de un Sistema Cubano de Evaluación de la Calidad de la Educación.

ICCP

Construcción de un Sistema Cubano de Evaluación de la Calidad de la Educación

Metodología de evaluación del desempeño académico del alumno.

Determinación de errores más frecuentes del aprendizaje de las asignaturas priorizadas de la formación general.

Metodología de evaluación del desempeño formativo del alumno.

Matanzas

94

Evaluación del aprendizaje de los niveles educacionales de primaria, secundaria básica y media en los tópicos: superior

Determinación de las causas que inciden en los bajos resultados del aprendizaje de los escolares en los diferentes niveles

comprensiónproducción de textos, trabajo con variables, diversidad, medición y leyes de las ciencias naturales, en la provincia de Matanzas.

educacionales Matanzas.

de

la

provincia

Villa Clara

Evaluación de la gestión educativa de la familia y la comunidad.

Caracterización de la calidad de la gestión educativa de la familia de los escolares de la secundaria básica y la comunidad donde está enclavada la escuela.

Villa Clara

Estudio de profundización en las condiciones determinantes del aprendizaje escolar.

Estudio de profundización de determinadas escuelas para penetrar en las causas de los problemas de aprendizaje y de la labor formativa.

Cienfuegos

Estudio de profundización de la calidad de la educación en la provincia Cienfuegos.

La evaluación de las estrategias de aprendizaje de los escolares.

Instrumentos y metodología para su aplicación.

Cienfuegos

La evaluación de instituciones universitarias de formación de docentes.

Diseño de estimadores, instrumentos y metodología para la evaluación de instituciones universitarias de formación de docentes.

Sancti Spíritus

Estudio de profundización para evaluar el desempeño de los alumnos en la provincia de Sancti Spíritus.

Ejercicios para evaluar los diferentes niveles de desempeño en las asignaturas Español y Matemática en la E G P L. Estudio de las causas que provocan los bajos niveles de desempeño de los alumnos.

Sancti Spíritus

Evaluación del desempeño profesional de docentes del ISP.

Metodología dirigida al proceso de evaluación de los docentes de los ISP.

Ciego de Ávila

Perfeccionamiento de la evolución de la calidad de la educación en la provincia Ciego de Ávila.

Compendio de ejercicios para evaluar la calidad del aprendizaje de los estudiantes de las diferentes educaciones en Ciego de Ávila.

Camagüey

Estudio de causas de dificultades en el aprendizaje la comprensión textual desde enfoque interdisciplinario Camagüey.

las de un en

Estudio de causas de las dificultades en el aprendizaje y evaluación de la comprensión textual desde un enfoque interdisciplinario en Camagüey.

Las Tunas

Evaluación de la Calidad de la

Estudios de profundización de las

95

Educación.

Holguín

Factores que ocasionan bajos resultados en el aprendizaje del Español y las Matemáticas en la provincia Holguín.

causas que originan los problemas de aprendizaje en la provincia de Las Tunas.

Software educativo para el maestro para dar atención a los bajos resultados de aprendizaje.

Sistematización acerca de los fundamentos teóricos y metodológicos generales acerca del cambio educativo, su dirección y evaluación.

Informe del proceso de implementación y los resultados de la validación del modelo para la evaluación integral de la calidad del proceso de dirección en los ISP. Informe del proceso de aplicación y validación del modelo de evaluación de la gestión de los recursos humanos académicos en los ISP.

Holguín

Evaluación de la Gestión Directiva

Sistema para evaluar la implementación de la Dirección Estratégica en los centros escolares.

Informe resumen de la aplicación y validación del sistema para evaluar la implementación de la Dirección Estratégica en los centros escolares.

Informe del proceso de aplicación y validación de la concepción para evaluar la dirección del proceso de cambio en las escuelas secundarias básicas.

Modelo para evaluar la dirección del cambio educativo en los institutos preuniversitarios.

Informe del proceso de aplicación y validación del modelo para evaluar la dirección del proceso de cambio en los institutos preuniversitarios.

96

Granma

Santiago Cuba

Santiago Cuba

de

de

Sistema de Evaluación de la Calidad: una vía en la inspección escolar.

Sistema de Evaluación de la Calidad: una vía en la inspección escolar.

Generalización del sistema para la evaluación de la gestión de los directivos.

Procedimientos para la evaluación de la gestión de los directivos.

Profundización en las causas de las dificultades en el aprendizaje de las asignaturas básicas en la provincia Santiago de Cuba

Orientaciones metodológicas en temáticas relacionadas con los dominios cognitivos más afectados.

Sistema de ejercicios correspondientes a los dominios cognitivos más afectados.

Cont. Tabla 17

En cuanto a los estudios de profundización realizados por Grupos Provinciales de Calidad, merece mención especial el efectuado a continuación del XII Operativo Nacional de Evaluación de la Calidad de la Educación, entre mayo y junio de 2007, acerca del impacto de factores asociados al aprendizaje sobre resultados de Matemática (Torres et al, 2008a), para lo cual se evaluaron las instituciones educativas y el desempeño profesional de docentes de la muestra.

En ese estudio participaron 11 centros de referencia provinciales de igual cantidad de territorios del país, representando a las educaciones: primaria (5), secundaria básica (3) y preuniversitaria (3) y abarcando, en total, 90 grupos docentes y 1794 estudiantes.

Los resultados se obtuvieron siguiendo primero un estudio univariado y posteriormente un estudio multivariado. En el caso del estudio univariado, las valoraciones finales se formularon contrastando las mediciones con la teoría pedagógica establecida; mientras que en el caso del estudio multivariado se utilizaron,

97

además, cruces estadísticos de variables, entre los que resalta el referido a los Modelos Jerárquicos Lineales (HLM).

El estudio de profundización realizado reveló afectaciones en dos direcciones de trabajo principales: el trabajo metodológico en las escuelas y la calidad de las clases impartidas.

En relación con el trabajo metodológico en las escuelas, saltan a la vista dificultades con: el rendimiento profesional de los docentes, el cumplimiento de exigencias didácticas y educativas en la planeación de las clases, la participación en reuniones colectivas, el desarrollo de debates pedagógicos en el centro y la conducción del trabajo docente-metodológico por el Director de la escuela.

Con respecto a la calidad de las clases impartidas, se aprecia deficiencias con: la utilización del contenido con diferentes niveles de desempeño cognitivo, la exigencia en la corrección de conceptos, juicios y razonamientos, el tratamiento de los componentes de la Didáctica, el tiempo para la retroalimentación y el repaso con los estudiantes y el desarrollo del pensamiento de los escolares.

El estudio multinivel (HLM), apreciable en la Tabla 18, mostró el considerable impacto de determinadas variables explicativas sobre los resultados del aprendizaje de la disciplina seleccionada; ellas son: el nivel de desempeño cognitivo en la asignatura, el criterio del docente sobre el rendimiento de sus estudiantes, la preparación política del profesor, el asumir las dificultades educativas de sus estudiantes como propias e impartir clases con ajuste a las exigencias del contenido.

98

Tabla 18 Resultados de estudio multinivel (HLM) Matemática Nivel

Estudiante

Aula

Escuela

Factores asociados

Modelo nulo

Constante

Modelo final 23,408

Nivel de desempeño cognitivo

11,792

11,048

Criterio del docente

-3,267

Preparación política

2,442

Asumir las dificultades como propias

1,751

Ajuste a las exigencias del contenido

Varianza entre escuelas.

Varianza al interior de las escuelas.

Proporción de la varianza diferencias entre escuelas.

atribuida

a

Proporción explicada de las diferencias entre escuelas.

19,782 102,827

54,071

90,528

82,798

53,2% 39,50%

Otra importante revelación de esa investigación fue la situación no favorable de la mayoría de los Centros de Referencia al momento de ser estudiados; de manera, que los resultados del aprendizaje no serían superiores, en muchos de ellos, de no modificarse el estado de su funcionamiento general.

99

Fig.12 Gráfico de residuos del rendimiento medio en Matemática

Por último, cabe recordar que la implementación de un sistema (nacional) de evaluación educativa está estrechamente vinculada al fomento de una cultura evaluativa, no sólo entre los miembros de la comunidad científica de evaluadores educativos, sino entre distintos agentes del Sistema Nacional de Educación. También en esa dirección se trabaja intensamente. En ese sentido, se dispone ya de una Lista de Discusión de alcance nacional (pr-l@listas.rimed.cu) con más de un centenar de suscriptores y un sitio-Web con copiosa información sobre esta línea de investigación (http://ftp.rimed.cu/ICCP/PR), que incluye una biblioteca virtual en construcción. (Ver Fig. 13) La misma incluye los siguientes aspectos: Teoría General de la Evaluación Educativa.

Docimología.

Evaluación del desempeño cognitivo del alumno.

Evaluación de la formación de valores morales en los alumnos.

100

Evaluación del desempeño profesional del docente.

Evaluación del desempeño profesional del director.

Evaluación Institucional.

Evaluación de la gestión educativa de la familia y la comunidad.

Indicadores Educativos Nacionales.

Diseño de Base de Datos para Evaluación Educativa.

Estadística aplicada a la Evaluación Educativa.

Fig.13 Biblioteca virtual en el sitio-Web del PR10

101

Conclusiones Con el presente curso se ha querido explicar las acciones que, por espacio de más de doce años, se han venido realizando en el país para conformar un Sistema Cubano de Evaluación de la Calidad de la Educación. Para orientar el avance final hacia semejante empeño ha sido necesario realizar un profundo estudio de la teoría general de la Evaluación de la Calidad de la Educación y de las principales experiencias internacionales y nacionales en el campo de la Evaluación Educativa.

En relación con lo primero, se han esclarecido conceptos claves, como el de Evaluación de la Calidad de la Educación, el de metodología de evaluación educativa y el de sistema (nacional) de evaluación educativa y se han precisado aspectos metodológicos fundamentales, tales como: el modelo y los ámbitos de evaluación, las normas evaluativas y la tipología de evaluación.

Una vez revelado el procedimiento para conformar metodologías de evaluación educativa, se mostraron tres experiencias cubanas con introducción en la práctica, las que han estado referidas a la evaluación del desempeño cognitivo de los estudiantes, del desempeño profesional de los docentes y de las instituciones escolares.

Con relación al segundo aspecto señalado, se hizo una descripción del estado del arte de la implementación de la Evaluación Educativa, con el que se hizo evidente la necesidad de precisar el concepto de sistema (nacional) de evaluación educativa y revelar sus rasgos esenciales.

Sobre estas bases, se ha logrado explicar la proyección que actualmente se tiene de Sistema Cubano de Evaluación de la Calidad de la Educación, precisando sus fines, principios, contenido y metodología, así como se han descrito algunas experiencias acumuladas en esa dirección, con la activa y creciente participación de los Proyectos de Investigación Asociados al Programa Ramal No.10 del MINED y de los Grupos Provinciales de Evaluación de la Calidad de la Educación, así como las acciones dirigidas al desarrollo de una cultura evaluativa en el país. Estos elementos muestran la

102

singularidad de la empresa emprendida, como un auténtico producto de la Pedagogía Cubana.

Bibliografía Achig, L.: Auto-evaluación de las instituciones de Educación Superior.

Universidad de Cuenca. Quito. 1997.

Alemany, S.: “Experiencias de la evaluación institucional en las universidades cubanas”. En: Pedagogía ´2001. MINED, La Habana.

(Curso pre-reunión) 2001. Álvarez, B. y M. Ruiz-Casares, (Edit.): “Evaluación y Reforma Educativa”. Opciones de política. Informe Técnico No.3. PREAL. Santiago de Chile. 1997.

Antillana (Edit.) (2003): “Diccionario de las Ciencias de la Educación”.

2. ed. México, D. F. ISBN 970-29-0854-X. Arencibia, Victoria: “Los sistemas de medición y evaluación de la calidad de la educación”. OREALC-UNESCO. Santiago de Chile.

1997.

Arregui, P. et. al.: “Sobre estándares y evaluaciones en América Latina”. PREAL. Ed. San Marino. Santiago de Chile. 2006.

Báez, B. F.: “El movimiento de escuelas eficaces: implicaciones para la innovación educativa”. En: Revista Iberoamericana de Educación (4): , pp.102-103. 1994.

Batista, J.: “La inspección en la evaluación de la calidad de la educación”. En: Pedagogía ´97. MINED, La Habana. 1997.

Báxter, E.: “La institución educacional y su acción comunitaria”. En: Pedagogía ´97. MINED, La Habana. 1997.

Bernabeu, M. et. al.: Errores frecuentes de los estudiantes de educación básica en la evaluación del desempeño académico de Matemática y Español. ICCP, La Habana. (Resultado de Investigación) 2007.

103

Bolaños, F. y M. Bello: Escuelas que aprenden y se desarrollan: un reto para la educación peruana de hoy. Un aporte para la reflexión. En: Primer Seminario Internacional Investigación para una mejor educación. Escuelas que aprenden y se desarrollan.

Facultad de Educación. Universidad Peruana Cayetano Heredia.

Lima, pp. 11-33. 2001.

Bolívar, A.: Auto-evaluación Institucional para la mejora interna. En: Reforma Educativa y Organización Escolar. Universidad de Granada. 1994.

CAB-CIDE: Investigación Iberoamericana de Eficacia Escolar. Proyecto de Investigación. Bogotá-Madrid. (2001a).

CAB-CIDE: Investigación Iberoamericana de Eficacia Escolar. Manual de Trabajo de Campo. Bogotá-Madrid. (2001b).

Campistrous, L. et. al.: Primeros resultados del Operativo Nacional de Calidad de la Educación. ICCP. La Habana. (Informe de investigación) (Versión confidencial) (2001a).

---------------------------- Índice general para evaluar el trabajo educacional. Informe de investigación ICCP, La Habana. (Informe de investigación) (2001b).

----------------------------: Índice Socio-educativo. Informe de Investigación. ICCP, La Habana. (Informe de investigación) (2001c).

-----------------------------: Sexto Operativo de la Evaluación de la Calidad de la Evaluación. Informe Final. ICCP. La Habana.

(Informe de investigación) 2002.

Cañete, F.: La Evaluación Institucional: ¿Qué tiene la Escuela? ¿Qué entrega la Escuela. En: Revista Enfoques Educacionales, 1(1): Departamento de Educación Facultad de Ciencias Sociales Universidad de Chile. 1998.

Casanova, M. A.: La Evaluación garantía de calidad para el Centro Educativo. Ed. Luis Vives, Zaragoza. 1992.

104

Casasuss, J.: Acerca de la calidad de la educación. Ponencia para el Tele-seminario sobre Calidad de la Educación. UNESCO-OREALC. Santiago de Chile. 1995.

Casassus, J. et al.: Primer Estudio Internacional Comparativo sobre Lenguaje, matemática y factores asociados, para alumnos de 3º y 4º grados de la Educación Básica. Ed. Andros Ltda. UNESCOOREALC, Santiago de Chile. 2000.

Castro, F.: Seguiremos creando y luchando. Discurso en la clausura del VIII Congreso de la UJC. Oficina de Publicaciones del Consejo de Estado. La Habana. 2004.

--------------: La Educación constituye nuestro escudo invencible.

Recopilación de discursos sobre Educación. Oficina de Publicaciones del Consejo de Estado. La Habana. 2005.

Castro, O.: Proyecto MEIED. Un modelo de evaluación integral de entidades docentes. En: Pedagogía ´97. MINED. Ciudad de La Habana. 1997.

-------------: La evaluación de proyectos educativos: un problema teórico y metodológico actual en América Latina. En: Pedagogía ´99. MINED, La Habana. 1999.

Cerezal, J. et al.: Metodología para la caracterización de los centros internos del nivel medio. En: Pedagogía´97. MINED. La Habana.

1997.

Creemers, B; Scheerens, J. y D. Reynolds: Theory development in school effectiveness research. En: Teddlie, C. y Reynolds, D. The international handbook of school effectiveness research. pp. 283298 Falmer Press. London. 2000.

Chávez Rodríguez, J.: La investigación científica desde la escuela. En: Desafío Escolar. 2. ed. Especial, Año 5. CIDE-ICCP, Ciudad México; pp.34-44. 2001.

De Miguel, M.: La Evaluación de los Centros Educativos. Una aproximación a un enfoque sistémico. En: Revista Investigación Educativa. 15 (2): Universidad de Oviedo. 1997.

105

----------------: La evaluación de la Calidad de las Titulaciones Universitarias. Secretaría General Técnica. Ministerio de Educación, Cultura y Deporte. Madrid. 2003.

--------------- et al.: Evaluación de la calidad de las titulaciones universitarias. Guía metodológica. Consejo de Coordinación Universitaria. Ministerio de Educación, Cultura y Deporte. Madrid.

2003.

Delgado, K.: Evaluación y calidad de la educación. Nuevos aportes.

Logo. Lima. 1995.

Díaz Vila, M. et al.: Educación Superior: horizontes y valoraciones.

PRI- ECAES. Universidad de San Buenaventura. Cali. 2006.

Editorial Progreso: Diccionario de Filosofía. Ed. Progreso, Moscú. 1984 Esteva, M., O. Varela y A. Ruiz: Las tendencias pedagógicas contemporáneas. Valoración desde la perspectiva del Proyecto Pedagogía Cubana. Curso Pre-reunión. Pedagogía ´2001. MINED, La Habana. 2001.

Escudero, T.: Enfoques modélicos y estrategias en la evaluación de centros educativos. En: Relieve 3 (1): (http://www.uv.es/RELIEVE 1997.

------------------: Desde los test hasta la investigación evaluativo actual. Un siglo, el XX, de intenso desarrollo de la evaluación en Educación. En: Relieve, 9, (1): (http://www.uv.es/RELIEVE ) (2003) Fernández, T.: Métodos estadísticos de estimación de los efectos de la escuela y su aplicación al estudio de las escuelas eficaces. En: Revista electrónica Iberoamericana sobre Calidad, Eficacia y Cambio en Educación.

1 (2): enero 2004. (http://www.ice.deusto.es/rinace/reice ) Fernández, C. y Córdova, F.: Manual del SPSS aplicado a métodos de investigación de mercados. Universidad Técnica Federico Santa María. Valparaíso. 2000.

Ferrer, G.: Sistemas de evaluación de aprendizajes en América Latina. Balances y desafíos. PREAL. Santiago de Chile. 2006.

106

Ferrer, G. y P. Arregui: Las pruebas internacionales de aprendizaje en América Latina y su impacto en la calidad de la educación: criterios para guiar futuras aplicaciones. En: Sobre Estándares y Evaluación en América Latina. PREALC. Santiago de Chile; pp.

249-294. 2006.

Fiallo, J. et. al.: Modelo proyectivo para la Secundaria Básica en el periodo 1995 2005. ICCP, La Habana. (Informe de Investigación) (2000) Fullan, M. y Watson, N.: Improving Learning Outcomes in the Caribbean (Conferencia). Banco Mundial, pp.4-5. 1999.

Galdós, S. A.: Metodología de Evaluación Institucional para las escuelas especiales de trastornos de la conducta. ICCP, La Habana. (Tesis doctoral) (inédita) (2008).

Galdós, S. A., et al.: Presupuestos teórico-metodológicos del Sistema Cubano de Evaluación de la Calidad de la Educación. ICCP. La Habana (Resultado de investigación) (2007).

Garcia Ramis L., et al.: Sistematización del modelo de escuela Cubana. ICCP, La Habana. (Informe de Investigación) (1995).

--------------------- Los retos del Cambio Educativo. Ed. Pueblo y Educación. La Habana. 1996.

---------------------: Estrategias de transformación de la institución docente como institución socializadora. ICCP. La Habana. (Informe de investigación). (1999).

----------------------: Aproximación al diagnóstico del impacto de las contradicciones socio-económicas en el proceso de desarrollo de la personalidad de estudiantes de primaria y secundaria básica en el municipio Habana Vieja. ICCP. La Habana. (Informe de Investigación) (Versión confidencial) (2001).

García Ramis, L.; Valle, A; Zilberstein, J. Y Torres, P.: “Revisión comentada acerca del estado del arte de la investigación sobre eficacia escolar en Iberoamérica. Caso Cuba”.

En: La investigación sobre eficacia escolar en Iberoamérica. Ed. Carrera 7ª Ltda. Bogotá. 2003.

107

García Ojeda, M., et. al.: La dirección escolar, el proceso de enseñanza-aprendizaje y el currículo en una concepción de enseñanza desarrolladora, ICCP. L la Habana. 1999.

Gómez, L. I.: Conferencia Especial: Cuba: una revolución en la Educación. En: Pedagogía ´2005. MINED, La Habana. 2005.

Grupo Editorial Océano: Enciclopedia General de la Educación.

Barcelona. 2001.

Guerra, M.: Modelo para la Evaluación de la calidad del ISP “José de la Luz y Caballero”, de Holguín. ISPJLC. Holguín. (Inédito) (2002).

-------------: Estudio diagnóstico de la evaluación del proceso de dirección de los Institutos Superiores Pedagógicos. ISPJLC, Holguín. (Resultado de Investigación) -------------: Modelo para la evaluación integral de la calidad del proceso de dirección de los ISP. ISP JLC, Holguín. (Resultado de Investigación) (2004b) -------------: Fundamentos teóricos sobre la Evaluación de la Calidad del proceso de dirección educacional en los IES y los ISP. ISPJLC, Holguín. (Resultado de Investigación) (2004c) ICCP: Informe al Ministro de Educación acerca del levantamiento de resultados científicos de los territorios y de las investigaciones del ICCP. La Habana. (17.02.01) (Versión confidencial) (2001) ------: Relación entre evaluación educativa y calidad de la educación: encuentros y desencuentros. ¿Hacia dónde vamos? Seminario Científico. ICCP. La Habana. En: http://ftp.rimed.cu/ICCP/PR4 2006.

-------: Ficha del Programa Ramal No.10 Evaluación de la Calidad de la Educación. ICCP. La Habana. (Documento normativo) (2007).

INEE Hacia un nuevo paradigma para la Evaluación Educativa. INEE. México, D. F. 2004.

Instituto De Fomento E Investigación Educativa, A. C. Sistemas Nacionales De Evaluación Educativa.: Muestra de Países de América Latina y del Mundo Desarrollado (Recopilación), agosto de 2000.

108

Consultado el 12 de junio de 2004.

En: www.ifie.edu.mx/sistemas_nacionales_de_evaluacion_educativa.htm González, D. A. et. al.: La evaluación de la calidad de la Educación Superior en Colombia. Representaciones y efectos académicos.

Universidad de San Buenaventura. Cali. 2006.

Glosario De Educación. En: http://www.monografias.comtrabajos/glosedu.html.

Jara, M.: Modelo de Evaluación Institucional para Bachilleratos Generales de Puebla, México. IPLAC, La Habana. (Tesis Doctoral) (2004).

Kallen, D. et. al.: Evaluating and Reforming Education Systems.

OCDE. London. 1996.

Lafourcade, P.: Evaluación Institucional. En: httt://www.edu.ar/revista/revista118.html Larousse.: El pequeño Larousse ilustrado. (2000)ISBN: 970-22-0002-4.

Lanza, H.,: La evaluación de los Sistemas Educativos en Iberoamérica: algunas reflexiones en torno a su especificidad. En: Calidad y equidad en la Educación. OEI. (http://www.oei.org.co) (1996) Lehmkuhl, J. M.: Sistema de indicadores para la evaluación interna de la carrera de pre-grado de Pedagogía de la Universidad del Oeste de Santa Catarina – Sede Joacaba. ICCP, Ciudad Habana. (Tesis Doctoral) (2003) Levin, H. M.,: Las escuelas aceleradas: una década de evolución.

Documentos PREAL No.18, octubre, 2000, pp.12-13. (2000) López, J., et. al.: Fundamentos de la Educación. Ed. Pueblo y Educación. La Habana. 2000.

Lorenzo, R.: Factores asociados al aprendizaje de la Matemática en estudiantes de Secundaria Básica. ISPJLC, Holguín. (Tesis de Maestría) (2004).

LLECE: Primer Estudio Internacional Comparativo sobre lenguaje, matemática y factores asociados, para alumnos de tercer y cuarto

109

grado de la educación básica. Informe Técnico. UNESCO-OREALC. Chile. (2001) Martínez, F.: Sistema nacional de evaluación educativa. En: Revista Latinoamericana de Innovaciones Educativas, Año VI, (17): Buenos Aires. 1994.

Messina, G. y L. Sánchez: “Evaluación de la Calidad de la Educación”.

Bibliografía de Consulta. En: Revista Iberoamericana de Educación, (10): (http://www.oei.org.co) (1996) MEyC: PISA en detalle. Características del estudio PISA 2003. En: Revista Apuntes del Instituto de Evaluación (5): Secretaría General Técnica. Ministerio de Educación y Ciencias. Madrid; pp.

1-12. (2006a).

-------: “Indicadores Internacionales de los Sistemas Educativos” (INES), OCDE. En: Revista Apuntes del Instituto de Evaluación (5): Secretaría General Técnica. Ministerio de Educación y Ciencias. Madrid; pp. 5-8. (2006b) Microsoft Encarta (Edit.): Diccionario de la Real Academia Española.

Microsoft Corporation, 1993-2005.

(Ministerio De Educación: Pedagogía. Ed. Pueblo y Educación. La Habana. 1981.

---------------------: Perfeccionamiento Continuo del Sistema Nacional de Educación: Plan de Estudio de la Educación General Politécnica y Laboral, Cuba. 1988.

---------------------: Acta de reunión de la Comisión Nacional de Evaluación de la Calidad de la Educación. MINED, La Habana, noviembre de 2000.

Minujín, A. y Avendaño, R.: Autorregulación en la escuela cubana. En: Pedagogía 1993. MINED, La Habana.

Murillo, J.: “Los Modelos Jerárquicos Lineales aplicados a la investigación sobre Eficacia Escolar”. En: Revista Investigación Educativa, 17 (2): pp.453-460. 1999.

110

-------------: Mejora de la Eficacia Escolar. Temas del mes de Cuadernos de Pedagogía, 300, pp. 47-74. 2001.

-------------: Aportaciones de la Investigación sobre Eficacia Escolar para el mejoramiento de la calidad y la equidad en América Latina.

En: IV Simposio Iberoamericano de Investigación y Educación.

ICCP. La Habana. 2002.

-------------, et. al.: La Mejora de la Eficacia Escolar: un estudio de casos. CIDE Madrid. 2001.

--------------: La investigación sobre Eficacia Escolar en Iberoamérica.

Revisión Internacional sobre el estado del Arte. CAB-CIDE. Santa Fe de Bogotá. 2003. ISBN: 958-698-112-6.

-------------: Investigación Iberoamericana sobre Eficacia Escolar.

CAB, Bogotá. 2007. ISBN: 978-958-698-220-7.

Organización de Estados Iberoamericanos (OEI): “Evaluación de la Calidad de la Educación”. Revista Iberoamericana de Educación, 10, enero- abril. Madrid. 1996.

Pérez, E.: Supervisión Educativa. En: Pedagogía ´97. IPLAC, La Habana. (Curso Pre-reunión) (1997).

PRELAC. UNESCO. (2002): Modelo de acompañamiento –apoyo, monitoreo y evaluación- del Proyecto Regional de Educación para América Latina y el Caribe. PRELAC. Declaración de la Habana.

Andros Impresores, (s/c).

Puig, S.: La medición de la eficiencia de los aprendizajes de los alumnos. Una aproximación a los niveles de desempeño cognitivo.

ICCP, La Habana. (Inédito) (2003).

----------: Una metodología para la evaluación del desempeño cognitivo de los escolares. ICCP, La Habana. (Resultado de investigación) (2007).

Ravela, P.: Bases conceptuales del sistema nacional de evaluación de la calidad de la educación básica y media. MEC. Buenos Aires.

1994.

111

------------: ¿Cómo aparecen los resultados de las evaluaciones educativas en la prensa? En: Sobre Estándares y Evaluación en América Latina. PREALC. Santiago de Chile; pp. 295-384. (2006a) ------------: Fichas Didácticas para comprender las evaluaciones educativas. PREAL. Ed. San Marino, Santiago de Chile. (2006b) Ravela, P., et. al.: Los próximos pasos: ¿cómo avanzar en la evaluación de aprendizajes en América Latina? En: Sobre Estándares y Evaluación en América Latina. PREALC. Santiago de Chile; pp. 53-121. 2006.

Remedios, J. M.: Modelo Teórico Metodológico para evaluar el desempeño profesional de los docentes del ISP “Capitán Silverio Blanco Núñez”. ISPSB, Sancti Spíritus. (Informe Final del Proyecto Asociado) (2003).

------------------: El desempeño de los docentes de las universidades pedagógicas cubanas: una metodología para su evaluación. En: Universidad 2008. MES, La Habana. 2007.

Remedios, J. M., et. al.: Vías que contribuyen a transformar los modos de actuación en el desempeño profesional del docente de Secundaria Básica. ISPSB, Sancti Spíritus. (Informe Final del Proyecto Asociado) (2001) REPLAD: Medición de la Calidad de la Educación: resultados de siete países. OREALC-UNESCO. Santiago de Chile. 1994.

Reynolds, D., et. al.: Las escuelas eficaces. Claves para mejorar la enseñanza. Santillana / Aula XXI, Madrid. 1997.

Rico, P., et. al.: Modelo proyectivo para la Escuela Primaria en el periodo 1995- 2005. ICCP, La Habana. (Informe de Investigación) (2000) ---------: Hacia el perfeccionamiento de la escuela primaria. Ed. Pueblo y Educación. La Habana. 2000.

Rosental, M. y P. Iudin: Diccionario filosófico. Combinado Poligráfico.

Guantánamo. 1981.

112

Sammons, P; Hillman, J. Y P. Mortimore: Key characteristics of effective schools. OFSTED. London. 1995.

Stoll, L. y D. Fink: Para cambiar nuestras escuelas. Reunir la eficacia y la mejora. Octaedro. Barcelona. 1999.

Suárez, A.: Diagnóstico del estado de las investigaciones sobre Evaluación Institucional de la Enseñanza General en Cuba. ICCP, La Habana. (Tesis de Maestría) (2004) Tiana, A.: ¿Qué variable explican los mejores resultados en los estudios internacionales? INEP. 2000.

-----------: Informe PISA 2003. Resultados. Junta de Castilla y León.

España. 2006.

Tiana, A. y H. Santángelo: Evaluación de la Calidad de la Educación.

En: Revista Iberoamericana de Educación (10): (http://www.oei.org.co) (1994) Torres, P.: La Evaluación de la Calidad Educativa en las instituciones escolares cubanas. En: Pedagogía´2003 (OACE). MINED, La Habana. 2002.

------------: “Las investigaciones sobre evaluación educativa en Cuba”.

En: Revista digital Ciencias Pedagógicas (http://cied.rimed.cu ) (2006).

-----------: La Evaluación Educativa en Cuba, qué se ha logrado y que falta por lograr. En: CD-R, CALIDED 2007, ISPFPG; Santiago de Cuba, pp.4-8, (2007) ISBN: 978-959-2007-322-7.

-----------: El SECE, su pertinencia y devolución de resultados: ¿qué tal estamos? En: CALIDED 2008. ISPFPG. Santiago de Cuba.

Conferencia Central, (2008) ISBN 978-959-2007-322-7.

Torres, P., et. al.: Estrategia de trabajo para el mejoramiento del aprendizaje de la Matemática en los preuniversitarios habaneros.

En: Pedagogía´99. MINED. La Habana. 1999.

------------: “Estrategia cubana para la determinación de una metodología de evaluación internacional”. En: Revista Electrónica

113

Iberoamericana sobre Calidad, Eficacia y Cambio en Educación. 1 (2):, enero 2004. ( http://www.ice.deusto.es/rinace/reice) ------------: Consideraciones para la determinación de una metodología de evaluación institucional en la Educación Cubana.

En: Pedagogía 2005. MINED, La Habana. 2005.

------------: La evaluación del desempeño de los alumnos en Cuba.

Teoría y práctica. En: Pedagogía´2007. IPLAC, La Habana.

(Curso). (2007).

-------------: Estudio del impacto de factores asociados al aprendizaje en centros de referencia provinciales. ICCP, La Habana. (Resultado de investigación) (2008a).

-------------: Estado del Arte de la Evaluación Educativa. ICCP, La Habana. (Resultado de investigación) (Inédito). (2008b).

Torres, P. y S. A. Galdós : Evaluación Institucional. Ed. Academia, La Habana. 2007.

Unidad de Medición de Calidad Educativa (UMCE). Sistemas Nacionales de Evaluación del rendimiento escolar en América Latina. En: Revista CRECER (1): Ministerio de Educación. Lima; pp. 7-10. 2002.

Valdés, H.: Informe del SECE, 1999. ICCP. La Habana. (Informe de investigación) (1999) -------------: “Dilemas actuales en la evaluación de la calidad de la gestión de los sistemas educativos latinoamericanos”. En: Revista Desafío Escolar, Año 2, 7 (febrero de 1999). Ediciones CEIDE. México; 19-23. 1999.

-------------: Lecciones sociales y educativas que se derivan del primer estudio internacional comparado del LLECE. En: Pedagogía ´2001. MINED, La Habana. (2001a) Valdés, H.: La evaluación de la calidad de la educación: de los problemas resueltos a los pendientes de solución. En: Pedagogía 2005. MINED, La Habana. (Conferencia Central) (2005).

114

------------: La Evaluación del desempeño profesional del docente.

En: Pedagogía 2001. IPLAC, La Habana. (Curso Pre-reunión) (2001b).

-----------: Propuesta de un sistema de evaluación del desempeño profesional del docente de la escuela básica cubana, que contribuya a la realización de un proceso evaluativo más objetivo, preciso y desarrollador. ICCP, La Habana. (Tesis Doctoral) (2004).

-----------: La evaluación de la calidad de la educación: De los problemas resueltos a los pendientes de solución. En: Pedagogía ´2005. MINED, La Habana. (Conferencia) (2005).

-----------: Desempeño del maestro y su evaluación. Ed. Pueblo y Educación, La Habana. (2006) ----------------: Manual de buenas prácticas de evaluación del desempeño profesional de los docentes. ICCP, La Habana.

(Inédito) (2008).

Valdés, H., et. al.: Aprendizaje escolar, diagnóstico y calidad educativa. CEIDE. Nezahualcóyotl. 1999.

Valdés, H. y Pérez, F.: Calidad de la Educación Básica y su Evaluación. Ed. Pueblo y Educación. La Habana. 1999.

Valdés, H., et. al.: La Evaluación de la Calidad y Equidad de la Educación. En: IV Simposio Iberoamericano de Investigación Educativa. ICCP, La Habana. (Curso Pre-reunión) (2002) Valdés, H. y Torres, P.: Calidad y equidad de la Educación: concepciones teóricas y tendencias metodológicas para su evaluación. En: Pedagogía ´ 2005. IPLAC, La Habana. (Curso Prereunión) (2005) Valiente, P. y R. Álvarez: La Evaluación de los Centros Educativos.

IPLAC, La Habana, 2000. (Material docente del diplomado en Supervisión y Administración Educativa) (2000a) --------------------------------: Problemas Contemporáneos de la Gestión Educativa. El papel de la Evaluación. IPLAC, La Habana, 2000. (Material docente del diplomado en Supervisión y Administración Educativa) (2000b)

115

------------------------------: Una cultura de la Evaluación. La Evaluación de Sistemas Educativos, Políticas y Programas. IPLAC, La Habana. (Material docente del diplomado en Supervisión y Administración Educativa) (2000c).

------------------------: En busca de una definición de calidad. La calidad de la educación. IPLAC, La Habana. (Material docente del diplomado en Supervisión y Administración Educativa) (2000d).

Valiente, P. Y M. Guerra: Evaluación de Sistemas, Programas y Centros Educativos. IPLAC, La Habana. (Material Básico de la Maestría en Supervisión Educativa). (2008).

Valle, A.: Maestro. Perspectivas y Retos. Ed. SENTE, México. (2000) -----------, et. al.: Un modelo para la dirección de la transformación de la escuela. En: Pedagogía ´97. MINED, La Habana. 1997.

--------------: La transformación educativa. Consideraciones. Ed. Pueblo y Educación. La Habana. 2003.

Van Den Berghe, W.: “Aplicación de las normas ISO 9000 a la enseñanza y la formación”. Revista Europea de la Formación Profesional (15): CEDEFOP. En: INTERNET webmaster@cinterfor.org.ur (1998) Visotsky, R. Y J. Betucci: Organización y Evaluación Institucional de las Universidades: Modelos supuestos y teóricos. Universidad Nacional del Sur. Argentina. 2000.

Visotsky, R-Domínguez, M.: La Evaluación Institucional Universitaria.

Estudio Comparativo de las primeras experiencias en Argentina.

Universidad. En: INTERNET (menghini@criba.edu.ar ) (2000) Wolff. L.: Las evaluaciones educacionales en América Latina: Avance actual y futuros desafíos. En: Estándares y Evaluaciones en América Latina. PREAL. Santiago de Chile; pp. 13-52. 2006.

Wolff, L., et. al.: Sistemas de evaluación educacional en América Latina. Reseña temática y experiencias recientes. En: Boletín del PPE No.27, abril de 1992, OREALC-UNESCO. Santiago de Chile; pp. 7-31.

116