V introduccion 2011

Evaluación de Programas Educativos

Unidad V. Ámbitos de la evaluación Introducción del contenido Instrucciones: Enseguida encontrarás una sinopsis de cada tema de la Quinta Unidad. Se trata de que tengas un primer acercamiento a las ideas centrales que deberás analizar críticamente al leer las fuentes de consulta correspondientes, disponibles en Lecturas.

Puedes acercarte a este material antes o después de haber consultado las Lecturas o ir a la fuente de consulta y regresar a este documento para corroborar las ideas principales. De todos modos, cualquiera que sea tu estrategia lectora te será útil el material que tienes ante tus ojos. ¡Adelante!

A Evaluación de las administraciones educativas.

De acuerdo con Casanova (1999), la administración de los sistemas educativos dicta las normas legales que guiarán su organización y funcionamiento general.

Establece los recursos económicos que se adjudicarán a la educación, los sistemas de formación, las condiciones de autorización de los centros, las titulaciones para impartir la docencia. A partir de estas bases, cada centro y cada profesional tomará las opciones y las decisiones pertinentes y posibles de desarrollar.

La política educativa viene condicionada por los elementos anteriores. La estructura y principios del sistema educativo son el reflejo de la sociedad. “…resulta muy importante que las administraciones que toman decisiones políticas o técnicas acerca del funcionamiento del sistema educativo en su ámbito de gestión sean conscientes de las implicaciones de su forma de actuar”. (p. 34) En consecuencia, “se hace imprescindible evaluar el funcionamiento general de la administración de un país, pues podría darse el caso de que las normas y actuaciones de la misma condujeran a hechos educativos no deseados y, por lo tanto, a unos resultados deficientes del sistema en su conjunto”. (Ibid) Estructura organizativa de la administración La estructura de la administración educativa deberá corresponder con la estructura del sistema escolar. Para evaluar esta estructura organizativa, Casanova recomienda algunos indicadores, tales como:

Evaluación de Programas Educativos ⎯ ⎯ ⎯ ⎯ ⎯

Coherencia formal entre sus distintas unidades.

Relación adecuada entre las unidades.

Coordinación entre las unidades de la toma de decisiones.

Satisfacción de los objetivos sociales.

Niveles de eficacia y eficiencia en función de las necesidades del sistema y de los recursos invertidos. ⎯ Medidas y actuaciones oportunas para poseer un conocimiento permanente de la incidencia en el sistema escolar. ⎯ Toma de nuevas decisiones basada en los resultados de la evaluación del sistema.

Normas legales emitidas “El funcionamiento del sistema educativo de un país se apoya en la normativa legal que lo estructura y marca sus líneas básicas de actuación”. (p. 36) La regulación legal tiene el poder de favorecer o inhibir la actividad de las instituciones educativas. Para evaluar la normativa legal Casanova aporta los siguientes indicadores: ⎯ ⎯ ⎯ ⎯ ⎯ ⎯ ⎯ ⎯ ⎯

Favorece y facilita la actividad de los centros.

Apoya el funcionamiento de la institución.

Emite un conjunto de normas coherentes.

Emite normas que se pueden cumplir.

Mejora la situación inicialmente observada.

Controla su cumplimiento.

Permite detectar irregularidades.

Se corrige cuando es necesario.

Se valora su incidencia en el sistema.

Funcionamiento de programas y servicios específicos Según cambian las condiciones sociales y surgen nuevas exigencias en el campo de la educación, las administraciones van ampliando los servicios. Estas nuevas incorporaciones deben ser valoradas, sobre todo al principio, para evitar que se afiancen determinadas rutinas o errores.

Cada programa o servicio tendrá que evaluarse con indicadores como los siguientes, entre los aportados por Casanova. ⎯ ⎯ ⎯ ⎯ ⎯ ⎯ ⎯

Su funcionamiento se adecua a lo previsto y ordenado.

Cumple sus objetivos.

La estructura dada es la más conveniente.

Los elementos curriculares resultan coherentes.

Las dificultades significativas se hacen evidentes.

Se detectan los valores positivos.

Se toman medidas correctoras para mejorarlo.

Evaluación de Programas Educativos

B Evaluación de los centros escolares.

Hay que evaluar los centros escolares De acuerdo con Santos Guerra (1996) en la escuela sólo se hace evaluación del rendimiento del alumnado. Sin embargo, la evaluación institucional es una exigencia que ha de formularse la escuela y una necesidad que, según él, proviene de los interrogantes sobre la calidad de los servicios que presta.

Pero… los resultados académicos no constituyen el único indicador de la calidad.

Tres caminos hacia la evaluación del centro Uno proviene de la decisión de agentes externos. Esta evaluación, opina Santos Guerra, se ha realizado algunas veces con escaso rigor y con dudosa eficacia.

Al ser una evaluación impuesta, las instituciones la han padecido, la han soportado. No se han sentido partícipes de ella. Ha sido un añadido ajeno a la vida del centro. Sus efectos no se han percibido en la mejora de la escuela. “…no se ha realizado de manera que facilite su auténtica finalidad de análisis, comprensión y ayuda para la mejora de la calidad”. (p. 71) El centro puede poner en marcha procesos de autoevaluación institucional, pero son los miembros de la comunidad académica quienes tienen las claves del significado de lo que sucede en la escuela.

En la experiencia de Santos Guerra, la reflexión informal puede adquirir sistematización, rigor y formalización a través de los informes de la evaluación.

Padres, profesores, alumnos, entre otros, evalúan el centro de una manera informal, a través de opiniones. “…la autoevaluación eleva estas opiniones a un plano distinto: las hace más rigurosas, más colegiadas y más aprovechables”. (p. 72) Los reportes que la escuela debe presentar al final de cada ciclo escolar tienen un marcado carácter democrático y son un mero trámite. Ante esta ineludible necesidad, Santos Guerra propone un camino que combina la iniciativa interna del centro con la ayuda de evaluadores externos. Esta evaluación se conecta fácilmente con la comprensión y la mejora. Es una concreción de la profesionalidad. La pregunta que la justifica es sencilla: ¿Cómo podemos mejorar lo que estamos haciendo?

Santos Guerra advierte peligros en la autoevaluación que corrige la evaluación externa. Por ejemplo, el fuerte compromiso de los participantes podría llevarlos a calificar de bueno lo que consideraban así previamente; el inconsciente deseo de confirmar las teorías previas desde donde se interpretaría lo observado; la escasez de tiempo del profesorado y del alumnado.

Evaluación de Programas Educativos La evaluación: diálogo, comprensión y mejora Para Santos Guerra, “la evaluación de los centros es un proceso de análisis que se apoya en el diálogo. Un diálogo entre los participantes, entre éstos y los evaluadores y entre los evaluadores y la sociedad”. (p. 74) Compromete a todos los protagonistas en la acción del centro y a toda la sociedad.

La evaluación es también un fenómeno de comprensión. Para que haya comprensión debe haber lectura, códigos y significados. Procesos y resultados han de ser interpretados a través del prisma de los valores.

Diálogo y comprensión están encaminados a la mejora de la realidad educativa del centro. La mejora tiene que ver con la esencia del proceso educativo. La evaluación permite, en palabras de Santos Guerra, “acercarnos con mayor precisión a un concepto más afinado y democrático de mejora”. (p. 75) Las características de la evaluación 1. Tiene en cuenta el contexto.

2. Está atenta a los procesos y no sólo a los resultados.

3. Da voz a los participantes en condiciones de libertad.

4. Usa métodos diversos y sensibles para captar la complejidad de los fenómenos que se producen en la escuela.

5. Está atenta a los valores.

6. No simplifica la complejidad a través de números y estadísticas.

7. Se realiza a través de una negociación.

8. Tiene un carácter estructural pues concibe el centro como unidad funcional.

9. Se expresa a través de los informes con lenguaje accesible a los destinatarios.

10. Se ocupa del valor educativo de la acción escolar; impulsa el diálogo, la participación y la reflexión compartida sobre la mejora.

11. Pretende ser una plataforma de participación y diálogo sobre la enseñanza y la educación.

12. Está comprometida con la sociedad.

Esta evaluación que propone Santos Guerra está guiada por principios democráticos y permite generar un conocimiento transferible sobre las escuelas.

En el umbral Las escuelas sencillamente funcionan. No se conoce lo que pasa dentro de ellas, cómo se produce el aprendizaje y qué tipo de procesos constituyen la actividad interna.

Esta “caja negra” se sitúa en un contexto socio/ económico/ político amplio y desempeña un papel en un contexto próximo. “Dentro de ella se desarrollan unos mecanismos para producir fuerza de trabajo y unos procesos de aprendizaje de las relaciones sociales de producción”. (p. 83)

Evaluación de Programas Educativos Los centros escolares desempeñan una tarea y no puede reducirse su evaluación a un simple cómputo de aprobados y suspensos.

Para Santos Guerra la evaluación institucional de una escuela trata de responder a la pregunta ¿Qué está sucediendo aquí?

Cada centro trata de encontrar explicaciones de lo que sucede dentro de sus muros y establece relaciones de causalidad interesadas. Los padres atribuyen el fracaso de los hijos al mal funcionamiento de la escuela; el director valora el trabajo porque sus egresados aprueban la selectividad, los profesores achacan el fracaso de los alumnos a la falta de capacidad de éstos. Pero ninguna explicación sirve para reconstruir la realidad.

En la evaluación informal de centro se utilizan criterios excesivamente simplificados. ¿Cuántos alumnos aprueban? es la pregunta central.

En una evaluación formal externa se aplican pautas e instrumentos que difícilmente pueden reflejar con rigor toda la complejidad de los procesos que se desarrollan en el centro.

Este tipo de evaluación no puede recoger su verdadera realidad , ya que: • La vida del centro no puede encajonarse en las respuestas de un cuestionario.

• Es notoria la discordancia entre el pensamiento real y el oficial de las personas que contestan.

• Puede existir discordancia entre lo que se dice a unos y a otros. No es lo mismo contestarle a un inspector escolar que a una entidad que concederá una subvención.

• Existe discrepancia entre lo que dicen unos y lo que dicen otros.

• Existe discordancia entre lo que se dice en unos medios y en otros. No se valora igual al centro a través de una entrevista que a través de un cuestionario.

• Existe discordancia entre lo que se dice en un momento y en otro.

Simplificaciones abusivas Las pautas cuantificables que tratan de medir el funcionamiento del centro y de comparar a través de la medida no facilitan la evaluación institucional. Las mismas pautas se aplican a directivos, profesores y padres y, “aunque la muestra sea representativa, los protagonistas no pueden agotar los puntos de vista sobre el centro”. (p. 89) Cuando se trata de una evaluación externa es fácil que los protagonistas intenten proyectar una imagen positiva del centro.

Santos Guerra lanza la pregunta: ¿Se puede evaluar sin disponer de un criterio comparativo?

En cuanto al tratamiento estadístico, en la evaluación funcionará con toda la

Evaluación de Programas Educativos objetividad y rigor de las matemáticas, pero difícilmente podrá reflejar la realidad viva, compleja y multiforme. Una realidad que sólo adquiere sentido en su contexto.

Santos Guerra analiza algunas de las limitaciones de la medición del centro escolar, sobre todo cuando no se aplica otro método o instrumento. Los cuestionarios pueden ser útiles, pero cuando son exclusivos recogen de forma superficial y reduccionista una realidad extremadamente compleja. Así mismo, la naturaleza de algunos fenómenos sociales aconseja un enfoque cualitativo, dada su complejidad.

Las mediciones Las escalas estimativas, los cuestionarios, las pautas de evaluación que exigen valoración numérica, no dejan paso a la explicación causal de la realidad.

El fenómeno de atribución numérica a realidades complejas supone un riesgo importante de imprecisión y de tergiversación, agravado por la apariencia de objetividad que encierra el número.

El hecho de que los cuestionarios son contestados por los protagonistas de la acción educativa añade un factor de complejidad al fenómeno de la medición. La cuantificación obliga a encerrar en los números realidades cargadas de matices y de complejidad.

De acuerdo con Santos Guerra, “La calidad de los datos es discutible por el proceso de atribución que supone, al asignar un guarismo a una realidad en sí misma complicada y contemplada desde la subjetividad del participante”. (p. 93) Las comparaciones Santos Guerra no está de acuerdo en utilizar pautas cuantificadoras como criterio de comparación. Esto es arbitrario.

Las interpretaciones Sólo cuando se comprenden las claves de la operación educativa se puede realizar un correcto descifrado. El lector del informe ve el número, no la realidad y difícilmente podrá descifrar la entraña de aquel número. A esto se añade el problema del sesgo.

Al evaluador directo (profesor, director, alumno) y también al que recaba los datos les interesa que la imagen de la realidad sea buena. Igualmente la identificación con la ideología del centro hace que la aplicación de cuestionarios cerrados resulte problemática.

De igual modo se puede sesgar la interpretación de las medidas estadísticas, así como las diferencias cuando se evalúan comparativamente varios centros.

Evaluaci贸n de Programas Educativos Las generalizaciones A decir de Santos Guerra, uno de los problemas de la generalizaci贸n estriba en la endeblez de la base num茅rica que ha servido para aplicar el modelo estad铆stico. Otro problema es la idiosincrasia de los centros.