PRIMER TEMA: MODELOS, MÉTODOS E INDICADORES
Este tema nos acerca al concepto de evaluación y las diferentes formas en las que se ha entendido y evolucionado este concepto. Veremos las distintas acepciones al término que diferentes expertos dan, así mismo como la concepción, funciones y procesos que cada uno establece en sus postulados teóricos.
La evaluación se define como un proceso para valorar el mérito o valor de algo. Comprende descripción y juicio, con la finalidad de orientar la toma de decisiones de mejora de lo evaluado. Según los diferentes teóricos nos encontramos con estas definiciones:
Tyler: " proceso para determinar en qué medida los objetivos educativos han sido realizados". Scriven: “proceso de determinar el valor
la calidad de algo, siendo las
evaluaciones el resultado de dicho proceso”. Cronbach: es el "examen sistemático de los acontecimientos que ocurren durante el proceso de aplicación de un programa y las consecuencias que se derivan del mismo, con el fin de ayudar a su mejora y a la de otros programas con similar propósito “. Stufflebeam y Shinkfield: ”la evaluación es un proceso mediante el cual se proporciona información útil para la toma de decisiones. En un sentido más amplio, la evaluación consiste en un proceso en tres etapas para identificar, obtener y proporcionar información acerca de un programa valorado en sus metas, en su planificación, en su realización y en su impacto, con el propósito de guiar la toma de decisiones, proporcionar información y contribuir a su comprensión, con el criterio de su valor (respuesta a las necesidades) y su mérito (calidad). Pérez Juste: "el proceso sistemático de recogida de información rigurosa (valiosa, válida y fiable) orientado a valorar la calidad y los logros de un programa,
como base para la posterior toma de decisiones de mejora, tanto del programa como del personal implicado. Martínez Mediano: “La evaluación de un programa supone la recogida de información sistemática sobre la calidad del propio programa, en sus fundamentos, estructura y coherencia interna; sobre su planificación para su puesta en acción, sobre sus resultados inmediatos y sobre su impacto a medio y largo plazo, con el objetivo de comprobar y valorar el grado y calidad con el que el programa ha sido elaborado, planificado, implementado, y los resultados conseguidos, de acuerdo con las metas pretendidas , el logro de otros valores, y su contribución al desarrollo y comprensión de los programas”.
FUNCIONES DE LA EVALUACIÓN DE PROGRAMAS
Scriven, en 1968 define las dos importantes funciones de la evaluación: formativa, para ayudar a la mejora del programa mientras se aplica. Es realizada desde el inicio del programa y durante su desarrollo con el fin de recoger información útil, y a tiempo, de los efectos del programa y de las necesidades de introducir cambios de mejora. Informa a la evaluación sumativa sobre el funcionamiento del programa, y sumativa, para probar la eficacia del programa en un momento intermedio o al final. Realizada una vez que ha terminado el programa, o en determinados momentos claves, cuyo objetivo principal es recoger información sobre los resultados finales, y sobre el valor y mérito del programa. Sirve al rendimiento de cuentas. Ambos tipos de evaluación aportan información que determinan el grado y extensión en el que el programa ha funcionado de acuerdo con lo planeado y ha obtenidos los resultados esperados. Los dos tipos proporcionan información para aportar recomendaciones compartir y desarrollar teoría. A parte de ellos se señalan otras perspectivas como:
EVALUACIÓN PSICOLÓGICA/ SOCIOPOLÍTICA: Sirve para motivar e incentivar una conducta deseada, para promover apoyo público e incrementar el conocimiento de unas actividades especiales EVALUACIÓN ADMINISTRATIVA: se centra en la aplicación de las normas de funcionamiento de las organizaciones. Las hay también INTERNAS, como autoevaluación de una institución, realizada por los propios miembros de la institución, en analogía con la autoevaluación del aprendizaje realizada por el propio estudiante, y EXTERNAS, realizadas con fines de rendimiento de cuentas, por expertos externos a la institución.
DIFERENTES PROPUESTAS
Propuesta de SKATE: Robert E. Stake propone un modelo para la evaluación educativa que denomina “evaluación comprensiva”. En su libro” Evaluación comprensiva y evaluación basada en estándares”, publicado en 2004 expone y desarrolla el modelo que, debe sostenerse tanto en estándares como en la evaluación comprensiva.
La
conjunción
de
visiones,
que
no
son
necesariamente
complementarias, proporcionaría mayor sutileza y profundidad en el análisis de la evaluación de la calidad. Su propuesta se centra en la visión de globalidad de la evaluación, por ello incluye los siguientes puntos: 1.- La descripción lo más completa posible del propio programa, es decir, los antecedentes supuestos y reales, las operaciones didácticas realizadas y los resultados. 2.- El juicio del programa no debe ser cometido exclusivo de los especialistas en evaluación, sino que deben participar otros colectivos (portavoces de la sociedad, profesores, padres, estudiantes) con una valoración ponderada de sus aportaciones.
3.- La recopilación de datos se llevará a cabo en tres momentos, los antecedentes (información sobre el historial del grupo y sus circunstancias), las transacciones (encuentros entre los diversos colectivos implicados en el programa) y los resultados (logros de diversa índole alcanzados por el programa).
La evaluación centrada en el cliente o respondiente busca ofrecer un servicio útil y valioso a personas específicas, su característica fundamental es la sensibilidad hacia los temas esenciales, especialmente los que ayuden a los colectivos en su entorno inmediato. Por ello resalta que las evaluaciones no serán útiles si los evaluadores no conocen suficientemente tanto el lenguaje como los intereses de las personas implicadas y si los informes de evaluación no se ajustan a ese lenguaje. La evaluación centrada en el cliente se orienta hacia las actividades del programa, responde a necesidades de información de las audiencias y toma en consideración los diferentes valores de las personas interesadas en el programa cuando juzga su adecuación. Las propuestas y los métodos no son impuestos, sino que emergen desde la observación del programa durante el desarrollo de la evaluación.
En resumen las líneas básicas, son: •
Descripción del programa, que reconoce que la evaluación debe ser valorada por todos los implicados en el programa. Por tanto todos deben sentirse importantes dentro del programa.
•
Diversidad de datos, se distingue tres grandes grupos de información: -
Antecedentes, transacciones y resultados
-
Intenciones y observaciones (descripción)
-
Normas y juicios (inicio)
-
Análisis de contingencias y congruencias, lo que posibilita detectar los antecedentes planteados y los que realmente se han logrado.
PROPUESTA DE STUFFLEBEAN Daniel Stufflebean (1971) propone el modelo CIPP de evaluación que junto con el modelo evaluativo de ALKIN ( 1969) denominado UCLA
representa el
enfoque decisión-gestión, orientado a la decisión. Ambos modelos renuncian a la evaluación por objetivos centrándose en la organización y la toma de decisiones. Desde este enfoque el evaluador y el directororganizador del programa trabajan juntos o incluso pueden ser la misma persona. Otra contribución sería que la evaluación no es considerada un fin en sí misma, sino que está incluida dentro de un proceso educativo más amplio y globalizado. Stufflebean define la evaluación como: “... el proceso de identificar, obtener y proporcionar información útil y descriptiva sobre el valor y el mérito de las metas; la planificación, la realización y el impacto de un objeto determinado, con el fin de servir de guía para la toma de decisiones; solucionar los problemas de responsabilidad y promover la comprensión de los fenómenos implicados.”
En su trabajo desarrolló, junto a Shinkfield, un marco conceptual para enfrentarse
a
cuatro
tipos
de
evaluaciones
para
tomar
las
decisiones
correspondientes. Estos cuatro tipos se corresponden con las siglas de su modelo CIPP (Contexto, Input, proceso, producto) Evaluación del contexto: Determina
las necesidades de un programa
educativo y define los objetivos. Define las decisiones de planificación. Evaluación de entrada: Contabiliza los recursos disponibles, estrategias alternativas, planes, etc… para diseñar el programa. Se centra en las decisiones de estructura. Evaluación de proceso: Se basa en la realización, ejecución del plan y revisiones. Establece las decisiones de implementación. Evaluación del producto: Analiza los resultados obtenidos, reducción de necesidades y propuestas de mejora del programa. Añade decisiones de reciclaje.
Con estos elementos se elabora la estructura básica del CIPP: la evaluación del Contexto como ayuda para la designación de metas, la evaluación de Entrada como ayuda para dar forma a las propuestas, la evaluación del Proceso como guía de su realización y la evaluación del Producto al servicio de las decisiones de reciclaje. Los destinatarios de la evaluación son las mismas personas que planifican, administran los proyectos y toman las decisiones, por lo que propone un evaluador interno: invoca a la responsabilidad del evaluador, que debe actuar de acuerdo a principios aceptados por la sociedad y a criterios de profesionalidad, emitir juicios sobre la calidad y el valor educativo del objeto evaluado y debe asistir a los implicados en la interpretación y utilización de su información y sus juicios. Sin embargo, es también su deber, y su derecho, estar al margen de la lucha y la responsabilidad política por la toma de decisiones y por las decisiones tomadas. Según Stufflebeam, el propósito fundamental de la evaluación no es demostrar sino perfeccionar, guiar la toma de decisiones, informar para la responsabilidad, y promover la compresión de los fenómenos implicados. En cuanto a las etapas del proceso evaluador, lo organiza en tres etapas: identificar, obtener y proporcionar información. Establece los aspectos para valorar el objeto de evaluación: metas, planificación, realización e impacto. Siguiendo criterios de valor y mérito. Participó en la redacción de
las normas del Joint Comité ( 1981) que
recomiendan el cumplimiento de 4 condiciones en las evaluaciones: utilidad, factible, ética y exacta. De esta forma: Evaluación de Contexto: Valoración del estado global del objeto, identificación de deficiencias, virtudes, diagnóstico de problemas… metodología: entrevistas, lecturas de informes, reuniones, etc… Evaluación de Entrada: Identificar y valorar métodos aplicables y explicarlo. Metodología: revisión del estado de la práctica, valoración de estrategias de solución, escucha del personal, etc..
Evaluación de Proceso: Comprobación contínua de la realización del plan. Metodología: reuniones de trabajo del personal, desarrollo y puesta en marcha de materiales, panificación del trabajo, test diagnósticos, etc… Evaluación de Producto: valorar, interpretar y juzgar los logros de un programa. Metodología: valoraciones y comparaciones con análisis iniciales, elaboración de informes, etc…. Cada tipo de evaluación del modelo CIPP desempeña funciones únicas pero existe entre ellas una relación simbiótica.
PROPUESTA DE CRONBACH Desde el punto de vista de Cronbach, la evaluación de programas se define como: “Examen sistemático de los acontecimientos que ocurren durante el proceso de aplicación de un programa y las consecuencias que se derivan del mismo, con el fin de ayudar a su mejora y a la de otros programas con similar propósito y características”. El modelo de este autor pretende abordar la evaluación de programas tanto en el ámbito educativo como en el social, asimismo, pretende cumplir con la función de identificar los problemas más importantes y, además, una función política. Para cumplir con dichas funciones la evaluación se lleva a cabo a través de un evaluador externo, evaluador como educadores cuyos informes van a ser juzgados para que otros aprendan, desarrollando una evaluación tanto para patrocinadores como para todas las personas implicadas. Esta evaluación se efectúa a lo largo de tres fases, las cuales son las siguientes: -
Primera fase: Determinar las unidades de observación. Estas pueden
ser individuales o colectivas. -
Segunda fase: Tratamientos. Éste será el tratamiento del programa, o
bien, el tratamiento de la intervención en pro de los objetivos. -
Tercera fase: Operaciones. En esta última fase nos encontramos con
las tareas que debe realizar el evaluador.
Para realizar la evaluación y, por consiguiente, concluir las tres fases anteriormente descritas, Cronbach apuesta por una metodología cuantitativa tendente a la cualitativa, mediante la cual se recoge información centrada en la planificación del proceso y de los resultados. Esta información puede ser recogida, para su posterior análisis, a través del muestreo y la valoración y análisis estadísticos. Manteniendo, tal y como se menciona anteriormente, un equilibrio entre el método científico (metodología cuantitativa) y el método humanista (metodología cualitativa), por lo que dicho equilibrio se encuentra entre un enfoque de comprensión y un enfoque centrado en la finalidad, con una medición controlada y una observación naturalista, sin pretender alterar la realidad, teniendo una perspectiva tanto interna como externa, pretendiendo alcanzar resultados reales, ricos, profundos y válidos, tal y como nos proporciona la metodología cualitativa y, a su vez, datos sólidos y repetibles (fiables), lo cual nos lo aporta la metodología cuantitativa. Una vez se aplican los instrumentos, se recoge la información, se analiza y se lleva a cabo la evaluación en sí, se pueden formular dos informes de resultados. Por un lado, un informe de resultados del trabajo en equipo y, por otro lado, un informe de resultados que nos lleven a formular una guía de perfeccionamiento. Mediante esta evaluación de programas que nos propone Cronbach se puede llegar a la generalización, ya que sirve de ayuda para la mejora del programa objeto de evaluación y, además, a otros programas con similar propósito y características. Finalmente, cabe destacar que Cronbach con su modelo de evaluación de programas logra aportar una serie de contribuciones, tales como: proporcionar sugerencias para solucionar futuros problemas y clarificar resultados, lograr la comprensión del
problema y,
la
ya
anteriormente mencionada, guía
de
perfeccionamiento. La evaluación es realizada con fines de rendimiento de cuentas, realizada por expertos externos a la institución
PROPUESTA DE PÉREZ JUSTE Pérez Juste define la evaluación de programas como:
“El proceso sistemático, diseñado intencional y técnicamente, de recogida de información rigurosa -valiosa, válida y fiable-, orientado a valorar la calidad y los logros de un programa, como base para la posterior toma de decisiones de mejora tanto del programa como del personal implicado y, de modo indirecto, del cuerpo social en que se encuentra inmerso”. (2006). Además de esta definición, Pérez Juste, plantea y desarrolla un modelo de evaluación en el que se cumplen tres funciones: 1. Función preventiva. 2. Función formativa. 3. Función sumativa. Se trata de un modelo dirigido y del que se pueden beneficiar todas aquellas personas interesadas en evaluar algún programa educativo, siendo la persona que evalúa un experto. Dicho experto, debe evaluar de una manera sistemática, basándose en las cuatro fases o momentos de los que se compone este modelo. Estos momentos son, en primer lugar, la evaluación del programa en cuanto tal. Un segundo momento es el de la evaluación del proceso de implantación e implementación. El tercer momento consiste en la evaluación de los resultados del programa. Y, por último, un cuarto momento en el que se produce la institucionalización de la evaluación. Para llevar a cabo esta evaluación y, por consiguiente, cada uno de los momentos de la misma, anteriormente descritos, se utiliza una metodología tanto cuantitativa como cualitativa, no siendo ninguna de ellas mutuamente excluyentes, sino todo lo contrario, aportando lo mejor y lo más adecuado de cada una para conseguir una complementariedad metodológica. Mediante este modelo de evaluación se consigue recoger una serie de información que abarca todo el programa objeto de evaluación, es decir, se recoge información acerca del programa, de los contextos y de los resultados. Esta información será recogida según el momento en el que se encuentre la evaluación, de este modo, en un primer momento, la información será acerca del programa, de su fundamentación y formulación, de su relación con las necesidades, demandas,
carencias,… y sobre la calidad técnica del diseño de la evaluación. En un segundo momento, la información que se recogerá va a ser la referida al desarrollo del programa, sus resultados intermedios y sus efectos no planteados. Finalmente, se recogerá información sobre los resultados y sus efectos no planteados. Para recopilar toda esta información, se pueden utilizar una serie de instrumentos que, como anteriormente se menciona, pueden basarse tanto en la metodología cuantitativa como en la metodología cualitativa, así se pueden tener en cuenta instrumentos como: la observación, las entrevistas, los cuestionarios, las pruebas de rendimiento, Delphi, juicio de expertos y registros. Directamente, este modelo resulta de utilidad para la mejora de los programas, del educando y del educador. Indirectamente, contribuye a la mejora de las variables organizativas, técnicas y medioambientales, así como al desarrollo de teorías de programas, complementariedad metodológica y técnica. Todo ello a través de (tal y como describe Pérez Juste en su definición de evaluación de programas), la recogida de información rigurosa: valiosa, válida y fiable.