Fundamentos de la evaluación by Julio Muñoz Solís Uic

UNIVERSIDAD PONTIFICIA DE MÉXICO PROYECTO DE EVALUACIÓN INSTITUCIONAL LA INVESTIGACIÓN EVALUATIVA EN LA UNIVERSIDAD PONTIFICIA DE MÉXICO PUNTOS TEÓRICOS DE ACUERDO Por: Julio Muñoz Solís Asesor PRIMERA PARTE: FUNDAMENTOS TEÓRICOS 1. 1.1.

PRESUPUESTOS TEÓRICOS DE LA EVALUACIÓN EDUCATIVA

ANTECEDENTES DE LA EVALUACIÓN

Ralph Tyler fue quien introdujo el término evaluación educativa en los años 30’s, el cual hacía referencia a los procedimientos utilizados para valorar los progresos del estudiante hacia la consecución de los objetivos de aprendizaje. En su modelo curricular, Tyler consideraba a la evaluación como una parte integral del proceso educativo y no como algo externo o impuesto, al mismo nivel que los objetivos y las estrategias de aprendizaje. Argumentaba la importancia de los procedimientos evaluativos para contar con información acerca del grado en que los objetivos habían sido alcanzados y acerca de la propiedad y eficacia de las experiencias de aprendizaje. En respuesta al enfoque de las teorías asociacionistas de la Psicología, que habían pugnado por establecer en educación la visión de los objetivos conductuales específicos, Tyler consideraba que los objetivos deberían comprender desde la adquisición de un conjunto específico de habilidades, hasta la completa reorganización del estilo de vida. Las consecuencias para la evaluación comprendían la valoración del estudiante no solo en cuanto a los conocimientos adquiridos, sino también en cuanto al desarrollo de procesos afectivos en el ámbito educativo. Las ideas de Tyler acerca de la evaluación educativa tuvieron eco tanto en la valoración de las consecuencias de aprendizaje en el estudiante, como en la evaluación de los programas educativos. La lógica del proceso era sencilla: al formular objetivos claramente especificados se podría estimular la construcción de instrumentos válidos y sistemáticos que sirvieran a su vez de base para juzgar la pertinencia de un programa. La vigencia de las ideas de Tyler en evaluación del aprendizaje y de los programas educativos es constatable no sólo por el rango que actualmente tiene ésta en la planeación y el desarrollo curricular, sino por las bases racionales y sistemáticas que impuso en este campo el modelo de evaluación por objetivos. El interés despertado en los años 60’s y 70’s por la evaluación educativa se debió en gran parte a la promulgación en Estados Unidos del “Acta de Educación Elemental y Secundaria” en 1965. En esta acta, el gobierno pretendía estimular el desarrollo de los sectores de la población menos favorecidos mediante el aumento de fondos a los programas de salud, sociales y educativos. Sin embargo, para asegurar que los fondos fueran utilizados de manera eficiente, exigía que los programas fueran evaluados anualmente, de manera sistemática y objetiva. De esta evaluación dependía la continuación del suministro de fondos en el caso de los programas educativos a los diferentes distritos escolares. Bajo este tenor, los mismos administradores estimularon la incorporación de nuevos elementos de la práctica evaluativa que pudieran cubrir los requerimientos del acta. En este contexto, surgieron conceptualizaciones que reconocían la necesidad de evaluar las metas y los costos, la eficiencia en la aplicación de los procedimientos, y los resultados últimos de los programas. Es decir, la evaluación salió del ámbito del aula, para incorporar criterios más amplios que respondieran a las necesidades de la administración educativa. Quedaba atrás la idea de Tyler acerca de que la evaluación debía ser una parte integral del proceso educativo, ante la “objetividad” que implicaba la supervisión y la evaluación externa. Las nuevas condiciones y necesidades evaluativos exigían una profesionalización del evaluador, con una sólida preparación metodológica y conceptual, que hiciera frente a las demandas del campo. Surgen sociedades y 1

comité s del gobierno y de las universidades dedicados a la evaluación, se crearon centros de estudios y revistas especializadas que se encargaron de formar a los nuevos evaluadores. En México, la Dirección General de Evaluación de la Secretaría de Educación Pública llevó a cabo en 1978 la evaluación del aprovechamiento de los escolares de 4º y 5º grados de la educación primaria a nivel nacional, relacionado con el desempeño del docente. Posteriormente, entre los años de 1980 y 1982 se realizó la evaluación de los programas integrados de 1º y 2º grados, como un paso previo para la implantación definitiva de estos programas. En 1979 se puso en operación el programa de Evaluación del Sistema de Educación Tecnológica, como una acción permanente del Consejo del Sistema Nacional de Educación Tecnológica. Aportaciones pedagógicas a la teoría de la Evaluación A partir de las ideas de Tyler y del impuesto generado por las disposiciones oficiales de la dé cada de los 60’s, el concepto de evaluación educativa ha sufrido un proceso de transformación importante. Algunas de las aportaciones más representativas son:  L. J. Cronbach (1963): afirma que la evaluación debe tener la finalidad de apoyar a los que elaboran el currículo, por lo cual debe focalizarse hacia la búsqueda de información oportuna, exacta, válida y amplia sobre la labor educativa. 

M. Scriven (1967): Sostiene que la evaluación consiste en la constatación del valor o mérito del programa educativo, no solo por los resultados que se esperan de él en cuanto a los objetivos planteados, sino por las consecuencias imprevistas que surgen en su desarrollo. Se aleja de la concepción tyleriana acerca de la evaluación con base en los objetivos propuestos, para tomar en cuenta a los resultados imprevistos, que en realidad educativa son materia común.



B. Macdonald (1971): es uno de los representantes de la posición inglesa en evaluación. Esta posición se adscribe a las aproximaciones descriptivas, cualitativas y sobre todo “naturalistas” en la investigación evaluativa. MacDonald concibe a la evaluación como una descripción holística del programa, que tomó en consideración todos sus componentes: participantes, procesos didácticos y de interrelación, contexto de la acción educativa, resultados, etc., y las variantes que implica la acción educativa cada vez que se pone en operación.



M. Parlett y D. Hamilton (1972): Surgida de la misma tradición inglesa en evaluación, la propuesta de estos autores tiene las bases antropológicas y naturalistas de MacDonald. La “evaluación iluminativa” de Parlett y Hamilton es todo un enfoque metodológico de la investigación evaluativa. No se dirige hacia la valoración o la predicción, sino a la descripción y la interpretación de los programas. La evaluación en este enfoque pretende estudiar exhaustivamente sobre todo los programas innovadores: cuáles son sus características centrales y cuáles son secundarias, cuáles son las consecuencias de su operación en los alumnos, la comunidad escolar y el contexto social, qué significado tiene para profesores y alumnos el ser participantes y cuáles son los procesos críticos que se generan.



D. L. Stufflebeam (1971, 1972, 1987): Ha ejercido una notable influencia en la conceptualización y desarrollo de los procesos evaluativos. Su modelo CIPP (Contexto, Insumos, Procesos y Productos) ha sido muy popular entre los evaluadores latinoamericanos. Este modelo, desarrollado conjuntamente con Egon Guba en 1970, parte de una concepción sistémica de la evaluación, la cual es concebida como el proceso de delinear, obtener y proporcionar información útil para juzgar decisiones alternativas. En esta definición se expresan los rudimentos de los que parte el modelo: -

La evaluación debe ser un proceso continuo y sistemático y no solamente dirigirse hacia la contrastación de los resultados con los objetivos propuestos en el programa.

Es necesario que el proceso evaluatorio contenga tres pasos fundamentales: a) delimitar los interrogantes que deben ser contestados, b) obtener información relevante para dar respuesta a tales interrogantes, y c) dirigir la información a quienes toman las decisiones.

La información resultante debe ayudar a administrar y perfeccionar los programas educativos. El valor de la información es la utilidad que puede tener para los directivos de proyectos, directores y personal escolar en la toma de decisiones sobre los cambios necesarios en los programas.



M. Provus (1969): Pertenecientes al grupo “Phi Delta Kappa” dirigido por Stufflebeam, Malcolm Provus creó el modelo de las Discrepancias. En este modelo, la evaluación se define como el proceso de: a) acordar los estándares del programa, b) determinar la existencia de discrepancias entre algún aspecto del programa y los estándares de ejecución de tal aspecto, y c) usar la información de las discrepancias para identificar las inconsistencias del programa. En esta definición, Provus retoma la tradición tyleriana desde un punto de vista sistémico, al indicar que los estándares o normas son de dos tipos: de contenido y de desarrollo. La determinación de las normas de contenido se realiza a través de la identificación de los insumos que serán procesados para llegar a determinados productos. Las normas de desarrollo se dividen en cinco etapas: el diseño, la instalación, el proceso, el producto y el costo.



R. Stake (1975): La evaluación es definida como el valor observado en un programa comparado con alguna norma. En esta definición aparentemente escueta y sin mucho significado, Stake toma en cuenta dos elementos que según este autor son las principales tareas de la evaluación: la descripción y el juicio de un programa. La descripción se extiende a todo el ámbito evaluable y a toda información pertinente para evaluar el programa en cuanto a los antecedentes, los procesos didácticos y los resultados escolares. Los juicios son las normas que establecen los distintos participantes según sus propias expectativas de aquello que esperan del programa. Inclusive, Stake desaprueba que el evaluador establezca las normas de contrastación: estas deben derivarse de los juicios de líderes sociales, expertos en el tema, profesores, padres y estudiantes.



S. Kemmis (1986): Discípulo de Stake, Steve Kemmis es uno de los nuevos conceptualizadores del campo de la evaluación. Para él, la evaluación es el proceso de proyectar, obtener, proveer y organizar informaciones y argumentos que permitan a las personas y grupos interesados participar en el debate crítico sobre un programa específico. La evaluación no tiene por objeto resolver o evitar un conflicto, sino proporcionar la información básica necesaria para que los implicados en el programa puedan formular sus propios juicios y llegar a un acuerdo para su solución.

1.2.

CONCEPTUALIZACIÓN DE LA EVALUACIÓN

La evaluación es una actividad recurrente por las personas, pues evaluamos la calidad de los productos industriales, la prontitud y eficiencia de los servicios, los beneficios y eficacia de los programas sociales, etc. Por tanto, la evaluación es la reflexión valorativa acerca del desarrollo de ciertas acciones emprendidas. Todos tenemos experiencia en la evaluación personal de los productos sociales: expresamos ante nuestros amigos lo que a nuestro juicio es acertado o desatinado en tales productos y adelantamos una opinión acerca de cómo podrían marchar mejor las cosas. Estas actividades de valoración y enjuiciamiento son necesarias porque establecen el “clima social” que modifica o hace prevalecer determinadas decisiones de líderes o grupos socialmente relevantes. Sin embargo, nuestras actividades evaluativas generalmente son unilaterales y asistemáticas. Evaluamos según criterios y normas personales, y por tanto limitados a nuestra propia experiencia. Además, algunas veces los juicios de valor que expresamos son determinados por las circunstancias en las que se presenta el objeto de juicio, los valores morales o religiosos que 3

imperan, el grado de involucramiento que tengamos con el objeto o la persona evaluados, etc. Algunas veces tratamos de reunir información y ser objetivos y en otras nos conducimos por prejuicios, según nuestra experiencia y constante valoración. Es decir, en nuestros juicios empleamos una gran variedad de parámetros y criterios para concluir sobre el valor de algo. La evaluación es un elemento clave en todo proceso sistemático. Antes de efectuar un acto educativo debe establecerse la forma en que va a ser evaluado. No debe comenzarse la instrucción y después, al último minuto, establecer la forma como va a ser evaluada. Tal decisión debe tomarse durante el diseño del proceso. La evaluación es, por demás, un proceso permanente y se realiza antes, durante y después de la implantación del acto docente; comprende todos los elementos que componen dicho acto, tanto en su planificación como en su desarrollo y sus resultados. Es importante distinguir algunos conceptos fundamentales, tales como evaluación calificación y medida. El concepto de evaluación es el más amplio de los tres, aunque no se identifica con ellos. Se puede decir que es una actividad inherente a toda actividad humana intencional, por lo que debe ser sistemática, y que su objetivo es determinar el valor de algo (Popham, 1990). El término calificación, por su parte, está referido exclusivamente a la valoración de la conducta de los alumnos (calificación escolar). Calificar es una actividad más restringida que evaluar. La calificación será la expresión cualitativa (apto/no apto) o cuantitativa (10, 9, 8, etc.) del juicio de valor que emitimos sobre la actividad y logros del alumno. En este juicio de valor se suele querer expresar el grado de suficiencia o insuficiencia, conocimientos, destrezas y habilidades del alumno, como resultado de algún tipo de prueba, actividad, examen o proceso. La evaluación como tal, no la calificación, siempre se orienta para tomar decisiones. No basta con recoger información sobre los resultados del proceso educativo y emitir únicamente un tipo de calificación, si no se toma alguna decisión, no existe una auténtica evaluación. La evaluación es una actividad o proceso sistemático de identificación, recogida o tratamiento de datos sobre elementos o hechos educativos, con el objetivo de valorarlos primero y, sobre dicha valoración, tomar decisiones (García Ramos, 1989). La evaluación entonces es un proceso que implica recogida de información con una posterior interpretación en función del contraste con determinadas instancias de referencia o patrones de deseabilidad, para hacer posible la emisión de un juicio de valor que permita orientar la acción o la toma de decisiones. También deben diferenciarse los conceptos de investigación y evaluación. Ambos procesos tienen muchos elementos comunes, aunque se diferencian en sus fines: La evaluación es un proceso que busca información para la valoración y la toma de decisiones inmediata; se centra en un fenómeno particular. No pretende generalizar a otras situaciones. La investigación, por su parte, es un procedimiento que busca conocimiento generalizable, conclusiones (principios, leyes y teorías), no tiene necesariamente una aplicación inmediata (De la Orden, 1989), sin embargo existe una estrecha relación entre ellas pues la evaluación genera elementos para la investigación y la investigación es previa al proceso evaluativo. 1.2.1. Tipos de evaluación 1.2.1.1.

Según su finalidad

- Función diagnóstica: Según, Pérez R. (1997), la evaluación precisará del diagnóstico para la realización de “pronósticos que permitan una actuación preventiva y que faciliten los juicios de valor de referencia personalizada, además, para personalizar el proceso educativo con objetivos adecuados de nivel y de campo, las técnicas de motivación, las actividades o la metodología. El diagnóstico será, así mismo, un momento clave en todas las situaciones de recuperación, e imprescindible en las de fracaso reiterado que exigen un estudio de casos. - Función formativa: se utiliza preferentemente como estrategia de mejora y para ajustar sobre la marcha, los procesos educativos de cara a conseguir las metas u objetivos previstos. Es la más apropiada para la evaluación de procesos, aunque también es formativa la evaluación de productos educativos, siempre que sus resultados se empleen para la mejor de los mismos. Suele identificarse con la evaluación continua. 4

- Función sumativa: suele aplicarse más en la evaluación de productos, es decir, de procesos terminados, con realizaciones precisas y valorables. Con la evaluación no se pretende modificar, ajustar o mejorar el objeto de la evaluación, sino simplemente determinar su valía, en función del empleo que se desea hacer del mismo posteriormente.

1.2.1.2. Según su extensión Evaluación global: se pretende abarcar todos los componentes o dimensiones de los alumnos, del centro educativo, del programa, etc. Se considera el objeto de la evaluación de un modo holístico, como una totalidad interactuante, en la que cualquier modificación en uno de sus componentes o dimensiones tiene consecuencias en el resto. Con este tipo de evaluación, la comprensión de la realidad evaluada aumenta, pero no siempre es necesaria o posible. El modelo más conocido es el CIPP de Stufflebeam. Evaluación parcial: pretende el estudio o valoración de determinados componentes o dimensiones de un centro, de un programa educativo, de rendimiento de un alumno, etc.



1.2.1.3. Según los agentes evaluadores Evaluación interna: es aquella que es llevada a cabo y promovida por los propios integrantes de un centro. Esta modalidad ofrece diversas alternativas de realización: autoevaluación, heteroevaluación y coevaluación. Autoevaluación: los evaluadores evalúan su propio trabajo (un alumno su rendimiento, un centro o programa su propio funcionamiento, etc). Los roles de evaluador y evaluado coinciden en las mismas personas. Heteroevaluación: evalúan una actividad, objeto o producto, evaluadores distintos a las personas evaluadas (el Consejo Escolar al Claustro de profesores, un profesor a sus alumnos, etc.). Coevaluación: es aquella en la que unos sujetos o grupos se evalúan mútuamente (alumnos y profesores mutuamente, unos y otros equipos docentes, el equipo directivo al Consejo Escolar y viceversa). Evaluadores y evaluados intercambian su papel alternativamente.



 Evaluación externa: se da cuando agentes no integrantes de un centro escolar o de un programa evalúan su funcionamiento. Suele ser el caso de la "evaluación de expertos". Estos evaluadores pueden ser inspectores de evaluación, miembros de la Administración, investigadores, equipos de apoyo a la escuela, etc. Estos dos tipos de evaluación son muy necesarios y se complementan mutuamente. En el caso de la evaluación de centro, sobre todo, se están extendiendo la figura del "asesor externo", que permite que el propio centro o programa se evalúe a sí mismo, pero le ofrece su asesoría técnica y cierta objetividad por su no implicación en la vida del centro. En nuestra Universidad insistiremos en esta conjunción de procesos evaluativos. 



1.2.1.4. Según el momento de aplicación: Evaluación inicial: se realiza al comienzo del curso académico, de la implantación de un programa educativo, del funcionamiento de una institución escolar, etc. Consiste en la recogida de datos en la situación de partida. Es imprescindible para iniciar cualquier cambio educativo, para decidir los objetivos que se pueden y deben conseguir y también para valorar si al final de un proceso, los resultados son satisfactorios o insatisfactorios. Evaluación procesual: consiste en la valoración a través de la recogida continua y sistemática de datos, del funcionamiento de un centro, de un programa educativo, del proceso de aprendizaje de un alumno, de la eficacia de un profesor, etc. a lo largo del periodo de tiempo fijado para la consecución de unas metas u objetivos. La evaluación procesual es de gran importancia dentro de una concepción formativa de la evaluación, porque permite tomar decisiones de mejora sobre la marcha. Evaluación final: consiste en la recogida y valoración de unos datos al finalizar un periodo de tiempo previsto para la realización de un aprendizaje, un programa, un trabajo, un curso 5

escolar, etc. o para la consecución de unos objetivos. 1.2.2. Objetivos de la evaluación Hemos dicho que la evaluación un proceso permanente mediante el cual se conoce, se mide y se dan opiniones sobre todas las circunstancias y elementos que intervienen en la planificación y ejecución del acto docente, con el fin de revisarlos para su mayor eficiencia en el logro de los objetivos. La evaluación se refiere tanto a las circunstancias que rodean al acto docente (contexto) como a los elementos que intervienen en su planificación y ejecución (proceso), como al logro de los objetivos (resultados). 1.3.

PERSPECTIVAS DE LA EVALUACIÓN

La evaluación de las instituciones educativas se desarrolla a partir de demandas externas o en virtud de necesidades internas relacionadas con la mejora de la institución desde dos vertientes: 1.3.1. La rendición de cuentas (accountability): Se considera como prioritario que las instituciones den cuenta socialmente tanto de su eficiencia en la utilización de los recursos cono de su eficacia en el logro de los objetivos pertinentes. Parte de la idea de la idea de “evaluación como control”, y un concepto de calidad asociada a factores relacionados con la eficacia y eficiencia de las instituciones educativas. La accountability se basa en el criterio de eficacia social (Santos, 1998:17) ya que la educación utiliza fondos públicos y es preciso saber cómo se están utilizando. “La responsabilidad política, social y técnica exige garantías y comprobaciones de que se está trabajando con seriedad y eficacia” (Santos, Ibid). McCormik y James (1995) señalan tres opciones para el término en cuestión: Rendición de cuentas a los clientes (padres y alumnos) como una especie de rendición de cuentas moral; Responsabilidad ante uno mismo y sus compañeros: rendición de cuentas profesional; Rendición de cuentas en sentido estricto: auditoría. Habitualmente la palabra accountability se relaciona con la tercera acepción, a pesar de que es posible incluir en ella –tal como lo hace el autor- las otras dos. En otras palabras, el término en cuestión alude a la necesaria transparencia con que las instituciones educativas deben dar cuenta a la ciudadanía de la forma cómo utilizan los recursos. Se trata de una fase de la evaluación, que no agota el proceso pero es una parte importante del mismo. Generalmente se lo asocia a conceptos tales como el rendimiento, la productividad, la rentabilidad o dicho de otra manera a la evaluación económica de la institución. Informa acerca de las ponderaciones que al interior de la institución guían la asignación de los recursos, generalmente a partir de definiciones y establecimiento de prioridades derivados de diagnósticos sectoriales o centrales. Una buena rendición de cuentas permite analizar las prioridades que en materia educativa se le asignan a las distintas funciones o actividades educativas, así como determinar de forma bastante certera si dichas decisiones se respaldan en objetivos estratégicos o no. La eficiencia es quizá el concepto más directamente relacionado con este asunto ya que ésta se define como la relación entre los productos o resultados esperados y los costos de los insumos o procesos de apoyo o funcionamiento que implica. Esta relación pude establecerse de diferentes maneras y utilizando diversas técnicas procedentes del análisis económico (costo-beneficio, costo-eficacia o efectividad) Las aproximaciones a un cálculo de costo-beneficio en el campo de lo educativo son muy complejas por la dificultad en valorar y traducir en unidades comparables –monetarias o nolos beneficios o resultados muchas veces “intangibles” de las acciones educativas, en relación con los costos de los recursos que insumen las posibles alternativas de inversión. En esta dirección es posible encontrar análisis economicistas de los procesos educativos que coinciden en analizarlos como gasto educativo y en algunos casos inversión y que vinculan este gasto y/o inversión al crecimiento económico de las naciones, postura defendida sobre todo por organismos internacionales de financiamiento.

1.2.3. Cualitativa (improvement): Se entiende que la finalidad más importante de todo proceso evaluativo es incidir en la toma de decisiones que optimicen el funcionamiento de la propia institución como estrategia para mejorar resultados. Según Eisner 81998), La evaluación educativa es una actividad compleja de expertos que implica no sólo apreciar y experimentar las cualidades significativas de la obra educativa, sino que exige también la capacidad de revelar al público lo observado no como mera traducción sino como reconstrucción de la obra en forma de una narración argumentada. En este sentido la evaluación es la descripción de la situación educativa observada por el evaluador; que pretende valorar el proceso de aprendizaje a través de la descripción de lo que el estudiante ha logrado, lo que falta por alcanzar y lo que no ha logrado. Los defensores del enfoque cualitativo consideran cada fenómeno educativo como algo único, condicionado por las circunstancias peculiares del contexto donde se produce, lo que dificulta la posible generalización de sus resultados. Por lo tanto proponen la práctica de la evaluación de los fenómenos educativos en sus contextos naturales y la utilización de procedimientos e instrumentos que permitan captarlos en su integridad. Así, en lugar de aislar variables y efectuar mediciones en un momento dado, proponen observar los fenómenos educativos en su complejidad, siguiéndolos a medida que se van produciendo y describiendo sus manifestaciones con el mayor de los detalles. No se rechaza la utilización de datos cuantitativos, pero consideran que cualquier fenómeno educativo no se puede reducir a una simple medición, es necesaria e imprescindible la explicación de los fenómenos y procesos a valorar. 1.2.4. Conjunción de ambas perspectivas: Regularmente estos dos tipos de propósitos han sido considerados como opuestos. Los diseños orientados hacia la rendición de cuentas se han centrado fundamentalmente en la evaluación de resultados medibles a través de metodologías cuantitativas y han sido definidas especialmente por audiencias externas (administradores, clientes y usuarios). Por el contrario las evaluaciones orientados hacia la mejora, que son las preferidas por el profesorado, regularmente, se han centrado esencialmente sobre los aspectos deficitarios del contexto, el input y el proceso, y tienden a utilizar predominantemente metodologías cualitativas. Nosotros consideramos que se pueden y deben compatibilizar ambos propósitos evaluativos a la hora de elaborar un diseño orientado hacia la mejora de la calidad educativa de la Institución pues no es posible llevar a cabo una evaluación orientada hacia la mejora que no parta de un análisis minucioso de todos los factores implicados en la organización, funcionamiento y resultados de las escuelas ya que de lo contrario, las propuestas de mejora podrían considerarse como descontextualizados. De igual modo, también es impensable que un proceso evaluativo se establezca únicamente para rendir cuentas y no genere procesos de toma de decisiones que impliquen propuestas de mejora de las instituciones. Creemos que toda evaluación de centros debe incluir, de una parte, toda una serie de juicios relativos a resultados, especialmente los relativos al progreso de los alumnos y la gestión de la institución como estrategia adecuada para promover la rendición de cuentas interna y externa y, de otra, un conjunto de valoraciones a partir de las evidencias detectadas respecto a la estructura y funcionamiento de la propia organización con los correspondientes indicadores de mejora. Se trata, por tanto, de conjugar la utilización de los datos obtenidos sobre una institución tanto con fines sumativos, para rendir cuentas ante las audiencias implicadas, como formativos para incidir en el desarrollo de la propia institución. Por ello, nosotros planteamos los modelos y diseños evaluativos sobre las escuelas de forma integradora, es decir, asumiendo tanto la función sumativa como la formativa, el punto de vista interno y externo, el dato y la propuesta.

DETERMINACIÓN DEL PROCESO DE EVALUACIÓN

La evaluación educativa es una actividad sistemática y, como tal debe ser sometida a una planificación previa y a un cierto control en su ejecución. Las fases y componentes principales son: 2.1.

Fases de la evaluación

2.1.1. Fase de sensibilización Consiste en tomar conciencia y clarificar qué se pretende alcanzar y cómo se va a llevar a cabo el proceso de evaluación. Preparar los recursos y guías necesarias para todo el proceso y decidir el personal interno y externo, es decir el Comité de evaluación del Centro. 2.1.2. Fase de planificación El producto final se materializa en el Plan de Evaluación. Este permite articular todos los factores que intervienen en el proceso de evaluación con la finalidad de garantizar la veracidad y rigor de los datos, así como la validez y eficacia de las conclusiones. En un Plan de Evaluación hay que contemplar, al menos los siguientes puntos: Descripción clara del problema o factor desencadenante del estudio de evaluación. Definición del ámbito y finalidad del estudio. Elección del enfoque metodológico apropiado: cuantitativo y cualitativo o una conjunción de ambos. Especificación, si procede, de los indicadores de calidad y preparación de los procedimientos y/o instrumentos de recogida de datos. Determinación de los procedimientos de análisis e interpretación de los datos. Previsión de mecanismos de discusión y elaboración de conclusiones. Asignación de responsabilidades a los participantes. Temporalización de las diferentes fases y actuaciones. Presupuesto económico.

2.1.3. Fase de ejecución El objetivo principal de esta fase es recoger la información necesaria sobre la que sustentar los juicios de valor consiguientes. Es el eje esencial de todo estudio de evaluación: del mayor o menor rigor con que se ejecuten todos sus pasos dependerá la fiabilidad y veracidad de la información y consecuentemente, la validez de las conclusiones. Esta fase puede contemplar los siguientes procesos: 2.1.3.1. Fase de autoestudio: Comienza con un autoanálisis sobre la realidad educativa de la institución, el objetivo es llegar a que la propia institución tome conciencia de sus fortalezas y debilidades; oportunidades y amenazas. Los aspectos fundamentales del autoestudios deben plasmarse en un documento: Autoinforme. Para ello contextualizaremos la evaluación diagnóstica. 2.1.3.2. Fase de evaluación externa: Para validar el autoestudio, es necesario la presencia de agentes externos partiendo del autoinforme elaborado. Ellos emitirán su propio juicio ante el proceso realizado y sus propias valoraciones y propuestas sobre la Institución. El documento resultante será: El Informe externo. 2.1.4. Fase de elaboración y publicación de los resultados Es el último momento del proceso de evaluación, en el que tiene lugar la formulación del juicio o juicios de valor sobre el objeto de la evaluación. Consiste en elaborar un plan estratégico en relación con el futuro de la institución especificando los objetivos a alcanzar a corto, mediano y largo plazo, las acciones a emprender para alcanzar estos objetivos, la preparación de los recursos necesarios para su implementación y la previsión de los sistemas de control y evaluación con el fin 8

de que el plan se lleve a cabo en los términos que había sido elaborado y se obtengan los resultados. 2.1.5. Diseño del Plan de Mejora Lo último del proceso es el diseño del plan de mejora que debe contemplar la existencia del proceso evaluativo formativo y sumativo a corto, mediano y largo plazo. Nuestra perspectiva en la Universidad Pontificia de México A lo largo del texto hemos venido perfilando nuestra propia estrategia de evaluación que está centrada en una visión integral de la misma en vistas a la mejora de nuestra Institución y de la revisión del Modelo Educativo. Es muy fácil promover la calidad en el funcionamiento de una institución desde fuera, sin embargo creemos que son los propios miembros de una institución quienes deben tomar conciencia de que necesitan mejorar su organización y poner los medios adecuados para ello. El carácter contextual que debe tener toda evaluación de servicios sociales hace que nos inclinemos a favor de la evaluación interna, lo que significa que consideremos que la responsabilidad en la iniciativa y la ejecución de la tarea evaluadora debe recaer sobre la propia institución. Pues solo en la medida en que las instituciones educativas se consideren organizaciones que necesitan aprender, cobra sentido la utilidad de la estrategia evaluativa como herramienta para la mejora. La evaluación externa, especialmente cuando no es reclamada desde la institución, adquiere un significado de auditoría. Si el objetivo es promover la mejora, la institución escolar es la que debe asumir la responsabilidad de organizar y controlar el proceso. El procedimiento más apropiado para realizar una evaluación orientada hacia la mejora es el que se conoce como evaluación institucional. El concepto de evaluación institucional constituye un modelo que postula la integración de distintas modalidades de la evaluación, asume que el proceso debe ser autorregulado por la propia institución pero no excluye la participación en el proceso de otros evaluadores ya que se considera que la revisión interna adquiere credibilidad en la medida que es constatada externamente. Todos estos procesos son dirigidos y controlados por la propia institución, lo que lo distingue de otras modalidades evaluativas donde la responsabilidad recae sobre órganos externos a la misma. Este modelo fue propuesto por el español Rodríguez Espinar y será el fundamento teórico de nuestra práctica evaluativa.

Bibliografía CARBALLO, R. (1990):"Evolución del concepto de evaluación: „ desarrollo de los modelos de evaluación de Programas".Bordón, 42 (4), (pp.423-431). DE MIGUEL, M; MORA, J.G. y RODRIGUEZ ESPINAR, S. (1991). La evaluación de las Instituciones Universitarias. Secretaría General del Consejo de Universidades. Madrid. GARCIA RAMOS, J.M. y PÉREZ JUSTE, R. (1989): Diagnóstico, evaluación y toma de decisiones. Rialp. Madrid. GARCIA RAMOS, J.M. (1989): Bases pedagógicas de la evaluación. Madrid: Síntesis. GIBBON, F. (1990).Performance Indicators.Clevendon: Multibilingual Matters. GONZÁLEZ SOLER, A. (1994): "Análisis de las 77 medidas propuestas por el MEC para incrementar la calidad de la educación" en Bordón 46 (3), pp. 315-327. HUSSEN, T. coord. (1990). Enciclopedia Internacional de la Educación. Ediciones Vicens-Vives. MEC., vol 5. STUFFLEBEAM, Daniel. SHINKFILED, Daniel, A. 1995. Evaluación Sistemática, Paidos. España.