LA EVALUACIÓN: INSTRUMENTO PARA LA MEJORA DE LA PRÁCTICA
OBJETIVOS 1. Reflexionar sobre la importancia de la evaluación en proyectos de acción social. 2. Saber diseñar un proceso de evaluación. 3. Conocer una forma de diseño que facilite la realización de la evaluación. 4. Analizar los distintos elementos de la evaluación. 5. Saber aplicar algunas técnicas de evaluación. 6. Aprender a elaborar indicadores. 7. Comprender las estrategias para llevar a cabo una evaluación participativa.
M.M. Herrera Menchén
Evaluación
ESQUEMA 1. CONCEPTO DE EVALUACIÓN. 2. LA EVALUACIÓN DE PROGRAMAS 3. EL PROCESO EVALUADOR 3.1. Concepto de evaluación 3.2. La evaluación de programas 3.3. Características de la evaluación 3.4. La evaluación para la toma de decisiones 3.5. La evaluación que permite diseñar acciones futuras. 4. LA EVALUACIÓN PARTICIPATIVA 5. LOS OBJETIVOS Y FUNCIONES DE LA EVALUACIÓN 6. LOS TIPOS DE EVALUACIÓN EN LA EDUCACIÓN SOCIAL Y LA ASC. 6.1. LA EVALUACIÓN DE NECESIDADES, INTERESES Y RECURSOS. 6.2. LA EVALUACIÓN CONTINUADA DEL PROCESO O SEGUIMIENTO 6.3. LA EVALUACIÓN DE RESULTADOS. 6.4. LA EVALUACIÓN DEL IMPACTO. 7. EL DISEÑO DE LA EVALUACIÓN: 7.1. TIPOS DE EVALUACIÓN 7.2. FASES DE LA EVALUACIÓN. 7.3. NIVELES 7.4. INDICADORES 7.5. TÉCNICAS 7.6. INSTRUMENTOS 7.7. CANALES DE RECOGIDA Y DISTRIBUCIÓN DE LA INFORMACIÓN 8. TABULACIÓN DE LOS DATOS 9. ANALISIS E INTERPRETACIÓN DE LOS DATOS 10. DISTRIBUCIÓN DE RESULTADOS: REDACCIÓN DE MEMORIAS E INFORMES 10.1.
CÓMO GARANTIZAR LA UTILIZACIÓN DE LOS RESULTADOS DE LA
EVALUACIÓN. 11. REFERENCIAS BIBLIOGRÁFICAS 12. GLOSARIO DE TÉRMINOS 13. “Guía para el diseño de la evaluación”
2
M.M. Herrera Menchén
Evaluación
PREGUNTAS PARA LA REFLEXIÓN PREVIA 1. ¿Qué relación existe a tu juicio entre la planificación y la evaluación? 2. ¿En qué sentido la evaluación puede ser útil a la planificación?
1. CONCEPTO DE EVALUACIÓN
A lo largo de la pequeña historia de la evaluación varios han sido los conceptos de evaluación manejados. En 1967, Scriven decía que la evaluación “supone la estimación del mérito de un objeto” (102). Tyler, en 1950, había completado este concepto, siempre dentro del marco educativo formal, aclarando qué supone mérito o valor y definía la evaluación como “el proceso de determinar en qué medida los objetivos de un programa se han alcanzado” (54).
Una de las definiciones más aceptada por la mayoría de los científicos del área acerca de evaluación es la del Comité conjunto de estándares para la evaluación educativa “la investigación sistemática del valor o el mérito de un objeto” (1998: 30). Stufflebeam y Shinkfield (1995) indican que la base de esta definición es la palabra valor e implica que la evaluación siempre supone juicio. Scriven (1981) sin embargo ya había indicado la diferencia entre valía y mérito en el sentido de que un programa puede ser meritorio pero no válido, aunque lógicamente un programa que no sea meritorio no puede ser válido. Los autores entienden en este caso que la valoración en la evaluación ha de tener en cuenta tres criterios:
•
Las distintas expectativas de los clientes.
•
El mérito o excelencia del servicio en cuestión.
•
Hasta que punto el servicio es necesario (es decir su validez potencial).
En realidad, Stufflebeam y Shinkfield definen la evaluación como “un estudio sistemático planificado, dirigido y realizado con el fin de ayudar a un grupo de clientes a juzgar y/o perfeccionar el valor y/o mérito de algún objeto” (1995: 67). Destacan los autores que en la evaluación han de resaltarse tres aspectos: el primero, que la evaluación necesita ser comparativa; el segundo, que hay que tener en cuenta las principales utilizaciones de la evaluación y por último, que se debe reflexionar sobre la necesidad o no de que los evaluadores tenga una cualificación especial. La evaluación deberá ser siempre comparativa al inicio del proceso, no comparativa durante el
4
M.M. Herrera Menchén
Evaluación
proceso y periódicamente comparativa después del proceso. En cuanto a la utilización, consideran que tiene tres principales: perfeccionamiento (información que se proporciona para asegurar la calidad de un servicio, se trata de servir de guía para tomar decisiones y por tanto va dirigida a los gestores del programa), recapitulación (análisis retrospectivos acerca de proyectos terminados, es información dirigida a los patrocinadores de los programas y no tanto a los gestores) y ejemplificación (cuando las evaluaciones tienen en cuenta que sus conclusiones pueden ser utilizadas en el contexto de una investigación que se proponga una comprensión más amplia de los fenómenos examinados en la evaluación).
Estos autores consideran que las verdaderas evaluaciones no pueden ser tendenciosas ni realizadas para justificar y que deben estar basadas en cuestiones de valor y mérito. En su libro1, recogen los modelos que a su entender son verdaderas evaluaciones: los de Scriven, Stake, Tyler, Cronbach, etc.
En este recorrido por los distintos conceptos de evaluación es necesario recordar algunas dificultades que Barbier (1993) ha detectado respecto a la dimensión de la propia evaluación. En primer lugar, la dificultad de abordar el problema de la naturaleza misma de la evaluación. En este sentido existen dos aproximaciones al procesos de evaluación, una instrumental (centrada en los métodos y las técnicas) y otra aproximación más global más crítica y más normativa, que se centra en los objetos de evaluación y los criterios a utilizar y que se interesa especialmente por las relaciones entre el poder y la evaluación. La distinción básica esta en considerar la evaluación como un simple procedimiento o como un proceso social global. En la cita siguiente, el autor expresa una opinión que compartimos y que creemos que merece la pena resaltar:
“Para abordar
el problema de la naturaleza del proceso de evaluación
convendría por tanto, a nuestro juicio, esforzarse en considerar de manera consecuente los hechos de la evaluación como prácticas sociales, es decir, como prácticas que no se reducen ni a su aspecto puramente técnico ni a su aspecto puramente social, sino que representan en al un grado un proceso de transformación que lleva a un producto determinado y que implica a agentes
1
Ver Stufflebeam y Shinkfield (1995) opus cit.
5
M.M. Herrera Menchén
sociales
Evaluación
concretos que mantienen entre sí relaciones específicas” (Barbier,
1993:15)
2. LA EVALUACIÓN DE PROGRAMAS
Entraremos ahora a definir evaluación de programas. Para ello definiremos en primer lugar que entendemos por programa. Fernández-Ballesteros la define como “conjunto especificado de acciones humanas y recursos materiales diseñados implantados organizativamente en una determinada realidad social, con el propósito de resolver algún problema que atañe a un conjunto de personas” (1995:24). Si por planificar entendemos tomar una serie de decisiones sistemáticas para alcanzar del modo más eficaz posible un conjunto de objetivos durante un determinado período de tiempo (Rezsohazy, 1988), el programa será el plan de acción que permite lograr, de forma organizada y sistemática, a través de ciertas acciones unos objetivos. Todo programa cuenta con unos objetivos que se deben establecer en función de un análisis previo de necesidades. El programa, sus metas y objetivos, sus estrategias, deben estar adaptados a los destinatarios y sus necesidades. Además debe estar detallado cómo se llevará a cabo, cuáles serán sus estrategias, sus procesos y las responsabilidades y funciones del personal responsable. Han de describirse los medios y recursos, y además, éstos deben ser suficientes, adecuados y eficaces y debe incorporar un sistema que permita conocer los procesos, mejorarlos y valorar los logros (Pérez Juste, 2000).
Levine (1975:65) entendía por evaluación “el examen de los efectos, resultados u <outputss> de un programa”. Añadiendo al concepto tradicional, patrocinada por Tyler, de que la evaluación es determinar en qué medida se alcanzan los objetivos, se aclaran dos ideas acerca de que es el mérito o valor de un programa: primero, si se alcanzan los objetivos, segundo, si se han producido efectos o resultados.
Como apunta Fernández-Ballesteros (1995) el concepto de evaluación de programa se completa cuando se explica cómo y para qué. En el cómo, el Joint Commitee (1983) señalaba que era “la sistemática investigación del valor o mérito del programa”. En definitiva, la función primera de la evaluación es determinar el valor o el grado de éxito en la consecución de unos objetivos determinados. Así ha sido originalmente y tradicionalmente. Pero para hacer juicios de
6
M.M. Herrera Menchén
Evaluación
valor, ahí que tener criterios y normas de referencia que permitan ser el punto de referencia para los juicios. Por eso, Pinault y Daveluy (1989: 331) definen la evaluación de programa como:
“Un proceso que consiste en determinar y aplicar criterios y normas con el fin de emitir un juicio sobre los componentes del programa, tanto en el estadio de su concepción, como de la ejecución, así como sobre las etapas del proceso de planificación que son previas a la programación.”
En cuanto al para qué, Cronbach (1981) aportó que la evaluación de un programa pretende “la provisión de información para la toma de decisiones sobre la intervención”. En definitiva, la evaluación de programas tiene un componente práctico (se aplica por que existe un programa en marcha) y un componente de utilidad (se realiza para mejorar la práctica). No sólo se evalúa para juzgar el valor o mérito del programa o de una parte de él sino para tomar decisiones sobre él: qué hay que mejorar, que hay que cambiar, que hay que suprimir, etc.
Fernández-Ballesteros, teniendo en cuenta todo lo que han aportado estos autores, entiende que la evaluación de programas “se lleva a cabo mediante un proceso de toma de decisiones a través del cual se planifica, se examina, se recogen datos y se informa sobre el valor o mérito del objeto de evaluación” y la define como “la sistemática investigación a través de métodos científicos de los efectos, resultados y objetivos de un programa con el fin de tomar decisiones sobre él” (1995:23).
Marín y Medina (1999) definen la evaluación de programas por sus propósitos:
Determinar si el programa está alcanzando los objetivos.
Identificar los puntos fuertes y débiles de la implantación.
Determinar los costes y beneficios del mismo.
Decidir quién debería participar en programas similares futuros.
Identificar qué participantes se han beneficiado más y menos del programa.
Reforzar los logros alcanzados por el programa.
Recopilación de datos para la futura implantación del mismo.
Determinar si el programa es apropiado.
7
M.M. Herrera Menchén
Evaluación
Ayudar a la toma de decisiones.
Stecher y Davis (en De Miguel, 1998), estiman que los tres principales fines de los procesos evaluativos son:
a) Comprobar si los objetivos de los programas han sido alcanzados. b) Recabar opiniones fundamentadas sobre la valoración que hacen del programa las audiencias implicadas. c) Obtener información cualificada a partir de las cuales se pueda tomar decisiones sobre el futuro del programa.
Barbier define la evaluación en términos de juicio de valor como “un acto deliberado y socialmente organizado dirigido a la producción de un juicio de valor” (1993: 39), aunque distingue entre tres funciones de la evaluación bien diferentes: el control, el análisis del funcionamiento y la evaluación propiamente. Existe control, o el seguimiento de la formación (o del programa) y las operaciones, cuando la evaluación consiste en emitir informaciones acerca del funcionamiento concreto de la formación o programa. Pero existe evaluación, cada vez que se emite un juicio de valor sobre las actividades de formación. En este caso, se equipara la evaluación verdadera con valoración o emisión de juicio.
En definitiva, para muchos y tradicionalmente, evaluar significa simplemente juzgar el valor de alguna cosa; sin embargo, para MacDonald (en Gimeno y Pérez, 1989) dentro de una sociedad pluralista, la evaluación debe ser el proceso de identificar las personas que deben emitir los juicios y tomar las decisiones sobre el programa. Lo que implica que el papel de la evaluación es proporcionar información suficiente y pertinente para que otros puedan valorar y decidir.
La evaluación de programas permite la toma de decisiones a través de la cual se planifica, se recogen datos y se informa sobre el valor o mérito de un programa. Sin embargo, también es entendida como valoración
(Fernández-Ballesteros; 1995) del mérito
programa con dos elementos esenciales:
8
de un
M.M. Herrera Menchén
Evaluación
• Valorar si se han alcanzado los objetivos del programa. •
Valorar si se han producido efectos, resultados u otros impactos.
El proceso que sigue la evaluación, según esta autora, para estimar el valor o mérito de un programa es “la sistemática investigación”, es decir un procedimiento o proceso de examen o análisis normativo (estándar) y científico del objeto a evaluar.
Para determinar el valor de un programa, la OMS (1981, en Fedz-Ballesteros, 1995) define seis tipos de juicios:
•
La pertinencia: la medida en que un programa responde a las necesidades de la población atendida.
•
La suficiencia: si las acciones emprendidas pueden ser suficientes y adecuadas para conseguir los propósitos que se persiguen.
•
El progreso: que se realiza durante el programa para determinar cómo está actuando el programa.
•
La eficiencia: la relación entre los resultados obtenidos y los medios utilizados.
•
La eficacia: en que medida los objetivos previstos se han logrado.
•
Los efectos (efectividad): la medida en la cual un programa ha alcanzado una serie de efectos.
El enfoque de la evaluación de la decisión orientada utiliza la evaluación para el perfeccionamiento de un programa y para enjuiciar su valor. Este tipo de evaluaciones permite conocer qué ocurre en el programa y valorarlo para tomar y justificar decisiones. Por eso, deben ser los propios gestores quienes decidan qué es lo que interesa evaluar y cómo se utilizará la información que proporciona la evaluación. Cronbach, en 1963, fue el primero que propuso que la evaluación permitiera tomar decisiones acerca de cómo educar, posteriormente Stufflebeam, en el 1966, introdujo la idea de que la evaluación podía servir a los educadores para tomar y justificar decisiones que pudieran satisfacer las necesidades de los estudiantes. Posteriormente, otros autores han desarrollado esta idea (Alkin, Reinhardm, Owens, Taylor, Guba, MacDonald y Webster).
9
M.M. Herrera Menchén
Evaluación
La evaluación de programas y proyectos socioculturales es un proceso que va unido estrechamente a la planificación de los mismos. Desde nuestra perspectiva, la evaluación del contexto y de las necesidades, lo que también es denominado en el ámbito sociocultural como análisis de la realidad, es el primer paso de ambos procesos. Todo programa de educación social y acción sociocultural ha de basarse en una evaluación de necesidades e intereses que garantizará:
Saber qué tipo de programa debe hacerse y a quién debe estar dirigido.
Establecer los objetivos del mismo.
Además, la evaluación es el proceso de recogida de información, de análisis y valoración de la misma, que permite tomar decisiones a los responsables de los programas acerca de si se debe o no continuar con la ejecución como estaba programada o ir modificando los aspectos necesarios que garanticen la obtención de los objetivos. Puede ocurrir que deba plantearse el cambio de los mismos si se detecta que no han sido seleccionados aquellos objetivos que son prioritarios para el grupo o la comunidad. Todo ello quiere decir que:
La evaluación, entre otras cosas, es el mecanismo para la corrección de la planificación.
La evaluación y la programación están estrechamente unidas porque al mismo tiempo que se programa la acción, es necesario diseñar la evaluación que se escoge para ella. Y por que a lo largo del proceso de acción, tanto el diseño de la misma (el programa), como el diseño de la evaluación estarán en continua revisión dependiendo el uno del otro. Lo expresamos ahora gráficamente:
La evaluación de un programa conduce normalmente a un diagnóstico que puede sugerir la modificación de una parte o del total del proyecto.
10
M.M. Herrera Menchén
Evaluación
REFLEXIÓN DESDE LA PRÁCTICA La evaluación desde la metodología de la Animación Sociocultural se convierte en sí misma en un proceso continuado que permite modificar, ampliar, completar y ajustar aspectos durante el transcurso del proceso general de acción.
Este tipo de evaluación, anima a utilizar una evaluación sistemática que está en continua relación con la planificación y permite modificar el programa en función de la evaluación. Esto es lo quisimos mostrar en este gráfico que apareció en una de nuestras publicaciones:
Gráfico : Relaciones de la evaluación y la planificación (Herrera Menchén, 1998) PRIMERA FASE PROGRAM A
SEGUNDA
TERCERA FASE
FASE
EVALUACIÓN
TOMA DE DECISIONES
REVISIÓN DEL PROGRAMA
EVALUACIÓN
TOMA DE DECISIONE
REVISIÓN DEL PROGRAMA
Alvira (1991) también describió esta interrelación entre planificación y evaluación con el gráfico que reproducimos:
11
M.M. Herrera Menchén
Evaluación
EVALUACIÓN
PLANIFICACIÓN/INTERVENCIÓN
IDENTIFICACIÓN NECESIDADES O PROBLEMAS
ESTUDIO DE NECESIDADES
PROGRAMACIÓN, DISEÑO DE LA
EVALUACIÓN DE LA CONCEPTUALIZACIÓN Y LÓGICA DEL PROGRAMA
PUESTA EN MARCHA DE LA
1.Evaluación de la implementación 2.Ev de la cobertura 3. Ev del proceso 4. Ev de resultados , etc
Rossi y Freeman afirman (1989:69) que “la evaluación se debe vincular con el programa” y también Gairín (1993) habla de la constante relación entre la evaluación y la planificación que comienza cuando la evaluación ayuda a delimitar las grandes líneas de actuación.
Este tipo de evaluación permite a los profesionales (educadores o animadores) tomar decisiones sobre el que hacer de su práctica sobre una base lógica. Para garantizar que este modelo pueda ser efectivo es necesario una colaboración entre el/la evaluador/a y aquellos que toman las decisiones, como es el caso de la situación que nos ocupa.
De Miguel y Pérez Juste hablan de la evaluación basada en los procesos internos en vez de en los resultados que viene aparejada con la evaluación centrada en la mejora. En parte, estamos hablando de una autoevaluación que, al menos la organización, los gestores, ponen en marcha para su propia transformación y mejora. Pero esta autoevaluación tiene que ser participativa y estar basada en la reflexión de todos los agentes que colaboran en el programa (Escudero, 1997). Este tipo de evaluación de programas enfatiza la autonomía para poder resolver sus propios problemas. Este proceso de evaluación se plantea, en un primer momento, para establecer si el programa previsto responde adecuadamente las expectativas: una vez revisado las grandes áreas,
12
M.M. Herrera Menchén
Evaluación
la evaluación toma un papel inmerso en la dinámica del programa y se institucionaliza. Este enfoque esta muy en relación con el enfoque procesual de investigación-acción.
Una de las funciones de esta evaluación de programas es la de identificar los agentes que pueden colaborar activamente en la evaluación o pueden ser agentes de innovación. La evaluación, en este sentido, es una herramienta para proporcionar información que permita avanzar y mantener atención en los objetivos principales.
Patton en 1987 (en Marín y Medina, 1999) fue consciente de la necesidad, no sólo de evaluar los resultados de los programas para valorar los costes o simplemente para justificar los programas, si no que, entendió que la evaluación podía proporcionar a los gestores de los programas un papel importante que les permitiera corresponsabilizarse de la evaluación. Por ello, Patton introdujo los gestores de los programas en dos fases:
En la fase previa para acordar qué y cómo se debe evaluar.
En la fase de análisis de resultados para fomentar la corresponsabilidad de las conclusiones y en las futuras mejoras del programa.
El evaluador se encargará del diseño, en función de los intereses de todos y de la recogida de datos. Este cambio de la evaluación tradicional o clásica, permite una evaluación más participativa y en consonancia con los principios de la ASC y Educación Social. Además, permite introducir mejoras durante el programa.
Un concepto novedoso de evaluación de programas lo aporta De Miguel (1999b:346) cuando la define como “un proceso de búsqueda de conocimientos respecto a las estrategias y factores que facilitan o inhiben el cambio social”
En definitiva podemos concluir que clásicamente se distingue la evaluación como valoración de resultados (assessment) que encierra una vertiente comparativa, desde un enfoque cuantitativo que tratará de enjuiciar los logros. Otro concepto de evaluación es cuando se entiende como el medio para rendir cuentas (accountability), en definitiva se trata de comprobar la eficacia del programa financiado con fondos públicos. Esta visión de la evaluación
13
M.M. Herrera Menchén
Evaluación
ha sido bastante utilizada y se caracteriza por estar promovidas desde las administraciones que financian y por servir para tomar decisiones futuras respecto a la continuidad o no del programa. Miden a si mismo, la eficiencia del programa. Una tercera posibilidad, es la de entender la evaluación como “el proceso de reflexión crítica y sistemática sobre los hechos y actuaciones sociales” (Fernández y Santos, 1992: 16). Es esta dimensión la que es entendida por algunos autores como investigación, en el sentido de la investigación-acción, pero no en el de la investigación clásica cientifista. Como dicen Fernández y Santos, se trata de una evaluación educativa (una evaluación formativa) y que permite aprender favoreciendo el análisis y el diálogo compartido. En definitiva, una evaluación naturalista llevada a cabo con medios cualitativos y cuantitativos, donde los participantes podían dar sus diversas interpretaciones, que permite aprender y expandir el conocimiento, que es democrática y que permite la mejora.
Las evaluaciones en los programas de educación social deben tener como funciones (Brown, 1998: 132):
⇒ Proporcionar información sobre el desarrollo de la implementación de un proyecto, de forma que se puede evaluar como avanza e introducir correcciones (Evaluación para el perfeccionamiento)2. ⇒ Proporcionar asistencia técnica a los proyectos sobre como aplicar lo que se está aprendiendo para mejorar la implementación y el impacto (Evaluación para la mejora). ⇒ Fortalecer la capacidad de los participantes en los proyectos para diseñar e institucionalizar un proceso de autoevaluación (Evaluación para la reflexión y el aprendizaje de la experiencia) ⇒ Diseñar algunas conclusiones y juicios sobre el grado en el que la iniciativa ha alcanzado los objetivos (Evaluación para conocer los logros o de la eficacia). ⇒ Conseguir que los que gestionan sean responsables ante los que financian, la comunidad y /o otros grupos. (Evaluación para dar cuentas). ⇒ Contribuir al desarrollo de conocimientos y teoría sobre la implementación y los resultados de este tipo de proyectos. (Investigación evaluativa)
2
Las denominaciones entre paréntesis son nuestras.
14
M.M. Herrera Menchén
Evaluación
⇒ Impulsar la capacidad de relaciones públicas y de conseguir recursos adicionales para el programa (Evaluación para difundir y ampliar).
PREGUNTAS PARA LA REFLEXIÓN PREVIA 1. ¿Podrías definir que es la evaluación de programas y proyectos? 2. ¿Qué características crees que tiene que tener la evaluación en un
proyecto de acción
sociocultural?
3. EL PROCESO EVALUADOR
La evaluación puede tener diversos sentidos y funciones. Un elemento esencial es el paradigma de referencia del que se parta y de la filosofía. Otro elemento importante son los objetivos por lo que se decide evaluar. Dentro de la acción sociocultural, no nos podemos ubicar en exclusividad en un paradigma cuantitativo y de medición de resultados, pues el mismo hecho social, complejo y difícil de analizar, no permite hacer una valoración exclusivamente cuantitativa. Sugerimos, pues una perspectiva que contemple tanto la medición cuantitativa, es decir la recogida de datos cuantitativos y el análisis estadístico y comparativo de los mismos, como la valoración cualitativa, que permite analizar los fenómenos y explicarlos. La conjunción de estos dos enfoques, también llamada perspectiva multimétodo, posibilita un mayor conocimiento del programa, su proceso y sus resultados, a lo largo de la acción y al final del mismo.
A. La evaluación de programa.
La evaluación de programa la entendemos como el proceso de conocimiento, medición y valoración de un programa que tiene como fin mejorar o modificar los procesos, así como valorar los resultados y/o el impacto del mismo. Es estudio sistemático de un programa o acción que pretende analizar la situación en la que se encuentra, en relación a la actuación precedente o futura, tratando de valorar si se ha producido algún cambio como fruto del programa y a qué o quién ha sido debido, valorando si el cambio es positivo o negativo, en relación a la situación de partida y lo que los implicados consideran una mejora de la situación. En algunas ocasiones, la evaluación solamente se propone valorar lo que ha sucedido, enjuiciando el impacto o el producto
15
M.M. Herrera Menchén
Evaluación
de la acción. En ese caso es imprescindible haber controlado anteriormente la situación de partida y haber definido claramente los objetivos que el programa pretendía obtener.
Sin procedimiento adecuado para evaluar los resultados en una fecha dada y en relación con los planes futuros, existe el peligro de que el programa pierda su orientación o que los esfuerzos se desperdicien por falta de la comprobación de su eficacia.
PONER GRÁFICO efectividad, etc. En resumen la evaluación mide: 1. Si la acción es PERTINENTE, adecuada al momento y la más adecuada para resolver el problema que da origen al proyecto. 2. Si la metodología es IDÓNEA, coherente con los objetivos. 3. Si EFECTIVAMENTE se consiguen los objetivos previstos 4. Si hemos sido EFICACES, consiguiendo los mejores resultados con el mínimo costo.
Los evaluadores deberán decidir que es lo que en cada momento les interesa medir y valorar.
B. Características de la evaluación
La evaluación debe ser fiable, es decir basada en datos recogidos científicamente y analizados seriamente.
La evaluación debe ser igualmente viable, es decir conveniente, posible realizarla y que los resultados de la evaluación sirvan para mejorar el programa o cambiar programas futuros. Es decir es una evaluación que se puede realizar en los momentos previstos y que va a ser utilizada sus resultados.
Así mismo la evaluación debe tener validez, es decir que sus resultados tengan garantía de haber sido extraídos con instrumentos que realmente miden lo que dicen medir. Es decir, hablamos de evaluación cuando ha existido un registro sistemático de información, con técnicas
16
M.M. Herrera Menchén
Evaluación
adecuadas que garantizan que los resultados de las mismas son válidos por que han evaluado adecuadamente lo que dicen que evalúan.
C. La evaluación para la toma de decisiones
La evaluación, en el contexto de la acción sociocultural, debe facilitar la toma de decisiones, debe aportar informaciones concluyentes que posibiliten a los responsables y participantes del programa decidir que se debe hacer a continuación y si es necesario rediseñar la acción o complementarla. Si no existe un proceso continúo de evaluación que aporte datos sobre el mismo, las decisiones pueden ser precipitadas y no basadas en la realidad de los hechos.
D. La evaluación permite diseñar acciones futuras
La evaluación debe posibilitar analizar la prospectiva. Es decir, debe sugerirnos caminos futuros que se deban seguir después de la realización del programa que nos ocupa. Debe abrir puertas que indiquen, tras el análisis de las experiencias desarrolladas, cuáles deben ser los objetivos prioritarios de futuras intervenciones o las bases metodológicas a tener en cuenta con esa comunidad, y todas aquellas informaciones pertinentes para las futuras acciones.
El resultado de la evaluación debe ser una descripción clara y sistemática de lo sucedido, una interpretación lo más objetiva posible, y una serie de propuestas a realizar en el futuro en función de los resultados obtenidos.
PISTAS DESDE LA PRÁCTICA La evaluación, a través de la reflexión, ayuda a mejorar la práctica. La Evaluación es una de las herramientas básica del trabajador comunitario. Es el proceso por el que recabamos los datos necesarios para mantener el programa tal y como estaba diseñado, abandonarlo o modificarlo. Las técnicas son el medio para medir o comprender las actuaciones, pero
17
M.M. Herrera Menchén
Evaluación
deben ser siempre flexibles y adaptadas al objetivo. Debe dar claves para proponer, desarrollar y valorar un proyecto de educación social. PREGUNTAS PREVIAS PARA LA REFLEXIÓN 1. ¿Por qué tiene que ser participativa la evaluación en los procesos de acción sociocultural? 2. ¿Quiénes deberían participar y para qué? 3. ¿Qué ventajas e inconvenientes supone un proceso de evaluación que sea participativo?
4. LA EVALUACIÓN DEMOCRÁTICA Y PARTICIPATIVA
La participación de todos estos agentes, o alguno de ellos, dependerá del programa, pero hay que tener en cuenta al máximo de agentes posible involucrados en el proceso de la evaluación.
La evaluación participativa es un instrumento para el aprendizaje, supone un elemento formativo y de cohesión para el grupo.
4.1.
LA EVALUACIÓN NEGOCIADA
De una forma simple y clara Amparo Bóveda (1999) distingue, en evaluación, dos tipos de modelos:
•
Los analíticos: que privilegian los datos cuantitativos, proporcionan explicaciones, buscan causas y relaciones, quieren saber si se logran los objetivos, buscan indicadores y variables, son rígidos en sus diseños, se basan en el paradigma positivista, dan importancia a los datos cuantitativos, etc.
•
Los globales: trabajan desde el paradigma interpretativo, son cualitativos, atienden más al proceso (seguimiento) que a los resultados finales, son holísticos.
Partimos de una evaluación basada en la negociación, y que agrupa varios submodelos que tienen grandes conexiones y se apoyan en similares supuestos: la evaluación
18
M.M. Herrera Menchén
Evaluación
respondiente de Stake, la evaluación iluminativa de Parlett y Hamilton, la evaluación democrática de MacDonald y el estudio de casos de Stenhouse.
La evaluación se concibe como un servicio de información al alcance de todos los que están implicados en el programa: los participantes y sus audiencias. Se concreta en los procesos de los programas. El fin es mejorar la comprensión de los interesados en la evaluación, mostrándoles como otros perciben el programa y enfrentando al lector con sus creencias y sus formas de interpretación.
4.2.
LA EVALUACIÓN ILUMINATIVA
Otras de las fuentes de nuestro modelo de evaluación, dentro del de negociación es la evaluación iluminativa (Parllet y Hamilton). Se caracteriza por entender la evaluación como una tendencia holística que tenga en cuenta un amplio contexto, se preocupa más de la descripción e interpretación que de la medida y la predicción. Se orienta al análisis de los procesos más que a los productos. Se hace en condiciones naturales y no de laboratorio. Sus métodos principales son la observación y la entrevista. El diseño de evaluación cambia en el transcurso.
Una idea a nuestro juicio muy importante que aporta este modelo es que los que participan en el programa y han sido evaluados deben sentir que se han enriquecido al intervenir en la evaluación, que su pensamiento se ha movilizado y su comprensión desarrollado. 4.3.
LA EVALUACIÓN RESPONDENTE Stake tiene como propósito responder a las necesidades de los participantes de los
programas (en su caso profesores y alumnos). Es lo que él llama una evaluación eficaz orientada a las actividades del programa más que a sus intenciones. El evaluador se hace un plan de observación. Mas tarde elaborará unas descripciones, narraciones y retratos de la situación. Concede más importancia a los problemas que a las teorías, toma en consideración las diferentes interpretaciones de los implicados. Ha de responder a las necesidades de información de los interesados. Enfatiza la necesidad de devolver la experiencia vicaria e implicarlos en el análisis y valoración. Su propósito es hacer un retrato completo y holístico del programa educativo.
19
M.M. Herrera Menchén
4.4.
Evaluación
LA EVALUACIÓN DEMOCRÁTICA Stenhouse, MacDonald y Elliot son sus representantes y parten de planteamientos
metodológicos naturalistas. Las fuentes de datos y los destinatarios de los informes son todos cuantos participan en el programa. Las distintas opiniones deben expresarse y contrastarse. Por eso se utilizan la entrevista y los debates.
La evaluación tiene como propósito central, facilitar y promover el cambio, un cambio no aparente sino real de concepciones, creencias y modos de interpretar el programa. La evaluación es una actividad de análisis y valoración pero no la expresión del juicio.
La evaluación democrática es un servicio de información a la comunidad entera sobre las características del programa.
El evaluador ofrece información y procedimientos de búsqueda y contraste pero no impone su pensamiento. El evaluador forma parte del equipo de diseño y desarrollo del programa y la evaluación tiene una función de control de calidad. Su papel es de observador implicado, evocando, recogiendo y organizando información, confrontando opiniones, ofreciendo alternativas. Su propósito es favorecer el perfeccionamiento de la práctica. El evaluador democrático reconoce el pluralismo de valores y busca la representación de intereses distintos. El evaluador ofrece a los diferentes grupos información para intercambiar de modo que se conozca recíprocamente. Las técnicas de recolección y presentación de datos tienen que ser accesibles a personas no especialistas.
4.5.
LA EVALUACIÓN PARTICIPATIVA Dentro del marco de la Educación Social y sobre todo de la Animación Sociocultural, es
imprescindible hablar de evaluación participativa, en el sentido de que todos aquellos que de alguna u otra forma están implicados con el proyecto o el programa, deben tener la oportunidad de aportar su visión sobre el desarrollo del mismo, así como de recibir información y/o la valoración que sobre su desarrollo y resultados que se están consiguiendo.
20
M.M. Herrera Menchén
Evaluación
Casas (1996) destaca que los agentes sociales que pueden estar implicados en la evaluación de los programas de acción social son:
Los que asumen la máxima responsabilidad (políticos, presidentes de instituciones, que suelen ser los contratantes de la evaluación).
Los que gestionan (funcionarios de alto nivel y administradores).
Los que ejecutan las actuaciones (técnicos).
Los usuarios, destinatarios o participantes a los que está destinado el programa.
Las personas cercanas a los usuarios (familiares, usuarios potenciales que configuran el contexto social cercano).
Aquellos que configuran la opinión pública (ciudadanos en general, movimientos asociativos, profesionales de la información, es decir los que configuran el contexto social amplio).
La participación de todos estos agentes o parte de ellos dependerá del programa, pero hay que tener en cuenta al máximo de agentes posible.
La participación implica dar la oportunidad a los implicados para que ellos determinen cuales deben ser los objetivos de la evaluación y qué tipo de información es la que desearían recibir del programa, en nuestro caso, ello nos ayudó a establecer el tipo de evaluación. En segundo lugar, se diseñaron los momentos en que cada uno de ellos participaría en la evaluación continuada del programa, aportando su visión e información, ayudando en la recogida de datos y el procesamiento de los mismos o simplemente recibiendo el análisis de la misma. Esto suponía crear el sistema de comunicación e información que permitiera la recogida y devolución de la información.
La evaluación participativa es un instrumento para el aprendizaje, supone un elemento formativo y cohesionador para el grupo. Peters (1998:27) reconoce una tendencia cada vez mayor (al menos en Estados Unidos), hacia una evaluación que permita la adquisición de poder (emporwerment) y a una mayor participación de los ciudadanos.
21
M.M. Herrera Menchén
Evaluación
La importancia que tiene la participación en la evaluación ha sido destacada por diversos autores tales como Espinoza (1986), Caride (1996), Santos Guerra (1993), Chacón (1995), Casas (1996), Alvira (1991), Pérez Serrano, aunque esta última autora habla de evaluación democrática.
Algunas de las ventajas de la evaluación participativa en la Educación Social y la ASC son:
a) Aprovecha la información de la realidad que suele pueden tener los implicados y participantes. b) Los participantes pueden decidir qué información es la que realmente quieren conocer, cuál es la información pertinente para ellos. c) La evaluación continua otorga a los participantes un mejor conocimiento del problema, permite que valoren la situación y los recursos que existen. d) Les permite aportar posibles soluciones al mismo, con lo que la riqueza del proyecto aumenta. e) Está atenta a los valores, no circunscribiendo su preocupación a la búsqueda de indicadores de carácter técnico. f) Posibilita una plataforma de para el diálogo. g) Todo ello crea una motivación e implicación en el programa, garantía para el compromiso y el consiguiente reparto de tareas. h) Posibilita el aprendizaje a través de la reflexión-acción, tanto en el ámbito individual como grupal.
Patton (en Alvira, 1991:29) sostiene que la participación debe darse en todo el proceso evaluador pero debe centrarse fundamentalmente en las fases previas al diseño de evaluación en las que y en la fase de análisis de la información recogida y, sobre todo, en la redacción del informe de resultados y previsión de su utilización.
Una característica importante de este enfoque es la búsqueda del consenso entre todos los implicados a través de un trasvase e información que permite a unos ponerse en la posición de los otros.
22
M.M. Herrera Menchén
Evaluación
Fernández (1999:360) destaca que la evaluación participativa es un procedimiento de colaboración que “permite la construcción de conocimiento significativo y contextualizado y que capacita a los profesionales para actuar sobre ese conocimiento en su objetivo de mejora institucional”. El mismo autor nos indica los autores que han venido trabajando en esta perspectiva: Alkin, Patton (1997), Guba (1994), Whitmore (1994), Shalock (1995), Callaway, Arnold y Norman (1993) y la Fundación Kellog.
4.6.
LA EVALUACIÓN FORMATIVA O REFORZADORA Efectivamente, de la evaluación que venimos hablando es la que, clásicamente en el
campo de la educación, se ha venido conociendo como formativa y que López y otros (2001) denominan como reforzadora. Una evaluación que no busca culpables, que es positiva y que se concibe en función de las lógicas de sus posibles usuarios (o utilizadores como dice López), respetando su opinión y su sentir. Se trata de una evaluación que parte de las lógicas internas, que no compara con modelo preexistente, que no busca medir sino aprender de la experiencia y mejorar el programa. Una evaluación que permite el aprendizaje de aquellos que participan en ella. Una evaluación que es el mejor sistema para mejorar la cualificación de los propios profesionales que participan en el proyecto.
Cuando se dice que respeta las lógicas de los utilizadores quiere decirse que intenta contemplar todos los puntos de vista y que los resultados de la misma deben ser útiles para todos.
La evaluación formativa se inspira en Paulo Freire: por ello da instrumentos a los participantes para que se expresen libremente, luego se analiza conjuntamente y finalmente se buscan soluciones o mejoras a la situación. Un proceso cíclico que permite que el evaluador se convierta en un animador de la reflexión. Este proceso genera que los participantes desarrollen ideas, se provoque el análisis, se enfrenten posiciones en el debate y se traduzca en nuevas acciones que permitan la mejora.
23
M.M. Herrera Menchén
Evaluación
PISTAS DESDE LA PRÁCTICA La evaluación es el verdadero motor del proceso de animación, en la medida en que todos los implicados conocen los logros y los valoran, se motivan para continuar en el programa o proyecto, y lo hacen suyo. La evaluación permite aprender de los errores, si se hace de forma continuada, los errores se corrigen para la siguiente actividad o tarea, y no hay que esperar a otro proyecto para corregirlos.
PREGUNTAS PREVIAS DE REFLEXIÓN 1. ¿Para qué sirve la evaluación? 2. ¿Cuáles pueden ser sus objetivos?
5. OBJETIVOS Y FUNCIONES DE LA EVALUACIÓN
La evaluación puede tener diversos objetivos dependiendo de los interesados en la misma y de la situación y el tipo de programa. Sin embargo, en general, y en los programas de acción sociocultural, podemos decir que los objetivos de la evaluación deben estar dirigidos a cinco áreas principales (basado en Cembranos, Bustelo y Montesinos, 1989): A. Análisis de las necesidades y la fijación de objetivos: Es decir, el análisis de las condiciones de partida, o lo que también es conocido como análisis de la realidad o evaluación de necesidades. B. Seguimiento de programas y la verificación de los modelos de acción: Se trataría aquí de ajustar la información y entender los procesos puesto en marcha con la acción sociocultural, para poder tomar decisiones, para solucionar problemas que surjan, para poder explicitar las fases del proceso y comprender los fenómenos implicados, etc. C. Valorar objetivos marcados y las necesidades detectadas: Estudiar la idoneidad del proyecto, detectar los fallos de idoneidad y porqué, analizar las actividades en función de las expectativas. D. Averiguar los resultados y el impacto del programa o proyecto: Valorando los resultados y los recursos para conseguirlos (eficacia), valorando los resultados en función de los objetivos planteados (eficiencia), así como hacer saber a los participantes su contribución. E. Fomentar el análisis prospectivo para indicar acciones futuras.
24
M.M. Herrera Menchén
Evaluación
La evaluación tiene varios niveles dependiendo de los objetivos que se plantee (Rueda, 1993:114):
a) Primer Nivel: Comparar, establecer diferencias entre el estado de la población ante y después del desarrollo de las actuaciones (averiguar resultados e impacto). b) Segundo nivel: Comparar, establecer la diferencia entre los objetivos propuestos y los resultados obtenidos (grado de consecución de los objetivos). c) Tercer nivel: Dado que toda actuación es un conjunto de compromisos y actividades que nos proponemos realizar, este nivel pretende comparar o establecer la diferencia entre las cosas acordadas y las cosas realizadas (grado de realización de las tareas previstas). d) Cuarto nivel: Comparar, establecer la diferencia entre medios y propuestas de uso y la utilización real que hemos hecho de estos medios, especialmente los económicos (grado de eficiencia). e) Quinto nivel: Comparar, establecer diferencias combinando variables procedentes de diversos niveles. Para explicar el proceso y conocer los factores positivos y negativos que han influido en el mismo.
Las funciones básicas que desde nuestro punto de vista ha de tener la evaluación en el contexto de la acción sociocultural son:
1. Facilitar la toma de decisiones: si después de una reunión general a la que han acudido muy pocos de los convocados, analizamos la situación y concluimos que el problema estuvo en hacer la difusión tarde o en haber escogido un día en el que había un partido de fútbol importante, esto lógicamente, permite para tomar la decisión general de controlar las retransmisiones de fútbol para la próxima convocatoria. 2. Valorar si es adecuada la acción y el momento en que se propone (la pertinencia): si dentro de las propuestas de actividades para las mujeres están: talleres, cursos, excursiones, escuelas de padres y madres, etc.; El equipo (animador/a y mujeres representativas) deberá decidir cuáles son las acciones más adecuadas al momento, los recursos, la coyuntura política, los espacios disponibles,
25
M.M. Herrera Menchén
Evaluación
etc. Sólo un análisis cuidadoso del perfil y necesidades e intereses del colectivo, permitirá poder tomar esta decisión con garantías de éxito. 3. Analizar si la metodología y las actividades son coherentes con los objetivos (la idoneidad): Si el objetivo era conseguir un tiempo libre más placentero y diversificado para las personas mayores de un centro de día, habrá que analizar si el método propuesto y las actividades previstas o realizadas son las más adecuadas para este colectivo, si hemos tenido en cuenta su nivel cultural, su capacidad de concentración, sus condiciones físicas, etc. 4. Estudiar si se han conseguido los objetivos propuestos (eficiencia): si el objetivo fue lograr un grupo de jóvenes que colaboren con el Ayuntamiento en el tema de medio ambiente, nada más fácil, se trata de saber si se consigue o no y en el tiempo previsto. 5. Valorar si los resultados
se han conseguido con el menor coste posible
(eficacia): se deberá analizar si para conseguir ese grupo podríamos haberlo hecho con menor costo (por ejemplo, obviando un curso de 50 horas que nos ha costado demasiado para los resultados conseguidos con el mismo). 6. Aportar pautas para las acciones futuras: si las conclusiones de la evaluación es que se debería contar desde el principio con todos, o que el tipo de actividades multitudinarias exige demasiado coste de organización para los resultados obtenidos, estas conclusiones habrán de tenerse en cuenta en futuros programas.
La evaluación cumple con otras dos funciones fundamentales como señala Ventosa (1992): la de motivar a los responsables y participantes en el proyecto a medida que son conscientes de los avances que se producen; y la formativa, pues se ha demostrado que la reflexión sobre la acción produce un aprendizaje grupal e individual que posibilita el avanzar en conocimiento y habilidades que son posteriormente generalizable a otros terrenos.
Casas (1996:6) señala que la evaluación desarrolla “dos funciones de particular interés científico y técnico: la mejora del conocimiento básico respecto al funcionamiento del fenómeno sobre el que se interviene, cosa que equivale a decir que posibilita la constatación de ciertas
26
M.M. Herrera Menchén
Evaluación
teorías e hipótesis utilizadas para establecer objetivos de cambio, y la mejora de técnicas de acción social, incluido el aprendizaje profesional de lo que se denominan <buenas prácticas>”.
PREGUNTAS PREVIAS PARA LA REFLEXIÓN: LOS TIPOS DE EVALUACIÓN 1. ¿Cuántos tipos de evaluación conoces? 2. ¿En qué consisten cada uno de ellos? 3. ¿En qué momentos son más indicados utilizarlos dentro del proceso de acción?
6. OBJETIVOS Y FUNCIONES DE LA EVALUACIÓN
En primer lugar, hay que reflexionar acerca de qué se quiere evaluar dentro del programa de ASC en el que se está trabajando. Cuando tengamos la respuesta a esta pregunta, sabremos el evaluación necesaria. Aunque lógicamente, habrá que analizar con anterioridad si ese programa o servicio es evaluable. Lo que según Alvira supone responder a tres preguntas: ¿Está bien definido el programa? ¿Se ha implementado adecuadamente? ¿Están bien definidos los objetivos y efectos esperados?
En ésta primera fase, habrá que determinar los objetivos de la evaluación. Estos objetivos conviene que sean determinados por todas las partes implicadas: técnicos, responsables últimos del programa, participantes, etc. Cuando los objetivos están claros, ellos van a delimitar el tipo de evaluación a realizar. Por ejemplo:
•
Si lo que se pretende es conocer los frutos de las actuaciones del programa: se debería hacer una evaluación de resultados.
•
Si lo que se quiere es tener información a lo largo del proceso para poder revisar el programa: deberemos optar por una evaluación continua.
•
Si lo que se desea es comparar los efectos de dos programas diferentes con los mismos objetivos y diversa metodología: debemos realizar una evaluación descriptiva, de resultados y de impacto, etc.
27
M.M. Herrera Menchén
Evaluación
El primer paso debería ser “negociar” entre todos los participantes que es lo que se necesita saber de ese programa, y en función de ello diseñar el tipo de evaluación adecuada.
Teniendo esto en cuenta, Alvira (1991, 33-43) ha realizado un estudio exhaustivo de los diversos tipos de evaluación y propone una tipología que a nuestro juicio tiene el valor de que incluye todos los tipos que han aparecido en la literatura científica con diversas denominaciones3. En el gráfico siguiente se han resumido las principales características:
TIPOS DE EVALUACIÓN
CARACTERÍSTICAS BÁSICAS
1. Evaluación de necesidades
2. Evaluación del diseño/ conceptualización del programa de intervención
3. Evaluación de la evaluabilidad 4. Evaluación de la implementación
5. Evaluación de la cobertura 6. Monitorización y seguimiento del programa
8. Evaluación de impacto
9. Evaluación económica
7. Evaluación de los resultados
Analiza necesidades (recursos, intereses y posibilidades) Propone objetivos Sugiere cómo solucionar los problemas Análisis lógico del programa Se centra en la cobertura Estudia las actividades y recursos Analiza las posibilidades reales de que el programa pueda ser evaluado Analiza como se desarrolló el programa Compara con el programa previsto Analiza hasta que punto el programa llega la población objeto Recogida continuada de información Pretende ayudar a la gestión del programa Ayuda a la toma de decisiones Analiza el grado de consecución de los objetivos Estudia la eficacia y eficiencia Analiza los efectos esperados y no esperados del programa sobre la población general Análisis de los costes en relación a resultados
A continuación explicaremos aquellos tipos de evaluación que a nuestro juicio deben darse dentro de todo programa y proyecto de acción sociocultural. 6.1.
EVALUACIÓN DE NECESIDADES, INTERESES Y RECURSOS Es el primer paso racional de toda acción. Su objetivo es analizar el volumen y
características esenciales que la acción quiere solucionar. Puede incluir sugerencias sobre como
3
Caride, pág. 10, Ventosa, pág. 34-37 y Pérez Serrano, pág. 139- 157, presentan también otras clasificaciones.
28
M.M. Herrera Menchén
Evaluación
solucionar el problema. Lo más importante es que a través de esta evaluación podremos definir claramente cuáles deben ser los objetivos del programa.
Para la Educación Social y la Animación Sociocultural es importante que en esta etapa se evalúen no sólo las necesidades sino también los recursos, los intereses y las percepciones que sobre su realidad tienen los grupos o la comunidad. La denominación más común es la de análisis de la realidad.
Si definimos necesidad como la discrepancia existente entre el estado actual y el final deseado entonces podemos distinguir, con Witkin y Altschuld (1996), el concepto en términos de niveles de necesidad.
El primer nivel hace referencia a las necesidades de los receptores del programa: estudiantes, clientes, pacientes, usuarios,... el segundo nivel se corresponde con los responsables de la planificación, gestión y/o ejecución de los programas: profesores, trabajadores sociales, profesionales del campo de la salud, funcionarios de la administración, etc. El tercer nivel se refiere a los recursos: equipamientos educativos y sanitarios, transporte, condiciones laborales, asociaciones,...
Siguiendo a estos autores, la evaluación de necesidades puede definirse ampliamente como “un proceso sistemático que se desarrolla con el propósito de establecer prioridades sobre las necesidades identificadas, tomar decisiones sobre actuaciones futuras y localizar recursos” (Pozo y Salmerón, 1999:23).
Algunos conceptos aclaratorios con respecto a la evaluación de necesidades (EN) son:
•
La EN es un estudio sistemático antes y para la intervención y, como tal, es planificado, implementado y evaluado.
•
La EN es un proceso amplio que comprende la identificación, el análisis de necesidades y la toma de decisiones.
29
M.M. Herrera Menchén
•
Evaluación
La EN debería conceptualizarse desde enfoques democráticos y por tanto participativos. Este compromiso participativo y consenso debe quedar garantizado con una estructura metodológica que siga en su desarrollo la lógica procedimental propia de la investigación-acción.
•
La EN es un proceso dinámico que ha de efectuarse.
Lo más importante de la evaluación de necesidades es que permite la determinación de las necesidades así como para identificar problemas, determinar las prioridades que se van a trabajar en el programa y por tanto ayudarán a formular los objetivos y a planificar la acción.
Para la Animación Sociocultural es importante que en esta etapa se evalúen no sólo las necesidades sino también los recursos, los intereses y las percepciones que sobre su realidad tienen los grupos o la comunidad. La denominación más común es la de análisis de la realidad4.
6.2.
SEGUIMIENTO/MONITOREO DEL PROGRAMA Aquí se reúnen todos aquellos tipos de evaluación (de proceso, del esfuerzo, del
desempeño, del producto, de la calidad...) que se llevan a cabo cuando se realiza una evaluación continuada de un programa desde dentro, utilizando una recogida de información en diferentes momentos del proceso que supone la puesta en marcha del programa, con el objeto esencial de gestionar y dirigir adecuadamente el programa. El seguimiento o monitoreo permite a los responsables de los programas detectar sobre la marcha o si el programa se está ajustando a los destinatarios o si la forma de ejecutarlo es la prevista o acordada, detectará así mismo, si se ha errado en el programa o si algún miembro está siendo negligente (Rossi y Freeman, 1989).
Los objetivos del monitoreo pueden estar también cercanos a los de la evaluación de la implementación y por tanto aprovecharlo para saber si el programa alcanza o no a la población 4
Ver el capítulo 1º de Análisis de la realidad.
30
M.M. Herrera Menchén
Evaluación
destinataria y si la implementación del programa es congruente o no con las especificaciones del programa. El monitoreo es necesario para valorar la repercusión y detectar los posibles errores en la implementación del programa por incompleto o defectuoso. También es necesario para evaluar la utilidad.
López y otros (2001) llaman a este tipo de evaluación concomitante pues se desarrolla a la vez que el proyecto, en contraste con la evaluación antecedente que sería la evaluación de necesidades o con la evaluación subsiguiente, es decir una vez concluida la acción. Es una forma de recabar datos que permitirá difundir el programa y además colaborará en la elaboración de los manuales y documentos de apoyo para la ejecución del programa.
El monitoreo es muy importante para decidir si el programa debe o no continuar y si se debe o no expandir. El seguimiento permite documentar el programa y explicar cómo se ha desarrollado el proceso. Una de las funciones de este tipo de evaluación es detectar como se implementa el programa por los distintos ejecutores del mismo. La evaluación en este caso, debe permitir el intercambio de estrategias, el aprendizaje colectivo y la búsqueda de consenso hacía cuáles son los mínimos que todos deben respetar.
Esta evaluación requiere:
a) Establecer el tipo de información, en forma de criterios, a recoger. b) Elaborar un sistema de información que recoja con periodicidad el estado de dichos criterios. c) Un análisis periódico de la información para evaluar el esfuerzo realizado, la productividad del personal, la calidad del programa, etc.
Por lo tanto la evaluación continua exige: a.- Un sistema de indicadores. b.- Unos soportes documentales de recogida de información. c.- Un sistema de información-comunicación lo mejor organizado posible. d.- Una metodología adecuada al análisis periódico.
31
M.M. Herrera Menchén
6.3.
Evaluación
EVALUACIÓN DE LOS RESULTADOS
La evaluación de resultados pretende valorar el grado en que el programa consigue los resultados previstos. Los resultados previstos son los enunciados en los objetivos del programa. Aunque también se puede evaluar también los resultados no esperados. El problema de esta evaluación es que es difícil concluir que la única causa de los efectos sea el programa, a menos que se hayan tomado medidas que permitan realmente comprobarlo: hacer una medición del estado de la situación antes de la implantación del programa, comparar con otra situación simular en la que no se ha llevado a cabo este programa, o realizar un seguimiento de la acción de forma que permita concluir claramente que los resultados son efecto de la acción programada.
Se utiliza para analizar el grado en que el programa consigue los resultados previstos. En general, hace referencia a los objetivos diseñados y trata de descubrir otros resultados no esperados los efectos brutos (Apodaca, 1999). Aunque también puede evaluar los resultados no queridos o buscados. El problema de esta evaluación es que es difícil concluir que la única causa de los resultados sea el programa.
Para Alvira (1991) la evaluación de resultados trata de analizar los efectos que un programa o intervención tiene en los sujetos directamente destinatarios del mismo (población beneficiaria).
La evaluación de resultados es sinónima de evaluación de la efectividad o de la eficacia del programa, y trata de responder a dos preguntas claves: ¿Se han consiguiendo los resultados buscados? ¿Estos resultados son achacables al programa con un grado de certidumbre razonable?
6.4.
EVALUACIÓN DE IMPACTO
Se trata de analizar los efectos del programa sobre la población objeto del programa: la comunidad o pueblo, las personas asociadas a los usuarios, etc. También se denomina
32
M.M. Herrera Menchén
Evaluación
evaluación del impacto, al cambio producido a largo plazo en la población destinataria, y la comparación con el coste de medios y el tiempo dedicado al programa.
La evaluación de impacto es la evaluación de los efectos o consecuencias reales del programa, los cambios en la población destinataria y/o beneficiaria5 (Pinault y Daveluy: 1989, Apodaca: 1999). Desde luego, no todos los cambios producidos en la población son debidos en exclusiva al programa, por lo que la evaluación de impacto tratará de descubrir cuáles son aquellos que son realmente achacables al programa (efectos netos, en palabras de Apodaca). Este autor, define la evaluación de impactos como “toda estrategia de evaluación que trate de analizar y verificar los efectos producidos por una intervención o programa concreto” (1999:364).
Vedung (1997) propone no solo analizar si los objetivos se han cumplido, sino evaluar los efectos colaterales, es decir, todos aquellos efectos no planificados o perseguidos por el programa.
Como señala
Apodaca (1999b)
dentro del enfoque de evaluación
participante,
respondente y constructivista, el valor o el mérito de un programa lo dan sus propios implicados. Bajo este paradigma el impacto del programa, es la valoración interpretativa y constructiva de los implicados, los cuales podrían estar más interesados en los procesos que en la necesidad de apoyar sus juicios sobre los efectos reales del programa. En la evaluación tradicional, la evaluación del impacto, entiende el impacto como los efectos netos de un programa desglosados los efectos de los factores extraños y del diseño. En la evaluación participativa, el impacto, se valora a partir de la percepción social o comunitaria de los efectos/utilidad del programa o intervención. Aquí el criterio fundamental es el consenso entre las audiencias. La realidad del programa, es la que los diversos implicados (promotores, gestores, agentes, participantes, etc.) coincide en ver. Se parte de la idea de que ellos son, los que mejor conocimiento de la realidad pueden tener.
Las evaluaciones de impacto en el modelo
participativo se basan en diseños
denominados “shadow controls” o controles a la sombre (Rossi y Freeman, 1993 y Vedung,
5
Habrá que especificar siempre a cual nos referimos, pues la eficacia varia en función del parámetro utilizado.
33
M.M. Herrera Menchén
Evaluación
1997) en los que se recurre a consultar a las diversas audiencias para conocer su percepción sobre el impacto real de un programa.
Evaluar el impacto real de un programa es difícil a la finalización del mismo, normalmente los impactos podrán verse a medio o largo plazo. PISTAS DESDE LA PRÁCTICA Una buena combinación de estos tipos de evaluación, un diseño completo que implique el conocimiento inicial de las necesidades, intereses y recursos; el conocimiento real de lo que está pasando a lo largo del programa que posibilite gestionarlo correctamente; y un análisis completo de los resultados que se están o se han conseguido y que suponga conocer la capacidad del programa para conseguir sus objetivos, es absolutamente necesario en los procesos que desea poner en marcha la Educación Social y la ASC.
PREGUNTAS PREVIAS PARA LA REFLEXIÓN 1. ¿Para qué debemos diseñar la evaluación? 2.
¿Qué apartados contemplarías en el diseño de la evaluación?
7. EL DISEÑO DE LA EVALUACIÓN
Durante la planificación de la acción, se diseña igualmente la evaluación. Como el proyecto, la evaluación también ha de ser “negociada” con todos los agentes y participantes. Este diseño dependerá del tipo de evaluación escogido y por tanto de los objetivos que la evaluación se plantee. Basado en este planteamiento, daremos unas pistas sobre las fases que consideramos que toda evaluación de un proyecto de Educación Social y Animación Sociocultural, debe contener.
El diseño de la evaluación nos debe permitir responder a las siguientes preguntas: 1. ¿Por qué vamos a evaluar? ¿Para qué? 2. ¿En qué momentos del desarrollo del programa? 3. ¿Quiénes van participar en la evaluación y con que papel? Estas tres primeras preguntas nos permiten delimitar el tipo de evaluación que se quiere poner en marcha. 4. ¿Qué vamos a evaluar?
34
M.M. Herrera Menchén
Evaluación
5. ¿Cómo vamos a recoger la información para que podamos utilizarla para evaluar? 6. ¿Con qué instrumentos podremos contar para recoger esa información? 7. ¿Cómo se va a recibir la información? ¿Qué productos nos dará la evaluación? ¿A quienes y de que manera le vamos a hacer llegar los resultados de la evaluación?
Estas preguntas nos van a dar los distintos elementos del diseño:
1.- Tipo de evaluación: objetivos. 2.- Fases de la misma. 3.- Niveles de análisis y participantes. 4.- Indicadores. 5.- Técnicas. 6.- Instrumentos. 7.- Canales y sistema de distribución de la información.
7.1.
TIPO DE EVALUACIÓN
Una primera decisión que ha de tomarse esa acordar por qué queremos evaluar y qué tipo de información nos interesa y para qué. En la A.S.C, en general, nos interesa hacer una evaluación previa de necesidades, intereses y recursos; una evaluación continuada o seguimiento del programa; y una evaluación de resultados. Habrá que decidir si en cada caso interesa estos, u otros tipos, de evaluación. Sin olvidar que debe ser una decisión entre todos los interesados.6
7.2.
FASES DE LA EVALUACIÓN
Las fases son las etapas, los momentos de la evaluación. Organizamos las fases en torno a un desarrollo temporal que hemos escogido para llevar a cabo nuestra evaluación. Generalmente existen cuatro momentos claves: a.- Fase previa de conocimiento y análisis de la realidad.
6
Ver apartado de tipos de evaluación en este mismo capítulo.
35
M.M. Herrera Menchén
Evaluación
b.- Fase inicial para conocer en los primeros momentos del programa como está resultando y realizar las correcciones necesarias en el programa antes de continuar con el mismo. En muchos casos se trata de analizar si los beneficiarios del mismo, responden al perfil de destinatario previsto, y si no es así realizar los ajustes necesarios. c.- Fase de implementación, cuando se realiza el seguimiento de todo el proceso, que puede a su vez subdividirse en diversos momentos o etapas. d.- Fase final donde se valoran los resultados y el programa en su conjunto.
Alvira, basándose en Patton ha realizado un esquema más detallado de las tareas que implican estas fases: 1. Fase Previa: i. Identificación de las partes interesadas. ii. Organizar un grupo de trabajo. iii. Delimitación de preguntas y temas de evaluación. iv. Identificación de cómo se utilizarán esas preguntas. v. Valoración de si vale la pena evaluar. vi. Toma de decisiones sobre el diseño, método y medición. 2. Fase de ejecución o implementación: i. Recogida y análisis de la información. 3. Fase final: i. Análisis de los datos. ii. Implicación del grupo de trabajo en el análisis de los datos. iii. Decisión sobre como utilizar y aplicar los hallazgos. iv. Decisión sobre la difusión de los mismos.
36
M.M. Herrera Menchén
7.3.
Evaluación
LOS NIVELES DE LA EVALUACIÓN Y PARTICIPANTES
En este punto hay que decidir quiénes van a ser los que colaboren en la evaluación, en qué momentos y en qué medida. Ya se ha señalado que hay que implicar al máximo de agentes posibles, pero esto no significa que todos deben estar en todo el proceso evaluativo. Por eso debemos determinar quien tendrá el mayor protagonismo y responsabilidad. En la Animación Sociocultural, los protagonistas de la acción, y por tanto de la evaluación, son los participantes que, con la ayuda del técnico, Educador/a Social o Animador/a Sociocultural, deben estar presentes en todas las etapas. Sin embargo, los empleadores o contratantes deberán estar implicados, al menos al inicio del proceso, para determinar qué tipo de información u objetivos desean de la evaluación, en un determinado momento intermedio, para ir recibiendo información sobre el proceso y los resultados que se van obteniendo y al final del proyecto, para conocer el producto y el impacto del mismo.
Los niveles de evaluación implican saber qué se va a evaluar. En cada programa o proyecto deberemos decidir qué niveles nos interesa evaluar, pero de forma general podemos apuntar algunas cuestiones a evaluar en un programa de Educación Social y Animación Sociocultural nos puede interesar evaluar:
El propio agente/s social o animador/a sociocultural.
El responsable político de referencia (si estamos en una entidad pública).
El responsable superior de la institución.
Los destinatarios.
Otros profesionales que están implicados.
El entorno próximo.
La situación problemática.
El programa: su contexto, origen, razones, metodología y presupuesto.
Los participantes o colaboradores.
La organización y gestión de las actividades del proyecto.
Los recursos materiales, instrumentos e instalaciones.
Los resultados: el cambio producido.
37
M.M. Herrera Menchén
Evaluación
El impacto.7 PISTAS DESDE LA PRÁCTICA PARA HACER UNA EVALUACIÓN CONSTRUCTIVA (Ware)
1. Definir los fines. 2. Hacer un inventario de las condiciones o circunstancias que el programa trata de mejorar o de los problemas que trata de solucionar. 3. Establecer medidas o etapas para juzgar los resultados conseguidos. 4. Obtener, de tiempo en tiempo, una evidencia del programa. 5. Estudiar y resumir la evidencia. 6. Someterla a las personas o grupos de diversos intereses y opiniones en la comunidad para obtener su apreciación. 7. Desarrollar nuevos programas en base a la evaluación obtenida. Como señalan Stufflebeam y Shinkfield (1995), las normas del Joint Commitee han sido elaboradas por un grupo muy numeroso de expertos, tienen a su vez gran respaldo de organizaciones y por último se someten a revisión continua. Los autores resumen las cuatro condiciones principales que deben cumplir las evaluaciones como:
a) Una evaluación debe ser útil. Debe estar enfocada a aquello que le interesa a las personas que están relacionadas con el programa, ayudarles, responder a sus planteamientos e interrogantes, proporcionarles informes claros y oportunos que contengan, no sólo un análisis sino también propuestas y soluciones a sus problemas.
b) Una evaluación debe ser factible: con procedimientos no complicados, evitando controles y manipulaciones exteriores y dirigida eficientemente. La situación debe ser la adecuada par poder llevarla a cabo.
c) Una evaluación debe ser ética: basada en compromisos explícitos que aseguran la cooperación, respetar los derechos de los implicados y la honradez de los resultados. Debe revelar todas las virtudes y los defectos.
7
En las páginas 155 a 161, Rudolf Rezsohazy (1988) da numerosas pistas sobre aquello que se puede evaluar
en algunos de los niveles arriba señalados.
38
M.M. Herrera Menchén
Evaluación
d) Una evaluación debe ser exacta: describiendo el objeto de la evaluación y el contexto, explicar el proceso de evaluación con sus fallos y virtudes, debe estar limpia de influencias y tener conclusiones válidas y fidedignas. 7.4.
EL ROL DEL EVALUADOR
El papel del evaluador debe ser y es diferente en función de para quién trabaje, es decir, de quien va a utilizar esa evaluación. Como dice Fernández del Valle (1996) el papel del evaluador vendrá impuesto por la demanda que se le haga, alguno de los papeles que puede tener el evaluador son:
a) Investigador: los evaluadores de los años sesenta
solo
podían ser científicos,
preocupados por el rigor y la calidad y validez del diseño. Su estudio debería ser fiable y el estudio debería permitir decidir sobre la calidad o no del programa. La metodología es experimental con variables controladas.
b) Juez: ya que la evaluación debe establecer juicios del mérito o valor de un programa. Se exige al evaluador un juicio concreto sobre la calidad del programa, una valoración sumativa, final de la calidad del programa. Aquí el evaluador debe mantenerse distante de los responsables y partes de los programas para evitar sesgos.
c) Asesor Técnico: es un papel totalmente contrarío al anterior, el evaluador se incorpora a l programa en la gestión y tiene cierto margen de maniobra para variar las fases del programa, como redefinir objetivos, variar la metodología, replantear el problema inicial, introducir nuevos sistemas de evaluación, etc. Wholey, parte de la base de que en el campo socioeducativo existen graves problemas en la definición del diseño del programa, y que es necesaria la evaluación de a evaluabilidad Las modificaciones que punta el evaluador no solo van encaminadas a mejorar la efectividad del programa sino a permitir que sea realmente evaluable. Este papel permite realizar correcciones del programa a priori, durante su implementación y permite su posterior valoración de efectos.8
39
M.M. Herrera Menchén
Evaluación
d) Mediador: aquí el evaluador debe reunir los diferentes puntos de vista de todos los interesados y realizar un trabajo de construcción común del juicio valorativo (Stake, Guba y Lincoln son sus representantes). Se basa en estudios locales en los que se trata de mediar en la negociación para llegar aun consenso de todos. Se entiende que no existe objetividad sino intersubjetividad, en el sentido de que un programa es lo que las diferentes percepciones de los interesados elaboran sobre el mismo. Su papel no es tanto el de un investigador social, aséptico y neutral sino
el de generar una estrategia
participativa que implique a todos los interesados.
e) Educador: en esta perspectiva se entiende que el evaluador debe realizar una aportación educativa, mediante descripción y análisis de variables relevantes, las hipótesis subyacentes y los procesos relevantes de un programa. La idea era mejorar los programas. Weiss, que partía del término iluminativa, quería indicar que este tipo de evaluación que debería mejorar las planificaciones.. Por ello se resalta en este papel la necesidad de realizar informes muy adaptados a los destinatarios y la comunicación informal. Puede ser un rol complementario de los anteriores.
f) Pseudoevaluador: en realidad es una desviación del rol y no tanto un papel que debiera sumirse. Ocurre que en algunos casos el evaluador recibe el encargo de “justificar” el programa, de buscar los datos que apoyen decisiones ya tomadas. A veces se pide que se justifiquen malos programas para mantener la buena imagen de
la institución,
ocultando generalmente los fallos.
El papel del evaluador será distinto dependiendo de los objetivos de la evaluación. En el siguiente cuadro aportan una lista de condiciones para que los evaluadores tengan éxito teniendo en cuenta estos dos parámetros arriba señalados:
8
Como se verá a lo largo del trabajo, este es el rol que ha adquirido la autora en la evaluación desarrollada.
40
M.M. Herrera Menchén
Evaluación
Tabla : Condiciones de éxito para los evaluadores. (López y otros, 2001: 23) Para Quién Utilizadores Autoridades Institucionales Municipales Autonómicas Nacionales Comunitarias (eventualmente) Animadores de los proyectos
Comités directivos Trabajadores y técnicos
Para Qué
Los evaluadores
Objetivos
Condiciones de Éxito
Poner el acento en los objetivos Control siguientes (mejora y difusión) para Ligado ala financiación Sin excluir la mejora y difusión disminuir la resistencia al control Cuantificar resultados directos e de los resultados indirectos Añadir efectos colaterales Animara a través del diálogo Mejora de los proyectos Hacer desear el apoyo técnico La innovación, la participación y la Estar disponible como consultor eficiencia a través de: Reforzar la autoconfianza de Definición de prioridades los actores Programas de ejecución Crear plataformas de encuentro. Metodologías Retroalimentación sistemática Además: aumento del capital simbólico: red de relaciones, conocimientos, prestigio e influencia de los proyectos.
Poblaciones beneficiarias
Mejora de las condiciones de vida Aprender a aprender Control sobre su vida Participación
Público interesado
Elaboración y difusión de modelos organizativos y promoción de redes Proyectos similares de Investigación-acción Institutos de investigación Mayor información Medios de comunicación. Transferencia de métodos de Redes europeas similares desarrollo socioeconómico t cultural (según la fuerza y envergadura del u otros proyecto) Sensibilización al encuentro intercultural y a los fenómenos de exclusión social.
Análisis multidisciplinario del empleo, entre otros. Planificar éxitos de la población implicada. Animación de seminarios. Producción de esquemas metodológicos. Difusión de la INFORMACIÓN Establecer redes permanentes de relaciones Investigación sobre los factores de riesgo y sobre las estrategias preventivas y de éxito Publicaciones y utilización de los medios de comunicación
En nuestra opinión, el evaluador debe ser fundamentalmente participativo y negociador. El papel a jugar alguno de los siguientes [Fernández y Santos (1992), Pérez (1989), MacDonald (1989), Brown (1998) y Vidal (1998)9]:
9
Identificar las personas que tendrán que decidir qué hay que evaluar.
Recoger información.
En Brown (1998).
41
M.M. Herrera Menchén
Evaluación
Organizarla.
Simplificar y difundir los datos.
Provocar retroalimentación.
Ayudar a que el programa resuelva sus problemas y avanzar dando alternativas.
Provocar la iniciativa para reformular el programa o reconducir el desarrollo.
Implicar a todos en la generación de conocimientos colectivos.
Ofrecer los datos relevantes para favorecer el análisis.
Provocar el dialogo, la discusión con todos los participantes e implicados.
Orientar, asesorar a los implicados: consejero y colaborador en el programa.
Activar el pensamiento para comprender y valorar el programa desde las distintas interpretaciones
Emitir juicios sobre el programa.
Colaborar en la toma de decisiones.
Ayudar a aclarar que es lo que funcionó y lo que no funcionó.
En algunos casos: facilitar, animar, dirigir, e incluso a preparar o enseñar acerca de algunos métodos de evaluación y/o de organización.
En definitiva, el/la evaluador/a es un investigador/a de acción participativa: forma parte del equipo y permite que mejore la acción. Si el evaluador se implica, ayuda a posicionar la evaluación como una parte integrante de las actividades centrales del programa. Los riesgos de este tipo de evaluador/a interno, implicado y con un papel importante en el desarrollo del programa, son que su opinión se tenga en cuenta más que otras, o que se convierta en el portavoz de aquellos con los que tiene afinidad. El mayor peligro es su perdida de credibilidad por parte de algunos implicados. Apunta Teresa Salvador (1995) que algunos de los factores que mediatizan la evaluación son:
El inevitable sesgo ideológico del que ningún evaluador puede evitar.
La cultura existente en la sociedad y
La voluntad, la capacidad y hasta la pericia para sacar las conclusiones a la sociedad de forma que anime u oriente las decisiones.
42
M.M. Herrera Menchén
7.5.
Evaluación
LOS INDICADORES
Una vez decidido lo que en cada ocasión interesa evaluar, habrá que delimitar los indicadores de evaluación, que son la definición concreta dentro de los niveles de aquello que queremos evaluar.
Los indicadores están relacionados con los objetivos específicos del proyecto. Por ejemplo: si un objetivo es conseguir el aumento de la participación de los jóvenes de tal pueblo en las asociaciones existentes, el indicador será número de jóvenes que se han asociado a las asociaciones existentes desde que se inició el programa. Si el objetivo general es fomentar las actividades culturales en un determinado barrio, el indicador podría ser grado de aumento de las actividades culturales durante tal periodo de tiempo. Si queremos ser más concretos y decidir cuál es el objetivo específico alcanzable realmente por el proyecto: el objetivo puede ser conseguir que se realice en determinado espacio de tiempo al menos una actividad cultural de cada uno de los campos artísticos destacados por los jóvenes como interesantes en la detección de necesidades; los indicadores se pueden determinar fácilmente: tipo de actividades culturales realizadas y grado de conexión con los campos de interés de los jóvenes. Todo ello quiere decir, que en la medida que el programa o proyecto tiene unos objetivos claros, definidos específicamente que permitan saber que es lo que realmente se espera conseguir de una forma concreta con el proyecto, la definición de los indicadores será muy fácil.
En la práctica esto no suele ser así, sin embargo:
Un diseño participativo de la evaluación en el que se necesita saber exactamente que es lo que queremos evaluar, ayudará al grupo impulsor del proyecto a especificar qué quiere conseguir con las acciones que quieren llevar a cabo.
Para Alvira (1991) los indicadores deben tener dos condiciones fundamentales:
Responder adecuadamente a los objetivos del proyecto y de la evaluación.
Ser factibles de recogerse durante el proceso del programa de un modo fiable y válido.
43
M.M. Herrera Menchén
Evaluación
Todo proyecto sociocultural debe contar con indicadores cuantitativos y cualitativos que permitan tener una visión real del proceso de acción sociocultural emprendido y de sus resultados. Los indicadores cuantitativos se suelen expresar en porcentajes, grados o escalas numéricas. Los indicadores cualitativos calculan la calidad de las acciones, explican situaciones, analizan causas o expresan opiniones que ayudan a entender una situación. Se trata, no sólo de saber un número, sino si los procesos se están haciendo en la línea propuesta por la comunidad, si los participantes están satisfechos, el tipo de relaciones que se establecen o la percepción que sobre lo que se está haciendo tiene las personas implicadas.
Toda evaluación cualitativa tiene que tener un grado suficiente de validez y fiabilidad. Esto se consigue con el método denominado triangulación. Es decir, comparando la percepción y la opinión que merece el mismo hecho por parte de todos los implicados (agentes sociales, beneficiaros, comunidad en general, etc.), haciendo un análisis crítico y objetivo que permita tener una visión realista de lo que está pasando o ha pasado. Por ejemplo, si desarrollamos un proyecto cultural para el barrio X durante seis meses que de cara a los destinatarios, se centra en acciones culturales durante los dos meses de verano (julio y agosto), a la hora de evaluar deberemos comparar el nivel de satisfacción de los vecinos del barrio en general, de los asistentes a las actividades, de los organizadores, de las instituciones colaboradoras y de los promotores del proyecto. Si cruzamos todos estos datos al final podremos decir con bastante fiabilidad y validez que el programa ha sido o no satisfactorio. Con el método de la triangulación estamos incorporando una tercera (o cuarta, etc.) visión que viene a aportar mayor objetividad, validez y fiabilidad. Por que el informe de resultados no se limita, en el ejemplo, a lo que opinan o analizan los/as vecinos/as y el educador/a social, sino que se cruzan los datos entre todos los actores/participantes del proyecto.
Para aprender a redactar indicadores y practicar en la formulación de los mismos, te proponemos hacer los siguientes ejercicios:
Ficha para la asociación de objetivos e indicadores: Leer cada objetivo y escoger de la lista de grupos de indicadores cuáles son los más adecuados para cada uno de ellos.
44
M.M. Herrera Menchén
Evaluación
OBJETIVOS Lograr que los jóvenes propongan, diseñen y desarrollen sus propias actividades culturales. Dotar a los jóvenes de una información útil para sus intereses. (Para un Centro de Información Juvenil, C.I.J.) Capacitar al grupo para que puedan desarrollar sus propias actividades. Conocer las demandas, intereses y necesidades de los jóvenes de esta población. Conseguir que al menos un 25 % de los niños de primaria acudan a la biblioteca. Fomentar la lectura entre los niños de 6 a 14 años del barrio X. Lograr una comisión Ayuntamiento-jóvenes para el seguimiento de todas las actividades que les afecten. Conseguir un grupo de mujeres que sirva de dinamizador social de otras mujeres. Lograr que las asociaciones organicen por sí mismas una actividad conjunta. Fomentar el conocimiento mutuo de las asociaciones del barrio. INDICADORES - Grado de conocimiento sobre la realidad juvenil: tipo de información que tenemos. - Grado de satisfacción de los jóvenes sobre la adecuación del programa a sus demandas e intereses. - Grado de cobertura del programa de las necesidades e intereses de los jóvenes. - Nº de jóvenes que utilizan el C.I.J. - Nº de jóvenes que han realizado alguna actividad después de recibir información del CIJ. - Nº y tipo de actividades realizadas - Incremento del uso de la biblioteca Municipal y la escolar en este sector de edad. - Nº de profesores implicados y a qué nivel. - Porcentaje de niños de primaria que acuden a la biblioteca. - Frecuencia con la que van. - Número de libros que demandan al mes. - Nº y frecuencia de actividades de encuentro entre las asociaciones. - Tipo de actividades conjuntan que han hecho las asociaciones. - Existencia o no de redes de comunicación entre las asociaciones y de qué tipo. - Nº y tipo de actividades que las asociaciones organizan conjuntamente. - Nº y tipo de actividades que las asociaciones organizan conjuntamente. - Nº y tipo de programas que los jóvenes han propuesto o diseñado o en su caso ejecutado. - Existencia de un grupo de mujeres dinamizadoras y su papel en el programa. - Nivel de capacitación del grupo para la ejecución de programas (cap. para diseñar programas, para organizar actividades, para tomar decisiones, etc.) - Tipo de formación recibida. - Nivel de satisfacción de los alumnos respecto a lo útil y práctica que puede resultar la formación para los fines propuestos. - Existencia de una comisión. - Nivel de representatividad de la misma
45
M.M. Herrera Menchén
Evaluación
Ficha de Autocomprobación: Lista de objetivos e indicadores correspondientes OBJETIVOS
INDICADORES
1. - Conocer las demandas, intereses y necesidades de los jóvenes de esta población.
- Grado de conocimiento sobre la realidad juvenil: tipo de información que tenemos - Grado de satisfacción de los jóvenes sobre la adecuación del programa a sus demandas e intereses. - Grado de cobertura del programa de las necesidades e intereses de los jóvenes.
2.- Dotar a los jóvenes de una información útil para sus intereses. (Para un Centro de Información Juvenil, C.I.J.)
- Nº de jóvenes que utilizan el C.I.J. - Nº de jóvenes que han realizado alguna actividad después de recibir información del CIJ.
3.- Fomentar la lectura entre los niños de 6 a 14 años del barrio X.
- Nº y tipo de actividades realizadas - Incremento del uso de la biblioteca Municipal y la escolar en este sector de edad. - Nº de profesores implicados y a qué nivel.
4.- Conseguir que al menos un 25 % de los niños de primaria acudan a la biblioteca.
- Porcentaje de niños de primaria que acuden a la biblioteca. - Frecuencia con la que van. - Número de libros que demandan al mes.
5.- Fomentar el conocimiento mutuo de las asociaciones del barrio.
- Nº y frecuencia de actividades de encuentro entre las asociaciones. - Tipo de actividades conjuntan que han hecho las asociaciones. - Existencia o no de redes de comunicación entre las asociaciones y de qué tipo.
6.- Lograr que las asociaciones organicen por sí mismas una actividad conjunta.
- Nº y tipo de actividades que las asociaciones organizan conjuntamente.
7.- Lograr que los jóvenes propongan, diseñen y desarrollen sus propias actividades culturales.
- Nº y tipo de programas que los jóvenes han propuesto o diseñado o en su caso ejecutado.
8.- Conseguir un grupo de mujeres que sirva de dinamizador social de otras mujeres.
- Existencia de un grupo de mujeres dinamizadoras y su papel en el programa.
9.- Capacitar al grupo para que puedan desarrollar sus propias actividades.
- Nivel de capacitación del grupo para la ejecución de programas (cap. para diseñar programas, para organizar actividades, para tomar decisiones, etc) - Tipo de formación recibida. - Nivel de satisfacción de los alumnos respecto a lo útil y práctica que puede resultar la formación para los fines propuestos.
10.- Lograr una comisión Ayuntamiento-jóvenes para el seguimiento de todas las actividades que les afecten.
- Existencia de una comisión. - Nivel de representatividad de la mima
Convertir los objetivos siguientes en indicadores10. Trata de formular todos los indicadores posibles para cada uno de los siguientes objetivos:
10
Estos objetivos pertenecen a programas y proyectos reales.
46
M.M. Herrera Menchén
Evaluación
OBJETIVOS 1.- Lograr que los jóvenes de esta población conozcan los recursos juveniles que se le pueden brindar desde el C.I.J. 2.- Conseguir que los diferentes grupos naturales de la barriadas tengan momentos de encuentro y comunicación. 3.- Capacitar al colectivo de baja cualificación y desempleado para que tenga más oportunidades en la búsqueda de empleo. 4.- Promover las relaciones interpersonales entre los mayores de la localidad. 5.- Conseguir al menos tres actividades en el año en el que los vecinos de distintos barrios, asociaciones o edades realicen algo conjuntamente. 6.- Conseguir que las asociaciones participen de una forma activa y protagonista en la ejecución de los proyectos que se impulsan desde el Ayuntamiento. 7.- Concienciar a los jóvenes de su realidad actual. 8.- Lograr que las actividades que se realizan en cada asociación sea conocida por las demás. 9.- Aumentar el número de asociaciones de mujeres en la localidad. 10.- Fomentar la coordinación de todos los servicios del Ayuntamiento por medio de una estructura fija de comunicación. Te habrás dado cuenta, que cuanto menos definido, más vago o general está el objetivo, más difícil es saber el indicador exacto de medición. Probablemente necesitaremos redactar varios para poder evaluarlo. Sin embargo, los objetivos específicos suelen poder evaluarse por medio de uno o dos indicadores. Ficha de autocomprobación: Lista de objetivos y posibles indicadores: OBJETIVOS 1.- Lograr que los jóvenes de esta población conozcan los recursos juveniles que se le pueden brindar desde el C.I.J.
2.- Conseguir que los diferentes grupos naturales de las barriadas tengan momentos de encuentro y comunicación. 3.- Capacitar al colectivo de baja cualificación y desempleado para que tenga más oportunidades en la búsqueda de empleo.
47
INDICADORES - Nº y tipo de centro, institución y asociación o grupo juvenil al que ha llegado la información. - Tipo de acción consecuente a la información recibida. - Porcentaje de la población juvenil que acude al C.I.J. y motivaciones. - Frecuencia y tipo de encuentro de los grupos de la barriada. - Tipo de productos de estos encuentros. - Tipo de actividades de formación realizadas. - Nivel de cobertura del programa para la población a la que se dirigía. - Tipos de capacidades que se han fomentado y necesidades que aún quedan por cubrir. - Porcentaje de alumnos que encuentran trabajo.
M.M. Herrera Menchén
Evaluación
4.- Promover las relaciones interpersonales entre los mayores de la localidad.
5.- Conseguir al menos tres actividades en el año en el que los vecinos de distintos barrios, asociaciones o edades realicen algo conjuntamente. 6.- Conseguir que las asociaciones participen de una forma activa y protagonista en la ejecución de los proyectos que se impulsan desde el Ayuntamiento. 7.- Concienciar a los jóvenes de su realidad actual. 8.- Lograr que las actividades que se realizan en cada asociación sean conocidas por las demás.
9.- Aumentar el número de asociaciones de mujeres en la localidad.
10.- Fomentar la coordinación de todos los servicios del Ayuntamiento por medio de una estructura fija de comunicación.
- Actividades que se han realizado. - Asistencia a cada actividad. - Grupos que se han conseguido. - Tipo de relación que mantienen después del programa - Realización de al menos tres actividades en las que se mezclen grupos sociales o de edad distinta. - Nº de asociaciones que colaboran con alguna actividad o proyecto del Ayuntamiento. - Procedencia de los colaboradores. - Nivel de implicación en las mismas. - ? Objetivo imposible de evaluar. - Grado de comunicación de las asociaciones. - Sistema de comunicación y efectividad del mismo. - Nivel de conocimiento sobre las actividades de los otros. - Productos de esta comunicación. - Incremento en el nº de asociaciones de mujeres. - Temáticas a las que se dedican. - Nº de asociaciones de cada temática. - Establecimiento de una red de coordinación y características de la misma.
Rueda (1993: 133) presenta un cuadro bastante indicativo de los principales indicadores que la evaluación debe medir dependiendo del tipo de proyecto que sea:
PROYECTOS DE ACCIÓN COMUNITARIA
PRINCIPAL RASGO A MEDIR
Proyectos para implicar a los ciudadanos en los servicios públicos Proyectos para implicar el servicio en el tejido social Proyectos de coordinación administrativa Proyectos de información y sensibilización
Participación de los vecinos en las acciones y proyectos del servicio Participación del servicio en las actividades de la comunidad Capacidad de coordinación Nivel de captación y comprensión de los mensajes emitidos Proyectos de Educación Social y Animación Participación de la comunidad en las diversas Sociocultural para el protagonismo de los actividades
48
M.M. Herrera Menchén
ciudadanos Proyectos de organización de la comunidad Proyectos de formación y desarrollo habilidades Proyectos de complementación a entidades
Proyectos de sociopatologías
Evaluación
Grado de autonomía personal, autogestión, cogestión etc. de Resultado del programa en función de la situación inicial Disminución de la conducta social del problema. Capacidad de mantener el objetivo por parte de la entidad Presencia de una afección comunitaria y resultados después de la acción.
UN EJEMPLO DE NIVELES DE EVALUACIÓN E INDICADORES PARA CADA NIVEL 1.
ENTORNO: • •
Existencia de recursos comunitarios y de qué tipo Grado de conocimiento de las instituciones y asociaciones que trabajan en el tema.
2. PROGRAMA: • • • •
Calidad del diseño en cuanto a la coherencia con las necesidades e intereses detectados. Adecuación de la metodología escogida a los objetivos, destinatarios y recursos. Resultados obtenidos respecto a los objetivos previstos. Grado de consecución de los objetivos.
3. METODOLOGÍA: • • •
Grado de flexibilidad ante la realidad. Nivel de adecuación a los objetivos. Rentabilidad de las actividades realizadas.
4. DESTINATARIOS: • Nivel de participación en el diseño del proyecto, la ejecución, las actividades y la evaluación. • Grado de satisfacción ante las tareas y los resultados. • Número de beneficiarios directos y colectivos a los que pertenecen. • Impacto real en la población diana. 5. PROFESIONALES: • Nivel de satisfacción antes las tareas realizadas. • Grado de eficacia en la ejecución de las tareas. • Capacidad para adaptarse a los recursos y al entorno.
49
M.M. Herrera Menchén
Evaluación
• Grado de conocimiento y habilidades para ejecutar sus tareas. 6. RECURSOS: • Han sido suficientes o no. • Idoneidad de los mismos para la correcta ejecución.
50
M.M. Herrera Menchén
7.6.
Evaluación
LAS TÉCNICAS DE EVALUACIÓN
Una vez decidido qué se va a evaluar, habrá que pensar cómo se a realizar la evaluación. Para ello recurriremos a las técnicas que nos permitan mejor, en cada momento y en función de los indicadores y de las personas que van a evaluar, recoger y analizar la información demandada. Las técnicas son el medio necesario para poder conseguir los objetivos, el procedimiento para la recogida de información o para el análisis de la misma. En el capítulo 1º del análisis de la realidad se han presentado numerosas técnicas que pueden ser igualmente utilizadas en la evaluación de proyectos. Ya hemos dicho que entendemos el análisis de la realidad como la primera fase de la evaluación11. Ahora añadimos algunas más que creemos básicas en la evaluación de proyectos socioeducativos.
La Observación Simple Directa: una técnica fundamental en la acción social.
Por su especial importancia y uso en la A.S.C., expondremos más profundamente la técnica de la observación directa simple, entendida cómo la inspección y estudio realizado por el evaluador, mediante el empleo de sus propios sentidos, especialmente la vista, con o sin ayuda de aparatos técnicos, de las cosas
y hechos de interés social, tal como son o tienen lugar
espontáneamente, en el tiempo en que acaecen y con arreglo a las exigencias de la investigación científica (Sierra Bravo, 1992:253). Para que la observación simple sea científica ha de reunir las siguientes condiciones:
•
Que sirva a un estudio evaluativo ya formulado.
•
Que sea planificada y se realice sistemáticamente.
•
Que esté relacionada con proposiciones científicas o evaluativas más generales.
11
Hernández (en Fernández-Ballesteros, 1995:122 a 146) hace una descripción de las principales técnicas
cualitativas y cuantitativas a utilizar en los campos sociales, educativos y de salud. Existen otros autores a los que podemos recurrir para la explicación de técnicas aplicables a la evaluación en los procesos socioculturales (Cirigliano y Villaverde, Pérez Serrano (1995), Cembranos, Bustelo y Montesinos (1989), Pineault y Daveluy (1989), Ventosa (1992).
51
M.M. Herrera Menchén
•
Evaluación
Que se empleen técnicas objetivas, es decir que aspire a observar, registrar e interpretar los hechos en forma tal que se puedan verificar sus resultados.
•
Que esté sujeta a algún control para la comprobación de su validez y fiabilidad.
Las formas de control que se suelen utilizar son: 1. Hacer la observación dos evaluadores a la vez., 2. La discusión de datos obtenidos con expertos y miembros del grupo.
Algunos de los tipos de observación que nos interesan son:
a) La observación participante: es la que tiene lugar cuando el evaluador se mezcla con el grupo observado y participa en sus actividades más o menos intensamente. Este es el tipo de observación que como animadores se debe realizar. La observación participante es característica de la investigación cualitativa y pretende penetrar y comprender los fenómenos, o una realidad en profundidad, más allá de los aspectos externos y cuantitativos. b) La observación descriptiva: su finalidad es describir, y su objeto de estudio suelen ser grupos o fenómenos sociales en conjunto (una fiesta, una asociación, etc.) No es necesario establecer una hipótesis explícita previa. Puede bastar con determinar los aspectos del campo de observación que van a ser objeto de nuestra investigación, y si se quiere ser más concreto los indicadores a observar.
El procedimiento suele ser el siguiente: •
Decidir el campo de observación y definirlo del modo más preciso posible.
•
Analizar sus aspectos principales y elegir entre ellos los que se crean tienen mayor interés, limitando a ellos la observación (sobre todo cuando se es principiante).
•
Especificar las dimensiones de los aspectos seleccionados y los indicadores. Estos indicadores pueden ser memorizados por el observador. Un ejemplo de indicadores para la observación de la dinámica de los grupos son las doce categorías de Bales sobre los tipos de comportamientos en las reuniones:
52
M.M. Herrera Menchén
Evaluación
1. Muestra solidaridad, anima. 2. Aparece relajado. 3. Aprueba. 4. Sugiere. 5. Da una opinión. 6. Da información. 7. Pide opiniones 8. Pide una evaluación, una opinión. 9. Exige una orientación. 10. Rehúsa, desaprueba. 11. Manifiesta una tensión. 12. Manifiesta agresividad. •
Construir como instrumento de observación un cuadrante de recogida de datos, en el que además de los datos de la situación aparezcan columnas en las que anotar la frecuencia e intensidad de los indicadores.
Es importante que las anotaciones se hagan en el momento de la observación. Si esto no es posible, se hará cuanto antes.
c) La observación explicativa: su finalidad es explicar los fenómenos y su objeto de estudio suele ser reducido, con el fin de confirmar ciertas hipótesis establecidas previamente. El procedimiento puede ser el mismo que para la descriptiva.
Las estrategias de observación:
Existen tres fundamentales (Irwin y Bushell, 1984)12 •
Los métodos narrativos: pensados para reproducir los hechos tal y como ocurren naturalmente. El observador registra sus observaciones, luego las clasifica, selecciona y analiza después de sucedidas.
•
Los métodos de muestreo, que no conservan la secuencia original del comportamiento o situación, sino que toman muestra de aspectos seleccionados según criterios predeterminados. Lo que supone decidir previamente los indicadores a observar y el instrumento para la observación.
•
Los métodos de estimación: que requieren del observador/a no sólo que observe, sino que juzgue. Por lo tanto el registro suele ser posterior a la observación.
Explicaremos a continuación algunas de las técnicas que no han sido explicadas en el capítulo primero.
12
En Francia y otros, 1993:167-169
53
M.M. Herrera Menchén
Evaluación
DENOMINACIÓN: DIARIO DE CAMPO OBJETIVO: Analizar lo que está sucediendo en (OBSERVACIÓN) una acción Descripción: En un cuaderno se toman notas de lo que va sucediendo en todo lo referente al proyecto para su posterior análisis. Desarrollo: De forma ordenada se establece un diario donde se recogen todas las incidencias que puedan servir para el seguimiento. Se puede operativizar haciendo un guión de lo que vamos a apuntar, por ejemplo: 1) La actividad. 2) El día que se realiza. 3) El lugar. 4) La hora y el tiempo de realización. 5) El objetivo. 6) Los indicadores de resultado. 7) Las personas que han participado. 8) Los resultados. 9) Las valoraciones y 10) Las observaciones Observaciones: No se trata sólo de escribir objetivamente lo que está pasando, si no que incluye una valoración inmediata de lo sucedido e incluso sugerencias de mejora. Es un instrumento muy útil, pero exige un esfuerzo regular y periódico. (Ver Rueda, 1993)
DENOMINACIÓN: REGISTRO ANECDOTICO (OBSERVACIÓN)
OBJETIVO: Observar determinados hechos destacados en una situación para poder analizarlos posteriormente Descripción: Registro de conductas o aspectos de una situación que se consideren significativos, sin interpretar ni juzgar. Desarrollo: Se decide qué situación se va a observar y qué indicadores concretos interesan. Se prepara una parrilla de registro. No se requiere ningún momento concreto ni un lugar especial, debe hacerse cuando surja algo interesante, pero no después. Se pueden hacer registros individuales y grupales. Observaciones: El registro ha de hacerse en el momento, pero el análisis puede hacerse después. (Ver Francia, 1993:170) Variantes: Registro continuo: Un/a observador/a procesa o elabora información a partir de la observación continua a un sujeto o grupo. Supone un lenguaje preciso y elaborado que describa las situaciones sin interpretaciones pero con suficiente detalle para que refleje la conducta o situación.
DENOMINACIÓN: MUESTREO DE HECHOS OBJETIVO: Explorar las características de los (OBSERVACIÓN) indicadores seleccionados Descripción: Se observa un hecho sin tener en cuenta cuándo ocurre o cuánto dura. Desarrollo: 1. Se selecciona un aspecto y sus indicadores a observar. 2. El/la observador/a espera que la conducta se manifieste y la registra. Para lo cual deberá tener un conocimiento exhaustivo sobre la conducta general y sobre dónde y cuándo observar. 3. Determinar que clase de información se quiere registrar. 4. Elaborar una hoja de registro, pre-codificando cada información que se va a recoger en abreviatura con números u otros símbolos. Se trata de registrar si esta conducta se da o no. Se puede completar con espacios para notas aclaratorias. Observaciones: Se puede utilizar para la observación de una conducta conflictiva en las reuniones o si se quiere trabajar con jóvenes con problemas sociales (ver Francia, 1993).
54
M.M. Herrera Menchén
Evaluación
DENOMINACIÓN: MUESTREO DE TIEMPOS (OBSERVACIÓN)
OBJETIVO: Analizar la frecuencia con que aparece una conducta o situación y su duración. Descripción: Recogida de información de una muestra representativa de la conducta, antes de describirla con detalle. Se suele usar para la observación de un grupo grande, sobre todo si se pretende generalizar las conclusiones. Desarrollo: Se debe escoger una muestra con estabilidad en el tiempo, ya que no es un registro anecdótico. El hecho debe ser fácilmente observable y las manifestaciones de este hecho deben estar definidas operativamente. Los pasos a seguir serían: 1. Expresar claramente el objetivo de la observación (describir, explicar, controlar, modificar, etc.). Ello nos orientará con el tamaño de la muestra (nº de observaciones, frecuencia de la observación, módulos e intervalos de tiempo, etc.) 2. Determinar la clase de información que necesitamos registrar (presencia/ausencia, nº de veces que sucede, tiempo que tarda en desaparecer…) 3. Preparar la hoja de registro de observación. Observaciones: Esta técnica puede ser utilizada para la detección de problemas en grupos, y más concretamente para valorar la importancia de determinadas conducta de algunos individuos del grupo en el clima general. DENOMINACIÓN: LA DIANA
OBJETIVO: Conocer el grado de satisfacción de una actividad Descripción: Por medio de la representación gráfica de la diana un grupo valora una actividad, indicando si le parece acertada la acción o actuación que ha dado en el centro, y cuanto menos de acuerdo o satisfecho esté, debe alejar su valoración del centro. Desarrollo: Se prepara una diana en papel grande o cartulina y se divide en 5 o más porciones (dependerá del número de aspectos a evaluar). Cada porción se le asigna el aspecto que se quiere evaluar. Por ejemplo: organización, grado de contacto personal, cumplimiento de objetivos, etc. Luego se le asigna la máxima puntuación (por ejemplo 5) al centro, y el resto de círculos exteriores significarán menor valoración. Cada participante recibirá una diana en un folio en la que se indicará lo que debe evaluar. Luego se pasará a la puesta en común en la que cada participante se levantará y pondrá su puntuación en una diana grande que habrá en la pizarra o en la pared (dibujada en papel). De esta forma se verá si existe mucha diferencia o no en las valoraciones. Se puede discutir las medias y la dispersión que se de en cada apartado evaluado. Observaciones: Es fácil de construir y rápida de realizar. Variante: se puede hacer un paso intermedio, trabajando en pequeños grupos. DENOMINACIÓN: LO MEJOR Y LO PEOR
OBJETIVO: 1.Conocer una impresión general de la actividad 2. Reflexionar sobre las causas Descripción: Un grupo evalúa los aspectos positivos y negativos de una actividad.
55
M.M. Herrera Menchén
Evaluación
Desarrollo: Cada participante debe escribir en un papel de forma individual qué le ha parecido mejor y peor de la actividad. Serán suficientes 5 a 10 minutos. Posteriormente se va leyendo en voz alta. Se pueden pedir aclaraciones. Si se tiene tiempo y se quiere profundizar (siempre aconsejable cuando se utiliza esta técnica como seguimiento y por tanto con posibilidades de cambiar cosas a corto plazo) se puede realizar una reflexión grupal y consensuar en la pizarra los principales aspectos positivos y negativos de la actividad, así como sus causas. Añadiendo soluciones inmediatas a propuestas del grupo.
Observaciones: Supone poco tiempo de realización, pero recoge muchos datos. Variante: el cartel está a la puerta del lugar donde se realiza la actividad y se pide a todos que antes de marcharse lo rellenen.
DENOMINACIÓN: LAS ESTATUAS
OBJETIVO: Conocer como se siente o qué se piensa ante un determinado evento o actividad Descripción: Una parte del grupo expresa de forma corporal lo que piensa de una situación, la otra parte del grupo lo interpreta. Desarrollo: Se divide al grupo en subgrupos de unas seis personas. Cada subgrupo prepara por separado una situación que ha transcurrido: como la han vivido, el sentimiento que han tenido durante las actividades o la impresión final de la misma. Luego cada grupo presenta su trabajo por medio de un escultor que con el cuerpo de los demás va moldeando una composición de estatuas. El resto debe interpretar que es lo que han querido expresar, luego se inicia un diálogo y se concluye. Observaciones: Esta técnica suele gustar por ser bastante diferente a las habituales. Hay que tener en cuenta que no se puede hablar y solo las posturas de los cuerpos o la composición de entre varios de ellos indicará lo que se quiere expresar. Posteriormente con la interpretación se suelen extraer muchas ideas. Es importante que el/la coordinador/a o el grupo responsable apunte los resultados y elabore un informe valorativo.
DENOMINACIÓN: MURAL
OBJETIVO: Conocer las impresiones y opiniones a cerca de una actividad concreta. Descripción: En un papel grande que se pega en la pared, o se pone en el suelo, se invita a los participantes de una actividad a reflejar su opinión a cerca de la misma. Desarrollo: Se pega el papel en un lugar visible y accesible con varios rotuladores a mano, se les pide a los participantes que expresen libremente sus impresiones, valoraciones, críticas y sugerencias. Es una actividad de carácter individual. Posteriormente habrá que extraer la información, agruparla y sacar conclusiones; si se quiere esto se puede hacer con el grupo.
56
M.M. Herrera Menchén
Evaluación
Observaciones: Rápida y fácil de hacer, abierta pero difícil de interpretar y tabular. Variante (sobre todo en formación): el coordinador de la actividad propone ciertos aspectos sobre los que quiere evaluar, por ejemplo: el nivel de organización, la difusión, los recursos, etc. Se puede hacer en grupos pequeños y luego cada grupo explica lo que ha dibujado y por qué. DENOMINACIÓN: TELEGRAMA
OBJETIVO: Extraer un balance general de la actividad Descripción: En una tarjeta o cuartilla, cada participante expresa con una frase corta, a modo de telegrama, su valoración. Desarrollo: Cada participante debe escribir un telegrama que refleje una impresión general o un aspecto que quiere destacar de la actividad. Se debe propiciar el sentido del humor y la creatividad. Cada uno escribe su mensaje y lo deja en una bolsa donde se mezclan, posteriormente se reparten al azar y se leen en voz alta un mensaje. Se puede complementar con una reflexión grupal de lo que se ha dicho. Observaciones: Es muy útil para medir el nivel de satisfacción y se realiza en relativo poco tiempo. DENOMINACIÓN: ASAMBLEA EVALUATIVA
OBJETIVO: Hacer un análisis profundo de una actividad o proyecto Descripción: Un grupo numeroso de personas (hasta 25 a 30) se reúnen en círculo para valorar una actividad, con la ayuda de unas preguntas guías. Desarrollo: En primer lugar, habrá que determinar el/la coordinador/a de la misma, esta persona será la responsable de que exista un guión de aspectos a analizar mediante la asamblea (este guión puede realizarse con el grupo colaborador). Estas preguntas guías, pueden ayudar a dirigir la discusión y a centrarse en el tema. La coordinación plantea el tema y comienza lanzado la primera pregunta e intenta que todo el mundo participe. La disposición espacial es clave. Los participantes han de distribuirse en círculo y sin mesas delante. Si se ve necesario, el grupo grande se subdivide en grupos para generar mayor participación y luego se hace una puesta en común. Lo más importante es crear un clima relajado, en parte informal, que permita que salgan a relucir aspectos que por medio de instrumentos cuantitativos son imposibles de recoger. El/la coordinador/a o el grupo responsable, serán los encargados de hacer un informe-memoria con un análisis de las conclusiones de la evaluación. Observaciones: Esta técnica necesita bastante tiempo, mínimo una hora y media, pero permite extraer mucha información y hacer reflexionar. Además, puede completarse pidiendo al grupo que aporte soluciones a los problemas detectados. Variante: Se pide a todas las personas participantes que reflexionen individualmente y por escrito antes de comenzar a hablar sobre cada una de las preguntas, esto garantiza una mayor participación. También se les puede pedir que simplemente piensen tres aspectos positivos y tres negativos y luego se comienza la asamblea.
DENOMINACIÓN: LLUVIA DE TARJETAS
OBJETIVO: Evaluar de forma profunda una actividad. Descripción: Un grupo de hasta 20 o 25 personas evalúa un proyecto, por medio de tarjetas adhesivas, específicamente determinados aspectos que se quieren valorar.
57
M.M. Herrera Menchén
Evaluación
Desarrollo: Se divide el grupo en subgrupos de 3 o 4 personas y a cada grupo se le da una tarjeta con el aspecto o criterio a evaluar, por ejemplo: Tarjeta 1: ¿Se ha atendido a los intereses de los destinatarios? ¿Se han conseguido los objetivos previstos? Tarjeta 2: ¿Están satisfechos los implicados? ¿Qué valoración se hace de las actividades? Tarjeta 3: ¿Cuáles han sido las actividades más decisivas?, ¿Cuáles las de mejores resultados? ¿Por qué? Tarjeta 4: Valoración general de la metodología y fases del proyecto. Tarjeta 5: Valoración de la participación e implicación. Tarjeta 6: Valoración del responsable, etc. Los grupos tendrán de 20 a 30 minutos para evaluar los aspectos señalados en cada tarjeta. Por cada aspecto podrán rellenar a su vez una o dos tarjetas adhesivas por personas, en cada una de ellas expresarán una sola idea. Cada grupo irá pegando sus tarjetas en tablones o en un papel colgado en la pared, procurando ordenarlas por los aspectos evaluados. El/la coordinador/a de la actividad terminará de ordenarlas. Se puede continuar de dos formas: 1ª El grupo se vuelve a dividir en subgrupos (tantos como aspectos evaluados y analizan y resumen las ideas. 2ª En asamblea y con la ayuda del/a coordinador/a se van analizando y debatiendo cada una de las aportaciones. Observaciones: Recomendable para grupo de colaboradores que pretende evaluar un proyecto. Es larga de realizar, una hora y media aproximadamente, pero muy rica. Se habrá observado que tanto en el capítulo del análisis de la realidad como en éste de evaluación, no hemos explicado cómo se hace y para qué sirve la encuesta (cuestionario) y la entrevista. No es por que consideremos que no son importantes, sino porque su uso es el más extenso en la práctica, es decir son muy conocidas, y además existe una extensa bibliografía sobre ellas. VENTAJAS DE LAS TÉCNICAS CUALITATIVAS (Amezcua y Jiménez, 1996) Permiten abordar problemas complejos dentro del campo de las ciencias sociales, como son el estudio de creencias, motivaciones o actitudes. Posibilitan la participación de individuos con experiencia diversa, lo cual permite un abordaje multisectorial de los problemas. Permiten la generación de un gran número de ideas de forma rápida, disminuyendo así las incertidumbres a la hora de tomar decisiones. Su realización es sencilla, no requiriendo complicados diseños ni avanzadas pruebas estadísticas. Tienen un bajo coste económico.
58
M.M. Herrera Menchén
Evaluación
EJEMPLO DE TIPO DE TÉCNICAS EN FUNCIÓN DE LA FASE DE LA EVALUACIÓN EN EL ANÁLISIS PREVIO DE LA
DURANTE LA EJECUCIÓN
AL FINAL
REALIDAD -
OBSERVACIÓN
-
REUNIONES DE EVALUACIÓN
-
REUNIONES DE EVALUACIÓN
-
ENTREVISTAS ABIERTAS
-
CUESTIONARIOS
-
OBSERVACIÓN
-
INFORMADORES CLAVE
-
CONTACTOS
-
ENCUESTAS
-
FORO COMUNITARIO
-
INFORMALES
CON -
MURAL
RESPONSABLES Y DESTINATARIOS
-
TELEGRAMA
-
OBSERVACIÓN
-
CUESTIONARIO
TÉCNICA DELPHY
-
VISITAS
-
INFORME DE RESPONSABLES
-
PASADO MAÑANA
-
ENTREVISTAS
-
ASAMBLEA
-
PICTOGRAMA
-
REVISIÓN MEMORIAS
-
ÁRBOL
-
ANÁLISIS DOCUMENTAL
-
REUNIÓN CON JEFES
-
MAPA DE LA COMUNIDAD
-
DIARIO DE CAMPO
-
ELABORACIÓN DE MEMORIA.
-
CARTA
-
CENSO
-
ESTUDIO DE MEMORIAS
-
DISCUSIÓN EN GRUPO
59
EVALUATIVA
DESTINATARIOS
CON
M.M. Herrera Menchén
7.7.
Evaluación
LOS INSTRUMENTOS DE EVALUACIÓN
Los instrumentos son los recursos concretos para poder llevar a cabo cada técnica de evaluación. Por ejemplo: podemos utilizar la técnica de la observación pero para ello necesitaremos ciertos instrumentos: generalmente una parrilla de registro. En el cuadro siguiente exponemos algunos ejemplos más: TÉCNICA
INSTRUMENTO
OBSERVACIÓN
PARRILLA DE REGISTRO
ENCUESTA
CUESTIONARIO ESCALAS
ENTREVISTA
PREGUNTAS GUÍAS
MURAL
GUIÓN INDICADORES
DIARIO DE CAMPO
CUADERNO DE NOTAS
LLUVIA DE TARJETAS
PARÁMETROS DE ANÁLISIS
ASAMBLEA EVALUATIVA
GUIÓN DE ANÁLISIS
LAS TRIBUS
MATRIZ
PICTOGRAMA
ESQUEMA DE LOS PUNTOS A TENER EN CUENTA
MURAL
PARAMETROS DE EVALUACIÓN
DIANA
GRÁFICO DE DIANA
TELEGRAMA
NINGUNO
Es importante no confundir el instrumento de evaluación con los recursos materiales necesario para la técnica.
60
M.M. Herrera Menchén
Evaluación
Tanto en los cuestionarios como en los diversos tipos de observaciones, podemos registrar datos por medios de ESCALAS. Las escalas son un instrumento muy útil y puede ser de diversos tipos. Algunos de ellos son:
1. Escala numérica de Likert: en la que se le asignan a las categorías descriptivas, valoraciones numéricas. Por ejemplo: 1: Muy Bajo, 2: Bajo, 3: Regular; 4:Bien, 5: Muy Bien Cómo valoras en tus compañeros: •
Laboriosidad
•
Iniciativa
•
Apertura a nuevas ideas
•
Cooperación
1
2
3
4
5
2. Escala de diferencial semántico: en las que se valora dos extremos de una opinión graduándolo numéricamente, por ejemplo: Valora a tu monitor: 1
2
3
4
5
6
7
Bueno
Malo
Cordial
Hostil
Asequible
Distante
Justo
Injusto
3. Escalas gráficas: se registra mediante una señal, dentro del formato de registro:
Actitud hacia el grupo
Normalmente no
Participa pero no
Se
muestra interesado participa
le interesa la reunión
Una escala gráfica de diferencial semántico podría ser esta: 1
2
3
4
5
Coopera
6
7 No coopera
61
en el debate
M.M. Herrera Menchén
Evaluación
Activo
Pasivo
Tiene Iniciativa
No responde
Ordenado
Desordenado
Comprensivo
Egoísta
7.8.
CANALES DE DISTRIBUCIÓN
Y por fin, para finalizar el diseño de la evaluación habrá que decidir cómo va a ser distribuida la información, así como los resultados del análisis y valoración de la misma. Para ello, una vez que sabemos qué queremos evaluar, quiénes tienen que evaluar ese determinado parámetro y con qué técnica e instrumento lo recogeremos, deberemos decidir quién se encargara del análisis, a dónde irá a parar toda esa información, y de qué forma se harán públicos los resultados.
Por ejemplo, supongamos un programa “tipo” de Educación Social y Animación Sociocultural, podremos decidir hacer una asamblea evaluativa y unas entrevistas personales a personajes claves al principio del proceso. Con esta información, el grupo evaluador (generalmente el/la técnico/a y un grupo de participantes) valorarán hacia donde deben ir encaminadas las actuaciones y deberán informar, a la comunidad en general y a los políticos o las personas contratantes, sobre qué tipo de actuación van a hacer y por qué. A lo largo del proceso, se pueden diseñar diversos momentos en que el grupo responsable del programa se reúna con las personas contratantes e informar de los resultados y mejoras que se van produciendo; también se puede decidir enviar un informe escrito sobre las actuaciones. Al final del programa, habrá que establecer quiénes colaborarán en la memoria, a quién será enviada y cómo podemos extraer de ellas las informaciones más interesantes y hacérselas llegar a determinados públicos concretos (medios de comunicación local, revistas, otros profesionales, etc.); para ello se puede decidir realizar un vídeo, editar un folleto o elaborar una memoria resumen (ver también el punto 8. de este mismo capítulo).
Proponemos para el diseño de la evaluación un simple cuadro como el que presentamos en la siguiente página y que facilita mucho el diseño de la evaluación. En él hemos descrito a modo de ejemplo algunos momentos que pudieran darse en el diseño de la evaluación de un proceso de Educación Social y Animación Sociocultural:
62
M.M. Herrera Menchén
TEMPORA LIZACIÓN FASE INICIAL
FASE DE IMPLEMEN -TACIÓN O EJECUCIÓ N
Evaluación
NIVEL Participant es
Equipo de trabajo
INDICADOR Capacidad para sensibilizar a la comunidad hacia el tema o problema
Observación del n º y tipo de participantes Análisis de si están todos los grupos teóricamente interesados
Capacidad de organización grupal Reparto real de tareas
Reuniones periódicas
Nivel de realización de lo proyectado
FASE FINAL
Resultados
TÉCNICA
Grado de consecución de los objetivos
Comparación del programa con lo realizado
Análisis de los distintos momentos de evaluación anterior Asamblea con los destinatarios Reunión de evaluación final
63
INSTRUMENTO
RESPONSABLE Técnico
Guión estructurado elaborado cada vez por un participante distinto El programa Las actas de las reuniones Las memorias de las actividades Actas de las reuniones evaluativas Guión de análisis Guión de objetivos e indicadores a evaluar
PARTICIPANT E
DISTRIBUCI ÓN
Todos los que hayan participado o tengan relación con el programa
Contratantes
Todo el grupo organizador
Todo el grupo organizador
Al grupo de referencia (Asociaciones , institución, comunidad)
Técnico
Todos los responsables de actividades
Jefes
Comunidad Grupo destinatario Grupo organizador Técnicos Jefes
Comunidad Med. de comuni. local Jefes Otros profesionales
Grupo organizador
Comunidad
Comunidad
M.M. Herrera Menchén
Evaluación
PREGUNTAS PARA LA REFLEXIÓN 1. ¿Qué entiendes por tabulación de datos? 2. ¿Qué procesos o medios conoces para tabular?
8. TABULACIÓN DE LOS DATOS13
Nos encontramos ya en otro momento. Se ha diseñado el programa, así como su evaluación, se ha recogido la información que interesaba con las técnicas e instrumentos previstos. Ahora se acumula una serie de datos e información que debemos tabular, interpretar, categorizar, organizar par poder ser analizados. La ordenación y síntesis de los datos facilitan la comprensión de los mismos. Dependiendo de si los datos son cuantitativos o cualitativos la organización de los mismos será distinta.
♦ Datos cualitativos Se pueden tabular los datos por frecuencias absolutas (fa), frecuencias relativas (fr) y porcentajes (%). Por ejemplo, la variable sexo se presenta en dos modalidades: masculina y femenina, la frecuencia absoluta es el número de individuos que presenta cada una de las modalidades de una variable cualitativa. La suma de los distintos valores de la frecuencia absoluta en las distintas modalidades será igual al número total de observaciones.
La frecuencia relativa, es el cociente entre la frecuencia absoluta y el tamaño de la muestra (número total de personas de las que se extrae el dato). La suma de los diferentes valores de la frecuencia relativa debe ser igual a 1. La frecuencia relativa nos permite comparar cuantitativamente las diferentes modalidades de la variable y así se determinará cuál es el menos frecuente.
El porcentaje es el resultado derivado de la frecuencia relativa multiplicado por cien. La suma de los porcentajes en las diferentes modalidades debe sumar 100. El porcentaje nos permite también conocer la modalidad que es más frecuente y la que menos.
13
Este apartado está basado en Amezcua y Jiménez , 1996.
64
M.M. Herrera Menchén
Evaluación
Para la presentación de una variable ordinal, como por ejemplo: La opinión sobre una actividad realizada puede ser: mala, regular, bastante bien.
Tabla 1: Distribución de datos cualitativos ordinales OPINION
Frecuencia absoluta
Frecuencia Relativa
Porcentaje
Mala
90
0,20
20
Regular
135
0,30
30
Bastante bien
225
0,50
50
Total
450
1,00
100
♦ Datos cuantitativos a) Variables cuantitativas discretas Los parámetros son los mismos frecuencia absoluta, frecuencia relativa y porcentaje. Por ejemplo:
Tabla 2: Distribución de datos cuantitativos Valoración
de
los Frecuencia absoluta
Frecuencia Relativa
Porcentaje
recursos disponibles 0
25
0,05
5
1
100
0,20
20
2
125
0,25
25
3
100
0,20
20
4
75
0,15
15
5
75
0,15
15
Total
500
1,00
100
65
M.M. Herrera Menchén
Evaluación
b) Variables cuantitativas continuas
Se pueden tabular igual que en los casos anteriores pero además habría que realizar una síntesis y agruparlos por clases, denominados
intervalos por clases. Cada clase viene
determinada por un par de valores, denominados límite superior e inferior. Las reglas para la construcción de intervalos serán:
El número de intervalos de clase debería estar comprendido entre 5 y 20.
Es conveniente utilizar intervalos de igual amplitud, no dejando huecos entre ellos.
Los distintos intervalos de clase deben ser mutuamente excluyentes.
Es importante establecer un valor que defina a cada intervalo de clase. Este valor denominado marca de clase resulta de la división por 2 del sumatorio del límite superior e inferior del intervalo correspondiente.
Tabla 3: Distribución de frecuencias de una variable cuantitativa continua. Edad de los participantes: Intervalo de clase Frecuencia
Frecuencia
Porcentaje
Marca de clase
absoluta
relativa
< 20
75
0,075
7,5
15,5
21-30
250
0.250
25,05
25,5
31-40
325
0,325
0,325
35,5
41-50
150
0,150
15,0
45,5
51-60
140
0,140
14,0
55,5
> 61
60
0,060
6,0
65,5
Total
1.000
1,00
1,000
En el caso de técnicas absolutamente cualitativas como la reunión de evaluación, el diario de campo, la asamblea o la lluvia de tarjetas, en la fase de tabulación, se trataría de ordenar y clasificar los datos que aparecen en la memoria o informe de resultados de la técnica.
PREGUNTAS PREVIAS PARA LA REFLEXIÓN 1. Define que es el análisis de datos. ¿Qué diferencias le encuentras con la interpretación de los datos?
66
M.M. Herrera Menchén
Evaluación
2. ¿Para qué sirve el análisis de datos?
9. EL ANÁLISIS Y LA INTERPRETACIÓN DE LOS DATOS
La evaluación persigue emitir un juicio de valor sobre un programa, lo que realmente se propone no es enjuiciar a sus responsables sino identificar y analizar las razones que hacen que ese programa se desarrolle más o menos satisfactoriamente, incluyendo las dificultades previstas o imprevistas que entorpecen el cumplimiento de los objetivos; contribuir a la toma de decisiones acerca de la puesta en marcha, la continuidad, la expansión, las modificaciones y la acreditación del programa; obtener apoyos externos para el programa y por fin, comprender los procesos que explican los logros y los fracasos del programa, contribuyendo así a la puesta a punto de estrategias viables de acción social. Toda esta reflexión sobre la práctica, permitirá que el propio proceso evaluador se convierta en una estrategia de formación para los que participan en el mismo, tanto los profesionales como los colaboradores. La reflexión sobre la acción, es un proceso cíclico, continuo que nos permite aprender de nuestras propias experiencias.
Los datos recogidos por las distintas técnicas a lo largo del proceso, no suelen servir de mucho si no son tabulados (en el caso de ser medios cuantitativos), sistematizados u organizados en categorías (si son cualitativos). Los resultados en bruto, ya sea el diario de campo que recoge lo sucedido, los datos de un cuestionario de satisfacción, o las conclusiones de un grupo de discusión, no son suficientes. La evaluación está completa cuando, además de describir o de cuantificar, se analizan y valoran los datos. Esta reflexión a la luz de los mismos, es lo que se conoce como explicación de los resultados y permite realizar valoraciones, relacionar datos, comparar variables y extraer por fin, conclusiones evaluativas de los proyectos o de las actividades realizadas. Los cuatro pasos básicos a realizar con los datos recogidos son: a) Describir que ha sucedido. Qué ha pasado, quiénes han participado, cuándo ha sucedido y cómo. b) Valorar lo que ha salido bien y lo que no ha salido satisfactoriamente (logros y dificultades). c) Sistematizar la información: es decir concluir en base a la descripción y valoración. Se trata en definitiva de explicar el por qué esa situación, proyecto o resultado es así.
67
M.M. Herrera Menchén
Evaluación
d) Emitir conclusiones y sugerencias de mejora.
La meta de la evaluación en la acción socioeducativa, no es solo describir lo que ha sucedido o la situación final, sino que es necesario que se expliquen los procesos, el por qué de los resultados, su origen y evolución, analizar las causas, identificar los aspectos o factores que favorecen o bloquean las acciones. La interpretación del programa se hace en dos sentidos desde los promotores hacia la comunidad, desde la comunidad hacia los promotores. Las opiniones de la comunidad sobre el programa pueden recogerse por medio de:
Reuniones
Grupos de discusión
Cartas personales
Cartas publicadas en prensa
Informes de las organizaciones, etc.
ALGUNOS ASPECTOS CLAVES DE LA EVALUACIÓN (Amezcua y Jimémez, 1996) Las definiciones clave (indicadores) se hacen usando los objetivos como referencia. Las definiciones deberán especificar qué tipo de información será necesaria para la evaluación, los estándares que se usara para comparar y cómo se harán las comparaciones. Los instrumentos de medida que han de utilizarse en la evaluación deberán especificarse cuando se diseña el proceso de la misma. El análisis de la información recogida deberá definirse y aplicar en el proceso de la evaluación. El informe sobre resultados se presentará ante una determinada audiencia para dar a conocer el resultado final de la evaluación. En función del perfil de la audiencia, el informe tendrá un formato u otro, pero siempre los mismos contenidos. PISTAS DESDE LA PRÁCTICA La interpretación de los resultados se debe hacer por aquellos individuos de la comunidad que normalmente son escuchados: el maestro, el tendero, el jefe político, un padre, un líder profesional, etc. Los resultados deben llegar a todos los grupos de la comunidad de diversa forma pues a cada uno le afecta el programa y sus resultados, de diversa manera.
68
M.M. Herrera Menchén
Evaluación
PREGUNTAS PREVIAS PARA LA REFLEXIÓN 1. En tu proyecto, ¿a qué tipo de agentes, destinatarios o profesionales podría interesarle la información sobre tu proyecto? 2. ¿De qué formas diversas crees que podrías enviar la información a cada uno de ellos?
10. DISTRIBUCIÓN DE RESULTADOS: REDACCIÓN DE MEMORIA E INFORMES
Si se evalúa una acción, se está enjuiciando el proceso puesto en marcha. Para enjuiciar hay que realizar un análisis que nos permita emitir un juicio. Además, se establecen las oportunas recomendaciones para solucionar los problemas detectados.
Existen diversas situaciones posibles que se detectan a lo largo de la evaluación:
La situación de partida había sido mal diagnosticada.
Los objetivos previstos no eran alcanzables o demasiado ambiciosos.
Los objetivos estaban mal definidos y se hace imposible saber que es lo que se quería conseguir.
La metodología realizada no ha sido la prevista y no existe justificación para el cambio.
No se llevan a cabo las actividades previstas.
La forma de organización no está funcionando y no se están tomando medidas para solucionarlo.
Sea cual sea el/los problemas detectados por la evaluación continua o final, siempre es necesario emitir un diagnóstico: concluir cuál es el problema y sus causas y establecer unas recomendaciones: los medios para solucionarlos. En otros casos, será necesario reflejar los avances que se están dando (en el nivel organizativo, en la consecución de recursos), o los objetivos que se están consiguiendo. Sea uno u otro el tipo de informe necesario en cada momento, lo que siempre debe contemplarse es que quede constancia por escrito y que se haga llegar a todos aquellos interesados o los que pudieran estarlo.
69
M.M. Herrera Menchén
Evaluación
El informe, resumen las conclusiones de la evaluación, o la memoria serán diferentes dependiendo a quién se dirija. La devolución de la información se debe hacer primordialmente a quienes nos hicieron el encargo, a aquellos que nos han informado o aquellos para los que estamos trabajando: la comunidad de referencia. Los materiales de devolución, como dice Rueda (1993) deben contener:
Los planteamientos iniciales.
El proceso que se está siguiendo o se ha realizado.
Los éxitos conseguidos hasta el momento.
Los fracasos.
Lo que facilitó la consecución del programa.
Lo que lo dificultó.
Rueda propone tres tipos de materiales:
1. LA MEMORIA: documento administrativo y pedagógico donde deben recogerse datos suficientes que permitan comprender los planteamientos establecidos, el esfuerzo realizado, los resultados obtenidos, el uso del presupuesto, etc. La memoria tiene en cuenta la planificación y lo realizado, analizando el por qué se ha conseguido o no, lo que estaba previsto. 2. EL INFORME CIENTÍFICO: documento que permite establecer el valor teóricoabstracto del programa y sus resultados. Puede servirnos para participar en congresos y jornadas. 3. INFORMES EXPLICATIVOS: documentos que desenvuelven a nivel de medios de comunicación los resultados, procesos, etc. al objeto de que la población se entere de lo que se está realizando.
70
M.M. Herrera Menchén
Evaluación
Formato de informe para artículo. Amezcua y Jiménez, (1996:121-12)
Introducción: los resultados en el contexto de la evaluación y descripción del programa evaluado.
El método: cómo se estructuró la evaluación, y qué técnicas e instrumentos se utilizaron.
Los resultados: expuestos de forma clara y precisa, ayudados de gráficos.
Las conclusiones: respuestas a las preguntas que se formulaba la evaluación, en función del tipo de evaluación propuesto
La discusión: posibles explicaciones alternativas a los resultados, así como implicación de las conclusiones. También se puede incluir en este apartados sugerencias y recomendaciones
Formato de Memoria Evaluativa según Fernández-Ballesteros (1995) 1.- PORTADA 2.- RESUMEN:
Objetivos evaluación
Breve descripción del programa
Los hallazgos importantes
Las recomendaciones importantes
3.- OBJETO DE EVALUACIÓN: EL PROGRAMA 4.- ESTUDIO VALORATIVO: SÍNTESIS DE TODO EL PROCESO DE EVALUACIÓN
Objetivo
Barreras
Contextos evaluados
Sujetos/unidades
Operaciones observadas
Diseño y justificación
Procedimiento
Análisis de datos
5.- RESULTADOS 6.- DISCUSIÓN
71
M.M. Herrera Menchén
Evaluación
7.- CONCLUSIONES Y RECOMENDACIONES
Ware nos recuerda que la interpretación de la evaluación de los resultados, que se van consiguiendo o qué se han conseguido, debe dirigirse a:
1. Los participantes: para que puedan comprender bien el programa y no solo para actuar sino para poder responder a las preguntas de sus vecinos o colegas. 2. Los vinculados al programa: los que lo financian, los que colaboran voluntariamente ya sea personalmente o con algún recurso (local de reuniones, préstamo de proyector, etc.). 3. Los funcionarios de la comunidad: Estos tienen la responsabilidad de saber lo que ocurre en ella y pueden apoyar o impedir el programa. 4. Los beneficiarios del programa: si no lo entienden no participaran en el mismo. 5. Los otros organismos de la comunidad: ya que es necesario la cooperación de todos, para cooperar necesitan entender el programa. 6. Los sectores especializados: los médicos, maestros, obreros, asociaciones de distinto tipo, etc., convienen que reciban por canales propios toda la información que señale la incidencia del programa en sus intereses 7. El público en general: todo programa será eficaz si tiene en cuenta el apoyo de la opinión pública.
11. CÓMO GARANTIZAR LA UTILIZACIÓN DE LOS RESULTADOS DE LA EVALUACIÓN
Es muy importante que los resultados de la evaluación no se difundan como mera información exponiendo los resultados, sino que se deben establecer estrategias (a través del mismo proceso de acción sociocultural) que posibiliten a los implicados, fundamentalmente técnicos y destinatarios, aprender de la experiencia, y actuar en consecuencia (PROCESO DE REFLEXIÓN-ACCIÓN).
72
M.M. Herrera Menchén
Evaluación
McGuire (1989)14 señala que para que los sujetos sean capaces de transformar un mensaje recibido en una conducta adquirida consecuente con esa información se necesita pasar por 12 etapas: 1) Exponerse al mensaje. 2) Prestarle atención. 3) Gustarles la información. 4) Comprender el contenido (aprender qué). 5) Adquirir las habilidades (aprender cómo). 6) Estar de acuerdo (Cambio de actitudes). 7) Almacenarlo en la memoria. 8) Ser capaz de buscar la información y recuperarla de la memoria. 9) Decidir en función de la información recuperada. 10) Comportarse de acuerdo a la decisión tomada. 11) Esforzarse para comportarse de es forma. 12) Implicarse en una actividad que fortalezca la elección para consolidar la nueva postura.
Si los destinatarios de la información de la evaluación solo llegan al paso 5º, serán capaces de comprender e incluso de adquirir ciertas habilidades que no tenían antes, pero no responderán ni actuarán en consecuencia15. Es decir, si los que reciben los informes de la evaluación, no trabajan esa información, si no tienen la oportunidad de poner en marcha los nuevos conceptos en acciones concretas, no utilizarán los resultados de la evaluación. Esta es la razón de que la evaluación en los procesos de acción social sea continua pues permitirá que los implicados, al menos los técnicos, responsables directos y colaboradores más cercanos, puedan poner en juego nuevas actuaciones fruto de la información y la reflexión que les permite la evaluación.
En muchos casos la evaluación no tiene más uso que legitimar algo que ya estaba previamente decidido o se utiliza tácticamente para justificar que se está haciendo evaluación, aunque luego no se utilicen sus productos, Vedung (en Fdez-Ballesteros, 1995:331), aporta varias
14 15
En Fernández-Ballesteros, 1995: 327-328 Vegung E. (en Fernández-Ballesteros, 1995)
73
M.M. Herrera Menchén
Evaluación
propuestas para fomentar la utilización de las valoraciones que se emiten desde un proceso evaluador:
1) La primera posibilidad es difundir, mejorar la transmisión de los resultados, dándolos a conocer de tal manera que puedan ser utilizados en la toma de decisiones. Existen dos métodos básicos: •
Método de información: difundir lo más ampliamente posible pero con cierta informalidad y lenguaje muy accesible, por medio de documentos, folletos y resúmenes orales. Algunas recomendaciones para los informes dentro de esta estrategia son:
Que aparezca algo sorprendente que haga pensar a los receptores.
Que sean concretos y breves.
Cada informe debe centrarse en un punto importante.
Deben contener un resumen breve que comience con los resultados más importantes.
Pensar en los receptores previamente a la redacción.
Utilizar el lenguaje de los usuarios.
En los apartados, utilizar gráficos.
Hacer llegar los resultados de forma continua.
El equipo evaluador debe comunicar los resultados en persona, e implicarse en la difusión de los resultados.
•
Método de conexión: difundir a través de grupos formales. Generalmente serán comisiones de asesoramiento en la que estén implicados los evaluadores, los líderes de opinión y si es posible algún especialista en difusión. También a través de sistemas de documentación permanente.
2) Estrategia de producción: donde el esfuerzo se dirige hacia el mismo proceso de evaluación. Se parte del supuesto de que la evaluación no se utiliza por que es irrelevante o inadecuada. La estrategia consistiría en adaptar el sistema de evaluación de forma que responda a las necesidades de los posibles receptores:
Adaptando la evaluación a las fases del programa.
74
M.M. Herrera Menchén
Evaluación
Siendo sensibles a las necesidades de los destinatarios e implicados.
Dando a conocer las causas y factores que condicionan unos resultados beneficiosos o perjudiciales, para así poder cambiar las prácticas (PROCESO REFLEXIÓN-ACCIÓN).
Sugiriendo modificaciones que sean realmente factibles.
Consultando a los destinatarios en todas las fases: la identificación del problema, la planificación de la recogida de datos, la recopilación, el procesamiento, la redacción del informe y la difusión y utilización. De esta forma los implicados aprenden y utilizan los resultados antes de que estos se publiquen.
Para garantizar claridad y eficiencia, el informe debe ser escrito. Sin embargo, el informe dependerá de las necesidades de la audiencia.
PISTAS DESDE LA PRÁCTICA
Hay que presentar los resultados en un lenguaje comprensible por el destinatario.
Se debe tener en cuenta el perfil de la audiencia.
Considerar su interés por el programa o por los resultados.
Tener en cuenta que las personas logran recordar con mayor facilidad aquello que ven, oyen y además pueden analizar (el 90% de la información) y sólo recuerdan el 50 % de lo que además de ver pueden oír.
Se puede ilustrar la presentación de los resultados de la evaluación con tablas y figuras.16
16
Amezcua y Jimánez en las páginas 122 a 129 presentan distintos tipos de gráficos: de causa-efecto, de flujo, de Pareto, de tendencias, histograma
75
M.M. Herrera Menchén
Evaluación
12. REFERENCIAS BIBLIOGRÁFICAS
•
Alvira Martín, Francisco (1991). Metodología de la evaluación de programas. Madrid: Centro de Investigaciones Sociológicas.
•
Amezcua y Jiménez (1996). Evaluación de Programas Sociales. Madrid: Díaz de Santos.
•
Ander Egg, Ezequiel (1987). Evaluación de programas de desarrollo de la comunidad. Buenos Aires: Humanitas, pgs. 237 a 242.
•
Ander Egg, E. (1990). Evaluación de programas de trabajo social. Buenos Aires: Humanitas.
•
Caride Gómez, José Antonio (1996). La evaluación como mediación. Enfoques y perspectivas para la acción social. Simposium Evaluación en la acción socioeducativa. 25, 26 y 27 de Abril de 1996. Barcelona.
•
Casas, F. (1996). Funciones sociales de la evaluación. Simposium Evaluación en la acción socioeducativa. 25, 26 y 27 de Abril de 1996. Simposium Evaluación en la acción socioeducativa. 25, 26 y 27 de Abril de 1996. Barcelona.
•
Cembranos, Bustelos y Montesinos (1989). La Educación Social y Animación Sociocultural Sociocultural: una propuesta metodológica. Madrid: Popular.
•
Espinoza Vergara, M. (1986). Evaluación de proyectos sociales .Buenos Aires: Humanitas, pgs 193 a 215.
•
Fernández-Ballesteros, R. (editora) (1995). Evaluación de programas. Una guía práctica en ámbitos sociales, educativos y de salud. Madrid: Síntesis.
•
Forns Santacana, M. y Gómez Benito, J. (1996). Elementos básicos de la evaluación de programas educativos. Simposium Evaluación en la acción socioeducativa. 25, 26 y 27 de Abril de 1996. Barcelona.
•
Francia, A. y otros.(1993). Análisis de la Realidad. Madrid: CCS.
•
Pineault, R. Y Develuy, C. (1989). La planificación sanitaria: conceptos, métodos, estrategias. Barcelona: Maisson.
•
Pérez Serrano, G.. Elaboración de proyectos sociales . Casos prácticos. Madrid: Narcea.
•
Pérez Serrano, G. (1995). Educación Social y Animación Sociocultural IV. Técnicas de trabajo e investigación en Educación Social y Animación Sociocultural. Técnicas de dinamización social. UNED, Madrid.
•
Restrepo, P. Evaluación del Trabajo y Resultados. Aproximación a los Servicios Sociales. Madrid, Ministerio de Asuntos Sociales.
76
M.M. Herrera Menchén
Evaluación
•
Rezsohazy, R. (1988). El Desarrollo Comunitario. Madrid: Narcea.
•
Rueda Palenzuela, J.M. (1993).Programar, implementar proyectos, evaluar. Instrumentos para la acción.. Zaragoza: Certeza.
•
Sierra Bravo, R. (1992). Técnicas de Investigación Social. Teoría y ejercicios. Madrid: Paraninfo.
•
Ventosa Pérez, Victor Juan (1992). Evaluación de la Educación Social y Animación Sociocultural. Madrid: Popular.
•
Viché, M. (1989). La evaluación en la Animación Sociocultural. Valencia, Grup Dissabte.
•
Ware; F.C. (1986). Estudio de la comunidad. Buenos Aires: Humanitas.
77
M.M. Herrera Menchén
Evaluación
13. GLOSARIO DE TÉRMINOS
EVALUACIÓN: es el mecanismo para la corrección y la mejora de la planificación, el instrumento para el aprendizaje sobre la experiencia. Es el proceso de conocimiento y medición sistemático que permite valorar los programas aportando datos para la toma de decisiones. EVALUACIÓN PARTICIPATIVA: aquella en la que los principales protagonistas de los procesos socioculturales (responsables, técnicos, gestores, destinatarios y población) pueden colaborar en la planificación de la recogida de datos, la recogida , el procesamiento, la redacción del informe y la difusión y utilización. NIVELES DE EVALUACIÓN: son los sectores, participantes o parte del proceso que se pone en marcha, que interesa evaluar. INDICADORES: el medio para medir, para conocer si los objetivos se están cumpliendo y en qué medida, Deben tener dos condiciones fundamentales: a) responder a los objetivos, b) ser evaluables. TRIANGULACIÓN: proceso de evaluación en el que los datos se comparan desde distintas perspectivas antes de llegar a ninguna conclusión. Por ejemplo, después de haber realizado una actividad (taller, curso, concierto, etc.) se evalúa la actividad no solo a través de los destinatarios, sino que sus opiniones y reflexiones son confrontadas al menos con las de los organizadores, y los técnicos, ésta confrontación de datos y opiniones permite tener una valoración real de la actividad. TÉCNICAS DE EVALUACIÓN: son el medio para poder evaluar, el procedimiento específico para la recogida y análisis de la información. INSTRUMENTOS DE EVALUACIÓN: son el recurso que se necesita para poder poner en marcha la técnica de evaluación, independientemente de los recursos materiales necesarios. TABULACIÓN DE DATOS: procedimiento de ordenación y síntesis de los datos para la comprensión de los mismos. ANÁLISIS DE DATOS: procedimiento para la comprensión y relación de los datos, que permite valorar y explicar la situación de un programa o proyecto.
78
M.M. Herrera Menchén
Evaluación
GUÍA PARA EL DISEÑO DE LA EVALUACIÓN
Prácticamente en el texto se ha hecho ya una guía de cómo diseñar la evaluación pero de todas formas resumiremos y aclaremos en este apartado. Los pasos serían:
1. Clarificar los motivos de la evaluación 2. Elegir el tipo de evaluación 3. Diseñar la evaluación: 3.1. Las fases. 3.2. Los niveles. 3.3. Los indicadores. 3.4. Las técnicas. 3.5. Los instrumentos. 3.6. La temporalización. 3.7. Los responsables. 3.8. La distribución de los resultados. 4. Tabular, interpretar y explicar los datos. 5. Distribuir los resultados.
79
M.M. Herrera Menchén
Evaluación
1. CLARIFICAR LOS MOTIVOS DE LA EVALUACIÓN
a) Todo el grupo de responsables y colaboradores que participa en la planificación debe pensar en aquellos que pudieran estar interesados en la evaluación: •
Aquellos que seria importante que aportaran información u opinión.
•
Aquellos que pudieran estar interesados en recibir los resultados de la misma.
b) Decidid entre todos que esperáis de la evaluación, ¿Qué objetivos os proponéis? Probablemente la siguiente tabla os ayude: OBJETIVOS
SI
Conocer cómo
NO
va funcionando el
programa Detectar las dificultades que surjan Valorar los resultados a corto y largo plazo Valorar el coste de los resultados en función de los resultados Explicar el
proceso seguido para
aprender de la experiencia Valorar
si
las
acciones
son
adecuadas al momento Analizar
si
la
metodología
es
coherente con los objetivos y la situación Aportar pautas de funcionamiento Otros:
80
¿PARA QUÉ?
M.M. Herrera Menchén
Evaluación
2) ELEGIR EL TIPO DE EVALUACIÓN
a) En función de la reflexión grupal anterior, decidir qué tipo de evaluación se va a hacer (consultar el apartado 4. de este capítulo) b) Reflexionar si esa evaluación es necesaria y viable en el proyecto o programa que os proponéis, y si se dan las condiciones y medios para hacerla. c) En todo caso, acordar la evaluación mínima necesaria y viable que os comprometéis a hacer.
3) DISEÑAR LA EVALUACIÓN:
Para pasar al diseño concreto de la evaluación tendremos que contestar a las siguientes preguntas: a) ¿En qué momentos vamos a evaluar? b) ¿Quiénes van a evaluar? c) ¿Quiénes y qué se va a evaluar?
Las respuestas a estas preguntas junto con las conclusiones de la reflexión anterior donde se expresa por qué y para qué se va a evaluar, os ayudarán a redactar la introducción.
A partir de aquí os recomendamos utilizar directamente el cuadro explicado en el texto, en el que se pueden incluir todos los apartados siguientes o aquellos que consideréis necesarios. Os recordamos los aspectos que se pueden incluir en el diseño son: FASES DE LA EVALUACIÓN
Se trata de decidir cuando se va a realizar la evaluación. Especificando los momentos básicos para la evaluación
NIVELES DE EVALUACIÓN
Qué o a quiénes se va a evaluar. No se trata de evaluarlo todo, sino aquello que, por el momento, es más importante evaluar por que tenemos la posibilidad y el tiempo para hacerlo.
INDICADORES
Para cada nivel, hay que decidir qué exactamente se va a
81
M.M. Herrera Menchén
Evaluación
medir a lo largo del proceso. Los indicadores harán referencia a los objetivos. (ver apartado 5.4) TÉCNICAS
Escoger el medio más adecuado y fácil para medir o valorar los indicadores. Deben ser técnicas asequibles, con un lenguaje claro, fáciles de entender y realizar, y fáciles de tabular y analizar. Una misma técnica puede servir para medir numerosos indicadores.
INSTRUMENTOS
Para cada técnica habrá que prever si necesita o no un recurso especial para poder realizarla.
TEMPORALIZACIÓN
Fecha exacta en la que nos comprometemos a hacer la técnica.
RESPONSABLE
Se puede añadir esta columna en la que se designará para cada técnica quién la propondrá y coordinará.
DISTRUIBUCIÓN RESULTADOS
DE Donde se decide quién recibirá la información de cada técnica, el resumen o conclusiones de los análisis parciales o final que se hagan.
82
M.M. Herrera Menchén
Evaluación
El cuadro a rellenar para el diseño sería el siguiente, lo hemos rellenado con un ejemplo: FASES
NIVELES
INDICADORES
TÉCNICAS
CUANDO
Fase
1. Los destinatarios 2. El programa 3. El grupo de responsables
1.1Nivel de conocimiento del programa 1.2 Grado de implicación 2.1.Grado de realización 2.2 Flexibilidad 3.1.Capacidad de gestión 3.2 Cohesión… 1.1Grado de ejecución 2.1Capacidad para distribuir tareas y responsabilidades 3.1 Nivel de consecución de objetivos …
-Contactos informales -Observación -Reunión: Comparar programa con actuaciones -Cuestionario análisis grupal -Comparar con programa: reunión de seguimiento -Análisis grupal -Observación -Lo mejor y lo peor
A los dos meses -Guión para la reunión de empezar -Cuestionario
Inicial
de 1. El programa 2 El grupo ejecución 3. Los resultados Fase
Fase
ETC.
Final
83
Cada dos meses Role playing
-Después de las actividades
INSTRUMENTO
-Guiones reuniones
de
DISTRIBUCIÓN
las
-Responsables -Equipo coordinador
M.M. Herrera Menchén
Evaluación
4) TABULAR, INTERPRETAR Y EXPLICAR LOS DATOS
A) Habrá que decidir si las mismas personas que planificaron la acción y diseñaron la evaluación van a encargarse de interpretar los resultados. Al menos algunas de ellos deberían formar parte de una comisión que “traduzca” todos los datos, resultados y valoraciones a los diferentes receptores de la información. B) Una vez formada la comisión habrá que dividirse las tareas si el grupo es grande, o trabajar juntos en:
1. La tabulación: ordenación y síntesis de los datos. 2. La valoración: de aquellos que ha salido bien y lo que no ha salido bien y de los resultados obtenidos. 3. La sistematización y explicación: de las causas del éxito o el fracaso
C) Por último la comisión deberá dar distintos formatos y lenguajes al informe sobre resultados y valoración del proceso: folletos, explicaciones verbales, informe técnico, artículo, memoria, etc.
84