Neirotti. Evaluación de políticas sociales by Federico Renda

IIPE – Buenos Aires Sede Regional del Instituto Internacional de Planeamiento de la Educación

8º Curso Regional sobre “Planificación y Formulación de Políticas Educativas”

ELEMENTOS CONCEPTUALES Y METODOLÓ GICOS PARA LA EVALUACIÓ N DE POLÍTICAS Y PROGRAMAS SOCIALES

Nerio Neirotti

Buenos Aires, octubre de 2005

CONTENIDOS 1. Introducción 2. ¿Qué es evaluación? Definición de evaluación Requisitos de una buena evaluación Relación de la evaluación con otras actividades emparentadas Aspectos políticos y técnicos de la evaluación Niveles de aplicación de la evaluación 3. Tipos y criterios de evaluación Según el momento, el objeto y el alcance de la evaluación Según quién evalúa Según la perspectiva de los involucrados Criterios de evaluación 4. Perspectivas y metodológicas de la evaluación El debate metodológico Modelos de comparación 5. Pasos para llevar a cabo una evaluación 5.1. Planteamiento de la evaluación y toma de decisiones 5.2. Diseño de la evaluación Objetivos y preguntas clave Marco teórico e hipótesis Dimensiones, variables, indicadores y unidades de análisis Fuentes, técnicas e instrumentos Matriz de evaluación 5.3. Recolección de información y procesamiento Programación de actividades Selección y entrenamiento del equipo Recolección de información y manejo de instrumentos Procesamiento de la información 5.4. Análisis de la información 5.5. Comunicación y diseminación 6. Conclusiones

1. INTRODUCCIÓ N La evaluación es una forma de indagación o investigación de tipo valorativo, es decir, generadora de juicios de valor

en función del patrón normativo de los

involucrados en la intervención social. En ese sentido produce conocimiento con el

propósito de brindar elementos para la toma de decisiones, transferir los

aprendizajes surgidos de experiencias innovadoras y poner la información a disposición de la ciudadanía — esto último, a los efectos de darle transparencia a la gestión de gobierno y de promover la participación social. Los países de la región han llevado a cabo, con distintas características y extensión, reformas de sus aparatos estatales, entre las que se incluye la transformación de las áreas sociales.

Están desarrollando también líneas de

acción tendientes a brindar educación en condiciones equidad y calidad, a la vez que están implementando políticas de reducción de la pobreza y la exclusión social.

En este marco se llevan a cabo programas “modelo” que cumplen

funciones de experimentación, articulación e integración entre distintas áreas sociales. Nos encontramos entonces frente a múltiples imperativos:

redefinición de las

políticas sociales en general, y en particular, transformaciones en al área educativa; rediseño del aparato estatal y de sus funciones; y desarrollo de nuevas prácticas de articulación entre el Estado y las organizaciones de la sociedad civil. Dado que no existen recetas para abordar los cambios, el avance por experimentación parece ser la forma más indicada de avizorar las soluciones. Esto implica otorgar importancia a las innovaciones que se ponen en marcha en ámbitos locales, en instituciones educativas o grupos de escuelas, que tienen carácter experimental y de las cuales pueden surgir interesantes conocimientos a ser diseminados con la posibilidad de transferirlos a otros contextos. Entrando al campo de la educación, se ofrece un amplio repertorio de innovaciones expuesto por Brunner: Por de pronto, hay que re- conceptualizar y progresivamente rediseñar todo el proceso de enseñanza; hay que cambiar la cultura organizacional de los establecimientos; hay que disponer de tiempo y recursos para innovar; se debe formar de otra manera a los profesores y al personal directivo de las escuelas; las funciones de los organismos gubernamentales; los sistemas de supervisión y los métodos de evaluación tienen que cambiar; es necesario desarrollar los

currículos bajo un principio de adaptación continua y escribir nuevos textos; se debe aprovechar el potencial de las nuevas tecnologías y dar espacio a la experimentación; las innovaciones exitosas tienen que ser identificadas. En fin, pasar del eje de la modernización al eje de las innovaciones como principio de la reforma conlleva girar al sistema en 180 grados, poniéndolo a funcionar como un organismo adaptativo cuando hasta aquí ha operado esencialmente como un mecanismo de conservación. (… ) Lejos por tanto de cualquier determinismo tecnológico, la reforma de las innovaciones necesitará apoyarse en los profesores y alumnos en primer lugar; en la organización de la escuela y las capacidades de su personal directivo, enseguida y, en tercer lugar, en las redes de agentes que pueden contribuir a la innovación, como los padres, miembros activos de la comunidad local, personal de investigación y desarrollo que trabaja en innovaciones educacionales, agencias de transferencias y difusión de tecnologías innovadoras, empresarios comprometidos con la renovación educacional, facultades de pedagogía y universidades”1.

Las innovaciones educativas son procesos complejos que podrían ser concebidos como configuraciones novedosas de recursos, prácticas y representaciones en las propuestas educativas de un sistema, subsistema y/ o institución educativa, orientados a producir mejoras2. Para desarrollar innovaciones educativas no basta con contar con más o nuevos recursos, sino que es preciso incorporar nuevas acciones y traslucir las innovaciones en la prácticas educativas. Es decir, es necesario que los actores involucrados den forma a un nuevo estilo de gestión y produzcan una transformación de las prácticas institucionales cotidianas. Además de los recursos y las prácticas, una tercer dimensión es necesaria para definir las innovaciones educativas: las representaciones, creencias y valores que subyacen en los puntos anteriores, es decir, los supuestos que existen por detrás de las prácticas y los recursos empleados, el grado de internalización que existe y el nivel de compromiso. Considerar

sólo

uno

estos

aspectos

(sólo

recursos,

prácticas

representaciones) implicaría mantener una concepción restringida. Los recursos suelen ser la faceta más visible de las innovaciones, sin embargo, un cambio en las prácticas y en las representaciones resultan ser los aspectos más claros de 1 J. J. Brunner, Educación: escenarios de futuro. Nuevas tecnologías y sociedad de la información, Santiago de Chile, PREAL, 2000 p. 45 2 N. Neirotti y M. Poggi, Alianzas e innovaciones en proyectos de desarrollo educativo local, IIPE- UNESCO Buenos Aires, 2004 p. 175-177

que la innovación ha sido implementada, y a la vez los más complejos de promover. Por otra parte, es fundamental que las innovaciones se inserten en escuelas, movimientos o tradiciones pedagógicas a los efectos de que se instalen en el debate sobre las transformaciones educativas. Igualmente, no podría ser efectiva una innovación si no logra producir un anclaje a nivel institucional3. Las reflexiones precedentes sobre innovaciones educativas sugieren la necesidad de instalar una cultura de la evaluación y desarrollar capacidades en este sentido a fin de que los cambios en marcha puedan ser efectivos y asegurar un proceso continuo y acumulativo de transformaciones. Ya sea que se trate de tener en cuenta

complejidad

las

innovaciones

(recursos,

prácticas

representaciones) como de prestar atención a sus posibilidades de inserción en tradiciones pedagógicas y de anclaje institucional, la evaluación, concebida como instrumento de aprendizaje, se agrega como un desafío más – en este caso, de carácter instrumental – para brindar luz y contribuir a encontrar atajos en medio de un sendero que tiene un importante margen de incertidumbre. Sólo de este modo se puede ir incrementando la escala de las innovaciones a través de un proceso que no es lineal y que en muchos casos se presenta como enmarañado y confuso, dado que tiene las siguientes características4: -

es interactivo: involucra docentes, escuelas, distritos, especialistas en educación, autoridades, políticos;

es adaptativo: incorpora las reacciones de los involucrados;

es iterativo: con reflexión y aprendizaje sobre la marcha;

Diseminar, demostrar, brindar información para el debate, generar evidencia para fundamentar nuevos cursos de acción, son actividades que requieren producir conocimiento válido y oportuno, accesible para quienes toman decisiones en todos los niveles. En este marco, el presente documento ofrece conceptos sobre evaluación y herramientas para su implementación que se inscriben en la J. C. Tedesco, “Algunas hipótesis para una política de innovaciones educativas”, en Proyecto Génesis, Innovación escolar y cambio social, Bogotá, Fundación FES- CONCIENCIAS, 1997 p. 57-67 4 Glennan, Thomas K., Bodily, Susan J., Galegher Jolene R., Kerri A. Kerr Expanding the Reach of Education Reforms: Perspectives from leaders in the Scale-Up of educational interventions. RAND Corporation , 2004 p. 650

concepción de la misma como actividad sistemática de reflexión, entendimiento entre actores diversos y recomendación de nuevos caminos de acción.

2. ¿QUÉ ES EVALUACIÓ N?

Haremos una aproximación a la idea de evaluación a partir de algunas definiciones que provienen de organismos con gran ascendiente sobre el tema y de autores que han hecho el esfuerzo de reunir conceptos comunes vertidos por especialistas varios. El Joint Committee on Standards for Educational Evaluation afirma:

“la evaluación es el enjuiciamiento sistemático de la valía o el mérito de un objeto”5

A su vez, UNESCO en el Glosario de términos de tecnología de la evaluación ofrece diversas acepciones del término evaluación:

“1. Término genérico para designar el conjunto de operaciones de apreciación, de control y de medición de un resultado, de una estrategia, de un sistema, de una persona, etc. 2. Proceso tendente a delimitar, obtener y reunir la información útil para juzgar alternativas de decisión, controlar la eficacia de la ejecución de la actividad y juzgar su interés. 3. Proceso de cuantificación o de calificación del rendimiento de un individuo, grupo, dispositivo o material”.

SIEMPRO (Sistema de Información, Monitoreo y Evaluación de Programas Sociales), con la inquietud de fortalecer la institucionalidad social y con el propósito de desarrollar conocimientos y capacidades sobre planificación y evaluación en el ámbito estatal y de la sociedad civil, produjo un manual que contiene la siguiente definición: Citado por Stufflebeam, Daniel L. y Anthony J. Shinkfield, Evaluación sistemática. Guía teórica y práctica, Barcelona, Paidos / M.E.C., 1995, p. 19.

“un proceso permanente de indagación y valoración de la gestión del programa para generar conocimiento y aprendizaje que alimente la toma de decisiones”6.

Por su carácter comprehensivo también se considera útil incluir la siguiente definición que aportan María José Aguilar y Ezequiel Ander-Egg en su libro “Evaluación de servicios y programas sociales”:

“la evaluación es una forma de investigación social aplicada, sistemática, planificada y dirigida; encaminada a identificar, obtener y proporcionar de manera válida y fiable, datos e información suficiente y relevante en que apoyar un juicio acerca del mérito y el valor de los diferentes componentes de un programa (tanto en la fase de diagnóstico, programación o ejecución), o de un conjunto de actividades específicas que se realizan, se han realizado o realizarán, con el propósito de producir efectos y resultados concretos; comprobando la extensión y el grado en el que dichos logros se han dado, de forma tal, que sirva de base o guía para una toma de decisiones racional e inteligente entre cursos de acción o para solucionar problemas y promover el conocimiento y la comprensión de los factores asociados al éxito o al fracaso de sus resultados”7.

Definición de evaluación Los aportes anteriores nos sugieren los aspectos centrales del concepto de evaluación, que podrían sintetizarse en las siguientes notas:

6 SIEMPRO / UNESCO, Gestión integral de programas sociales orientada a resultados. Manual metodológico para la planificación y evaluación de programas sociales, México, Fondo de Cultura Económica, 1999, p. 55. 7 Aguilar, M. J. y Ander-Egg, E., Evaluación de servicios y programas sociales, Madrid, Siglo XXI, 1992, p. 18.

Proceso: No se trata de una actividad estática, que se realiza de una vez para siempre, sino que está en continuo desenvolvimiento.

Indagación sistemática: Se busca generar conocimiento, y para ello se utilizan los recursos y métodos propios de la investigación.

Valoración: Evaluar significa “valorar”, asignar valor, y esta actividad se desarrolla en función de preferencias y prioridades sociales, que definen los involucrados en el procesos evaluativo.

Aprendizaje: En contraposición a una visión arcaica sobre la evaluación, que considera que su función es el control o la fiscalización, se hace hincapié en el aprendizaje, como instrumento para mejorar la gestión y las políticas.

Toma de decisión: El conocimiento producido por la evaluación no tiene fines académicos sino que está al servicio de la acción, y por lo tanto, de la toma de decisiones.

Transparencia: El conocimiento que resulta de la evaluación tiene que ser un instrumento de utilidad para todos aquéllos a los que les concierne la acción evaluada.

En función de las contribuciones precedentes y siguiendo las notas que distinguen la evaluación, se ofrece la siguiente definición:

La evaluación es un proceso de indagación sistemático, valorativo, cuyo propósito es generar aprendizaje sobre la intervención de un programa o política con el fin de mejorar la toma de decisiones y de otorgarle mayor transparencia a la gestión. A la vez permite: -

mejorar la eficacia, eficiencia y efectividad de los programas

producir conocimiento sobre las distintas experiencias

diseminar y difundir las lecciones aprendidas a partir de modelos en marcha

fortalecer

lazos

entendimiento

entre

los

diversos

actores

involucrados.

Para complementar esta definición, se podría agregar que la evaluación tiene la finalidad

retroalimentar

gestión

programa,

suministrando

información para tomar decisiones con respecto a: -

La pertinencia del programa y la consistencia de su planificación.

La viabilidad, factibilidad y sustentabilidad de los objetivos y actividades del programa.

Los procesos de distinto tipo que se generan en la ejecución del programa y las distintas funciones que se cumplen:

dirección / coordinación,

organización,

presupuestación,

gestión

recursos

humanos,

comunicación, programación de actividades. -

La relación del programa con el contexto.

La articulación y sinergia del programa en relación con otros que contribuyen a logra fines similares.

La perspectiva de los beneficiarios y de la institución que ejecuta el programa acerca de los procesos y los resultados del mismo.

Requisitos de una buena evaluación Un gran número de condiciones han sido señaladas como necesarias para que la evaluación resulte adecuada. En algunos casos se han llegado a elaborar check lists que deberían ser seguidas como instrumentos de verificación. Como ejemplo, se incluyen los Estándares Para la Evaluación de Proyectos del Joint Committee on Standards for Educational Evaluation que presenta en su libro Rocío Fernández-Ballesteros8. Estos estándares fueron diseñados con el objetivo de asegurar la concreción de evaluaciones útiles, factibles, éticas y adecuadas y contienen 30 normas:

Fernandez-Ballesteros, Rocio “Evaluación de Programas. Una guia práctica en ámbitos sociales, educativos y de salud” Madrid, 1996, p. 108-112 8

Estándar

Criterio

1. Identificación de implicados (de tal forma que sus necesidades pueden ser tenidas en cuenta)

2. Credibilidad del evaluador

(deben ser dignas de confianza y

competentes)

3. Ámbito de la información y selección UTILIDAD

(debe ser sensible a

las necesidades del cliente, etc)

4.Identificación de valores

(las perspectivas, los procedimientos

y la lógica utilizada deben ser descriptas)

5. Claridad del Informe (el informe de evaluación debe describir el programa, su contexto, objetivos y procedimientos y resultados de la evaluación)

6. Oportunidad y difusión del informe (los hallazgos significativos deben ser difundidos)

7. Impacto de la evaluación (las evaluaciones deberían estimular el seguimiento continuado por los involucrados)

1. Procedimientos prácticos (los procedimientos evaluativos deben ser prácticos para minimizar los trastornos que puedan FACTIBILIDAD

producirse en la recogida de información)

2. Viabilidad política (debe anticipar las diferentes posiciones de los grupos implicados para conseguir su particpación)

3. Coste efectividad (debe ser eficiente y producir información de suficiente valor de tal manera de justificar los recursos invertidos)

1. Orientación de servicio (debe ayudar a las organizaciones a atender a las necesidades de todos los participantes)

2. Convenios formales (las responsabilidades de las partes implicadas deben ser acordadas mediante un documento)

3. Derechos de los sujetos humanos (deben respetar los derechos y bienestar de los sujetos humanos) PROBIDAD

4. Evaluadotes deben respetar la dignidad humana y su valor (de manera que los participantes no estén amenazados y no se vean perjudicados)

5. Evaluación completa y adecuada (debe ser completa y adecuada en su análisis de los puntos fuertes y débiles del programa)

6. Declaración de resultados (las partes contratantes de la evaluación deben asegurar que el conjunto de los resultados sean accesibles a las personas afectadas)

7. Conflicto de intereses (deben ser manejados con apertura y honestidad de tal forma que no comprometan al proceso de evaluación)

8. Responsabilidad fiscal (asignación del evaluador y otras partidas deben reflejarse contablemente)

1. Documentación sobre el programa (el programa evaluado debe ser descrito y documentado de tal forma de que puede ser identificado)

2. Análisis del contexto (debe ser examinado con suficiente detalle de modo de identificar posibles influencias.)

3. Descripción de propósitos y procedimientos (deben ser controlados y descritos de manera que puedan ser identificados y evaluados) ADECUACIÓ N

4. Fuentes de información admisibles (las fuentes deben ser descriptas de manera que la interpretación sea valida)

5. Información valida (los procedimientos de recogida de información deben asegurar una interpretación válida)

6. Información viable (los procedimientos de recogida de información deben asegurar que información es fiable)

7. Información sistemática (la información debe ser sistemáticamente revisada y cualquier error corregido)

8. Análisis de información cuantitativa (debe ser apropiada y sistemáticamente analizada)

9. Análisis de información cualitativa (debe ser apropiada y sistemáticamente analizada)

10. Justificación de las conclusiones (deben ser explícitamente justificadas de modo tal que los implicados puedan valorarlas)

11. Informe imparcial (los procedimientos del informe deben ser salvaguardados contra la distorsión causada por sentimientos personales y sesgos)

12. Metaevaluación (la evaluación debe ser formativa y sumativa de tal modo que su ejecución sea apropiadamente guiada y que los implicados puedan examinar sus puntos fuertes y débiles)

En este documento se ofrecen los requisitos mínimos indispensables para garantizar una buena evaluación o para analizar una evaluación9 que ya ha sido realizada:

Validez: Debe apoyarse en metodologías científicas de recolección y análisis de información.

Pertinencia: Debe haber correspondencia entre el problema (necesidades de información) que da origen a la evaluación y los propósitos de ésta.

Relevancia: La magnitud de conocimiento producido por medio de la evaluación debe estar a la altura de las necesidades y de los propósitos planteados.

Utilidad: Los resultados de la evaluación deben ser accesibles a los tomadores de decisiones y a los involucrados en general, y las recomendaciones deben estar ligadas con la toma de decisiones y las necesidades de brindar mayor transparencia a la gestión.

Oportunidad: Los resultados de una evaluación deben llegar a tiempo como para tomar decisiones cruciales, corregir el rumbo de las intervenciones y favorecer la discusión pública.

Costo-efectividad: El costo de la evaluación (en recursos y tiempo) debe ser proporcional a las soluciones que brinda.

Relación de la evaluación con otras actividades emparentadas Tanto en el sector público como en el privado se han llevado a cabo actividades que están emparentadas en algún grado con la evaluación por estar orientadas a garantizar un buen servicio o producto.

A su vez, estas actividades han sido

organizadas como funciones en el sentido que tienen responsables específicos y requieren cierto grado de especialización. Al respecto pueden mencionarse las siguientes: auditoría, control de gestión y supervisión. La auditoría es una función que tiene por objeto garantizar el buen uso de los recursos del Estado y de la empresa en cuanto a la adquisición de insumos, buscando evitar acciones negligentes o delictivas. El control de gestión va más allá, en el sentido que atiende a los procesos de conversión de los insumos en 9

A la evaluación de la evaluación se la llama metaevaluación.

productos, es decir, a las actividades y los resultados esperados de la misma, en cantidad y calidad. Por su parte, la supervisión se orienta a observar que los procesos se desarrollen según lo previsto, incorporando actividades de apoyo o asesoramiento. Como se podrá observar, si bien todas estas funciones se apoyan en el propósito de garantizar las mejores condiciones de la gestión, no brindan insumos sistemáticos de conocimiento que permitan arrojar luz para llevar a cabo procesos transformadores. Pero hay otras actividades que brindan estos insumos y que también se diferencian de la evaluación.

Las experiencias que llevan a cabo las

organizaciones de la sociedad civil requieren, por su carácter singular e innovador, llevar a cabo procesos de sistematización.

Del mismo modo, sus

exploraciones suelen ser objeto de atención de los investigadores. En tal sentido, resulta conveniente distinguir y delimitar los procesos de sistematización, investigación y evaluación. Lo primero que interesa señalar es que no hay una relación jerárquica, ni de inclusión o subordinación entre la sistematización, la investigación y la evaluación. En realidad se trata de tareas distintas aunque, por cierto, están muy relacionadas, por eso es conveniente que exista una articulación entre las mismas. La sistematización consiste en recoger y ordenar información con el propósito de hacer una memoria de la propia práctica y aprender de ella. Es un proceso de objetivación por medio del cual se extraen (de acuerdo con determinados parámetros) conocimientos sobre la labor que se realiza para capitalizar la experiencia y reorientarla. Por eso, cada proceso de intervención constituye un esfuerzo creativo único que tiene una gran dosis de experimentación. Durante la implementación de un programa se generan descubrimientos, se producen debates, se construyen conceptos y se organizan sistemáticamente. Este proceso es dinámico, puesto que la sistematización tiene una lógica explicativa provisoria, abriendo paso a nuevas dudas que deberán ser respondidas en el futuro y dando lugar a renovados esquemas de relación entre los hechos y el ordenamiento de la información. La investigación, por su parte, supone hacer un recorte de la realidad y un análisis en profundidad de algunos aspectos, indagando acerca de la existencia

de correlaciones y/o relaciones causales entre los fenómenos que se observan, ya sea interpretándolos a la luz de la teoría deductivamente o “creando” teoría inductivamente a partir de dichos fenómenos. En investigación es más acotado el margen de fenómenos o aspectos que se eligen para analizar, mientras que la sistematización se hace con un abordaje más comprehensivo de todo el proceso de intervención. Además, la investigación es más rigurosa desde el punto de vista metodológico y sus conclusiones son de más peso. También difieren en cuanto al propósito de cada una. La sistematización cumple con la función de ordenar información y aprendizajes para encaminar la propia práctica, una producción al servicio del proceso de intervención. En cambio la investigación está al servicio del conocimiento, sin condicionamientos propios de la acción, donde el público al que se dirige la información no es el propio equipo del programa, sino los circuitos académicos y ámbitos de debate científico. La evaluación, por último, es una investigación aplicada, y en este sentido se rige por los mismos principios epistemológicos y metodológicos de toda investigación. Sólo que la investigación básica tiene como propósito el descubrimiento del conocimiento, mientras que la evaluación apunta a conocer los resultados de un programa y los efectos que producen. La evaluación puede también

ser

tipificada

como

“policy

oriented

research”,

puesto

que

conocimiento producido por la evaluación siempre será utilizado en algún nivel de toma de decisiones, desde los ámbitos estratégicos desde los que se conducen políticas hasta los espacios operativos, pasando por los escalones intermedios de la gestión. Otro de los aspectos que distingue a la evaluación es que incorpora de manera explícita los valores. Precisamente, evaluar significa valorar y la evaluación siempre supone juicio sobre el objeto evaluado: mejor o peor, más cercano o más lejano a lo deseado, más o menos ajustado, etc. Al tomar como referencia los efectos deseados se está pensando en un horizonte al que se considera como el más conveniente o adecuado, y esto significa que se está partiendo de preferencias, prioridades y elecciones, todas las cuales se basan en los valores de los involucrados.

Aspectos políticos y técnicos de la evaluación En toda evaluación entran en juego aspectos técnicos y aspectos políticos. Toda vez que se tiene en cuenta la relación entre los medios y los fines entra a jugar la perspectiva técnica. organizaron

los

Esta se refleja cada vez que nos preguntamos cómo se

recursos

(ya

sean

humanos,

materiales,

tecnológicos

financieros), qué uso se hizo de los mismos, qué resultados se lograron, etc. Los aspectos técnicos tienen que ver con disciplinas y saberes específicos propios de las distintas áreas del quehacer (economía, salud, educación, medio ambiente, etc.)como así también con las profesiones que priman en cada campo (educadores, médicos, economistas, ingenieros, etc.). Pero también está el aspecto político (en un sentido amplio, no partidario) de la evaluación, que es el que tiene que ver con los actores, sus valores y sus intereses, y con las instituciones. Por ello es tan importante saber quiénes son los actores que están involucrados en la intervención, cuáles son sus fortalezas y sus debilidades, qué persiguen, cómo van a participar y con qué grado de involucramiento, qué grado de participación tienen en la evaluación. El aspecto político está presente cada vez que nos preguntamos por los valores que orientan las opciones que se eligen y las prioridades que se establecen, cuando analizamos las limitaciones y potencialidades de tipo institucional (normas, procedimientos, reglas del juego), cuando indagamos sobre las relaciones de poder, las disputas o los consensos. En una evaluación no se puede prescindir de los aspectos técnicos ni de los políticos. Si nos concentráramos solamente en los primeros correríamos el riesgo de ser poco realistas, de imaginar procesos y de identificar resultados desde una perspectiva ajena al escenario social donde suceden los acontecimientos. Evaluaríamos en términos ideales, sin ofrecer conocimiento útil para la toma de decisiones. Y lo que es peor, aplicaríamos nuestros propios valores, puesto que no existen posiciones técnicas avalorativas.

Si, por el contrario, sólo nos

apoyáramos en argumentos de orden político, estaríamos menospreciando el saber científico-técnico que ha sido probado a través de la experiencia y que ha dado lugar a la conformación de campos específicos del saber.

Niveles de aplicación de la evaluación. Los niveles de aplicación de la evaluación se corresponden con los niveles de organización de los procesos de decisión y acción, a saber:

política,

plan,

programa, “cluster” y proyecto. Las políticas públicas son procesos de decisiones y acciones (también omisiones e inacciones) socialmente construidos, orientados por objetivos (con diferentes grados de explicitación y estructuración) y que están orientados por el interés general (razón por la cual, aunque no incluyan necesariamente al Estado como único actor, lo cuentan como un involucrado imprescindible). Las políticas públicas adquieren un carácter operativo a través de planes, programas, proyectos u otras formas de acción/decisión organizadas. Los planes son las unidades más generales de organización de procesos de decisión y acción. Desde la perspectiva de la planificación estratégica, los planes contienen los fines, objetivos, estrategias y sectores de intervención, esbozados en grandes líneas, de modo tal de permitir la elaboración de versiones (interpretaciones, adecuaciones, recreaciones) específicas a las distintas áreas, sectores, regiones o localidades involucradas por el plan. Los programas adquieren un nivel de mayor especificidad que los planes (no necesariamente tienen que depender de un plan). Están a su vez conformados por componentes (puede ser también por proyectos), que constituyen partes relacionadas entre sí funcionalmente, es decir, los componentes o proyectos cumplen funciones que coadyuvan al alcance de los objetivos del programa y tienen entre sí una relación de tipo sistémico.

Los programas suelen ser

continuados o tener períodos de duración no claramente delimitados puesto que finalizan cuando dejan de subsistir los problemas que les dieron origen. A su vez, los proyectos tienen un nivel de especificidad mayor que los programas y pueden ser parte de estos (al igual que la relación entre programa y plan, la relación entre proyecto y programa es de inclusión y parte). aclaración que se hizo en referencia a los programas:

Cabe la misma los proyectos no

necesariamente deben estar incluidos en un programa, puesto que es muy común encontrar proyectos que existen de modo independiente. Los proyectos

tienen un período y un fin claramente delimitados y sus productos son obras, o bienes y servicios que generan un efecto multiplicador. Se llama cluster (racimo, grupo, haz) a un conjunto de proyectos o programas que están reunidos por dos razones posibles: -

Porque constituyen procesos de intervención (proyectos o programas) en pos de un fin común sobre una misma población y territorio. En este caso la relación entre las partes es de tipo funcional.

Porque son procesos de intervención con un mismo ideario o filosofía, que tienen objetivos diversos aunque emparentados y que intervienen sobre distintas poblaciones y territorios. En este caso la relación entre las partes no es funcional (no coadyuvan al alcance de un mismo fin) sino que están reunidos con el objeto de experimentar en diferentes escenarios con prácticas similares o comparables y de aprender en común.

Las actividades de evaluación son diferentes según el nivel de gestión del que se trate.

Los proyectos son más sencillos de reconstruir y resultan en principio más

inteligibles, puesto que incluyen objetivos, productos y procesos de intervención acotados.

En muchos casos contienen unas pocas líneas de acción y los

involucrados, además de no ser muy numerosos, se reúnen con expectativas claras y funciones bastante delimitadas. Los programas tienen un nivel mayor de complejidad, puesto que contienen más líneas de acción y suelen incluir varios componentes o proyectos. En su caso resulta más difícil delimitar las responsabilidades propias del grupo operativo de aquéllas que tienen que ver con el medio institucional o social en el que se implementan los programas.

Los involucrados son más numerosos y las

relaciones entre los mismos son más complejas, a la vez que la normas y las reglas del juego en el marco de las cuales se desarrollan son más imbricadas. Al ascender del nivel del proyecto al de programa se hace más difícil hacer una evaluación comprehensiva, razón por la cual hay que acotar el objeto a evaluar, es decir, hay que definir algunas dimensiones en detrimento de otras. La evaluación de cluster puede ser de dos tipos. Si se trata de una agrupación funcional (cluster de tipo a) la evaluación es similar a la de programa, aunque el cluster tiene una diferencia en relación con un programa: en éste las partes que se relacionan funcionalmente trabajan en el marco de una misma organización

responsable que conduce o coordina; en esta organización no existe sino que los diferentes programas o proyectos sólo coexisten o, en todo caso, tienen una articulación de tipo horizontal o en red. En este sentido, la evaluación es aún más compleja y cobran mayor peso los asuntos que tienen que ver con las relaciones entre las partes. Si el cluster no es de tipo funcional (tipo b), la evaluación sigue los caminos de la investigación comparativa. Cada programa o proyecto que compone el clúster es tomado como un caso que se desarrolla en un escenario diferente y se eligen algunas dimensiones que permiten comparar las intervenciones para poder hacer un análisis transversal. Desde ya, en este caso no es posible hacer evaluación de objetivos (puesto que son diferentes), aunque muchas veces los proyectos o programas del cluster son impulsados por alguna iniciativa o línea de financiamiento y/o apoyo técnico lanzada por un gobierno o agencia de cooperación, razón por la cual se puede hacer una evaluación combinada de la iniciativa (a través de sus objetivos y lineamientos generales) y de los proyectos a partir del análisis comparado. La evaluación de planes se ubica en un nivel de mayor complejidad y generalidad que la de los programas y proyectos y aunque se puede evaluar en función de los objetivos y efectos logrados, se invita a hacer mayores recortes (aspectos, dimensiones) del ángulo de la evaluación. En el caso de las políticas públicas, la evaluación se puede hacer de las maneras siguientes: -

A través de la evaluación de programas, clusters o proyectos, lo cual equivale a seleccionar determinadas líneas de acción que se han puesto en marcha y que constituyen una parcialidad de la política en ciernes.

Se toma uno o más aspectos a evaluar (participación, equidad, institucionalidad, etc) y se hace una investigación aplicada en torno al mismo, abarcando el conjunto de líneas de acción de esa política.

Una combinación de las anteriores

3. TIPOS Y CRITERIOS DE EVALUACION Para entender qué significa evaluar, luego de haber avanzado con la aproximación conceptual, resulta útil hacer una aproximación descriptiva. Según los diferentes autores existen varios tipos de evaluación, pero a los efectos de hacer inteligibles todas las denominaciones que existen se ha intentado primero establecer los criterios con base en los cuales se hacen las clasificaciones corrientes. Estos son: a) el momento en que se evalúa, b) el objeto de evaluación, c) el alcance de la evaluación, d) quién evalúa, e) la perspectiva de los involucrados. El presente cuadro sintetiza los principales criterios a tener en cuenta. Según el

Según el objeto

Según el

Según

Según la

momento en

de evaluación

alcance

quien

perspectiva de los

evalúa

involucrados

que se evalúa Ex – ante

De proceso

- De diseño

- De decisión

- De viabilidad y

- Los beneficiarios

factibilidad

- Los financiadores

- De

- Externa

- El poder político

Sustentabilidad

- Interna

- El equipo de

- Autoev.

gestión

- Mixta

- Otros

- Monitoreo

- Formativa

- De Gestión Ex – post

- De efectos

- Sumativa

- Combinaciones

- De impacto - De satisfacción

Existe correlación entre los primeros tres criterios, dado que según el tiempo, corresponden distintos objetos o aspectos a evaluar y el alcance también es correlativo, tal como se explica a continuación.

Según el momento, el objeto y el alcance de la evaluación Evaluación ex - ante. Es la evaluación que se lleva a cabo en un tiempo anterior a la existencia del programa. Los objetos o aspectos a evaluar son el diseño del programa, su viabilidad y factibilidad, y también la sustentabilidad del mismo. En relación con el diseño, es necesario comprobar: a) si existe correspondencia entre el problema analizado en el diagnóstico y los objetivos del programa diseñado; b) si el diseño es consistente, es decir, si hay una adecuada relación entre actividades, los insumos necesarios para llevarlas a cabo, los productos (prestaciones, bienes y servicios) que resultan de éstas y los objetivos (que constituyen los efectos deseados). En cuanto a la factibilidad, se trata de analizar si se reúnen las condiciones económico-financieras y técnicas para poder llevar a cabo el programa.

relación con la viabilidad, lo que se busca conocer es si están dadas las condiciones políticas (en un sentido amplio, de acuerdo de actores involucrados y de gobernabilidad) e institucionales (normativa y

de reglas del juego no

escritas) para impulsar el programa. En lo concerniente a la sustentabilidad (como sinónimo de sostenibilidad) la evaluación busca garantizar que el programa cuente con las posibilidades de subsistir, más allá del período limitado de financiamiento que brinda el gobierno o una agencia de cooperación (por medio de recursos propios o contando con fuentes alternativas de financiamiento) . Pero tan importante o más aún que los recursos financieros son las capacidades organizativas, institucionales, de conocimiento y de gestión con que tiene que contar el equipo del programa. No está demás mencionarlo, en este tipo de evaluación se deberá incluir también la apreciación sobre la existencia de soportes políticos para poder seguir llevando a cabo las acciones. Como se podrá observar, todos estos tipos de evaluación están relacionados con la toma de decisión previa a la iniciación de un programa que responde a la siguiente pregunta: ¿Existen las condiciones para ponerlo en marcha? Según cuál sea la respuesta se hará la opción. Por esta razón, con base en el criterio del alcance se ubica la evaluación ex-ante como evaluación “de decisión”.

Evaluación de proceso. Esta evaluación se lleva a cabo cuando el programa está en marcha, es decir, durante su fase de implementación, y tiene por objeto analizar el desempeño del mismo. Según la extensión e intensidad del análisis, los tipos de evaluación son el monitoreo y la evaluación de gestión. El monitoreo es el procedimiento por el cual verificamos la eficiencia y eficacia de la ejecución de un programa, mediante la identificación de sus logros y debilidades. Se trata de un análisis periódico de distintos aspectos de un programa con el propósito de verificar si se avanza según lo programado y de identificar los posibles desvíos.

Entre los aspectos a verificar se pueden

mencionar: a) actividades previstas, b) disponibilidad de recursos y desembolsos presupuestarios, c) productos (bienes y servicios), tanto intermedios como finales, que deben resultar de las actividades previstas, d) cobertura, o sea, beneficiarios que han recibido los productos programados.

Para hacer un seguimiento de

todos estos aspectos se construyen indicadores que permiten verificar el cumplimiento de metas a lo largo del proceso. Si bien éste es un tipo de monitoreo que relaciona las actividades y productos generados en relación con lo programado, existen otros que relacionan el desempeño del programa en relación con promedios o con estándares de máximo desempeño. Se podría decir que el monitoreo ofrece una visión del movimiento del programa, aunque superficial. Mientras que la evaluación de gestión se detiene a analizar diferentes funciones de la misma en profundidad. El monitoreo se asocia a una película y la evaluación de gestión a una fotografía con detalles más rigurosos. Las funciones que pueden ser abordadas en una evaluación de gestión son variadas y se eligen según la necesidad:

a) organización del programa,

incluyendo la división del trabajo, responsabilidades y jerarquías; b) secuencia de actividades, relación entre las mismas y ubicación en el tiempo; c) asignaciones presupuestarias y cronograma de erogaciones; d) organización de recursos; e) dirección y coordinación; f) comunicación interna y externa; g) reclutamiento, organización, capacitación e incentivos de recursos humanos; h) el clima de trabajo; i) los productos y los efectos inmediatos; j) aspectos institucionales; k) la planificación y el monitoreo mismos.

Dado que la evaluación es un aprendizaje, se puede afirmar que el alcance de la evaluación de proceso es “formativo”. Evaluación ex – post. Este tipo de evaluación se efectúa generalmente una vez que ha concluido el programa o cuando ha finalizado una etapa del mismo, de modo tal que se pueden conocer sus resultados. Por evaluación de efectos se entiende aquélla que indaga sobre los cambios en la realidad producidos por el programa, es decir, nuevos estados o condiciones en las personas, en las cosas o en las instituciones que son producto de la intervención del programa, ya sea que respondan o no a los objetivos planteados. Algunos programas tienen objetivos o propósitos que se limitan a la construcción de infraestructura o equipamiento, y en este caso sólo se evalúan sus productos, pero en general, los efectos son consecuencia de los bienes o servicios prestados por el programa. La evaluación de impactos busca analizar los cambios producidos por el programa en un período mayor de tiempo (mediano y largo plazo) conjuntamente con otros factores intervinientes. Por último, la evaluación se hace con el propósito de conocer no sólo lo que se observa objetivamente sino también lo que sienten, perciben, valoran y resulta de interés para los beneficiarios. A esta evaluación se la llama “sumativa”, si se tiene en cuenta el alcance de la misma, puesto que al finalizar la vida de un programa o una etapa del mismo se logra contar con un cúmulo de conocimientos que resultan de lo que se aprendió antes del inicio y durante todo el proceso de implementación.

Según quién evalúa Un cuarto criterio a tener en cuenta es quien evalúa y en relación al mismo hay tres posibilidades: evaluación externa, interna y mixta. Por evaluación externa se entiende una intervención desarrollada por entidades y/o individuos que no intervienen en el programa o proyecto a evaluar. Cuenta con la ventaja de una mayor objetividad, aunque se corre el riesgo de acarrear también mayor desconocimiento de la realidad a evaluar. Otra ventaja es su mayor grado de independencia (o menor implicación), es decir, que los evaluadotes tienen menos

intereses comprometidos con los resultados de la evaluación.

Por último, la

evaluación externa suele estar a cargo de especialistas, los cuales tienen un conocimiento metodológico asentado a través de la experiencia. En el otro extremo, la evaluación interna, desarrollada por una unidad y/o personas que dependen de la gerencia o dirección del programa, cuenta con la ventaja del mayor conocimiento del objeto a evaluar y probablemente, mejor comunicación con los actores cuya acción es evaluada, aunque su visión puede estar sesgada por la falta de distancia y perspectiva.

Es decir, la evaluación

interna puede estar teñida de subjetivismo y sus resultados pueden estar condicionados por la necesidad de complacer a los responsables del programa o al equipo en su conjunto.

Sin embargo, favorece el fortalecimiento del desarrollo

profesional a la vez que facilita una mayor participación y apropiación de los resultados de la evaluación. La autoevaluación es un tipo especial de evaluación interna, donde quienes la realizan son los mismos involucrados en la gestión. La evaluación interna no necesariamente es autoevaluación, puesto que, como se señaló anteriormente, esta última puede ser responsabilidad de un equipo que sea externo al proceso de gestión aunque pertenezca a la planta del programa. Con la evaluación mixta se busca reunir las ventajas de ambos tipos, a través de la conformación de equipos que reúnen agentes internos y externos.

Existen

diferentes grados de asociación (mayor proporción de agentes externos o internos) dependiendo de la medida en que cada parte coopera en el proceso de evaluación. En algunos casos se opta por reunir evaluadores externos e internos en número similar, en otros se opta por un equipo externo que cuenta con apoyos internos, y en otros se prefiere organizar equipos internos con la inclusión de especialistas externos. Desde esta última perspectiva, el evaluador externo aparece en la bibliografía especializada bajo la figura del “agente provocador” o “amigo crítico”, términos que dejan claramente planteada la idea de una interlocución crítica y reflexiva que puede potenciar aún más las ventajas de la auto evaluación, otorgando al agente externo independencia pero posibilidad de estar inmerso en el proyecto.

Según la perspectiva de los involucrados Por último, queda por señalar que existen distintos tipos de evaluación según la perspectivas de los involucrados, sean éstos los beneficiarios, los financiadores, el poder político y las autoridades, el equipo de gestión, otros o combinaciones de los mencionados. Cada organización hace sus evaluaciones según las necesidades, el desarrollo de la cultura de la evaluación en su interior y en el medio social en el que trabaja, la experiencia que posee, la capacidad adquirida y los recursos que dispone. Cada evaluación es una “obra de arte” que se diseña ad hoc para cada organización, cada programa y cada circunstancia. Asimismo, en la medida que se avanza en la práctica evaluativa, las organizaciones van desarrollando sus propios “sistemas de evaluación”, contando con equipos y logística para llevar a cabo el monitoreo y múltiples evaluaciones a medida que se avanza en el tiempo. Es conveniente reiterar el carácter sistémico que debe tener la práctica evaluativa en dos sentidos: a) concebir a la evaluación (y el monitoreo) como una función de la gestión que se integra a las demás funciones (planificación, organización, dirección, presupuestación, etc.); b) articular las distintas evaluaciones (por ejemplo: evaluaciones ex – ante, monitoreo, evaluaciones de efectos, etc.) en un todo estructurado, de modo que confluyan diseños, bases de datos, capacidades y recursos. El montaje de un sistema de información permite garantizar la práctica de la evaluación como un proceso permanente en una organización o programa. Criterios de evaluación Mucho se ha hablado de evaluación de efectividad, eficacia, o eficiencia.

realidad estos no son tipos de evaluación sino criterios que hacen que el trabajo se concentre en determinados aspectos que dicen la bondad del programa o proyecto. A continuación se presenta una explicación sobre cada uno de estos criterios. Efectividad: refiere a la comparación de los resultados obtenidos respecto de los esperados. La efectividad implica conocer si la teoría implícita en cada programa, con sus correspondientes expresiones metodológicas y técnicas aporta las

respuestas que se buscan y genera los cambios que se requieren. También interesa estimar si esta teoría podría ser aplicable a otros campos o población beneficiaria. Con el análisis de efectividad se indaga sobre la capacidad de un programa a partir de su concepción y diseño, incluyendo la pertinencia (capacidad de respuesta a los problemas que le dieron origen), la consistencia y la adecuada visualización del medio en el que se desarrolla. Eficacia: refiere a la capacidad de un programa o de alguno de sus componentes para alcanzar sus objetivos en el tiempo esperado.

La eficacia contempla el

cumplimiento de objetivos en tiempo, sin importar el costo o el uso de recursos, y tiene relación fundamentalmente con la capacidad organizativa, de flexibilidad y adaptación frente a la situación de cambio a la que están sometidos generalmente los programas. Con el análisis de eficacia se indaga sobre la capacidad de gestión de un programa, más allá de cómo fue diseñado y teniendo en cuenta incluso la posibilidad de logro de efectos que no estaban señalados en los objetivos. Eficiencia: se define como la relación entre los productos o resultados esperados de un programa y los costos de los insumos o procesos de apoyo o funcionamiento que implica, Debe brindar elementos de juicio para identificar alternativas de acción que permitan obtener mejores resultados con igual cantidad de recursos o bien los mismos resultados con una mejor combinación o utilización de los recursos existentes. La eficiencia tiene relación con la maximización del impacto del gasto público, el que siempre enfrenta desafíos asociados al costo de oportunidad de asignar recursos a determinados programas en relación a otros, en un contexto de variadas y complejas necesidades sociales no satisfechas. Es importante aclarar que la eficiencia no se logra sencillamente minimizando costos. La eficiencia obliga a poner un estándar a la minimización de costos: cumplir el objetivo, a mínimo costo o generar el mayor logro, para un determinado costo.

4. PERSPECTIVAS TEÓ RICAS Y METODOLÓ GICAS DE LA EVALUACIÓ N

No existe una única concepción de evaluación y consecuentemente, hay varias perspectivas teóricas y metodológicas que la sustentan, las cuales han sido objeto

de intensos debates que permanecen hasta hoy. Una primera clasificación que se puede hacer proviene de distinguir la evaluación tradicional de los enfoques alternativos que le sucedieron, dando diversas respuestas en oposición a aquélla. A continuación se exponen brevemente los autores y fundamentos de cada una: a)

Evaluación

tradicional

centrada

objetivos

(Definición

clásica,

desarrollada inicialmente por R. W. Tyler en el trabajo Eight Year Study en 1942) Utiliza como parámetro de referencia los objetivos del programa a evaluar, realizando análisis comparados entre lo que se buscaba y lo que se logró. Este enfoque busca determinar la congruencia entre los resultados alcanzados y los propuestos por un lado, y entre el trabajo (las operaciones) y los objetivos por el otro. b) Enfoques alternativos.

Estos enfoques rechazan la visión de supuesta

imparcialidad y objetividad de la evaluación centrada en objetivos, de corte positivista, y resaltan los valores y las opiniones de la pluralidad de actores involucrados en el programa a evaluar. Reconoce la diversidad de intereses en juego, la multiplicidad de perspectivas y promueve de los diferentes actores en la evaluación.

activamente la participación

Varias versiones de este enfoque

fueron emergiendo a lo largo del siglo pasado, pero vale la pena puntualizar las siguientes: -

Evaluación múltiple (Desarrollado por C. H. Weiss y G. Majone): dada la existencia de múltiples partes afectadas por un programa y la complejidad del contexto político donde se desenvuelve la intervención, este enfoque propone la utilización de las distintas perspectivas de los actores involucrados en la evaluación.

Evaluación libre de objetivos (Desarrollado por M. Scriven, H.J. Brown y Wildavsky) considera objetos de evaluación a todos los efectos provocados por el programa y no sólo aquellos previstos inicialmente. Propone analizar el impacto sobre la población objetivo y también sobre grupos que no lo sean; el impacto sobre las condiciones actuales, futuras, sobre los costos en relación con los recursos utilizados y sobre los costos indirectos o costos de oportunidad. Este enfoque se presenta como menos intrusivo, más adaptable a los cambios repentinos de metas y más propenso a buscar efectos secundarios.

Evaluación naturalista – evaluación mediación (E. G. Guba y Y.S. Lincoln): considera a la evaluación como una investigación aplicada que puede no proporcionar conclusiones objetivas e imparciales sobre el programa a evaluar, sino que aporta herramientas para re definir los medios para alcanzar los objetivos propuestos. Propone consensuar los resultados del análisis con los participantes de la evaluación, para incorporar sus percepciones y opiniones al informe final.

Evaluación orientada a la utilización (M. Q. Patton): cada decisión del evaluador debe ir precedida de una pregunta sobre las consecuencias de la opción elegida en términos de utilidad, constituyéndose en un proceso dinámico e interactivo.

El debate metodológico A la par de la discusión teórica sobre evaluación se encuentra el debate metodológico y se pueden también apreciar ciertos paralelismos entre ellos, aunque no de modo determinante. En términos metodológicos, la evaluación ha incorporado un debate que corresponde a la investigación en ciencias sociales, entre las orientaciones de orden cuantitativo y las de tipo cualitativo.

Ambas

responden a diferentes paradigmas epistemológicos que son, respectivamente, el positivista – empírico y el fenomenológico – constructivista. No es raro encontrar afirmaciones tales como que existen tipos de evaluación distintos, cuantitativo o cualitativo, pero es importante dejar sentado que se trata de diferentes abordajes metodológicos que, como se verá más adelante, no necesariamente son excluyentes. La perspectiva cuantitativa se apoya en el paradigma epistemológico positivista – empírico. El mismo parte del supuesto de que la realidad se puede captar de manera objetiva, más allá del observador, con categorías preestablecidas que se toman de una teoría. El método predominante es el deductivo y se trabaja con datos de tipo cuantitativo (muchas veces de tipo estadístico).

Tiende a sacar

conclusiones generales y los resultados de sus investigaciones son también generalizables.

Una indagación de este tipo debe ser amplia y detalladamente

planificada antes del comienzo del proceso de evaluación.

Este paradigma es

generalmente aplicado en evaluaciones de programas de gran alcance o en indagaciones de gran alcance sobre programas masivos. La

perspectiva

cualitativa

responde

paradigma

fenomenológico

–

constructivista. Se apoya en el supuesto de que la realidad es captada a través de la lente del observador, quien introduce a priori sus categorías subjetivas para el análisis.

No pretende garantizar la objetividad sino más bien comprender

actitudes, valores y motivaciones internas de las personas (indagación de la subjetividad). Por esta razón más que buscar datos intenta examinar discursos y hacer análisis de contenidos y de casos.

No se pretende sacar conclusiones

generales sino obtener un conocimiento exhaustivo de las particularidades. A su vez, sus resultados son limitados en su generalización.

El diseño de una

evaluación de este tipo es, en el comienzo, provisorio; es decir, es un diseño que emerge en el proceso. Generalmente, estos métodos se ajustan a las evaluaciones de programas locales o de aspectos locales de los programas. Ejemplos de técnicas que se ajustan al paradigma cuantitativo son las encuestas y entrevistas estructuradas y el análisis estadístico. Ejemplos de técnicas propias del paradigma cualitativo son las entrevistas en profundidad, los grupos focales, el análisis del discurso y de contenidos. De un tiempo a esta parte se ha superado el histórico divorcio entre las metodologías de un cuño u otro, para dar paso a las propuestas “multiplistas”, que adoptan enfoques y técnicas de ambos según convenga al objeto a indagar y a la perspectiva del evaluador. Como

señaló

anteriormente,

estos

enfoques

son

necesariamente

contrapuestos ni excluyentes. Tal como sugieren Cook y Reichart, es conveniente emplear los métodos que resulten más adecuados según la ocasión y si resulta posible, hacer uso de ambas perspectivas de modo combinado10. Existen varias ventajas potenciales del empleo y la articulación de ambas metodologías. En primer lugar, dado que la evaluación generalmente tiene múltiples propósitos, éstos deben ser atendidos con referencia a una variedad de métodos. Esto supone, en otros términos, atender tanto al proceso como a los resultados y considerar, en muchos casos de manera simultánea, los objetivos T. D. Cook y Ch. S. Reichardt, Métodos cualitativos y cuantitativos en investigación evaluativa, Madrid, Morata, 1986, p. 40 y 41.

vinculados con la comprobación, la valoración del impacto y la búsqueda de explicaciones sobre los aspectos evaluados. En segundo término, la utilización de manera articulada de ambos métodos puede contribuir a su potenciación mutua. Esto implica que uno no puede sustituir al otro, dado que aportan formas diferentes de abordar el objeto de evaluación y que, en consecuencia, requieren su complementariedad. Si bien, cabe aclarar, no se trata de pensar que ésta resulta de una simple sumatoria sino, por el contrario, que implica atender a los problemas que resultan de su combinación. Por último, dado que no hay método que no presente problemas, dificultades o inconvenientes, la tercera ventaja que ofrece la articulación de ambos enfoques es la de posibilitar la triangulación de métodos que permitan disminuir los sesgos propios a cada uno de ellos. La triangulación puede darse entre distintas perspectivas teóricas , entre distintas perspectivas metodológicas, entre técnicas cuantitativas

cualitativas,

entre

tipos

información

disponible

(documentación, informantes de todo tipo, observación) y entre distintos tipos de informantes

Modelos de comparación: experimentales, cuasi-experimentales y no experimentales. Habiendo presentado el debate metodológico, cabe pasar a la presentación de los modelos de comparación. Cada vez que se hace una evaluación puede existir la posibilidad de hacer dos tipos de comparación: a) entre los grupos beneficiarios del programa y los que no han accedido a él; y b) dentro del mismo grupo, a lo largo del tiempo. Se trata de definir si se trabajará o no con grupos de control, si se optará por series temporales –y cuántos cortes se efectuarán– y si, en consecuencia, se construirá o no una línea de base. De acuerdo con Cohen y Franco11, los modelos de comparación son de tres tipos: experimental clásico, cuasi-experimental y no experimental. Modelos

experimentales:

método

experimental

clásico

implica

conformación de dos poblaciones, una de las cuales recibe el estímulo,

Cohen, Ernesto y Franco, Rolando Evaluación de proyectos sociales Buenos Aires, 1988 p. 134

constituyéndose en el grupo experimental; mientras que la otra no es sometida a ese tratamiento y conforma el grupo de control o grupo testigo. El eje central es poder variar un factor a la vez, manteniendo el resto constantes. La dificultad es encontrar dos poblaciones idénticas al menos en los factores pertinentes al estudio. El elemento fundamental para el control del experimento y para evitar introducir sesgos en la selección de los miembros de cada uno de los grupos es la aleatorización. De esta manera se distribuirán al azar los factores incontrolables. Una vez conformados ambos grupos se trata de comparar la situación en que se encontraban “antes” de la intervención y “después”. La aplicación de este modelo requiere la selección aleatoria de los integrantes de los dos grupos. Esta exigencia implica que la muestra debe ser sustancialmente mayor y , por lo mismo más caro. Pero además el modelo ha sido cuestionado por otras dos razones fundamentales: a) una razón ética: por el hecho de que experimentar con personas interfiere en la vida personal y social de las mismas; b) una razón política: este modelo implica excluir a un grupo de personas de los posibles y eventuales beneficios que genera un programa o política Modelos cuasiexperimentales son aquellos donde los grupos (experimental y de control) no se seleccionan aleatoriamente. a) Series temporales: se construyen sobre la base de mediciones periódicas efectuadas “antes”, “durante” y “después” de la realización del proyecto. Según las formas que adopten las curvas, es posible determinar el impacto del programa. La dificultad reside en que los modelos cuasiexperimentales no permiten aislar los efectos legítimamente atribuibles al proyecto de aquéllos que no lo son. b) Grupos de control no equivalentes o de comparación: estos grupos se forman asumiendo que sus miembros tienen características semejantes a las del grupo al cual se aplica el proyecto. Se efectúan mediciones “antes” y “después” de introducir el estímulo. Modelos no experimentales: En aquellos casos en que la población objetivo no puede ser comparada con grupos testigo, surgen estas alternativas para descartar los efectos exteriores no atribuibles al proyecto.

a) Modelos “antes”- “después”: trabaja sobre un solo grupo y compara las mediciones realizadas “antes” de la puesta en práctica del proyecto, con los valores obtenidos con los resultados de las mediciones realizadas “después”. El modelo no permite eliminar los factores exógenos, y determinar en qué medida los cambios son imputables al proyecto. Para ello puede: –

utilizar grupos de comparación que no han sido establecidos en función del diseño y que permiten sólo una aproximación no rigurosa

–

a través de variables de control que faciliten la estimación de la incidencia de las variables exógenas.

b) Modelo sólo “después” con grupo de comparación: se aplica cuando resulta imposible seleccionar un grupo de control que cumpla con los pre-requisitos que establece el modelo experimental. Contrasta los resultados obtenidos en el grupo del proyecto con los de un “grupo de comparación” que opera como testigo.

c) Modelo sólo “después”: es el más débil de todos los modelos. Considera un solo grupo, donde la medición se efectúa “después” de la intervención. Luego de la medición el evaluador reconstruye la situación inicial con la información a al que ha tenido acceso. Pueden identificarse variables de control, dentro del grupo experimental, que den indicaciones de los impactos imputables al proyecto.

5. PASOS PARA LLEVAR A CABO UNA EVALUACIÓ N

Se cuente o no con un sistema de evaluación, cada vez que hay que “crear” esta obra de arte que es la evaluación es menester seguir los siguientes pasos: - Planteamiento de la evaluación y toma de decisiones. - Diseño de la evaluación - Recolección de información y procesamiento.

- Análisis de la información. - Comunicación de los resultados. 31

5.1 Planteamiento de la evaluación y toma de decisiones. Toda evaluación surge de una carencia de información.

En ese sentido la

evaluación es una respuesta a un problema o necesidad. Se desea saber qué posibilidades hay de poder llevar a cabo con éxito un programa si es que no ha funcionado aún, o bien cuáles han sido sus resultados si lleva un tiempo considerable de intervención, o cuáles son sus principales dificultades y fortalezas en la implementación.

Como producto de esta necesidad de

información, los decisores se preocupan por llevar a cabo una evaluación, ya sea por iniciativa propia, por demanda de los involucrados o simplemente porque la necesidad se instaló en la agenda de la organización impulsora del programa o en la agenda del medio social en el que se actúa. Nunca una evaluación está clara ni bien emerge la necesidad.

Es necesario

estructurar esta necesidad / problema en diálogo de actores, y estructurar la respuesta que se le dará. A esto se le llama también “estructurar la demanda”. Con este propósito hay que plantearse y responderse varios interrogantes: -

¿Cuál es el problema / necesidad que hay que resolver / satisfacer en términos de conocimiento? ¿Qué aprendizaje hay que generar?

¿Quiénes son los actores involucrados? En este caso hay que distinguir los actores directos (tienen injerencia en el “proceso de conversión” de insumos en productos, ya sea como responsables, agentes intervienientes en el programa, como proveedores o como beneficiarios) de los actores indirectos (aquéllos que son concernidos por el programa pero que no participan en su proceso de conversión). ¿Cuáles son sus intereses, sus fortalezas, sus debilidades, sus recursos?

¿Cuáles son los propósitos u objetivos de la evaluación? ¿Cuál es la fase de desarrollo del programa? ¿Qué aspectos se evaluarán?

¿Quiénes serán las audiencias (destinatarios principales) a los que se harán llegar los resultados de la evaluación?

¿Con

qué

recursos

cuenta

(financieros,

humanos,

materiales,

tecnológicos) y con qué tiempo? ¿Cuáles serán los costos aproximados de la evaluación? ¿Qué obstáculos se encontrarán?

Luego de contestar estas preguntas se estará en condiciones de esbozar la evaluación y de tomar decisiones sobre su puesta en marcha. Una vez que se haya decidido es necesario conformar el equipo operativo de la evaluación. Es conveniente detenerse para hacer algunas consideraciones en torno al análisis de actores. Tanto al identificar los problemas / necesidades como al definir los aspectos a evaluar y los objetivos la referencia a los actores es obligada.

Los

problemas tienen un carácter subjetivo (son estructurados por personas, grupos, instituciones, partidos; y son también priorizados en función de las pujas de poder entre aquéllos), al igual que la definición, selección y jerarquización de objetivos. El análisis de actores no sólo nos permitirá conocer qué visión tienen de los problemas que emergen en el diagnóstico sino que también contribuirá a avizorar quién estará a favor y quién en contra de un conjunto de decisiones, cómo se opondrán o apoyarán, cuánto y hasta qué punto estarán dispuestos a hacerlo. Sinónimos de actores involucrados podrían ser afectados (beneficiados o perjudicados), interesados, implicados o concernidos. El siguiente cuadro refleja los principales puntos a tener en cuenta para analizar los actores sociales involucrados. En primer lugar es conveniente establecer un patrón de clasificación y agruparlos (públicos, privados, sociedad civil / técnicos, políticos, administradores/ por regiones / por tipo de institución/ etc.) En la primera columna enunciamos los grupos que intervienen, luego cuáles son los intereses de cada uno de ellos, sus fortalezas y debilidades, los recursos que aportan y, por último, cuales son los potenciales conflictos que pueden ocasionar.

Grupos Intereses

Fortalezas y

Recursos que

Conflictos

debilidades

aportan

potenciales

Algunas consideraciones en torno a la participación (tanto en la toma de la decisión inicial como en el proceso posterior): Ésta se puede presentar en formas

diferentes. información,

necesario

quienes

dan

distinguir opinión,

entre

quienes

son

simplemente invitados

proveen participar

esporádicamente de una decisión y quienes se sientan en la mesa permanente de decisiones. Existen diferentes esquemas, tales como la conformación de equipos permanentes, las instancias de consulta eventual o esquemas radiales de consulta puntual por parte del equipo operativo de la evaluación.

Lo que resulta

claro es que no se puede evaluar haciendo asamblea permanente, puesto que hay que seguir un rigor técnico y ordenado en la producción de conocimiento. Esto requiere la existencia de un equipo operativo que hace sus aportes técnicos, se retira a organizar el proceso en todas sus instancia, se aísla para preparar los canales de participación y análisis de la información y luego vuelve al conjunto de los involucrados. Otro aspecto a señalar es la tensión entre la evaluación deseable y la evaluación posible, donde se entremezclan elementos de factibilidad y de viabilidad. La factibilidad refiere a la técnica, a las personas que conocen sobre el tema, a los sistemas de información con los que se cuenta, al tiempo, todo lo cual va “limitando” la acción. La viabilidad está ligada en primer lugar a los aspectos políticos (voluntades, intereses y valores de los actores), es decir, refiere a las posibilidades de generar consenso en torno a la evaluación o dejar sentadas las diferencias para demarcar caminos de negociación. La viabilidad también refiere a los aspectos institucionales, esto es, a la normativa y reglas del juego que gobierna el movimiento de las organizaciones. Por otra parte es necesario considerar la limitación que tiene que ver con los recursos: dinero, tiempo, si se cuenta con el marco institucional y el marco político adecuado. En otras palabras, no existe la evaluación ideal, toda evaluación es diseñada a medida y en función de circunstancias y de un escenario en la que juegan todos estos factores técnicos y políticos. Dentro de la fase del planteamiento también es necesario preguntarse sobre los aspectos a evaluar: productos, efectos, impactos, aprendizajes, aspectos organizativos, manejo de los recursos, articulación de los diversos actores, funcionamiento de las redes y alianzas, estilos de dirección, construcción y fortalecimiento del clima de trabajo, etc. Es decir, el arco de posibilidades es muy amplio y no basta con dejar sentado “qué se quiere evaluar” y establecer un

acuerdo sobre ello, sino que es menester avanzar sobre el tipo de evaluación que se desea hacer. Llegar a esta definición implica tomar decisiones acerca de los aspectos hacia los que apuntará la evaluación y por lo tanto hacer un recorte de las aspiraciones. Antes de finalizar, cabe resaltar que, en términos óptimos, es de desear que la evaluación sea planteada y luego diseñada en el momento mismo en que se formula un programa.

De este modo se podrán prever todos los pasos a

desarrollar, convocar con antelación a los informantes, ordenar la documentación y calcular los recursos necesarios.

Además, de este modo se podrá también

hacer una recolección de información sobre la situación inicial del programa, a la cual se le llama línea de base.

5.2. Diseño de la evaluación Una vez tomada la decisión de evaluar sobre la base de un esbozo, es necesario darle forma a la idea prefijada, es decir, diseñar la evaluación. Un diseño de evaluación debe contar con los siguientes elementos: Objetivos y preguntas clave Objetivos: Son los enunciados que orientan de manera global la formulación de la evaluación. Debe expresar el cambio esperado en el problema o carencia de conocimiento que da origen al proceso. Supongamos que se debe llevar a cabo una evaluación de un programa de alfabetización de adultos, impulsado por el Estado y ejecutado por organizaciones de la sociedad civil. transcurridos

seis

meses

implementación

sólo

Luego de

pueden

sacar

conclusiones relativas al inicio y el proceso. Un objetivo podría ser el siguiente: “Conocer los primeros avances en la implementación del programa, a saber, a) organización y articulación de recursos; b) reclutamiento y capacitación de docentes; c) convocatoria de alumnos; d) dinámica de las actividades de enseñanza y aprendizaje; e) primeros resultados en el aprendizaje”. Preguntas clave:

Sobre la base de los objetivos cabe hacerse preguntas

generales acerca del funcionamiento de un programa. Estas preguntas son las grandes orientadoras del trabajo y darán lugar a la elaboración del marco teórico

y de las hipótesis de evaluación. El equipo operativo deberá hacerse sus propias preguntas

invitar

los

actores

involucrados

formular

las

suyas.

Posteriormente deberán ser ordenadas en función de los siguientes criterios: a) juntar las preguntas repetidas o similares, b) subsumir las preguntas específicas en otras más generales c) agruparlas por tema, área o aspecto común d) organizarlas según las relaciones causales que existan entre las mismas. Marco teórico e hipótesis Marco teórico: El marco teórico, marco referencial o marco conceptual tiene el propósito de dar al proceso evaluativo un sistema coordinado y coherente de conceptos y proposiciones que permitan abordar el problema. De éste dependerá el resultado del trabajo. Significa poner en claro para el propio evaluador sus postulados y supuestos, asumir los frutos de investigaciones anteriores y esforzarse por orientar el trabajo de un modo coherente. El fin que tiene el marco teórico es el de situar a nuestro problema dentro de un conjunto de conocimientos, de modo tal que permita orientar nuestra búsqueda y nos ofrezca una conceptualización adecuada de los términos que utilizaremos. El punto de partida para construir un marco de referencia lo constituye nuestro conocimiento previo de los fenómenos que abordamos, así como las enseñanzas que extraigamos del trabajo. Este encuadre teórico o conceptual no es inmóvil, sino que cambia conforme van emergiendo evidencias a partir de la intervención. Estas obligan a modificar las perspectivas desde las que se observa e interpreta la realidad. Por esta razón, se habla de la necesidad de poner al día el marco teórico, haciendo un análisis crítico de las suposiciones que dieron sustento a la acción en el pasado. Hipótesis: Una hipótesis es un planteamiento y/o supuesto que se busca comprobar o refutar con evidencia empírica, siguiendo las normas establecidas por el método científico. En otras palabras, se trata de una respuesta adelantada a una o más preguntas, que debe ser confirmada con la información que se recogerá en el trabajo de campo. Las hipótesis surgen de las grandes preguntas clave que han hecho previamente.

Supongamos que debemos evaluar la gestión de un programa, en cuyo caso se podría trabajar con la siguiente hipótesis: “El programa presenta dificultades en sus resultados porque a) el estilo de dirección es poco participativo, b) se ha brindado escasa atención a las opiniones de los beneficiarios, c) no hay una clara asignación de funciones a los agentes que tienen a cargo su implementación”. Las hipótesis pueden ser de tres tipos: -

Descriptiva: Se corroboran los logros, hayan sido planificados o no, cómo así también los problemas.

De correlación: Existe relación entre dos fenómenos.

De causalidad: Un fenómeno genera otro.

Dado que todo programa supone una hipótesis de intervención (“si se llevan a cabo tales actividades, de las que surgen tales prestaciones, se lograrán tales objetivos”), en gran parte de las evaluaciones, con la hipótesis de evaluación se propone corroborar el grado en que se cumplió la hipótesis de intervención. Luego, al preguntarse “por qué”, pueden aparecer varias razones (causas) o correlaciones (hechos relacionados sin que se pueda considerar que uno da origen al otro). Hay hipótesis que tienen relación con la totalidad de las dimensiones y otras sólo interpretan lo que ocurre en relación a una sola dimensión.

Dimensiones, variables, indicadores y unidades de análisis Dimensiones: Grandes bloques conceptuales que corresponden a aspectos de la realidad a evaluar, relacionados con los resultados y los procesos.

Para

ejemplificar, supongamos que debemos evaluar un programa de desarrollo social a nivel local, que tiene diferentes líneas de intervención: productiva, educativa, de salud, de vivienda y

comunitaria.

Las dimensiones de la evaluación

corresponderán a cada una de estas líneas. Variables: Atributos observables de la realidad que refieren a una o más unidades de análisis. Se agrupan en torno a las dimensiones. Para ejemplificar, tomemos una de las dimensiones del ejemplo anterior: la educativa.

Las

variables a analizar serán los distintos aspectos educativos respecto de los cuales esperamos encontrar cambios luego de la intervención, tales como “el clima

escolar”, “la eficiencia interna de los centros educativos,

“los logros en el

aprendizaje”, etc. Indicadores: Signos que permiten percibir los movimientos de las variables. Una variable es captada o descripta por medio de uno o más indicadores. Siguiendo los ejemplos anteriores de variables propias de la dimensión educativa, podemos seleccionar la variable “eficiencia interna de los centros educativos”, para la cual los indicadores podrían ser “tasa de permanencia” (o su opuesta: deserción), “tasa de promoción” (o su opuesta: repetición) y “tasa de asistencia” (o su opuesta: inasistencia). Existen distintos tipos de indicadores y dependen del tipo de evaluación a realizar: A) Indicadores de proceso (signos que brindan información sobre “intangibles”, tales como liderazgo, consenso, clima o comunicación;

sobre

“producción”, tales como programación, estructura, recursos, técnicas de producción y distribución de bienes y servicios; y sobre “proyección”, tales como imagen, posición en el sector, previsiones de futuro, etc. B) Indicadores de producto (permiten cuantificar la producción de bienes y servicios que brinda el programa en un periodo de tiempo dado). C) Indicadores de cobertura (población que recibe beneficios sociales en un período definido). Es

necesario

explicar

que

estamos

trabajando

proceso

operacionalización, en el mismo sentido que se hace en toda investigación. También es importante señalar que todos estos son términos relativos. Es decir, las dimensiones incluyen a las variables y éstas a los indicadores, o viceversa, a través de un conjunto de indicadores se puede “leer” o interpretar el comportamiento de las variables- siempre mediado por el análisis -, y a su vez el análisis de un conjunto de variables permite sacar conclusiones acerca de los hallazgos y resultados en torno a un bloque temático (dimensiones). En relación a la construcción de indicadores, las características de un buen indicador se pueden enunciar en los términos siguientes12: -

su pertinencia;

su capacidad para resumir la información sin deformarla;

Sauvageot, Claude Indicators for educational planning: a practical guide, IIPE- UNESCO, 1997. 12

su carácter coordinado y estructurado, que permite ponerlo en relación con otros indicadores para efectuar un análisis global del sistema;

su precisión y comparabilidad;

su fiabilidad.

Un buen indicador debe permitir: -

medir cuán cerca o cuán lejos estamos en relación con un objetivo;

identificar las situaciones problemáticas o inaceptables;

responder a las preocupaciones políticas y al cuestionamiento que ha conducido a su elección;

comparar su valor con otro valor de referencia, una norma o consigo mismo calculado para otro período de observación.

Unidades de análisis: Recorte teórico- metodológico de la realidad a los efectos de ser analizada. Puede tratarse de personas, grupos de personas, instituciones, objetos o programas. El universo está compuesto por el conjunto de unidades de análisis. Siguiendo con el ejemplo anterior, las unidades de análisis relativas a los indicadores de la variable “eficiencia interna de los centros educativos” son, en todos los casos, los alumnos.

Si se tomara la variable “clima escolar”, las

unidades de análisis serían los centros educativos. En cuanto al universo, estará compuesto en estos ejemplos por la totalidad de alumnos que son beneficiarios del programa y por la totalidad de centros educativos que participan en él, respectivamente.

Fuentes de información, técnicas e instrumentos Fuentes de información: Proveedores de información. Puede tratarse de documentación en diferentes registros (escrito, audio, audiovisual); la realidad directamente observada; o actores con algún tipo de relación con el programa. Las fuentes pueden ser secundarias, cuando brindan información cuya elaboración no ha estado guiada por el fin de brindar insumos para la evaluación sino por otros propósitos (investigaciones, alimentación de bases de datos de uso general, acervos estadísticos, etc.); o primarias, cuando son abordadas con el objeto específico de brindar insumos de información para la evaluación.

Distintos tipos de documentos pueden ser reunidos: -

Documentos sobre planificación del programa. En este bloque se ubican los documentos preparatorios que contienen diagnósticos y análisis de factibilidad / viabilidad de los programas, el texto del programa con sus anexos.

Información de contexto, o sea del medio en el que se desarrolla el programa. Se trata de información geográfica, histórica, demográfica, económica, socio - cultural y educativa. De especial utilidad será la información sobre política y práctica educativa en el lugar.

Documentación de trabajo: manuales operativos, instructivos, guías / pautas de trabajo, registros e informes internos.

Materiales de difusión, capacitación y diseminación.

Información periodística.

Documentación sobre la organización coordinadora y otras organizaciones que conformen la alianza, que contengan información sobre su historia, objetivos, actividades, estilos de gestión, organización, etc.

Investigaciones relacionadas con el programa (sí las hubiera).

Respecto de las otras fuentes (informantes, observación) serán retomadas a través de las técnicas de recolección de información. Técnicas de recolección: formas de abordar las fuentes para obtener información. Suponen un proceso lógico por el cual el abordaje de esa fuente dará como

resultado

obtención

información

significativa,

relevante,

representativa y válida. Surge durante esta etapa el debate entre técnicas de cuño cuantitativo y cualitativo. Si bien la distinción entre unas y otras suele tener, en sentido estricto, fronteras difíciles de delimitar, se insiste en que no existen metodologías contrapuestas, sino que para cada evaluación se hace la selección y organización de técnicas que más se ajustan a las necesidades de la indagación. Cabe aclarar que la orientación cuantitativa o cualitativa no depende sólo de la técnica que se utiliza para recoger información, sino además del tipo de tratamiento de la misma en el análisis.

Sin pretender hacer un listado exhaustivo, se mencionan a continuación algunas técnicas: - Análisis documental: El análisis documental es un paso obligado de toda evaluación, tanto de resultados como de procesos. Siempre existe en el análisis documental un ejercicio de tipo exploratorio y otro de carácter más pautado en el que la búsqueda de información es regida por categorías, preguntas, dimensiones y variables previamente construidas. La documentación a ser analizada deber ser previamente seleccionada, distinguiendo documentación principal de aquélla que tiene carácter complementario. La documentación no está organizada según los fines de la evaluación sino conforme a otras necesidades (programación, sistematización, capacitación, difusión, etc.), razón por la cual el análisis documental deber intentar construir respuestas a los interrogantes de la evaluación atravesando transversalmente los diversos materiales. Para ello puede resultar pertinente construir previamente guías o pautas de análisis documental que orienten “qué preguntar” en relación con estas fuentes. Por eso es importante no confundir, aún más en este caso, la fuente secundaria con el instrumento con el que se releva información para la evaluación. A continuación se recomiendan los siguientes pasos para la elaboración de una guía de análisis documental: 1) Hacer un listado de documentos que pueden proveer información y una breve descripción de sus contenidos (títulos, índices, abstracts, etc.) y ubicación de los mismos. 2) Establecer la correlación entre la matriz de evaluación13 y los documentos (cuáles son las actividades / resultados / indicadores sobre los cuales habrá información en cada documento). 3) Elaborar una guía para la búsqueda de información, partiendo de los documentos más generales a los más específicos. - Entrevista: La entrevista es una técnica adecuada para abordar informantes clave, tales como aquéllos que tienen responsabilidades en organizaciones participantes del programa, experiencia relevante, participación en períodos prolongados, conocimientos de aspectos singulares de la realidad sobre la que se 13

Al final del apartado sobre diseño de la evaluación se ve en qué consiste la matriz.

indaga, etc. Puede ser estructurada o abierta, o de tipo combinado como la entrevista semiestructurada. - Encuesta: Se utiliza cuando se busca información proveniente de un número elevado de personas y cuando no resulta indispensable tomar contacto directo con el respondente. A continuación se ofrece un listado de pautas básicas para la elaboración de una encuesta: 1) Identificación de actividades / resultados / indicadores sobre los cuales pueden proveer información cada una las fuentes seleccionadas (docentes, directivos, alumnos etc.) 2) Definición de características que tendrá la encuesta: -

Según las preguntas que se hagan puede ser estructurada / semiestructurada / no estructurada

Según como se aborda a los encuestados puede ser administrada o autoadministrada.

3) Elaboración de preguntas correspondientes a cada actividad / resultado / indicador (siguiendo el orden de la matriz)

4) Reordenamiento de las preguntas, armando bloques temáticos y elaborando un orden lógico que se semeje al proceso de una conversación. 5) Lenguaje claro y accesible 6) Economía de preguntas. 7) Introducción que explique el objetivo, la duración y dinámica de la encuesta. 8) Diseño de la muestra. - Grupo focal: También llamado “grupo de discusión”, tiene por objeto encontrar el sentido de la acción del grupo, las diferencias o matices de opinión, percepción, valoración e intereses entre sus integrantes como así también las relaciones entre ellos y sus posiciones relativas. - Taller: Esta técnica es útil cuando es necesario profundizar en el estudio de causas, relaciones con el contexto y análisis de alternativas. El taller es una

actividad de indagación en sí misma, para lo cual se brinda a sus participantes elementos de metodología que son usados en un análisis concreto. - Observación: La observación se puede realizar antes de la aplicación de otras técnicas, después o concomitantemente. Constituye un recurso que debe ser diferenciado de las otras fuentes de información, tanto secundarias como primarias. En este sentido, es menester señalar que, más allá del nivel de estructuración con que se organice la observación, ésta debe ser siempre sistemática, en el sentido de establecer pautas orientadoras. Instrumentos: herramientas de trabajo que dependen de la técnica a utilizar y que se elaboran ad hoc para cada investigación evaluativa. Se trata de herramientas de trabajo que dependen de la técnica a utilizar, de las preguntas clave de la evaluación — y consecuentemente, de las dimensiones / variables y los respectivos indicadores que surgen de aquéllas— y de la realidad sobre la que se opera. Con la recolección de información están relacionadas las guías de observación, los textos de las encuestas (con sus respectivas preguntas e instructivos para llenarlas o guiarlas), las guías de análisis documental, las pautas para dirigir grupos de discusión o para llevar a cabo las entrevistas, etc. En otro grupo de instrumentos se ubican aquéllos relacionados con el procesamiento de los datos y que son útiles para “volcar” ordenadamente la información, tales como matrices, tablas, cuadros, etc. Se señalan algunos cuidados a considerar en el proceso de diseño de los instrumentos que responden a problemas encontrados en la práctica de la evaluación: -

Asegurar la coherencia entre las dimensiones de evaluación, las variables e indicadores y el contenido de los instrumentos que se elaboren. Es importante asegurarse, en concreto, que todos los indicadores estén representados en uno o más instrumentos. Aún más, en ciertos indicadores de relevancia, puede resultar útil recoger la información a partir de más de un instrumento y a través de la utilización de diferentes técnicas para contrastar la información que puede resultar en uno y otro caso.

Probar con anticipación los instrumentos que se van a utilizar y, a partir de ellos realizar los reajustes pertinentes. Esta prueba supone controlar tanto la redacción de las consignas (en el caso de instrumentos cerrados) o la constatación sobre la pertinencia de las categorías que organizan una guía

(por

ejemplo,

para

observación

para

una

entrevista

semiestructurada) como los tiempos previstos en cada caso para el relevamiento de la información. -

Cuidar el encuadre: en el caso específico de la autoevaluación de proyectos sociales, ésta requiere un cambio de rol y la construcción de una distancia óptima, que es preciso no perder de vista.

Es menester destacar que, aún en el caso de los abordajes más abiertos, es también necesario elaborar una guía que se referencie en el marco conceptual, para no perder de vista en todo momento los propósitos que orientan la indagación.

Matriz de evaluación Para la construcción de la matriz de evaluación, se sugiere trabajar con un esquema que parta de las concepciones más abstractas y se acerque gradualmente a las instancias más concretas. Es decir, el circuito que se propone queda esquematizado de la siguiente manera:

¿Qué ocurre? Dimensiones

Variables

Indicadores

Preguntas orientadoras

¿Con qué? Unidades de análisis

¿Cómo obtengo la información? Fuentes

Técnicas

Instrumentos

De esta manera la matriz debería poder contemplar la siguiente información:

Dimensiones Variables Indicadores

Preguntas

Unidades Técnicas Fuentes Instrumentos de orientadoras análisis

Luego de ordenar las dimensiones, sería oportuno avanzar sobre el proceso de operacionalización y definir con mayor precisión el pasaje de dimensiones a variables y luego a la construcción de indicadores, así como las preguntas que orientarán todo el proceso de evaluación. Estas preguntas no son las que se efectuarán a las unidades de recolección de la información, sino que servirán de guía a la evaluación. Deberán entonces identificarse las unidades de análisis sobre las que se predicarán los resultados y las fuentes de donde se obtendrá la información. Luego deberán definirse cuáles son los instrumentos que permitirán obtener la información. La siguiente etapa corresponderá a la elaboración de los instrumentos de recolección de la información. Para ello previamente se ha debido someter a la matriz a un procedimiento de compactación. Muchas veces sobre una misma fuente o técnica se reiteran los indicadores, también puede hacerse la misma pregunta reiteradas veces a distintas fuentes, o puede suceder que a una misma unidad de recolección de la información se le hagan preguntas que son de distintos indicadores. Es por ello que es necesario revertir la matriz, empezar a trabajar en el sentido inverso: instrumento, fuente, unidad de análisis. Así, aparecen todas las preguntas o todos los indicadores y se puede definir cuál es el instrumento que hay que construir para esta técnica, cuál va hacer la fuente de información, cuál la unidad de análisis a abordar, etc.

Es decir, deberán identificarse todas las veces que se ha hecho mención al mismo tipo de instrumento para recolectar información de diferentes tipos de unidades de análisis e indicadores, para construir y aplicar una misma herramienta que permita obtener todos los datos buscados. Toda vez que se haga referencia a encuesta, por ejemplo, deberá tabularse, de modo que cuando esa encuesta sea elaborada recoja todos los indicadores a los cuáles se hizo referencia y recoja información de todas las unidades de análisis a las cuáles remite. En síntesis, el esquema a seguir sería el siguiente:

A través de un Instrumento

Obtengo información provista por una Unidad de recolección

Sobre diferentes aspectos de la realidad Dimensiones Variables Indicadores

Relacionados con diferentes Unidades de análisis

5.3. Recolección de información y procesamiento El tercer paso del proceso sería la recolección de información, seguida del procesamiento de la misma. Recoger información significa obtener datos de la realidad a través de las fuentes ya establecidas en el diseño, por medio de las técnicas elegidas, utilizando los instrumentos elaborados de modo especial para este menester.

Es decir, a través de

las fuentes, técnicas e instrumentos se

obtiene información sobre diferentes aspectos de la realidad (dimensiones, variables e indicadores) con el fin de vincularlos con las hipótesis y el marco teórico referencial.

A su vez, procesar información significa ordenar y “volcar” la información obtenida en cada una de las variables que se han construido para la evaluación. De este modo, se construirán “carpetas”, tanto virtuales como de material impreso, en un número equivalente a la cantidad de variables construidas, para “volcar” la información recogida de distintas fuentes y a través de distintas técnicas.

Programación de actividades El proceso de recolección de información, su posterior procesamiento y el de las siguientes tareas relacionadas con los pasos del análisis y la comunicación, requiere ser organizado a través de un programa.

El diseño de la evaluación

previamente elaborado constituye una parte de este programa que debe ser complementada con los siguientes elementos: -

Secuencia de actividades (relaciones entre las mismas) y cronograma (relación de las actividades con el tiempo de realización). En ambos casos señalando los productos parciales y finales.

Organigrama

(asignación

responsabilidades

por

funciones

y/o

actividades). -

Matriz de recursos. Se trata de un cuadro de doble entrada, donde una señala

los

tipos

recursos

(materiales,

humanos,

financieros,

tecnológicos) y otra los actores (instituciones, organizaciones, e incluso personas) que proveerán estos recursos. -

Presupuesto (distinguiendo también tipos de recursos, ítems, unidad, costo unitario y costo final).

Calendario de erogaciones (desembolsos según ítems, por períodos de tiempo establecidos –semanas, meses, trimestres, etc-).

Vías de comunicación con los proveedores de información.

Reclutamiento, selección y capacitación del personal que hará el trabajo de campo.

Dinámica de funcionamiento (trabajos individuales, grupales y reuniones conjuntas; frecuencia; toma de decisiones).

Selección y entrenamiento del equipo Antes de iniciar el trabajo de campo deberá realizarse la selección y entrenamiento del equipo que realizará la salida en búsqueda de la información. Es importante identificar el perfil que se desea para esta tarea, y luego realizar la búsqueda respetando esas características. Durante el proceso de reclutamiento es necesario aclarar, a quienes se les está ofreciendo esta tarea, cuanto tiempo durará el trabajo de campo, cuáles serán las exigencias del equipo y cuáles serán los principales inconvenientes que pueden encontrar durante la recolección. Habiéndose conformado el equipo de campo, deberá iniciarse la etapa de capacitación del mismo. Se deberá informar sobre los objetivos del proyecto y sobre los responsables. Luego deberá realizarse un entrenamiento detallado sobre la aplicación de los instrumentos de recolección de la información con los cuales trabajarán. Tendrán que leerse detenidamente cada una de las preguntas, aún aquellas que parecen sencillas, respetando el orden sugerido por el instrumento, y explicarse qué se busca con cada una de ellas, cuál es el propósito de que sean formuladas de esa manera y en ese momento. El objetivo de esta etapa es que todos los miembros del equipo de campo conozcan y entiendan a la perfección el instrumento a aplicar, de modo que lo apliquen todos de la misma manera (para que el estímulo sea el mismo), y no que existan tantos criterios de aplicación como miembros tenga el equipo de campo. Durante la capacitación se deberá informar al equipo de campo sobre la identidad que deberá adoptar cada uno de sus miembros en su presentación ante las unidades de análisis y/o recolección, recordar las dificultades con las que puede encontrarse en le trabajo de campo, los tiempos de duración del mismo y definir claramente quiénes serán sus unidades de análisis y recolección. Por último, es importante desarrollar un instructivo por escrito para entregar al equipo de campo con las principales apreciaciones y disposiciones para realizar la recolección de los datos.

Recolección de información y manejo de instrumentos Realizar el trabajo de campo implica ir en búsqueda de la información. Es importante que todos los miembros del equipo de campo que apliquen el mismo instrumento a diferentes unidades de análisis realicen el trabajo de campo durante el mismo período de tiempo. De esta manera se busca garantizar que la recolección de la información no sea afectada por variables externas que puedan estar relacionadas con acontecimientos temporales. Por otra parte, es importante que cuando el equipo de campo esté realizando sus tareas de recolección, pueda contactarse con miembros del equipo evaluador en caso que le surgiera alguna duda o inconveniente. También es importante que si el trabajo de campo fue diseñado con una amplia duración en el tiempo, existan entregas intermedias del material recogido. De esta manera, a través de la edición de ese material, se puede sugerir al equipo de campo que realice ciertas modificaciones en las próximas salidas a campo, que enfatice

ciertos

aspectos,

que

continúen

línea

que

venía

desarrollándose. Estas entregas intermedias, además, aceleran los tiempos de procesamiento, puesto que pueden realizarse cargas parciales aún no habiendo finalizado todo el trabajo de campo. Además es necesario que cada uno de los instrumentos aplicados pueda ser identificado con la persona que lo aplicó. De esta manera, cuando, durante las etapas de edición y codificación, surgieran dudas, pueda contactarse fácilmente a la persona y evacuar las dudas. Se sugiere la posibilidad de aplicar una supervisión al trabajo de campo, si el equipo evaluador lo considerase necesario. La utilidad de este proceso es asegurarse la confiabilidad del proceso de recolección de información y la verificación de una muestra representativa de los datos recogidos. Al finalizar el trabajo de campo, e incluso en la última etapa de éste, se podrá avanzar sobre las tareas de volcado de los datos y su codificación. Una vez que se hayan incluido todos los datos en la matriz de datos o en el mecanismo de sistematización que el equipo evaluador haya seleccionado, se podrá avanzar sobre el procesamiento de los mismos, para finalizar con el análisis y redacción del informe de campo.

Procesamiento de la información Una vez que se ha recogido la información se procede al volcado en carpetas físicas y/o virtuales ordenadas por variables. Cada carpeta deberá contener la información de las distintas fuentes correspondientes que figuran en la matriz. Cuando se trate de encuestas y entrevistas estructuradas, se elaborarán cuadros de salida. A su vez, las carpetas de variables deberán agruparse por dimensiones. De este modo se transita el camino inverso al de la recolección de información. En aquel caso se va de las variables y unidades de análisis a las fuentes / técnicas.

la información correspondiente a las variables se busca a través de

varias fuentes técnicas, como se diagrama a continuación.

Fuente técnica 1 Variable 1 Fuente técnica 2

Fuente técnica 3 Fuente técnica 1 Variable 2 Fuente técnica 3 Fuente técnica 5 Variable Fuente técnica 2 El camino inverso es el que va de las fuentes / técnicas a las variables, indicadores y unidades de análisis. Las variables son las unidades más pertinentes en este análisis. Es así que en esta etapa se organiza la información que se obtiene de las fuentes técnicas según las variables, agrupando toda referencia a la variable en un mismo lugar físico y electrónico. También existe información proveniente de las fuentes que no corresponde a ninguna variable. Esta información debe ser agrupada por separado, ya que es información “extra” o “residual” pero puede llegar a ser muy relevante a la evaluación.

Indicador, variable, unidad de análisis Fuente técnica 1 Indicador, variable, unidad de análisis Indicador, variable, unidad de análisis Indicador, variable, unidad de análisis

Posteriormente hay que Indagar qué insuficiencias pudo haber habido en el diseño de los instrumentos (las cuales obligarían a relativizar ciertos resultados arrojados por la información recogida) y qué problemas pudo haber habido en relación con la recolección de información (resistencia a brindar información, ausencia de actores clave, otros problemas que impidieron obtención de información conforme a las expectativas iniciales) Para finalizar, se construye la estructura para el análisis de la información del siguiente modo: - En primer lugar, se elaboran los cuadros de salida. - Luego se elaboran hipótesis provisorias a)Por variables b)Por dimensiones c)Integrales

5.4 Análisis de la información El análisis de la información sigue al procesamiento, como producto del cual se cuenta con tantas carpetas como variables de evaluación se han construido. Siguiendo la estructura para el análisis propuesta en el paso anterior, en primer lugar hay que hacer un análisis variable por variable, siguiendo los indicadores que permiten interpretarlas y sacando conclusiones provisorias. Posteriormente se relacionan las variables entre sí, para hacer un análisis por dimensiones. Finalmente se relacionan las dimensiones entre sí para hacer un análisis global

de todo el programa, siguiendo (corroborando o refuntando y, por lo tanto, rehaciendo) las hipótesis generales de la evaluación. Al hacer el análisis de la información se debe volver a los propósitos iniciales de la evaluación, respondiéndose a las preguntas que dieron lugar a las hipótesis de la investigación. En este sentido es conveniente seguir los siguientes pasos: -

Repasar el marco conceptual y corroborar las hipótesis de intervención

Repasar las preguntas clave y corroborar o modificar las hipótesis de la evaluación, en el caso de que las hubiera.

Indagar nuevamente qué insuficiencias pudo haber habido en el diseño de los instrumentos (las cuales obligarían a relativizar ciertos resultados arrojados por la información recogida)

Indagar qué problemas pudo haber habido en relación con la recolección de información (resistencia a brindar información, ausencia de actores clave, otros problemas que impidieron obtención de información conforme a las expectativas iniciales) El análisis de información está signado por la tensión entre dos polos: 1) la rigurosidad técnica (respeto de los procedimientos establecidos o construcción de nuevos instrumentos); 2) amplia participación a los distintos involucrados. Es un trabajo iterativo donde el equipo operativo interpreta, ordena, sintetiza y devuelve, para que los involucrados hagan sus aportes y los retornen nuevamente al grupo. En general el análisis de los datos obtenidos tras una evaluación culminan con algún tipo de recomendación o sugerencia, de modo de reafirmar el carácter de aprendizaje que la evaluación implica. Estas recomendaciones pueden versar en trono a la modificación de algún aspecto, a la permanencia, a la posibilidad de replicabilidad o a las particularidades del proyecto.

5.5. Comunicación y diseminación Finalmente el último paso sería la comunicación de la evaluación y la diseminación de los resultados, con el objeto de que quienes de manera inmediata puedan beneficiarse de esto tengan una adecuada apropiación del conocimiento. Es necesario aclarar que hacer un informe de evaluación, lo cual aparece como un proceso muy vulgar y burocrático, es todo un arte, porque significa hacer un informe atractivo, interesante, que convoque,

que suscite

entusiasmo y opinión, una tarea extra diferente al análisis de la información. Aquí es donde se pone en juego la “capacidad de argumentar”. Si en el diseño de la evaluación y en la recolección y análisis de la información se ponen en juego los requisitos de validez, pertinencia y relevancia de la evaluación, en la comunicación se pone a prueba la utilidad y la oportunidad. Para que la evaluación sea útil no basta con que los resultados y las recomendaciones estén bien argumentadas, sino que también es necesario trabajar sobre la audiencia para demostrar la conveniencia de hacer uso de ese aprendizaje. En cuanto a la diseminación, es una condición para que otros que estén llevando a cabo experiencias parecidas o estén interesados en seguir caminos similares puedan apropiarse del conocimiento producido. experiencias

mecánicamente,

sino

No se trata de replicar

transferir

capacidades

para

transformación, especialmente la de aprender a innovar. De allí la importancia de acercar los resultados de las evaluaciones a congresos, seminarios, ámbitos académicos, medios de comunicación, ámbitos de decisión política, agencias de cooperación,

sindicatos,

fundaciones

empresariales,

organizaciones

gubernamentales, redes, etc. Entre las recomendaciones de las evaluaciones figuran aquéllas que tienen que ver con el programa mismo (continuar, suspender, modificar, ampliar el respaldo, generar mayor participación de los involucrados, etc.), con decisiones de política, con necesidades de llevar a cabo nuevas experiencias o de profundizar el conocimiento a través de ciertas líneas de investigación. Se agregan algunas sugerencias para organizar el proceso de comunicación: -

El informe final debe estar en relación con los objetivos planteados la evaluación y responder a las preguntas que se hayan construido.

Se debe prestar atención a las distintas audiencias: el proceso de transferencia supone una preparación del informe y una adaptación en función de cada una de ellas.

También deben ser considerados los interesados potenciales: aquellos que pueden tener inquietudes de emprender acciones similares a las de los proyectos. En este sentido, es menester definir qué acciones se pueden o no replicar.

Programar la devolución y transferencia de conocimientos a través de reuniones con los equipos de trabajo, con los distintos grupos de involucrados y con aquéllos a quienes se les solicitó información.

Resulta conveniente diseñar una estrategia para la diseminación que incluya

eventos

divulgación

(seminarios,

conferencias,

etc.),

publicaciones, redes de intercambio de información, entre otras. Finalmente, se ofrecen algunas recomendaciones para la elaboración de informes de evaluación: -

Antes de entregar los resultados a los destinatarios hay que someter a discusión las conclusiones que se han formulado.

En la elaboración del informe final se sugiere: o

Utilizar lenguaje sencillo y concreto.

Centrarse en los resultados y recomendaciones fundamentales.

Presentar observaciones concretas y recomendaciones útiles para ayudar a la toma de decisiones.

Cuando el informe está destinado a responsables políticos, conviene iniciarlo por las conclusiones y recomendaciones, seguido de los resultados

propuesta

debe

ser

práctica,

fácilmente

utilizable,

con

correcciones o modificaciones realizables (no se trata de proponer lo óptimo sino lo posible). o

Datos necesarios: no hay que confundir a la audiencia con datos interesantes pero no necesariamente vitales.

o -

Utilizar recursos gráficos y visuales

Si se trata de informes escritos:

Comenzar con la información más importante

Resaltar los puntos más importantes

Informe legible

Si se trata de presentaciones orales: o

Exposición interesante y variada

Estilo natural, fluido, confiado y cómodo.

Ayudas visuales grandes y simples.

Involucrar a la audiencia en la exposición.

6. CONCLUSIONES

Como se habrá podido reflexionar a lo largo de la lectura de este documento, la evaluación constituye una práctica de aprendizaje sobre la realidad del medio social y educativo sobre el que se actúa, sobre el área específica de intervención, sobre la propia organización (estatal, de la sociedad civil o privada) que impulsa o participa en el diseño e implementación de programas, y sobre los actores involucrados, directa o indirectamente. Este aprendizaje que se da “entre todos” constituye una fuente de reconocimiento facilitadora del encuentro aunque también es un medio para explicitar diferencias y, si resulta posible, saldarlas. La evaluación siempre constituye un momento reflexivo de la acción, en el que entran a jugar las comparaciones entre lo buscado o deseado — es decir, lo normativo—

y lo que se ha realizado, poniendo a prueba de este modo la

estrategia implementada y los pasos operativos. La evaluación es, a la vez que ordenador de la intervención, instancia de apertura y de reconexión con el futuro. Este ejercicio de combinación entre análisis y síntesis contribuye a desarrollar valiosas capacidades en los equipos de los proyectos. La práctica de la evaluación ayuda a tomar mayor conciencia de las limitaciones, obligando a identificar desde el comienzo las amenazas y oportunidades que el medio depara como así también las propias fortalezas y debilidades de los actores involucrados en la gestión. Del mismo modo — la cara opuesta de este fenómeno— evaluar contribuye a desarrollar la capacidad de búsqueda de nuevos aliados y fuentes de recursos para compensar las limitaciones de las que se toma

conciencia. Adquirir conocimientos a través de la evaluación implica — como paso previo— aprender a sistematizar experiencias y — como paso posterior—

a comunicar

adecuadamente, prestando atención a las inquietudes y necesidades de las distintas audiencias interesadas o que se podrían interesar por los resultados de la evaluación. Construir relatos con sentidos y significación adecuados a las audiencias reales o potenciales es una capacidad que sólo puede desarrollarse sobre la práctica. A la vez que se ha aprendido sobre la problemática, los desafíos y la gestión de los propios proyectos, se ha avanzado también sobre la importancia de la evaluación, su conveniencia y las técnicas para llevarlas a cabo. Aunque parezca de perogrullo decirlo, si la evaluación es un aprendizaje, es necesario “aprender a efectuar este aprendizaje”. Es menester aprender la forma de llevar a cabo estos procesos, tarea para la cual no existen recetas sino más bien criterios y herramientas. No hay matrices, mapas, cuestionarios, listados, indicadores, etc. que puedan ser copiados o extrapolados de una realidad a otra. Cada evaluación debe ser creada, cada negociación debe ser experimentada y cada alianza debe ser construida en función de necesidades específicas. Por otra parte, en tanto instrumento de la gestión, la evaluación

no debería

obstaculizar procesos sino más bien facilitarlos. Por eso es de suma importancia un proceso y un diseño consensuado de alta participación, que permita a todos apropiarse de sus frutos y poder colaborar sin menoscabo de las tareas habituales que tienen a su cargo en los programas. Por último, la evaluación es una actividad que requiere pasión. En primer lugar por las actividades que los programas desarrollan, por los beneficios que se proponen brindar a la población, y en segundo lugar por la verdad, por el esclarecimiento de situaciones que requieren ser iluminadas.

BIBLIOGRAFIA SUGERIDA PARA SU LECTURA BALLART, XAVIER (1992), ¿Cómo evaluar programas y servicios públicos? Aproximación sistemática y estudios de caso, Ministerio para las Administraciones Públicas (España), Madrid. Cap. IV y V FERNÁNDEZ BALLESTEROS, ROCÍO (edit.) (1996), Evaluación de programas. Una guía práctica en ámbitos sociales, educativos y de salud, Síntesis, Madrid. Cap. 1,3 y 4. NEIROTTI, NERIO y POGGI, MARGARITA (1999) Evaluación de proyectos de desarrollo educativo local pp. 15-56 y 565-578 NIREMBERG, OLGA, BRAWERMAN, JOSETTE y RUIZ, VIOLETA (2000) Evaluar para la transformación. Innovaciones en la evaluación de programas y proyectos sociales, Paidós, Buenos Aires cap. 5 y 6 SIEMPRO-UNESCO (1999), Gestión integral de programas sociales orientada a resultados. Manual metodológico para la planificación y evaluación de programas sociales, FCE, Buenos Aires. 51-117

SITIOS WEB SUGERIDOS PARA CONSULTAR SOBRE EVALUACIÓ N

UNDP Evaluation Office

PREVAL

World Bank Operations Evaluation Department (OED)

Virtual Evaluation Library

International & Cross-Cultural Evaluation Topical Interest Group

The American Evaluation Association

The Canadian Evaluation Society

The Australasian Evaluation Society

The European Evaluation Society

The UK Evaluation Society

The Brazilian Evaluation Network

French Evaluation Society (Societé Française de l’Évaluation)

German Evaluation Society

International Development Evaluation Association (IDEAS)

UN Evaluation Forum

UNESCO Bureau of Programming and Evaluation

UNICEF

International Association for the Evaluation of Educational Achievement

United Nations Inter Agency Working Group on Evaluation

IADB – Inter-American Development Bank Office of Evaluation and Oversight

World Bank Group's Evaluation Monitoring and Quality Enhancement

IDRC – International Development Research Centre

INTEVAL – International Evaluation Research Group

MEASURE Evaluation

Resources for Methods in Evaluation and Social Research