Enfoques y prácticas en la evaluación de programas by PUJaveriana

colección gerencia y políticas de salud

Su finalidad es contribuir a la reflexión, al análisis y al debate de los temas y problemas más urgentes sobre la salud y el desarrollo de los sistemas de salud.

Otros títulos de esta colección

Derechos de propiedad del seguro obligatorio de salud en Colombia Jaime Ramírez Moreno

Igualdad y Desigualdad: un enfoque crítico de la justicia social en salud

Las publicaciones sobre evaluación, escritas en español, son escasas y poco fundamentadas. Por esto, quisiera felicitar a los profesores Válery Ridde y Christian Dagenais, directores de este trabajo, por el esfuerzo de convocar, organizar y disponer para la consulta diversas perspectivas sobre la teoría y práctica de la evaluación. A los estudiantes, docentes, investigadores y profesionales interesados, los invito a realizar una rigurosa lectura de esta obra que los motivará a fortalecer la evaluación como instrumento de política social.

Román Vega Romero

Medicamentos esenciales y propiedad intelectual. Análisis para países en desarrollo Luis Edgar Parra Salas

Autores

En esta traducción de Approches et pratiques en évaluation de programmes el lector encontrará herramientas importantes para la reflexión y práctica de la evaluación de efectividad, así como para hacer frente a desafíos teóricos y metodológicos propios de la investigacion evaluativa en intervenciones de naturaleza social. Esta obra condensa el esfuerzo de diversos autores, los cuales comparten los resultados de sus experiencias en diversos países, con el fin de cerrar la brecha entre teoría, práctica y toma de decisiones.

Ligia de Salazar, Ph.D Directora Fundesalud Profesora titular (jubilada) Escuela de Salud Pública Universidad del Valle Colombia

Facultad de Ciencias Económicas y Administrativas

Enfoques y prácticas en la evaluación de programas Valéry Ridde Christian Dagenais compiladores

Enfoques y prácticas en la evaluación de programas

La Colección Gerencia y Políticas de Salud es una publicación de los programas del Posgrado en Administración de Salud y Seguridad Social de la Facultad de Ciencias Económicas y Administrativas de la Pontificia Universidad Javeriana.

Valéry Ridde Christian Dagenais Aristide Bado

Kadidiatou Kadio

Michael Bamberger

Seni Kouanda

Murielle Bauchet

Francine LaBossière

Diane Berthelette

Miri Levin-Rozalis

Pierre Blaise

Isabelle Marcoux

François Bowen

Pierre McDuff

François Chagnon

Frédéric Nault-Brière

Nadia Cunden

Bernard Perret

Pierre-Marc Daigneault

Pierre Pluye

Luc Desnoyers

Nancy L. Porteous

Didier Dupont

Michael Quinn Patton

Julie Dutil

Emilie Robert

Françoise Fortin

Patricia Rogers

Pierre Fournier

Christine Rothmayr

Marie Gervais

Jim Rugh

Anne Guichard

Caroline Tourigny

Robert R. Haccoun

Josefien Van Olmen

Janie Houle

Sophie Witter

Françoise Jabot

Maurice Yameogo

Steve Jacob

Robert K. Yin

Enfoques y prรกcticas en la evaluaciรณn de programas

Enfoques y prácticas en la evaluación de programas Bajo la dirección de Valéry Ridde y Christian Dagenais Traducción de la segunda edición revisada y ampliada

Facultad de Ciencias Económicas y Administrativas

Colección Gerencia y Políticas de Salud Pontificia Universidad Javeriana

© Pontificia Universidad Javeriana © Valéry Ridde Christian Dagenais Aristide Bado, Michael Bamberger, Murielle Bauchet, Diane Berthelette, Pierre Blaise, François Bowen, François Chagnon, Nadia Cunden, PierreMarc Daigneault, Luc Desnoyers, Didier Dupont, Julie Dutil, Françoise Fortin, Pierre Fournier, Marie Gervais, Anne Guichard, Robert R. Haccoun, Janie Houle, Françoise Jabot, Steve Jacob, Kadidiatou Kadio, Seni Kouanda, Francine LaBossière, Miri Levin-Rozalis, Isabelle Marcoux, Pierre McDuff, Frédéric Nault-Brière, Bernard Perret, Pierre Pluye, Nancy L. Porteous, Michael Quinn Patton, Emilie Robert, Patricia Rogers, Christine Rothmayr, Jim Rugh, Caroline Tourigny, Josefien Van Olmen, Sophie Witter, Maurice Yameogo, Robert K. Yin Primera edición en español: Bogotá, D. C., diciembre del 2015 ISBN: 978-958-716-883-9 Número de ejemplares: 300 Impreso y hecho en Colombia Printed and made in Colombia

Editora de la colección María Inés Jara Navarro Compiladores Valéry Ridde Christian Dagenais Traducción Pedro Lama

Corrección de estilo César Mackenzie Diagramación Kilka Diseño Gráfico

Preprensa e impresión Javegraf MIEMBRO DE LA

ASOCIACIÓN DE UNIVERSIDADES CONFIADAS A LA COMPAÑIA DE JESÚS EN AMÉRICA LATINA

RED DE EDITORIALES UNIVERSITARIAS DE AUSJAL www.ausjal.org

Editorial Pontificia Universidad Javeriana Carrera 7a núm. 37-25, oficina 13-01. Edificio Lutaima Teléfono: 320 8320 ext. 4752 editorialpuj@javeriana.edu.co www.javeriana.edu.co/editorial Bogotá - Colombia

Enfoques y prácticas en la evaluación de programas/bajo la dirección de Valéry Ridde y Christian Dagenais. --Primera edición. --Bogotá: Editorial Pontificia Universidad Javeriana, 2015. --(Colección gerencia y políticas de salud). 411 páginas; 24 cm Incluye referencias bibliográficas (página 411) y glosario. ISBN: 978-958-716-883-9 1. ADMINISTRACIÓN DE LOS SERVICIOS DE SALUD. 2. PLANIFICACIÓN DE LA SALUD. 3. POLÍTICAS PÚBLICAS DE SALUD. 4. EVALUACIÓN DE PROGRAMAS. I. Ridde, Valéry, directora. II. Dagenais, Christian, director. III. Pontificia Universidad Javeriana. Facultad de Ciencias Económicas y Administrativas. CDD 362.11068 ed. 21 Catalogación en la publicación - Pontificia Universidad Javeriana. Biblioteca Alfonso Borrero Cabal, S. J. dff.

Diciembre 2 / 2015

Tabla de contenido Siglas y abreviaturas

Presentación 11 Primera parte. Conceptos y enfoques 15 1. Introducción general a la evaluación de programas

Valéry Ridde y Christian Dagenais

2. Investigación y evaluación de programas

Miri Levin-Rozalis

3. La construcción de un juicio

Bernard Perret

4. El análisis de las políticas públicas

Steve Jacob y Christine Rothmayr

5. La construcción del modelo lógico de un programa

Nancy L. Porteous

6. Atribución y causalidad de los efectos

103

Robert R. Haccoun y Pierre McDuff

7. Los métodos mixtos

119

Pierre Pluye

8. La evaluación centrada en la utilización

137

Michael Quinn Patton y Francine LaBossière

9. Una estrategia para hacer frente a las limitaciones inherentes a la práctica

153

Michael Bamberger y Jim Rugh

10. Teoría y prácticas de los estudios de caso en evaluación de programas

169

Robert K. Yin y Valéry Ridde

11. Una introducción a la evaluación económica de programas Sophie Witter y Nadia Cunden

189

12. El fortalecimiento de las capacidades en el campo de la evaluación

203

Marie Gervais y Patricia Rogers

13. Conceptualizar y medir la participación en la evaluación

221

Pierre-Marc Daigneault y Steve Jacob

14. Teoría y práctica del enfoque Realist para la evaluación de programas

241

Valéry Ridde, Émilie Robert, Anne Guichard, Pierre Blais y Josefien Van Olmen

Segunda parte. Prácticas evaluativas 261 15. Una evaluación participativa con fortalecimiento de la capacidad de los actores implicados

263

Valéry Ridde

16. Una evaluación de las necesidades de capacitación

279

François Chagnon, Janie Houle e Isabelle Marcoux

17. Una evaluación de los procesos de un programa de protección de la juventud

291

Christian Dagenais y Didier Dupont

18. Una evaluación de los procesos de un programa de remisión-evacuación en Malí

307

Pierre Fournier, Caroline Tourigny y Francine LaBossière

19. Una evaluación de la eficacia de un programa de capacitación

333

Diane Berthelette y Luc Desnoyers

20. Una evaluación de los efectos de un programa de reducción de los conflictos en los niños

351

Françoise Fortin y François Bowen

21. Una evaluación de implantación en Burkina Faso con un método mixto

369

Valéry Ridde, Seni Kouanda, Maurice Yameogo, Kadidiatou Kadio y Aristide Bado

22. Una evaluación de la implantación y eficacia de un programa destinado a los niños y sus familias

389

Christian Dagenais, Frédéric Nault-Brière, Didier Dupont y Julie Dutil

Glosario 405 Françoise Jabot y Murielle Bauchet

Siglas y abreviaturas

ASACO: ATTRueQ:

Asociación de Salud Comunitaria Asociación de Trabajadores y Trabajadoras Sociales de la Calle de Québec (Association des Travailleurs et Travailleuses de Rue du Québec) CEQ: Central de la Educación de Quebec CIRCM: Centro Internacional de Resolución de Conflictos y de Mediación CJM-IU: Centro para la Juventud de Montreal — Instituto Universitario (Centre Jeunesse de Montreal —Institut Universitaire) CNPC: Centro Nacional de Prevención del Delito de Canadá (Centre National de Prévention du Crime du Canada) CPS: Centro de Prevención del Suicidio CRDI: Centro Internacional de Investigaciones para el Desarrollo (Centre de Recherches pour le Développement International) CRISE: Centro para la Investigación e Intervención en Suicidio y Eutanasia (Centre de Recherche et d’Intervention sur le Suicide et l’Euthanasie) CSCOM: Centro de Salud Comunitario CSRem: Centros de Salud de Remisión DDSES: Dirección de Desarrollo Social y Economía Solidaria DNS: Dirección Nacional de Salud DPJ: Director de la Protección de la Juventud DRS: Dirección Regional de Salud ERPI: Entrevista de resolución de problemas interpersonales GEMMS: Grupo de Estudio sobre la Mediación en el Entorno Escolar (Groupe d’Étude sur la Médiation en Milieu Scolaire) IRI-Acogida: Intervención Rápida e Intensiva vinculada al centro de acogida IRSST: Instituto de Investigación Robert-Sauvé en Seguridad y Salud en el Trabajo (Institut de Recherche Robert-Sauvé en Santé et en Sécurité du Travail) MM: Métodos Mixtos PED: Países en Desarrollo PIJ: Programa de Integración Juvenil

Enfoques y prácticas en la evaluación de programas

QES: CUAL: CUANT: RAJB: RLM: RTS:

SAM: SOU: SRE: SST: TC: UdeM: UNFPA: US:

Cuestionario sobre el Entorno Socioeducativo Métodos Cualitativos Métodos Cuantitativos Recurso Alternativo de Jóvenes de Bellechasse (Ressource Alternative des Jeunes de Bellechasse) Revista de Literatura Mixta (revista de estudios CUAL, CUANT y MM) Recepción-tratamiento de las denuncias (Réception-traitement des signalements) Suicido Acción de Montreal (Suicide Action Montréal) Atención Obstétrica de Urgencia (Soins Obstétricaux d’Urgence) Sistema de Remisión-Evacuación Seguridad y Salud en el Trabajo Trabajadores Sociales de Calle Universidad de Montreal Fondo de las Naciones Unidas para la Población Urgencias Sociales

Presentación Nuestra idea de ofrecer un manual pedagógico de referencia sobre la evaluación de programas en una lengua diferente al inglés, se gestó desde hace mucho tiempo. En 2009, la obra se publicó en lengua francesa y confirmó nuestra intuición respecto a su pertinencia. Se reimprimió menos de un año después de su primera aparición en el mercado y nos llevó a preparar una segunda edición revisada y ampliada con nuevos capítulos. De la misma forma, y considerando posible la pertinencia de un documento en español, hemos realizado esta traducción de la obra para que sea accesible a los lectores hispanoparlantes. Existe aún un número muy reducido de obras con finalidades pedagógicas apropiadas para los estudiantes y los profesionales que participan en cursos de formación en evaluación de programas. Si bien existen en nuestras bibliotecas algunos libros en español y francés consagrados a este ámbito, la mayoría proceden de disciplinas específicas tales como política pública, servicios sociales, administración pública, salud o desarrollo internacional. Los textos cortos son sin duda bastante numerosos, pero dispersos y difíciles de conseguir. A menudo están inmersos en libros que tratan temas más generales o son publicados en revistas no especializadas. De hecho, existe una sola revista científica dedicada a la evaluación, publica artículos en español desde 2013, se trata de la Revista de Evaluación de Programas y Políticas Públicas (disponible en: http://revistas. uned.es/index.php/REPPP). Enfrentados con regularidad a estas lagunas en nuestra educación universitaria y en la formación profesional impartida en Quebec (Canadá), Francia, Haití o África, concebimos el proyecto de publicar la obra inicialmente en francés. Así mismo, considerando posible que se presenten retos similares en América Latina, pensamos en la posibilidad de traducir la presente obra al español y publicarla, como una herramienta útil para la formación sobre evaluación en el ámbito hispanohablante. Su planificación y realización se extendieron por cerca de dos años para la primera edición (2009), el tiempo necesario para encontrar los temas principales y, sobre todo, los autores clave, especialistas dispuestos a plegarse a las exigencias didácticas que habíamos elaborado. Así pues, todos los capítulos de este libro fueron escritos en una forma accesible por pedagogos, profesores universitarios y educadores avezados desde hace muchos años en el ejercicio del

Enfoques y prácticas en la evaluación de programas

intercambio de conocimientos en evaluación de programas, haciendo hincapié en la práctica más que en la teoría. Incluso en el año 2010, firmamos un acuerdo con la editorial de la Universidad de Montreal (Presses de l’Université de Montréal) y con la editorial L’Harmattan Burkina Faso para hacer que la edición africana —vendida únicamente en ese continente— tuviera un costo asequible para su población. Tres años después de la publicación del libro, los numerosos comentarios hechos por lectores y colegas nos impulsaron a producir la segunda edición. En particular, añadimos cuatro nuevos capítulos teóricos, dado que los conocimientos en evaluación evolucionan constantemente y queríamos que los lectores de lengua francesa pudieran tener acceso a los últimos logros en este campo. En la primera edición también faltaron ejemplos relativos al uso de métodos mixtos, a pesar de que estos fueron descritos en la primera parte. Por lo tanto, dos nuevos capítulos llenan este vacío y se unen al capítulo teórico sobre los métodos mixtos, que fue totalmente actualizado. En la primera parte, el lector profundizará su comprensión de ciertos conceptos cuyos contornos se han delineado en la introducción general. El objetivo es demostrar que el campo de la evaluación de programas involucra un número importante de teorías, enfoques y herramientas para responder a las preguntas formuladas por sus promotores. En efecto, la evaluación recurre a diferentes disciplinas, tales como el estudio de las políticas públicas, la epistemología o la estadística. En esta nueva edición, los lectores podrán familiarizarse con la estrategia de estudio de casos, la evaluación económica, los enfoques participativos y el enfoque Realistico. Un desafío clave que enfrenta todo profesor del área de la evaluación está relacionado con el dominio de la gran diversidad de enfoques evaluativos y de los tipos de evaluación. La segunda parte del libro presenta algunos estudios de caso para mostrar claramente cómo se emplean en la práctica los conceptos expuestos. Estos capítulos abarcan varios campos disciplinarios y proponen diversos ejemplos de prácticas evaluativas. Cada estudio sigue un plan similar para lograr que la descripción de casos sea relativamente homogénea. El cuadro 1.1 presentado en la introducción permitirá a un instructor identificar, de acuerdo con los tipos de evaluación, los diferentes estudios de caso correspondientes. Los casos presentados provienen de diversos contextos socioeconómicos, lo que permitirá a quienes lean este libro en Canadá, Mali, Francia, Colombia o Argentina, por ejemplo, conocer realidades diferentes. En esta nueva edición se introducen dos casos que ilustran la utilización de métodos mixtos en Quebec y en Burkina Faso. Reconocemos que debido a que es una traducción de la segunda edición no contamos con ejemplos de experiencias desarrolladas en el contexto

Presentación

latinoamericano. Por lo tanto, esperamos poder integrar la riquísima experiencia de nuestros colegas en Latinoamérica en una futura edición, enriquecida también con los comentarios de nuestros lectores. Queremos agradecer a los autores, que respondieron favorablemente a nuestras peticiones y supieron ponerse al nivel de los estudiantes para compartir sus conocimientos, incluso en la actualización de esta nueva edición. También queremos agradecer al Dr. Mabel Carabali y Camilo Coral. Sin sus esfuerzos, este manual no habría podido salir a la luz.

Valéry Ridde Christian Dagenais

PRIMERA PARTE Conceptos y enfoques

1. Introducción general a la evaluación de programas Valéry Ridde y Christian Dagenais

La evaluación no es un asunto o un tema nuevo. En el Antiguo Testamento se cuenta que en la corte de Nabucodonosor, rey de Babilonia, el jefe de los eunucos hizo una evaluación que calificaremos cuasi experimental (véase los capítulos 6 y 9). Se trataba de estudiar los efectos diferenciados de una dieta en la salud de los niños hebreos de la corte. Pero más allá de la leyenda, hay que reconocer que el campo de la evaluación de programas se ha desarrollado sobre todo durante los últimos treinta años. El origen de la práctica y la investigación en esta materia se sitúa fundamentalmente en el ámbito de la educación. Los educadores se interrogaron sobre la influencia que podían tener sus cursos en los conocimientos adquiridos por sus alumnos. Al cambiar de objeto, pasando de las habilidades y los conocimientos adquiridos por los individuos a los programas que organizaban esa transmisión, el campo de la evaluación se transformó para volverse mucho más interdisciplinario, e incluso transdisciplinario para algunos. Por lo tanto, cuando se trata por primera vez el campo de la evaluación de programas, nos damos cuenta de que hay muchas maneras de concebirlo. Si usted consulta cinco libros de referencia, puede encontrar cinco formas diferentes de definir la evaluación y sus conceptos. Se trata, en efecto, de una disciplina cuyos conceptos y práctica aún no han sido claramente codificados. Por esta razón muchas sociedades nacionales de evaluación aún tratan de establecer estatutos, códigos de conducta, normas de práctica o de competencias esenciales, mientras que otras apenas los han adoptado desde hace poco (véase el capítulo 12). También por esta razón es conveniente establecer una política común de evaluación o incluso el glosario de términos que se utilizarán cuando se desea fortalecer las capacidades y las prácticas evaluativas. La presente introducción se basa en nuestra propia experiencia de la enseñanza, en nuestra práctica de la evaluación en una gran variedad de contextos y en diversas problemáticas. No se trata, de ninguna manera, de sugerir una nomenclatura definitiva o superior a otras. Nuestro objetivo es mucho más modesto, y consiste en presentar a los lectores el campo de la evaluación de programas

Enfoques y prácticas en la evaluación de programas

con el fin de facilitarles la lectura de los distintos capítulos de este libro, o incluso remitirlos a las referencias claves en este campo. Las corrientes de pensamiento: una breve historia de la evaluación

Existen numerosas corrientes de pensamiento en el ámbito de la evaluación, y la forma en que los evaluadores se representan el mundo (su paradigma) determina en gran medida las preguntas que se plantean y las estrategias que emplean para responderlas (Bégin et al., 1999). Nuestros valores, creencias e intereses interfieren, sin duda, en nuestras prácticas profesionales. En el caso que nos ocupa, determinan las opciones teóricas y metodológicas de la evaluación. No es cuestión de examinar en detalle los grandes paradigmas epistemológicos, pero es esencial hablar brevemente al respecto para que el lector, evaluador presente o futuro, pueda interrogarse a su vez sobre sus propias decisiones.1 Para definirlo de una forma sencilla, un paradigma, de acuerdo con la definición clásica de Thomas Kuhn, es un sistema de creencias compartido por la mayoría de individuos que trabajan en el seno de una misma disciplina.2 Este sistema de referencia es un marco que orienta los temas, los métodos (véase el capítulo 7) y la manera de dar sentido a los datos que se recopilan. Siguiendo a Levy, Gendron (2001) plantea que un paradigma está compuesto de cuatro campos interrelacionados. Figura 1.1. Los cuatro campos constitutivos de un paradigma

Epistemología

Metodología

Ontología

Teleología

Fuente: Gendron, 2011 1 Para profundizar en esta reflexión, sugerimos la lectura del excelente manual de introducción a la epistemología de Fourez (2003).

2 Hall (1993) también ha empleado este término en su concepto de paradigma político, sin duda útil para los

evaluadores de las políticas públicas (véase el capítulo 4 y el libro de análisis político recientemente publicado por Paquin et al., 2011).

1. Introducción general a la evaluación de programas

•

El campo epistemológico remite a la visión de mundo del evaluador, a la legitimidad de los análisis que produce y sobre todo a su relación (y su distancia) con los datos que recoge y analiza (subjetividad en contraste con objetividad).

El campo ontológico abarca la naturaleza del mundo vivido y la comprensión que se tiene de la posible manipulación por parte del evaluador de las entidades físicas o mentales. Se trata aquí de la construcción de la realidad (una única realidad en contraste con varias). El campo metodológico reúne las técnicas que emplea el evaluador para comprender el mundo vivido.

El campo teleológico agrupa las cuestiones relacionadas con los fines de la evaluación y con los intereses e intenciones de los evaluadores de un programa.

El paradigma en el que se inscribe el evaluador, determina los métodos utilizados para responder a las preguntas de evaluación planteadas por los responsables de un programa. Algunos evaluadores, llamados positivistas, no pueden creer en la efectividad de un programa a menos que haya sido posible comparar sus efectos, como en un laboratorio, en un grupo de participantes (casos) y un grupo de no participantes (controles), tras determinar de forma aleatoria la pertenencia de esas personas a estos grupos (véase el capítulo 6). Otros evaluadores, más bien constructivistas, por el contrario sostienen que es imposible aislar los efectos de un programa de su entorno, y que es necesario emplear una metodología que permita señalar estas interacciones. Consideran, entonces, que en el caso de los programas sociales es imposible reproducir las condiciones de laboratorio. Sostienen también que todo conocimiento sobre los efectos de un programa es construido en forma conjunta por los actores sociales en cuestión. Estos evaluadores constructivistas asumen plenamente la subjetividad de su juicio, ya que consideran que la objetividad que reivindica el campo de saber positivista es inalcanzable. Los partidarios del enfoque realista de la evaluación (Blaise et al., 2010), al optar por una perspectiva epistemológica intermedia, postulan por su parte que la realidad existe fuera de las construcciones humanas, pero que solo es perceptible a través de nuestros sentidos (véase el capítulo 14). Diferentes corrientes de pensamiento de la evaluación se han desarrollado a lo largo de la historia. Una manera de describir esta historia, de acuerdo con Shaw y sus colegas (2006), es proponer la existencia, a veces concurrente, de cuatro generaciones de evaluación (Guba y Lincoln, 1987). La primera generación es la de la medición, en la que el evaluador es un especialista. La segunda, es más

Enfoques y prácticas en la evaluación de programas

bien de orden descriptivo: el evaluador se centra principalmente en los procesos que permiten la aparición de los efectos observados. En la tercera generación, el reto del evaluador consiste en emitir un juicio sobre los resultados obtenidos en relación con los objetivos iniciales. Finalmente, en la década de 1970 apareció una cuarta generación que pretendía ser mucho más interactiva. Los evaluadores se sirven de la negociación, convirtiéndose en facilitadores entre los organismos implicados. No solo se trata de reconocer el punto de vista y los valores del conjunto de los actores en cuestión, sino también de procurar que ellos sean parte integrante de este proceso. En otras palabras, se trata de evaluaciones pluralistas cuyo enfoque participativo, descrito más abajo, es una de las estrategias con gran potencial (véase el capítulo 13). La evaluación de programas: una definición

En lugar de comenzar con una definición académica, les proponemos una breve estancia bajo el sol de un país de África occidental. En un radiante día de enero, un experto quebequense anima una sesión de capacitación en evaluación de programas en Burkina Faso. Esta sesión es organizada para las parteras y técnicos de una organización no gubernamental (ONG) que implementa un programa de maternidad denominado “de bajo riesgo”. Al comenzar la formación en evaluación de programas, el experto pregunta a las participantes qué palabras asocian con el término “evaluación”. Se menciona el control, la auditoría, la medición, la verificación, entre otros términos. Los canadienses presentes en la sala aluden a la idea de la rendición de cuentas. Este léxico no sorprende al instructor, puesto que aún hoy en día, muchos asocian la evaluación principalmente con funciones de control que asignan calificaciones buenas o malas a un programa… y a los responsables del mismo. Luego, el experto pregunta: “¿a qué temperatura estamos hoy?”. Las funcionarias de la salud consideran que hace algo de frío, los expatriados canadienses que hace calor y el experto quebequense que acaba de llegar estima que hace mucho calor. “¿Cómo han hecho ustedes para estimar la temperatura y decir que hace frío o calor?”. Todos responden de manera diferente a la pregunta del experto: “es invierno”, “miré el termómetro”, “comparé con la temperatura del día anterior”, “hoy estoy sudando mucho más que ayer”, “esta es la temporada fresca”. A continuación, todos los participantes aceptan que eligieron sus prendas de vestir de acuerdo con la temperatura de aquella mañana. Los asistentes a este taller de capacitación tomaron entonces conciencia del hecho de que la evaluación es un acto que permite hacer una valoración (frío, caliente, templado) según un enfoque crítico basado en la recopilación sistemática de datos (temperatura, sudoración,

1. Introducción general a la evaluación de programas

temporada) en relación con múltiples objetos (la temperatura) con el fin de tomar decisiones (cómo vestirse). Algunos autores sostienen que la apreciación valorativa de un programa debe hacerse de acuerdo con un enfoque científico o mediante el uso de métodos científicos. Nosotros preferimos no emplear el término “científico”, ya que en nuestra práctica de la evaluación esta palabra siempre ha tendido a crear cierta distancia con respecto a las partes involucradas en la evaluación. El evaluador es percibido, de manera inmediata, como un “investigador”, con todas las connotaciones que, con razón o sin ella, se asocian a este término. Por otra parte, aludir a la ciencia perpetúa la dificultad que tiene la mayoría de autores para diferenciar la investigación de la evaluación (capítulo 2). A nuestro juicio, la diferencia fundamental entre la investigación y la evaluación es que el objetivo principal de la primera es la producción de conocimiento, mientras que el objetivo de la segunda es proporcionar una información útil sobre el funcionamiento de un programa o la toma de decisión al respecto. Obviamente, las cosas no siempre son tan tajantes: a veces se pueden producir conocimientos con la ayuda de una evaluación, o tomar decisiones como consecuencia de los trabajos de investigación. Sin embargo, la decisión de no definirla explícitamente como una ciencia no significa que la evaluación sea un enfoque frívolo en el cual la apreciación que se hace del objeto programa no es válida. Al contrario, el rigor y la sistematización son sus dos valores emblemáticos. La analogía con el clima es simple, pero lo suficientemente clara para definir el acto de evaluación y garantizar que las personas con las que vamos a trabajar no la perciban como un proceso de control (aunque algunas veces pueda ser así). Evaluar la temperatura es un poco más sencillo que evaluar un programa, sobre todo cuando este es tan complejo como la mayoría de intervenciones sociales (véase el capítulo 14). Pero ¿cómo puede definirse un programa? Aquí también confluyen una multitud de definiciones. Destacamos la de Plante (1994) que, aunque un poco larga, tiene el mérito de definir con claridad los límites de lo que constituye un programa: [Un programa es un] todo coherente, organizado y estructurado con objetivos, medios y personas que lo dirigen. Se justifica tomando como base las necesidades definidas como una carencia o una falta que afecta a los individuos, una comunidad o una sociedad. Está bajo el control de una o más personas responsables de la calidad de su formulación y de su funcionamiento. Se crea para transformar las cosas o el estado de una cosa.

La palabra clave de esta definición es transformación. En efecto, no sirve de nada desarrollar un programa de maternidad de bajo riesgo si este solo tiene como objetivo construir maternidades, capacitar parteras o redactar protocolos

Enfoques y prácticas en la evaluación de programas

terapéuticos. Lo que se pretende, ante todo, es la obtención a corto plazo de una mejor calidad de la atención a las madres y sus hijos recién nacidos y, a más largo plazo, la reducción de la mortalidad materna e infantil (véase el capítulo 18). También es necesario entender que todo programa puede producir cambios inesperados de los que los evaluadores también deben dar cuenta (Morell, 2010). Estos efectos podrían haberse previsto o no, ser beneficiosos, neutrales o perjudiciales para los participantes. Aunque las fronteras no siempre son fáciles de trazar, este libro se ocupa de la evaluación de programas, y deja de lado la evaluación de las prácticas profesionales, del conocimiento individual o incluso de las políticas públicas. Más allá de los aspectos conceptuales de estas definiciones sobre qué es un programa, es preciso señalar cómo los actores sociales desempeñan un papel fundamental en su dinámica. Mediante el ejercicio del poder se llevan a cabo o no los programas, que de ninguna manera se implementan por sí mismos (Crozier y Friedberg, 1977; Lemieux, 2002). Por lo tanto, es preciso estar muy atentos a las actuaciones de los actores, las relaciones de poder y las interacciones sociales. Además, varios actores se encuentran involucrados en la definición de un programa y luego en su implementación, así como también en su evaluación. La evaluación, en su calidad de actividad humana, es fuente de tensiones y de relaciones de poder. Por consiguiente, no se debe ver un programa y su evaluación como una actividad mecánica, exclusivamente técnica, de la que solo nos interesan los objetivos y los indicadores. Si bien un programa también puede concebirse intelectualmente como el resultado de un orden negociado entre los actores sociales, en palabras de Ansel Strauss, a efectos de esta introducción, debemos recurrir a subterfugios didácticos para explicar los conceptos teóricos. Así pues, los diferentes términos que sugerimos son fundamentalmente heurísticos, pues explican el tema tratado. Sin embargo, no se trata de negar la complejidad de los programas ni de las interacciones sociales, como diría Edgar Morin. Los partidarios de la evaluación realista, que se analiza en el capítulo 14, perciben el cambio social como un sistema de transformación, un sistema abierto que es producto de una mirada de elementos y de fuerzas imposibles de cuantificar (Pawson, 2006; Ridde y Guichard, 2008; Blaise et al., 2009). Por tanto, se entenderá que la visión del mundo y de la ciencia que tienen los evaluadores —su perspectiva paradigmática— determina su forma de percibir y evaluar un programa.

1. Introducción general a la evaluación de programas

La evaluación no es la etapa final de un programa

La visión de los programas que quiere que estos deban adaptarse, contradice aquella que describe su vida según un ciclo ineluctable que va desde la identificación de las necesidades hasta la evaluación, pasando por las etapas de planificación e implementación. La mayoría de los manuales de gestión de programas ilustran el proceso de los programas mediante un círculo que representa las distintas etapas unidas por flechas. Los fundamentos de esta concepción seguramente se remontan a los “etapistas” de la década de 1950 que estudiaban las políticas públicas. Para ellos, la evaluación es la última etapa del proceso. Otros añaden a veces la sostenibilidad o la capitalización (véase el capítulo 10 para un ejemplo) para cerrar el círculo. Nosotros creemos que el proceso de los programas no es lineal ni cíclico. Según las propuestas teóricas enunciadas por Pierre Pluye y sus colaboradores (2004), un programa debería concebirse como compuesto por una serie de cuatro subprocesos concomitantes e interdependientes: la planificación, la implementación, la evaluación y la sostenibilidad. De tal modo, estos cuatro subprocesos pueden ser representados por los cuatro hilos de una misma cuerda programática. Figura 1.2. Concomitancia e interdependencia de los subprocesos de un programa

Implementación

Sostenibilidad

Planificación Evaluación Adaptado de Pluye et al., 2004.

La planificación permite prever la asignación de los recursos necesarios para alcanzar objetivos concretos mediante la realización de actividades previamente definidas. En cuanto a la evaluación de un programa, al adaptar definiciones más clásicas y formales (Grembowski, 2001; Mathison, 2004; Patton, 1997) de las que hemos mencionado, diremos que se trata de un proceso sistemático de recopilación de datos utilizables para valorar un programa y sus componentes, con el fin de tomar decisiones. La evaluación es generalmente un proceso de mejora de proyectos y de prácticas; en resumidas cuentas, un motor de cambio (Ridde, Pommier y Jabot, 2010). Finalmente, mientras que la implementación de un programa consiste en la movilización de recursos para organizar actividades con el

Enfoques y prácticas en la evaluación de programas

fin de lograr los objetivos, la sostenibilidad se refiere al futuro de los programas; se centra en el proceso que permite la continuación de las actividades y los efectos de los programas. La continuidad es el resultado del proceso de sostenibilidad —resultado que se manifiesta en las rutinas organizativas— y puede evaluarse de manera transversal, en cualquier momento y, puntualmente, dependiendo de los niveles de continuidad. Las acciones favorables a la continuidad deben iniciarse desde la implementación del programa, y no al final de este (Pluye et al., 2005). No vamos a profundizar en esta reflexión sobre la sostenibilidad y la continuidad, sin duda nueva en este campo, pero cuyos pormenores conceptuales e ilustraciones empíricas se presentan en otro lugar (Pluye et al., 2004; Ridde, Pluye y Queuille, 2006). Volvamos a estos cuatro subprocesos concomitantes. Quienes han estado involucrados en programas saben bien que al ponerlo en marcha (implementación), siempre nos preguntamos qué pasa (evaluación). Siempre se revisa lo que se ha previsto hacer (planificación). Sin embargo, esto sigue siendo el eslabón débil de los programas, de la forma de proceder para asegurar el futuro de estos últimos (sostenibilidad). La finalidad de una evaluación

A mediados de la década de 1980, Patton estableció una “sopa de letras de la evaluación” (alphabet soup) en la cual terminó por encontrar cien tipos de evaluación de programas. En épocas más recientes, redujo el número a 58. Stufflebeam (2001) sugiere, a su vez, agrupar 22 tipos de evaluación en cuatro grandes categorías: •

Pseudoevaluaciones: relaciones públicas.

•

Mejora e imputabilidad: orientadas hacia el mérito y el valor.

• •

Cuasievaluaciones: orientadas hacia las preguntas y los métodos. Promoción social: orientado hacia la diferencia en la sociedad.

A pesar de estas diversas distinciones es posible sugerir diferencias según las finalidades de las evaluaciones. Convencionalmente, se considera que las evaluaciones tienen dos objetivos principales: la rendición de cuentas o la mejora de un programa. El primer tipo de objetivos permite a los responsables de un programa la rendición de cuentas desde una perspectiva de imputabilidad. Algunas veces se le denomina evaluación acumulativa, ya que con mucha frecuencia se hace al final de un programa, o ex post. El segundo tipo de objetivos produce información útil para corregir la manera como se realizan las actividades de un programa. También se conoce como evaluación formativa, ya que normalmente se lleva a

1. Introducción general a la evaluación de programas

cabo durante la implementación de un programa. Además de esta gran distinción en la finalidad de una evaluación, algunos autores han querido añadir dos más. Por un lado, la evaluación también sería útil para mejorar el estado de los conocimientos acerca de la eficacia de una intervención, para construir una teoría y para publicar artículos científicos (Patton, 1997). Se acerca, así, a la práctica de la investigación. Por otro lado, la finalidad de la evaluación de programas no se relacionaría únicamente con los programas y sus componentes, sino también con la mejora de las condiciones sociales y colectivas, cosa que ya decía Carol Weiss a principios de la década de 1970. La evaluación se vuelve entonces un medio, no es un fin en sí misma. Algunos tratan incluso de fortalecer el poder de actuar (empowerment) de los participantes en el programa y en la evaluación, tema del que hablaremos en el capítulo 15. Planificación de una evaluación

Si dejamos de lado la concomitancia de los subprocesos, un proceso evaluativo por lo general se lleva a cabo en dos fases, a veces sucesivas, pero que también pueden ser paralelas o en bucle. Se trata de la fase preevaluativa y la fase evaluativa. Algunos autores añaden una tercera fase: la utilización de los resultados de la evaluación para la toma de decisiones (Grembowski, 2001). Señalemos, no obstante, que no todos los evaluadores parecen estar dispuestos a asumir esta responsabilidad. El nombre de la primera fase es una traducción del concepto anglófono de evaluability assessment. La etapa preevaluativa (Beaudry y Gauthier, 1992) permite garantizar no solo que es posible realizar la evaluación de un programa, sino también que los evaluadores disponen de toda la información sobre la solicitud de evaluación. Wholey, por su parte, ofrece dos ideas en este sentido: distingue el estudio de la viabilidad de la evaluación (la presencia de las condiciones que permiten realizarla), por una parte, y el análisis del carácter evaluable de un programa (esencialmente vinculado a la coherencia del modelo lógico, véase el capítulo 5), por otra parte. De este modo, es preciso comprender los retos de la evaluación, que a veces son políticos (capítulo 4), así como anticipar los posibles conflictos. Los partidarios de una evaluación centrada en la utilización de los resultados, como Patton (1997) (capítulo 8), y aquellos que lo son de una evaluación reactiva, como Stake (2004), se preguntarán inmediatamente qué preocupa a las partes interesadas y cómo se proponen aplicar las recomendaciones. Entonces, el foco de este proceso preevaluativo es comprobar que los individuos que participan en la evaluación saben en qué consiste exactamente el

Enfoques y prácticas en la evaluación de programas

programa que se requiere evaluar. Si bien muchas organizaciones implementan intervenciones y quieren que se haga una valoración de estas, rara vez cuentan con una descripción detallada del programa, de sus componentes y de sus objetivos. Nuestra experiencia demuestra que esta laguna constituye más la norma que la excepción. Por lo tanto, el trabajo fundamental que debe hacerse de inmediato es el de reconstituir la lógica del programa (capítulo 5), tal como realmente se ha implementado. Aunque esta lógica a veces está presente en diversas formas en los documentos de planificación, siempre existe una diferencia entre lo que se planea hacer y lo que realmente se hace, y el programa muchas veces se aplica de manera diferente de un territorio a otro y de una persona a otra. Esto es lo que mide la evaluación de implementación (Carroll, 2007). Por lo tanto, sigue siendo indispensable describir de manera consensuada el programa que será objeto de la evaluación, así como sus componentes. El papel de las partes interesadas en este proceso se discute especialmente en el capítulo 13. Si no se sabe con exactitud cuáles son los efectos esperados de un programa, ¿cómo evaluar su eficacia? Si no se conoce con precisión la secuencia de las actividades y los posibles vínculos de causalidad con los efectos esperados, es imposible atribuir al programa los cambios observados. De acuerdo con las escuelas de pensamiento y su terminología, será necesario disponer, al final de esta preparación, de un modelo lógico, de una teoría o de la lógica del programa a evaluar. Algunos autores hacen una distinción entre el modelo lógico operativo de un programa y su modelo teórico conceptual. Del mismo modo, Chen (2005) diferencia el modelo de cambios (hipótesis descriptivas con respecto a las relaciones causales que explican el logro de objetivos) del modelo de acción (hipótesis preceptivas con respecto a los componentes del programa que van a procurar que este funcione). Pero recordemos especialmente aquí que la descripción precisa de un programa y que los vínculos entre sus componentes es indispensable en todo proceso evaluativo. Para esto, a menudo es útil hacer una representación gráfica de las relaciones entre las actividades previstas y los efectos esperados, cuyos símbolos y forma habrán de elegirse. En la segunda parte de este libro se ofrecen ejemplos interesantes a este respecto. Lo importante de estas imágenes es que las relaciones sean claras y lo suficientemente precisas para llegar a un entendimiento común del programa estudiado y para orientar la manera en que se plantearán los temas de la evaluación. Estas representaciones también pueden ser útiles para demostrar que la lógica de un programa no producirá efectos por cuanto que, por ejemplo, la manera en que este es concebido va en contra de los conocimientos de los que dispone-

1. Introducción general a la evaluación de programas

mos sobre las formas de intervenir en un ámbito particular. Los datos actuales en materia de reducción de la mortalidad materna en los países en vías de desarrollo, por ejemplo, nos dicen que la formación de parteras tradicionales y la realización de consultas prenatales son relativamente ineficaces. Si la construcción de la lógica de un programa por sus actores pone de manifiesto que ellos desarrollan su programa siguiendo estos vínculos de causalidad, el evaluador puede inmediatamente emitir un juicio sobre esta “lógica ilógica”. En tal caso, la etapa preevaluativa permite evitar la realización de una inapropiada evaluación de efectos y sugerir, por ejemplo, una evaluación de las posibilidades de acción con el fin de revisar la lógica del programa. En la figura 1.3 proponemos una representación gráfica de los elementos que componen un programa, pero hay muchos otros. Si continuamos con el ejemplo del programa de maternidad de bajo riesgo, las necesidades (mortalidad, morbilidad) de los participantes (las mujeres en edad fértil) conllevan a la implementación de un programa cuyo objetivo esté orientado a reducir la mortalidad materna dentro de un contexto particular (una región de África). Este programa se compone de insumos (recursos financieros y humanos necesarios para la realización de las actividades) y procesos (formación, proyecto de construcción) que generan productos (libros, edificios de maternidad) con el propósito de producir efectos a corto plazo (calidad y accesibilidad de la atención) en los participantes (parturientas y parteras) o efectos a más largo plazo (reducción de la tasa de mortalidad materna). Figura 1.3. Representación genérica de la lógica de una intervención Contexto

Necesidades

Objetivos

Insumos

Procesos y productos

Participantes

Efectos a corto y mediano plazo

Factores externos sobre los efectos del programa

Efectos a largo plazo

Enfoques y prácticas en la evaluación de programas

En la figura 1.3 los participantes están separados visualmente de los procesos con el fin de destacar el hecho de que un programa se justifica en función de los cambios que trata de inducir a favor de sus beneficiarios. Las flechas horizontales hacen hincapié en la cadena de resultados, los vínculos de causas y efectos. Cuanto más nos movemos hacia la derecha de la figura (hacia los efectos a largo plazo), los factores externos (otros programas, actores, cambios contextuales) pueden ser más la causa de estos efectos y, por consiguiente, menos podemos atribuir a la intervención los efectos o resultados encontrados. Es evidente que un programa de salud pública, cualquiera que sea su magnitud, no puede contribuir por sí solo a la reducción de la mortalidad materna. Por ejemplo, es bien sabido que el aumento de la tasa de escolarización de las niñas tendrá en la mortalidad materna un efecto a largo plazo tan o más importante que un programa de salud pública. Una vez circunscrita la lógica de la intervención, es necesario determinar las preguntas de evaluación a responder. En muchos contextos, quienes encargan una evaluación quieren saberlo todo, en poco tiempo y con un presupuesto limitado. Por lo tanto, a menudo es indispensable clasificar las preguntas y verificar la viabilidad de la evaluación. Podemos basarnos en el planteamiento sugerido en el capítulo 9 para determinar mejor las preguntas de evaluación con la ayuda de criterios de tiempo, recursos y acceso a los datos, así como de criterios políticos o estratégicos. Pusimos este modelo en práctica en el año 2005, en una evaluación realizada en Haití. Una vez comprendidos los retos y las necesidades, se elaboró una lista de todas las preguntas de evaluación que permitirían satisfacer todas las peticiones formuladas en la demanda de evaluación recibida. Ante la magnitud de la tarea y la imposibilidad manifiesta de responder a todos estos interrogantes, se hizo una lista de preguntas prioritarias. Dos conjuntos de criterios se aplicaron sucesivamente para hacer esta selección. El primer conjunto era de carácter técnico y se basaba en tres indicadores: tiempo, presupuesto y acceso a los datos. Algunas preguntas fueron eliminadas enseguida por razones metodológicas. El segundo conjunto de criterios era de carácter estratégico y estaba relacionado con el uso potencial de los resultados de la evaluación. Una vez resueltas estas cuestiones cruciales, fue necesario elaborar un plan de evaluación. Damos ejemplos en la segunda parte de este libro. Una vez más, con el fin de no crear distancias innecesarias entre los evaluadores y las partes interesadas, a veces es preferible utilizar el término “plan”, en lugar de “protocolo” o “diseño” de evaluación, que tienen una connotación del mundo de la

1. Introducción general a la evaluación de programas

investigación. Para cada una de las preguntas de evaluación seleccionadas fue preciso determinar: •

Los datos necesarios para responderla.

•

Las personas que tienen estos datos y los lugares en los que se encuentran.

• • •

Los instrumentos de recolección de estos datos.

El momento en que los instrumentos de recolección se utilizarán y quién lo hará. Los métodos de análisis de datos.

Después, una evaluación de programas se gestiona como cualquier acción: es necesario prever una lista de tareas, un calendario de ejecución, una descripción de los recursos humanos y un presupuesto. Dijimos que una evaluación era especialmente útil para la toma de decisiones, y en particular para mejorar los programas. Por consiguiente, es indispensable, desde la planificación, interrogarse sobre la manera en que se recibirán los resultados. Es preciso examinar las estrategias que se pretenden implementar para comunicarlos (presentaciones cara a cara, resumen no técnico, formatos diferentes según las partes interesadas, etc.) y asegurarse de que las personas concernidas puedan apropiárselos. Una evaluación solo es realmente útil si sus resultados son utilizables y utilizados. Los pocos trabajos empíricos sobre las condiciones de utilización de la evaluación (Cousins y Shulha, 2006) muestran que se asemejan a las condiciones de utilización de la investigación. Este rico campo de estudios muestra que hay una multitud de condiciones que favorecen la utilización de los conocimientos producidos por las actividades de los investigadores. Pueden clasificarse en cinco categorías (Dagenais, 2010; Dagenais et al., en prensa): 1) la opinión de los usuarios potenciales, 2) su experiencia individual, 3) el contexto organizacional propio de los usuarios, 4) las estrategias de apoyo a la utilización de los resultados y 5) las características de los investigadores y de su entorno. El cuadro 1.1 presenta ejemplos para cada una de estas categorías.

Enfoques y prácticas en la evaluación de programas

Cuadro 1.1. Categorías de condiciones que favorecen la utilización de la investigación Características de los usuarios

Receptividad y actitud positiva frente a la investigación. Utilidad percibida de la investigación.

Experiencia en relación con los conocimientos derivados de la investigación. Contexto organizacional

La cultura organizacional que valora la investigación. Nivel de compromiso de la organización en el proceso de transferencia. Fuerte liderazgo de la dirección. Consenso sobre la naturaleza de las necesidades en materia de conocimientos Visión común y compartida de los resultados a alcanzar. Recursos dedicados a las actividades de transferencia de conocimientos.

Características de los conocimientos

Adecuación con los valores y las necesidades de los usuarios. Aplicabilidad. Nivel de participación de los usuarios en la producción de conocimientos. Accesibilidad de la información. Plazos de producción apropiados.

Estrategias de transferencia y apoyo

Deben tener en cuenta las características de los grupos objetivo y sus necesidades. Deben basarse en una relación de confianza con los usuarios. Mecanismos de intercambio (formales e informales). Lenguaje común. Actividades realizadas en el momento oportuno. Adaptación del formato de los conocimientos. Acompañamiento y seguimiento regular (medición sistemática de los progresos).

La implementación de una evaluación: tipos y enfoques

Elegimos ignorar aquí el aspecto teórico de la implementación de una evaluación. En efecto, en lugar de disertar sobre la implementación, hemos preferido presentar al lector estudios de casos concretos que proporcionan respuestas a una pregunta que los estudiantes plantean con frecuencia: “¿cómo se hace la evaluación de un programa?”. Por consiguiente, el lector encontrará en la segunda parte de este libro varios ejemplos de procesos evaluativos. Para ampliar el alcance de estos ejemplos, presentaremos evaluaciones realizadas en diversas áreas, tales como el trabajo social, la educación, la salud o la administración; evaluaciones de diferentes tipos y que se basan en distintos enfoques organizados en contextos sociales variados. Los tipos de evaluación

La representación esquemática de la figura 1.4 es una introducción eficaz a los distintos tipos de evaluación definidos como el objeto en el que se centra la valoración del evaluador. En el caso de la evaluación de un programa, este objeto puede

1. Introducción general a la evaluación de programas

ser un componente del mismo o la relación entre sus componentes. Tomaría demasiado tiempo examinar aquí los diferentes tipos de evaluación, por lo tanto solo daremos algunos ejemplos de ellos. Figura 1.4. Los tipos de evaluación y sus relaciones con los componentes de un programa Contexto

Necesidades

NECESIDADES

Objetivos

Pertinencia

Insumos

Procesos y productos

PROCESOS

Participantes

EFICACIA

IMPACTO

Efectos a corto y mediano plazo

Efectos a largo plazo

EFICIENCIA

El cuadro 1.2 presenta algunos ejemplos de preguntas seleccionadas en función de los distintos tipos de evaluación. Los estudios de caso de la segunda parte de este libro proporcionan varios ejemplos empíricos de estas preguntas genéricas.

Cuadro 1.2. Tipos de evaluación y preguntas genéricas Tipos de evaluación

Evaluación de las necesidades

Ejemplos de preguntas genéricas

¿Qué necesidades pretende satisfacer el programa? ¿Han cambiado las necesidades de los participantes desde el comienzo de la implementación? (véase el capítulo 16).

Evaluación de la pertinencia

¿Responde el programa a las necesidades de los participantes? ¿Tiene en cuenta el contexto de su implementación? (véase el capítulo 14).

Evaluación del proceso

¿El programa es implementado tal y como se planeó? ¿Qué factores facilitan o dificultan la implementación del programa? (véanse los capítulos 17 y 19).

Enfoques y prácticas en la evaluación de programas Tipos de evaluación

Ejemplos de preguntas genéricas

Evaluación de la eficacia

¿Los efectos observados en el corto plazo corresponden a los objetivos fijados inicialmente? ¿Cómo se comparan los efectos observados en los participantes del programa con la situación de los no participantes? (véanse los capítulos 15, 16, 18, 19 y 20).

Evaluación del impacto

¿Los efectos observados en el largo plazo corresponden a los objetivos fijados inicialmente?

Evaluación de la eficiencia

¿Cuál es la relación entre los recursos y los efectos del programa? ¿Este programa es más costoso que otro que produciría el mismo efecto? (véase el capítulo 11).

Señalemos que se proponen muchas otras tipologías en la literatura sobre la evaluación. Pero cualquiera que sea la opción preferida, siempre es indispensable analizar el contexto: dependiendo de su naturaleza, un programa tendrá efectos distintos y se implementará de diversas maneras. También debemos recordar que se pueden generar efectos no previstos, sean favorables o no a los participantes (Morell, 2010), y es imperativo registrarlos. Chen (2005) considera que algunos tipos de evaluación se aplican mejor en determinados momentos de la vida de un programa. No obstante, también pueden emplearse otros tipos de evaluación. Por ejemplo, cuando se quiere invertir en actividades que tienen más probabilidades de éxito, podría ser más útil desarrollar una evaluación sobre las posibilidades de acción. A veces también se requiere la evaluación de la coherencia de las actividades de un programa. Algunos distinguen la evaluación de la implantación (describir lo que sucede) de la evaluación de los procesos (comprender la dinámica interna). Dentro de la categoría de la evaluación de la eficiencia, también llamada “evaluación económica”, es útil distinguir cuatro tipos específicos de evaluación: minimización de costos, costo-eficacia, costo-utilidad y costo-beneficio (Drummond et al., 1998). No se olvide, por último, la posibilidad de hacer una evaluación de la equidad (Potvin et al., 2008; Ridde et al., 2010), la cual muy rara vez se hace.

Los enfoques evaluativos

Para responder a las preguntas, el evaluador puede recurrir a varios enfoques evaluativos. El término enfoque remite aquí a la manera en que los expertos interactúan con los individuos involucrados en la evaluación. También se puede definir el enfoque como la forma en que el evaluador asume su función. El enfoque adoptado varía en función de las situaciones, de la organización en la que

1. Introducción general a la evaluación de programas

el evaluador evoluciona, de sus características personales y de las necesidades especificadas por las personas involucradas. Ningún enfoque es a priori mejor que otro. Se trata de elegir el que parezca más pertinente en el caso estudiado. Al forzar un poco los rasgos del tipo ideal weberiano, es posible poner de relieve los elementos fundamentales que caracterizan tres enfoques específicos. El evaluador que utiliza un enfoque directivo desempeña un papel de experto y se mantiene relativamente neutral y distante con respecto al objeto evaluado. Dirige todas las operaciones y toma las decisiones. Los diferentes actores solo intervienen como fuente de información y en momentos específicos del proceso. Solo el evaluador tiene la autoridad para estimar el valor y el mérito del programa. El enfoque centrado en el desarrollo de un programa es menos conocido y su utilización menos frecuente (Patton, 1994; Ridde et al., 2006). Lo que tiene de interesante es que los resultados y el proceso mismo de la evaluación se utilizan para hacer que el programa avance durante su implementación. El experto en evaluación guía a las partes interesadas para asegurarse de que el proyecto mejore, se adapte y responda mejor a las necesidades de los participantes. Es miembro de pleno derecho del equipo del proyecto y participa en la toma de decisiones, tanto en términos de la evaluación como del desarrollo del proyecto. El enfoque participativo, por su parte, preconiza la implementación del proceso evaluativo según una perspectiva de cooperación entre los evaluadores y las personas involucradas en la evaluación, pero que no son evaluadores profesionales. Tres razones pueden justificar la utilización de este enfoque: la primera es de orden pragmático (aumentar las posibilidades de éxito del proceso y maximizar el empleo de los resultados), la segunda es política (preocupación democrática por la participación ciudadana y el empoderamiento), y la tercera es epistemológica (no existe una realidad única y la pluralidad de puntos de vista es esencial para la construcción de un argumento) (Weaver y Cousins, 2005). Cabe distinguir dos tendencias en el seno del enfoque participativo: •

•

La evaluación práctica sirve para resolver problemas, mejorar un programa y tomar decisiones. Se realiza en el marco de una asociación igualitaria entre el evaluador y las partes interesadas (las personas que deben tomar las decisiones).

La evaluación empoderadora es un medio, pero también, en cierta medida, un fin en sí misma. El proceso evaluativo debe favorecer el aumento del poder de actuar (empowerment) de las partes interesadas, desde una perspectiva de justicia social. Las decisiones con respecto al proceso evaluativo las toman exclusivamente las partes interesadas, y no el evaluador (Cousins y Whitmore, 1998; Ridde, 2006).

Enfoques y prácticas en la evaluación de programas

Las normas de práctica

A raíz de la creación de múltiples asociaciones profesionales y agrupaciones nacionales dedicadas a la evaluación de programas, sobre todo en los países de altos ingresos, el año 2003 vio nacer la Organización Internacional para la Cooperación en Evaluación (OICE). En los países con ingresos bajos y medios, tales asociaciones aún son escasas. En el África Occidental francesa, por ejemplo, una de las primeras en salir a la luz fue la Red Nigeriana de Seguimiento y Evaluación (ReNSE), creada tras la Primera Conferencia de la Asociación Africana de Evaluación (AfrEA), celebrada en 1999. Una de las primeras tareas de esas asociaciones profesionales de evaluadores fue establecer normas de práctica, códigos de ética o, más recientemente, una lista de competencias esenciales propias de esta profesión (véase el capítulo 12). La Asociación Americana de Evaluación, por ejemplo, elaboró una lista de treinta criterios para garantizar la calidad de una evaluación, que se enumeran según cuatro dimensiones clave de una evaluación de programas de calidad: la utilidad, la viabilidad, la propiedad y la precisión. La AfrEA intentó adaptar estos principios (Rouge, 2004). Los suizos sustituyeron la tercera dimensión por la ética. Los franceses establecieron siete principios rectores: pluralidad, distanciamiento, competencia, respeto de las personas, transparencia, oportunidad y responsabilidad. Por último, desde hace poco, tanto en los Estados Unidos como en Quebec, se están realizando intentos para establecer una lista de competencias esenciales que deben tener los evaluadores (Doré y Marceau, 2006; Stevahn et al., 2005). Nosotros pusimos a prueba la utilización de competencias en África (Ridde et al., 2009). La Sociedad Canadiense de Evaluación dispone desde 2010 de un marco referencial de competencias y de un proceso de acreditación voluntaria de los evaluadores. Un centenar de personas se acreditaron a principios de 2012. El objetivo de esta introducción no era hacer una descripción exhaustiva del campo de la evaluación de programas. De hecho, existen múltiples maneras de enfocar este campo de práctica y de definir los términos utilizados en el mismo. Sin embargo, esperamos haber iniciado al lector en los conceptos esenciales para la comprensión de la evaluación de programas. Los capítulos de la primera parte del libro profundizan en algunos conceptos que forzosamente se abordaron de manera somera aquí. En la segunda parte, estudios detallados de casos ilustran las aplicaciones empíricas de esos conceptos y ponen de manifiesto, especialmente, la riqueza y la diversidad de las prácticas evaluativas.

2. Investigación y evaluación de programas* Miri Levin-Rozalis1

Parece que los vínculos y las diferencias entre la evaluación y la investigación plantean interrogantes constantemente. Tras los congresos anuales de la European Evaluation Society y de la American Evaluation Association de 2002, decidí aceptar el desafío que constituye toda tentativa de aclaración de las diferencias que existen entre estas dos actividades. Mi visión de la evaluación, como un servicio a las partes interesadas y una herramienta para mejorar la realización de un proyecto, influyó considerablemente en el contenido de este capítulo. En mi trabajo de evaluadora a menudo he sido testigo de la falta de conocimientos con respecto a la esencia de la evaluación, y en particular respecto a la diferencia entre la evaluación y la investigación. En la literatura sobre el tema encontramos muchas veces la expresión “investigación evaluativa”, como si se tratase de una especie de híbrido, pero en muchos casos se trata del resultado de un mestizaje que no corresponde, ni a una investigación adecuada, ni a una evaluación apropiada. En este capítulo voy a hablar de las similitudes y diferencias que definen la evaluación y la investigación. Quiero demostrar que son disciplinas muy diferentes, y esto a pesar de las similitudes que presentan y que provienen del hecho de que comparten conceptos, instrumentos y, en ciertos casos, métodos. En mi opinión, la dificultad de distinguir entre la investigación y la evaluación perjudica a esta última. Los constantes esfuerzos realizados por los evaluadores para aplicar a la evaluación los criterios de la investigación los obligan a abandonar las particularidades de la primera. Al hacerlo, la singularidad y la calidad de la evaluación se ven reducidas. Los debates filosóficos sobre la investigación científica se centran generalmente en su esencia —racionalistas contra empiristas, positivistas contra partidarios * Este capítulo es la adaptación de un artículo publicado en inglés, en 2003, en la Revue Canadienne d’Évaluation

de Programmes, 18(3).

Enfoques y prácticas en la evaluación de programas

del interaccionismo simbólico— y tienden a poner énfasis en aspectos particulares de esta empresa (Bechler, 1987; Caws, 1965; Copi, 1961; Hempel, 1965; Kincheloe y McLaren, 2000; Kuhn, 1962; Popper, 1959). No obstante, varios criterios y definiciones son reconocidos por todos. Generalmente se reconoce que el objetivo de la investigación, como método científico, es descubrir y comprender las leyes fundamentales según las cuales funciona el mundo; pero también aumentar el conjunto de conocimientos con el fin de lograr un mejor dominio de la naturaleza y satisfacer el deseo natural de los seres humanos de adquirir nuevos conocimientos. De este modo, en el ámbito de la investigación, reunir conocimientos es el principal objetivo de toda actividad, dado que el conocimiento en sí tiene un valor intrínseco. No se ha determinado debidamente la esencia de la evaluación, como se ha hecho con la investigación científica. Sin embargo, por definición, la evaluación es un proceso constante de cambio y desarrollo, ya que se utiliza con un objetivo de investigación o de estudio. La evaluación generalmente se considera como un instrumento para los directores de programas, los responsables de tomar decisiones y las partes interesadas. Se utiliza en diversas áreas, que van desde la educación y los procesos sociales hasta los servicios de salud y la agricultura, y puede hacerse, por ejemplo, con ayuda de estudios estrictamente cuantitativos o enteramente no direccionales. La evaluación también tiene numerosas funciones. En primer lugar, puede tratar de determinar el grado de éxito de un programa, para ver si un determinado programa ha evolucionado y alcanzado sus metas, conocer los efectos secundarios de las actividades con el fin de mejorar la eficacia de un proyecto educativo, comunitario o social en curso, o de contribuir a su continuidad (Cronbach, 1963, 1983; House, 1980; JCSEE, 1981; Nevo, 1989; Patton, 1981; Scriven, 1967; Stufflebeam, 1971; Tyler, 1950). La evaluación también puede ser una “operación práctica, material y política cuyo interés es examinar y mejorar nuestras maneras de emitir juicios interpretativos sobre el valor de las acciones humanas que tienen lugar en contextos sociales y culturales particulares” (Schwandt, 2002, p. 2). Las exigencias hechas a los evaluadores y a la evaluación en general han evolucionado: de la década de 1950 pasaron del examen de objetivos operacionales cuantificables a la recolección, en los años setenta, de información útil para los responsables de tomar decisiones. Este último fenómeno incluso llegó a conformar la intervención misma. (Nevo, 1989; Scriven, 1967; Stufflebeam et al., 1974). Al mismo tiempo, se hizo evidente que los evaluadores, para satisfacer eficazmente las necesidades de los distintos proyectos, debían ser creativos (Patton, 1981). En la década de 1980 se esperaba que los evaluadores tuvieran en cuenta a todos los que

2. Investigación y evaluación de programas

pudiesen verse afectados por la actividad de la evaluación, y que la utilizaran para reestructurar y reorientar los conceptos y perspectivas de sus clientes, las partes interesadas, los responsables de tomar decisiones y los usuarios del proyecto (Abma, 1997; Guba & Lincoln, 1989; Pawson, 1996), o incluso para influir en la estructura de poder mediante el suministro de herramientas a todos aquellos que fuesen objeto de la evaluación (Brisolara, 1998; Cousins y Whitmore, 1998; Fetterman, 1996). Estos cambios y estas exigencias entraban en conflicto con los marcos de investigación definidos y estructurados. Se esperaba que el evaluador estuviera en condiciones de determinar qué conocimientos eran importantes y para quién; de saber cómo reunir, procesar e interpretar estos conocimientos; de decidir sobre las conclusiones a sacar y hacer recomendaciones basadas en estas conclusiones. Habida cuenta de estas exigencias, los evaluadores con frecuencia se encontraban entre la espada y la pared. Por una parte, se les exigía encontrar respuestas a un gran número de cuestiones diversas; por otra, carecían de un marco claro y de las herramientas adecuadas para hacerlo, además del hecho de que procedían en un entorno en constante evolución (Eyken et al., 1995; Guba y Lincoln, 1989; Tucker y Dempsey, 1991). Algunos evaluadores, para resolver esos problemas, utilizaron métodos tomados de distintas disciplinas (Finne et al., 1995; Kazi, 1996; Tucker y Dempsey, 1991), mientras que otros establecieron vínculos con la teoría (Chen, 1990; Chen y Rossi, 1981, 1992; Pawson y Tilley, 1997). A pesar de las diferencias entre la evaluación y la investigación, y las que existen entre las exigencias hechas a los evaluadores y los mandatos impuestos a los investigadores, sigue habiendo una confusión acerca del rol propio de cada una, y hay varias razones para esto. Entre ellas, la definición misma de la investigación, que no es clara, y en particular en el ámbito de las ciencias sociales, la cual evoluciona constantemente. Ante condiciones a menudo confusas, los evaluadores buscan un marco de referencia bien definido y reconocido con el cual trabajar. Los procedimientos y criterios de la investigación proporcionan estos marcos de referencia reconocidos, y la investigación sigue siendo más valorada que la evaluación. En las próximas páginas se profundizará en estas afirmaciones, resumidas en la siguiente tabla.

Enfoques y prácticas en la evaluación de programas

Tabla 2.1. Similitudes y diferencias entre la evaluación y la investigación Ámbitos de aplicación

Teoría

Evaluación

Investigación

Aplicación del análisis tan ampliamente

como sea posible.

Aplicación limitada de los resultados, que

Aplicación de los resultados tan

se centran en el proyecto. El objetivo es

ampliamente como sea posible.

proporcionar insumos concretos para

El objetivo es aumentar el conjunto de

mejorar las intervenciones.

conocimientos científicos.

Dependencia con respecto al campo: la

Dependencia con respecto a la teoría: la

teoría sirve para aumentar la comprensión

teoría es a la vez la fuente y el objetivo.

de los resultados. Metodología

Generalización

Pertinencia

La elección del marco de evaluación y

La elección del marco de investigación y

de los métodos de recopilación de datos

proviene del campo. El evaluador reacciona.

proviene de la teoría. El investigador actúa.

Esfuerzo por comprender lo que sucede en

Esfuerzo por formular una ley general; la

un determinado proyecto.

validez externa es importante.

Utilidad para el proyecto.

Ampliación de los conocimientos científicos.

Causalidad

Énfasis en la validez interna; lo que en

La validez interna es importante; énfasis en

investigación constituye un artefacto, en

un pequeño número de variables causales

evaluación es visto como una variable

aisladas de las otras variables.

interna que permite obtener una relación de causalidad.

Los ámbitos de aplicación

La principal diferencia que existe entre la evaluación y la investigación radica en sus campos de aplicación. Las dos intentan aumentar nuestra comprensión en diversos ámbitos, pero el tipo de comprensión al que contribuyen es diferente. El paradigma dominante en investigación apunta a la expresión de conocimientos generales en forma de leyes. Por lo tanto, la comprensión que se quiere alcanzar es la de una ley abstracta y universal que puede aplicarse al mayor número de eventos posibles. (En ciencias sociales, hoy en día, este paradigma es cuestionado por algunas corrientes, tales como el enfoque interpretativo, el relativismo, el posestructuralismo y la teoría crítica, pero estos enfoques quieren llegar también a una comprensión general de los fenómenos observados). Por el contrario, el propósito de la evaluación es reunir conocimientos para desarrollar una comprensión en relación con una actividad específica, y aplicar esta comprensión al proyecto mismo en forma de insumos basados en la práctica. La evaluación

2. Investigación y evaluación de programas

trata de examinar las influencias recíprocas de un máximo de variables en un momento y un lugar determinados. El objetivo de la investigación es enriquecer un acervo de conocimientos que tienen valor en sí mismos. En la evaluación, en cambio, el conocimiento es un medio para alcanzar ciertos fines. Su valor reside en primer lugar, y ante todo, en la retroinformación que proporciona al proyecto. Por consiguiente, la evaluación es un proceso circular cuyo ciclo comienza y termina con el proyecto. En el caso de las intervenciones sociales, en educación o en la comunidad, los seguimientos realizados por los evaluadores se convierten en una necesidad. La capacidad de permanecer al margen y observar, de percibir y comprender los procesos, organizarlos, analizarlos y expresarlos, es una contribución importante que aumenta la efectividad de un proyecto o una actividad en condiciones cambiantes. En relación con la aplicación de la evaluación y la investigación, es importante distinguir dos puntos: los procedimientos de examen (cuestionarios, entrevistas, observaciones) que los evaluadores y los investigadores emplean para recopilar datos, y los resultados y las conclusiones que se derivan de allí, así como sus consecuencias. La razón de esta distinción se encuentra en las principales diferencias entre la evaluación y la investigación, en su aplicación potencial. Con respecto a los procedimientos, una aplicación amplia es importante, tanto para la investigación como para la evaluación. Por ello se recomienda que los evaluadores utilicen procedimientos de examen sistemáticos y repetibles que puedan ser objeto de críticas y de un seguimiento. Si se utilizan procedimientos estadísticos, es importante que se trate de métodos reconocidos. Si es posible, pero muchas veces no lo es, es preferible emplear instrumentos conocidos que puedan utilizarse en otros marcos. Se observa otra diferencia entre la evaluación y la investigación al abordar la cuestión de los resultados. En todo tipo de investigación se espera que la aplicación de los resultados y las conclusiones obtenidas sea lo más amplia posible para proporcionar una base a las leyes universales. Este es el primer objeto de la investigación. En la evaluación, los resultados no pretenden ser pertinentes más que para el proyecto evaluado, y solo son precisos durante un periodo determinado del proyecto. No se trata de obtener leyes inmutables que puedan aplicarse más allá del proyecto en estudio. Esto no quiere decir, como dice Pawson (1996), que no se puedan considerar las “leyendas” y las “historias” procedentes de este ámbito, sin conceptualización ni aprendizaje (Patton, 1997), como verdaderos resultados, que no hacen más que confirmar a los miembros del proyecto la comprensión de la situación que ya tenían antes de la evaluación. Esto no significa que sea imposible

Enfoques y prácticas en la evaluación de programas

obtener resultados o, más a menudo, sacar conclusiones cuyo valor rebase el marco del proyecto. Esto ocurre con frecuencia, pero no es el propósito principal de la evaluación. Me referiré a la cuestión de la generalización en páginas posteriores de este capítulo. Cuando los evaluadores utilizan procedimientos de investigación para realizar una evaluación, se valen de instrumentos adaptados a las cuestiones que les interesan; lo que se traduce en una más amplia aplicabilidad de los resultados. Paradójicamente, las variables definidas, que son generales y abstractas, pueden aumentar la aplicabilidad de los resultados, pero disminuyen la utilidad de las conclusiones para un proyecto. Es decir que la posibilidad de generalizar los resultados y las variables aumenta, pero la de proporcionar información inteligible y coherente sobre la situación del proyecto en su conjunto es mucho más reducida. Por lo tanto, los instrumentos propios del campo de la investigación ofrecen respuestas abstractas que tienen un alto grado de generalización y que son adecuadas para la investigación, respuestas válidas que se reúnen con ayuda de instrumentos fiables y que pueden replicarse. Sin embargo, la calidad de la evaluación disminuye, ya que los gestores del proyecto no reciben respuestas útiles para su propio trabajo; respuestas que estén directamente relacionadas con las diferentes actividades, las problemáticas y los usuarios o beneficiarios del proyecto. Los resultados con un alto grado de generalización, constituidos de variables teóricas y expresados en lenguaje científico, difícilmente pueden traducirse en propuestas operacionales que apunten a una mejora. Por eso tienen poco o ningún valor en lo que a retroinformación se refiere. (Tal informe puede ser necesario para justificar la existencia o la continuación de un proyecto, o también para obtener financiación, pero no para su funcionamiento cotidiano). De hecho, en investigación encontramos el mismo problema: una aplicación amplia de los resultados se opone a una comprensión profunda del tema de investigación (Geertz, 1973; Goetz y LeCompte, 1984; LeCompte y Preissle, 1993; Sabar, 1990; Tucker y Dempsey, 1991). Constantemente se desarrollan nuevos métodos de investigación, tales como el estudio de casos, la etnografía y otros métodos de investigación cualitativa (Creswell, 1998; Sabar, 1990) para superar estas dificultades. Mediante estos enfoques, los investigadores renuncian a una aplicación demasiado amplia de sus resultados para comprender mejor las complejidades de su tema de investigación. En tales circunstancias, los métodos de investigación se asemejan a los enfoques utilizados en la evaluación de proyectos, pero sin ser idénticos, ya que los objetivos y las funciones de la investigación cualitativa o etnográfica, o bien del estudio de casos, no han cambiado. La investigación siempre busca

2. Investigación y evaluación de programas

enriquecer el acervo de los conocimientos científicos mediante la formulación de leyes universales y la aplicación más amplia posible de sus resultados. Las funciones de la teoría, las hipótesis y la metodología

En la investigación, la lógica puede tomar tres caminos distintos para vincular la teoría y los datos: la lógica deductiva, la lógica inductiva y la inferencia abductiva. En la lógica deductiva existe un fuerte vínculo entre las hipótesis de investigación y un postulado teórico anterior. La hipótesis —el explanandum— se explica por las premisas procedentes de la teoría, y nada nuevo se encuentra en ella. Los postulados teóricos a priori constituyen los explanans. Ellos son los que explican la hipótesis formulada. La solidez del vínculo entre explanans (hipótesis a priori) y explanandum no se ve influenciada por ninguna información, establecida o recién descubierta y a confirmar. Esta forma de formular hipótesis es apropiada en investigación cuando se examina una teoría que se intenta refutar. Para el investigador esto permite garantizar que no se desviará mediante la aplicación de la teoría en cuestión a su tema de investigación. De este modo, los fenómenos observados en el campo no están sujetos a la lógica deductiva. Aquí el campo no sería más que el entorno en que las hipótesis a priori pueden ser examinadas (Copi, 1961; Copi y Burgess-Jackson, 1995). La lógica deductiva es lo contrario de la lógica utilizada en la evaluación, ya que esta examina el contexto para identificar las variables y los factores implicados, así como los vínculos entre ellos. El contexto no se utiliza para validar las variables y las hipótesis procedentes de una teoría preexistente. Pawson y Tiley son los principales defensores de la lógica deductiva. Aquí presentamos un ejemplo tomado de Weiss (1996) y citado por Owens y Rogers (1999). Cuando un counseling (consejería) a favor de la contracepción se asocia con una reducción del número de embarazos, parece evidente que la causa de este cambio es dicho counseling. Pero, en este proceso, ¿qué es lo que realmente ha causado el cambio? ¿Los conocimientos proporcionados? Es posible que el counseling ayude a superar los tabúes culturales que van en contra de la planificación familiar; o que dé a las mujeres una mayor confianza en sí mismas y una mayor capacidad para hacerse valer en las relaciones sexuales; o bien que provoque un desplazamiento de poder en las relaciones entre hombres y mujeres. Estas razones, u otras de orden cognitivo, emocional o social, pueden constituir los mecanismos que conducirán a los resultados deseados. Nunca lo sabremos al utilizar la lógica deductiva, ya que la teoría nos retrotrae, según Pawson y Tilley (1997), a los mecanismos, los contextos y los resultados que forman parte de nuestro propio marco de referencia;

Enfoques y prácticas en la evaluación de programas

lo que no es importante cuando se examina una teoría, pero es crucial cuando se trata de saber qué funciona de manera exitosa en un proyecto. En la lógica inductiva, las hipótesis se emiten a partir de los fenómenos generalizados observados en el terreno. Estas hipótesis examinan las posibilidades de que los fenómenos se repitan para formular una ley general de probabilidades. Para lograr esto, es necesario conocer las características examinadas del grupo de interés y sus condiciones a priori. Se puede hacer una analogía con el conocimiento del hecho de que una moneda tiene dos caras y que, al lanzarla al aire, cae sobre una sola de ellas (Copi, 1961). Por lo general, estas condiciones no se encuentran en la evaluación. En primer lugar, se requiere una generalización empírica cuando, de manera razonable, se cree estar ante un fenómeno. Para que esta generalización sea empírica es preciso conocer previamente las características de este fenómeno, y que estas características hayan sido examinadas. Una parte de la evaluación comienza tempranamente, durante este examen, o incluso antes. Ella debe intentar primero exponer el fenómeno significativo, y por consiguiente no puede examinar desde entonces sus características ni su probabilidad de ocurrencia. Además, el objetivo de un examen empírico es generalizar más allá de un caso individual para tratar de formular una ley universal, lo que no es el objetivo principal de la evaluación, por todas las razones mencionadas anteriormente. La evaluación no depende de la teoría, depende más bien de la acción en el terreno. Existen, desde luego, teorías de la evaluación, modelos de evaluación y diversos enfoques para las preguntas de evaluación. Se utilizan varias teorías en la interpretación de los resultados de una evaluación, pero el elemento esencial de la misma es aquello que se recopila en el terreno, en el sentido de que las preguntas planteadas por una evaluación no proceden de una teoría. Proceden, más bien, del proyecto evaluado, sus objetivos, su entorno y sus usuarios, así como de las necesidades de las personas que gestionan la intervención, de quienes toman las decisiones y de las partes interesadas a diferentes niveles, y finalmente de las necesidades de los evaluadores. De tal modo, el trabajo de un evaluador es similar al de un médico o un sicólogo que examina a un paciente teniendo en cuenta la historia y las condiciones que le son propias. Los médicos y sicólogos encuentran posteriormente una validación de sus resultados y sus hipótesis en la literatura existente y en las teorías pertinentes. Del mismo modo, los evaluadores basan su trabajo en una amplia gama de conocimientos prácticos y teóricos en los diversos ámbitos en los que operan. Cuando un médico trata a un paciente no busca validar una teoría (a no ser que esté haciendo una investigación médica); sin embargo, cuenta con los conocimientos adquiridos

2. Investigación y evaluación de programas

gracias a la investigación. De la misma manera, aunque se basan en conocimientos teóricos, los evaluadores no buscan validar una teoría. Cuando se intenta formular hipótesis a partir de un marco de referencia teórico particular se limita el alcance de la evaluación y se impide al evaluador formular hipótesis no procedentes de este marco. El marco de referencia indica los conceptos a utilizar y la relación esperada entre ellos. En una evaluación se puede elegir una teoría apropiada para el proyecto en una etapa ulterior, en el momento en que el evaluador explica los resultados y saca conclusiones. El tercer tipo de investigación lógica, la inferencia abductiva, es una valiosa guía en la evaluación (Peirce, 1960). Los principios de la inferencia abductiva se basan en la idea de que no hay ninguna hipótesis a priori, ningún presupuesto ni teoría elaborados previamente. Cada acontecimiento se estudia en sí mismo y se examina su propia importancia (Shank y Cunningham, 1996). Se formulan entonces las hipótesis relativas a ese acontecimiento: ¿está relacionado con otros? Si es así, ¿cómo? ¿Es este un acontecimiento aislado? En caso afirmativo, ¿cuál es su significado? Las explicaciones que se atribuyen a estos acontecimientos son “hipótesis en periodo de prueba”. Se pone en marcha un proceso cíclico de verificación de las observaciones hechas, lo que permite profundizar y modificar las explicaciones (Levin-Rozalis, 2000). No pretendo que el evaluador examine todos los hechos y los acontecimientos que tienen lugar en el terreno. Tal examen no es ni posible ni deseable. Solo defiendo la idea de que en la investigación científica, la teoría constituye el marco de referencia que establece qué datos son pertinentes y cuáles no lo son; mientras que en la evaluación, son las necesidades del proyecto y la realidad en la que se implementa las que determinan las preguntas y las variables. Se recomienda que los gestores del proyecto, junto con los evaluadores, definan la problemática. Pero incluso cuando no se hace así, los evaluadores toman en consideración la situación sobre el terreno, y es esta situación, en toda su complejidad, la que genera las preguntas que se explorarán. Después de observar un fenómeno singular en un proyecto, puede ser interesante e importante examinarlo según métodos de investigación controlados. De este modo se pueden producir nuevos conocimientos que contribuyan, no solo al proyecto, sino también al acervo de conocimientos científicos. Los evaluadores exponen la realidad con ayuda de todos los medios científicos a su disposición, y de la manera más sistemática posible para cada proyecto en particular. Las condiciones que se encuentran en el medio objeto de la investigación determinan los instrumentos que se utilizarán, así como el lenguaje empleado. Por

Enfoques y prácticas en la evaluación de programas

ejemplo, un cuestionario no es adecuado para una población con dificultades de lectura. Estas condiciones también establecen los conceptos a utilizar durante el examen. Por ejemplo, el uso de los conceptos y el lenguaje del proyecto en lugar de la jerga especializada del evaluador. Los evaluadores organizan sus resultados en patrones significativos y, si es posible, comparables. Es factible generalizar los resultados específicos en estructuras y procesos más amplios, o establecer una teoría explicativa; pero encontrar una explicación coherente de lo que ocurre en un proyecto, incluyendo los éxitos y los fracasos, sigue siendo el objetivo principal de la evaluación. Por ejemplo, el gestor de un proyecto evaluado tenía un estilo de gestión autoritario que cohibía toda iniciativa proveniente de sus empleados. Sabiendo esto, fue posible encontrar una explicación general apoyada por las teorías sobre los vínculos entre autoritarismo e iniciativa. Pero no podíamos afirmar por anticipado que este gestor era autoritario, pues no conocíamos en absoluto su estilo de gestión, ni el tipo de interacciones que tenía con los empleados del proyecto y no sabíamos si las preguntas relativas a las relaciones dirección-empleados serían pertinentes. Los evaluadores deben tener suficientes conocimientos sobre los estilos de gestión, así como sobre el autoritarismo y la iniciativa, para elaborar una explicación pertinente. Si este no es el caso, pueden buscar la ayuda de profesionales que conozcan los estilos de gestión. Las preguntas que guían la actividad de evaluación no emanan de una teoría, pero, en muchos casos, el proyecto es una demostración de la aplicación de una teoría. Los programas y métodos del proyecto se basan en la lógica de determinada teoría o en la manera en que los patrocinadores, los gestores y los proveedores de fondos ven el mundo. Entre los elementos que examina la evaluación se encuentran la calidad de la lógica que determina las actividades del proyecto, su relación con lo que sucede en el entorno y la verificación de la coherencia entre los resultados y la lógica. En este caso, las preguntas que formula el evaluador forman parte del diálogo que se entabla con la teoría. La metodología tradicional de la investigación proviene de la teoría, así como de sus hipótesis y generalizaciones empíricas. Es el fruto de la planificación rigurosa de una estrategia de operacionalización de las hipótesis, es decir, de la formulación de las variables en elementos observables. Un elemento observable debe estar anclado en la realidad; una situación favorable a la observación debe ser identificada o creada artificialmente antes de que se realicen las observaciones científicas necesarias para la verificación de la hipótesis. Para esto, el investigador debe elegir las variables más adecuadas a los conceptos de la hipótesis: los temas, el terreno y el marco más conveniente.

2. Investigación y evaluación de programas

La metodología de la evaluación es diferente a la de investigación. Mientras que los investigadores pueden elegir sus propios temas de investigación y proponer ellos mismos un enfoque (a lo que llamaremos método activo), los evaluadores son reactivos y proactivos. Reaccionan ante los acontecimientos y a veces tratan de dirigirlos. Los evaluadores no pueden elegir a los participantes del proyecto, ni tampoco su entorno o sus variables. El entorno y los participantes están predeterminados, y las variables, por lo menos en parte, no se conocen de antemano. Se tiene una idea general de los temas de evaluación, pero estos no se definen en forma de hipótesis y las variables no son operacionales. Algunas veces, incluso la definición nominal de los conceptos es materia de evaluación. Los instrumentos que se utilizan para la evaluación (entrevistas, discusiones, observaciones, cuestionarios, videos, análisis de protocolos, análisis de diálogos, entre otros) son elegidos y planificados en función de la población en cuestión, las actividades a verificar, el tema a estudiar, el tiempo y el dinero del que se dispone y el contrato entre los gestores del proyecto o personas que lo encargan y el equipo de evaluación. La validez de los resultados de la evaluación

Dado que cada proyecto es diferente de otros y requiere un enfoque distinto, no es raro que se tenga que tratar con cuestiones relacionadas con la validez de los resultados y la posibilidad de generalizarlos. En lo que concierne a la validez de un marco de investigación, se dice generalmente que la investigación y el investigador hacen hincapié en la validez interna y externa (Cook y Campbell, 1976, 1979), mientras que los evaluadores solo ponen énfasis en la validez interna, pues se interesan en el funcionamiento inmediato de un proyecto en particular. La metodología de la evaluación supera con relativa facilidad la mayoría de problemas que amenazan la validez interna de las variables que son objeto de examen (por ejemplo, la historia, la maduración, la selección o la mortalidad). Todos estos elementos están incluidos en el campo de la evaluación. Contrario a la investigación, la evaluación se ocupa de un número considerable de variables, y no de variables aisladas. Las variables que la investigación consideraría como artefactos despiertan, en cambio, el interés del evaluador. La cuestión de la validez de la medida en el campo de la evaluación está vinculada al hecho de que la medida en las ciencias sociales es, salvo muy pocas excepciones, indirecta; ya que la mayoría de los conceptos en que se interesa son abstracciones o construcciones teóricas. Esto significa que los investigadores en ciencias sociales nunca pueden estar totalmente seguros de que lo que miden de facto es lo que quieren medir (Nachemias y Nachemias, 1982). Sin embargo, la incertidumbre en cuanto a la validez de la construcción (variable teórica vaga o

Enfoques y prácticas en la evaluación de programas

confusa, o falta de congruencia entre la variable teórica y la observable) no representa un problema para la evaluación, puesto que la definición operacional y las preguntas utilizadas provienen de lo que ocurre en el terreno, y no de una teoría. En la evaluación, la validez de la construcción de un instrumento de medida corresponde a la congruencia entre la observación y la etiqueta de la variable estudiada (Peres y Yatsiv, 1994). Durante los últimos veinte años, los autores se han inclinado por una definición vaga de la validez, permitiendo así los juicios subjetivos. Por ejemplo, Cronbach (1983) afirma que la validez es más subjetiva que objetiva. Krathwohl (1982) compara la validez con la persuasión, la seriedad y el consenso. Campbell, a quien corresponde la paternidad de los conceptos de validez interna y externa, se ha distanciado casi por completo de estos conceptos (Campbell, 1986). Él sugiere formular nuevas definiciones, convirtiendo la validez interna en validez local, holística (pragmática y sin teoría) y causal. Esta innovación pone en duda la idea de que un número determinado de procesos provoca un cambio real en una actividad, un lugar y un tiempo específicos. Según Campbell, en el terreno se encuentran relaciones de causa y efecto cuyo origen no puede explicar ninguna teoría y que no se sabe cómo generalizar. Para hacerlo, se debe invertir el orden habitual de las intervenciones, que es abordar la teoría antes de la actividad. La causa y el efecto que se observa en el terreno y que no proceden de una teoría reconocida pueden convertirse en un trampolín para una nueva teoría. La validez externa se refiere a la generalización de los resultados y los vínculos irrefutables que pueden predecirse entre los fenómenos empíricos. Dado que la investigación pretende habitualmente generalizar los resultados obtenidos con el fin de aplicarlos a otras realidades (organismos, poblaciones, situaciones, tiempos) para formular una ley universal, una pregunta típica de la investigación podría ser: “el desarrollo de las relaciones sociales entre personas que viven juntas 24 horas al día durante un periodo prolongado de tiempo, ¿puede ser aplicado a otras personas en otras situaciones?” Pero en una evaluación, la consolidación de un grupo de candidatos a un curso para pilotos de caza, por ejemplo, puede muy bien ser la cuestión a estudiar, y esta debe permitir a los comandantes tomar decisiones. ¿Tendrían los factores de evaluación la misma importancia para las personas que dirigen unos campamentos de verano para jóvenes que intentan aumentar el grado de satisfacción de los participantes? Los evaluadores encargados de la encuesta a los pilotos de caza no quieren saber realmente si se forman los mismos lazos entre los habitantes de un asilo de ancianos o los de un internado, mientras que esta pregunta puede ser de interés para los investigadores.

2. Investigación y evaluación de programas

La cuestión de la validez externa es, por lo tanto, sumamente importante para la investigación, pero lo es menos para la evaluación. Por su parte, la posibilidad de generalizar el efecto de un proyecto es un asunto importante. Los gerentes o empresarios siempre implementan un proyecto con el fin de obtener el efecto deseado. La evaluación puede determinar si los efectos del proyecto pueden generalizarse o si el proyecto tiene un mayor potencial de aplicación, si estamos interesados en estas cuestiones. En otras palabras, nos preguntamos acerca de la posibilidad de retomar el proceso implementado por el proyecto para aplicarlo en otros entornos, en otras poblaciones. Se puede, entonces, generalizar las conclusiones, pero no los resultados. Cuando se hace, a partir de una muestra, una generalización destinada a otros grupos de participantes, es preciso verificar la representatividad real de la muestra. La evaluación se interesa por la extensión de cada parte del proyecto a otras y de un conjunto de variables a otro para evitar la descripción del proyecto como una serie de acontecimientos desconectados entre sí. Por ejemplo, si la definición de las tareas del personal de alto nivel de un proyecto se caracteriza por sus límites difusos, resulta justificado preguntarse si esto también caracteriza las tareas de todo el personal del proyecto. Si existe una falta de familiaridad con los conceptos centrales de un proyecto en una de las escuelas que participan en el mismo (es decir que hay un problema en una escuela en particular), ¿se presenta esta misma deficiencia en otras escuelas del proyecto? ¿Han tenido los gestores del proyecto dificultades para transmitir su mensaje? Estas hipótesis sobre la posibilidad de generalizar los resultados de una evaluación ayudan al evaluador a elaborar un retrato coherente de un programa, a identificar fenómenos inusuales (por ejemplo, una ineficiencia en una situación en la que se suele ser eficiente) y a determinar el origen de estos problemas (gestores incapaces de movilizar a los maestros, quienes ya no confían en ellos). La posibilidad de generalizar un resultado particular proporciona a los evaluadores un instrumento importante para comprender el campo en el que trabajan. Esto aporta conocimientos importantes y pertinentes tanto para ellos como para el proyecto en el que toman parte. El examen de un número de variables significativas, en el marco de una investigación estructurada, puede formar parte de un contexto más amplio de evaluación que incluye otros exámenes, variables adicionales y preguntas relativas a los vínculos entre los acontecimientos y los efectos de sus interacciones. Los conceptos operacionales de ‘variables aisladas’, ‘muestras controladas’ y ‘generalización’ no existen en el ámbito de la evaluación. En la práctica, las variables

Enfoques y prácticas en la evaluación de programas

no están aisladas, los grupos examinados no son puros ni están controlados y la posibilidad de generalizar es muy limitada e incluso nula en muchas ocasiones. La influencia que pueden tener estos conceptos en el éxito o fracaso de un proyecto en particular no suele ser el tipo de pregunta que los investigadores se plantean; pero para los evaluadores esta es la esencia de su trabajo. Los investigadores eligen sus temas de investigación en función de su campo de especialización, así como del interés y la importancia que presentan estos temas. Los evaluadores eligen los suyos en función de la utilidad probable de las respuestas que obtendrán para el proyecto en el que trabajan. En otras palabras, hacen su elección en función de la pertinencia para el proyecto. La importancia de la pertinencia

La pertinencia de una evaluación es sumamente importante, puesto que una parte esencial de su valor es que debe estar en condiciones de suministrar una retroinformación eficaz a los responsables de un proyecto. El evaluador proporciona un servicio que debe ser eficaz, y la eficacia y la pertinencia de la retroinformación sobre los resultados de un proyecto en un momento determinado y para una clientela específica, dependen de la calidad del examen realizado. En investigación, dado que el objetivo es generalizar los resultados, no se cuestiona la pertinencia de estos para el ámbito en que se hace la investigación (a menos que se trabaje en el departamento de “investigación y desarrollo” de una empresa, que debe satisfacer necesidades muy específicas). Es posible que haya una negociación entre el evaluador y los directores del proyecto o los proveedores de fondos, sobre los temas que son o no pertinentes y la asignación de recursos destinados a la evaluación. El interés de una evaluación es una razón suficiente para justificarla, pero no es suficiente para formular las preguntas de la evaluación. Los temas de investigación científica, por el contrario, no son objeto de negociaciones, sino más bien de discusiones entre un investigador y sus colegas. Las decisiones sobre la manera de examinar un tema de investigación queda a discreción de sus promotores. La aplicación de un procedimiento de examen para hacer un seguimiento de variables generalizadas y abstractas, no tiene gran utilidad ni para los evaluadores ni para sus clientes a la luz del criterio de pertinencia. Esto se debe a que las respuestas que pueden surgir distan mucho de la realidad de los clientes y de sus preocupaciones inmediatas. Para ser pertinente y útil, la retroinformación debe cumplir las siguientes condiciones: La inmediatez: la retroinformación debe ser inmediata u ofrecerse en un plazo que permita hacer un análisis de los resultados y sacar conclusiones que

2. Investigación y evaluación de programas

contribuyan a un cambio o a la planificación de un cambio. Si la retroinformación se dilata mucho tiempo corre el riesgo de ser inútil para las personas a las que va destinada. Incluso en el caso de una evaluación sumativa post facto, la retroinformación debe estar disponible rápidamente para fines de planificación futura. La especificidad: la retroalimentación debe ser específica para dar respuestas que guarden una relación directa con el proyecto que es objeto de la evaluación. Lo que significa que está dirigida al público objetivo del proyecto, a sus gestores y sus planificadores. Por lo tanto, no debería tratar de conceptos generalizados. Encontramos un buen ejemplo de esto en un proyecto de fortalecimiento de la autonomía de las mujeres entre los beduinos. La frustración de estas mujeres puede llegar a ser más clara para las personas que dirigen este proyecto, si se examinan los factores concretos de su situación. Por ejemplo, en el proceso de retroalimentación no sería recomendable decir: “la estructura patriarcal de esta sociedad se ve amenazada, por lo tanto los hombres se oponen al proyecto dado que las mujeres recibirían un trato diferente. Es preciso hacer algo para reducir la percepción de amenaza y la resistencia resultante”. Sería preferible limitarse a indicar a las partes interesadas en el proyecto que los hombres no cooperan, que no permiten que sus esposas participen en ciertas actividades, y que es conveniente reunir a los hombres para explicarles los objetivos del programa. Los resultados expresados como leyes universales o conceptos teóricos abstractos por lo general son inútiles para los gestores y los responsables de tomar decisiones que trabajan en el terreno. Además, los no iniciados en el campo de las ciencias no siempre los entienden a cabalidad. El lenguaje del proyecto: la retroalimentación debe formularse utilizando la terminología propia del proyecto o al menos en un lenguaje comprensible para sus gestores y promotores, aunque sus definiciones y su terminología no correspondan del todo a la jerga profesional de los evaluadores. Si, dentro de la terminología de un proyecto, se utiliza el término “asesores”, este no debe remplazarse por “jefes de grupo”, “agentes de cambio”, “coordinadores” o “facilitadores”. Si un proyecto habla de crear poder o autonomía en una población determinada, estos son los conceptos que deben utilizarse. Se puede, por supuesto, negociar un cambio en caso de utilización de conceptos inadecuados, o tratar de introducir términos nuevos durante la implementación de la evaluación; pero cuando ya existe una terminología propia, es preciso utilizarla. Esto es válido para diferentes tipos de evaluación, como la evaluación formativa, la sumativa, la de procesos y la de resultados.

Enfoques y prácticas en la evaluación de programas

Los juicios de valor: no se puede hablar de pertinencia de la retroalimentación sin abordar una de las principales diferencias entre la evaluación y la investigación; diferencia relacionada con la pertinencia de los resultados, es decir, la cuestión del “juicio” inherente a la evaluación. La historia de la disciplina de la evaluación muestra que la necesidad del cliente está inscrita en el corazón mismo de su desarrollo, dado que el papel de los evaluadores es interpretar y juzgar los resultados de los programas. Es también el origen de la evaluación como disciplina. A finales de la década de 1970 se fundó un comité en los Estados Unidos encargado de definir la esencia de la evaluación como disciplina. Este comité decidió insistir en la importancia de la decisión que debe tomar el evaluador con respecto al valor del objeto evaluado (JCSEE, 1981). Esto también se aplica a las evaluaciones sumativas, que se centran en un único resultado, es decir, medir el logro de los objetivos de un proyecto, lo cual es una petición frecuente (Mor, 1992). Esto es especialmente cierto en lo que respecta a los enfoques formativos tan populares hoy en día, que examinan el valor de los objetivos de un proyecto, los daños o pérdidas que puede acarrear y la importancia de sus efectos. La investigación científica intenta ser objetiva y los resultados constituyen su mensaje final. La evaluación, dado que es una herramienta para la toma de decisiones, no puede, y no debería, evitar hacer recomendaciones, incluso si estas atañen a valores. Un proceso de evaluación que no suponga más que la recolección de datos, sin emitir juicio alguno sobre su esencia, sin dar una opinión, sin una propuesta de solución alternativa y sin elegir entre ellos, no sería ni posible ni deseable (Cordray, 1986; JCSEE, 1981; Levin-Rozalis, 1987, 1998; Lincoln y Guba, 1986; Scriven, 1967, 1983; Stake, 1969). El problema de la causalidad

El esfuerzo realizado para entender la causa y la naturaleza de un fenómeno, así como la naturaleza de la causa misma, representa un elemento importante de la retroinformación procedente de una evaluación. Es posible por lo menos intentar controlar los efectos de una causa si esta se conoce, pero las respuestas con respecto a los vínculos entre variables generalmente no son satisfactorias. Nachemias y Nachemias (1982) sostienen que existe un dilema fundamental entre la causalidad y la generalización: para garantizar que la evidencia de la causalidad sea clara a menudo se sacrifica la posibilidad de generalizar. Esto es sin duda cierto para la investigación científica. Pero en la evaluación, como se dijo anteriormente, la posibilidad de generalizar no suele ser tan importante como la comprensión de la causa de un fenómeno.

2. Investigación y evaluación de programas

Por ejemplo, los niños participantes en un proyecto (Levin-Rozalis y Bar-On, 1994) se quejaban constantemente de la comida, que calificaban de “comida de escuela”, y decían querer “comida de casa”. En diferentes ocasiones se intentó mejorar la calidad de las comidas o preparar platos de la cocina tradicional, pero todo fue en vano. No había ninguna correlación entre el tipo de alimentos y el número de quejas. Una investigación exhaustiva demostró que, en realidad, a los niños no les parecía mala la comida, pero que para ellos esta era una forma de expresar su descontento con el proyecto, por falta de disponer de otros medios para hacerlo. No se atrevían a expresar esta insatisfacción porque consideraban que era un honor formar parte de este proyecto. Al entender la naturaleza del problema de los niños y, por lo tanto, la causa de sus quejas, los gestores del proyecto pudieron hablar abiertamente sobre el problema y resolverlo. Una vez resuelto, cesaron las quejas con respecto a la comida. Mor (1992) sostiene que ni siquiera una evaluación sumativa, que se realiza al terminar un proyecto, puede contentarse con los solos resultados. Es preciso analizar lo que se ha hecho y cómo se ha hecho, explicar por qué los resultados son lo que son y definir las causas de este estado de cosas. Desde luego, esto no quiere decir que necesariamente exista una explicación causal, ni que siempre sea fácil encontrarla, ni tampoco que los evaluadores deban hacer grandes esfuerzos para descubrirla.

3. La construcción de un juicio Bernard Perret

Las definiciones comunes de evaluación se centran en la idea de medida: evaluar un programa o una política es, en esencia, medir sus efectos. Esta caracterización tiene la ventaja de ser sencilla, pero refleja bastante mal la realidad de las prácticas. El objetivo de esta disciplina no es solo medir los efectos de las acciones públicas, sino también comprender sus mecanismos. Por otra parte, la evaluación no es una actividad puramente científica: es un proceso colectivo de construcción de juicios prácticos, es decir, de juicios hechos para tomar medidas o decisiones. Ahora bien, todo juicio se materializa en un lenguaje. Para contribuir a la articulación de un juicio, los hechos brutos deben transformarse en argumentos. Por lo tanto, la evaluación tiene un carácter retórico. Término que no tiene aquí ninguna connotación peyorativa, simplemente remite a la idea de una “práctica regulada” de la argumentación. Es sugestivo, desde esta perspectiva, pensar el desarrollo de una evaluación como el de un proceso, modelo de una discusión sujeta a normas formales sobre el estatus, los criterios de validez y el peso relativo de los argumentos. Al establecer este marco de análisis, no se pierden de vista los aspectos técnicos de la evaluación, sino que se ponen en contexto. La búsqueda de pruebas válidas, objeto central del debate metodológico, se inscribe en el contexto más amplio de una reflexión sobre las bases de un juicio práctico. No se trata de eludir los imperativos del método científico, sino más bien de ampliar la exigencia de rigor a todo el proceso social de evaluación, de principio a fin del trabajo de investigación, desde la formulación de las preguntas de evaluación hasta las técnicas de edición y difusión de los resultados. Los límites del análisis causal

Con frecuencia se utiliza la expresión “investigación evaluativa” (evaluation research) para designar la parte más “científica” del trabajo de evaluación, a saber, la medición y el análisis de los efectos propios de una acción (normalmente un “programa”) en la sociedad.

Enfoques y prácticas en la evaluación de programas

En sus comienzos, la evaluación de programas trataba de imitar las ciencias denominadas “exactas”, como la biología. El objetivo era medir los efectos de las intervenciones en la sociedad con el mismo rigor científico que se exige, por ejemplo, en las pruebas de eficacia de un nuevo medicamento. Aun hoy en día, la evaluación evaluativa se entiende principalmente como una actividad de modelización y medición. Se trata, idealmente, de establecer y cuantificar un vínculo de causalidad entre un “tratamiento” y un efecto buscado (por ejemplo, entre una medida de fomento del empleo y la disminución del desempleo). En la práctica, sin embargo, esta ambición se enfrenta a dos tipos de obstáculos. En primer lugar, la evaluación trata a menudo de políticas complejas que combinan diferentes tipos de medidas (subvenciones, reglamentaciones, etc.), cuyos objetivos son reformulados a lo largo del tiempo y cuyo contenido concreto es modificado en función de las situaciones locales. Esto puede ilustrarse con el ejemplo de los programas de desarrollo social en las zonas urbanas desfavorecidas, constantemente revisados y vueltos más complejos a lo largo de los años. En tal caso, el análisis causal parece fuera de contexto, e incluso carece de sentido. En segundo lugar, cuando la naturaleza de las preguntas planteadas hace que este sea posible, el análisis causal tropieza a menudo con obstáculos técnicos que limitan su alcance. Medir un efecto es siempre comparar dos situaciones: de un modo u otro, hay que observar o reconstruir lo que habría sucedido si no se hubiera implementado el programa. No hay necesidad de presentar en detalle los métodos utilizados para este propósito (experimentación con un grupo de control, protocolo cuasiexperimental con estimación de un modelo, etc.). Así, es suficiente con señalar que rara vez se reúnen las condiciones prácticas para su aplicación, ya que suponen protocolos de observación rigurosos y datos completos sobre los fenómenos analizados. La evaluación se interesa tanto en la comprensión como en la medición

Aun suponiendo que el análisis causal conduzca a conclusiones precisas, no es frecuente que la evaluación se contente con eso. En primer lugar, incluso cuando se logra medir un efecto, resulta casi tan importante entender cómo y por qué se produce. Chen toma el ejemplo de los medicamentos: “Si una evaluación de ‘caja negra’ demuestra que un nuevo medicamento puede tratar una enfermedad, pero no proporciona información sobre sus mecanismos de acción, los médicos vacilarán en recetar este nuevo medicamento, porque no se conocerán las condiciones en las que actúa ni los riesgos de efectos secundarios” (1990, p. 18 y 42; véase también: Chen, 2005). El análisis de los mecanismos —que se basa en las investigaciones cualitativas (monografías, encuestas mediante entrevistas, etc.), pero también en la actividad

3. La construcción de un juicio

autointerpretativa de los propios actores—, pretende especialmente determinar en qué condiciones y en qué contexto un programa es susceptible de producir los efectos esperados. El adjetivo “cualitativo”, que se opone a “cuantitativo”, significa simplemente que el análisis tiene por objeto describir y comprender con palabras más que con cifras. Una corriente importante de la evaluación contemporánea, la evaluación basada en una teoría (Theory based evaluation), recomienda centrar la evaluación en los mecanismos de acción o, en términos más amplios, en la “teoría del programa”. La teoría de un programa es la estructura lógica de las ideas y los razonamientos en los que él se basa. Esta teoría puede dividirse en segmentos elementales constituidos, por ejemplo, de relaciones supuestas entre los incentivos y el comportamiento de las personas o comunidades que se benefician de ellos. Los evaluadores a veces proporcionan una representación gráfica (como en el llamado método del “marco lógico”). Elaborar una política es como construir una teoría: esto equivale a emitir hipótesis sobre las consecuencias de determinadas acciones. Estas hipótesis son a menudo frágiles, están basadas en ideas recibidas. El objeto mismo de la evaluación es someterlas a la prueba de los hechos. En la práctica, dado que la medición de los efectos es difícil, con frecuencia basta con observar lo que sucede, con describir e interpretar el comportamiento de los actores sociales en cuestión, para hacerse una idea de la validez de los razonamientos que sustentan una política. La evaluación debe procurar cuestionar las ideas de los encargados de formular políticas

El juicio evaluativo nunca es el resultado mecánico de la aplicación de un método, ya sea cualitativo o cuantitativo. Como todo juicio, es también un trabajo sobre las representaciones de la realidad, que pasa por la mediación del intercambio verbal. Como lo indican Thomas Schwandt y Jennifer Greene (2006), “el interés por las técnicas o los métodos no debe ocultar la naturaleza fundamentalmente discursiva de la evaluación”. El término “discursivo” significa aquí “el hecho de que el vocabulario y los conceptos utilizados para conocer y expresar el valor de una política son construcciones sociales de los seres humanos”. Es importante comprender que esta “construcción social de la realidad” (Berger y Lupman, 1966) no puede circunscribirse a la evaluación. Es poco frecuente que los métodos de la investigación evaluativa permitan responder a todas las preguntas que se plantean en relación con una acción pública. Los encargados de formular políticas y los actores disponen siempre de otras informaciones, de orígenes y naturalezas diversos, que les permiten como mínimo formarse una opinión: estadísticas, artículos de prensa, opiniones expresadas por los grupos

Enfoques y prácticas en la evaluación de programas

de interés, etc. Obviamente, la influencia de estas distintas informaciones no es proporcional a su pertinencia científica. Algunos datos impresionan porque afectan directamente la sensibilidad, creando o reforzando opiniones que un análisis riguroso de la realidad tendrá muchas dificultades para deconstruir. Así sucede, por ejemplo, con las noticias de “sucesos”, cuando son presentadas por los medios de comunicación como imágenes emblemáticas de una sociedad carcomida por la inseguridad. Todas estas informaciones son organizadas, interpretadas y ponderadas por sus receptores en función de su experiencia, sus inclinaciones ideológicas y sus necesidades prácticas. Desde antes de su inicio, quienes encargan una evaluación tienen sus propias ideas sobre la política evaluada, sus resultados probables y lo que, llegado el caso, puede “causar problemas”. En otras palabras, tienen su propia teoría sobre esta política. Es importante que la evaluación tenga en cuenta el punto de vista inicial de los encargados de formular políticas y de otros protagonistas de la evaluación, no como verdades definitivas, desde luego, sino como hipótesis que han de ser verificadas y relativizadas o profundizadas. Para que el impacto de una evaluación en las representaciones comunes de la realidad sea más importante, ella debe tratar de cuestionar dichas representaciones, someterlas a pruebas susceptibles de invalidarlas. Ahora bien, esto solo puede hacerse situándose en un mismo espacio semántico. Si los resultados de las evaluaciones son muchas veces ignorados o desatendidos, es porque a menudo se expresan en un lenguaje que sus destinatarios no reconocen, por ser demasiado diferente de aquel en el que ellos formulan sus preocupaciones, sus convicciones o sus experiencias. Por esto el trabajo relacionado con la formulación de las preguntas de evaluación reviste una importancia crucial. Producir datos significativos en relación con las representaciones comunes

El propósito de la evaluación no es producir datos científicos, sino más bien reducir la incertidumbre y reforzar la coherencia de las decisiones y las prácticas. En ausencia de pruebas formales de la eficacia de una acción, con frecuencia nos contentamos con “cuasi pruebas”, o incluso con indicios. En la vida real, muchas veces nos permitimos sacar conclusiones generales a partir de un pequeño número de observaciones, siempre que estas tengan sentido, es decir, que se integren en un sistema racional y verosímil previamente construido (el equivalente, podría decirse, del “móvil” de un crimen). Quedamos satisfechos cuando disponemos de un conjunto de indicios convergentes que pueden obtener la “íntima

3. La construcción de un juicio

convicción” de una persona de buena fe (utilizo deliberadamente el vocabulario del juicio penal). Lo mismo ocurre en la evaluación. La siguiente frase, tomada de un informe de evaluación, ilustra la manera como la observación de una muestra limitada refuerza un punto de vista previamente constituido: “se ha demostrado que las patologías psiquiátricas que afectan a los padres pueden generar un riesgo importante de maltrato. Así, en nuestra serie de 39 parejas que han ejercido el maltrato hacia sus hijos, 20 presentaban trastornos o antecedentes psiquiátricos importantes”. Demasiada información oculta la información clave

Los juicios prácticos sobre la acción pública se apoyan en datos numerosos y variados. Se podría deducir, un tanto apresuradamente, que la evaluación, ante todo, debe tratar de reunir la mayor cantidad de información sobre su objeto, en el supuesto de que nunca se está demasiado bien informado. Pero esto sería olvidar que un exceso de información inadecuada es casi tan perjudicial como la falta de información. Todos estamos abarrotados de datos no pertinentes —el fenómeno del correo no deseado (spam) constituye un buen ejemplo— que debemos eliminar a costa de inversiones significativas de tiempo y de atención. Es preciso reconocer que no toda información debe tenerse en cuenta. Uno de los que más lúcidamente ha llamado la atención sobre este fenómeno es Herbert Simon, premio Nobel de Economía: “en un mundo donde la atención es un recurso terriblemente escaso, la información puede ser un lujo costoso, ya que puede desviar nuestra atención de lo que es importante hacia lo que no lo es. No podemos permitirnos procesar una información simplemente porque está ahí” (Leca, 1993). Basta con echar un vistazo a un informe sobre un tema cualquiera para comprobar que contiene en general una gran cantidad de datos inútiles. Para ser útil, la información evaluativa debe construirse y configurarse de acuerdo con necesidades específicas. La lista de aspectos a abordar debe establecerse en función de las expectativas expresadas por los encargados de formular políticas y los grupos interesados. Del mismo modo, en la etapa de la redacción del informe, los resultados, las conclusiones y las recomendaciones deben jerarquizarse teniendo en cuenta estas expectativas. Un informe debe llamar la atención sobre los datos más importantes y “ponerlos en escena” de manera adecuada. El cerebro humano no funciona como una computadora

Esta concepción “constructivista” de la evaluación puede ser respaldada por consideraciones tomadas de trabajos contemporáneos sobre el funcionamiento del cerebro humano (véase: Varela, 1999, Kolb y Whishaw, 2002). En la actualidad

Enfoques y prácticas en la evaluación de programas

entendemos que no funciona como una computadora, sino como un sistema en equilibrio dinámico con una gran capacidad de autorregulación. A diferencia de una computadora, que procesa de forma sistemática los datos que le son presentados por sus dispositivos de entrada, nuestro cerebro elige “libremente” si toma en cuenta o no la información que capta a través de los cinco sentidos. La integra en función de su propio programa, que mantiene registros de toda la experiencia anterior de la persona. En otras palabras, el cerebro dedica la mayor parte de su energía a responder las preguntas que él mismo se plantea, y esto dentro de la lógica de su propio movimiento. Nuestra principal preocupación no tiene que ver con lo que vemos y oímos, sino con la manera en que estas informaciones nuevas pueden ayudarnos a resolver nuestros problemas, afectar nuestras creencias y, en general, facilitar o complicar el manejo de nuestros estados mentales. El lector de un informe de evaluación, como cualquier otro sujeto pensante, utiliza de manera selectiva la información puesta a su disposición en función de sus necesidades y centros de interés; puede aprovechar mejor los resultados de la evaluación si estos hablan su lenguaje y responden a sus preocupaciones. El enfoque cognitivo de las políticas públicas

La evaluación, en resumen, es siempre un trabajo sobre el lenguaje y las representaciones. No solo produce conocimientos, sino también nuevas ideas, una nueva forma de abordar los problemas. Contribuye a producir nuevos marcos referenciales para la acción pública. Esta concepción de la evaluación hace eco del “enfoque cognitivo de las políticas públicas”. Según esta corriente de pensamiento (Muller, 2006), resulta erróneo considerar que las políticas públicas son fruto de decisiones racionales adoptadas por responsables de formular políticas que son todopoderosos y sabios. En realidad, la acción pública es el resultado inestable de una confrontación sin fin entre fuerzas sociales e ideologías contradictorias. Y es de este enfrentamiento que surgen los conceptos que sirven de fundamento intelectual e ideológico a la acción pública. Como indica Yves Surel (2000): “las políticas públicas son fruto de interacciones sociales que dan lugar a la producción de ideas, representaciones y valores comunes”. La evaluación puede considerarse como un método de organización de procesos cognitivos y discursivos formalizados que participan de un proceso más amplio de interacciones sociales en torno a los desafíos de la acción pública. Es importante precisar que ella asegura esta función de producción de marcos referenciales en diferentes niveles: tanto en el de la concepción de políticas como en el de su implementación por parte de los actores locales. En cada uno de estos niveles, la acción pública es,

3. La construcción de un juicio

de hecho, parcialmente redefinida en sus modalidades y sus objetivos, y puede ser puesta en tela de juicio por la evaluación. La evaluación como proceso organizado de producción de ideas compartidas

En una operación de evaluación, por lo tanto, el conocimiento no es un fin en sí mismo. Se trata siempre de responder a las preguntas planteadas por los responsables de formular políticas y los actores políticos. La adaptación de los conocimientos producidos a las necesidades de sus usuarios es reveladora de la calidad del proceso y del procedimiento de evaluación. El proceso es el conjunto de las interacciones sociales suscitadas por la evaluación para negociar su objeto, sus preguntas, sus métodos (el “proyecto de evaluación”) y la formulación de sus conclusiones. El procedimiento es la forma institucional de este proceso. Conlleva principalmente la estructuración de una “escena evaluativa”: distribución de funciones entre quien encarga la evaluación, el director del proyecto, el comité de evaluación, los expertos y los responsables del estudio. El procedimiento abarca también las normas metodológicas y éticas que regulan el proceso: normas de calidad elaboradas por las sociedades profesionales de evaluación o normas internas de una organización. La elección de los criterios de resultado

Previamente a la investigación evaluativa, el proceso de evaluación empieza con la formulación de preguntas evaluativas, basadas en una explicación de la teoría del programa centrada en la articulación y la jerarquización de sus objetivos. De hecho, los criterios de los resultados finalmente seleccionados en una evaluación solo representan un subconjunto de la amplia gama de fenómenos susceptibles de ser afectados por el programa. Incluso antes de tratar de medir los resultados, se debe construir un marco de análisis y determinar a priori los efectos observables con más probabilidades de proporcionar información sobre el éxito del programa, en relación con sus objetivos políticos (el “marco de referencia de la evaluación”). La elección de los marcos de descripción

Toda operación de recopilación de información supone la construcción previa de categorías, nomenclaturas, indicadores, entre otros. También es necesario proceder a hacer las demarcaciones temporales, espaciales. “Toda cuantificación implica una configuración previa de la realidad: es necesario elegir los fenómenos a medir entre una multitud de posibilidades, definir ‘unidades estadísticas’ (dar un sentido preciso a términos como hogar, empresa, conjunto, barrio), elaborar tipologías y

Enfoques y prácticas en la evaluación de programas

nomenclaturas. Las cifras solo tienen sentido en el interior de un marco conceptual respaldado por una representación más o menos convencional de la realidad. Esta siempre es motivo de controversias, como lo demuestran los debates recurrentes sobre la medición de una ‘tasa de desempleo’ o de una ‘tasa de criminalidad’, por ejemplo” (Perret y Seibel, 1993). Una discusión pluralista para interpretar los resultados

En la etapa posterior a la medición, la interpretación de las cifras se basa siempre en modos de entender la realidad que afecta a los datos. Es preciso, por una parte, seleccionar los resultados más importantes y, por otra, transformarlos en conclusiones, juicios y recomendaciones. Para ello necesitamos criterios, puntos de comparación que hay que buscar en una reserva de referencias previamente constituidas. Por ejemplo, en una investigación evaluativa se demuestra que esta actividad de interpretación es inherente a la producción de cifras. La medición de un fenómeno solo tiene sentido en comparación con otros fenómenos supuestamente mejor conocidos por el lector: “la frecuencia de los maltratos infligidos a los recién nacidos es elevada (1,8% de la población total). Para proporcionar una comparación, la frecuencia de esta patología se puede homologar a la de las malformaciones fetales en la totalidad de la población”. En una investigación del dominio de una disciplina científica (Economía, Sociología, Ciencias de la Educación, Salud Pública, entre otras), todos los datos son interpretados en el contexto de ese marco conceptual. Se espera que el investigador domine a la vez el objeto de la investigación, sus objetivos y su contexto. No ocurre lo mismo en el caso de la evaluación. Dado que involucra consideraciones políticas u operacionales que no son del dominio de un ámbito científico especializado, la interpretación de los resultados deja de ser un monopolio de los expertos para convertirse en una cuestión de debate pluralista. La organización de este debate es una de las tareas principales de los comités u órganos de evaluación encargados de dirigir sus procesos. La contribución de la teoría de la argumentación

Una tradición que se remonta a Aristóteles Los anteriores desarrollos muestran lo interesante de analizar las prácticas evaluativas como prácticas argumentativas. Para Jürgen Habermas (1981, p. 41), una práctica argumentativa puede analizarse según tres puntos de vista: el proceso (social), el procedimiento (las normas) y la producción de argumentos. Estos tres aspectos se encuentran en la evaluación. En el ámbito social existen diferentes tipos de prácticas argumentativas, cada una de las cuales se caracteriza por la

3. La construcción de un juicio

naturaleza de los argumentos intercambiados (políticos, jurídicos, éticos, estéticos, etc.) y las “pretensiones de validez” emitidas. La noción de “pretensión de validez” es importante. Significa que todo argumento pretende establecer una verdad, pero que no todas las verdades se sitúan en el mismo plano. Para poner un ejemplo clásico, no es pertinente poner un juicio estético o moral frente a un argumento de hecho. El origen de la reflexión sobre la argumentación puede remontarse a la Retórica de Aristóteles. Aunque se ocupe principalmente de la retórica entendida como el arte de la persuasión (“la retórica es la facultad de considerar en cada caso aquello que puede ser apropiado para persuadir”), Aristóteles señala que puede ser vista desde una perspectiva más amplia, como el arte de la discusión adaptado al examen de cuestiones inciertas: “el objeto de la retórica no es tanto persuadir como ver el estado probable de las cosas en relación con cada cuestión”. Aristóteles hace especial hincapié en el vínculo entre la retórica y la incertidumbre. Si la cuestión de la argumentación se plantea, es que hay incertidumbre, y por tanto, duda o pluralidad de opiniones legítimas: deliberamos sobre cuestiones que involucran soluciones diversas, pues nadie delibera sobre hechos que no pueden haber sido, ser o deber ser de una manera distinta a aquella en que se nos presentan; en cuyo caso no queda más que reconocer que son así. (Aristóteles, 1991, pp. 81 y 87)

Para Aristóteles una de las características de la retórica es el uso frecuente de la inducción, es decir de los ejemplos, por falta de poder demostrar de manera vinculante las tesis que se quiere defender.

El esquema de Toulmin

El lógico británico Stephen Toulmin (1993) sentó las bases para una reflexión moderna sobre la argumentación. Su teoría del argumento puede resumirse en un diagrama que permite visualizar la estructura lógica de toda forma de argumentación:

Enfoques y prácticas en la evaluación de programas

Figura 3.1.

Probablemente Dato

cualificación

Porque

salvo que

Justificación

salvedad

pretensión (claim)

En virtud de

Fundamento

• • • • •

•

La pretensión es el punto (siempre sujeto a discusión) que desea establecer el autor del argumento. No es una simple afirmación, sino una conclusión parcial que justifica un esfuerzo de argumentación específico. El dato es la información nueva movilizada como apoyo directo de la pretensión.

La justificación expresa el razonamiento utilizado para establecer un vínculo entre el dato y la pretensión.

El fundamento está constituido por los hechos o razonamientos, supuestamente previamente conocidos, que vienen a fundar, reforzar o legitimar el principio contenido en la justificación.

La calificación indica el grado de certeza o la fuerza racional que el autor atribuye a la justificación.

La salvedad precisa las circunstancias o las condiciones que pueden reducir la fuerza y el alcance del argumento.

Esta estructura lógica no debe confundirse con la estructura gramatical de las oraciones. El esquema de Toulmin rara vez se reconoce a primera vista. De hecho, no siempre resulta fácil distinguir el dato, la justificación y el fundamento. Tomemos la siguiente frase: “La reciente disminución de [la tasa de] desempleo parece demostrar la eficacia de las medidas gubernamentales”. Este argumento se desglosa como sigue: • •

Pretensión: las medidas gubernamentales son eficaces. Dato: disminuye la tasa de desempleo.

3. La construcción de un juicio

• • • •

Justificación: la coincidencia entre la implementación de medidas y la disminución de la tasa de desempleo es indicio de una relación de causa-efecto. Fundamento: se sabe además que las medidas gubernamentales son, por su naturaleza misma, susceptibles de ser eficaces. Calificación: se expresa mediante un verbo modal, en este caso “parece”. Salvedad: ninguna.

Toulmin insiste en el hecho de que todos nuestros argumentos tienen una cara oculta. Se refieren de forma implícita a elementos del contexto supuestamente conocidos y bien interpretados. La validez de un argumento, por tanto, no es una cuestión de lógica pura: depende de estipulaciones supuestas y aceptadas por el público del debate. En el ejemplo anterior es evidente que el argumento tiene poco valor si no se cree desde un principio en la posible eficacia de las medidas gubernamentales. Una de las contribuciones de Toulmin ha sido el hecho de señalar que no se pueden analizar las prácticas de argumentación refiriéndose al modelo de la lógica formal. El modelo pertinente sería más bien el del proceso judicial, que puede ayudar a tomar conciencia de la heterogeneidad de los argumentos presentados en toda discusión orientada hacia un juicio: Los enunciados judiciales tienen varias funciones distintas. Sentencias sobre una queja, pruebas de identificación, testimonios acerca de acontecimientos o controversias, interpretaciones de un estatuto o discusión de su validez, exenciones de la aplicación de una ley, alegatos de mitigación, veredictos, sentencias. Todas estas clases de proposiciones tienen un papel que desempeñar en el proceso judicial, y las diferencias entre ellas distan mucho de carecer de importancia. Cuando abandonamos el ámbito particular del derecho para considerar los argumentos racionales en general, hacemos frente enseguida a la cuestión de saber si no es preciso analizarlos con ayuda de un conjunto de categorías de igual complejidad. (Toulmin, 1993, p. 96)

Tipos de datos y justificaciones utilizados en la evaluación

En las evaluaciones se encuentran argumentos de naturaleza fáctica (hechos brutos, cifras, observaciones y descripciones), pero también argumentos lógicos (basados en un razonamiento lógico-matemático) y argumentos basados en testimonios, puntos de vista u opiniones. Algunos argumentos tienen carácter normativo: se basan en valores o normas supuestamente reconocidos. Además se encuentran argumentos de autoridad que se presentan bajo diversas formas: autoridad de un experto, de una teoría, de un corpus de conocimientos, entre otros. Es importante distinguir estos diferentes registros y poner de manifiesto claramente su articulación respectiva.

Enfoques y prácticas en la evaluación de programas

No todos los argumentos tienen el mismo alcance. Los métodos de la investigación cuantitativa tienen por objeto producir argumentos casi vinculantes basados en certezas de tipo matemático. Sin embargo, de la obra de Toulmin se desprende que el vínculo entre los hechos establecidos y las conclusiones que se sacan no es estrictamente lógico, y se justifican a su vez en fundamentos de diversa índole. De ello se deduce que los argumentos fácticos o científicos siempre deben transigir con argumentos de estatus más incierto. Para mantenerse en el nivel más elemental, una cifra debe siempre ser calificada para permitir emitir un juicio sobre una situación: el aumento del número de beneficiarios de una medida puede calificarse de “rápido” o “lento”, la evolución de una situación puede calificarse de “satisfactoria” o “preocupante”, un efecto puede calificarse de “significativo”, etc. Los elementos de una “buena práctica” de la argumentación

La evaluación como discusión metódica En muchos aspectos, la evaluación se asemeja a una discusión ordinaria en la que se intercambian argumentos con el fin de llegar a un juicio mejor fundado y, siempre que sea posible, compartido. Si el juicio evaluativo se diferencia del juicio ordinario, es menos por su objeto y la naturaleza de las informaciones movilizadas, que por el esfuerzo de inscribir el proceso argumentativo en un marco metodológico y procedimental riguroso. El siguiente extracto, tomado de una guía metodológica francesa, resume perfectamente este punto: A diferencia de la investigación científica realizada en un marco disciplinario determinado, que privilegia un número limitado de razonamientos, la evaluación intenta utilizar todas las heurísticas, y adaptarse a las condiciones reales de la deliberación y de la adopción de decisiones. Como cualquier discusión o reflexión que tiene efectos prácticos, la evaluación no excluye a priori ningún elemento de información referente a su objeto, cualquiera que sea su naturaleza (cuantitativa o cualitativa) y su origen, siempre que parezca pertinente. [Pero] este eclecticismo no es sinónimo de confusión: contrariamente a una discusión ordinaria, llevada a cabo sin método formal, la evaluación se esfuerza por no mezclar los diferentes tipos de argumentos; sino más bien por jerarquizarlos, ponderarlos y vincular cada uno de ellos a conclusiones específicas. (Consejo Científico de la Evaluación, 1996, p. 49)

“Discutibilidad” versus persuasión La analogía del proceso, descrita anteriormente, es sugestiva pero no del todo pertinente. Una evaluación no es el enfrentamiento regulado de dos tesis contradictorias, sino un proceso cooperativo mediante el cual se trata de establecer un juicio razonable en relación con los criterios socialmente legítimos (los objetivos

3. La construcción de un juicio

de una política específica o, más ampliamente, el interés general). Un informe de evaluación debe, entonces, garantizar la discutibilidad de las pretensiones que contiene. Todo debe hacerse de manera que un lector cualquiera pueda hacerse una idea precisa de la validez de los argumentos: conocimiento de las fuentes de información y de sus eventuales deficiencias. En otras palabras, conviene garantizar la trazabilidad de los argumentos. La explicitación de las preguntas como elemento de la trazabilidad de los argumentos

Un argumento constituye siempre la respuesta a una pregunta o cuestión.1 El lenguaje cotidiano lleva la marca de esto, ya que el término “cuestión” se asocia a menudo a la idea de significado —incluso en ausencia del signo de interrogación—, por ejemplo cuando en un texto se dice “es cuestión de”. En la presente discusión, las preguntas o cuestiones muchas veces permanecen implícitas. En cambio, en la argumentación en que se basa una decisión de justicia penal, las preguntas o cuestiones se plantean explícitamente. Lo mismo ocurre en la evaluación: la formulación en un lenguaje claro de las preguntas a las que se quiere responder es un factor de clarificación de la argumentación evaluativa. El hecho de recordar la lista de cuestiones examinadas permite determinar con mayor claridad las pretensiones y su naturaleza (lo que se quiere demostrar y en lo que nos basamos para este propósito). Consecuencias prácticas para los procesos de evaluación

La realización de un proyecto de evaluación debe orientarse hacia la construcción de un juicio razonable, “apropiable” y “discutible”. Esto supone sobre todo: •

Determinar ex ante —de antemano— los temas críticos desde el punto de vista de un juicio orientado a la acción, es decir, los temas a los que parece importante despojar de una incertidumbre, así como las ideas que es importante validar o precisar.

1 El término francés question es ambiguo. Corresponde en español tanto a pregunta como a asunto o materia. Esta

ambigüedad se presenta a lo largo de los textos originales. En español también se entiende ‘cuestión’ como (según

el DRAE): “Pregunta que se hace o propone para averiguar la verdad de algo controvirtiéndolo”, o como “asunto o materia”. Por claridad de la traducción muchas veces escogemos traducir este término como pregunta, pues en nuestro español predomina más el segundo significado de la palabra cuestión. En esta parte del texto se resalta esta

ambigüedad propia del término. Por esto, traduzco aquí esta palabra con los dos significados: cuestión o pregunta.

(N. del T.)

Enfoques y prácticas en la evaluación de programas

•

Formular las preguntas de evaluación en términos que prefiguren los puntos cruciales de la argumentación que se pretende construir.

•

Tener especial cuidado, en el momento de la redacción del informe de evaluación, con el rigor y la claridad de la argumentación. El informe de evaluación debe explicitar el objeto, los objetivos y los métodos implementados, sin olvidar especificar sus límites. Debe permitir al lector distinguir entre los hechos y las opiniones mayoritarias, entre las conclusiones que se sacan y las recomendaciones que se hacen.

•

Destinar los medios disponibles a las investigaciones para responder las preguntas más importantes desde el punto de vista de su impacto en los juicios prácticos de los responsables de tomar decisiones y los actores clave de la política.

Aplicar la exigencia de rigor a los procesos socio-cognitivos

Nuestra insistencia en las dimensiones discursivas e interpretativas de la evaluación no debe entenderse como una relativización de los desafíos del trabajo más estrictamente técnico de medición de los efectos de una acción. Se trata más bien de llamar la atención sobre el hecho de que la fase de recopilación y tratamiento de la información se inserta siempre en un proceso más amplio de interacciones sociales diversificadas cuya buena organización forma parte del trabajo de evaluación. Estas interacciones participan plenamente de la eficacia de la evaluación, no solo en el plano social, político y de gestión, sino también en el estrictamente cognitivo. En efecto, el conocimiento social solo tiene valor, utilidad e incluso consistencia en la medida en que esté vinculado a preguntas y juicios. Ahora bien, la elaboración de estos depende de un trabajo intelectual colectivo que se puede hacer más eficaz y pertinente al someterlo a normas metodológicas simples. Desde este punto de vista, la reflexión sobre métodos y procesos de evaluación tiene gran alcance epistemológico. Plantea la posibilidad y la conveniencia de aplicar los requisitos de rigor y objetividad que han constituido el éxito de la ciencia a una categoría más amplia de procesos socio-cognitivos. Esto deja entrever la posibilidad de desarrollar un método y prácticas encaminados a lograr que el trabajo de las sociedades humanas con respecto a sí mismas sea más reflexivo, organizado y sistemático, las cuales, por ahora, aprenden poco y muy lentamente de sus experiencias.

3. La construcción de un juicio

Para profundizar en el tema

Perelman, C., & Olbrechts-Tyteca, L. (1958). La nouvelle rhétorique. Traité de l’argumentation. Paris: Presses Universitaires de France. Toulmin, S. (1993). Les usages de l’argumentation. Paris: Presses Universitaires de France. Obras que abordan la evaluación desde el punto de vista de la discusión y la argumentación

House, E. R., & Howe, K. R. (1999). Values in Evaluation and Social Research. Thousand Oaks: Sage Publications. Perret, B. (2001). L’évaluation des politiques publiques. Paris: La Découverte. ———. (1995). “La construction du jugement” en Conseil Scientifique de l’Evaluation. L’évaluation en développement 1994. Paris: La Documentation Française. Schwandt, T.A. (2005). Politics of Evaluation. En S. Mathison (dir.), Encyclopedia of Evaluation. Thousand Oaks: Sage Publications. Internet

Perret, B. (1996). Évaluation, gouvernance et procéduralisation de l’expertise. Intervención en el seminario “Las mutaciones contemporáneas del arte de gobernar”, organizado por la célula de Prospectiva de la Comisión Europea (Bruselas). Disponible en: http://perso.orange.fr/bernard.perret/eva-proc.htm

Este libro se diseĂąĂł con las fuentes Cambria y Simbol, se terminĂł de imprimir en Javegraf, en el mes de diciembre de 2015.

colección gerencia y políticas de salud

Su finalidad es contribuir a la reflexión, al análisis y al debate de los temas y problemas más urgentes sobre la salud y el desarrollo de los sistemas de salud.

Otros títulos de esta colección

Derechos de propiedad del seguro obligatorio de salud en Colombia Jaime Ramírez Moreno

Igualdad y Desigualdad: un enfoque crítico de la justicia social en salud

Román Vega Romero

Medicamentos esenciales y propiedad intelectual. Análisis para países en desarrollo Luis Edgar Parra Salas

Autores

Ligia de Salazar, Ph.D Directora Fundesalud Profesora titular (jubilada) Escuela de Salud Pública Universidad del Valle Colombia

Facultad de Ciencias Económicas y Administrativas

Enfoques y prácticas en la evaluación de programas Valéry Ridde Christian Dagenais compiladores

Enfoques y prácticas en la evaluación de programas

Valéry Ridde Christian Dagenais Aristide Bado

Kadidiatou Kadio

Michael Bamberger

Seni Kouanda

Murielle Bauchet

Francine LaBossière

Diane Berthelette

Miri Levin-Rozalis

Pierre Blaise

Isabelle Marcoux

François Bowen

Pierre McDuff

François Chagnon

Frédéric Nault-Brière

Nadia Cunden

Bernard Perret

Pierre-Marc Daigneault

Pierre Pluye

Luc Desnoyers

Nancy L. Porteous

Didier Dupont

Michael Quinn Patton

Julie Dutil

Emilie Robert

Françoise Fortin

Patricia Rogers

Pierre Fournier

Christine Rothmayr

Marie Gervais

Jim Rugh

Anne Guichard

Caroline Tourigny

Robert R. Haccoun

Josefien Van Olmen

Janie Houle

Sophie Witter

Françoise Jabot

Maurice Yameogo

Steve Jacob

Robert K. Yin