Evaluaciones de políticas y programas de salud by Gesaworld Group

T E M A S

P A R A

E L

C O N O C I M I E N T O

E L

A N Á L I S I S

EVALUACIONES DE POLÍTICAS Y PROGRAMAS DE SALUD Conceptos, metodologías y experiencias

º1

EVALUACIONES DE POLÍTICAS Y PROGRAMAS DE SALUD Conceptos, metodologías y experiencias

Diseño y maquetación: An Teixidor ISBN: Impreso en

ÍNDICE

PRESENTACIÓN, Roser Vicente . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 PRÓLOGO, José-Manuel Freire . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 MARCO TEÓRICO DE LA EVALUACIÓN DE POLÍTICAS Y PROGRAMAS . . . . . . . . . . . . . . . . . . . . . . . 11 1. LA EVALUACIÓN: CONCEPTOS ESENCIALES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1 ¿Por qué es importante evaluar? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 ¿Qué se evalúa? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 ¿Quién se beneficia de una evaluación? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 ¿Qué tipos de evaluaciones existen? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 ¿Quién guía una evaluación? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 ¿Qué guía una evaluación? (estándares) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 METODOLOGÍAS Y HERRAMIENTAS PARA LA EVALUACIÓN. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 2. METODOLOGÍAS DE EVALUACIÓN DE IMPACTO. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 Las evaluaciones experimentales. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 Las evaluaciones semi-experimentales . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 Métodos e instrumentos para la recolección y análisis de datos cuantitativos . . . . . . . . . . . . . . . . . . 28 Las evaluaciones cualitativas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 3. COMBINACIÓN DE MÉTODOS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 4. LA EVALUACIÓN EN UN MUNDO REAL. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 Planificar y delimitar el alcance de la evaluación.. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 Enfrentar las restricciones presupuestarias . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38 Enfrentar las restricciones temporales . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 Enfrentar las restricciones de información . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40 Fortalecer el diseño de evaluación y la validez de las conclusiones . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 Ayudar a los clientes a utilizar la evaluación . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 EXPERIENCIAS. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 5. LA EVALUACIÓN DENTRO DEL MARCO DE PLANIFICACIÓN EN SALUD . . . . . . . . . . . . . . . . . . . . . . . 49 Pasos y estándares para llevar a cabo una evaluación de las políticas y programas de salud . . . . . 51 Impacto de la evaluación en los programas y políticas de salud . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53

6. EXPERIENCIA DE GESAWORLD EN LA EVALUACIÓN DE PROGRAMAS EN EL SECTOR SALUD. . . . 55 7. EVALUACIÓN CONCURRENTE DEL PROGRAMA MULTIFASE DE TRANSFORMACIÓN INSTITUCIONAL DEL SECTOR SALUD EN PANAMÁ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57 El programa multifase de transformación institucional del sector salud . . . . . . . . . . . . . . . . . . . . . . . 57 Metodología de evaluación . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 Productos de la evaluación concurrente . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66 8. EVALUACIÓN DEL PROGRAMA DE APOYO A LA REFORMA EN SALUD DE COLOMBIA . . . . . . . . . . 68 Programa de apoyo a la reforma en salud (PARS) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68 Metodología de la evaluación . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70 La evaluación del Programa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72 9. AUDITORÍA DE DESEMPEÑO PROGRAMA MEJORAMIENTO DE LA SALUD MATERNO-INFANTIL DE NICARAGUA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73 El programa de mejoramiento de la salud materno infantil de Nicaragua . . . . . . . . . . . . . . . . . . . . . . 74 Metodología de auditoría de desempeño . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76 Productos de la auditoría de desempeño . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77 10. ESTUDIOS CUALITATIVOS-CUANTITATIVOS SOBRE EL PROGRAMA DE ATENCIÓN INTEGRAL A LA FAMILIA (PAIF) - BRASIL . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80 Programa de atención a la familia (PAIF) - BRASIL . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80 Metodología de evaluación . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82 Producto del estudio cualitativo-cuantitativo del PAIF . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86 REFLEXIONES Y LECCIONES APRENDIDAS. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89 Planificar y evaluar las políticas y los programas de salud . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89 Iniciar la evaluación en el momento adecuado . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90 Utilizar un método apropiado. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90 Evaluar el proceso y no sólo el impacto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 1 Involucrar a los gestores dentro de la evaluación . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91 Tener en cuenta el contexto en el que se desarrolla la evaluación . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92 Publicar resultados, rendir cuentas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92 Transferir conocimientos y tecnologías para la evaluación. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93 BIBLIOGRAFÍA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94 AGRADECIMIENTOS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96

PRESENTACIÓN CONSULTORÍA: CONOCIMIENTO Y ANÁLISIS Con esta publicación Gesaworld inicia una colección de materiales que pretenden aportar de forma compendiada el conocimiento generado a lo largo de estos diez primeros años de andadura de la firma. Se trata pues de una colección que quiere mostrar conceptos, enfoques e instrumentos que hemos utilizado en nuestras actividad de consultoría en el sector de la salud y social. El segundo elemento definitorio de esta colección es la referencia a proyectos concretos que hemos desarrollado a lo largo de nuestra carrera profesional como firma. Son ejemplos de cómo transformamos marcos e instrumentos teóricos en elementos de análisis y mejora de la realidad. Conocimiento, análisis y mejora, elementos definitorios de nuestra manera de entender la consultoría. El primer volumen de la Colección lo hemos querido dedicar a la Evaluación de Programas y Políticas de Salud. Un ámbito tan basto como apasionante en el cual hemos trabajado intensamente y en el que que, creemos, podemos aportar nuestro punto de vista como practitioners, como actores relevantes de una red formada por ciudadanos, profesionales, poderes públicos, instituciones de salud, financiadores, entidades del tercer sector, etc… Gesaworld ha desarrollado evaluaciones en salud en múltiples entornos y con diversos objetos: desde intervenciones concretas y muy circunscritas a un ámbito geográfico y temporal hasta políticas públicas de alcance nacional. Las cuatro experiencias que se presentan dan buena muestra de esta diversidad. En el caso de Panamá se presenta una evaluación desarrollada durante cinco años en paralelo al desarrollo de un programa de transformación del sector salud. En Colombia, abordamos la evaluación posterior a la finalización de un amplio programa de reforma de las políticas públicas en salud de diez años de duración. En el caso de Nicaragua se trató de evaluar el desempeño de las instituciones públicas de salud en el desarrollo de un programa materno-infantil de ámbito nacional. En Brasil se ha llevado a cabo una evaluación del rendimiento organizacional de centros de atención a la familia. Esta variedad de experiencias, que refleja la presente publicación, nos permite hacer una lectura diversa y compleja de las evaluaciones en salud, entendidas como procesos de investigación estructurados que pueden tener múltiples objetivos y que deben adaptarse a las dimensiones y alcances de la intervención estudiada. Se trata, en definitiva, de una publicación que pretende ser una aportación al debate y una puesta en común de cuáles son los grandes retos conceptuales de la evaluación en políticas y programas en salud y de cómo estos han sido enfrentados en contextos reales. Roser Vicente

Directora General Gesaworld Grup

PRÓLOGO UN TEXTO NECESARIO Y DE GRAN UTILIDAD PARA ESTUDIOSOS Y RESPONSABLES DE SISTEMAS DE SALUD Un hecho que la crisis económica ha puesto de rabiosa actualidad es que los recursos del sector público son limitados, en primer término los económicos, pero también los personales, de tiempo, capacidades, etc. Por otro lado, todo programa o política tiene su coste de oportunidad que son las actividades alternativas que dejamos de hacer, de cuyos beneficios nos privamos al decidirnos por unos programas y actividades y no por otros. Por ello, pocos temas son tan relevantes como estudiar y analizar cuidadosamente si vale la pena hacer lo que hacemos, o nos proponemos hacer, si hay alternativas mejores, si lo que se hace está bien hecho, si responde a los objetivos, los resultados que tiene, su impacto real, etc. Estas y otras son las preguntas claves de la evaluación. Unas preguntas que es preciso hacerse antes, durante y después de poner en marcha cualquier actividad, política o programa. Lamentablemente, con frecuencia se pone más esfuerzo en responder correctamente a preguntas equivocadas que en pensar las preguntas relevantes. Este texto de Gesaworld sobre “Evaluación de Políticas y Programas de Salud. Conceptos, metodologías y experiencias” es de gran utilidad tanto para ayudar a formularnos las preguntas importantes en relación a las políticas y programas de salud, como para buscar y encontrarles respuestas rigurosas. La evaluación una actividad tan importante como compleja de definir y difícil de acotar en tanto que cuerpo de conocimiento, por utilizar conocimientos y técnicas de disciplinas tan diversas como la economía, estadística, matemática aplicada, sociología, epidemiología, etc. Todos tenemos una noción intuitiva de lo que significa evaluar, pues de continuo estamos juzgando personas, productos, iniciativas, etc., y también nosotros mismos somos continuamente sujetos de evaluación por parte de otros. Sin embargo, el concepto intuitivo de lo que significa evaluación, y la frecuencia con la que evaluamos todo lo que nos rodea no sirve de ayuda (más bien al contrario) para comprender la evaluación técnico-profesional aplicada a programas, organizaciones, políticas y actividades, ni sus múltiples dimensiones, enfoques, objetivos y beneficios. Entender todo ello requiere profundizar en los conceptos y su significado, pero también conocer los métodos e instrumentos disponibles y aplicables a cada caso, siendo los ejemplos concretos la mejor forma de entender todo ello y de explicarlo. Esto es lo que hacer con gran sencillez y claridad el texto que aquí se presenta, “Evaluación de Políticas y Programas de Salud. Conceptos, metodologías y experiencias”. En su primera parte expone con concisión y buenos esquemas los temas conceptuales más importantes relacionados con la evaluación en el sector salud. Posteriormente, presenta al lector la compleja caja de herramientas disponibles para los distintos objetivos posibles en la evaluación de programas y políticas. Para ello, con muy buen criterio, se adopta el conocido es-

P R Ó LO G O

quema de Evaluación en el Mundo Real (EMR), tomando como referencia para explicación las experiencias de evaluación de políticas y programas llevadas a cabo por Gesaworld en diferentes países de las Américas. En la tercera parte el texto presenta cuatro interesantes experiencias de evaluación reales de programas en el sector salud en cuatro países diferentes, cada uno con sus temas y objetivos y por lo tanto con requerimientos específicos en cuanto a metodología e instrumentos de evaluación. Finalmente, en el cuarto y último apartado, los autores reflexionan sobre las lecciones aprendidas de sus experiencias, uno de los apartados de más interés del texto, especialmente para responsables políticos. En conjunto se trata de un texto equilibrado, detrás del cual hay no solo cuatro valiosas experiencias practicas de evaluación, si no un esfuerzo conceptual de revisión de los temas más importantes del arte y la ciencia de evaluar programas y políticas en el sector salud. Por ello, este volumen sobre “Evaluación de Políticas y Programas de Salud. Conceptos, metodologías y experiencias” es un texto de gran interés, tanto para estudiantes de evaluación de programas como sobre todo para responsables públicos interesados en mejorar sus programas y políticas introduciendo en ellos, desde su diseño, el componente evaluación. Como señalan los autores la salud es el campo de las políticas públicas en el que está más arraigada la cultura de la evaluación, pero aun es mucho lo que queda por hacer para que la cultura de la evaluación impregne todo el sistema de salud y sea un componente sistemático de la rendición de cuentas de todos sus programas y actividades. En este sentido, el objetivo ambicioso es que la evaluación esté integrada en el funcionamiento del sistema de salud, y en todos y cada uno de sus componentes, porque la evaluación es una garantía de transparencia, de rendición de cuentas y garantía de buen desempeño. No me cabe duda de que a ello contribuirá decisivamente esta “Evaluación de Políticas y Programas de Salud. Conceptos, metodologías y experiencias”. Enhorabuena a sus autores y a Gesaworld por su publicación. Madrid, Mayo de 2010.

Dr José-Manuel Freire Jefe del Departamento de Salud Internacional Escuela Nacional de Sanidad-Instituto de Salud Carlos III

EVALUACIONES DE POLÍTICAS Y PROGRAMAS DE SALUD Conceptos, metodologías y experiencias

M A R CO T E Ó R I CO D E L A E VA L UA C I Ó N DE POLÍTICAS Y PROGRAMAS

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

MARCO TEÓRICO DE LA EVALUACIÓN DE POLÍTICAS Y PROGRAMAS 1 LA EVALUACIÓN: CONCEPTOS ESENCIALES El término evaluación ha adoptado varias acepciones, con lo cual todavía no se ha llegado a un consenso universal sobre su definición. Aunque Michael Scriven1 enumera casi 60 términos diferentes de evaluación, aplicables según el contexto2, diversos autores coinciden en definir la evaluación como una práctica valorada en función de una serie de criterios (Issel, 2004). La práctica de la evaluación es muy común en la literatura anglosajona. En este sentido, la definición que aporta el diccionario Oxford English es una definición sencilla y clara: 1 La acción de evaluar o valorar (bienes, etc); el cálculo de una situación de valor 2 La acción de evaluar o determinar su valor (una expresión matemática, una cantidad física, etc…) o de estimar la fuerza ( de probabilidades, evidencia, etc.) La definición que aporta la Organización para la Cooperación y el Desarrollo Económico (OCDE), utilizada por el Banco Mundial y otras personas pertenecientes al mundo académico3, es la siguiente: : 1

Fundador de la evaluación moderna

La evaluación se refiere al proceso que determinar la importancia de una actividad, política o programa. La evaluación es la valoración, tan sistemática y objetiva como sea posible, de una inter-

Jody Fitzpatrick, James Sanders, and Blaine Worthen. Program evaluation: Alternative approaches and practical guidelines, Third Edition (New York: Pearson Education, Inc. 2004) 3

Stufflebeam considera como evaluaciones estudios que evalúan el mérito y valor de un objeto (Stufflebeam 2001)

vención planificada o completada. Sin embargo, también se han establecido perspectivas de la evaluación más amplias. De este modo, una evaluación consiste en algo más que el diseño de un estudio empírico ya que es un proceso que consiste en: a. La negociación de un plan de evaluación. b. La implementación de un diseño de evaluación para producir resultados. c. La diseminación de los resultados al público interesado de tal modo que se describe o se entiende el objeto evaluado, se hacen juicios o se toman decisiones relacionados con dicho objeto. d. La facilitación de la toma de decisiones.

M A R CO T E Ó R I CO D E L A E VA L UA C I Ó N DE POLÍTICAS Y PROGRAMAS

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

De este modo, Owen (2007) identifica dos definiciones que se pueden visualizar en el siguiente diagrama: Diagrama 1. Relación de definiciones de evaluación según Owen

Definición 2

Definición 1

1. La evaluación como un juicio sobre el valor del programa 2. La evaluación como una producción de conocimiento basada en una investigación sistemática para ayudar a la toma de decisiones

A partir de estas referencias generales al concepto de evaluación creemos importante incidir en una serie de aspectos esenciales en toda evaluación de políticas, programas o proyectos: 1. ¿Por qué es importante evaluar? 2. ¿Qué se evalúa? 3. ¿Quién se beneficia de una evaluación? 4. ¿Qué tipos de evaluación existen? 5. ¿Quién guía una evaluación? 6. ¿Qué guía una evaluación? (estándares)

¿Por qué es importante evaluar? En términos generales, el propósito de cualquier evaluación es averiguar si se han satisfecho las necesidades de los usuarios y las partes interesadas. Según la ortodoxia de gestión de políticas públicas, la evaluación es un componente integral en el desarrollo de toda intervención: toda acción ha de ser planificada, ejecutada y evaluada. La evaluación informa así sobre qué funciona y por qué. Las buenas evaluaciones

M A R CO T E Ó R I CO D E L A E VA L UA C I Ó N DE POLÍTICAS Y PROGRAMAS

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

pueden ayudar a mejorar el desempeño de un proyecto en todas sus etapas y también proporcionar información para la mejora de las políticas y procedimientos. En efecto, las metodologías de gestión de proyectos más utilizadas en la cooperación internacional integran en su seno indicadores de seguimiento y requieren una propuesta de evaluación desde el inicio del proyecto. Se busca así un marco integrado de seguimiento y evaluación, que informe la toma de decisiones y ayude en la buena gestión de las sucesivas etapas de la intervención. Las evaluaciones bien planeadas y ejecutadas también pueden:

Informar sobre los factores de éxito (y fracaso) de las intervenciones.

Medir el progreso obtenido en la consecución de los objetivos y resultados de los proyectos, esencial para una buena gestión.

Proveer la información necesaria para la toma de decisiones en el ciclo de vida de un proyecto: introducción de nuevas intervenciones, continuidad/discontinuidad, replicabilidad y expansión, entre otros.

Evaluar los efectos de los proyectos sobre sus beneficiarios y su distribución.

Identificación de prácticas óptimas mediante la sistematización de diferentes evaluaciones.

En una influyente revisión, el Council for Global Development4 destaca importantes beneficios de las evaluaciones no siempre explícitos en las publicaciones especializadas, pero de gran relevancia para las políticas públicas:

•

Las evaluaciones distinguen los éxitos reales de los aparentes: hay indicios de que, en muchos casos, las evaluaciones se llevan a cabo con métodos rápidos y poco fiables. Estas evaluaciones suelen atribuir los cambios únicamente al proyecto, sin valorar de ningún modo la influencia del contexto o un contrafactual. Mediante técnicas rigurosas, las evaluaciones pueden atribuir los resultados de un proyecto a la intervención realizada, descartando así la influencia de otros factores externos, y ayudando a la toma de decisiones Por ejemplo, las evaluaciones iniciales de un programa de asistencia a familias pobres en

Savedoff, W; Levine, R.; Birdsall, N. When will we ever learn? Improving lives through impact evaluation. Report of the evaluation gap working group: center for global development, may 2006.

EEUU indicaron una mejora del bienestar de los participantes. Sin embargo, un estudio aleatorizado subsecuente demostró que grupos de control ajenos al proyecto mejoraron al mismo ritmo o a un ritmo incluso superior, con lo cual la eficacia del programa de asistencia a familias pobres no pudo ser probada.

•

Las evaluaciones permiten identificar factores de éxito incluso en las circunstancias más adversas: “ni están todos los que son, ni son todos los que están”; las evaluaciones sirven para distinguir la paja del

M A R CO T E Ó R I CO D E L A E VA L UA C I Ó N DE POLÍTICAS Y PROGRAMAS

E v a l u a c i o n e s

d e

P r o g r a m a s

P r o y e c t o s

e n

e l

S e c t o r

S a l u d

grano. Con frecuencia, las evaluaciones pueden extraer factores de éxito incluso en proyectos con resultados aparentemente negativos. Por ejemplo, un programa del Departamento de Trabajo de EEUU, dirigido a adolescentes de familias sin recursos, pareció haber resultado en la pérdida de medio curso de lectura. No obstante, un estudio aleatorizado posterior demostró que personas no participantes perdieron un curso entero, con lo cual el aparente fracaso inicial se convirtió en éxito.

•

Las evaluaciones evitan errores y previenen daños. El sentido común no siempre es tan común. En el pasado, se ha tomado la decisión de expandir un programa (incluso a gran escala) en función de sabiduría convencional o modelos teóricos. Por ejemplo, el programa Drug Abuse Resistance Education (DARE) de EEUU se adoptó en el 75% de los distritos escolares de ese país en base a una efectividad supuesta. Sin embargo, sucesivas evaluaciones experimentales revelaron la inefectividad del programa y numerosos condados lo modificaron o eliminaron. En otras ocasiones, las evaluaciones revelan conclusiones opuestas a las esperadas: una serie de estudios revelaron que un programa de visita a prisiones por parte de menores conflictivos redundaba en una mayor delincuencia de dichos menores. Así, un programa bien intencionado, y lógicamente plausible, conseguía efectos opuestos a los deseados.

•

Las evaluaciones orientan decisiones de política social de gran relevancia: las evaluaciones han demostrado gran utilidad a la hora de orientar decisiones sobre la producción de servicios. Estudios previos han evidenciado el efecto de los sistemas de incentivos a profesores sobre el rendimiento escolar, o el impacto de microcréditos en la prevención de la violencia doméstica. La estimación del efecto de intervenciones ajenas a los sistemas sanitarios sobre la salud de la población es otra función importante. Por ejemplo, un estudio de health impact assessment podría estimar el impacto en la salud de la construcción de una planta térmica en un área determinada, o de un nuevo programa de alcantarillado. Por último, cabe destacar que es posible realizar evaluaciones de impacto rigurosas en temas sociales con relaciones causales complejas, como el efecto de la participación femenina en la asignación de fondos públicos.

•

El precio de la ignorancia puede ser mayor que el de las evaluaciones. A menudo, se aduce que las evaluaciones resultan demasiado costosas para justificar su realización. Por ejemplo, las evaluaciones de intervenciones educativas piloto en América Latina y EEUU han llegado a alcanzar un tercio del coste total de la intervención. Sin embargo, estas evaluaciones orientaron decisiones para la ejecución de los programas a nivel nacional, ahorrando costes en sucesivas ediciones. Además, el coste de las evaluaciones disminuye proporcionalmente a medida que aumenta el tamaño de los proyectos. Finalmente,

M A R CO T E Ó R I CO D E L A E VA L UA C I Ó N DE POLÍTICAS Y PROGRAMAS

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

el desarrollo de métodos semi-experimentales permite reducir considerablemente los costes de ciertos tipos de evaluaciones. Así, incluso las evaluaciones más robustas no tienen por qué salir caras: un grupo de evaluaciones del Banco Mundial (Baker, 2000) costaron entre un 0,20%-1,26% de los costes totales del proyecto5.

•

Las evaluaciones pueden proporcionar información importante en poco tiempo: las evaluaciones concurrentes acompañan las sucesivas fases en la ejecución de un proyecto de ámbito nacional, mediante

Baker, Judy. “Evaluating the impact of development projects on poverty: a handbook for practitioners”. The World Bank. Washington, D.C., 2000. 6 Djokovic-Papic, D., Petrovic, O. and Jankovic, V. (…) Using DevInfo as support to governments in monitoring National Development Strategies. The case of the Republic of Serbia in UNICEF (2005) Bridging the gap: The role of monitoring and evaluation in evidence-based policy making 7 Basic, V., Petrovic, O. and Jankovic, V. (..) Using DevInfo as a strategic tool to facilitate local communities´ empowerment. The case of Serbia in UNICEF (2005) Bridging the gap: The role of monitoring and evaluation in evidencebased policy making 8 BID-conceptos de evaluación. EVO Evaluación: Una herramienta de gestión para mejorar el desempeño de los proyectos (Marco Lógico)-3/97.

la comparación de poblaciones ya intervenidas con aquellas en las que el programa todavía no ha sido iniciado. De esta manera, se puede obtener información clave a medida que avanza la ejecución, y orientar sucesivas etapas de la misma. En los proyectos de cooperación, las evaluaciones pueden servir para monitoreo de estrategias nacionales de desarrollo6 y facilitación del otorgamiento de poder a las comunidades (community empowerment)7. El diagrama 2 resume las posibles contribuciones de toda evaluación. Diagrama 2. Preguntas clave en un proceso de evaluación

15 Para averiguar cómo se puede mejorar

Para conocer más información y administrar la planificación

Para mejorar el proceso de evaluación

Para ver si hay que cambiar de dirección

¿Por qué evaluar?

Para compartir información y evitar que se cometan errores

Para averiguar si se trabaja de manera coste-eficiente

Para conocer los logros alcanzados

Para determinar la efectividad del programa o proyecto

Fuente: Adaptado de Feuerstein (1986) 8

M A R CO T E Ó R I CO D E L A E VA L UA C I Ó N DE POLÍTICAS Y PROGRAMAS

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

¿Qué se evalúa? Las evaluaciones pueden concentrarse en políticas, programas, o proyectos. Las políticas son la forma de intervención social más amplia, y engloban a programas y proyectos. La literatura relata tres tipos de políticas como más frecuentes: legislativa, local y de gran escala. (Owen). En la cooperación internacional, se han realizado importantes esfuerzos durante esta década para englobar políticas en marcos comunes de acción (ej: enfoques sectoriales del Banco Mundial). Sin embargo, dada la complejidad de estas intervenciones, la mayoría de evaluaciones se llevan a cabo al nivel de programa o proyecto. Los Programas son “una serie de actividades planeadas que pretenden introducir una serie de cambios entre una audiencia identificada” (Smith, 1989). Generalmente, el programa se compone de la integración de un plan documentado y un plan de acción. Funnell y Lenne (1989) identifican cinco tipos de programas:

• Programas educacionales (Educational programs) • Programas de asesoramiento (Advisory programs) • Programas de regulación (Regulatory programs) • Programas de gestión de casos particulares (Case management programs) • Provisión de productos o servicios (Product or service provision) La tipología de los programas proporciona una cierta estructura para el evaluador en el sentido de que los programas que comparten tipologías tienden a ser evaluados mediante enfoques similares. La tabla 1 proporciona una visión del conjunto de los elementos generales evaluados según el objeto de evaluación.

¿Quién se beneficia de una evaluación? La evaluación conlleva muchos beneficios estratégicos, operativos y de aprendizaje para las diferentes partes interesadas (stakeholders). En cualquier proyecto o programa se pueden identificar, por lo menos, tres tipos de partes interesadas: administradores y personal del proyecto, beneficiarios y donantes. En la tabla 2 se detallan algunas de las perspectivas que involucran a las partes interesadas. Dado que todos los beneficiarios requieren información específica de cómo se está desempeñando el proyecto,

M A R CO T E Ó R I CO D E L A E VA L UA C I Ó N DE POLÍTICAS Y PROGRAMAS

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

Tabla 1: Elementos de la evaluación según el objeto a evaluar Objeto de evaluación

Elementos de la evaluación

Proyecto

Una intervención única implementada en un sitio o un proyecto implementado en varios sitios

Programa

Una intervención con varias actividades o proyectos orientados a una misma meta

Políticas

Estándares, directrices o reglas que han sido establecidos por una organización para regular decisiones

Organizaciones

Múltiples intervenciones dirigidas por la organización

Sectores

Intervenciones que se llevaron a cabo en un sector particular como la educación o la salud.

Temático

Asuntos particulares (muchas veces a través de diferentes sectores) como las Metas del Milenio o la equidad de género.

Asistencia en un país

Progreso relativo de un plan, efecto general o lecciones aprendidas.

Personas

Evidencia sobre el rendimiento individual (Performance assessment/appraisal)

Fuente: elaboración propia a partir de WB IPDET/Mod 1, Owen (2007)

la tabla se organiza según el tipo de audiencia a la que influye la evaluación. De este modo se analiza su rol, el tipo de resultados que interesan a estos beneficiarios y cómo reciben estos resultados.

¿Qué tipos de evaluaciones existen? En el campo de la evaluación existen diferentes formas de clasificación que, a menudo, se entretejen. Esas tipologías varían, entre otras cosas, en función del paradigma, campo de acción, método de investigación, propósito y perspectiva temporal de los evaluadores y los contenidos. La tabla 3 presenta una visión en conjunto de forma general y breve que facilita un entendimiento básico de las posibles distinciones de formas de clasificar. De esta manera, las evaluaciones conforman una familia de diseños de estudio y metodologías de recolección y análisis de datos. Los diseños de evaluación suelen ser escogidos en función de (entre otros factores) la unidad de análisis, así como el objetivo de la evaluación en sí. Esta diversidad lleva a la dificul-

M A R CO T E Ó R I CO D E L A E VA L UA C I Ó N DE POLÍTICAS Y PROGRAMAS

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

Tabla 2. Relación entre una evaluación y sus beneficiarios y/o partes interesadas

Tipo de audiencia

Rol en la evaluación y seguimiento

Qué resultados les interesa y porqué

Cómo reciben los resultados Participación en la evaluación, reuniones, estudio de resultados, medios de comunicación de masas, periódicos, fotos.

Comunidad directamente involucrada en el programa

Involucrada en la planificación e implementación de la evaluación

Resultados detallados y recomendaciones para que las puedan llevar a cabo.

Personal del programa

Responsabilidad en la coordinación, para facilitar la toma de decisiones y acciones de la comunidad

Resultados detallados y recomendaciones para que las puedan llevar a cabo

Participación, reuniones, estudio del reporte.

Comunidad no directamente involucrada en el programa

Contribución pequeña (cuestionarios)

Resumen de los resultados y recomendaciones para que puedan ayudar a realizarlos

Reuniones, discusiones, medios de comunicación de masa, fotos, periódicos.

Departamentos y agencias locales, organizaciones

Reciben información y/o un rol activo específico. Difunden lecciones aprendidas. Apoyan acciones futuras

Resultados detallados o resumen para el análisis de lecciones aprendidas y toma de decisiones en políticas

Informe detallado o resumen (1-2 páginas). Discusiones con coordinadores de la evaluación. Medios de comunicación de masas.

Nivel regional

Reciben información y/o un role activo específico. Difunden lecciones aprendidas. Apoyan acciones futuras

Resultados detallados o resumen para el análisis de lecciones aprendidas y toma de decisiones en políticas

Nivel nacional, ministerios, agencias, organizaciones

Reciben información, difunden lecciones aprendidas, apoyan acciones futuras.

Resultados detallados y resumen de lecciones aprendidas para llevar a cabo políticas.

Resumen. Discusiones. Reuniones.

Agencia que recibe los fondos

Reciben información, difunden lecciones aprendidas, apoyan acciones futuras

Resultados detallados y resumen de lecciones aprendidas para llevar a cabo políticas.

Informe detallado y resumen de discusiones

Agencias internacionales, Agencias de Desarrollo de Naciones Unidas

Reciben información, difunden lecciones aprendidas, apoyan acciones futuras

Resultados detallados y resumen de lecciones aprendidas para llevar a cabo políticas

Fuente: UNICEF (1991)9

A lo mejor sólo el resumen. Discusiones. Reuniones.

A lo mejor un resumen. Discusiones. Reuniones.

M A R CO T E Ó R I CO D E L A E VA L UA C I Ó N DE POLÍTICAS Y PROGRAMAS

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

tad de establecer categorías claras de evaluaciones, con lo que a menudo se habla de “ciencias de la evaluación”. Las evaluaciones se concentran en la ejecución o impacto de políticas, programas o proyectos. Las evaluaciones de proceso tratan de esclarecer si la intervención ha sido ejecutada “correctamente” (i.e. según previsto al inicio del proyecto). Estas evaluaciones examinan problemas en la ejecución y extraen lecciones para ejecuciones subsecuentes. Así, mediante grupos de indicadores, se examina la ejecución de las principales áreas del proyecto, en relación a marcos temporales, presupuestarios y técnicos previamente definidos. Además, la evaluación de procesos identifica problemas y oportunidades aprovechadas durante la ejecución, a fin de extraer conclusiones para futuras intervenciones. El enfoque más utilizado en las evaluaciones de procesos es el balanced scorecard, o cuadro de mando integral. Sin embargo, las evaluaciones de proceso enfrentan serias dificultades a la hora de explicar cómo y hasta qué punto la intervención ha generado los resultados obtenidos. Es por ello que se han desarrollado las evaluaciones de impacto; que son un grupo de metodologías que examinan si la intervención ha alcanzado el impacto deseado (normalmente en personas, hogares o instituciones) y determina hasta qué punto los resultados son atribuibles a la intervención en sí. Así, las evaluaciones de impacto valoran los efectos de la intervención a corto (resultados), medio (efectos) y largo plazo (resultados). Los efectos son positivos y negativos; a menudo, se estudia también la distribución de los impactos por grupos de beneficiarios. Según la pregunta de investigación, estas evaluaciones pueden adoptar diseños experimentales (comparación de grupos equivalentes estadísticamente mediante selección con estudios aleatorizados), semi-experimentales (construcción de grupos de comparación ad-hoc mediante técnicas estadísticas), o cualitativos. En general, las perspectivas de proceso e impacto son complementarias: muchas evaluaciones de impacto no toman en cuenta las posibles desviaciones en la ejecución, muy frecuentes. Las evaluaciones de proceso proveen información muy valiosa en este sentido; es por ello que muchos autores y profesionales de la evaluación insisten en la necesidad de integrar ambas perspectivas en un marco común. Además de las evaluaciones de proceso de impacto, otras tipologías proveen información importante para la mejora de las políticas públicas:

• Evaluaciones económicas, principalmente las evaluaciones coste-efectividad. Estos estudios ex9

UNICEF, Evaluation Office. Making a difference? A UNICEF guide to monitoring & evaluation. New York, 1991.

presan sus resultados en forma de ratios que comparan valores monetarios con medidas de efectividad, casi siempre en términos clínicos o calidad de vida.

• Evaluaciones

exploratorias o contextuales: estudios realizados antes de llevar a cabo una

evaluación o intervención. El objetivo consiste en determinar los factores políticos, técnicos y

M A R CO T E Ó R I CO D E L A E VA L UA C I Ó N DE POLÍTICAS Y PROGRAMAS

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

Tabla 3: Tipología de evaluaciones En función de: En función del paradigma:

- Evaluación clásica, racionalista, positivista, experimentalista centrada en los objetivos

En función del campo al que dirija su acción:

- Evaluación estratégica

En función del método de Investigación: En función del propósito:

Tipo de evaluación

En función de la perspectiva temporal:

- Evaluación pluralista, participativa, constructivista

- Evaluación operativa - Evaluación descriptiva - Evaluación analítica - Evaluación integral - Evaluación formativa - Evaluación recapitulativa, conclusiva o de resultados - Evaluación ex ante - Evaluación intermedia - Evaluación ex post - Evaluación interna

En cuanto a los evaluadores:

- Evaluación externa - Evaluación mixta - Evaluación de necesidades - Evaluación de conceptualización o diseño de la política o programa - Evaluación de evaluabilidad

En función de los contenidos:

- Evaluación de cobertura - Evaluación de implementación - Evaluación de resultados - Evaluación de impacto

Metaevaluación

- Síntesis de evaluaciones

Fuente: Agencia de Evaluación y Calidad de España

M A R CO T E Ó R I CO D E L A E VA L UA C I Ó N DE POLÍTICAS Y PROGRAMAS

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

económicos que pudieran afectar a la medida en cuestión. En este grupo encontramos un gran número de metodologías, entre las que se encuentran el análisis DAFO (Debilidades-AmenazasFortalezas-Oportunidades), diagnóstico rápido participativo, y mapeos sociales.

• Evaluaciones basadas en la teoría: estos estudios estiman si una teoría determinada (expresada en un conjunto de relaciones causales y series de micropasos) explica el funcionamiento de un proyecto. El enfoque examina en detalle por qué y cómo la intervención genera resultados. Estas evaluaciones están a menudo fraguadas de dificultades de medición y plausabilidad. El Banco Mundial ha realizado ya evaluaciones basadas en la teoría, incluyendo el efecto de fondos de inversión social en las decisiones comunitarias. (Baker, 2000).

¿Quién guía una evaluación? Desde mediados de los años 70 hasta mediados de los 80 la evaluación se ha establecido como una profesión en muchos países de la Organización para la Cooperación y el Desarrollo Económico (OCDE). Una evaluación puede ser llevada a cabo por distintos tipos de evaluadores:

10 OECD, Glossary of key terms in evaluation and results based management. Paris: OECD Publications. 11

Fitzpatrick, Sanders and Worthen (2004) Program evaluation: alternative approaches and practical guidelines, 3rd edition. Boston: Allyn and Bacon (Pearson),

• Evaluadores externos • Evaluadores internos • Evaluadores que forman parte de una evaluación participativa. Evaluadores externos El glosario de la OCDE define la evaluación externa como «evaluación de una intervención llevada a cabo por entidades y/o por individuos independientes de los socios, donantes o la organización implementadora».10 La evaluación externa suele tener más credibilidad y objetividad ya que los evaluadores disponen de capacidades especializadas para llevar a cabo una evaluación de manera más efectiva y son independientes de las decisiones financieras y administrativas del programa. Sin embargo, si los consultores tienen vínculos previos con el programa, la evaluación externa no garantiza resultados independientes y creíbles.11

Fitzpatrick, Sanders and Worthen (2004) Program evaluation: alternative approaches and practical guidelines, 3rd edition. Boston: Allyn and Bacon (Pearson),

Evaluadores internos La evaluación interna es «una evaluación de una intervención llevada a cabo por una unidad o por individuos que informan la gestión de los donantes, socios o la organización implementadora».12 La ventaja de los evaluadores internos es que suelen tener más conocimiento sobre la organización, historia, personas

M A R CO T E Ó R I CO D E L A E VA L UA C I Ó N DE POLÍTICAS Y PROGRAMAS

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

involucradas, desafíos y problemas del programa, proyecto o política que una persona externa. Por lo tanto, esto les permite cuestionar los elementos más relevantes y encontrar a las personas claves que les permitan identificar los problemas de fondo. Sin embargo, esa cercanía al programa y a la organización implementadora puede resultar una desventaja ya que este hecho no les permite analizar los problemas de manera objetiva y, por consiguiente, no les impide reconocer soluciones o cambios. Del mismo modo, estos evaluadores pueden estar sujetos a presiones o influencias de directivos del programa que son también responsables de la política de recursos humanos y que, por tanto, tienen potestad para decidir sobre el futuro profesional del evaluador. Finalmente, las partes interesadas externas pueden percibir los resultados del evaluador interno como menos creíbles. Evaluadores que forman parte de una evaluación participativa La evaluación participativa13 se entiende como «un método de evaluación en el que los representantes de los agentes y partes interesadas (incluyendo beneficiarios) trabajan juntos en diseñar, ejecutar e interpretar la evaluación».14 Además, «la evaluación participativa representa un paso más y más radical fuera del modelo de la 13

Tomen nota de la distinción entre la evaluación participativa y métodos participativos. Lo último es un método que se puede utilizar en evaluaciones externas e internas. 14 OECD, Glossary of key terms in evaluation and results based management. Paris: OECD Publications. 15

Molund, Stefan and Schill, Göran (2004) Looking back, moving forward: SIDA Evaluation Manual. Stockholm: SIDA. 16 Trochim, William M.K. Developing an evaluation culture for international agriculture research. Ithaca: Cornell University, 1996.

evaluación independiente […] es una forma de evaluación en la que la distinción entre expertos y no-expertos, investigador e investigados pierde énfasis y se redefine […]. Los evaluadores [actúan] en la mayoría como facilitadores e instructores ayudando a los demás en la evaluación».15

¿Qué guía una evaluación? (estándares) Una cultura favorable a la evaluación debería incluir elementos estratégicos y características determinadas. Este apartado proporciona una visión global sobre los elementos generales que deberían guiar una evaluación y el esfuerzo relacionado con la fijación de estándares y principios para la misma. Respecto a lo primero, Trochim (1996)16 define los elementos esenciales que deberían guiar una cultura de evaluación en el siglo XXI: 1. En primer lugar, toda evaluación debería ser interdisciplinaria y holística. Una evaluación debería incluir profesionales de varias disciplinas. Además, la función de la evaluación debería estar integrada y arraigada en la estructura organizacional y vista como una herramienta de gestión que se aplica a la organización entera.

M A R CO T E Ó R I CO D E L A E VA L UA C I Ó N DE POLÍTICAS Y PROGRAMAS

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

2. La evaluación también debería estar orientada a la acción. Por lo tanto, un proceso de evaluación no termina con un informe final, sino con la implementación de sus recomendaciones y propuestas. Esa aproximación se ve aplicada en las evaluaciones orientadas al resultado (results-oriented evaluations) en el Programa de las Naciones Unidas para el Desarrollo (PNUD) y en la evaluación enfocada en la utilización (utilization-focused) de Patton. 3. La evaluación debería ser inclusiva, participativa y no jerárquica. Por tanto, la responsabilidad de la evaluación corresponde a todos los que están trabajando en el proyecto y no sólo a una persona. 4. La evaluación debería estar orientada al futuro, anticipando necesidades a partir de sus resultados. Por tanto, la planificación de la evaluación tiene que formar parte del proceso de planificación del proyecto y/o programa para que éste pueda beneficiar el proyecto y/o programa durante la implementación del mismo. 5. La evaluación debería ser ética, abierta y justa. Esos elementos son inherentes al sistema desde donde se toman las decisiones políticas y en el cual se priorizan, asignan y redistribuyen recursos.17 Respecto a los estándares oficiales y profesionales para la ejecución de una evaluación, anteriormente los evaluadores se encontraban sujetos a distintas formas de autorregulación y no tenían que preocuparse por estándares profesionales explícitos. Sin embargo, esos estándares adquirieron importancia en las décadas de los ochenta y noventa, lo que demuestra por un lado, la inmadurez histórica y por el otro, la profesionalización reciente en este campo.

17 La relación entre la evaluación y la política está ampliamente discutida en Ove Karlsson Vestían y Ross F. Conner UNICEF. Bridging the gap: The role of monitoring and evaluation in evidencebased policy making.

M E TO D O LO G Í A S Y H E R R A M I E N TA S PA R A L A E VA L UA C I Ó N

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

METODOLOGÍAS Y HERRAMIENTAS PARA LA EVALUACIÓN

La presente sección discutirá los diferentes métodos de evaluación desde la perspectiva de las evaluaciones de impacto. Se ha adoptado esta perspectiva dado el rigor y riqueza metodológica de estos estudios; su revisión permitirá recorrer las metodologías utilizadas en todo tipo de evaluaciones. El elemento clave en toda evaluación de impacto es la causalidad, definida como el “grado en que la implementación del programa ha logrado ciertos resultados”. No obstante, es difícil esclarecer la causalidad es una tarea complicada: la cadena intervención-efecto-beneficio-impacto necesita tiempo para desarrollarse, y está compuesta por una telaraña de actores, intervenciones y efectos que se retroalimentan entre sí. Por este motivo, resulta metodológicamente complejo determinar hasta qué punto los resultados de una intervención se deben a la misma, originándose así una “brecha de atribución”. La complejidad de este fenómeno implica que si bien tal brecha no llega a superarse nunca, el rigor metodológico puede acercarnos a aproximaciones bastante realistas. Metodológicamente, la búsqueda del contrafactual es el elemento central de toda evaluación. El contrafactual responde a la siguiente pregunta: ¿qué hubiera ocurrido en la ausencia de la intervención? Para evaluar el impacto, se pueden realizar evaluaciones cuantitativas y cualitativas. Las evaluaciones cuantitativas se dividen en técnicas experimentales y semi-experimentales. Estas evaluaciones se han considerado tradicionalmente superiores por su robustez en la estimación del contrafactual (al minimizar sesgos), y la facilidad en la interpretación de los resultados, al expresar los términos en resultados numéricos. Las técnicas cualitativas, sin embargo, ofrecen información muy valiosa sobre el por qué y cómo de las relaciones causa y efecto. Pasemos a revisar cada una de ellas.

M E TO D O LO G Í A S Y H E R R A M I E N TA S PA R A L A E VA L UA C I Ó N

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

2 METODOLOGÍAS DE EVALUACIÓN DE IMPACTO Las evaluaciones experimentales Las evaluaciones experimentales son consideradas como el “estándar de oro” de las evaluaciones de impacto, al estimar el contrafactual de la manera más robusta posible. Para ello, se necesitan los siguientes elementos: a) disponibilidad de información desde el inicio del proyecto, y b) existencia de grupos de control, con los que se pueda comparar la población intervenida. Para establecer el contrafactual, al principio de la intervención se asigna aleatoriamente individuos (o cualquier que sea la unidad de análisis) a grupos de intervención y control, y se compara el efecto de la intervención en cada uno de los grupos mediante técnicas estadísticas. Así, se eliminan (prácticamente) los sesgos de selección y se crean grupos de control (casi) perfectos. Las principales metodologías en esta rúbrica son los ensayos controlados y aleatorizados, cuyos análisis estadísticos revelan unívocamente niveles de significación estadística e intensidad de la relación intervención-impacto. Más aún, los resultados

estadísticos son fácilmente interpretables: para comprobar si una intervención ha tenido un impacto estadísticamente demostrable, basta con hacer un test de comparación de medias entre los dos grupos. Sin embargo, la realización de las evaluaciones experimentales se ve severamente limitada por factores metodológicos, técnicos y financieros. En primer lugar, las evaluaciones experimentales conllevan costes muy altos para la mayoría de las organizaciones. Segundo, la creación de grupos de control enfrenta dificultades éticas de gran calado, dado que a los grupos de control se les denegaría una intervención potencialmente beneficiosa. Además, estas evaluaciones están sujetas a la historia del proyecto, sesgos en la creación de grupos de selección, y contaminación de factores contextuales. Finalmente, en la inmensa mayoría de los casos no se dispone de información de línea de base o de grupos de comparación, ya que 18

Bamberger et al. “RealWorld Evaluation: designing evaluations under time, budget, data and political constraints”. Workshop at American Evaluation Association. Baltimore, November 2007.

no suele contactarse al evaluador hasta el final del proyecto. Para compensar por los obstáculos anteriores, los evaluadores disponen de alternativas operativas (Baker, 2000), como la asignación de los individuos todavía no intervenidos a grupos de control, o la administración de la intervención a los grupos más elegibles. Estas alternativas generan problemas metodológicos, que junto con las dificultades mencionadas anteriormente y altísimos costes, desembocan en el hecho de que significativamente menos del 5% de las evaluaciones utilizan diseños experimentales (Bamberger et al., 200718).

M E TO D O LO G Í A S Y H E R R A M I E N TA S PA R A L A E VA L UA C I Ó N

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

Las evaluaciones semi-experimentales Las evaluaciones semi-experimentales construyen el contrafactual con métodos estadísticos. Aunque sus costes son significativamente inferiores a los de las evaluciones experimentales, su uso es relativamente minoritario: según Bamberger et al. (2007), entre un 5-10% de las evaluaciones utilizan diseños semi-experimentales robustos. Estas evaluaciones acarrean todavía altos costes; la más barata de las evaluaciones en Baker (2000) costó en torno a $ 250.000. Además, las evaluaciones cuantitativas necesitan personal altamente calificado, y la información contextual y del propio proyecto no están siempre disponibles en los países en vías de desarrollo. Por ello, estos diseños han de negociarse al principio de la intervención y es conveniente fortalecerlos con métodos cualitativos. Las técnicas semi-experimentales más utilizadas son judgmental matching, propensity-score matching, y comparaciones reflexivas. Judgmental matching implica la construcción de grupos de comparación en función de características determinadas. Según Leeuw y Vaessen, el evaluador consensúa primero con expertos las variables utilizadas como base para el pareo (ej: acceso a servicios sanitarios, resultados clínicos, etc.). En el siguiente paso, se triangula la información interior con datos obtenidos de sistemas de información geográfica, observaciones, datos secundarios y entrevistas con informantes clave para seleccionar las mejores áreas de comparación entre grupos. El método propensity-score matching, desarrollado a principios de los 90, se considera como la mejor alternativa a los estudios experimentales y es usada a menudo. El método se basa en la probabilidad de participación (de los sujetos) en la intervención en función de características definidas. Esta probabilidad se calcula para cada sujeto mediante la puntuación de propensidad (propensity score). Mediante el cálculo de probabilidad de participación para cada sujeto, se forman pares de individuos caso-control, con controles que tienen la misma probabilidad de participación que los sujetos intervenidos. La principal debilidad de este método reside en el hecho de que sólo elimina sesgos observables. Sin embargo, este método se combina a menudo con el de dobles diferencias para corregir los efectos no-observables. La técnica de dobles-diferencias extrae los efectos de las intervenciones mediante la comparación de las diferencias dentro de y entre los grupos de intervención y control a través del tiempo (antes, durante y después de la intervención). Como ya se había mencionado, la técnica de dobles diferencias puede ser combinada con propensity-score matching para mejorar la estimación en la medida de lo posible.

M E TO D O LO G Í A S Y H E R R A M I E N TA S PA R A L A E VA L UA C I Ó N

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

Otras metodologías cuantitativas incluyen el análisis multivariante (para controlar las diferencias entre grupos), el uso de variables instrumentales (para controlar problemas relacionados con la endogeneidad) y el análisis de regresión continuado. Leeuw y Vaessen explican cada una de estas técnicas.

Métodos e instrumentos para la recolección y análisis de datos cuantitativos Los principales métodos para la recolección de datos cuantitativos son las encuestas estructuradas (normalmente a gran escala), la observación estructurada (en la cual el observador obtiene la información mediante la observación directa del tema en cuestión), y los métodos antropométricos (Bamberger et al., 2007). El evaluador puede hacer uso de otras fuentes de información, incluyendo la información estadística oficial, los registros administrativos, los registros de la intervención, y el diseño y distribución de cuestionarios. El instrumento para captar datos más utilizado es el cuestionario. El cuestionario es un instrumento muy sensible, dado que el formato de las preguntas puede tener un gran impacto en las respuestas. Es por ello que se aconseja contratar a un experto en cuestionarios, y testar el instrumento en una

ronda inicial, o prueba piloto, antes de utilizarlo para todo el estudio. En general, los especialistas (Baker, 2000) recomiendan mantener un formato corto y centrado en las preguntas importantes, asegurarse de la claridad de las preguntas e instrucciones, limitar las respuestas a aquellas importantes para la evaluación, y utilizar procedimientos adecuados para impartir el cuestionario. El análisis de datos utiliza principalmente la estadística multivariante (comparación de medias, regresión, análisis factorial y similares).

Las evaluaciones cualitativas Las evaluaciones cualitativas conforman una familia de metodologías concentradas principalmente en la “comprensión de los procesos, comportamientos y condiciones [que afectan a las intervenciones] según sean percibidos por los individuos o grupos objeto de estudio” (Baker, 2000). Los métodos cualitativos son de gran ayuda a la hora de realizar estudios contextuales, establecer los objetivos e indicadores de la evaluación, involucrar a los agentes en la recogida y análisis de datos, reconstruir situaciones de base y triangular datos. En la realidad, la mayoría de las evaluaciones son de naturaleza cualitativa en su parcialidad o totalidad: aunque los métodos cualitativos enfrentan desafíos en cuanto a la validez de los resultados, su ejecución es menos costosa y más rápida. Además, los diseños de la investigación cualitativa suelen ser más abiertos.

M E TO D O LO G Í A S Y H E R R A M I E N TA S PA R A L A E VA L UA C I Ó N

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

Otra ventaja considerable consiste en el hecho de que las evaluaciones cualitativas contribuyen a menudo por sí mismas a transformar (i.e. fortalecer) el proyecto en cuestión mediante la participación de todos los agentes. Sin embargo, la literatura especializada apunta que las debilidades de estos métodos radican en su naturaleza subjetiva, y la ausencia de grupos de comparación y rigor estadístico. Los diseños de investigación cualitativa provienen principalmente de la antropología (investigación etnográfica), sociología, psicología y desarrollo rural. Existe gran diversidad en cuanto a los tipos de diseño y métodos involucrados. Según Leeuw y Vaessen, las metodologías cualitativas existentes incluyen: Appreciative Inquiry (AI), Citizen Report Cards (CRCs), Community Score Cards (CSCs), Beneficiary Assessment (BA), Monitoreo de Impacto Participativo, metodologías de aprendizaje y acción participativas (Asesoramiento Rural Rápido, Asesoramiento Rural Participativo, Estimación Participatoria de la Pobreza, Asesoramiento Social, Consultas Sistemáticas con Clientes). Entre las metodologías participativas, encontramos también las metodologías de cooperación al desarrollo que integran a la comunidad la definición y análisis de los sistemas de indicadores, entre las que destacamos la Planificacion de Proyectos Orientada a Objetivos (ZOPP), o Sinfonía. Según Bamberger et al. (2007), los métodos de recolección de información cualitativa recaen en las siguientes categorías:

• Entrevistas, que pueden ser individuales (estructuradas, semi estructuradas, abiertas) o grupales (grupos focales, entrevistas comunitarias, métodos de asesoramiento rápido mencionados anteriormente). Toda evaluación incluirá algún tipo de entrevista, sea con informantes clave (personas con profundo conocimiento del tema a evaluar) o con otros actores. Las entrevistas son el método de recolección de datos más utilizado, dada su rapidez y bajo coste. Sin embargo, están sujetas a grandes sesgos, con lo cual el evaluador debería utilizarlas con precaución.

• Observación: normalmente se lleva a cabo sin la intervención directa del investigador, a fin de evitar sesgos. Según la misma fuente (Bamberger et al., 2007), las principales categorías de observación incluyen la observación participante, estructurada, y semi-estructurada.

• Análisis de documentos: basado en el aprovechamiento de gran cantidad de registros existentes en el proceso de evaluación, incluyendo informes oficiales, informes del propio proyecto, páginas web y cualquier material relacionado con la intervención (posters y similares). El análisis de datos cualitativo requiere personal especializado. Existe gran cantidad de métodos de análisis, que difieren en grado de complejidad y profundidad. Entre las metodologías de análisis más com-

M E TO D O LO G Í A S Y H E R R A M I E N TA S PA R A L A E VA L UA C I Ó N

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

plejas encontramos la Grounded Theory, y diseños basados en la teoría. Según Baker (2000), los métodos de análisis más utilizados en la investigación cualitativa son de menor (aunque todavía considerable) complejidad: análisis de caso y análisis de contenidos. El análisis de caso se centra en el estudio en profundidad de la intervención, examinando aspectos relacionados con la ejecución, el impacto y la distribución de éste. Un componente en los análisis de caso consiste en identificar el “ruido de fondo” (White Noise) que afecta a la realidad de la intervención y no puede ser captado por las evaluaciones cuantitativas. El ruido de fondo incluye variables contextuales e influencias políticas. En el análisis de contenidos, el evaluador desarrolla un sistema de clasificación de datos en función de: a) la pregunta de evaluación, b) el uso del material, y c) la necesidad de interrelacionar la información obtenida. Así, el investigador codifica y analiza la información. La codificación es un proceso complejo que se realiza en base a las tendencias emergentes identificadas a lo largo del texto. El análisis se centra en el entendimiento de procesos, resultados e impactos.

3 COMBINACIÓN DE MÉTODOS En la práctica, según relatan Jones et al. (2009), el dominio de las evaluaciones cuantitativas está seriamente cuestionado. Un creciente número de profesionales considera que los estudios experimentales son muy poco flexibles y carecen de severas limitaciones en la interpretación, dado que determinan el qué (establecen numéricamente la relación causa efecto) pero no el cómo (interpretación de las relaciones observadas e información contextual). Al mismo tiempo, otros analistas posicionan al contrafactual como un tipo de causalidad entre muchos otros. Otro grupo argumenta que se pueden reconstruir contrafactuales mediante métodos no-experimentales. Un ejemplo serían las metodologías de “seguimiento de procesos” (process tracing), que derivan la causalidad como parte de una secuencia de pasos interrelacionados. Un último grupo de autores considera que una evaluación que no involucra a sus actores carece de acción transformadora, con lo cual abogan por métodos pluralistas o participativos. En efecto, numerosos autores (Bamberger, Baker, Jones et al.) consideran que cualquier evaluación se puede robustecer mediante la combinación de métodos cuantitativos y cualitativos. Estos estudios,

M E TO D O LO G Í A S Y H E R R A M I E N TA S PA R A L A E VA L UA C I Ó N

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

también llamados de “métodos combinados”, hacen uso de técnicas cuantitativas para determinar el impacto y la intensidad de la relación intervención-impacto y técnicas cualitativas para: a. describir el contexto de la intervención y evaluación, b. proveer información para la correcta interpretación de los resultados, y c. provocar una mejora del proyecto (especialmente mediante técnicas participativas), al fomentar el trabajo conjunto entre los agentes del proyecto. d. Triangular la información obtenida, que puede servir para realizar verificaciones de consistencia entre datos cualitativos, o para contrastar datos cuantitativos con cualitativos; e. Expandir la interpretación de los resultados, principalmente mediante el uso de la información cualitativa, para explicar fenómenos estadísticamente significativos pero inexplicables a simple vista; En definitiva, la combinación de diseño de estudio y los métodos e instrumentos de recolección y análisis de datos representan un arte que debe ser dominada por todo evaluador. Otro consenso al que han llegado numerosos analistas, incluyendo Baker, Bamberger y el Council for Global Development es la imperiosa necesidad de iniciar la evaluación desde el inicio del proyecto. Esto permite disponer de información basal e información sobre la ejecución, imprescindible para cualquier evaluación robusta. Llegados a este punto, cabe destacar que el concepto de evaluación de calidad (o rigurosa) está desplazándose de hacer referencia a evaluaciones cuantitativas, a “sistemas de evaluaciones” que integran metodologías cuantitativas-cualitativas e incluyen algunas de las siguientes características (Baker, 2000): a. Estimación del contrafactual mediante métodos experimentales o semi-experimentales b. Control de diferencias pre y post programa mediante la obtención de datos basales y en diferentes puntos del proyecto c. Grupos de intervención y control de tamaño suficientemente grande para comprobar los efectos estadísticamente d. Análisis coste-beneficio y coste-efectividad e. Métodos cualitativos para la triangulación de resultados, información contextual y facilitación de la interpretación de los resultados. El enfoque de evaluación progresiva, desarrollado por Johns Hopkins University, constituye un ejemplo de sistema de evaluaciones. Esta metodología integra los elementos anteriores para valorar la provisión de servicios, utilización y cobertura poblacional, así como el impacto en un marco común:

M E TO D O LO G Í A S Y H E R R A M I E N TA S PA R A L A E VA L UA C I Ó N

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

Políticas; planificación basada en resultados

¿Los planes e intervenciones para la entrega son técnicamente sólidos y apropiados para el contexto epidemiológico y del sistema de salud?

Aprendizaje y construcción de capacidades ¿Encuentran los interesados clave formas de resolver los problemas y reconciliar intereses para fomentar el progreso?

Provisión

¿Se están proveyendo servicios adecuados? – ¿A nivel de centros de salud? – ¿A nivel comunitario?

Utilización ¿Los servicios están siendo usados por la población?

Cobertura efectiva

¿Se han alcanzado niveles adecuados de cobertura efectiva entre la población?

Impacto ¿Hay algún impacto en salud y nutrición?

Retroalimentación sistemática para la mejora del programa

Atribución ¿En qué medida el impacto es atribuible al programa?

Bryce et al. (2004) detallan la ejecución de este método en un proyecto multi-país19. Algunas de las metodologías de estimación de impacto sanitario (health impact assessment) integran diversos métodos de evaluación20. 19 Bryce, J; Victora, C; Habicht, J.P.; Vaughan, P; Black, R. “The Multi-Country Evaluation of the Integrated Management of Childhood Illness Strategy: Lessons for the Evaluation of Public Health Interventions”. American Journal of Public Health, 94-3 (March 2004). 20 “Health Impact Assessment: main concepts and suggested approach”. World Health Organization and the European Centre for Health Policy. Brussels, 1999.

M E TO D O LO G Í A S Y H E R R A M I E N TA S PA R A L A E VA L UA C I Ó N

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

4 LA EVALUACIÓN EN UN MUNDO REAL

En función de una combinación de factores, el evaluador seleccionará de la “caja de herramientas” expuesta en la sección anterior el diseño de estudio, métodos de recogida y análisis de datos. Los factores que llevarán a la selección conforman las principales restricciones a toda evaluación, y pueden ser de naturaleza política, técnica (tiempo y datos) y presupuestaria. Las restricciones suelen agruparse en constelaciones a partir de tres situaciones habituales en la consultoría internacional: a. inicio de la evaluación hasta el final del proyecto, con lo cual no cuenta con la información basal y de proceso, b. inicio de la evaluación al principio del proyecto, pero sin recursos para obtener grupos de control, y c. disponibilidad de un presupuesto adecuado pero con tiempo limitado. En este contexto, el evaluador ha de intentar conseguir el máximo nivel posible de rigor. Estas restricciones, que contribuyen a la profundización de la brecha de atribución, pueden ser atenuadas mediante el control de debilidades metodológicas, el consenso con los clientes de la combinación adecuada rigor-recursos, y el reconocimiento de las debilidades metodológicas en la presentación de resultados. Además, en los países en vías de desarrollo, las dificultades técnicas pueden superarse a menudo mediante la sabia combinación de estudios cualitativos y estudios longitudinales de pequeña escala. La presente sección pretende exponer las principales herramientas y recursos con los que cuenta el consultor internacional para realizar evaluaciones en el mundo real. La discusión utiliza el marco general propuesto por Michael Bamberger, Jim Rugh y Linda Mabry en «Real World Evaluation: Working under time, data, budget and political constraints». El libro de Bamberger et al. representa una excelente fuente de referencia para profesionales inmersos en las evaluaciones, al abordar el diseño de las evaluaciones de una manera técnica y práctica. A lo largo de la discusión, el marco general se complementa con la experiencia del equipo Gesaworld y de otros autores. El gráfico 1 expone a continuación los principales pasos para llevar a cabo una evaluación en un mundo real. En el resto de la sección, analizaremos cada uno de los pasos, a fin de proporcionar una panorámica de las metodologías, herramientas y restricciones necesarias para la práctica profesional de la evaluación.

M E TO D O LO G Í A S Y H E R R A M I E N TA S PA R A L A E VA L UA C I Ó N

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

Gráfico 1. El enfoque de evaluación en un mundo real (EMR) Planificar y delimitar el alcance de la evaluación

Paso 1 A. B. C. D.

Definir las necesidades de información del cliente y determinar el contexto político Definir el modelo teórico del programa Identificar las restricciones cronológicas, presupuestarias, informativas y políticas a las que tendrá que hacer frente la EMR Seleccionar el diseño que mejor se ajuste a las necesidades del cliente, dentro de las restricciones de una EMR

Paso 2

Paso 3

Paso 4

Paso 5

Enfrentar las restricciones presupuestarias

Enfrentar las restricciones cronológicas

Enfrentar las restricciones de información

Enfrentar las restricciones políticas

A. Modificar el diseño de evaluación. B. Racionalizar las necesidades de información. C. Buscar datos secundarios confiables. D. Revisar el diseño de la muestra. E. Utilizar métodos de recolección de datos económicos.

Todas las herramientas del Paso 2, más:

A. Reconstruir los datos de base. B. Recrear los grupos de control.

F. Encargar estudios preparatorios.

C. Trabajar con grupos de control no equivalentes.

A. Hacer frente a las presiones de las entidades financieras o los clientes en relación con el diseño de evaluación.

G. Contratar más especialistas.

D. Recolectar datos sobre temas sensibles o de grupos difíciles de acceder.

Paso 6

H. Revisar el formato de los registros del proyecto a fin de incluir datos importantes para el análisis del impacto.

E. Emplear múltiples métodos.

I. Usar tecnologías modernas de recolección y análisis de datos.

B. Determinar las preferencias metodológicas de los interesados. C. Reconocer la influencia de paradigmas de la investigación profesional.

Fortalecer el diseño de evaluación y la validez de las conclusiones A. Identificar las amenazas a la validez de los diseños cuasi-experimentales B. Evaluar la idoneidad de los diseños cualitativos C. Relacionar la verificación integral para diseños multi-metodológicos

Paso 7

Ayudar a los clientes a utilizar la evaluación A. B. C. D. E. F.

Asegurar la activa participación de los clientes en la fase de delimitación del alcance de la evaluación. Diseñar estrategias de evaluación formativa. Mantener una comunicación permanente con todas las partes interesadas a todo lo largo de la evaluación. Desarrollar capacidades de evaluación. Utilizar estrategias apropiadas para comunicar los hallazgos. Elaborar y hacer un seguimiento del plan de seguimiento ex post.

M E TO D O LO G Í A S Y H E R R A M I E N TA S PA R A L A E VA L UA C I Ó N

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

Planificar y delimitar el alcance de la evaluación La planificación de la evaluación tiene como componentes centrales la valoración del contexto político, la clarificación de las preguntas de investigación y definición del modelo teórico, y la selección del diseño final. Todos estos elementos se ven plasmados en los términos de referencia de la evaluación, que en el mejor de los casos especificarían el diseño, métodos e instrumentos de recolección y análisis de datos. Un paso que a menudo se obvia es determinar la evaluabilidad del proyecto. Según el Banco Mundial, por evaluabilidad se entiende un estudio preliminar para determinar si una evaluación sería útil y viable. A esta definición inicial podríamos añadir la necesidad de determinar la tipología básica de evaluación a realizar: las evaluaciones de impacto (especialmente cuando integran enfoques cuantitativos y cualitativos) son complejas, caras y están orientadas a la causalidad. En muchos casos, las restricciones políticas, presupuestarias y técnicas (datos y tiempo), así como la pregunta de investigación, aconsejarían otros diseños, como una evaluación de proceso o un marco integral. Una vez asesorada la evaluabilidad y determinada la tipología, se inicia el proceso de comprensión de la perspectiva del cliente y marco político de la intervención. La decisión de realizar una evaluación es siempre contingente en apoyo político; por lo tanto, el equipo de evaluación ha de cuidar siempre su relación con los tomadores de decisiones. A modo de ejemplo, Baker relata que 3 de 8 proyectos en marcha fueron cancelados por consideraciones políticas. En Venezuela, una evaluación en el campo de la salud maternoinfantil fue rediseñada 3 veces a medida que la responsabilidad del proyecto era transferida entre tres agencias gubernamentales. Por otra parte, el cliente o encargador puede tener una visión preconcebida de los resultados deseados de la evaluación y del uso de la misma. Según lo explicado en el paso 7 del marco propuesto, las evaluaciones pueden ser utilizadas para un sinfín de posibilidades: entre otras, justificar la continuación de un proyecto, legitimar políticamente al encargador, o ayudar en la mejora continua del proyecto. Así, el evaluador debe valorar los intereses presentes y clarificar los objetivos y diseño de la evaluación desde el principio. Este proceso se llevaría a cabo con el cliente y otros actores, que operan en un contexto político. El contexto político incluye “las prioridades y perspectivas del cliente y otros interesados clave, la dinámica de poder y las relaciones entre los primeros y actores clave del proyecto que está siendo evaluado, e incluso las tendencias o preferencias filosóficas o metodológicas de las personas que efectúan la evaluación”. En este sentido, es importante advertir que toda evaluación será objeto de influencias políticas; este fenómeno no debe ser tomado como negativo, sino como consecuencia de la relevancia de la evaluación y del efecto que ésta podría tener en nuevas versiones de la intervención. Durante el proceso de contexto político, el evaluador no debe asumir su

M E TO D O LO G Í A S Y H E R R A M I E N TA S PA R A L A E VA L UA C I Ó N

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

autosuficiencia, pero sí asegurarse de que sus perspectivas sean tomadas en cuenta en el diseño de las preguntas y métodos de investigación. Un aspecto importante en muchas evaluaciones es la valoración de incluir en la evaluación a grupos afectados; a menudo, se alega la imposibilidad de la participación por motivos temporales y financieros. El consultor debe sopesar tales intereses y tomar acciones al respecto. El capítulo 6 del libro de Bamberger et al. dedica un apartado entero a las alternativas de las que dispone el consultor para equilibrar las influencias políticas inherentes a cualquier evaluación. Las metodologías cualitativas podrían ser de gran utilidad a la hora de analizar el mapa político de la intervención. El desarrollo de la teoría del programa ayuda a comprender las suposiciones subyacentes y a desarrollar las preguntas de investigación. La teoría del programa se define como “modelo teórico o lógico, ya sea explícito o implícito, que subyace al diseño sobre el cual descansa un proyecto” (Bamberger et al, 2007). Se trata de un modelo causal que explica cómo las intervenciones del proyecto resultan en impactos en función del contexto prevalente. La teoría de programa se elabora tras un análisis contextual y sirve para establecer el mapa de relaciones (principalmente causales) que serán objeto de la evaluación. El modelo de teoría de programa más utilizado es el Marco Lógico, la metodología de gestión de proyectos más utilizada en la cooperación internacional. El componente central de este proyecto consiste en la elaboración de la

matriz de Marco Lógico. Esta matriz se elabora tras un análisis de componentes del proyecto mediante “diagramas de pescado” y árboles de problemas/soluciones, y relaciona objetivos con indicadores, fuentes de información, y condiciones contextuales. La elección del diseño final de estudio dependerá de los análisis preliminares, las restricciones existentes (analizadas en los pasos 2-5 del presente marco), y la teoría de programa de la evaluación. En última instancia, el diseño de evaluación es un arte que requiere la combinación de los métodos de recolección y análisis de datos; existe, por lo tanto, un gran número de combinaciones a disposición del evaluador. La elección de metodologías dependerá, según Baker, de «la pregunta de evaluación, marcos temporales, restricciones presupuestarias y la capacidad de implementación del equipo». Para una discusión de los miembros y perfiles de un equipo de evaluaciones de impacto rigurosas, véase Baker (2000). La clasificación de los diseños está basada en la existencia de grupos de comparación y la posibilidad de recabar información en los principales puntos temporales del proyecto (inicio, medio-término, fin, post). Los dos primeros diseños son los más robustos (los que están menos sujetos a amenazas a la validez), y pueden ser llevados a cabo cuando hay pocas restricciones temporales y de presupuesto, y la evaluación no puede ser iniciada hasta el inicio del proyecto. Los diseños 3 a 6 no son tan robustos metodológica-

M E TO D O LO G Í A S Y H E R R A M I E N TA S PA R A L A E VA L UA C I Ó N

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

mente, pero proporcionan información de impacto razonable sin requerir ingentes recursos y sufrir grandes limitaciones en cuanto a la fecha de inicio de la evaluación. Los estudios que incluyen grupos de control (1-5) pueden ser fortalecidos metodológicamente mediante la comparación de medias del grupo de intervención y control (estadística multivariante). El Anexo 5, extraído del informe de Bamberger et al. (2007) ayuda en la elección del diseño final, al detallar las fortalezas y debilidades de cada una de estas técnicas, mientras que el paso 6 (Fortalecer el diseño de evaluación y la validez de las conclusiones) proporciona pistas para el fortalecimiento de cada uno de estos diseños. El evaluador ha de valorar los posibles diseños de evaluación en función de las restricciones presupuestarias, temporales y de información. Así, se presentarían escenarios alternativos para alcanzar los objetivos de la evaluación. Para ello, se recomienda utilizar la “Lista de verificación estandarizada para evaluar la idoneidad y la validez de los diseños, cualitativos, cuantitativos y mixtos”, y la “Lista de verificación para evaluar las amenazas a la validez de los diseños cuantitativos”. Estas listas están contenidas en los Anexos 1 y 2 de Bamberger et al. (2007). En caso que el presupuesto no fuera suficiente para la evaluación, el consultor debería solicitar recursos adicionales o acomodar el diseño de la evaluación a los recursos existentes. A las restricciones anteriores han de añadirse las principales consideraciones técnicas, incluyendo la disponibilidad de datos basales, la existencia de un grupo de comparación, la disponibilidad de datos de proceso, la preferencia por metodologías cuantitativas o cualitativas, y el nivel de rigor. En última instancia la elección del diseño de estudio y de los métodos de recolección y análisis de datos será una decisión política del patrocinador del proyecto. La función del evaluador consiste en elaborar alternativas y asesorar al encargador, que tomaría la decisión última. La elaboración de los términos de referencia de la evaluación servirá para consolidar la propuesta final, estimar recursos necesarios y marcos temporales, y asignar responsabilidades. Al requerir la consideración del proyecto en general, la elaboración de los términos de referencia puede ser un proceso prolijo. Bamberger et al (2007) abordan dichas cuestiones con amplitud; las más importantes de las cuales están resumidas en la presentación de Bamberger (2007, transparencias 57-64). De esta manera, los términos de referencia actuarían como la base del proyecto, que guiará la implementación del mismo. Para ver un ejemplo de términos de referencia, se recomienda el Anexo 2 de Baker (2000).

M E TO D O LO G Í A S Y H E R R A M I E N TA S PA R A L A E VA L UA C I Ó N

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

Enfrentar las restricciones presupuestarias En la mayoría de las situaciones, el evaluador no contará con los recursos necesarios para llevar a cabo una evaluación de impacto rigurosa o experimental. Bamberger et al. (2007, presentación) proponen un abanico de estrategias para afrontar las restricciones presupuestarias. Las estrategias están resumidas en los siguientes puntos:

• Simplificar el diseño de la evaluación: en el caso de evaluaciones cuantitativas, se sugiere escoger entre los 7 diseños más frecuentes en función del presupuesto. La elección de evaluaciones cualitativas variarían en función del diseño; los más prolijos (i.e. Grounded Theory) podrían ser subtituidos por técnicas más rápidas y menos costosas, como grupos focales o entrevistas a informantes clave. Otras estrategias implicarían reducir el número de unidades de estudio o la frecuencia de las observaciones.

• Simplificar la recolección de datos: los costes de recolección de datos son uno de los principales capítulos de gasto en toda evaluación, por lo que es de vital importancia racionalizar su recolección. Un instrumento útil a este respecto es un plan de recolección que estableza (con el cliente

y otros actores) los objetivos de la evaluación, el diseño del estudio y los métodos de colección y análisis de datos. Otra estrategia importante consiste en la depuración del proceso de recolección de datos mediante diversas técnicas, incluyendo:

– Simplificar el diseño de la evaluación, según referido anteriormente. – Utilizar los recursos humanos sabiamente. Una evaluación de impacto cuantitativa conlleva un equipo multidisiciplinar. Estos profesionales suelen ser consultores internacionales o staff de organismos, altamente cualificados y costosos. En general, se recomienda que la mayor parte del personal posible sea local, ya que conocen la lengua y cultura vernáculas, y sus costes de contratación suelen ser considerablemente menores al de los consultores internacionales.

– Buscar datos secundarios confiables: en algunos países en vías de desarrollo, por ejemplo en América Latina, existe información secundaria extensa y con alta fiabilidad. Esta información podría provenir de institutos nacionales de estadística, departamentos de planificación del gobierno, universidades y centros de investigación, medios de comunicación masiva y la sociedad civil. La fiabilidad de los datos debería ser contrastada en todo caso.

– Reducir el tamaño de la muestra: una opción útil consiste en reducir el nivel de confianza estadística, que tiene un gran impacto en la muestra necesaria. En un ejemplo de Bamberger

M E TO D O LO G Í A S Y H E R R A M I E N TA S PA R A L A E VA L UA C I Ó N

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

et al., comprobar un 5% de cambio requería una muestra de 1086 unidades, mientras que 10% necesitaba apenas 270 (Bamberger 2007, Presentación).

– Reducir los costos de recolección, ingreso y análisis de datos: la recolección podría simplificarse mediante cuestionarios auto-administrados, o la substitución de técnicas cualitativas para la recolección de datos. Algunos ejemplos de estas últimas son el uso de grupos focales en vez de encuestas a hogares. Otras técnicas (Baker) consisten en aprovechar encuestas en curso, mediante la ampliación de la muestra o inserción de nuevas variables en una misma muestra. Una última categoría consistiría en contratar para la recolección e ingreso de datos a estudiantes o practicantes de universidades. En general, las técnicas de triangulación permiten obtener datos altamente confiables a bajo costo. El Anexo 5 de Bamberger et al. (2007) aborda las estrategias para reducir costes de recolección de manera integral.

Enfrentar las restricciones temporales Las estrategias para enfrentar las restricciones presupuestarias conllevan, en la mayoría de los casos, una reducción del marco temporal del proyecto. Como se expondrá a continuación, existen una serie de estrategias adicionales que reducen el tiempo necesario para realizar el proyecto. Sin embargo, a menudo estas estrategias incrementan los costes. El evaluador deberá por lo tanto sopesar dichas estrategias para conseguir la fórmula más adecuada.

• Reducción de presiones sobre consultores externos (a menudo extranjeros): los consultores externos necesitan tiempo para adaptarse a la cultura local; sin embargo, algunas de sus competencias pueden ser realizados por personal nacional. Los consultores locales pueden ir recolectando y organizando de manera anticipada los datos disponibles, y realizar estudios exploratorios sobre la población objetivo, contexto político, y desafíos clave de la evaluación. Por último, las nuevas tecnologías ofrecen posibilidades de videoconferencia entre el consultor internacional y local, que permiten avanzar con la planificación a distancia.

• Contratar más recolectores de datos, o subcontratar esta actividad. • Incorporar indicadores de impacto en los sistemas de monitoreo del proyecto: éstos podrían incluir indicadores de acceso y servicio, y características de personas y hogares. De esta manera, se evitarían encuestas ad-hoc.

M E TO D O LO G Í A S Y H E R R A M I E N TA S PA R A L A E VA L UA C I Ó N

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

• Aprovechar la tecnología moderna para el ingreso y codificación de datos: hoy en día, los computadores móviles pueden obtenerse a bajo costo; también existen sistemas de conteo automático y escaneo óptico. En el plano cualitativo, pueden realizarse encuestas por email o en la web (surveymonkey), sistemas GPS, videocámaras y fotografía.

Enfrentar las restricciones de información Las principales restricciones relacionadas con los datos recaen en la reconstrucción de grupos de comparación e información basal. Como ya hemos visto, la reconstrucción de grupos de comparación se realiza mediante técnicas econométricas semi-experimentales, fundamentalmente propensity-score matching. Si bien estas técnicas pueden mejorar sustancialmente la calidad de los grupos de comparación, las evaluaciones post-implementación se ven obligadas a definir los grupos de comparación como contrafactual. Esto conlleva el problema de diferencias no observadas, principalmente auto-selección, afectando así de manera considerable la calidad de la evaluación. Por lo tanto, es siempre recomendable reconstruir la in-

formación basal con datos reales. Para ello, el evaluador puede recurrir a las siguientes fuentes (para mayor información, Tabla 10 de Bamberger et al. 2007):

• Información oficial, incluyendo encuestas nacionales (similares a la EPA en España), censos, información administrativa del proyecto, registros administrativos de organismos públicos, estudios de ONGs, etc. Es importante valorar la información obtenida a la luz de la cobertura temporal (que cubra el período del proyecto), la cobertura poblacional, la pertinencia y exactitud, y los sesgos.

• Entrevistas a informantes.

Aunque los informantes pueden proporcionar rica información

contextual, están sujetos a sesgos intencionales y no intencionales, entre ellos el de la memoria. Los proyectos pueden (y suelen) abarcar varios años y, a menudo, es difícil invocar situaciones que quedan atrás en el tiempo.

• Diagnósticos participativos rápidos: conjunto de técnicas mediante las cuales las comunidades informan sobre las condiciones en la comunidad y sus cambios a lo largo del tiempo. Aunque ofrecen la ventaja de la perspectiva múltiple, estas técnicas conllevan un problema de representatividad y dinámicas de grupo.

M E TO D O LO G Í A S Y H E R R A M I E N TA S PA R A L A E VA L UA C I Ó N

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

• Entrevistas a informantes clave: los informantes clave no tienen porqué ser funcionarios de alto nivel; Bamberger et al. (Presentación, 2007) afirman que cualquiera puede ser un informante clave en una situación determinada. Así, los informantes clave pueden ser pacientes maláricos, madres de familia, o usuarios de un programa de desintoxicación. Las recomendaciones generales en esta rúbrica comprenden incluso a los informantes clave con diferentes perspectivas, entender su rol en el marco general, y realizar varias rondas de entrevistas si es necesario. En general, se recomienda la triangulación de datos, dado que ésta mejora la fiabilidad y comprensión de la situación.

Fortalecer el diseño de evaluación y la validez de las conclusiones Los diseños cuantitativos están sujetos a una serie de condicionantes que pueden afectar la calidad de los datos y la validez de las conclusiones. En la Presentación de Bamberger et al. (2007) la validez es entendida como el nivel hasta el cual los resultados y recomendaciones están avalados por el marco conceptual del proyecto, las técnicas estadísticas, la implementación del proyecto y la propia evaluación, y las similitudes entre la población del proyecto y la población general. En términos técnicos, la misma fuente cita las siguientes dimensiones de la validez:

• Confirmabilidad: ausencia (siempre relativa) de sesgos del evaluador y conclusiones basadas en evidencia

• Credibilidad de las conclusiones para los actores clave • Fiabilidad: consistencia del estudio en relación a tiempo, investigadores y métodos • Capacidad de generalización de las conclusiones a otros contextos • Utilidad de los resultados para los actores clave Así, las evaluaciones cuantitativas han de hacer frente a amenazas de origen estadístico, incuyendo a) amenazas a la validez de las conclusiones basadas en la estadística (inferencia errónea de asociación estadística entre dos variables); b) amenazas a la validez interna (atribución errónea de las intervenciones a resultados); c) amenazas a la validez de las hipótesis (inadecuación de los indicadores a las hipótesis y con-

M E TO D O LO G Í A S Y H E R R A M I E N TA S PA R A L A E VA L UA C I Ó N

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

ceptos descritos en la teoría de programa); d) amenazas a la validez externa (generalización de las conclusiones del proyecto a otras poblaciones). Los diseños cuantitativos han de hacer frente a otras limitaciones más allá de las de origen estadístico, incluyendo:

• Problemas respecto a la medición de indicadores clave, especialmente aquellos relacionados con poblaciones de difícil acceso (consumo de estupefacientes, prostitución, violencia doméstica, etc.).

• Dificultades para detectar variaciones en la ejecución del proyecto, calidad y acceso. • Los estudios cuantitativos no analizan lo factores contextuales (ruido de fondo) que afectan a los impactos del proyecto.

• Las diferencias entre los grupos de intervención y control son difíciles de cuantificar, especialmente aquellas no observables.

En función de estas limitaciones, el evaluador ha de apuntar al mayor nivel de rigor y efectividad po-

sibles mediante el control de las potenciales debilidades metodológicas, mediante el abordaje sistemático de las diferentes dimensiones que afectan a la validez. A continuación, revisaremos las principales intervenciones para fortalecer la validez y las conclusiones:

• Sustentación del diseño de la evaluación en el modelo teórico (o marco lógico) del programa. La teoría del programa identifica los temas e hipótesis clave en los cuales se debería enfocar la evaluación, así como las cadenas causales a analizar.

• Complemento de la evaluación cuantitativa con una evaluación de procesos: el proceso de implementación puede afectar a las relaciones causales establecidas en el diseño inicial; una evaluación del proceso adaptaría así el diseño de evaluación a nuevos condicionantes.

• Incorporación del análisis contextual, valorando la influencia de factores mediadores (económicos, políticos, institucionales y medioambientales) en los efectos del proyecto. El análisis suele ser cualitativo, aunque puede incluir variables contextuales que pueden ser modeladas estadísticamente como dummy variables.

• Reconstrucción de la línea de base (explicada anteriormente).

M E TO D O LO G Í A S Y H E R R A M I E N TA S PA R A L A E VA L UA C I Ó N

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

• Integración de enfoques mixtos para fortalecer la validez de los indicadores y la interpretación. Según referenciado anteriormente, los siete diseños (semi-experimentales) se ven reforzados mediante la combinación con técnicas cualitativas. Las siguientes modalidades son las más utilizadas:

– Estudios exploratorios (análisis contextuales) para la construcción de la teoría de programa. – Análisis de la calidad y la accesibilidad de la intervención o servicios – Identificación de rasgos culturales y su influencia en la ejecución y efectos del proyecto – Triangulación de indicadores clave. En el caso que las triangulaciones sean divergentes, será necesario hacer seguimiento a fin de seleccionar la versión más probable.

• Control de las diferencias entre los grupos de intervención y control, mediante el análisis multivariado y encuestas cualitativas.

Ayudar a los clientes a utilizar la evaluación 43 Llegados a este punto, analizaremos cómo maximizar el impacto de las evaluaciones. A menudo, los informes de evaluación acaban olvidados en un cajón, con lo cual ni los resultados de la evaluación son diseminados, ni la evaluación cumple su objetivo último de contribuir a la mejora continua de los proyectos. Algunos de los factores que contribuyen a la falta de la cultura de evaluación son su carácter de rendimiento a largo plazo, las dificultades para conseguir personal cualificado (en el caso de las cuantitativas), su complejidad logística y operacional, y las influencias políticas que afectan tanto a su curso como a los resultados finales. Las influencias políticas son amplias (ver tabla 1 en Bamberger et al. 2007) y el evaluador ha de manejarlas con sutileza a fin de garantizar la realización de la evaluación y evitar sesgos en la publicación de resultados. La realidad de la falta de cultura de evaluación se ve reflejada en el hecho de que sólo un 5-10% de las evaluaciones usan un diseño semi-experimental robusto, y menos del 5% utilizan diseños aleatorizados (Presentación Bamberger, 2007). En muchos casos, estas evaluaciones utilizan diseños cuantitativos o cualitativos con debilidades metodológicas graves, sin haber triangulado las informaciones obtenidas. Estas debilidades metodológicas frecuentes podrían mermar más aún el impacto de las evaluaciones a largo plazo.

M E TO D O LO G Í A S Y H E R R A M I E N TA S PA R A L A E VA L UA C I Ó N

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

Asimismo, cuando no acaban en un cajón, los informes de evaluadores se utilizan a menudo con fines diferentes a los de la mejora. El informe del Overseas Development Institute (2009), realizado por Jones y colaboradores tras una ronda de consultas con especialistas en evaluación de ámbito internacional, sitúa el uso de las evaluaciones en el ámbito de la legitimización. En este contexto, la legitimación viene definida como “la corroboración de una fuente externa de una decisión defendida por la organización (encargadora)”. Esta percepción parece refrendada dado el número de evaluaciones publicadas con hallazgos positivos. Si bien antes esta dimensión era considerada como distorsión de toda evaluación imparcial, numerosos analistas han reclamado su legitimidad. Por otra parte, parece haber evidencia preliminar del carácter eminentemente indirecto de la influencia de las evaluaciones. La influencia indirecta se define como la toma de conciencia de los tomadores de responsables, mediante la mejora de conocimiento sobre qué funciona y qué no, y el fomento del diálogo entre investigadores y tomadores de decisiones. Esta influencia ocurriría así principalmente a nivel estratégico y estructural, sin apreciación directa en el proyecto en cuestión. Finalmente, el mismo informe afirma que el uso instrumental de las evaluaciones ocurre raramente. Por uso instrumental se entiende la implementación de los hallazgos y recomendaciones al programa o proyecto evaluado. Tales acciones tendrían lugar en decisiones tales como continuar o no el programa, o decidir mo-

dificaciones a introducir. A modo de ejemplo, la oficina de Evaluación y Auditoría del Banco Interamericano de Desarrollo revela, que a pesar de la publicación de numerosos trabajos rigurosos por la propia entidad, éstos no han sido adoptados como norma de la institución. Los motivos para ello incluyen el hecho de que la comparación de diferentes alternativas necesitaría una evaluación de cada una de ellas, que las consideraciones de expansión (scale-up) no son siempre transferibles de un proyecto a otro, o que los resultados de las evaluaciones podrían llegar demasiado tarde para la toma de decisiones. ¿Cómo, pues, conseguir que las evaluaciones contribuyan en mayor medida a la toma de decisiones en el campo de la salud? El informe de Jones et al. arroja luz a este respecto. Un primer factor alentador radica en el hecho que, si bien es cierto que en el sector salud la cultura de la evaluación proviene del campo de las vacunaciones, nuevos desarrollos están produciéndose en el campo de la salud pública (modelo evaluación progresiva de Johns Hopkins; metodologías de asesoramiento de impacto en la salud). En efecto, la cultura de evaluación está más afianzada en la salud que en otras políticas públicas, incluyendo política social, infraestructura, o recursos naturales. En el campo sanitario se ha otorgado un mayor reconocimiento a la validez de las evaluaciones para proporcionar evidencia para la toma de decisiones. Además, la comunicación de hallazgos de las evaluaciones parece bastante extendida en todos los niveles de los servicios de salud. Finalmente, cabe destacar que la salud es el único sector en el cual el encargo de evaluaciones no está

M E TO D O LO G Í A S Y H E R R A M I E N TA S PA R A L A E VA L UA C I Ó N

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

dominado por los donantes. Los gobiernos de los países en vías de desarrollo, y muy especialmente México (CONEVAL), Chile, Colombia y Honduras se están involucrando considerablemente en las evaluaciones de impacto de los programas de salud. Esta tendencia parece ser fruto de políticas de transparencia, a menudo recogidas en los marcos regulatorios del país, como es el caso en México. Algunas ONGs (Wold Vision, Save the Children, ONGs de países en vías de desarrollo) están realizando evaluaciones de impacto rigurosas para mejorar la eficiencia de los proyectos en el terreno y acumular evidencia en sus actividades de cabildeo. En general, estas tendencias reflejan un incremento de interés profesional sanitario en las evaluaciones. En este informe, las recomendaciones para mejorar el impacto de las evaluaciones en el campo de la salud se han agrupado a nivel individual y colectivo. Estas recomendaciones tienen el denominador común de orientarse a la creación de una cultura de evaluación. A nivel individual, Baker (2000) propone acciones para maximizar el impacto de las evaluaciones. Varios autores (Baker, Bamberger, Leew y Voess) hacen énfasis en la amplia involucración de los actores interesados en el diseño, ejecución y evaluación de intervenciones. Tal participación serviría para legitimar la evaluación, empapar a los participantes en su desarrollo y objetivos, y crear una estructura marco de cara a la sostenibilidad del proyecto. Sin embargo, como apuntan Bamberger et al. (2007), la participación social es a menudo costosa y enfrenta barreras políticas. A fin de alcanzar el impacto deseado, las evaluaciones deberían llevarse a cabo con el mayor rigor y validez posibles, y se debería analizar el impacto de las intervenciones para cada uno de los grupos de afectados. Las evaluaciones de proyectos innovadores y novedosos, sobre todo aquellos que sirven como piloto para otras intervenciones, tienden a recibir más financiación. Asimismo, la información sobre el desarrollo de la ejecución y sus costes, especialmente en relación a los impactos alcanzados y su distribución es de gran interés para los responsables de las políticas; de ahí su inclusión en los sistemas de evaluación. Por otra parte, Baker propone que a lo largo del proyecto el equipo de evaluación publique resultados en función de los marcos de decisión de futuro de la intervención (medio término del proyecto, cierre, etc.). Se deberían desarrollar también diferentes informes para audiencias o actores más allá del sponsor y ámbitos académicos. Por ejemplo, las autoridades públicas de alto nivel suelen tener agendas muy apretadas; boletines informativos citando hechos clave en formato sangría serían muy útiles. En todo momento, los informes han de contener recomendaciones orientadas a la acción, con metas potenciales a corto, medio y largo plazo. En consecuencia, es importante diseñar una estrategia de comunicación que involucre a todos los actores clave, utilizando presentaciones orales (muy útiles sobre todo en las interacciones con la comunidad), así como notas de prensa y la publicación de los progresos en los medios

M E TO D O LO G Í A S Y H E R R A M I E N TA S PA R A L A E VA L UA C I Ó N

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

on line. La difusión pública de la información podría ayudar a legitimar la evaluación y el proyecto. Se recomienda negociar los aspectos de la misma a priori con el promotor y actores principales, adaptar los hallazgos al contexto y audiencias, y difundir la información periódicamente. Además de la difusión de resultados, el evaluador puede negociar un plan de acción con el encargador y responsables del proyecto. Este plan de acción intentaría dar continuidad a las recomendaciones de la evaluación. El equipo responsable debería, además, colaborar con las principales sociedades internacionales (IDEAS, American Evaluation Association, European Evaluation Association) y grupos científicos relacionados (3IE, NONIE, the Campbell Collaboration) para promover una cultura de la evaluación. A medida que la cultura de evaluación se afianza, el contacto fluido con los principales entes realizadores y financiadores de las evaluaciones puede contribuir a la creación de redes nacionales que creen sinergias a largo plazo. Jones et al. y el Council for Global Development (CGD), en el informe “Will we ever learn?”, incluyen extensas recomendaciones para el nivel colectivo. Las recomendaciones de ambos grupos están centradas en la coordinación entre agencias gubernamentales, universidades, sector privado y sociedad civil organizada en la creación de una cultura de evaluación. Según el CGD, la coordinación a nivel nacional podría llevarse a cabo mediante un consejo nacional de evaluaciones. Este consejo podría adoptar diversas formas

jurídicas, y estar coordinado por cualquier institución pública o privada. Su principal rol consistiría en centralizar el conocimiento en evaluaciones e impulsar una cultura de evaluación, mediante la difusión financiación semilla de evaluaciones rigurosas. Aunque el informe aborda prolijamente las funciones de este comité en una tabla al respecto (tabla en pp. 36-37 del informe) resumamos aquí los principales capítulos:

• Establecer estándares de calidad para las evaluaciones de impacto. • Administrar un proceso de revisión para diseños y estudios de evaluación • Identificar temas clave para las evaluaciones • Administrar fondos de investigación para diseños de evaluaciones Las recomendaciones de Jones et al recaen en 5 frentes: coordinación estratégica, financiación, gestión del conocimiento, formación, y diseminación. En cuanto a la coordinación estratégica, deberían realizarse evaluaciones más allá del nivel de proyecto; bien a nivel de política (policy), bien mediante la agrupación de evaluaciones en grupos temáticos (por ejemplo, Objetivos del Milenio, o Programas de Ajuste Estructural). Además, la publicación de evaluaciones con resultados no positivos generaría un conocimiento

M E TO D O LO G Í A S Y H E R R A M I E N TA S PA R A L A E VA L UA C I Ó N

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

importante sobre qué intervenciones no funcionan en determinados contextos. Mediante la agregación de evidencia de diferentes estudios relacionados, se podría obtener información valiosa para ayudar en decisiones sobre la extensión de proyectos y se podrían ahorrar costes de recolección de datos. Los entes financiadores podrían fomentar esta coordinación mediante la convocatoria de evaluaciones temáticas y la coordinación de eventos que aúnen a personal de ejecución y evaluación. Mediante estos eventos y otras actividades dirigidas a los tomadores de decisiones y al gran público (en las que podrían participar los especialistas en comunicación) los resultados de las evaluaciones podrían llegar a audiencias más amplias. Los donantes podrían financiar la formación de profesionales en países en vías de desarrollo y exigir el inicio de la evaluación desde el comienzo de la intervención. Las agencias y asociaciones internacionales realizarían la coordinación operativa de estándares de calidad y mejores prácticas entre países. Asociaciones como 3iE21 y NONIE22 podrían desarrollar y mantener bases de datos y sintetizar el conocimiento acumulado mediante revisiones sistemáticas e informes de buenas prácticas. Estas redes podrían servir de plataforma para difundir la cultura de la evaluación entre los responsables de las políticas sanitarias. En coordinación con organismos y ONGs internacionales, se podrían realizar talleres especializados, mantener comunidades de práctica virtual y realizar procesos de revisión de mejores prácticas. El Banco Mundial ha estado apoyando iniciativas a este respecto, como la fundación de IDEAS, y la excelente difusión de metodologías de evaluación en su página web23 . Otras asociaciones y ONGs con iniciativas similares son los «discussion paper de Poverty Action Laby», y las revisiones metodológicas de la Campbell Collaboration24.

http://www.3ieimpact.org/

http://www.worldbank.org/ieg/nonie/

http://web.worldbank.org/external/default/main?theSitePK=1324361&pagePK=64253958&contentMDK=20791122&menuPK=5039271&piPK=64252979

http://www.campbellcollaboration.org/

EXPERIENCIAS

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

EXPERIENCIAS 5 LA EVALUACIÓN DENTRO DEL MARCO DE PLANIFICACIÓN EN SALUD

La evaluación forma parte del proceso de planificación, que se caracteriza por ser un proceso cíclico que se ha de realizar en un contexto estrechamente relacionado con el entorno organizativo, económico y político que envuelve al sistema de salud. El proceso de planificación parte de la realización de un análisis de situación, sigue con la definición y priorización de intervenciones y acaba con su aplicación y su consecuente evaluación. Por tanto, la evaluación es la última fase del proceso de planificación que alimenta al mismo y permite un salto cualitativo al incorporar líneas de mejora surgidas de la propia experiencia. Las fases del proceso de planificación que se presentan en el gráfico 2 no se desarrollan estrictamente de una manera secuencial ya que algunas de ellas se pueden realizar simultáneamente. Mientras que la fase de definición de intervenciones puede iniciarse antes de que la de análisis de situación finalice, la fase de definición de objetivos y la fase de diseño de la evaluación también pueden solaparse. La fase de análisis de situación es el primer paso del proceso de planificación que consiste en la búsqueda y el análisis de información que permite conocer la magnitud de los problemas y las necesidades de salud de la población objeto de estudio. En la fase de identificación y definición de intervenciones se identifican las intervenciones efectivas dirigidas a un grupo de personas para reducir el impacto de los problemas de salud. Para poder definir, seleccionar y priorizar estas intervenciones se hace necesario recopilar información lo más completa y validada posible sobre su efectividad, eficiencia, y factibilidad25. La 25 Pineault R., Daveluy C. La planification de la Santé. Concepts. Méthodes. Stratégies.

fase de priorización, que es posterior a la de identificación de problemas y a la definición de intervenciones, consiste en establecer las prioridades y seleccionar las intervenciones factibles más efectivas y eficientes para abordar los problemas de salud más importantes de la población.

EXPERIENCIAS

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

Gráfico 2. La evaluación dentro del proceso de planificación en salud

Análisis de la situación

Identificación de problemas

Definición de intervenciones

Fijación de objetivos generales y específicos

Priorización

Aplicación

Establecimiento de prioridades

Fijación de objetivos operacionales

Evaluación

Fuente: Elaboración propia Gesaworld 2009 a partir de Raynald Pineault, La planification de la santé, 1986

Finalmente, la fase de diseño de la evaluación, aunque se desarrolla al final del proceso de planificación, ha de tenerse en cuenta en el momento de fijar las intervenciones y los objetivos para que éstos puedan ser posteriormente mesurables y evaluables. La finalidad de la evaluación de programas y políticas de salud es dar a conocer el estado actual de salud y de los servicios y saber si se han conseguido los objetivos establecidos en el proceso de planificación. Por otro lado, la evaluación permite obtener la información de los elementos que puedan ayudar a mejorar la aplicación y la efectividad de las intervenciones así como también alimenta un nuevo ciclo que permite formular nuevas propuestas o modificar las actuales. El proceso de evaluación, además, va acompañado de la divulgación de la evidencia y experiencia extraídas que se pueden transformar en forma de guías prácticas, o publicaciones internacionales. La evaluación de políticas y programas es una práctica esencial en la salud pública y resulta necesaria para desarrollar los principios operacionales que sirven para guiar las actividades que se llevan a cabo en este campo. Estos principios son:

EXPERIENCIAS

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

a) Uso de la ciencia como base para la toma de decisiones y para llevar a cabo acciones de salud pública (intervenciones basadas en la evidencia científica) b) Promoción de la equidad social a través del desarrollo de acciones de salud pública c) Realización de esfuerzos que vayan dirigidos a una finalidad concreta d) Responsabilidad Estos principios operacionales implican varias maneras de mejorar la planificación y gestión de las actividades de salud pública. Una de las formas que se requieren para saber si los programas de salud cumplen con estos principios es relizar evaluaciones y monitorizaciones rutinarias que faciliten información para llevar a cabo su gestión y mejorar su efectividad. En este sentido, la evaluación resulta una herramienta fundamental para facilitar la toma de decisiones en las diferentes fases de ejecución de los programas e intervenciones, desde su concepción y diseño hasta su posterior valoración en términos de logros e impactos. Esto permite ayudar a identificar y corregir errores en la implementación de los programas y permite hacer las intervenciones más eficientes y efectivas.

Pasos y estándares para llevar a cabo una evaluación de políticas y programas de salud Los Centers for Disease Control and Prevention (CDC)26 establecen un marco que contiene los pasos y estándares para llevar a cabo una evaluación de manera efectiva. Este marco se compone de 6 pasos que son interdependientes y secuenciales en el tiempo, en el sentido de que un paso no debe llevarse a cabo a no ser que el paso anterior se haya cumplido. Estos pasos se representan en el gráfico 3: Paso 1: Alcanzar el compromiso de los actores involucrados en la política o programa: los actores involucrados deben comprometerse para asegurar que sus perspectivas son entendidas. Si éstos no están comprometidos con la evaluación, ésta puede no tener en cuenta los elementos importantes para valorar el logro o el alcance de los objetivos. Paso 2: Describir la política o el programa: la descripción de la política/programa ha de ser lo suficientemente detallada para asegurar que se entienden sus objetivos y estrategias. 26 Eiliana Montero Rojas, Marco conceptual para la evaluación de programas de salud.

Paso 3: Focalizar los esfuerzos en el diseño de la evaluación: el diseño de la estrategia evaluativa es importante para que ésta acabe siendo útil, factible, ética y precisa. Los propósitos que se quieren alcanzar a través de la realización de una evaluación pueden ser:

EXPERIENCIAS

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

Gráfico 3. Marco recomendado para realizar una evaluación

Asegurar su uso y compartir las lecciones aprendidas

Alcanzar el compromiso de los actores involucrados en la política o programa

Describir la política o el programa

Justificar las conclusiones

Conseguir una evidencia creíble

Focalizar los esfuerzos en el diseño de la evaluación

Fuente: Centers for Disease, Control and Prevention, 1999.

– – –

Ganar conocimiento a través de diferentes métodos Cambiar la práctica de la política o programa y, así, mejorar su operatividad Evaluar los efectos de la política o programa con tal de relacionar las actividades que se desarrollan dentro de estos y las consecuencias que se desprenden

–

Causar efecto entre los actores involucrados en la evaluación y así poder reforzar la intervención evaluada

Paso 4: Conseguir una evidencia creíble: la evaluación debe incluir la información necesaria que permita obtener una visión clara de la política o programa que se está evaluando. Esta información debe ser percibida como creíble y relevante por los actores que están involucrados en la evaluación ya que así estos serán más proclives a aceptar las conclusiones y recomendaciones de la misma. Paso 5: Justificar las conclusiones: las conclusiones de la evaluación se justifican a través de la evidencia adquirida. Estas conclusiones incluyen estándares, análisis, síntesis, interpretación, juicio y recomendaciones que se desprenden de la misma.

EXPERIENCIAS

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

Paso 6: Asegurar su uso y compartir las lecciones aprendidas: las lecciones aprendidas que se desprenden de una evaluación no se trasladan automáticamente a la toma de decisiones ni a la realización de una acción concreta. Para preparar el uso de una evaluación se debe hacer un esfuerzo que asegure que lo resultados se implementan apropiadamente y que haya una correcta vigilancia en su implementación. Según los CDC, los pasos anteriormente mencionados han de ir acompañados por los 30 estándares del Joint Committee on Standards for Educational Evaluation que están agrupados por los cuatro atributos de una evaluación que han sido mencionados y detallados anteriormente: utilidad, viabilidad, adecuación y exactitud27.

Impacto de la evaluación en los programas y políticas de salud La evaluación, además de definir si funcionan o no las actividades de las políticas o programas de salud y definir cómo funcionan, aporta una serie de elementos que se describen a continuación: Gráfico 4. Efectos de la evaluación en los programas y políticas de salud

Programas y Políticas de Salud

Evaluación

27 Centers for Disease and Control Prevention (CDC), Framework for Program Evaluation in Public Health. MMWR 1999.

Fortalece los programas/ políticas de salud

Institucionaliza los programas/ políticas de salud

Ayuda en las decisiones de las autoridades responsables

Fuente: Elaboración propia Gesaworld. 2009 a partir de OPS 2001.

Contribuye a la comprensión global de lo que funciona o da resultado

EXPERIENCIAS

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

a. Fortalece las políticas o programas de salud A través de la evaluación se pueden valorar la calidad de las actividades y/o servicios desarrollados y el grado en que estos llegan a la población diana. Por otro lado, la evaluación también ayuda a fijar prioridades para la planificación estratégica, evaluar las necesidades de capacitación y supervisión de los profesionales de salud, obtener una retroalimentación de la población objetivo o de los participantes en la política o programa, y argumentar en favor de la efectividad de su enfoque28.

b. Institucionaliza las políticas o programas de salud Los resultados de la evaluación pueden ayudar a los actores involucrados y a la población en general a entender qué se está haciendo a través del desarrollo de la política o programa, cuán bien está alcanzando los objetivos, y si existen necesidades críticas que estén inhibiendo su progreso. Los resultados de la evaluación pueden institucionalizarse educando a los actores que intervienen y que pueden ayudar a garantizar el apoyo social, financiero y político del programa.

c. Ayuda a determinar las decisiones de las agencias de financiamiento y de las autoridades responsables

La evaluación de los programas ayuda a las agencias de financiamiento y las autoridades responsables a tomar decisiones estratégicas sobre cómo invertir los recursos, y demostrar que la inversión produce resultados de calidad. Por otro lado, la evaluación también permite identificar las estrategias que deben reproducirse y aquellas que deben expandirse, ayuda a identificar aquellas necesidades no satisfechas así como a detectar dificultades. De este modo, la evaluación también aboga en favor de cambios en las políticas.

d. Contribuye a la comprensión global de las intervenciones que funcionan o dan resultado La diseminación de los resultados de la evaluación puede mostrar cómo está funcionando el programa así como determinar las estrategias que no tienen el impacto deseado. Todo ello contribuye a la perspectiva global que ayuda a entender si las intervenciones funcionan en el mejoramiento de la salud. En este sentido, los resultados promueven un conjunto de lecciones aprendidas y “prácticas óptimas” que pueden fortalecer las políticas o programas de salud no 28

Organización Panamericana de la Salud, Manual de monitoreo y evaluación, 2001.

sólo en el entorno evaluado sino también en otros países o contextos.

EXPERIENCIAS

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

6 EXPERIENCIA DE GESAWORLD EN LA EVALUACION DE PROGRAMAS EN EL SECTOR SALUD

Dentro de la línea de servicios de consultoría y asesoría organizacional, el Grupo GESAWORLD ha participado en la evaluación de programas, proyectos e iniciativas tanto del sector salud como del sector social, en países de América Latina como Brasil, Panamá, Colombia, Nicaragua, Honduras, Guatemala, Paraguay y El Salvador, y dentro del continente europeo, en España, Portugal y Francia. De la experiencia acumulada en la evaluación de programas de salud, y para efectos del presente documento, se han escogido cuatro proyectos de consultoría y asistencia técnica que se relacionan en la

Tabla 4. Proyectos de Evaluación Destacados. GESAWORLD 2009

País

Estado Actual de Ejecución

Programa Evaluado

Nombre de la Evaluación

Programa Multifase de Transformación Institucional del Sector Salud.

Evaluación Concurrente del Programa Multifase de Transformación Institucional del Sector Salud.

Finalizada

Colombia

Programa de Apoyo a la Reforma en Salud (PARS)

Evaluación del Programa de Apoyo a la Reforma de Salud (PARS) en cuanto a sus objetivos, estrategias, institucionalización y sostenibilidad de sus acciones.

Finalizada

Nicaragua

Programa de Mejoramiento de la Salud Materno-Infantil.

Auditoria de Desempeño: Programa de Salud MaternoInfantil.

En ejecución

Brasil

Programa de Atención Integral a la Familia PAIF.

Estudios cuali-cuantitativos sobre el Programa de Atención Integral a la Familia (PAIF.)

Panamá

Fuente: Elaboración propia. Gesaworld 2009.

En ejecución

EXPERIENCIAS

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

tabla 4, destacan bien sea por la complejidad del programa evaluado o por la innovación en su abordaje. Cada uno de estos proyectos de consultoría ha significado para el Grupo GESAWORLD la adaptación de los modelos, teorías y técnicas asociadas a la evaluación de programas, a las necesidades y a los contextos específicos de cada proyecto en particular. Si bien los proyectos de evaluación suelen responder principalmente a uno de los modelos descritos en el Marco Teórico, en la práctica lo que se presenta son combinaciones de modelos y técnicas que buscan responder de manera más global a las necesidades de los responsables de la toma de decisiones en materia de política social y sanitaria. En este orden de ideas, a continuación se describe, para cada uno de los proyectos relacionados en la tabla 4, el programa evaluado, la metodología y las características principales de la evaluación realizada, los resultados obtenidos y las principales lecciones aprendidas que ha obtenido GESAWORLD a partir de su participación en este tipo de intervenciones.

EXPERIENCIAS

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

7 EVALUACIÓN CONCURRENTE DEL PROGRAMA MULTIFASE DE TRANSFORMACIÓN INSTITUCIONAL DEL SECTOR SALUD EN PANAMÁ

Mediante este proyecto, Gesaworld realizó un novedoso proceso de seguimiento y evaluación concurrente de un programa clave de reforma institucional ejecutado por el Ministerio de Salud de Panamá con fondos del Banco Interamericano de Desarrollo.

1. El Programa Multifase de Transformación Institucional del Sector Salud El Programa Multifase de Trasformación Institucional del Sector Salud de Panamá forma parte de las políticas de reforma del Estado y de combate a la pobreza realizadas por los distintos gobiernos del país en la última década. Durante la época en que se formuló el Programa Multifase, Panamá presentaba una problemática socioeconómica que se caracterizaba por una fuerte desigualdad social. A pesar de que en ese período el país mostraba mejoras en los indicadores claves para su crecimiento económico así como el comportamiento del Producto Interior Bruto (PIB), el 37% de la población vivía en la pobreza, y de ese porcentaje, casi la mitad vivía en la extrema pobreza,29 concentrándose principalmente en zonas rurales e indígenas del país. En el sector salud esto se traducía en la existencia de brechas de cobertura de atención en salud en poblaciones pobres vulnerables, como niños y mujeres del área rural, debido a los bajos niveles de utilización y bajo acceso. Por su parte, el Ministerio de Salud (MINSA) inició un proceso de transformación institucional encaminado a asumir un papel creciente como rector y regulador del sector. Esta transformación institucional pretendía enfrentarse a problemas relacionados con la estructura de la organización, la capacidad de coordinación intrasectorial y la disponibilidad de herramientas técnicas para la regulación. Por todo ello, el Programa Multifase identificó como objetivo contribuir al mejoramiento de la salud y la calidad de vida de la población de Panamá, por medio de transformaciones institucionales que mejo29 Encuesta de Niveles de Vida del 97. Referente utilizado en la elaboración de los documentos de planeación del Programa

raran la eficiencia, eficacia, calidad, sostenibilidad y equidad en la organización, producción, financiación, y regulación de los servicios de salud. De igual manera se plantearon tres objetivos específicos íntimamente ligados con los componentes del Programa y las acciones inicialmente propuestas, como se puede observar en la siguiente tabla:

EXPERIENCIAS

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

Tabla 5. Relación de objetivos específicos, componentes, acciones previstas. Programa Multifase de Trasformación Institucional del Sector Salud Objetivo especifico

Acciones previstas

•

Actividades dirigidas a propiciar transformaciones al interior del MINSA, incluyendo cambios en la estructura de incentivos y el modelo organizacional, además del mejoramiento de procesos administrativos y tecnológicos. – Ajuste del modelo y la estructura organizacional – Avances en la administración de la información. – Desarrollo de estrategias de mercadeo social como herramienta de promoción del programa y manejo estratégico del cambio; y también como herramienta intersectorial de promoción de la salud.

•

Actividades para la transformación en la formulación e implementación de políticas, e intervenciones que trascienden la esfera del MINSA y generan impacto sobre otros actores del sector.

•

Formulación e implantación de políticas para el desarrollo de los recursos humanos del sector.

•

Apoyo a la coordinación intrasectorial entre el MINSA y la Caja del Seguro Social (CSS): – Plan maestro conjunto de inversiones y – Marco tarifario común

•

Contratación de la entrega de los Paquetes de Atención Integral de Servicios de Salud (PAISS) por medio de las Organizaciones Extrainstitucionales (OEs) y las Giras Integrales de Salud (FOGIS)

•

Desarrollo de actividades paralelas – Fortalecimiento de los actores involucrados – Focalización de las comunidades – Seguimiento y evaluación.

•

Impulso a la gestión descentralizada, por medio de la entrega de responsabilidades en gestión financiera y recursos humanos

•

Reordenamiento de la oferta por medio del desarrollo de pilotos de redes de servicios

•

Mejoramiento de la gestión hospitalaria en las áreas administrativa y clínica.

Objetivo 1: Aumentar la capacidad del Ministerio de Salud para ejercer su papel rector y regulador

Objetivo 2: Aumentar la cobertura de servicios de atención básica a poblaciones en extrema pobreza

Objetivo 3: Mejorar la provisión de los servicios de salud

Fuente: Construcción propia con base en información del Programa Multifase. Gesaworld

EXPERIENCIAS

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

La evaluación del programa El Banco Interamericano de Desarrollo contrató mediante licitación pública internacional a Gesaworld para desarrollar los servicios de consultoría para la Evaluación Concurrente del Programa Multifase de Transformación Institucional del Sector Salud. Esta evaluación fue concebida originalmente para tres años (septiembre 2003 a agosto 2006), es decir el mismo tiempo de duración del Programa y al igual que este, fue extendida a petición institucional en dos ocasiones alcanzando los cinco años de ejecución (febrero de 2009). El Programa Multifase planteó desde su diseño la necesidad de llevar a cabo un proceso de evaluación concurrente externo al MINSA que permitiera identificar el estado de avance del Programa así como oportunidades para su ajuste y mejoramiento en relación con el logro de los objetivos planteados. Por lo tanto, nos encontramos delante de un modelo de evaluación que se lleva a cabo durante la ejecución del programa y que se orienta a la mejora de sus resultados. En ese sentido el gráfico 5 representa la conceptualización que la firma estableció desde el inicio del proyecto y que resultó vigente para toda la ejecución del mismo. La modalidad de evaluación concurrente se conceptualiza como un medio e instrumento de retroalimentación de la ejecución del Programa Multifase para facilitar la toma de medidas correctivas que

Gráfico 5. Enfoque de la evaluación concurrente

Retroalimentación

Mejora del desempeño

Evaluación concurrente del programa

Medidas correctoras

Ayuda a la toma de decisiones costo-efectivas

EXPERIENCIAS

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

permitan mejorar el desempeño y contribuyan con la toma de decisiones en el marco operativo de las estrategias del Programa, como de elementos estratégicos enmarcados en las políticas de salud y sociales del país. De alguna forma y posiblemente como ejemplo de una de las lecciones aprendidas de un proceso de evaluación “concurrente” a la ejecución de un Programa, la metodología e instrumentos, así como el enfoque de la evaluación, fue adaptándose a la evolución del Programa y los cambios del contexto. Como tal, la evaluación concurrente tenía como propósitos principales:

• Revisar aleatoriamente el cumplimiento de los procedimientos contenidos en los reglamentos operativos del Programa.

• Evaluar el cumplimiento de los contratos con las Organizaciones Extrainstitucionales que efectuaban la entrega de Paquetes Básicos de Salud a las poblaciones priorizadas, en lo referente a los indicadores de desempeño y los resultados de la auditoría social.

• Cumplir con los compromisos contenidos en los convenios de desempeño MINSA/regiones. 60

• Realizar transferencia tecnológica al MINSA para institucionalizar el seguimiento y la evaluación en el interior de la organización.

Metodología de evaluación El logro de los propósitos de la evaluación concurrente y la complejidad del Programa Multifase, asociada a actividades, actores y resultados esperados tanto del orden nacional como del orden regional, con distintos grados de participación e interacción, implicaron para GESAWORLD el diseño y aplicación de distintas herramientas, instrumentos y técnicas de recolección y análisis de información en tres ámbitos de operación:

• Cumplimiento de metas del Programa. • Seguimiento y evaluación de la estrategia de entrega de paquetes básicos de salud. • Transferencia de tecnologías de evaluación. A continuación se presentan las principales metodologías utilizadas para el abordaje de cada uno de estos ámbitos.

EXPERIENCIAS

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

Seguimiento y medición del cumplimiento de metas y objetivos La metodología aplicada en lo que respecta al seguimiento y medición del cumplimiento de metas y objetivos del Programa, partió de la lógica de “Gestión de Proyectos”, es decir, se ordenaron las diferentes actuaciones e intervenciones del Programa objeto de seguimiento, monitoreo y evaluación según su propia lógica de diseño e implementación y de acuerdo a la estructura estratégica y operativa del mismo, es decir, componentes/líneas de acción /actividades estratégicas. Este enfoque permitió:

• Desarrollar instrumentos efectivos de coordinación, seguimiento, control y evaluación. • Reforzar el sistema de dirección y coordinación del Programa. • Elaborar los catálogos de indicadores sensibles y trazadores a las diferentes intervenciones y de acuerdo con los diferentes instrumentos de seguimiento del Programa como son el Marco Lógico y los Planes Operativos Anuales (POAs).

• Desarrollar métodos participativos como son el trabajo en equipo, la consulta a expertos, encuestas de opinión, encuestas de satisfacción, entre otros.

Gráfico 6. Enfoque jerárquico para el análisis de contribuciones - Evaluación concurrente Contribución del cumplimiento del componente al logro del objetivo general del Programa (propósito de desarrollo)

Programa Componente 1

Componente 2

Componente 3 Línea de acción 3

Fuente: Elaboración propia. Gesaworld 2008

Línea de acción 2

Cumplimiento de lo programado

Línea de acción 1

Línea de acción 3

Línea de acción 2

Línea de acción 1

Línea de acción 3

Línea de acción 2

Línea de acción 1

Actividad 1 Actividad 2 ... Actividad n

Contribución del cumplimiento de la línea de acción al componente. (objetivo específico)

Contribución del cumplimiento de las actividades al logro de la línea de acción.

EXPERIENCIAS

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

• Utilizar un enfoque gradual de planificación de las actividades a medio plazo en proyectos complejos. El análisis de la información de resultados se realizó desde un enfoque “jerárquico de contribuciones”, identificando dos dimensiones: el cumplimiento de lo programado en el nivel evaluado y su contribución al objetivo o propósito del siguiente nivel de evaluación, como se observa en el gráfico 6. Esta acción y metodología de evaluación se concretó a través de informes trimestrales de avances del programa e informes anuales de evaluación del cumplimiento de metas. Los ejecutores del programa contaron con informes trimestrales y anuales a lo largo de los 5 años de ejecución del programa y del proyecto de evaluación concurrente. Esta acción y metodología de evaluación se transformó en el principal instrumento de retroalimentación y toma de medidas correctivas a disposición de los responsables de la ejecución y desempeño de los tres componentes y encargados de líneas de acción del programa. Seguimiento y evaluación de la estrategia de extensión de la entrega de paquetes básicos de salud La estrategia de extensión de servicios de salud, mejor conocida en Panamá como PAISS (Paquete de Aten-

ción Integral de Servicios de Salud) se diseñó e implementó bajo cuatro grandes ejes de acción caracterizados por: 1. un mecanismo de focalización de población bajo criterios de pobreza y dificultad de acceso a los servicios de salud. Una cartera de prestaciones de servicios de salud de elevado coste-efectividad (centrada en prestaciones de prevención y atención básica de la salud en el grupo materno-infantil), 2. un modelo de prestación innovador basado, por una parte, en la gestión mediante la contratación de prestadores no gubernamentales, y por otra, en la gestión propia mediante el establecimiento de convenios con las propias unidades del Ministerio de Salud; 3. finalmente la ejecución de un sistema de evaluación concurrente, provisto mediante una firma externa al MINSA, y un mecanismo de Auditoría Social. El paquete básico de servicios de salud contempló 15 actividades principales, orientadas a acciones preventivas en niños menores de un año y de cinco años (control del crecimiento, entrega de vitaminas y hierro, vacunación), preventivas en mujeres embarazadas y post-parto (control prenatal y control puerperio), de atención básica para atender las principales morbilidades de la población en general. El acceso al

EXPERIENCIAS

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

Gráfico 7

Firma contratos

Finalización prestación

Prestación de servicios (12 meses)

Evaluación condiciones prestación

Monitoreo y auditoria cuatrimestral de muestras aleatorias de registros primarios y beneficiarios.

Nivel de satisfacción

Auditoría de coberturas. Evaluación anual.

paquete de servicios se posibilitó mediante una estrategia de equipos de salud itinerantes encargados de visitar las comunidades al menos en 6 ocasiones en cada año. La población meta, en una primera etapa, se estimó en 265.000 habitantes, pertenecientes a las áreas de mayor pobreza y dispersión geográfica, contemplándose la contratación de al menos 6 organizaciones extrainstitucionales y el establecimiento de convenios con 10 de las 14 Regiones de Salud del país. En la práctica, tal como se detalla a continuación, la estrategia se movió sobre esos promedios a lo largo del período de ejecución como parte del Programa Multifase (2003 – 2008). Al final del período de prestación 30

La prestación de servicios del PAISS fue realizada mediante dos modalidades de prestación: la modalidad de prestación mediante contratación de Organizaciones Extrainstitucionales y la modalidad de prestación mediante las Regiones y centros de salud del MINSA en lo que fue denominado como Fondos para Giras Integrales de Salud (FOGIS).

se superó la meta de cobertura, alcanzando más de 300.000 habitantes. En lo que respecta a la evaluación de la estrategia de extensión de coberturas de servicios básicos, se diseñó e implementó una robusta metodología de seguimiento y evaluación concurrente de la prestación de servicios de salud realizada tanto por los proveedores institucionales como por los no institucionales incluidos en la prestación de servicios de salud.30 Esto se hizo mediante la contratación de una firma externa al MINSA, especializada en gestión y evaluación de servicios de salud, con la finalidad de evaluar el desempeño del Programa Multifase y de forma particular la entrega de servicios básicos de salud. La evaluación concurrente del PAISS, tal como se llegó a conocer, conllevó tres grandes finalidades:

• Medición del desempeño.

EXPERIENCIAS

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

Tabla 6. Metodologías utilizadas en la evaluación de la estrategia de extensión de servicios de salud.

Evaluación de las condiciones de prestación Alcances

•

Metodología

Identificación de aspectos de estructura y organizativos para la prestación (recursos humanos, instalaciones, dotaciones, inventarios de equipos e insumos, etc). Identificación de la ejecución de procesos para la prestación (organización de equipos básicos, programación de visitas y giras a comunidades, etc).

•

Estimación de muestras de población y grupos poblacionales.

•

Visitas de revisión de documentación e inventarios.

•

Aplicación de entrevistas.

Objetivos

•

Determinar el cumplimiento de condiciones requeridas para la prestación de los servicios por parte de los prestadores y operadores de servicios.

64 Monitoreo y auditoría cuatrimestral Alcances

•

Verificar la consistencia de los resultados de la prestación de servicios.

•

Determinar avances en el cumplimiento de metas y aspectos contractuales. Proponer medidas correctivas.

•

Metodología

•

Verificación del cumplimiento de visitas a las comunidades.

•

Verificación del nivel de atención a la población beneficiaria.

•

Verificación del cumplimiento de protocolos de atención.

•

Verificación del cumplimiento de los indicadores de cobertura y desempeño.

•

Diseño de muestras de unidades de monitoreo y auditoría.

Objetivos

•

Visitas de campo para auditoría de registros primarios y expedientes clínicos (con revisión de hasta 10.000 expedientes por período cuatrimestral).

•

Revisión y auditoría de expedientes según protocolos de atención seleccionados (revisión de hasta 600 expedientes por período cuatrimestral).

•

Búsqueda de beneficiarios para verificar la prestación de servicios (auditoría de beneficiarios).

EXPERIENCIAS

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

Medición del nivel de satisfacción y otros aspectos de nivel poblacional Alcances

•

Medir el nivel de satisfacción de la población usuaria en relación con la prestación de los servicios.

•

Determinar el funcionamiento de mecanismos de prestación.

•

Medir el impacto indirecto del acceso a servicios preventivos.

Metodología

•

Medición del nivel de satisfacción en relación con el trato del personal que brinda la atención.

•

Medición del nivel de satisfacción en relación con el tiempo de la prestación.

•

Medición del nivel de satisfacción en relación con la adaptación y respeto de cultura y costumbres.

•

Medición del nivel de satisfacción en relación con el diagnóstico y tratamiento recibido.

•

Valoración de mecanismos de información de visitas y prestación de los servicios.

•

Objetivos

•

Encuestas de población beneficiaria con nivel de representatividad de grupo poblacional (unidades de 10.000 habitantes). Se realizaron un total de 4 encuestas de población con un promedio de 800 hogares visitados y 1200 personas entrevistadas en cada una.

•

Como instrumentos de recolección se diseñaron entrevistas estructuradas y semi-estructuradas.

Medición de la preferencia de uso de servicios preventivos brindados por los prestadores de servicios básicos.

• Medición del nivel de satisfacción de la población. • Logros y avances de la estrategia de extensión de servicios de salud. Los métodos e instrumentos que se emplearon para conseguir estas finalidades llevaron a constituir un sistema de seguimiento, auditoría y evaluación de la entrega de servicios básicos de salud. Este sistema se acopló a la dinámica y proceso de prestación de servicios de salud, estableciendo acciones específicas de evaluación para etapas diferentes del proceso y dando cumplimiento con ello a diferentes aplicaciones. Esta vinculación del proceso de evaluación con el ciclo de prestación del servicio se muestra en el gráfico 7. La definición de los objectivos, alcances y metodologías utilizadas en cada momento de la evaluación se encuentra en la tabla 6.

EXPERIENCIAS

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

Transferencia de tecnologías de evaluación Las transferencias de tecnologías y conocimientos de evaluación se vieron concretadas mediante acciones de capacitación, de preparación y entrega de manuales e instrumentos de evaluación aplicados a la realidad del país y de las Regiones de Salud. En materia de transferencia tecnológica se destaca el desarrollo de un aplicativo informático para el seguimiento y evaluación de la entrega de los servicios básicos de salud. Este aplicativo permite la captura y reporte de información individualizada de los beneficiarios de la prestación, así como la generación de reportes automáticos con resultados de las atenciones y cumplimiento de indicadores de cobertura y desempeño de los servicios brindados. El aplicativo incluye en su base de datos a más de 200.000 beneficiarios de la entrega de servicios, constituyéndose en uno de los instrumentos clave para el futuro desarrollo y seguimiento de la continuidad de las estrategias de extensión de coberturas en salud y de la oferta de servicios en el marco del Programa de Protección Social que ejecuta el país.

Productos de la evaluación concurrente El proceso de retroalimentación planteado por la evaluación concurrente, al ser continuo, permitió identificar alarmas tempranas en la adecuada ejecución de las acciones y logro de los objetivos del Programa, que permitieron a los ejecutores del mismo realizar ajustes y hacer seguimiento tanto a lo programado como a lo ajustado. Para lograr los propósitos que perseguía la evaluación concurrente y dentro de la metodología descrita, se desarrollaron una gran cantidad de actividades de acompañamiento, recolección de información, talleres, reuniones, foros. Entre las principales actividades desarrolladas se encuentran:

• Definición de procedimientos para la obtención y análisis de información de las diferentes acciones del Programa.

• Encuadramiento estratégico y diseño metodológico del seguimiento y monitoreo en los tres periodos de ejecución de la evaluación.

• Realización de talleres de trabajo del MINSA, con funcionarios responsables de los componentes del Programa.

• Participación en los procesos de ajuste de indicadores y marco lógico.

EXPERIENCIAS

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

• Consenso de los indicadores mediante talleres participativos y reuniones de trabajo con el nivel central, regional y local para la definición de fuentes de datos y métodos de cálculo.

• Elaboración de herramientas de apoyo y definición conceptual del sistema de seguimiento y monitoreo.

• Diseño del tablero de control de gestión del programa. • Formulación del plan de capacitación y transferencia tecnológica. • Acompañamiento en la institucionalización para el uso de instrumentos y herramientas de evaluación concurrente. Como productos concretos, resultado del proceso de evaluación concurrente realizada por GESAWORLD, se pueden mencionar:

• Amplia documentación del monitoreo y seguimiento que comprende 21 informes trimestrales, 10 informes semestrales, 5 informes anuales.

• Informes específicos de la prestación de servicios básicos de salud a nivel rural. • Certificación de los resultados de los indicadores y de las coberturas de los servicios de salud. • Cuatro encuestas de población para medición de la satisfacción de los usuarios y la valoración del desempeño de los servicios de salud.

• Sistema informatizado para el seguimiento de la entrega de servicios básicos de salud, por medio de proveedores institucionales y no institucionales (Organizaciones extrainstitucionales).

• Tablero de control para el seguimiento del desempeño hospitalario. • Portal Web e Intranet para el funcionamiento de las herramientas de seguimiento y evaluación. Es de indicar que, en todo caso, el Programa Multifase de Trasformación Institucional logró con sus resultados importantes avances en el cumplimiento de lo propuesto en su primera fase, es decir, generar las bases conceptuales, técnicas y operativas que fortalecen la capacidad institucional de la entidad con el fin de profundizar en los procesos de reforma del sector salud. Se resaltan especialmente los resultados logrados en la estrategia de extensión de coberturas de servicios de salud en poblaciones vulnerables, los cuales superaron las metas de cobertura inicialmente propuestas y dejan para el MINSA y para Panamá una importante experiencia en la entrega de servicios básicos de salud a la población más vulnerable y con más dificultades para el acceso a los mismos.

EXPERIENCIAS

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

8 EVALUACIÓN DEL PROGRAMA DE APOYO A LA REFORMA EN SALUD DE COLOMBIA

El proyecto de consultoría para la evaluación del Programa de Apoyo a la Reforma en Salud en Colombia representa un hito para GESAWORLD dada las características del programa evaluado, el cual se diseñó como una estrategia necesaria para la implementación de uno de los procesos de reforma al sector salud más estudiado en Latinoamérica, como es la reforma en salud colombiana adelantada desde 1993. La evaluación del Programa de Apoyo a la Reforma en Salud en Colombia estaba financiada por el Banco Interamericano de Desarrollo y se adjudicó a la firma Gesaworld a principios del año 2007, que concluyó el trabajo a finales de ese mismo año.

Programa de Apoyo a la Reforma en Salud (PARS) En 1993 Colombia asume una ambiciosa reforma de su sector salud que buscaba mejorar el acceso de la

población a los servicios de salud a partir de la combinación de criterios de solidaridad, eficiencia, sostenibilidad y equidad, entre otros. En el momento de implementación de la Reforma, el país no contaba con sólidas bases teóricas ni instrumentales que le permitieran asumir adecuadamente una tarea de esta envergadura. Por ese motivo, con el ánimo de respaldar desde el punto de vista técnico la generación de insumos que apoyaran al entonces naciente sistema de seguridad social en salud colombiano, se concibió en 1996, y posteriormente se puso en marcha, el “Programa de Apoyo a la Reforma en Salud - PARS”, programa que como su nombre indica se diseñó y desarrolló con miras a apoyar el citado proceso de reforma. El Programa de Apoyo a la Reforma en Salud, también conocido como PARS, tenía como principal propósito: “Proveer las herramientas requeridas para superar los obstáculos identificados en el logro de las metas específicas de la Reforma, y lograr su implementación exitosa, a través de un conjunto de actividades de asistencia técnica y capacitación”. Para alcanzar este propósito se definieron seis objetivos específicos que se relacionan a continuación: 1. Mejorar la equidad mediante el aumento en la solidaridad y cobertura de servicios;

EXPERIENCIAS

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

2. Desarrollar una estrategia para las regiones donde la competencia no es viable, dentro del marco de competencia regulada; 3. Fortalecer la competencia en áreas donde sea factible y fortalecer los instrumentos de política existentes, como el Plan Obligatorio de Salud (POS), el Plan Obligatorio de Salud para el régimen Subsidiado (POSS) y la Unidad de Pago por Capitación (UPC), con el objeto de contribuir a la sostenibilidad financiera del sector; 4. Mejorar la eficiencia y calidad de servicios, a través del fortalecimiento de instituciones y entrenamiento de personal; 5. Asegurar una oferta de servicios adecuada y corregir las distorsiones en el subsidio a la oferta existente; 6. Establecer sistemas básicos de datos y sistemas de información para la gestión y monitoreo interno de la Reforma. Desde un punto de vista operativo las acciones del PARS se definieron a partir de tres componentes:

•

Políticas: este componente comprendía la realización de estudios analíticos y proyectos demostrativos dirigidos a resolver las incongruencias o vacíos en las leyes existentes, y mejorar los instrumentos específicos de políticas disponibles a las instituciones del sector salud.

•

Instituciones: componente enfocado al fortalecimiento de las instituciones existentes, y la creación de instituciones nuevas, cuando sea necesario por las demandas de implantación del nuevo sistema de seguridad social en salud.

•

Recursos Humanos: este componente enfatiza el establecimiento de políticas y programas requeridos para desarrollar y utilizar este recurso de la manera más efectiva.

Se puede afirmar que el PARS, como programa y unidad técnico-administrativa coordinadora de proyectos, obtuvo un cumplimiento total de lo previsto en materia de ejecución presupuestal y técnica aunque con la particularidad de haber requerido un período de ejecución mucho más prolongado del que originalmente estaba programado (11 años versus 4 años programados originalmente), producto de factores vinculados con las propias dificultades enfrentadas en complejos procesos de contratación de consultorías, así como factores propios de contexto que fueron marcando diferentes líneas de prioridad en materia de apoyo a la Reforma en Salud. El Programa de Apoyo a la Reforma en Salud se considera clave para la consolidación de la reforma del sistema entregando instrumentos, herramientas y metodologías que con diferentes grados de institu-

EXPERIENCIAS

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

cionalización han soportado dicho proceso. Se destaca especialmente la gran cantidad de normatividad que fue apoyada técnicamente por el Programa y de herramientas metodológicas, conceptuales y operativas como:

• • • • • • • • • • • • • • •

Desarrollo metodológico para la estimación del equilibrio de la UPC. Guías de atención clínicas del VIH/SIDA e Insuficiencia Renal Crónica. Estrategia comunicacional del Régimen subsidiado. Estrategia de comunicación para la movilización social del sistema de Protección Social. Documento Política de Comunicaciones para el sector de la Protección Social. Sistema Único de Habilitación. Mini-sitio del PARS en la página Web del Ministerio. Sistema Único de Acreditación. Ranking Instituciones Prestadoras de Servicios (IPS) y Entidades Prestadoras de Salud (EPS). Política de Recursos Humanos para el sector salud. Estándares de acreditación de las entidades formadoras de salud. Plan multidisciplinario para la modernización, capacitación y entrenamiento. Modelo Especializado para la Acreditación de Instituciones Educativas del sector Salud. Modelo Evaluación. Docencia – Servicio. Perfiles ocupacionales para el personal auxiliar del sector salud con base en las competencias labores y ajuste de su marco legal.

• •

Reorganización del sistema de incentivos. Sistema Integral de información, entre otros.

Metodología de evaluación La metodología utilizada para la evaluación del PARS implicó la combinación de dos enfoques que dieran cuenta del desempeño del Programa tanto en el cumplimiento de las acciones programadas como en el logro de objetivos y aporte del mismo al proceso de Reforma, tal como se observa en la tabla 7 . Este doble enfoque metodológico se presenta esquemáticamente en el gráfico 8: Teniendo en cuenta que el PARS es un Programa que apoya la Reforma de un “sistema de salud”, el enfoque sumativo se acompaña de un “análisis sistémico”, el cual permitió enlazar los resultados finales

EXPERIENCIAS

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

Tabla 7. Enfoques utilizados para la evaluación del Programa de Apoyo a la Reforma Enfoque

Descripción

Evaluación normativa

Este enfoque busca establecer en qué medida el Programa cumplió con las actividades y productos definidos en sus diferentes etapas de ejecución. Este tipo de evaluación analiza los logros y sus factores limitantes y por tanto también genera un conjunto de lecciones aprendidas, tanto en materia de estrategias y mecanismos de ejecución del PARS, como de las propias estrategias de intervención en materia de reforma y modernización institucional.

Evaluación sumativa

Este enfoque de evaluación corresponde a la valoración global de los resultados, su institucionalización y sostenibilidad y su contraste con los objetivos generales del Programa, bajo el enfoque denominado de evaluación sumativa. Este tipo de evaluación tiene como finalidad identificar el logro de los objetivos del Programa, los posibles efectos y factores asociados, proponiendo ajustes y recomendaciones que sirvan de elementos de análisis para la planificación de nuevos programas o proyectos en esta área.

71 obtenidos por el PARS con los efectos potenciales sobre los elementos que conforman el Sistema General de Seguridad Social en Salud (SGSSS): instituciones, procesos, funciones y actores. En este sentido la metodología para la evaluación del Programa debía permitir la identificación del grado de aporte que los resultados del PARS aportaron sobre los procesos, instrumentos y mecanismos que median las relaciones de los actores (elementos funcionales, estructurales) del Sistema General de Seguridad Social en Salud, para lo cual se utilizaron tres grandes estrategias de análisis:

•

Identificación de la correlación que se obtuvo desde los proyectos, áreas temáticas/líneas, con los objetivos y problemáticas de base, y el entrecruzamiento de resultados de los diferentes proyectos con las diferentes relaciones entre actores.

•

Análisis de indicadores de proceso y de problemática por cada uno de los objetivos; esta relación visualizará la correlación entre la dinámica del PARS en comparación con la dinámica del SGSSS buscando no encontrar asociaciones causales sino correlaciones temporales que permitan evidenciar la sinergia de las acciones.

•

Relación entre la evolución de las problemáticas, los alcances y posibilidades de sostenibilidad de las acciones una vez concluido el Programa.

EXPERIENCIAS

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

Gráfico 8. Metodología de la evaluación del Programa de Apoyo a la Reforma en Salud - Colombia.

Resultados obtenidos

Resultados esperados del PARS

Objetivos del PARS Factores explicativos

Resultados en los objetivos del PARS y aportes a la solución de problemas pendientes de la Reforma

Resultados en el sistema general (SGSS)

Fuente: Elaboración propia. Gesaworld 2008

72 La evaluación del Programa Al tratarse de una evaluación final, los productos de esta consultoría estaban centrados en la entrega del informe respectivo que diera cuenta de los resultados del Programa y el cumplimiento entre las actividades y los efectos que el mismo aportó a la Reforma en Salud. Esta tarea requirió un amplio trabajo de revisión documental, teniendo en cuenta que se examinaron los principales resultados de los proyectos realizados dentro de un Programa que en la práctica duró once años y que generó un gran número de informes, documentos, herramientas y bases de datos, entre otros. De igual manera, y dada la gran cantidad de actores, tanto beneficiarios como otras partes interesadas, se hizo necesario la realización de entrevistas y grupos focales cuya información fue sistematizada y analizada. Como parte de los productos concretos de la evaluación, además de los informes respectivos, se generó un aplicativo que permite la revisión y consulta de los proyectos, intervenciones y productos de consultoría realizados en el marco del Programa. El juicioso trabajo de recopilación y análisis de información y sistematización de la evidencia que respalda la identificación de factores explicativos, aportes a los objetivos, conclusiones y lecciones aprendidas realizados por GESAWORLD, ha sido reconocido mediante la edición de un libro con los principales resultados de la evaluación realizada por la firma.

EXPERIENCIAS

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

9 AUDITORÍA DE DESEMPEÑO DEL PROGRAMA DE MEJORAMIENTO DE LA SALUD MATERNO-INFANTIL DE NICARAGUA

La Auditoría de Desempeño del Programa de Mejoramiento de la Salud Materno infantil de Nicaragua representa un caso singular y novedoso de adaptación de herramientas de evaluación de servicios de salud. Mediante un proceso de auditoría técnica de servicios de salud se puede acceder a recursos financieros, y de esta manera vincular los recursos a los resultados y por ende al desempeño. En Nicaragua, el Ministerio de Salud suscribió una modalidad innovadora de préstamo basado en desembolsos versus resultados en salud. Esta modalidad contempla una importante flexibilidad en la gestión y asignación de recursos económicos ligada a la responsabilidad de conseguir logros en términos de resultados de servicios de salud. Como estrategia de seguimiento para la evaluación de este préstamo se diseñaron dos auditorías externas: una auditoría al desempeño y otra auditoría financiera para ser llevados a cabo por firmas evaluadoras externas. La modalidad PFR implicó desembolsos periódicos contra el cumplimiento de resultados por tramos basados en metas programadas para indicadores de la salud materno-infantil (auditoría al desempeño) y del cumplimiento de ciertas normas financieras (auditoría financiera). La auditoría al desempeño permite certificar los resultados alcanzados para los desembolsos (anuales y final) del Programa y brinda las recomendaciones que permitan corregir posibles desviaciones para el cumplimiento de las metas establecidas. Tras un proceso licitatorio internacional, la firma Gesaworld, S.A. fue seleccionada y contratada por el Banco Interamericano de Desarrollo para realizar la Auditoría al Desempeño, cuyas actividades se iniciaron a mediados del año 2006. A solicitud del MINSA se definió que el Tramo I fuese el año 2005 (retrospectiva) y así sucesivamente, hasta concluir con la Auditoría del Tramo IV en el año 2008. Esta experiencia fue percibida como exitosa y extensible, por lo que el Ministerio de Salud, en el año 2008, con el objetivo de avanzar hacia un sistema institucional de seguimiento y evaluación común, dentro del marco del Enfoque Sectorial en Salud, propuso extender esta auditoría al desempeño al grupo de indicadores establecidos en el Proyecto Modernización y Extensión de los Servicios de Salud (PMESS). Este proyecto estaba financiado por fondos del Banco Mundial que se enmarcaron dentro del Plan Quinquenal de Salud 2005-2009. En este sentido, el Ministerio de Salud de Nicaragua gestionó la extensión del proyecto ante el Banco Mundial para poder contar con una información objetiva del avance y nivel de logro de todos los in-

EXPERIENCIAS

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

dicadores establecidos para el seguimiento y evaluación de la extensión de coberturas y mejoras de la salud materno infantil. Esta extensión de la auditoría y la asistencia técnica se realizó mediante una adenda al contrato firmado con el BID, que supuso que la segunda fase del proyecto se iniciara el 9 de julio de 2008 para finalizar el 31 de marzo de 2010.

El Programa de Mejoramiento de la Salud Materno Infantil de Nicaragua El Programa de Mejoramiento de la Salud Materno Infantil (PMSMI) en Nicaragua consiste en una operación ejecutada por el Ministerio de Salud de la República de Nicaragua, con financiamiento del Banco Interamericano de Desarrollo (BID), que se inició en el año 2006 bajo una modalidad de Préstamo en Función de Resultados (PFR), Convenio de Crédito 1607/SF-NI (BID 1607 NI). Este préstamo estaba orientado a garantizar que el desarrollo de las diferentes actividades técnicas e intervenciones en salud previamente

pactadas por las partes alcanzaran las metas y objetivos globales del Estado Nicaragüense en materia de la mejora de las condiciones de atención del binomio madre – hijo. El Programa representa una estrategia que da continuidad al Programa de Modernización del Sector Salud que impulsó, entre 1998 y el año 2002, el desarrollo de experiencias piloto sobre la base de un nuevo modelo de atención y gestión para los servicios de atención primaria. Este programa estaba basado en subsidios a la demanda mediante la entrega de servicios básicos de salud en población con mayores necesidades sociales y de salud. A su vez, se enmarca en la estrategia de enfoque sectorial en salud, mediante la cual el país ha propiciado un acuerdo marco de financiación común conjuntamente con donantes y cooperantes internacionales. La estrategia de enfoque sectorial fue concebida como un instrumento de fortalecimiento de la lucha contra la pobreza y la mejora del nivel de salud de la población. El Programa fue desarrollado para beneficiar a la población materno infantil de 80 municipios, seleccionados como los más pobres del país. En estos municipios el programa brinda apoyo técnico y financiero para apoyar la prestación de los servicios de salud en 10 hospitales y las unidades de atención primaria de 12 Sistemas Locales de Atención Integral en Salud (SILAIS). Tal y como se ha mencionado antes, el Programa fue concebido bajo una lógica de desembolsos vinculados a resultados. La certificación,

EXPERIENCIAS

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

mediante auditoría externa, del cumplimiento de las metas de los indicadores materno infantiles seleccionados representaba el mecanismo para acceder a los desembolsos anuales previstos en el Programa.

La evaluación del programa El BID, mediante licitación pública internacional, contrató a Gesaworld conforme lo establecido en el contrato de servicios de consultoría fechado el 18 de abril de 2006, así como sus adendas modificatorias que incluyeron la valoración del cumplimiento de metas del programa correspondientes al año 2008 y el desarrollo del plan de capacitación y asistencia técnica ejecutada en los SILAIS beneficiarios del PMSMI durante 2009. Este proceso de evaluación de los resultados del Programa se emmarcó en una modalidad de finaciación pionera en la región: el préstamo en función de resultados. Esencialmente esta modalidad vincula desembolsos anuales del préstamo concedido al cumplimento de una serie de metas fijadas al principio de la operación. De esta forma, los resultados de la auditoría de desempeño determinan el cumplimiento o no de estas metas y activan la financiación del programa para el próximo año. Por tanto, se introduce en el proceso evaluativo una serie de particularidades que exigen una mayor comunicación e interacción permanente entre los agentes institucionales involucrados (financiador, agente evaluador y receptor). Se trata de una modalidad de evaluación y auditoría que exige por sí misma un abordaje flexible pero rigurosamente técnico, en el manejo de todas la variables involucradas en la medición de resultados tanto intermedios como finales del PMSMI. La auditoría de desempeño comprende el seguimiento y evaluación para comprobar la consistencia de los resultados obtenidos, así como la efectividad y eficiencia de su ejecución, mediante la identificación de los logros alcanzados y de las debilidades percibidas. En concreto, la auditoría de desempeño se visualiza como un mecanismo externo que cumple con dos grandes finalidades:

•

Verificar el cumplimiento de las metas y objetivos del Programa, mediante el análisis y la valoración de la información generada por el MINSA de forma tal que se emita un dictamen técnico sobre el nivel de cumplimiento de las metas de acuerdo con la matriz de indicadores; y

•

Brindar recomendaciones de posibles medidas de acción y corrección para la consecución de las metas y objetivos.

Para cumplir con el compromiso del proyecto de evaluación se aplicó la metodología de auditoría de desempeño del Programa en los municipios, hospitales y SILAIS seleccionados, que consistió en un proceso de verificación y validación de los resultados alcanzados en los indicadores definidos.

EXPERIENCIAS

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

Tres indicadores intermedios:

• • •

“N° de embarazadas con captación precoz”, “N° de embarazadas con 4 controles prenatales”, “N° de partos institucionales por residencia”.

Dos indicadores finales:

• •

Proporción de egresos por asfixia neonatal, Proporción de egresos por hemorragia postparto.

Metodología de auditoría de desempeño GESAWORLD, desarrolló un modelo de abordaje de la auditoría de desempeño compuesto por tres grandes ejes: un componente de auditoría técnica de indicadores; un componente de gap analysis, y un componente de acompañamiento y capacitación, tal como se muestra en el gráfico 9. Cabe destacar los siguientes contenidos de cada uno de los componentes:

–

Auditoría de indicadores. La validación de la calidad de los datos es un requisito previo e indispensable, es la base para valorar y certificar el resultado del cumplimiento de estas metas.

Esta fase de la auditoría consiste en realizar un levantamiento de datos, referentes a los indicadores intermedios y finales pactados en el Programa, a una muestra de unidades de salud y a cotejar esta información con los datos brindados por el área de Estadísticas del nivel central del MINSA. La calidad del dato se mide a través del grado de concordancia/discordancia existente entre los datos reportados por la dirección de Estadísticas del nivel central y los datos verificados por la auditoría en los establecimientos de salud (municipios y hospitales) y la sede SILAIS, para lo cual se establece una escala de valores cuantitativos y cualitativos (bueno, medio, bajo).

–

Evaluación de procesos y gap - analysis. Este componente corresponde al análisis del cumplimiento de las metas establecidas anualmente para cada indicador, así como el análisis de la predicción del cumplimiento al final del período. Los análisis se apoyan en el uso de herramientas estadísticas y métodos cuantitativos. Este componente permite identificar las unidades de salud y SILAIS que están comprometidas con el cumplimiento y por consiguiente orientar oportunamente dónde deben centrarse los esfuerzos de mejora. Por otra parte, este componente, en una vertiente de evaluación de procesos, desarrolla estudios específicos para identificar los factores explicativos del incumplimiento de metas. Estos estudios conllevan la revisión de expedientes clínicos, visitas de observación y la aplicación de

EXPERIENCIAS

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

Gráfico 9. Enfoque metodológico para el abordaje de la auditoria de desempeño

Enfoque Metodológico Enfoque de Resultados

Componentes Conceptuales

Auditoría de resultado

Evaluación de procesos y gap analysis

Asistencia y capacitación

Trabajos de campo Auditoria de indicadores

Gap analysis

Metodo Calidad del dato Instrumentos de auditoría y análisis

Productos

Valoración nivel cumplimiento Avances en el nivel de cumplimiento Análisis factores influyentes

Asistencia Visitas de asesoría y retroalimentación de resultados

Capacitación Talleres y seminarios

Informes trimestrales

Informes anuales

77 Fuente: Elaboración propia. Gesaworld 2008.

entrevistas con actores claves de las unidades de salud. Estos estudios también llevan a la formulación de recomendaciones para la implementación de medidas de ajuste o correctivas que contribuyan a la mejora del desempeño de los servicios de salud.

–

Asistencia y capacitación. La capacitación se realizó como un proceso de aprendizaje continuo basado en el concepto de aprender haciendo y como un elemento más de gestión del cambio organizacional. Los informes que contienen los análisis de la auditoría de calidad de los indicadores, funcional, de procesos y “gap analysis” permiten disponer de información suficiente para identificar áreas de mejora relacionadas con:

• •

El registro de la información relevante para la evaluación del programa. Los procesos de transmisión de la información entre niveles administrativo-territoriales, relevantes para el desempeño del programa.

• •

La validación, consolidación y análisis de la información en distintos niveles de agregación. Los procesos de evaluación de calidad de los indicadores en términos de exactitud, confiabilidad, pertinencia, validez, credibilidad, oportunidad y calidad.

EXPERIENCIAS

E v a l u a c i o n e s

–

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

La asistencia técnica se concibió como un proceso muy dinámico, establecido en los procesos de monitoreo y evaluación, entre los evaluadores y el personal participante de las unidades. Después de la recolección de la información se realizaba una reunión con los equipos de dirección de las unidades locales para brindarles los resultados del trabajo realizado por el equipo auditor, efectuando un análisis e intercambio de ideas, concluyendo con la toma de acuerdos por los directivos locales para superar las dificultades encontradas.

Por otro lado, la auditoría de desempeño aplicó una variedad de técnicas e instrumentos de recolección de información. La tabla 8 muestra las técnicas e instrumentos empleados.

Productos de la Auditoría de Desempeño Siendo el PMSMI un Préstamo en Función de Resultados cimentado sobre compromisos basados en indicadores, se han presentado los siguientes productos en el periodo 2006-2008:

• 78

Diagnóstico de la auditoría de desempeño sobre la línea de base, el sistema de información y los mecanismos y criterios de recolección de la información.

• • • • •

Evaluación retrospectiva del año 2005 y primer semestre 2006. Monitoreos trimestrales del año 2006, 2007 y 2008. Evaluaciones anuales. Análisis de la situación de los indicadores finales del Programa. Estudio de casos mediante revisión de expedientes clínicos para el análisis de factores explicativos de los resultados del desempeño.

•

Reuniones de retroalimentación de los resultados del monitoreo en los SILAIS con la participación de los municipios y hospitales.

•

Proceso de capacitación y plan de seguimiento en los SILAIS participantes.

En resumen, la auditoría al desempeño constituye un modelo gerencial de monitoreo y evaluación, que facilitó mantener un seguimiento de los objetivos planteados en el Programa de Mejoramiento de la Salud Materno Infantil con una óptica y un proceder amplio y flexible. Este modelo permitió introducir cambios en la dinámica de trabajo a medida que se iban obteniendo resultados y a la vez permitió emitir alertas tempranas sobre la desviación de algunos indicadores y sobre la toma de decisiones oportunas para garantizar el alcance de las metas comprometidas.

EXPERIENCIAS

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

Tabla 8. Instrumentos de recolección de información empleados según componente conceptual Componente conceptual

Instrumentos

• Instrumento de recolección de datos para la verificación de la calidad del dato, de procesos y acAuditoría de indicadores. Calidad del dato:

tores claves para el manejo de los indicadores intermedios y finales del PMSMI – MINSA – República de Nicaragua. – Versión municipio. – Versión SILAIS. – Versión hospital.

• Instrumento de medición de la consistencia de los datos de registro primario a nivel de centros de salud.

• Instrumento de recolección de datos para la verificación de la calidad del dato, de procesos y actores claves para el manejo de los indicadores intermedios y finales del PMSMI – MINSA. – República de Nicaragua. – Versión municipio. – Versión SILAIS – Versión hospital

• Instrumento de recolección de datos en expedientes clínicos para casos y controles de asfixia Evaluación de procesos y gap-analysis:

neonatal y hemorragia postparto.

• Formato para la evaluación del llenado del partograma. • Formato para la evaluación del llenado de la HCPB. • Entrevistas: – – – – – –

Asistencia y capacitación:

Directores de centros de salud municipales. Directores de SILAIS. Directores de hospitales. Jefes de servicio de gineco-obstetricia. Jefes de servicio de pediatría. Jefes de departamentos de estadística de municipios, SILAIS y hospitales.

• Matriz para el análisis de resultados del monitoreo. • Formatos de evaluacion de los procesos de capacitación. • Matriz de seguimiento de los compromisos.

Fuente: Elaboración propia. Gesaworld 2008.

EXPERIENCIAS

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

10 ESTUDIOS CUALITATIVOS-CUANTITATIVOS SOBRE EL PROGRAMA DE ATENCIÓN INTEGRAL A LA FAMILIA (PAIF) – BRASIL 31

El Programa de Naciones Unidas para el Desarrollo (PNUD) en colaboración con el Ministerio de Desarrollo Social de Brasil encargó los servicios de consultoría sobre los «Estudios Cuantitativos y Cualitativos sobre la implantación del Programa de Atención Integral a la Familia – PAIF» a la firma Gesaworld en asociación con el Instituto brasileño Vía Pública. Esta evaluación tuvo una duración de 12 meses y el objetivo principal del mismo fue producir, sistematizar y analizar informaciones sobre la implementación y gestión del PAIF y de los Centros de Referencia de Asistencia Social – CRAS, en el ámbito nacional, pretendiendo la creación de subsidios para el perfeccionamiento de sus normas, directrices metodológicas y operacionales.

Programa de Atención Integral a la Familia (PAIF) de Brasil 80

El Programa de Atención Integral a la Familia se enmarca dentro de la Política Nacional de Asisten31

Este apartado se ha elaborado en colaboración con Vía Pública, Instituto para el Desarrollo de la Gestión Pública y de las Organizaciones de Interés Público. Gesaworld ha colaborado con esta prestigiosa institución brasileña en el desarrollo de este proyecto de evaluación del sector social. El texto siguiente es así una muestra de este trabajo conjunto.

cia Social (PNAS) de Brasil que establece la implementación de un Sistema Único de Asistencia Social (SUAS). El SUAS reorienta el modelo de protección social de Brasil que pretende dar protección a las áreas que tienen una mayor vulnerabilidad social. Este sistema focaliza sus acciones prioritarias hacia las situaciones de gran complejidad en las que se han violado los derechos básicos de las personas y en las que se desarrolla violencia familiar, explotación o abuso sexual, trabajo infantil, abandono o maltrato de menores, entre otras. Las políticas de protección básica se desarrollan en un determinado territorio, donde son implementados programas y servicios de base local que tratan de fortalecer las capacidades de los individuos y familias para enfrentar las situaciones de riesgo. Desde esta perspectiva, también se pretenden reforzar las relaciones de los individuos y las familias en un contexto comunitario. En este sentido, se busca crear una

EXPERIENCIAS

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

red de servicios locales capaces de responder a las necesidades de protección básica, detectadas por la comunidad y por los profesionales que se encargan de la asistencia social. En el año 2001 el Gobierno Federal de Brasil, a través del Programa Núcleo de Apoyo a la Familia (NAF), empezó a trabajar en el fortalecimiento de las relaciones intrafamiliares en base al principio de centralidad de la familia. Los destinatarios a los que se dirigía este programa eran familias con muy baja renta per cápita. A pesar de que la implantación de este programa se inició a finales de 1999 a través de proyectos piloto en 13 municipios, no es hasta el año 2001 cuando éste se empieza a expandir debido a la constatación de una situación de exclusión social e incremento de la violencia en los grandes centros urbanos. En el año 2003 se aprobó el Plan Nacional de Atención Integral a la Familia (PAIF) que pasó a constituir el programa central de la Protección Social Básica de la Política Nacional de Asistencia Social, integrante del SUAS, y que comprende programas y servicios de base local destinados a personas y familias en situación de vulnerabilidad social. El PAIF se fundamenta en los principios de la centralidad de la familia y de la territorialidad, con el objetivo de fortalecer capacidades, vínculos familiares y comunitarios para la prevención y la lucha contra las situaciones de riesgo y de violación de derechos. De manera trasversal a las políticas del Gobierno Federal destaca la estrategia FOME ZERO que busca asegurar el derecho humano a la alimentación adecuada a las personas con dificultades de acceso a los alimentos. Esta estrategia se inserta en la promoción de la seguridad alimentaria y nutricional buscando la inclusión social y la conquista de la ciudadanía de la población más vulnerable al hambre; y se integra con las restantes políticas sociales. Como unidad pública estatal de la política de asistencia social, los Centros de Referencia de la Asistencia Social (CRAS) están orientados a la prestación de servicios y programas socio-asistenciales de Protección Social Básica y a la articulación de estos servicios en su territorio de referencia. Todos los CRAS tienen la obligación de implementar el PAIF como programa central de la asistencia a la población, coordinadamente con otros programas de Protección Social Básica como el Programa Bolsa Familia (PBF) y con los servicios y programas desarrollados por el propio CRAS, por la red socio-asistencial o por otras políticas públicas. En el año 2004 el número total de CRAS era de 901, en un total de 650 municipios, y en el año 2005 fueron incluidos más de 1.077. Durante el año 2006, el número de CRAS ascendió a 1.978 en todos los estados del país, concretamente en más de 1.375 municipios, constituyendo una referencia para más de 8 millones de familias. Es importante subrayar que los CRAS son establecimientos municipales, cofinanciados y regulados por el gobierno federal. Los recursos humanos y el inmueble son costeados por los municipios. Este mo-

EXPERIENCIAS

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

delo colaborativo es, por otro parte, una característica del pacto federal brasileño y una constante en los modelos de gestión de las políticas sociales. En los últimos años, el programa cubrió 361 municipios en los que se crearon 452 casas de familia que tenían una capacidad de atender a una media de 131.750 familias en situación de vulnerabilidad; convirtiendo el PAIF en el programa central de la protección básica a nivel nacional de Brasil.

Metodología de evaluación El Programa de Naciones Unidas para el Desarrollo (PNUD) en colaboración con el Ministerio de Desarrollo Social de Brasil encargó, tras concurso público internacional, realizar los servicios de consultoría sobre los “Estudios Cuantitativos y Cualitativos sobre la implantación del Programa de Atención Integral a la Familia – PAIF” a la firma Gesaworld en asociación con el Instituto brasileño Vía Pública. Así, el proyecto de estudios cuali-cuantitativos sobre el PAIF está orientado a realizar una evaluación de la Implementación del Programa de Atención Integral a la Familia. Esta evaluación tiene como objetivos principales:

•

Producir, sistematizar y analizar información relevante sobre las experiencias de implementación y gestión del Programa de Atención Integral a la Familia (PAIF).

•

Promover el perfeccionamiento de las normas, directrices metodológicas y operacionales del programa y los Centros de Referencia de Asistencia Social (CRAS)

Por otro lado, el proyecto de estudios cuali-cuantitativos sobre el PAIF supone también alcanzar los siguientes objetivos específicos:

• • • • •

Confrontar la implementación efectiva de los servicios con la regulación del programa. Identificar las principales dificultades relacionadas con la implementación del PAIF y de los CRAS. Analizar los mecanismos de articulación del PAIF con la Red de Asistencia Social. Analizar los mecanismos de articulación del PAIF con los beneficiarios del Programa Bolsa Familia. Investigar la percepción de los técnicos y usuarios sobre los servicios prestados analizando aspectos como la calidad de la atención, la diversidad de servicios, la referencia a la red de servicios y la resolución de las acciones.

•

Analizar la calidad y la diversidad de las metodologías desarrolladas con las familias –o la atención de los servicios ofrecidos– en el ámbito del PAIF, comparándolas con las expectativas de los beneficiarios.

EXPERIENCIAS

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

Gráfico 10. Metodología para la evaluación del PAIF

Evaluación de la implementación del Programa de Atención Integral a la Família El funcionamiento de las estructuras organizacionales de gestión y de los medios humanos y físicos utilizados en la implementación del PAIF con énfasis en su efectividad.

Análisis de la implementación del PAIF como conjunto agregado de servicios de atención a la família. Trabajadores de CRAS

Beneficiarios

Gestores del PAIF

Estudios cualitativos y cuantitativos

1. Producir, sistematizar y analizar informaciones sobre las experiencias de implementación y gestión del Programa de Atención integral a las famílias (PAIF). 2. Promover el prefeccionamiento de las normas, directrices metodológicas y operacionales del Programa y de Centros de Referencia de la Asistencia Social. 3. Proponer un conjunto de indicadores para monitorización y evaluación del PAIF.

Fuente: Elaboración propia. Gesaworld 2008.

De manera esquemática se presenta mediante el gráfico 10 la metodología que Gesaworld desarrolló para realizar la evaluación de la implementación del PAIF. Para la realización de la evaluación se planteó un trabajo en dos grandes ámbitos desde el punto de vista conceptual y metodológico que coinciden con las dos etapas de implementación del proyecto: la de estudios cuantitativos y la de estudios cualitativos. Esta estructura responde al objetivo de optimizar la captación de las características y procesos del estado actual de implementación y gestión del Programa. En cada etapa fueron entrevistados los diferentes grupos involucrados: usuarios, equipos técnicos, coordinadores de los CRAS, gestores municipales y gestores estatales. Se pueden sintetizar de la siguiente manera las fuentes de información para la evaluación:

EXPERIENCIAS

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

Tabla 9. Fuentes primarias y secundarias de información Tipo de Fuente

Fuentes de información Unidades de servicio Gestores municipales y estatuales del PAIF

Primaria Profesionales del CRAS Usuarios de los CRAS Documentación generada por el PAIF: – Nivel del MDS; – Nivel estatal – Nivel municipal.

Secundaria

Indicadores de actividad generados en los CRAS y en MDS. Estudios y evaluaciones externas de elementos del PAIF; Noticias y contenidos presentados en los medios de comunicación social.

84 En la etapa de estudios cuantitativos fueron diseñados y utilizados cuestionarios estructurados para cada grupo y un formulario de observación de unidad, rellenado por el investigador en campo. Estos instrumentos de recogida de información, que se construyeron en diálogo con el Ministerio de Desarrollo Social, fueron apoyados con la realización de pre-tests. La muestra, con tamaño determinado por los términos de referencia del concurso, fue construida conforme plan muestral, de forma probabilística y número de entrevistas distribuido por estratificación según región del país y porte de los municipios. Finalmente la muestra constituyó 163 CRAS en 101 municipios de las 5 regiones de Brasil. En números totales, fueron 3.576 entrevistas en esta etapa: 98 gestores municipales de la asistencia social, 157 coordinadores, 457 funcionarios de los equipos técnicos (3 por unidad), 2695 usuarios (de 14 a 19 por unidad). El trabajo fue realizado por 85 encuestadores, supervisores y críticos, que contaron con formación previa y manuales de orientación general y de cumplimentación de los instrumentos de recogida, desarrollados específicamente para esta evaluación. En el trabajo de campo fueron aplicados procedimientos de control de la calidad y procesamiento de datos, por lo que el análisis de los estudios cuantitativos involucró a investigadores-analistas y consultores, responsables de la elaboración de los informes presentados.

EXPERIENCIAS

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

En la etapa de estudios cualitativos fueron elaborados modelos de entrevistas por segmento de actores clave. La investigación cualitativa con los usuarios fue desarrollada por medio de grupos focales (GF) y con los demás segmentos por entrevistas presenciales (EP) y entrevistas no presenciales (ENP). La muestra de esta etapa fue construida a través de la creación de un indicador sintético, basado en indicadores propuestos por el Ministerio de Desarrollo Social, aplicado al banco de datos del análisis cuantitativo. Fueron seleccionados 40 CRAS, entre los que se encontraban los 20 mejores y los 20 peores posicionados. Tabla 10. Indicadores propuestos por el MDS Dimensión

Infraestructura

Indicador

Descripción

Instrumentos

Evaluación del espacio físico

Notas dadas al espacio físico

Usuario / técnico / coordinador

Adecuación del espacio

Existencia de los espacios previstos en la regulación del CRAS

Unidad

Adecuación del equipo

Adecuación del equipo técnico a las exigencias de la NOB-RH

Coordinador

Acceso a la información

Tipo de registro de atención y disponibilidad de la información

Técnico / coordinador

Equipamientos

Existencia de equipamientos

Unidad

Variedad de atención ofrecida

Multiplicidad de servicios ofrecidos

Coordinado

Acompañamiento

Variedad de las actividades de acompañamiento y adecuación del equipo en la ejecución de estas actividades

Técnico

Articulación intersectorial

Articulación entre CRAS y la red de servicios sociales

Técnico

Evaluación general

Evaluación general del servicio de PAIF ofrecido en el CRAS

Usuario / técnico / coordinador

Servicios

EXPERIENCIAS

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

El indicador sintético fue creado a partir de un análisis multivariado (análisis de los componentes principales) con el objetivo de sintetizar la variabilidad de los indicadores propuestos. De esta forma, fue constituida una muestra de 40 CRAS, localizados en 38 municipios en las 5 regiones del país. En total, en esta etapa cualitativa, fueron entrevistados 259 actores clave (incluyendo los participantes de los GF): 5 gestores estaduales de asistencia social (5 EP), 38 gestores municipales de asistencia social (10 EP y 28 ENP); 40 coordinadores de CRAS (10 EP y 30 ENP); 80 funcionarios de los equipos técnicos de los CRAS (2 por CRAS, siendo 20 EP y 60 ENP) y 96 usuarios, en 10 grupos focales (de 8 a 10 GF).

Productos del estudio cualitativo-cuantitativo del PAIF El trabajo fue desarrollado en el período de septiembre de 2008 a noviembre de 2009, que incluyen las etapas cuantitativa y cualitativa, el previo diseño metodológico y la consolidación de resultados. Tabla 11. Etapas y productos

Etapas 1. Desarrollo metodológico de los estudios cuantitativos

2. Estudios cuantitativos

Productos Producto 1: Informe metodológico de los Estudios Cuantitativos. Producto 2: Informe final de los estudios cuantitativos del PAIF (con datos y análisis de la investigación con los gestores municipales, coordinadores, equipo técnico y usuarios del CRAS; y análisis gráfico de los principales resultados). Producto 3: Banco de datos. Producto 4: Presentación.

3. Desarrollo metodológico de los estudios cualitativos

Producto 5: Informe metodológico de los estudios cualitativos.

4. Estudios cualitativos

Producto 6: Informe final de los estudios cualitativos del PAIF (con análisis de las entrevistas con gestores estaduales, gestores municipales, coordinadores y equipo técnico, y de los grupos focales con usuarios).

5. Consolidación y análisis final de los resultados

Producto 7: Informe final de los estudios cuantitativos-cualitativos del PAIF.

EXPERIENCIAS

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

Finalmente, las recomendaciones realizadas como conclusiones de la evaluación están organizadas en cinco temas principales: 1. Localización, infraestructura y recursos humanos: incluye la presentación y análisis de los datos referentes a la estructura necesaria para la implantación del PAIF y de los CRAS en los municipios evaluados, con información sobre la localización, el espacio físico, los equipamientos y los recursos humanos disponibles en cada uno. 2. Implementación y gestión del PAIF y del CRAS: incluye información sobre el papel del CRAS y del PAIF en la política de los municipios con análisis de la articulación entre niveles de gobierno e instancias regionales; el acceso y gestión de recursos financieros; la articulación intersectorial y la integración de la red socio-asistencial; la producción y gestión de la información; y los procesos de planificación, monitoramiento, evaluación y control social de las acciones. 3. Tipos de atención, metodologías y servicios ofrecidos: incluye información sobre los servicios y beneficios ofrecidos, el trabajo con las familias, las metodologías de atención y el papel del PAIF y del CRAS; la importancia del Programa Bolsa Familia y del Beneficio de Prestación Continuada; y los retos actuales. 4. Investigación con usuarios del CRAS: incluye análisis del perfil y principales demandas de los usuarios, así como su percepción y evaluación sobre el CRAS: estructura, ubicación, nivel de atención, servicios, etc... 5. Principales recomendaciones para el perfeccionamiento del Programa: incluye observaciones sobre avances y beneficios, y se identifican aspectos que suponen límites a la implementación del Programa.

REFLEXIONES Y L E CC I O N E S A P R E N D I DA S

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

REFLEXIONES Y LECCIONES APRENDIDAS La evaluación de programas sociales y de salud es un campo amplio que permite múltiples aproximaciones en función de objetivos, contexto y recursos disponibles. En esta publicación se ha presentado un estado del arte de la evaluación mediante la exposición de los enfoques, metodologías e instrumentos, así como su aplicación a cuatro proyectos concretos de evaluación. Estas cuatro experiencias pretenden mostrar como se evalúa en el mundo real. Para ello, hemos indicado cómo aplicar conocimientos teóricos en la práctica, es decir, cómo partiendo de un encargo concreto, diseñando una estructura metodológica coherente y realizando un trabajo de campo riguroso se obtienen unos resultados y como éstos son utilizados para la mejora de las organizaciones y sus actividades. Es en esta aplicación para la mejora donde radica la esencia de la evaluación. A lo largo de los diez años de actividad de Gesaworld han sido muchos los proyectos centrados en la evaluación de políticas, programas y proyectos y muchos los profesionales que desde los más diversos campos de conocimiento han participado en su desarrollo. Esta publicación pretende ser testimonio de este bagaje profesional. De su lectura y de la experiencia acumulada a lo largo de estos años presentamos a continuación una serie de reflexiones finales que, más allá de ser definitivas, aspiran a ser un punto y seguido en un debate siempre abierto y enriquecedor.

Planificar y evaluar las políticas y los programas de salud El primer punto a tener en cuenta reside en la importancia que tiene la fase de evaluación dentro del proceso de planificación de políticas y programas de salud. La evaluación constituye un elemento necesario e indispensable para que el desarrollo de los programas y políticas sea efectivo y eficiente. La evaluación dota al mismo proceso de planificación de una herramienta que permite medir su grado de efectividad y corregir la dirección del mismo. Por el contrario, si la política o programa carece de un proceso de evaluación, este hecho puede implicar que su posible inefectividad no sea corregida y que no se logren los resultados esperados.

REFLEXIONES Y L E CC I O N E S A P R E N D I DA S

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

Iniciar la evaluación en el momento adecuado La experiencia adquirida por Gesaworld a través de los proyectos realizados indica que es necesario contemplar e incluir el proceso de evaluación desde el inicio de la política o programa. Así, la evaluación no debe ser vista como la fase final de un proyecto o programa sino que debe ser tenida en cuenta en el momento mismo de su planificación. Esta consideración tiene dos implicaciones a destacar en el desarrollo de políticas, programas y proyectos. En primer lugar, obliga a los gestores a reflexionar, desde un inicio, sobre la función de la evaluación: ¿Qué resultados queremos obtener de ella? ¿Para qué nos va a servir?... Estas preguntas deben formularse en paralelo a la definición de las líneas estratégicas que guiarán la intervención. La segunda consideración tiene implicaciones técnicas fundamentales. Concebir la evaluación desde el inicio permite usar los indicadores y los datos necesarios para elaborar una línea de base que facilite la interpretación de los resultados. Saber desde un inicio cómo evaluaremos favorece la incorporación en las rutinas de gestión del programa de elementos que serán fundamentales en el momento de compilar los datos para la evaluación. Esta es una tendencia que cada vez más va ganando terreno entre los prescriptores de políticas o programas (ya sean gubernamentales o instituciones internacionales) y demuestra cómo la evaluación

ocupa un espacio importante en el momento de planificar el desarrollo de una política o programa.

Utilizar un método apropiado En línea con el punto anterior, la reflexión sobre el proceso de evaluación debe conducir a la selección de un marco metodológico apropiado. Como se ha mostrado en la primera parte de la presente publicación, existen numerosas tipologías de evaluación. Dependen, por ejemplo, de sus propósitos, de su perspectiva temporal, de si el equipo evaluador es externo, interno o mixto, de sus contenidos, etc. En la planificación de la evaluación deben tenerse en especial cuenta las restricciones políticas, presupuestarias y temporales. Las restricciones existentes tienden a favorecer modelos mixtos, que integran metodologías cuantitativas y cualitativas. Estos diseños suelen resultar menos costosos y ser más rápidos en la implementación y análisis, sin sacrificar necesariamente el rigor técnico. Hay que contar con todos estos elementos puesto que determinarán el método más adecuado para llevar a cabo la evaluación. Se trata, en definitiva, de realizar un verdadero proceso de planificación estratégica del proceso evaluador que ponga de manifiesto la importancia de este componente intrínseco a cualquier política, programa o proyecto.

REFLEXIONES Y L E CC I O N E S A P R E N D I DA S

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

Evaluar el proceso y no sólo el impacto Evaluar sólo el impacto de un determinado programa puede dar como resultado una fotografía incompleta y poco útil para la planificación de actividades en el futuro. Conocer cómo cambiaron las condiciones de salud de la población con la implementación de un programa es sin duda importante pero nos da poca información acerca de qué factores del propio programa intervinieron en su éxito o eventualmente en su fracaso. Por lo tanto, es importante reivindicar el enfoque de las evaluaciones de proceso combinadas con las de impacto. De esta forma perfeccionamos políticas y programas vinculando el impacto, –positivo o negativo–, a las actividades de organizaciones y administraciones. En este sentido, y a través de nuestra experiencia, hemos sido protagonistas de la utilidad de evaluar durante la ejecución de programas y proyectos. De esta forma, se consigue un punto de apoyo para la mejora continua de las organizaciones permitiendo una adaptación más inmediata a los cambios que se van produciendo en las poblaciones intervenidas o en otros actores involucrados en la implementación. Las evaluaciones de proceso, cuando son realizadas de forma participativa, pueden ayudar aún más en la mejora continua, al incluir en su seno a todas las partes implicadas. Con frecuencia, debido a factores no previstos originalmente, excelentes diseños de evaluación han tenido que ser reemplazados por otros menos rigurosos. Por lo tanto, es conveniente realizar a menudo evaluaciones preliminares del contexto. Estas exploraciones permiten identificar los principales factores políticos, económicos y culturales que pudieran afectar al diseño y curso de la evaluación.

Involucrar a los gestores dentro de la evaluación Cabe destacar la importancia que tiene implicar a los gestores dentro del proceso de evaluación desde la fase en que este se diseña. Los evaluadores deben mostrarse sensibles a las preocupaciones del gestor y este a su vez debe participar activamente en el proceso de evaluación para que sus decisiones sean tomadas en función de los resultados que se vayan obteniendo. De igual forma, resulta necesario generar canales formales de comunicación entre los gestores de la política o programa evaluado y el equipo evaluador. Cuanto más formales sean los canales de comunicación que se desarrollan entre estos, más claras se hacen las relaciones entre ambas partes. Esta relación continuada entre evaluadores y gestores permite ir construyendo un proceso evaluador participativo, contrastando permanentemente los resultados que se van obteniendo. Finalmente, es

REFLEXIONES Y L E CC I O N E S A P R E N D I DA S

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

una garantía de que los resultados y recomendaciones finales gozan de aceptabilidad y, sobretodo, son aplicables en el contexto organizacional.

Tener en cuenta el contexto en el que se desarrolla la evaluación Es importante que la evaluación de una política o programa no sólo tenga en cuenta la mejora de los indicadores de salud, sino que también tome en consideración el contexto político, social, económico y epidemiológico en el que se desarrolla. Diferentes entornos, a su vez, pueden determinar distintos resultados para un mismo programa. Evaluar significa focalizar en una actuación o programa concreto y, a su vez, conocer los condicionantes que han llevado a la percepción de una situación concreta como un problema ante el cual se ha planteado una intervención pública. El análisis de los factores contextuales, la intervención de expertos externos o el análisis de intervenciones parecidas en otros entornos permite a los evaluadores una mayor comprensión de lo evaluado.

Gesaworld ha desarrollado proyectos de evaluación en contextos muy distintos. A partir de nuestra experiencia hemos constatado cómo actuaciones con objetivos similares han tenido efectos diferentes sobre las poblaciones intervenidas. Ello no sólo es debido a elementos de proceso, como se ha visto en el punto anterior, sino también al hecho de desarrollarse, por ejemplo, en contextos políticos, sociales o administrativos diferentes.

Publicar resultados, rendir cuentas La evaluación en sí misma retroalimenta la política o programa evaluado y, por ello, resulta importante publicar y difundir sus resultados para que se pueda dar continuidad a la iniciativa. En este sentido, la mayoría de proyectos de evaluación desarrollados incluyen un momento de diseminación de las conclusiones, de explicación del proceso desarrollado. Estos procedimientos deben implicar a todos los públicos que han participado en la evaluación y, también, a aquellos colectivos que sin haber participado están interesados en los resultados de una política o programa. Este momento de la evaluación forma parte también de la función de rendición de cuentas (accountability) que toda administración u organización financiada con fondos públicos debe realizar. De esta

REFLEXIONES Y L E CC I O N E S A P R E N D I DA S

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

manera, evaluar es una forma de explicar a la sociedad cuáles han sido los objetivos de una determinada acción, cómo se han desarrollado las actuaciones para conseguirlos y, finalmente, cuáles han sido los resultados. En definitiva, los procesos de difusión de resultados deberían estar contemplados en un plan, a fin de maximizar su impacto en la toma de futuras decisiones.

Transferir conocimientos y tecnologías para la evaluación Gesaworld concibe también los procesos de evaluación como un procedimiento de aprendizaje organizacional. Creemos que todo proyecto de evaluación debe dejar en la contraparte un capital de conocimientos y de tecnologías que le permitan, por ejemplo, desarrollar instrumentos de seguimiento de las políticas o programas evaluados. Es por ello que creemos fundamental que, además de los informes propios de la evaluación, nuestros proyectos permitan a los gestores de políticas y programas hacerse protagonistas de la evaluación de sus actividades. Así, nuestros proyectos tienden a incorporar fases centradas en la transferencia de conocimiento. A través de actividades de capacitación se forma a los equipos técnicos en aspectos conceptuales relacionados con los procesos de evaluación, así como en el uso de los instrumentos concretos que se han desarrollado para la evaluación de su propia política o programa. Como se ha visto, cada vez más la tecnología va tomando un rol más decisivo en los procesos de evaluación: plataformas web, aplicativos informáticos innovadores y accesibles facilitarán la socialización y retroalimentación de resultados e información. Todo ello hace necesaria la transferencia de estos instrumentos para el apoderamiento por parte de las organizaciones y la integración en sus procesos de gestión. Este enfoque de transferencia de conocimientos es nuclear en nuestra concepción de la evaluación, ya que contribuye a difundir la necesidad y utilidad de la evaluación, trasladándola a la actividad cotidiana de las organizaciones. En definitiva, la evaluación es un arte y una ciencia cuyo fin último radica en la mejora continua de las intervenciones. Gesaworld ha acumulado larga experiencia en evaluaciones durante sus 10 años de existencia. Esperamos que los métodos y experiencias detallados en esta publicación contribuyan a la elaboración de evaluaciones más robustas y al establecimiento de una cultura de la evaluación en el ámbito de la salud internacional.

BIBLIOGRAFÍA

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

BIBLIOGRAFÍA

AMBERGER; Michael J.; RUGH, Jim; MABRY, Linda. RealWorld Evaluation: Working Under Budget, Time, Data, and Political Constraints. London: Sage Publications, Inc, 2006. BAKER, Judy L. Evaluación del impacto de los proyectos de desarrollo en la pobreza [en línea]. Banco Mundial. Washington, D.C.:Mayo 2000. Disponible en:http://siteresources.worldbank.org/INTISPMA/Resources/Impact- Evaluation-Handbook--Spanish-/cap1-2.pdf BANCO INTERAMERICANO DE DESARROLLO. Evaluación: Una herramienta de gestión para mejorar el desempeño de los proyectos. [en línea]. Oficina de Evaluación (EVO), marzo 1997. Disponible en: http://www.iadb.org/cont/evo/spbook/evobook.htm [Consulta: 15 noviembre 2009] BECERRA, Carlos. Encuesta de niveles de vida [en línea]. Washington D.C.: Banco Mundial, 1997. Dsponible en: http://siteresources.worldbank.org/INTLSMS/Resources/3358986-1181743055198/3877319-1181911180171/ pn97bif.pdf [Consulta: 2 noviembre 2009]. BIRDSALL, Nancy; SAVEDOFF , William; LEVINE, Ruth (coord.) When Will We Ever Learn? Improving Lives Through Impact Evaluation [en línea]. Center for Global Development, 31 de mayo 2006. Disponible en: http://www.cgdev.org/content/publications/detail/7973 [Consulta: 15 noviembre 2009]. [Consulta: 20 noviembre 2009] BRYCE, J.; et al. “The Multi-Country Evaluation of the Integrated Management of Childhood Illness Strategy: Lessons for the Evaluation of Public Health Interventions”. American journal of public health, 2004, nº 3, p. 406415. CASTILLEJO, Joan (dir.). De la generación de conocimiento a la formulación de políticas públicas. Evaluación externa: Programa de Apoyo a la Reforma de Salud PARS 1996-200. 1º reimpresión. Bogotá: Ladiprint Editorial Ltda, 2008. Edición a cargo del Ministerio de la Protección Social – MPS y Gesaworld S.A. CHRIS L. S. Coryn; Michael SCRIVEN (ed.). “Reforming the Evaluation of Research” [en línea]. New Directions for Evaluation. Vol. 2008, nº 118 (2008). Disponible en: http://www3.interscience.wiley.com/journal/ 117946202/grouphome/home.html [Consulta: 3 noviembre 2009]. DJOKOVIC-PAPIC, Dragana; JANKOVIC, Vladica. “DevInfo Serbia database– info” [en línea]. DevInfo Bulletin. Nº 1 (2005). Disponible en: http://devinfo.stat.gov.rs/rzsdevinfo/DevInfo%20leaflet%20-%20English% 20edition.pdf [Consulta: 3 noviembre 2009] DJOKOVIC-PAPIC, Dragana; JANKOVIC, Vladica. “DevInfo Serbia database” [en línea]. DevInfo Bulletin. Vol 1, nº2 (2005). Disponible en: http://devinfo.stat.gov.rs/rzsdevinfo/DevInfo_Serbia__Bulletin_No2_vol1.pdf [Consulta: 9 noviembre 2009]. Database of impact evaluations [en línea]. Nueva Dheli: International Initiative for Impact Evaluation. Disponible en: http://www.3ieimpact.org/database_of_impact_evaluations.html [Consulta: 11 noviembre 2009]. Database of Impact Evaluations [en línea]. Washington, D.C.: NONIE. World Bank. Disponible en: http://www.worldbank.org/ieg/nonie/database.html [Consulta: 9 noviembre 2009]. FEUERSTEIN, Reuven; et al. “Learning potential assessment”. Special Services in the Schools, 1985-1986, vol2 p. 85106.

BIBLIOGRAFÍA

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

FEUERSTEIN, Reuven; et al. “Learning to learn: Mediated learning experience and Instrumental Enrichment”. Special Services in the Schools, 1986, vol. 3. p. 49-82. FTPATRICK, J.L.; SANDERS;J.R.; WORTHEN, B.R. Program evaluation: alternative approaches and practical guidelines. 3rd ed. Boston: Allyn and Bacon (Pearson), 2004. FUNNELL, S; LENNE, B. "Clarifying Program Objectives for Program Evaluation." Program Evaluation Bulletin (New South Wales Office of Public Sector Management), 1990, vol.1. p. 1-13. Health Impact Assessment: main concepts and suggested approach [en línea]. Bruselas: European Centre for Health Policy, 1999. Disponible en: http://www.euro.who.int/document/PAE/Gothenburgpaper.pdf [Consulta: 25 noviembre 2009]. Joint Committee on Standards for Educational Evaluation (JCSEE) [en línea]. Disponible en: http://www.jcsee.org/ [Consulta: 5 noviembre 2009]. JONES, Harry; HEARN, Simon. Outcome Mapping: a realistic alternative for planning, monitoring and evaluation [en línea]. London: Overseas Development Institute, 10-2009. Disponible en: http://www.reliefweb.int/rw/lib.nsf/ db900sid/SNAA-7WY543/$file/ODI%20background%20OM.pdf?openelement [Consulta: 23 noviembre 2009]. Manual de monitoreo y evaluación [en línea]. Washington D.C.: Organización Panamericana de la Salud, 2001. Disponible en: http://www.paho.org/Spanish/HPP/HPF/ADOL/monitoreo.htm [Consulta: 6 noviembre 2009]. MONTERO, Eiliana. “Marco conceptual para la evaluación de programas de salud”. Población y Salud en Mesoamérica , 2004, vol 1, núm 2, artículo 6. MOLUND, Stefan; SCHILL, Göran. Looking Back, Moving Forward. Sida Evaluation Manual [en línea]. 2ª ed. Rev., 2007. Disponible en: http://www.oecd.org/dataoecd/13/24/41434626.pdf [Consulta: 10 noviembre 2009]. OECD. Glossary of Key Terms in Evaluation [en línea]. Disponible en: http://www.oecd.org/findDocument/0,2350, en_2649_34435_1_119678_1_1_1,00.html [Consulta: 10 noviembre 2009]. OWEN, John M. Program evaluation: forms and approaches. 3rd ed. New York: Guilford Press, 2007. PINEAULT R., Daveluy C. La planification de la Santé. Concepts. Méthodes. Stratégies. Montréal: Agence D’Arc, 1986. SEGONE, Marco (ed.). Bridging the gap. The role of monitoring and evaluation in evidence-based policy making [en línea]. UNICEF, 2008. Disponible en: http://www.unicef.org/ceecis/evidence_based_policy_making.pdf [Consulta: 16 noviembre 2009]. STEWART I. Donaldson; Michael SCRIVEN (ed.). Evaluating Social Programs and Problems: Visions for the New Millennium. USA: Routledge Academic, 2002. Claremont Symposium on Applied Social Psychology Series. STUFFLEBEAM, Daniel L. Estándares de evaluación personal: cómo evaluar sistemas de evaluación de educadores. Vizcaya: Mensajero Unipersonal, 2001. TROCHIM, William M.K. Developing an evaluation culture for international agriculture research. Ithaca: Cornell University, 1992. Disponible en: http://www.socialresearchmethods.net/research/RD/Evaluation%20 Culture.pdf [Consulta: 6 noviembre 2009]. UNICEF. A UNICEF Guide for Monitoring and Evaluation. Making a Difference? [en línea]. Disponible en: http://preval.org/documentos/00473.pdf [Consulta: 1 noviembre 2009]. VAESSEN, Jos; LEEUW, Frans L. (ed.). Mind the gap : perspectives on policy evaluation and the social sciences. New Brunswick, N.J. : Transaction Publishers, 2009.B L A P R E S E N T E P U B L I C A C I Ó N S E D E B E , E N P R I M E R L U G A R , A L A S I N ST I T U C I O N E S Q U E H A N CO N F I A D O

A G R A D E C I M I E N TO S

E v a l u a c i o n e s

d e

P o l í t i c a s

P r o g r a m a s

d e

S a l u d

AGRADECIMIENTOS La presente publicación se debe, en primer lugar, a las instituciones que han confiado en Gesaworld para desarrollar los proyectos y las actividades de evaluación aquí descritas. Sin ellos, sin sus orientaciones y perspectivas, sin sus comentarios y, en definitiva, sin su predisposición a ser evaluados nuestro trabajo hubieran sido inútil.

En segundo lugar esta publicación no hubiera sido posible sin la participación de numerosos profesionales que han colaborado con Gesaworld en las evaluaciones descritas, así como en el resto de los más de 175 proyectos que nuestra empresa ha desarrollado en sus 10 años de vida. Sus conocimientos, esfuerzo, dedicación y profesionalidad se ven reflejados en las páginas precedentes. En especial queremos agradecer también la colaboración de Emilia Sánchez experta en evaluaciones en salud y a Alexo Esperato investigador en temas de salud pública, que han juntado y corregido los materiales y le han dado la forma final.

El primer número de la colección Temas para el conocimiento y el análisis está dedicado a la evaluación de políticas y programas de Salud. Éste es un vasto campo de conocimientos que permite múltiples aproximaciones en función de objetivos, contexto y recursos disponibles. La presente publicación presenta un estado del arte de la evaluación mediante la exposición de los enfoques, metodologías e instrumentos, así como su aplicación a cuatro proyectos concretos de evaluación. Estas cuatro experiencias muestran cómo se evalúa en el mundo real; Para ello, se describe cómo aplicar conocimientos teóricos en la práctica, cómo partiendo de un encargo concreto, diseñando una estructura metodológica coherente y realizando un trabajo de campo riguroso se obtienen unos resultados y como estos son utilizados para la mejora de las organizaciones y sus actividades. Es en esta mejora donde radica la esencia de la evaluación.