SGP64

E I R S

E

64

gestión pública

E

valuación de programas.

Notas técnicas

Marcela Guzmán

Instituto Latinoamericano y del Caribe de Planificación Económica y Social (ILPES)

Santiago de Chile, agosto de 2007

Este documento fue preparado por Marcela Guzmán, consultora del Área de Políticas Presupuestarias y Gestión Pública, del Instituto Latinoamericano y del Caribe de Planificación Económica y Social (ILPES).

Las opiniones expresadas en este documento, que no ha sido sometido a revisión editorial, son de exclusiva responsabilidad de la autora y pueden no coincidir con las de la Organización.

Publicación de las Naciones Unidas ISSN versión impresa 1680-8827 ISSN versión electrónica 1680-8835 ISBN: 978-92-1-323110-4 LC/L.2671-P LC/IP/L.280 N° de venta: S.07.II.G.21 Copyright © Naciones Unidas, agosto de 2007. Todos los derechos reservados Impreso en Naciones Unidas, Santiago de Chile La autorización para reproducir total o parcialmente esta obra debe solicitarse al Secretario de la Junta de Publicaciones, Sede de las Naciones Unidas, Nueva York, N. Y. 10017, Estados Unidos. Los Estados miembros y sus instituciones gubernamentales pueden reproducir esta obra sin autorización previa. Sólo se les solicita que mencionen la fuente e informen a las Naciones Unidas de tal reproducción.

CEPAL - Serie Gestión pública No 64

Evaluación de programas. Notas técnicas

Índice

Resumen ........................................................................................ 5 Presentación ........................................................................................ 7 I. Desempeño.................................................................................... 9 1. Desempeño ¿Qué queremos decir?........................................ 9 2. Instrumentos para evaluar el desempeño. Ámbitos generales .............................................................................. 12 3. Integración de la información de desempeño a procesos de toma de decisiones, responsabilización y transparencia de la gestión pública...................................... 14 4. Formas de uso de la información de desempeño en los procesos presupuestarios ..................................................... 15 II. Evaluación .................................................................................. 17 1. Requisitos básicos................................................................ 17 2. Focos o áreas de la evaluación y alternativas metodológicas ...................................................................... 18 III. Tópicos de evaluación................................................................ 25 1. Resultados esperados e identificación de hipótesis a testear ................................................................................ 25 2. Mediciones de desempeño................................................... 26 3. Población beneficiaria ......................................................... 27 4. Aspectos cualitativos. Herramientas de evaluación ............ 29 5. Disponibilidad de información y limitaciones del proceso de evaluación.......................................................... 30 6. Incorporación del enfoque o la perspectiva de género en los programas públicos y en su evaluación..................... 31 7. Análisis de resultados y compromisos................................. 33 8. Aspectos de institucionalidad y gestión............................... 33 3

CEPAL - Serie Gestión pública No 64

Evaluación de programas. Notas técnicas

Bibliografía .................................................................................................................................... 35 Serie gestión pública: números publicados................................................................................... 37

Índice de recuadros Recuadro 1 DIFERENTES PERSPECTIVAS DE LA CALIDAD .............................................................. 10 Recuadro 2 EJEMPLOS DE RESULTADOS INTERMEDIOS .................................................................. 11 Recuadro 3 EJEMPLOS DE RESULTADOS FINALES O IMPACTOS ...................................................... 11 Recuadro 4 MATRIZ DE MARCO LÓGICO......................................................................................... 20 Recuadro 5 EJEMPLOS DE HIPÓTESIS ............................................................................................. 26 Índice de figuras Figura 1 ÁMBITOS DE CONTROL Y DIMENSIONES DEL DESEMPEÑO .......................................... 12

4

CEPAL - Serie Gestión pública No 64

Evaluación de programas. Notas técnicas

Resumen

Las Notas Técnicas que se presentan a continuación tienen por objeto contribuir a precisar y profundizar en algunos tópicos comunes y centrales a la evaluación de programas públicos. Su elaboración se detiene en aspectos específicos que los procesos de evaluación enfrentan, más allá de los marcos metodológicos generales, cubriendo aspectos conceptuales, metodológicos, de institucionalidad y de diseño operativo, relevantes respecto de su fin en el ámbito de las políticas públicas.

En particular, la aplicación de conceptos y metodologías se efectúa en realidades específicas de administración de la producción y provisión de bienes y servicios. No obstante que éstas difieren entre países, es posible elaborar un conjunto de guías y recomendaciones que faciliten su tratamiento en los procesos de evaluación.

5

CEPAL - Serie Gestión pública No 64

Evaluación de programas. Notas técnicas

Presentación

Los bienes y servicios dirigidos a la población se producen y proveen ordenados en categorías de acciones públicas que, en general, es posible distinguirlas como “programas” o “inversiones físicas”. Estas Notas Técnica se centrarán en diferentes tópicos de evaluación aplicables a Evaluaciones de Programas, siendo muchos de ellos aplicables también a la evaluación de inversiones El capítulo I de estas Notas Técnicas se centra en desarrollar el concepto de desempeño, los instrumentos más comúnmente utilizados, su integración a procesos de toma de decisiones de políticas públicas y forma de uso de la información. El capítulo II aborda los requisitos de las evaluaciones de programas públicos, sus posibles focos o áreas, y principales elementos metodológicos. Finalmente, el capítulo III desarrolla tópicos específicos, relevantes a la práctica de procesos de evaluación, incluyendo temas técnicos puntuales, de gestión y de institucionalidad para la evaluación.

En la preparación de estas Notas Técnicas se han considerado diferentes experiencias, complementándose con elementos conceptuales extraídos de la literatura especializada.

7

CEPAL - Serie Gestión pública No 64

Evaluación de programas. Notas técnicas

I.

Desempeño

1.

Desempeño ¿Qué queremos decir?

Se entenderá por desempeño el logro o resultado de actividades o acciones realizadas. En particular en el contexto de políticas públicas se refiere tanto al logro o resultado de las actividades o acciones relacionadas con bienes o servicios dirigidos a la población, como respecto de acciones vinculadas a la función de administración interna de gobierno.

Dado que el desempeño se refiere al logro de acciones vinculadas con la producción y provisión o entrega, este no presenta una única faceta ni etapa. En efecto los logros pueden ordenarse según diferentes conceptos no existiendo una única taxonomía. En este documento se ha optado por clasificar el desempeño de acuerdo a “ámbitos de control” y también según “dimensiones” como se describe a continuación.1

1.1 Ámbitos de control Existen diferentes etapas en la cadena de una acción pública respecto de la cual se espera un logro o resultado, éstas difieren en el tipo de resultados esperados y en el momento en que deben ocurrir.

Clásicamente estas etapas se ordenan según los conceptos de procesos,

1

Convenciones elaboradas en base a experiencia a diferentes publicaciones de la OECD, Banco Mundial y BID y aplicaciones en la experiencia chilena.

9

CEPAL - Serie Gestión pública No 64

Evaluación de programas. Notas técnicas

productos y, resultados intermedios y finales o impacto. Para efectos de implementar estos conceptos es recomendable efectuar algunas convenciones que delimiten el alcance de cada uno.

Base para esto son las siguientes definiciones: a) Procesos. Se refieren a actividades vinculadas con la ejecución o forma en que el trabajo es realizado para producir los productos (bienes o servicios), incluyen actividades o prácticas de trabajo tales como procedimientos de compra, de provisión y de administración financiera. Un buen desempeño de procesos es una buena señal respecto de resultados o logros posteriores en la producción y provisión de los bienes o servicios. b) Productos. Se refieren a los bienes o servicios producidos o entregados, y corresponden a un primer resultado visible de un programa o acción pública. Sin embargo, el concepto no está restringido sólo a niveles de producción o provisión sino que se extiende a características o atributos relevantes de estas acciones, tales como aquellas referidas a la calidad (ver recuadro 1), coberturas alcanzadas con los niveles de provisión y focalización.

Los logros o resultados en relación a atributos de los productos no son aún los efectos intermedios ni finales en los beneficiarios, sin embargo son importantes por estar más cercanos a éstos.

Recuadro 1

DIFERENTES PERSPECTIVAS DE LA CALIDAD Cuando se aborda la dimensión de calidad de los bienes servicios es posible considerarla desde dos grandes perspectivas: la valoración subjetiva de atributos o características de los bienes o servicios y la valoración objetiva fundada en elementos técnicos o mediciones.

Entre la valoración subjetiva de atributos o características de los bienes o servicios encontramos aspectos tales como el nivel de confianza y credibilidad, el nivel de seguridad percibido, la opinión en relación al trato, la satisfacción en relación a requerimientos de información. Estas son todas percepciones, que si bien no corresponden a valoraciones objetivas son importantes de considerar al momento de examinar el desempeño, puesto que afectan el bienestar del beneficiario o destinatario del bien o servicio y, en una buena medida, son explicadas por las acciones directas o que rodean a la provisión y entrega de un bien o servicio a la población.

Por otra parte, la valoración objetiva de calidad es aquella fundamentada en elementos verificables tales como el cumplimiento de especificaciones técnicas establecidas en base a la evidencia científica, el cumplimiento de un estándar predefinido en base a reconocidas “buena practicas”, o el cumplimento de un nivel de requisitos o exigencias definido en base a información pasada y recursos disponible. Ejemplo de lo primero son el cumplimiento de las especificaciones nutricionales en un programa de alimentación escolar o el cumplimiento de protocolos de atención en relación con un problema de salud en particular. En el segundo caso se encuentra la certificación según norma ISO de un proceso productivo. Ejemplo del tercer caso es el cumplimiento de tiempos de espera para recibir una determinada atención menores que un máximo, determinado en base a comportamientos pasados y recursos disponibles (humanos, desarrollo de procesos, tecnológicos etc).

En algunos casos puede suceder que valoraciones objetivas y subjetivas no coincidan. Es el caso de atenciones de salud que pueden cumplir con protocolos técnico establecidos y presentar buenos resultados en términos de resolución de problemas de salud, y sin embargo acompañarse de percepciones de insatisfacción por parte de los pacientes o usuarios respecto del trato recibido e información entregada.

Fuente: Elaboración propia.

c) Resultados intermedios. Se refiere a los cambios en el comportamiento, estado, actitud o certificación de los beneficiarios una vez que han recibido los bienes o servicios de un programa o acción pública. Su importancia radica en que su ocurrencia facilita y hace más probable alcanzar los resultados finales, y en consecuencia constituyen una buena aproximación a éstos.

10

CEPAL - Serie Gestión pública No 64

Evaluación de programas. Notas técnicas

Recuadro 2

EJEMPLOS DE RESULTADO INTERMEDIOS Un ejemplo de resultado intermedio para el nivel secundario de educación es la tasa de egreso del último nivel para una cohorte en particular. Este resultado no alude sólo al número de alumnos matriculados en el primer año del nivel secundario, correspondiente a un resultado a nivel de producto, sino que observa en una cohorte la deserción y repitencia ocurrida. No es el impacto final de la educación secundaria, el que siguiendo el mismo ejemplo puede ser definido como el efecto en el ingreso a la educación superior o al mercado del trabajo que presenta la cohorte, caracterizado además por los niveles de ingreso percibidos.

Otro ejemplo puede ser el porcentaje de hectáreas explotadas respecto de un total de hectáreas beneficiadas con un programa de riego con el fin de aumentar los niveles de producción agrícola. Este resultado tiene un alcance superior a acciones alcanzadas por el programa como el número de subsidios entregados u obras de riego terminadas, observando el efecto que éstas tienen en los niveles de explotación de la tierra. Este resultado también se distingue del resultado final o impacto el que, de acuerdo al objetivo, debería examinarse en términos de los niveles de producción logrados.

Fuente: Elaboración propia.

d) Resultados finales o impacto. Son resultados a nivel del fin de los bienes o servicios entregados e implican un mejoramiento en las condiciones de la población objetivo atribuible exclusivamente a éstos. En algunas oportunidades es difícil disponer de esta mediciones, principalmente, por la dificultad de aislar los efectos de otras variables externas y/o porque muchos de éstos son de largo plazo.

Recuadro 3

EJEMPLOS DE RESULTADOS FINALES O IMPACTOS En un programa de alimentación infantil el impacto final puede expresarse como la disminución en la tasa de desnutrición infantil de la población cubierta por el programa.

En educación, el impacto o resultado esperado del sistema escolar puede ser señalado como la tasa de ingreso a la educación superior y el aumento de competencias de la nueva fuerza de trabajo. También puede agregarse otros efectos tales como el mejoramiento de los comportamiento ciudadanos.

Para un proyecto de inversión en carreteras el impacto o resultado final puede expresarse como el incremento en el turismo de una determinada localidad a la que se le facilita el acceso y/o las disminuciones de tiempo para acceder a servicios de utilidad pública como centros de salud y establecimientos educacionales por parte de la población de la localidad. Estos efectos también pueden complementarse con la disminución de accidentes carreteros causados por la malas condiciones de los vías o caminos.

Fuente: Elaboración propia.

1.2 Dimensiones del desempeño Además de los ámbitos de control descritos, es posible observar también diferentes dimensiones del desempeño, donde los conceptos más utilizados son la eficacia, eficiencia y economía. No obstante que estos conceptos son ampliamente señalados en la literatura, es posible efectuar precisiones adicionales como las que se presentan a continuación a través de las siguientes definiciones: a) Eficacia. Se refiere al grado de cumplimiento de los objetivos planteados, es decir, en qué medida el área de acción está alcanzando los objetivos, sin considerar necesariamente los recursos asignados para ello. La eficacia comprende también la sustentabilidad de estos resultados en el tiempo, según corresponda a la naturaleza del bien o servicio entregado.2 La calidad del servicio puede ser considerada una dimensión específica del concepto de eficacia o ser tratada como una dimensión adicional. En este documento se la entiende como parte de la eficacia, y se refiere al grado de cumplimiento de atributos de los productos (bienes o

2

Ejemplo de esto puede ser el estado de una carretera o el grado de nutrición de la población infantil en programas de inversión física y de capital humano respectivamente.

11

CEPAL - Serie Gestión pública No 64

Evaluación de programas. Notas técnicas

servicios) entregados, tales como: oportunidad, accesibilidad, precisión y continuidad en la entrega del servicio, comodidad y cortesía en la atención, etc. (ver recuadro 1). b) Eficiencia. Describe la relación entre dos magnitudes: la producción física de un producto (bien o servicio) y los insumos o recursos que se utilizan para alcanzar ese nivel de producción. En otros términos, se refiere a la ejecución de las acciones, beneficios o prestaciones del servicio utilizando el mínimo de recursos posibles. c) Economía. Este concepto se relaciona con la capacidad de una institución para generar y movilizar adecuadamente los recursos financieros en el marco de sus objetivos. La administración de recursos públicos requiere el máximo de disciplina y cuidado en el manejo de la caja, del presupuesto, de la preservación del patrimonio y de la capacidad de generar ingresos.

En la práctica la búsqueda de logros en estas dimensiones puede generar conflictos entre ellas; por ejemplo, que el logro de disminuir costos unitarios de producción afecte la calidad de la unidad producida. Lo anterior hace necesario manejar conjuntamente las dimensiones relevantes para cada caso, de modo de obtener una visión equilibrada del desempeño

1.3 Combinaciones entre ámbitos de control y dimensiones del desempeño Ambitos de control y dimensiones del desempeño se entrecruzan cuando observamos el desempeño, pudiendo tener varias combinaciones (ver Figura 1). Lo importante es que un proceso de evaluación del desempeño identifique las combinaciones entre ámbitos y dimensiones que sean más relevantes considerando la naturaleza del objeto evaluado y las demandas de información.

Figura 1

ÁMBITOS DE CONTROL Y DIMENSIONES DEL DESEMPEÑO Proceso

Producto

Resultado

Eficacia Eficiencia Economía

Fuente: Elaboración propia.

2.

Instrumentos para evaluar el desempeño. Aspectos generales3

Para evaluar el desempeño es posible hacer uso de diferentes instrumentos dependiendo del alcance o cobertura temática deseada, recursos y tiempo disponible, y uso potencial, entre otros factores.

No obstante, las herramientas más comúnmente usadas son los indicadores de desempeño y las “Evaluaciones”.4 En ambos casos su desarrollo tiene por objeto producir información de desempeño.

3 4

Mas antecedentes ver OECD(2003) y Banco Mundial-OECD (2004).

Resultados de estudios de la OECD muestran que los países que la integran, mayoritariamente desarrollan evaluaciones e indicadores de desempeño (ver OECD (2005)). De igual modo, países como México, Colombia, Argentina y Chile, entre otros países latinoamericanos, presentan experiencias en ambos sistemas (ver Zaltsman (2006).

12

CEPAL - Serie Gestión pública No 64

Evaluación de programas. Notas técnicas

Las evaluaciones, distinguiéndolas del concepto más general o genérico, corresponden a estudios, exámenes o revisiones técnicas, que haciendo uso de un conjunto de información ordenada y relacionada según un marco metodológico, tienen por finalidad construir valoraciones de aspectos concretos de un ámbito del quehacer de políticas públicas, como un programa,5 y encontrar factores explicativos a estas valoraciones o juicios evaluativos. De esta forma las Evaluaciones se diferencian de los procesos de monitoreo, los que suelen ser parte de procesos internos de gestión programática, más regulares, y que utilizan mediciones a través de indicadores, principalmente de procesos y productos.

Existe un amplio espectro de tipos de evaluación, algunas de las cuales se presentan a continuación: Las Evaluaciones de Escritorio o Evaluaciones Rápidas6 cuando el objeto es conocer en un tiempo relativamente corto la situación en que se encuentra un programa, sistematizando y analizando para esto información disponible.

Las Evaluaciones de Impacto6 cuando el objeto de estudio son los logros finales de la entrega de un bien o servicio, cuando es posible esperar un tiempo más largo por esos hallazgos y se está dispuesto a utilizar más recursos en una evaluación.

Evaluación de costo - efectividad o beneficio - costo. Cuando el objeto es conocer la relación entre mediciones de eficacia del programa como resultado final en los beneficiarios, y los costos en que se incurre para lograr tales beneficios o niveles de efectividad.

Cabe señalar que sólo si el impacto puede ser expresado en unidades monetarias se podrá efectuar una medición de beneficio - costo, donde el impacto corresponde a la medición del beneficio final. Esta es por tanto una combinación de la medición de impacto donde éstos se comparan con los costos de generarlos. Por otra parte, en muchos casos el impacto se expresa en la unidad de resultados finales del programa, por tanto habrá diferentes unidades de resultados de su efectividad, y no todas ellas serán monetarias. Por ejemplo, en un programa de alimentación infantil el impacto es la disminución en la tasa de desnutrición infantil. Este tipo de evaluaciones se utiliza también para comparar diferentes alternativas programáticas para enfrentar un mismo problema y cuyos resultados finales se miden en la misma unidad.

Por lo tanto, costo efectividad y costo beneficio son derivaciones de evaluaciones de impacto, agregando la relación con los costos.

Evaluaciones en Profundidad cuando, además del impacto o efecto final, se desea un mayor entendimiento del contexto organizacional en que se desenvuelve un programa y del funcionamiento de mecanismos o procesos de gestión que utiliza.

Como una forma de complementar una evaluación de impacto, es posible incluir un módulo de evaluación de aspectos del ambiente en que se desempeña el programa tales como elementos de diseño y funcionamiento de procesos claves que utiliza; calidad de la atención; sostenibilidad institucional, motivación y liderazgo, etc. Aspectos como los señalados no son observados directamente de los resultados de una evaluación de impacto.

Las evaluaciones en profundidad también pueden desarrollarse aplicando módulos complementarios a evaluaciones costo - beneficio o costo - efectividad.

Las Evaluaciones basadas en la Teoría, cuando a partir de la identificación de los factores determinantes de éxito y sus interrelaciones, obtenidos de la literatura y/u opiniones de expertos, se desea conocer cual de estos realmente funciona y la razón en el caso de un programa específico.

5 6

Se entenderá por programa el conjunto de actividades ordenadas en componentes que persiguen un objetivo o propósito común.

Más antecedentes ver punto II.2.2

13

CEPAL - Serie Gestión pública No 64

Evaluación de programas. Notas técnicas

Por otra parte, los Indicadores de Desempeño corresponden a algoritmos matemáticos o formulas de medición, que entregan una valoración cuantitativa del desempeño, pero que por si solos no explican ese resultado. Como mediciones, los indicadores siempre son parte de una evaluación, pero también juegan un rol fuera de ella. Son parte de una “evaluación”, cuando ésta se encuentra preocupada de mostrar de un modo cuantitativo los logros, complementándose los análisis con otro tipo de información.

3.

Integración de la información de desempeño a procesos de toma de decisiones, responsabilización y transparencia de la gestión pública7

La información de desempeño, ya sea en las forma de indicadores y/o evaluaciones puede tener diferentes usos en la gestión pública. Primero, es posible incorporarla a los procesos de toma de decisiones de asignación de recursos y mejoramiento de gestión en las instituciones o entidades públicas, con el fin último de mejorar los resultados institucionales. Esta forma se ha denominado gestión por resultados. En particular, la contribución de la información de desempeño al mejoramiento de la gestión se daría también como efecto de los aprendizajes que los análisis de la información generarían.

Segundo, es posible integrar la información en procesos de toma de decisiones en niveles institucionales centrales a las definiciones político–programáticas y de presupuesto público. Cuando la información de desempeño orienta y fundamenta decisiones de asignación de recursos o de mejoramiento operacional de las acciones programáticas contenidas en un presupuesto nos estamos refiriendo a presupuestos por resultados. Este uso deseado de la información se justifica en la necesidad de encontrar y aplicar procesos concretos de trabajo que faciliten el logro de los objetivos del presupuesto, principalmente respecto de la eficiencia en la asignación y la eficiencia operacional.8 El uso de la información de desempeño en prácticas de gestión en las instituciones o entidades ejecutoras de gasto, conjuntamente con su integración en prácticas de presupuestación en Ministerios de Hacienda o Finanzas, es un escenario que permite la construcción de arreglos institucionales que otorguen mayor flexibilidad a la gestión. En efecto, sobre la base de esos desarrollos, los arreglos institucionales pueden establecer que los recursos públicos se administren no ya sujetos completamente a un marco de asignaciones específicas y procedimiento restrictivos de gasto sino que, considerando para una parte sustantiva de éstos, los resultados o desempeños establecidos y comprometidos previamente. Tales arreglos otorgan mayor flexibilidad a las instituciones o entidades públicas ejecutoras de gasto en vínculo con mayores niveles de compromisos y responsabilidad por los resultados.

Finalmente, la información puede ser usada para informar a la población y a los actores políticos del Estado o fuera de él, tanto para contribuir a la transparencia como para participar en procesos de toma de decisiones de los que sean partes. Un actor de máxima relevancia es el Poder Legislativo, a quien, en general a través de normas de alto nivel jurídico, se le asigna atribuciones en todas o algunas de las etapas del proceso presupuestario de los países, así como también en relación a fiscalización de las acciones del Poder Ejecutivo. De igual forma, la sociedad civil organizada puede jugar un importante rol de control social para lo que el carácter público de la información de desempeño adquiere gran relevancia.

7 8

OECD(2003); OECD (2005).

Como lo señala la literatura los sistemas presupuestarios tiene tres objetivos: i) disciplina fiscal, ii) eficiencia en la asignación de los recursos distribuyéndolos de acuerdo con las prioridades de gobierno y la efectividad de los programas, y iii) eficiencia operacional, promoviendo la eficiencia en la entrega de los servicios. Una gestión presupuestaria basada en resultados es necesaria para el logro de estos tres objetivos. Ver OECD (2001).

14

CEPAL - Serie Gestión pública No 64

4.

Evaluación de programas. Notas técnicas

Formas de uso de la información de desempeño en los procesos presupuestarios9

Existen diferentes formas de introducir la información de resultados o desempeño en la toma de decisiones de asignación de recursos, ya sea en las instituciones o entidades ejecutoras de gasto como los Ministerios de Hacienda o Finanzas. La asignación de recursos públicos es un proceso complejo que involucra la participan de un número importante de actores, se efectúa en un escenario en que existen prioridades programáticas y diferentes tipos de información. Esto determina usos de información que son posibles de clasificar en dos grandes categorías, la vinculación indirecta y directa.

Vinculación indirecta significa que la información de desempeño es activamente usada para informar las decisiones a lo largo del presupuesto en conjunto con otra información. En éste caso, la información de desempeño es muy importante en el proceso de toma de decisiones, pero no necesariamente determina la cantidad de recursos que se asignen. Vinculación directa significa que la asignación de recursos está directa y explícitamente vinculada a unidades de desempeño, utilizando formulas/contratos con indicadores específicos. Esta forma de presupuesto por resultados es menos usada y puede ser aplicada sólo en áreas muy específicas.10

9 10

Ver OECD (2003) y Robinson (2005).

Modalidades de voucher o pago per capita.

15

CEPAL - Serie Gestión pública No 64

Evaluación de programas. Notas técnicas

II. Evaluación

1.

Requisitos básicos

El desarrollo de evaluaciones de programas públicos debe considerar al menos los siguientes requisitos: independencia y confiabilidad, relevancia o pertinentes y oportunidad.

1.1 Independencia y confiabilidad El requisito de independencia y confiabilidad se refiere a la definición de un razonable grado de separación entre el proceso de evaluación y el área evaluada. Este grado de separación debe considerar modalidades de ejecución de las evaluaciones externas al sector público, realizadas por expertos provenientes de universidades, centros de estudios o consultoras, preferiblemente seleccionadas a través de procesos que aseguren competencia técnica. También es recomendable que las evaluaciones se efectúen con una administración del proceso11 externo a la unidad responsable del programa evaluado.

Un escenario puede ser aquel en que la administración quede a cargo de una entidad o institución pública a la que se le asigne la responsabilidad por esta función, mientras que en un caso más extremo puede ser aquel en que tal función se ubique en una institución autónoma respecto del poder ejecutivo.

11

En particular, respecto de procesos de selección de evaluadores, contraparte técnica y financiamiento.

17

CEPAL - Serie Gestión pública No 64

Evaluación de programas. Notas técnicas

Lo anterior no significa que las evaluaciones a cargo de los propios responsables de programas (aún cuando éstas se efectúen por terceros) o autoevaluaciones no sean necesarias o no contribuyan a la gestión programática. Bien desarrolladas éstas se consideran una buena práctica de gestión interna, que i) permite ordenar y relacionar información entregando una mirada del estado del programa, ii) ayuda a incorporar mejoras, si la mayor cercanía y participación en el proceso de evaluación hace que los resultados sean mejor comprendidos, internalizados y compartidos por los responsables del programa, y, iii) ordena la información existente y detecta o precisa sus insuficiencias o limitaciones.

No obstante estas ventajas, es difícil que este tipo de evaluaciones sean creíbles para todos los actores políticos y sociales usuarios de la información. En estos casos, debido a los roles centrales y de dirección que juegan en el proceso de evaluación, los responsable de las áreas evaluadas pueden constituirse en juez y parte de la evaluación, restando objetividad e independencia al examen.

1.2 Relevancia o pertinencia La relevancia o pertinencia de las evaluaciones debe ser abordada en la definición de los ámbitos o alcances de la evaluación, incorporados en formatos metodológicos y material de apoyo técnico (ver punto II.2); en la práctica de recoger con anterioridad al inicio de la evaluación preocupaciones e interrogantes respecto del desempeño de cada programa, lo que corresponde a la identificación de las demandas de información, y; la exigencia de que, considerando los resultados de dichas evaluaciones, se formulen recomendaciones para mejorar el desempeño (ver punto III.5).

1.3 Oportunidad El requisito de oportunidad se relaciona con la necesidad de que la información sobre los resultados de las evaluaciones este disponible en los procesos de toma de decisiones relevantes. En particular en las etapas del ciclo de toma de decisiones de asignación de recursos, sean internas a las instituciones o entidades ejecutoras de gasto, o parte del proceso de preparación, discusión, aprobación o evaluación del presupuesto público de la nación.

2.

Focos o áreas de la evaluación y alternativas metodológicas

Las evaluaciones de programas pueden centrarse en evaluar diferentes focos o aspectos de un programa, pueden ser extensivas, cubriendo un gran número de éstos, o centradas en algunos de mayor importancia relativa o más factibles de cubrir en el momento y con los recursos disponibles.

De igual forma éstas áreas pueden ser examinadas en un proceso evaluativo con diferentes técnicas o metodologías que determinan los niveles de solidez técnica o profundidad de la evaluación. A continuación se señalan aspectos o áreas posibles de cubrir en una evaluación:

2.1 Focos o áreas de evaluación a) Justificación. Corresponde al análisis del diagnóstico o problema que dio origen al programa y que éste definió resolver o contribuir a solucionar (de un modo mas o menos explicito y claro). b) Diseño. Comprende el análisis del ordenamiento y consistencia del programa, examinando sus objetivos generales y/o específicos, y componentes y actividades para responder a cada uno de ellos. La evaluación del diseño debe siempre considerar la justificación inicial del programa -el problema- y como estos elementos de diagnóstico han evolucionado y lo han influenciado o afectado, es decir como el diseño responde o se adapta a cambios en la situación inicial. c) Organización y Gestión. Se centra en el análisis de los principales aspectos institucionales dentro de los cuales opera el programa, y de los principales procesos, instancias de coordinación e instrumentos de que este dispone para desarrollar sus actividades y cumplir sus objetivos. Incluye 18

CEPAL - Serie Gestión pública No 64

Evaluación de programas. Notas técnicas

procesos de gestión tales como la existencia de espacios y métodos de coordinación intra e interinstitucional, procesos de administración financiera de recursos, las modalidades de contratación de servicios, las formas o arreglos para la delegación de responsabilidades en la producción y provisión, los sistemas de información y monitoreo, y la identificación de actividades prescindibles o posibles de externalizar. d) Resultados. Análisis de la eficacia, eficiencia y economía del programa, desde la perspectiva de sus procesos, productos y resultados intermedios y finales, según corresponda.

El concepto de eficacia comprende el grado de cumplimiento de los objetivos planteados en los diferentes ámbitos de control del desempeño, es decir, tanto en términos de producción de bienes y servicios como de los resultados intermedios y finales en la población objetivo. Como se señalara en punto I.1.2, se incluye en este concepto la dimensión de calidad de los bienes o servicios o atributos de éstos. Comprende también la sustentabilidad de los resultados.

El concepto de eficiencia comprende la relación entre recursos y productos, centrándose en los costos unitarios de producción, uso de insumos y niveles de actividad, y gastos de administración.

Por su parte, el concepto de economía se refiere a la capacidad del programa para generar y movilizar adecuadamente sus recursos financieros, observándose aspectos tales como la capacidad de ejecución presupuestaria, la capacidad de recuperación de préstamos y la capacidad de generar ingresos cuando esto no interfiere con el objetivo del programa. e) Sostenibilidad institucional. Análisis de los aspectos institucionales que rodean la operación del programa; dependencia administrativa, recursos institucionales de operación (humanos, tecnológicos, etc), soporte institucional en la forma de apoyo de los niveles superiores de autoridad, prestigio, credibilidad, legitimidad, entre otros factores. f) Continuidad. Análisis de la necesidad de existencia del programa en base, principalmente, de la información de la evolución del diagnóstico inicial y los resultados alcanzados.

2.2 Alternativas metodológicas En estas Notas Técnicas se presentarán dos grandes alternativas metodológicas para desarrollar Evaluaciones: las Evaluaciones de Escritorio o Evaluaciones Rápidas y las Evaluaciones de Impacto. En la realidad existe una amplia variedad de tipos de Evaluación a partir de la combinación de las diferentes áreas o aspectos que éstas pueden comprenden y de los elementos metodológicos que utilizan.

2.2.1 Evaluaciones de escritorio o evaluaciones rápidas Tienen por objeto conocer en un tiempo relativamente corto y utilizando un nivel de recursos menor, la situación en que se encuentra un programa. Para esto debe recurrir a técnicas y metodologías simples, generalmente utilizando información disponible en la forma de documentos escritos, evaluaciones pasadas, encuestas disponibles, base de datos, entrevistas, u otras fuentes de registros. Su tarea central es sistematizar la información para realizar desarrollos descriptivos del programa e identificar resultados y sus causas.

Los temas a evaluar requieren de un formato ordenador que precise el alcance que se desea para cada uno. Es útil acompañar cada punto con preguntas y ejemplos que ayuden a entender a plenitud las interrogantes que se desea responder en cada Evaluación.12 Esto, además de facilitar el proceso evaluativo ayuda a la comprensión de la evaluación y sus resultados por parte de no expertos, facilitando su uso.

12

Ejemplos pueden encontrarse en DIPRES (2005).

19

CEPAL - Serie Gestión pública No 64

Evaluación de programas. Notas técnicas

Las Evaluaciones pueden abordar todos los aspectos o áreas señaladas en punto II.1, pero tendrán su limite según la información disponible. Si ésta es pertinente, actualizada y de buena calidad, la evaluación podrá ser conclusiva en muchos de las áreas señaladas. Si por el contrario es escasa, no actualizada y de calidad dudosa, no se podrá concluir en muchos de sus aspectos.

Debido a que no recolecta información en terreno aplicando muestras ni construyendo grupos de control son más baratas y pueden ser desarrolladas en menos tiempo, alrededor de 4 meses.

Su mayor aporte es la sistematización y ordenamiento de la información relacionando antecedentes para elaborar respuestas concretas de carácter evaluativo. Permite identificar bien problemas de diseño y de procesos de gestión -incluyendo las limitaciones de información que pueda presentar el programa13- y de resultados a nivel de procesos y productos, siendo difícil que puedan concluir sobre efectos finales o impactos.

Una herramienta para efectuar evaluaciones rápidas es la aplicación de todo o parte de la metodología del Marco Lógico14, o adaptaciones de ésta, complementada con el desarrollo analítico de otros aspectos relevantes de entre aquellos listados anteriormente en punto II.2.1. En recuadro Nº4 se presentan conceptos generales para la construcción de una Matriz de Marco Lógico. En general, los elementos centrales que una Matriz de Marco Lógico desea destacar son el ordenamiento básico de elementos del diseño de un programa, sus relaciones de causalidad y mediciones de su desempeño o resultados. Es decir, el conjunto de actividades ordenadas en la forma de componentes, identificando sus resultados esperados y su contribución a diferentes niveles de objetivos, y; para los diferentes niveles de objetivos, los indicadores que darán cuenta de los resultados, de la forma precisa de medirlos y de verificarlos.

Recuadro 4

MATRIZ DE MARCO LÓGICO La Matriz de Marco Lógico identifica los diferentes niveles de objetivos de un programa, sus componentes y actividades, indicadores para efectuar mediciones y examinar los logros, y los supuestos necesarios de cumplirse para alcanzar metas en el caso que éstas se hayan establecido previamente a la evaluación. Los niveles de objetivos se denominado Fin, Propósito y Objetivos Específicos de Componentes, pudiendo ordenarse éstos jerárquicamente.

El Fin corresponde a un objetivo general y superior, comúnmente al que contribuyen varios programas, como por ejemplo “el mejoramiento de la calidad la educación de nivel básico o primario”. El Propósito se asocia a un objetivo más acotado y de control exclusivo del programa, y su cumplimiento se supone contribuye al Fin. Los Objetivos Específicos se refieren a los objetivos de los componentes, que a su vez permitirían alcanzar el Propósito.

Los componentes son los bienes o servicios que produce y/o provee un programa a sus beneficiarios finales o interrmedios, y a través de los cuales se pretende contribuir al fin y alcanzar el propósito.

La evaluación de consistencia de los diferentes niveles de objetivo y diseño de componentes se denomina evaluación de la lógica vertical.

Por otra parte, los indicadores son los algoritmos que permiten medir los resultados o desempeño de los diferentes niveles de objetivos, y los medios de verificación corresponden a la documentación que acredita o certifica la veracidad de la información utilizada en las mediciones. La evaluación de pertinencia y consistencia de estos aspectos en vínculo con los correspondientes niveles de objetivos corresponde a la evaluación de la lógica horizontal.

Matriz de Marco Lógico Enunciado del Objetivo

Indicadores

Medios de Verificación

Supuestos

FIN: PROPÓSITO: COMPONENTES: ACTIVIDADES:

Fuente: Elaboración propia.

13

14

Las limitaciones de información que pueda presentar un programa muestra procesos de seguimiento y monitoreo inexistente, incompletos o insuficientes, y constituyen parte de la evaluación de su gestión.

Mayores Antecedentes de la metodología de Marco Lógico ver BID (1997) y DIPRES (2005).

20

CEPAL - Serie Gestión pública No 64

Evaluación de programas. Notas técnicas

2.2.2 Evaluaciones de impacto a) Aspectos generales.

Los resultados finales o impactos son resultados de carácter finalistas de los bienes y servicios entregados. Generalmente están sujetos a la influencia de factores externos al control de los responsables de un programa, por ejemplo, factores climáticos, medioambientales o desastres de la naturaleza, y factores económico-sociales. Esto hace que determinar los resultados o efectos finales o de impacto requiera de técnicas más complejas de recolección de información y de análisis de ésta para concluir.

La existencia de factores externos no pueda ser considerada un impedimento para evaluar los resultados finales de un programa, puesto que existen variadas técnicas estadísticas que permiten aislar y medir el impacto como se señala más adelante.

La aplicación de técnicas más complejas para examinar o evaluar los impactos o resultados finales sin duda se traduce en resultados más sólidos. No obstante, las evaluaciones de impacto son significativamente más caras; toman más tiempo en realizarse, entre 8 y 12 meses; y requieren de equipos técnicos de mayor formación y experiencia profesional, tanto para su realización como supervisión técnica. b) Conceptos y aspectos metodológicos básicos15 Los resultados finales o impactos se refieren a los beneficios o efectos netos de un programa, relevante a su naturaleza y a su tiempo de ejecución. Es decir los beneficios medidos en sus variables de resultados finales, limpios de todos aquellos efectos sobre la población beneficiaria que pudieran ocurrir por la existencia de factores que son externos al programa, y que por tanto hubiesen ocurrido de igual forma sin la ejecución de éste como consecuencia de la evolución normal de esos factores.

En términos generales, para identificar el impacto o los beneficios “netos” de un programa sobre su población beneficiaria, como primera etapa, se deben identificar las características iniciales de la población beneficiaria respecto de las variables que se desea afectar o variables de resultados, la situación sin programa. La segunda etapa corresponde a la medición de los efectos de la intervención o beneficios observados, es decir, la contribución de los bienes y servicios que entrega el programa o intervención al cambio en la situación inicial de la población beneficiaria.

Beneficio i = Y1i – Y0i Donde Y0 es el estado inicial del individuo i e Y1 es el estado final, luego de la intervención.

En la realidad, en un momento en el tiempo no es posible observar los dos estados en los individuos. Este hecho, central en la evaluación de impacto, metodológicamente es abordado a través de dos variantes; el diseño experimental y el diseño cuasi – experimental.

El diseño experimental o aleatorio es considerado la metodología de evaluación técnicamente más robusta. Consiste en la selección aleatoria o al azar de los beneficiarios dentro de un grupo de individuos elegibles creando dos grupos estadísticamente idénticos, uno que participa en el programa y que se denomina grupo de tratamiento, y otro que, cumpliendo todas las condiciones para participar está fuera de él, y que se conoce como grupo de control.

Un grupo de control es un conjunto de no beneficiarios que presenta similares características que la población beneficiaria respecto de variables relevantes de ésta, como por ejemplo variables de tipo geográficas, de género, demográficas, sociales, y/o económicas. Estrictamente, la única diferencia entre los individuos del grupo de control y los beneficiarios de un programa en estudio debe ser que estos últimos participan en el programa y por tanto son objeto de la intervención, lo 15

Ver OECD (2001); Banco Mundial – ECD (2004); Aedo (2005).

21

CEPAL - Serie Gestión pública No 64

Evaluación de programas. Notas técnicas

que permite identificar las diferencias entre haber estado o no en el programa. Además, al ser grupos similares están afectos a los mismas condiciones externas que los beneficiarios, permitiendo aislar los efectos de factores externos al programa que pudieran afectar las estimaciones de su impacto.

La cuantificación o estimación del impacto del programa se realiza mediante una diferencia de medias aritméticas de las variables de resultados, que representan los beneficios, entre el grupo de tratamiento y el grupo de control. Cabe destacar que si la selección de los beneficiarios y grupo de control ha sido efectivamente aleatoria y si se cumple paralelamente el requisito de ser grupos de un tamaño adecuado, no se requiere utilizar la información de las variables de resultado observadas preprograma o líneas base de los grupos, ya que ambas condiciones garantizarían que estos presentan en promedio los mismos valores iniciales para dichas variables, siendo necesario sólo calcular la diferencia post programa como lo muestra la ecuación siguiente. Esto constituye una de las principales ventajas del método.

Efecto Promedio del Tratamiento = (1/n) ∑i =1, n Ypi - (1/n) ∑i =1, m Yci Donde Ypi son valores de la variable de resultados de los individuos que participan del programa e Yci los valores para los individuos del grupo de control.

En muchas oportunidades es difícil o imposible aplicar la metodología de un diseño experimental por la dificultad de construir grupos aleatorios debiendo recurrirse a la metodología de diseño cuasi-experimental.

Un primer caso y más importante tiene su explicación en factores éticos que impiden que una determinada parte de la población beneficiaria sea excluida del tratamiento, con lo cual no es posible construir un grupo de control de similares características.

En otras ocasiones son definiciones de política de selección de beneficiarios para los tratamientos las que hacen imposible la selección aleatoria, y por tanto la construcción de grupos similares. Ejemplo de esto es el caso de un programa que define una incorporación gradual de población beneficiaria según niveles de pobreza, haciendo que aquella población beneficiaria potencial que aún no participa y que por tanto podría ser la base para construir el grupo de control presente características socioeconómicas diferentes respecto de quienes ya están participando en el programa.

Una tercer caso se presenta cuando el grupo del control experimenta cambios entre el período pre-programa en que fue construido y el momento de la evaluación, situaciones que son más comunes en investigaciones en el campo económico-social que en el clínico. Finalmente, una situación más común se origina en el hecho que muchos programas no construyeron su grupo de control al inició del programa por lo cual una posible reconstrucción hace difícil el cumplimento de aleatoriedad.

Existen metodologías para enfrentar estas situaciones. Estas intentan simular las condiciones de un diseño experimental a partir de la construcción de grupos de control o de comparación según datos de características observadas de beneficiarios y de no-beneficiarios, acompañado de técnicas estadísticas para eliminar o minimizar las diferencias no observables existentes entre ambos grupos.

Para eliminar las diferencias observables en la construcción de grupos de control, es decir corregir las diferencias entre el grupo de beneficiarios y el grupo de control se aplica el modelo de matching. Este tiene por objeto comparar la situación de cada beneficiario de un programa con la de individuos similares en sus características o atributos relevantes que se utilizaron en la selección de los beneficiarios del programa. Entonces para cada participante se selecciona al individuo que presenta la menor distancia en esas características respecto de las que presentan los beneficiarios, en ambos casos antes del programa. El conjunto de individuos seleccionados constituye el grupo de control.

22

CEPAL - Serie Gestión pública No 64

Evaluación de programas. Notas técnicas

La técnica de matching presenta dos limitaciones, una es que puede ser costoso y largo encontrar a los individuos que servirán de comparación cuando se deben revisar muchas características, haciendo muy difícil o imposible su aplicación. La segunda y bastante común son los efectos de variables no observables, características o atributos que pueden ser la fuente de sesgos afectando los resultados finales.

Para resolver el primero de los problemas señalados se utiliza el método de propensity score el que, en términos generales, mide la probabilidad de participar en el programa considerando los valores preprograma de las variables o características relevantes a este. Las estimaciones de estas probabilidades orienta el proceso de matching, seleccionando a no beneficiarios para la comparación de acuerdo al valor más cercano.

El segundo problema, denominado problema de sesgos de selección, se refiere a situaciones en que variables no observadas terminan haciendo una diferencia entre quienes participan y quienes forman parte del grupo de control, diferencia que afectan los resultados. Ejemplo de esto pueden ser ciertos atributos de capital social que influyen en la participación o no en el programa. Con el objeto de minimizar estos sesgos se aplican métodos denominados paramétricos y no paramétricos.

En el ámbito del diseño cuasi – experimental, debido a que los grupos no cumplen con haber sido seleccionados aleatoriamente, las situaciones de partida pueden ser diferentes. Una forma de minimizar los efectos derivados de las diferencias entre los grupos es estimar como efecto del tratamiento o impacto la diferencia entre los promedios de diferencias entre los grupos en sus puntos de partida, preprograma, y en sus puntos de llegada, postprograma, técnica que se denomina método de dobles diferencias.

La aplicación de esta técnica requiere la identificación de los valores que presentaban las variables que se quiere afectar con la intervención del programa antes de la intervención, los “valores iniciales” de las variables de resultados, tanto para el grupo de beneficiarios como para el de control. Esto se conoce como línea base o situación sin programa. A continuación se requiere medir la diferencia de estos valores iniciales entre los beneficiarios y el grupo de control; el cambio en esos valores para cada grupo después de la intervención y la nueva diferencia. De esta forma, el impacto promedio del programa se expresa como la comparación de la diferencia que presentan lo grupos antes y después de la intervención. En este caso el efecto del tratamiento se expresa como: Efecto Promedio del Tratamiento= ((1/n) ∑i =1, n (Yp1i – Yc1i )) – ((1/n)∑i =1, n (Yp0i – Yc0i)).

Donde Y0 es el estado inicial del individuo i y Y1 es su estado final, luego de la intervención.

El primer termino corresponde al promedio de las diferencias en la situación inicial entre beneficiarios (p) y control (c) y el segundo termino corresponde al promedio de la diferencia post programa entre el grupo de beneficiarios y el grupo de control.

La alternativa metodológica descrita requiere de importantes volúmenes de información para construir los grupos de control, las líneas bases respectivas y la medición de variables de resultados finales en ambos grupos. De igual modo también requiere aplicar regresiones econométricas para efectos de incorporar controles a las estimaciones.

Finalmente, cabe señalar que el cálculo de medias aritméticas de los grupos para estimar los efectos de las intervenciones pudiese significar promediar efectos positivos y negativos de subgrupos de la población, no permitiendo en estos casos observar impactos de distinto signo ocurridos en subgrupos de las poblaciones o muestras utilizadas. Cabe señalar que es posible estimar efectos causales del programa para distintos sub-grupos a través de la construcción de los grupos de beneficiarios y de control donde las poblaciones y muestras que se utilicen se estratifiquen por categorías relevantes para el análisis -tales como ubicación territorial, sexo y edad- y que presenten algún grado aceptable de representatividad.

23

CEPAL - Serie Gestión pública No 64

Evaluación de programas. Notas técnicas

III. Tópicos de evaluación

1.

Resultados esperados e identificación de hipótesis a testear

Los resultados esperados corresponden a los efectos que se supone tendrán los bienes y servicios en la población beneficiaria a los que están dirigidos. Estas expectativas en general se basan en la teoría y evidencia empíricas en la materia, y en análisis y discusión en relación al inicio de un programa probablemente fueron parte explicita de su justificación.

En el marco de una evaluación, a partir de los resultados esperados que en general se expresan de un modo más genérico, es posible identificar las hipótesis a testear a través de la aplicación de una metodología. Señalar explícitamente dichas hipótesis permite mayor claridad conceptual al objeto de la evaluación al identificar las relaciones de causa y efecto, a la vez que permite precisar la expresión de los hallazgo. Algunos ejemplos se presentan en recuadro 5.

25

CEPAL - Serie Gestión pública No 64

Evaluación de programas. Notas técnicas

Recuadro 5

EJEMPLOS DE HIPÓTESIS Caso :Programa de empleo que entrega servicios de capacitación al interior de la empresa.

Hipótesis: Servicios de capacitación al interior de la empresa (causa) logran aprendizajes más relevantes que mejoran las competencias de los trabajadores (efecto).

Caso: Programa de innovación tecnológica que incluye el financiamiento de actividades de selección de socios estratégicos y de prospección asociativa (por parte de estos).

Hipótesis : Las actividades de prospección asociativas (causa ) facilitan la formulación, evaluación y el desarrollo de proyectos de innovación (efecto).

Caso: Programa de bibliotecas en el aula en establecimientos de educación primaria Hipótesis: La disponibilidad de textos en un espacio físico cercano y familiar (causa) facilita su incorporación en las prácticas pedagógicas (efecto).

Fuente: Elaboración propia

2.

Mediciones del desempeño

Las mediciones del desempeño se efectúan a través de indicadores, en la forma de algoritmos matemáticos o formulas que entregan una valoración cuantitativa del desempeño. Las mediciones, y por tanto el uso de indicadores, siempre son parte de un proceso de Evaluación, pero también pueden ser utilizadas en sistemas de monitoreo entregando información de desempeño más regularmente, la que complementada con otras categorías de información contribuyen a revisiones y análisis del desempeño.

Para que las mediciones sean factible de llevarse a cabo, es necesario poner atención a los siguientes aspectos:

2.1 Temporalidad Las mediciones a través de indicadores deben considerar el momento en que los diferentes resultados deberían ocurrir, y por tanto comenzar a medirse. Este momento dependerá de la naturaleza de los bienes y servicios y del ámbito de control que se evalua a través de medición (procesos/productos/resultados).

Lo anterior es particularmente importante en el caso de productos (bienes o servicios) cuyos resultados intermedios o finales son de mediano o largo plazo, y por tanto, si bien es posible identificar las mediciones necesarias éstas no podrán ser efectuadas en lo inmediato.16 Asimismo, las mediciones pueden tener diferentes frecuencias, es decir su período de medición puede ser, mensual, semestral, anual, bianual, etc. Al respecto es importante definir la frecuencia adecuada según factibilidad técnica y requerimientos de información de desempeño.

2.2 Fuentes de información Una vez identificadas las áreas en que se desea tener mediciones es necesario identificar la forma de obtención de la información para efectuarlas. En muchas oportunidades la información requerida para las mediciones constituye información que forma parte de los procesos de gestión de los programas, y por tanto posibles de obtener.17 En otros casos pudiese ocurrir que los 16

17

No obstante, esta identificación es útil para desarrollar los procesos necesarios para disponer de la información para las mediciones, cuando sea técnicamente recomendable realizarlas.

Pudiese ocurrir que en algunos casos las fuentes de obtención de información son identificables, pero no están disponibles. En esta última situación, la identificación del indicador puede contribuir a alinear el diseño o rediseños de los mecanismos de recolección y almacenamiento de información.

26

CEPAL - Serie Gestión pública No 64

Evaluación de programas. Notas técnicas

requerimientos de información están identificados, pero no disponibles. En tal situación la identificación de las mediciones necesarias puede contribuir a alinear el diseño o rediseño de los mecanismos de recolección y almacenamiento de información, avanzando en la construcción de sistemas de información para futuras mediciones.

En otras oportunidades el ámbito de la medición es más complejo, requiriéndose por lo tanto de procesos también complejos y costosos de recolección y procesamiento de la información a través de la aplicación de metodologías más sofisticadas. En estos casos, que mayoritariamente corresponden a resultados finales o impactos, es común que deban efectuarse estudios o Evaluaciones y las mediciones no podrán obtenerse a través de procesos regulares de obtención de información. Tales situaciones conducen o hacen necesario entonces aplicar otro instrumento de recolección de información de desempeño como son las Evaluaciones entendida como se señala en punto 2.

3.

Población beneficiaria 3.1 Población potencial, población objetivo y beneficiarios efectivos. Diferentes conceptos de cobertura

La justificación de un programa y por tanto los objetivos que se pretenden alcanzar a través de estos, en general, tiene como centro a un grupo de la población afectada por un determinado problema. Por esta razón un proceso de evaluación debe tratar con rigurosidad diferentes aspectos referidos a la población beneficiaria.

Una primera área de trabajo es la identificación de diferentes conceptos de población relevantes en el marco de la evaluación: la población potencial, población objetivo y población beneficiaria o beneficiarios efectivos.

La población potencial es el concepto más global, y corresponde a la población total que presenta la necesidad y/o problema que en algún momento justificó el diseño y aplicación de un programa. Dado que presenta el problema, podría o debería ser elegible para recibir los beneficios que el programa entrega de acuerdo a su diseño de atención, sean estos bienes o servicios.

La población objetivo en cambio es aquella población que el programa tiene planeado o programado atender en un período dado de tiempo, pudiendo corresponder a la totalidad de la población potencial o sólo a una parte de ella. Lo opción por una u otra está determinada, principalmente, por la disponibilidad de recursos para financiar los bienes y servicios y la capacidad institucional para entregar estos beneficios a la población. En muchos casos no es posible atender a toda la población que presenta el problema estableciéndose la incorporación gradual de población a los beneficios de un programa. En tales casos el programa explicitará el momento y la forma en que la población potencial puede pasar a formar parte de la población objetivo, o bien como la población objetivo cubre una mayor proporción de la población potencial.

Finalmente, los beneficiarios efectivos es aquella población que ha sido atendida por el programa recibiendo los beneficios de este.

Consecuentemente con las definiciones anteriores, para efectos de análisis y evaluación es necesario distinguir diferentes conceptos de cobertura, las que darán lugar diferentes indicadores para la evaluación: La cobertura de la población objetivo respecto de la potencial; indicador que, a través de la relación entre ambos conceptos de población, tiene por objeto medir que parte de la población que enfrenta un problema claramente identificado se ha definido cubrir con el programa. La medición 27

CEPAL - Serie Gestión pública No 64

Evaluación de programas. Notas técnicas

porcentual expresa la posibilidad o el mandato explicito para el programa para atender a la población con problemas.

La cobertura de la población efectiva respecto de la objetivo; indicador que a través de la relación entre ambos conceptos, tiene por objeto medir que parte de la población que debe recibir los beneficios o ser atendida por el programa lo es real o efectivamente. La medición porcentual expresa el grado de cumplimiento por parte del programa con los mandatos o compromisos de población a atender.

Cobertura de población efectiva respecto de la potencial, indicador que, través de la relación entre los dos conceptos, tiene por objeto medir que parte de la población que presenta el problema ha sido efectivamente atendida por el programa. La medición porcentual expresa la capacidad del programa para atender a la población con problemas.

3.2. Focalización En el ámbito de las políticas públicas, el concepto de focalización se refiere a la concentración de la entrega o provisión de los bienes y/o servicios, o los beneficios de un programa, en una población objetivo claramente identificada de acuerdo al diagnóstico del problema. Lo anterior hace necesario seleccionar a determinados sectores o grupos sociales de la población, los que serían receptores de los beneficios del programa, determinándose así la población objetivo.

La necesidad de focalizar surge en situaciones en que la población no es homogénea en términos del grado, profundidad o magnitud con que presenta el problema que el programa se propone resolver. Lo anterior puede determinar que el programa decida concentrarse allí donde el problema es más grave. En este sentido, comúnmente, se asocia al concepto de focalización el de grupo vulnerable, es decir población que se encuentra en alguna situación de carencia o desigualdad, atribuida a aspectos socioeconómicos, étnicos, y/o de género, entre otros factores.

La evaluación de los aspectos referidos a la población objetivo cuando esta presenta características que justifican focalización, debe incorpora la revisión de los aspectos referidos a ésta. En efecto, la evaluación de la focalización debe considerar elementos de diseño y de aplicación, así como los resultados alcanzados como se detalla a continuación: a) Diseño; criterios, instrumentos y procedimientos. En relación al diseño, una vez identificado que el programa evaluado debe ser focalizado de acuerdo a su problema-objetivos, se debe identificar claramente cuales son las variables que deben definir la focalización, es decir que variable son las que caracterizan a la población en problemas, y por tanto son las relevantes de considerar s para la selección de los beneficiarios.

Sobre la base de las variables identificadas se debe definir explícitamente los criterios de selección de beneficiarios, ellos corresponderán a aquellas variables identificadas donde además sea posible disponer de información. Adicionalmente se deben definir los instrumentos y procesos para la presentación de la información, su verificación, y procesamiento, entre otros.

La evaluación de los elementos de diseño consiste entonces en evaluar los criterios, instrumentos y procedimientos que se han diseñado para la implementación del programa, en términos de la consistencia con el problema y objetivos, simplicidad y factibilidad de aplicación, entre otros parámetros que determina la eficiencia y eficacia. b) Aplicación. En la ejecución de un programa los instrumentos y procesos diseñados deben implementarse. La evaluación en esta fase debe centrarse en revisar la operación efectiva de los procedimientos e instrumentos diseñados para focalizar los beneficios del programa, identificando si estos funcionan según lo diseñado. Pudiera ocurrir que tanto criterios como instrumentos y 28

CEPAL - Serie Gestión pública No 64

Evaluación de programas. Notas técnicas

procedimientos estén correctamente diseñados, pero la gestión de estos en la organización presente insuficiencias. c) Finalmente, en relación a los resultados se debe evaluar si el programa ha logrado realmente cubrir o atender a la población definida como población objetivo. Para esto es necesario utilizar indicadores consistentes con los criterios definidos. Ejemplo de estos pueden ser indicadores tales como el porcentaje de beneficiarios pertenecientes al primer quintil de ingreso, porcentaje de beneficiarios bajo la línea de pobreza, porcentajes de beneficiarios con 6 o menos años de educación básica, porcentaje de mujeres jefas de hogar etc. cuando el criterio es socioeconómico; y/o indicadores como el porcentaje de beneficiarios pertenecientes a cierta etnia, o el porcentaje de beneficiarios hombres, cuando el criterio de focalización es étnico o de género, respectivamente.

4.

Aspectos cualitativos. Herramientas de evaluación

Los programas públicos pueden presentar aspectos tanto cualitativos como cuantitativos. Por ejemplo, en el caso de un programa de apoyo y asistencia técnica para trabajadores en un programa de reconversión laboral los aspectos cuantitativos se referirán a temas como el porcentaje de trabajadores egresados del programa, la tasa de empleo post egreso del programa, el porcentaje de empleo formal e informal, la duración del primer empleo encontrado, el ingreso promedio del trabajador, etc. Los aspectos cualitativos en cambio se relacionarán con temas como la actitud de trabajadores frente al programa, la satisfacción con la asistencia recibida, la percepción de los trabajadores respecto de sus posibilidades de reconversión laboral, etc.

Ambos aspectos son necesarios de conocer y hacen parte del desempeño de un programa. Es por eso que comúnmente las evaluaciones consideran tanto los aspectos cuantitativos como cualitativos, aplicando para esto las herramientas -cualitativas y/o cuantitativas- que corresponda para recolectar la información.

Es importante considerar que las mediciones como herramientas cuantitativas, pueden ser utilizadas para abordar tanto los aspectos cualitativos como cuantitativos de los programas. Por ejemplo, se puede construir un indicador de satisfacción de usuario -aspecto cualitativo- a través de información recolectada en una encuesta de selección de alternativas de estados de satisfacción. La información de la encuesta permite construir indicadores -es decir, mediciones cuantitativas del aspecto cualitativo, la satisfacción- expresando los resultados de la encuesta en términos porcentuales. Ejemplo; un 50% se declara muy satisfecho; un 30% medianamente satisfecho, un 15 % insatisfecho y un 5 % no responde.

En muchas oportunidades puede no ser suficiente analizar información cuantitativa requiriéndose información complementaria para interpretar los resultados;18 o bien para la construcción de las herramientas cuantitativas como una encuesta se podría requerir de antecedentes para precisar sus focos.19 En éstas y otras situaciones las técnicas cualitativas contribuyen a un proceso de evaluación, complementariamente a las herramientas cuantitativas.

En efecto las herramientas cualitativas son apropiadas para recolectar información de elementos que rodean la implementación de un programa tales como; conflictos explícitos o implícitos que forma parte del contexto del programa, comportamientos sociales y organizacionales, valores, expectativas, creencias, etc. Las herramientas cualitativas más comunes 18

19

Para profundizar un análisis de evaluación a partir de resultados cuantitativos, ampliar las interpretaciones de éstos o chequearlos, es recomendable recolectar información complementaria a través de entrevistas a los beneficiarios u otros informantes claves.

Una etapa de diseño de una encuesta o cuestionario para recolectar información en un proceso de evaluación podría requerir de antecedentes que ayuden a comprender el campo de investigación para un mejor diseño de este cuestionario o encuesta, precisando preguntas y alternativas de respuesta.

29

CEPAL - Serie Gestión pública No 64

Evaluación de programas. Notas técnicas

son métodos tales como focus group y las entrevistas en profundidad a informantes claves, existiendo también derivaciones de éstas.

Las principales ventajas de las técnicas cualitativas son su flexibilidad y su rapidez de aplicación. Como desventajas sobresale la subjetividad que caracteriza el proceso de recolección de información y la carencia de representatividad estadística, lo que impide generalizar conclusiones a toda la población relevante. Tales desventajas deben estar presentes al momento de utilizar la información

4.1 Focus Groups. Principales características Los Focus Groups son entrevistas a grupos homogéneos según características predeterminadas, tales como edad, profesión, oficio, intereses y conocimientos de un área específica.

Son sesiones de pequeños grupos de personas (entre 6 y 12), de acercamiento directo, al que se le plantean preguntas respecto de un tema predefinido estimulando la conversación en espera de reacciones colectivas o individuales. La duración de la sesión puede ser entre una a dos horas.

Es una entrevista conducida de una manera no estructurada, por un experto entrenado en la técnica que trabaja siguiendo un esquema de discusión. Frente a los temas se producen dinámicas entre los participantes; se potencian mutuamente, se producen diferencias que generan discusiones, se buscan soluciones, etc.

El objetivo de los focus groups es obtener conocimientos profundos sobre un tema escuchando a sus participantes. Para esto, la relación entre quienes los integran deben ser simétrica, es decir ningún integrante debe estar por sobre otro, ni tener más poder o autoridad. Se considera que toda intervención es importante, independientemente de la representatividad estadística que cada una pueda tener en la sociedad.

La orientación de la conversación debe continuar hasta que surjan todos los elementos significativos y los discursos comienzan a repetirse, entonces se debe pasar a otro tópico de entre los considerados para la sesión.

4.2 Entrevistas en profundidad. Principales características Las entrevistas en profundidad son conversaciones que se realizan a personas responsables o involucrados relevantes en relación al tema de investigación. Las entrevistas deben ser hechas por un profesional que cumplan un rol central en la evaluación, de modo que tenga claridad respecto de sus objetivos y pueda por tanto conducir las preguntas, profundizando en aquellos temas en que el entrevistado tiene información valiosa respecto del objeto en estudio.

Las entrevistas en profundidad se realizan en base a una pauta referencial, deben ser flexibles y dinámicas, e incluir preguntas generales y específicas. Estas últimas tiene el objetivo de permitir profundizar en áreas o aspectos de mayor interés para la investigación, al interior de los diferentes tópicos que se examinan. Es central que el entrevistador identifique y registre como los informantes o entrevistados se ven a si mismos y a su entorno en relación con el tema en cuestión, así como también que identifique y registre los fundamentos o justificaciones de los juicio u opiniones del entrevistado.

5.

Disponibilidad de información y limitaciones del proceso de evaluación

La disponibilidad de información es central a los procesos de evaluación. Cualquiera sea la metodología ésta debe utilizar información. Parte o toda esta información pudiese ser generada por 30

CEPAL - Serie Gestión pública No 64

Evaluación de programas. Notas técnicas

el programa, como parte de su práctica de trabajo, no obstante esta situación no es la más frecuente.

El alcance efectivo de la evaluación en términos de la aplicación de elementos metodológicos esta determinada, además del tiempo asignado para el proceso de evaluación y competencia técnica de los evaluadores, por la información disponible.

En muchas oportunidades las unidades responsables de programas no tienen información completa ni confiable de la situación inicial de los beneficiarios en relación a las características que se quiere afectar a través de los bienes y servicios que entrega. Es decir no existe un razonable diagnóstico inicial en la forma de “línea base” o “el antes” que requiere una Evaluación de Impacto para efectuar las comparaciones. En algunos caso, a partir de bases de datos más generales o secundarias al programa, podrá reconstruirse esta base, pero en muchos otros tal situación no será posible, impidiéndose la aplicación rigurosa de la metodología.

En otras oportunidades las unidades responsables de programas no tienen información de la situación de los beneficiarios en relación a los resultados intermedios y/o finales. En tal situación una Evaluación de Escritorio o Evaluación Rápida no podrá concluir respecto de éstos, ni aún incorporando en las mediciones de resultados finales los efectos externos que los pudiesen haber afectado. Probablemente podrá evaluar otros aspectos tales como aspectos de diseño del programa, sus procesos de gestión, diferentes aspecto de la dimensión de eficacia respecto de la producción y/o provisión de bienes y servicios.

6.

Incorporación del enfoque o la perspectiva de género en los programas públicos y en su evaluación 6.1 Incorporación del enfoque o perspectiva de género en los programas públicos

La incorporación de la perspectiva o enfoque de género en los programas públicos tiene por objeto considerar las diferencias que puedan existir entre hombres y mujeres como beneficiarios de las políticas públicas. Dichas diferencias pueden referirse a aspectos tales como los roles que desempeñan en la sociedad, las expectativas, las circunstancias y características de su inserción en los diferentes espacios sociales y económicos. Aspectos como los anteriores determinan distintos requerimientos de los instrumentos o medios a través de los cuales se implementan las políticas como es el caso de los programas.

La incorporación del enfoque o perspectiva de género en los programas públicos puede ser necesaria en diferentes etapas de formulación de un programa o proyecto como se señala a continuación, contribuyendo así a aumentar la eficacia y eficiencia de éstos.

Etapas Diagnóstico: El análisis de género en esta fase de la programación debe abocarse a identificar como el problema que el programa se propone resolver afecta a hombres y mujeres, ahondando en las características o diferencias particulares que este toma en cada caso. Para lo anterior se podrá recurrir a estadísticas de la situación o línea base (del problema) diferenciadas por genero, y también, si es necesario a la aplicación de técnicas cualitatitivas que ayuden a profundizar el diagnóstico.

Objetivo: Consistentemente con el problema, la determinación del objetivo del programa deberá precisar el cambio esperado en los beneficiarios en relación al problema que se ha diagnosticado. Si el problema afecta exclusivamente al género femenino o masculino el objetivo del programa deberá explicitar los resultados esperados en uno u otro.

31

CEPAL - Serie Gestión pública No 64

Evaluación de programas. Notas técnicas

Sin embargo no todo programa está orientado exclusivamente a un género. En muchos casos los programas deben tener un objetivo común respecto del género de los beneficiarios a los que está dirigido, puesto que el diagnóstico muestra un problema que afecta a unos y otros. En dichas situaciones no corresponde incorporar la perspectiva de género a nivel del objetivo del programa sino identificar si otros aspectos o elementos de este deben incorporar distinciones, para el logro del objetivo común.

Componentes20 (bienes y/o servicios): Siempre sobre la base del diagnóstico del problema y objetivo del programa, el análisis de género a nivel de componentes debe identificar las diferencias en relación al género de los beneficiarios, necesarias de incorporar en los bienes y/o servicios específicos que el programa decida proveer.

Estas diferencias pueden corresponder a aspectos de diseño tales como el tipo y características de los bienes y/o servicios; al modo de acceso o provisión de éstos; o a otros procesos. Como ya se señalara pueden existir muchos programas cuyo “objetivo” no hace distinción de género, pero sin embargo las características de su producción y/o provisión si corresponde sean distintas para el logro de una mayor eficacia y eficiencia.

Ejemplo de esto puede ser la consideración de horarios de atención en establecimientos de atención primaria de salud que permitan un más fácil acceso a la población beneficiaria masculina que, por otras razones y como un elemento de diagnóstico, en el período de ejecución del programa presente una mayor participación en el empleo y por tanto limitaciones de horario para acceder a los servicios.

La situación anterior puede determinar tasas de atención de servicios de salud básicos menores en hombres respecto de las mujeres, y menores a las necesarias y posibles de satisfacer por un programa con un objetivo común. En este caso por tanto, modificaciones respecto del acceso pueden contribuir a aumentar las atenciones en hombres y así disminuir diferencias por género.

Otro ejemplo puede estar dado por consideraciones especiales para mujeres embarazadas en la entrega de un servicio al público. En este caso, siendo los mismos servicios, es necesario considerar distinciones para una atención preferencial de mujeres embarazadas. En este caso la incorporación se efectúa en un proceso de la etapa de provisión de un servicio vinculado a un componente.

Un tercer ejemplo puede ser un programa de generación de competencias para insertar a población pobre en el mercado del trabajo, el que en el plan de generación de competencias (componente del programa) deba incluir algunas actividades diferentes para hombres y mujeres, derivadas de un diagnóstico de menor nivel de escolaridad y menores y menos relevantes experiencias laborales previas en el caso de éstas últimas. En este caso la incorporación se efectúa en el diseño del servicio que entrega en componente.

Indicadores: Cuando corresponda aplicar análisis de género es recomendable también, si la situación base no lo contempla, definir y construir los indicadores que permitan medir los efectos de las intervenciones en la situación de hombres y mujeres.

6.2 Incorporación del enfoque o perspectiva de género en la evaluación Los procesos evaluativos se enfrentan a dos situaciones al momento de incorporar consideraciones de género en el análisis.

La primera situación es aquella donde el programa previamente no consideró formalmente consideraciones de género. En este caso la evaluación debe centrarse en si corresponde dicha 20

Definición de componentes ver recuadro 4.

32

CEPAL - Serie Gestión pública No 64

Evaluación de programas. Notas técnicas

incorporaciones lo que debe efectuarse en base al diagnóstico inicial y actualización del problema que origina el programa.

La segunda situación es aquella en que el programa incorporó consideraciones de género en todas o algunas de las etapas descritas en punto anterior. En tal situación la evaluación debe revisar la consistencia de tales incorporaciones (entre objetivo del programa y objetivos de componentes y el problema); si tales consideraciones son adecuadas y cuales son los resultados alcanzados.

Cuando el programa ha incorporado consideraciones de género en su objetivo, la evaluación deberá mostrar los resultados alcanzados en la población beneficiaria correspondiente.

Cuando el programa tiene un objetivo común y la distinción de género está en el diseño de componentes y procesos, la evaluación debe necesariamente evaluar los resultados alcanzados distinguiendo por género, para concluir si los aspectos incorporados logran equidad en la resolución del problema de unos y otros.

7.

Análisis de resultados y compromisos

Un proceso de evaluación no debería termina sólo con un informe final. Tampoco debería finalizar una vez efectuados los análisis de sus hallazgos. El paso que hace posible cumplir con el objetivo de “mejorar” a partir de una Evaluación es introducir cambios al objeto evaluado sobre la base de los hallazgos y propuestas que la Evaluación entrega.

Es posible incorporar prácticas en esta materia a través de procedimientos concretos que, además de incluir un análisis detallado de los hallazgos de la evaluación, sus conclusiones y recomendaciones, incluya la introducción de modificaciones y las formas de informar respecto de ellas.

Lo anterior requiere de tres procesos claves, i) recomendaciones pertinentes, ii) revisión y análisis de los hallazgos con participación de actores claves, iii) definición precisa de los cambios y formalización de estos en compromisos, e iv) informe periódico de los avances.

Obtener recomendaciones pertinentes de una Evaluación es central para su uso. En éste sentido toda recomendación debe ser precisa, concreta y debidamente fundamentada en términos de su relevancia para el mejor desempeño del programa, para esto se recomienda que señalen con precisión los aspectos que requieren cambios; la orientación o sentido de estos; y los elementos que hacen posible su implementación.

La revisión y análisis de los hallazgos requiere de la participación de los responsables del programa y de otros actores institucionales claves para los procesos de gestión y de toma de decisiones, de modo de compartir la información, enriquecer el análisis, y a través de esto facilitar el uso de la información en proceso de toma de decisiones.

La definición precisa de los cambios, formalización de estos en compromisos e informe periódico de los avances son procesos concretos que refuerzan el uso de la información proveniente de la Evaluación, ordenando las acciones a realizar como consecuencia y asignando responsabilidades respecto de éstas.

8.

Aspectos de institucionalidad y gestión

Para que las evaluaciones cumplan su objetivo de retroalimentar procesos de toma de decisiones se requiere poner atención a algunos aspectos claves en relación a la institucionalidad y gestión que rodea su implementación. A continuación se presentan algunos requerimientos en estos aspectos considerados centrales a su desarrollo y éxito.

33

CEPAL - Serie Gestión pública No 64

Evaluación de programas. Notas técnicas

a) Voluntad Política y Credibilidad de las instituciones que lideran el proceso. Es recomendable que exista mandato político por parte de autoridades, y liderazgo por parte de los actores institucionales encargados de llevar a efecto las Evaluaciones y usar la información. El desarrollo de Evaluaciones y el uso de la información es una práctica exigente de gestión pública que requiere de apoyo político institucional. b) Consensos Básicos con los Actores Políticos. En particular el uso de las Evaluaciones en procesos de toma de decisiones involucra a una diversidad de actores técnico y políticos en proceso complejos, tales como las definiciones programáticas, de asignación de recursos, de procesos de gestión y de transparencia de la información. Se requiere por tanto de acuerdos con los actores políticos, tanto del ejecutivo como legislativo, en el marco de agendas de transparencia y mejoramiento de la calidad del gasto público. c) Definición de Actores Institucionales, Funciones y Procesos Operativo. Se requiere de una institucionalidad y organización base para el desarrollo de evaluaciones y uso de la información.

Esto debe incluir i) instituciones o entidades, y unidades al interior de éstas, con clara asignación de funciones y responsabilidades, ii) espacios de trabajo y coordinación entre y al interior de las instituciones involucradas, y iii) diseño de procesos de operación.

34

CEPAL - Serie Gestión pública No 64

Evaluación de programas. Notas técnicas

Bibliografía

Aedo, Cristián (2005), Evaluación de Impacto. Serie Manuales Nº 47, Comisión Económica para Latinoamérica y el Caribe.

Banco Mundial (2005). Chile: Estudio de Evaluación de Impacto del Programa de Evaluación de Programa . Resumen Ejecutivo. Abril 2005. ___(2004), Seguimiento y Evaluación: Instrumentos, Métodos y Enfoques, Departamento de Evaluación de Operaciones, Banco Mundial, Desarrollo de la Capacidad de Evaluación.

Croszyk, Walter (2002). Outcomes-Focused Management in the United States.

Journal on Budgeting Volúmen 1 No.4. Organisation for Economic CoOperation and Development (OECD).

Dirección de Presupuestos (2005). Metodología de Evaluación de Impacto.

Ellis, K y Mitchell, S (2002). Outcomes-Focused Management in the United Kingdom. Journal on Budgeting Volúmen 1 No.4. Organisation for Economic Co-Operation and Development (OECD).

Guzmán, Marcela (2005). Sistema de Control de Gestión y Presupuestos por Resultados, la Experiencia Chilena. Dirección de Presupuestos, Ministerio de Hacienda.

Keith Mackay (2004). Two Generations of Performance Evaluation and Management System in Australia. ECD working Paper Series 11. World Bank, March 2004.

Mokate, Karen, M. (1999). Eficacia, Eficiencia, Equidad y Sostenibilidad: ¿qué queremos decir? INDES. Banco Interamericano de Desarrollo.

Oficina de Evaluación (EVO) (1997). Evaluación un Herramienta de Gestión para Mejorar el Desempeño de los Proyectos. Banco Interamericano de Desarrollo.

Organisation for Economic Co-Operation and Development (OECD) (2005).

Performance Information in the Budget Process: Results of OECD 2005 Questionnaire. 26 th Annual Meeting of Senior Budget Officials. Paris 3031 May 2005.

35

CEPAL - Serie Gesti贸n p煤blica No 64

Evaluaci贸n de programas. Notas t茅cnicas

___(2003). Public Sector Modernisation. Governing for Performance. 28 th session of the Public Management Committee. Paris 13-14 November 2003. ___(2002b). Budget Reform in OECD Member Countries. Common Trends. Meeting of Budget Directors from the G-7 Countries. Berlin-Germany 5-6 September 2002. ___(2002c) A Longer-Term Orientation to the Budget Process. 26 th Session of the Public Management Committee, Paris 30-31 October 2002. ___(2001). Managing Public Expenditure. A Reference Book for Transition Countries. ___(1999)Improving Evaluation Practices. Best Practice Guidelines for Evaluation and Background Paper.

January 1999. ___(1997). Promoting the Use of Programme Evaluation. Accountability in Public Organisations. Meeting of the Performance Management Network. Paris. November 1997.

Schick, Allen (2002b). Synthesis Report; Agencies in Search of Principles Distributed Public Governance.

Agencies, Authorities and Other Government Bodies. OECD. Zaltsman A. (2006). Experiences with Institutionalizing Monitoring and Evaluation Systems in Five Latin American Countries: Argentina, Chile, Colombia, Costa Rica and Uruguay. Independent Evaluation Group. World Bank.

36

CEPAL - Serie Gestión pública No 64

Evaluación de programas. Notas técnicas

Serie

gestión pública Números publicados El listado completo de esta colección, así como las versiones electrónicas en pdf están disponibles en nuestro sitio web: www.cepal.org/publicaciones 64 63 62 61 60 59 58 57 56 55 54 53

•

Evaluación de programas. Notas técnicas, Marcela Guzmán (LC/L.2671-P, LC/IP/L.280) No de venta: S.07.II.G.21 (US$10), 2007.

Descentralização fiscal, políticas sociais, e transferência de renda no Brasil, José Roberto R. Afonso (LC/L.2669-P, LC/IP/L.279) No de venta: S.07.II.G.20 (US$10), 2007 Costa Rica: análisis crítico del proceso presupuestario, Roberto Fallas Mora, Fabián Quiroz Álvarez (LC/L.2668-P, LC/IP/L.278) No de venta: S.07.II.G.19 (US$10), 2007 Presupuestar en Colombia: buscando la gobernabilidad fiscal a través del presupuesto, Carolina Rentaría, Juan Carlos Echeverri (LC/L.2635, LC/IP/L.277) No de venta: S.06.II.161 (US$10), 2006 Presupuestar en Argentina, antes y después de la crisis de la deuda pública. Enseñanzas, posibilidades y recomendaciones, Roberto Martirene (LC/L.2570, LC/IP/L.275) N° de venta: S.06.II.G.99 (US$10.00), 2006 Revalorización de la planificación del desarrollo, Luis Lira (LC/L.2568-P, LC/IP/L.274), No de venta: S.06.II.G.97 (US$10.00), 2006 Presupuestar en Perú, Nelson Shack (LC/L.2557-P, LC/IP/L.273) N° de venta: S.06.II.G.85 (US$10.00), 2006 Gobernabilidad fiscal en Ecuador, María Dolores Almeida, Verónica Gallardo, Andrés Tomaselli (LC/L.2529-P, LC/IP/L.272) N° de venta: S.06.II.G.56 (US$10.00), 2006 Globalización y territorio, Luis Mauricio Cuervo (LC/L.2508-P, LC/IP/L.271) No de venta: S.06.II.G.36 (US$10.00), 2006 Sistemas de buenas prácticas en desarrollo económico local. Una revisión preliminar de la experiencia, Sorely Martínez y Luis Mauricio Cuervo (LC/L.2495-P; LC/IP/L.269) No de venta: S.06.II.G.60, 2006 Planificar y presupuestar en Uruguay. Los avatares de un presupuesto quinquenal, Isaac Umansky, (LC/L.2486-8, LC/IP/L.268) N° de venta: S.06.II.G.19 (US$10.00), 2006 Política fiscal y protección social, Ricardo Martner, Eduardo Aldunate, (LC/L.2485-8, LC/IP/L.267) N° de venta: S.06.II.G.17 (US$10.00), 2006

El lector interesado en adquirir números anteriores de esta serie puede solicitarlos dirigiendo su correspondencia a la Unidad de Distribución, CEPAL, Casilla 179-D, Santiago, Chile, Fax (562) 210 2069, correo electrónico: publications@cepal.org.

Nombre: ...................................................................................................................................

Actividad:.................................................................................................................................

Dirección:.................................................................................................................................

Código postal, ciudad, país: .....................................................................................................

Tel.: ............................ Fax:......................................E.mail: ....................................................

37