Modulo_6_-_Seguimiento_y_evaluacion_de_los_resultados_ by Clóvis De Santana

Gestión para resultados en el desarrollo en gobiernos subnacionales MÓDULO 6 Seguimiento y evaluación de los resultados

Módulo 6: Seguimiento y evaluación de los resultados

Módulo 6 Seguimiento y evaluación de los resultados Autor: Mauricio García Moreno Equipo INDES: Equipo INDES: Juan Cristóbal Bonnefoy, Jefe INDES Edgar González, Coordinador General del curso GpRD Nydia Díaz, Coordinadora Académica del curso GpRD Cynthia Smith, Coordinadora del aula virtual Gabriel Escalante y Josué Mendoza: coordinación y apoyo operativo del aula virtual Equipo PRODEV Roberto García López, Coordinador PRODEV Mauricio García Moreno, Coordinador del curso GpRD

corresponden y son responsabilidad del autor o los autores; no reflejan necesariamente la opinión del BID, el INDES o el PRODEV.

Colaboradores

Cecilia Ortiz B., edición, corrección orto-tipográfica

y corrección de estilo Diseño gráfico: Manthra Editores · info@manthra.net

Las opiniones incluidas en este documento

Cualquier reproducción parcial o total de este documento debe ser solicitada a la dirección INDESVIRTUAL@iadb.org y debe ser autorizada por el INDES.

Índice Glosario de siglas..............................................................................................................................................5 Presentación ......................................................................................................................................................6 Objetivos del módulo.......................................................................................................................................6 Preguntas orientadoras del aprendizaje.................................................................................................6 Unidad 1. El seguimiento de los resultados................................................................8 1.1

Conceptos básicos..............................................................................................................................8

1.2

Elementos necesarios para implementar un sistema de seguimiento........................17

1.3

Síntesis de la unidad.........................................................................................................................25

1.4

Bibliografía de la unidad.................................................................................................................26

Unidad 2. La evaluación de los resultados..................................................................27 2.1

Conceptos básicos..............................................................................................................................27

2.2

Pasos necesarios para implementar evaluaciones...............................................................32

2.3

Síntesis de la unidad.........................................................................................................................37

2.4

Bibliografía de la unidad.................................................................................................................38

Unidad 3. Construcción del sistema de seguimiento y evaluación...........................39 3.1

Usos del sistema de seguimiento y evaluación.....................................................................39

3.2

Los usuarios del sistema de seguimiento y evaluación.....................................................43

3.3

Institucionalización del seguimiento y evaluación..............................................................44

3.4

Integración horizontal y vertical del sistema de seguimiento y evaluación............49

3.5

Síntesis de la unidad.........................................................................................................................50

3.6

Bibliografía de la unidad.................................................................................................................51

Índice de gráficos 6.1

Componentes del ciclo de gestión..............................................................................................9

6.2

La cadena de resultados..................................................................................................................11

6.3

La Matriz del marco lógico y la cadena de resultados.......................................................12

6.4

Dimensiones del desempeño.........................................................................................................15

Módulo 6: Seguimiento y evaluación de los resultados

6.5

Tasa específica de participación de la población económicamente activa de 12 a 15 años.....................................................................................................................22

6.6

Tipos de evaluación............................................................................................................................29

6.7

Usos del sistema de seguimiento y evaluación.....................................................................42

6.8

Usuarios del sistema de seguimiento y evaluación.............................................................43

6.9

Institucionalización del sistema de seguimiento y evaluación......................................48

Índice de recuadros 6.1

Componentes de la cadena de generación de resultados................................................11

6.2

Elementos necesarios para desarrollar un sistema de seguimiento............................18

6.3

Pasos para realizar evaluaciones en un gobierno subnacional......................................32

Índice de cuadros

6.1

Ejemplo de indicadores según componentes de la cadena de resultados................13

6.2

Indicadores de desempeño.............................................................................................................16

6.3

Indicadores según dimensiones de desempeño y cadena de resultados...................17

6.4

Indicadores según tipo de fuente................................................................................................21

6.5

Diferencias entre el seguimiento y la evaluación.................................................................28

6.6

Costos y duración de evaluaciones, de los efectos e impactos......................................34

6.7

Elementos que contienen los términos de referencia de una evaluación.................35

6.8

Ventajas e inconvenientes de contratar empresas de evaluación o evaluadores individuales.............................................................................................................36

GLOSARIO DE SIGLAS ALC

América Latina y el Caribe

BID

Banco Interamericano de Desarrollo

CLAD Centro Latinoamericano de Administración para el Desarrollo BM

Banco Mundial

GpRD Gestión para resultados en el desarrollo MML Matriz del marco lógico OCDE Organización para la Cooperación y el Desarrollo Económicos OECD Organización para la Cooperación y el Desarrollo Económicos (por sus siglas en inglés) OSC

Organizaciones de la sociedad civil

PNUD Programa de las Naciones Unidas para el Desarrollo PIB

Producto Interno Bruto

SyE

Seguimiento y evaluación

Términos de referencia

TIR

Tasa interna de retorno

UNEG Grupo de evaluación de las Naciones Unidas (por sus siglas en inglés) VAN

Valor actual neto

Módulo 6: Seguimiento y evaluación de los resultados

Presentación Este módulo trata sobre los sistemas de seguimiento y evaluación (SyE) de los resultados de la gestión de los gobiernos subnacionales. El seguimiento y la evaluación son piezas clave de la gerencia pública, pues permiten identificar si las estrategias y las acciones que se están realizando se encaminan a alcanzar las metas y objetivos trazados por una institución o gobierno. De esta manera, proporcionan elementos para corregir el rumbo de la gestión a medida que la sociedad cambia. El módulo ofrece una síntesis de los principales elementos que un gerente público debe tomar en cuenta para implementar y administrar sistemas de SyE. Puesto que, como se postula aquí, el SyE es una función que atraviesa todos los sistemas de gestión pública (planificación, presupuesto, gestión financiera, programas y proyectos), el texto está dirigido no solamente a los gerentes de SyE sino a todos aquellos que actúan en el ámbito de los gobiernos subnacionales. El documento, por tanto, no pretende ofrecer conocimientos metodológicos y técnicos para realizar evaluaciones o para elaborar indicadores de desempeño, aspectos técnicamente complejos que requerirían un espacio académico propio, sino señalar el enfoque y los elementos que deben considerarse para construir un sistema de SyE. Aquellos participantes interesados en conocer más acerca de los aspectos metodológicos del SyE encontrarán en la bibliografía textos en español que pueden encontrarse fácilmente en el Internet. El módulo está compuesto por tres unidades: la primera trata acerca del seguimiento o monitoreo de la gestión pública, la segunda versa sobre la evaluación de los resultados y la tercera sobre los aspectos que deben tomarse en cuenta para la institucionalización del SyE.

Objetivos del módulo Analizar y comprender el enfoque y los principales elementos que deben considerarse para implementar y administrar un sistema de seguimiento y evaluación (SyE), orientado a fortalecer la capacidad de gestión para resultados de los gobiernos subnacionales.

Preguntas orientadoras del aprendizaje • ¿Qué son el seguimiento y la evaluación en el enfoque de la gestión para resultados? • ¿En qué se diferencia el seguimiento de la evaluación? • ¿Cuáles son los principales conceptos involucrados en el SyE? • ¿Qué pasos deben seguirse para implementar un sistema de SyE? • ¿Qué aspectos deben tenerse en cuenta para institucionalizar un sistema de SyE? 6

Gobiernos subnacionales, descentralización y gestión para resultados

Módulo 6 Seguimiento y evaluación de los resultados • Unidad 1. El seguimiento de los resultados • Unidad 2. La evaluación de los resultados • Unidad 3. Construcción del sistema de seguimiento y evaluación 7

Módulo 6: Seguimiento y evaluación de los resultados

Unidad 1. El seguimiento de los resultados Objetivos del aprendizaje • Conocer y comprender los principales conceptos y definiciones relaciona-

dos con el proceso de seguimiento de los resultados de la gestión de un gobierno subnacional. • Destacar los elementos más importantes del proceso de implementación

de un sistema de seguimiento.

1.1. Conceptos básicos Según el Glosario de la Organización para la Cooperación Económica y el Desarrollo (OECD, 2002), el seguimiento es una función continua que utiliza la recopilación sistemática de datos sobre indicadores determinados para proporcionar información sobre el avance y el logro de los objetivos, así como sobre la utilización de los fondos asignados a los administradores y a las principales partes interesadas de una intervención para el desarrollo. El seguimiento, por tanto, es un componente importante del ciclo de gestión de una institución, programa o proyecto, pues permite que tanto sus administradores como los grupos e instituciones que de una u otra manera se ven beneficiados o afectados, cuenten con información sobre el avance y el efecto de las acciones realizadas. En el gráfico 6.1. se puede observar un esquema de los componentes o etapas que involucra cualquier proceso de gestión, desde la operación de una planta hidroeléctrica hasta la administración de un centro de salud. Se aprecia que el seguimiento es el paso previo al ajuste, es decir, a la modificación de lo que se hace en función de los resultados que se desean obtener.

Gráfico 6.1. Componentes del ciclo de gestión Planificar

Evaluar

Ajustar

Hacer

Seguir/ Verificar

Fuente: Elaboración del autor (2011)

El seguimiento, por tanto, es crucial para una gestión orientada al logro de resultados; sin esta acción es improbable que cualquier actividad emprendida por los sectores público o privado logre los objetivos que la impulsaron. Conviene mencionar que en este documento se diferencia el seguimiento de la evaluación, términos que con frecuencia se usan como sinónimos. Como se puede observar en el gráfico, la evaluación es un proceso distinto al seguimiento debido a que, entre otros aspectos que se verán con detalle posteriormente, no es una función continua. Mientras la ejecución, el seguimiento y el ajuste son funciones que se ejecutan permanentemente durante la gestión, la evaluación se realiza en momentos determinados. El seguimiento se realiza mediante la recopilación sistemática de datos sobre la marcha de una institución, programa o proyecto mediante la observación de los distintos componentes de la cadena de resultados (insumos, actividades, productos, efectos e impactos). Los datos se organizan en forma de indicadores, es decir, de variables cuantitativas o cualitativas mediante la cuales se pueden medir los logros alcanzados, observar los cambios vinculados con una intervención o analizar los resultados de un organismo de desarrollo (OECD, 2002). Entre los indicadores de uso más común se pueden citar la tasa de mortalidad infantil, el producto interno bruto (PIB), la tasa de desempleo y la

Módulo 6: Seguimiento y evaluación de los resultados

tasa de analfabetismo. Debido a su capacidad para medir los logros de la gestión pública, los indicadores son usados con frecuencia por las autoridades para rendir cuentas a los ciudadanos, por los gerentes públicos para dirigir las instituciones o proyectos y por los funcionarios para gestionar los servicios públicos.

1.1.1. El seguimiento de los resultados Dado que el objetivo de la función de seguimiento es informar sobre el avance y el logro de los resultados de la gestión pública, trátese de la administración de una institución o de un proyecto, es importante aclarar este concepto. En este documento se entenderá que resultado es la creación de valor público, es decir, de las respuestas efectivas de un gobierno a las necesidades o demandas sociales establecidas mediante un proceso de legitimación democrática que se concretan en cambios sociales observables y susceptibles de medición (BID y CLAD, 2007). Efectivamente, la noción de resultado en la Gestión para Resultados en el Desarrollo (GpRD) está asociada al cambio social producido por la acción del Estado y no solamente a las actividades o los productos que contribuyen a ese cambio. Estos últimos son tomados con frecuencia, como parámetros para valorar la acción gubernamental. Así, por ejemplo, el resultado de la gestión de un municipio no se medirá solamente por la cantidad de escuelas construidas, el número de docentes capacitados o incluso el número de niños promovidos de año, sino por los aprendizajes que efectivamente hubieran logrado los alumnos y, a largo plazo, por la calidad de empleos que logren conseguir gracias a la educación recibida (García López y García Moreno, 2010). La cadena de generación de resultados (gráfico 6.2.) es un esquema lógico muy útil para sintetizar la manera en que se producen los resultados en la gestión pública; de esa forma, se identificarán la información y los indicadores necesarios para hacer un seguimiento. La cadena está compuesta por cinco elementos: insumos, procesos, productos, efectos e impactos. A continuación, se definen cada uno de estos conceptos:

El seguimiento de los resultados

Recuadro 6.1. Componentes de la cadena de generación de resultados • Insumos: recursos financieros, humanos y materiales empleados para

generar los productos. • Procesos: actividades realizadas para transformar los insumos en

productos. • Productos: bienes y servicios elaborados. • Efectos: cambios en el comportamiento o en el estado de los beneficiarios

como consecuencia de la recepción de los productos (bienes o servicios). • Impactos: cambios en las condiciones de vida de la población objetivo.

Gráfico 6.2. La cadena de resultados

EJECUCIÓN Insumos

Procesos

Productos

Efectos

Impactos

RESULTADOS

Fuente: Elaboración del autor (2011)

Los insumos, procesos y productos son parte de la ejecución, mientras los productos, los efectos y los impactos pertenecen al ámbito de los resultados. En general, se puede decir que los elementos que componen la ejecución dependen de la gestión institucional, mientras los efectos e impactos son consecuencia también de otros factores. Así, por ejemplo, lograr que todos

Módulo 6: Seguimiento y evaluación de los resultados

los niños de una ciudad estén vacunados (producto) depende básicamente de que se cuente con los insumos necesarios, que los procesos estén bien diseñados y se ejecuten de manera adecuada, todo lo cual depende de una buena gestión institucional. Sin embargo, lograr que todos los niños estén sanos (impacto) depende también de muchos otros factores como la alimentación y el medio ambiente en que viven, lo cual escapa a la gestión de una sola institución. Nos detendremos, más tarde, en esta distinción.

Gráfico 6.3. La matriz del marco lógico y la cadena de resultados MARCO LÓGICO Indicadores

Medios de verificación

Supuestos

CADENA DE RESULTADOS

Fin

Impactos

Propósito

Efectos

Componentes

Productos

Actividades

Insumos ($)

Procesos

Fuente: Elaboración del autor (2011)

La identificación de los elementos que componen la cadena de resultados de cualquier proceso de producción de valor público, se realiza en la fase de planificación. Para ello se usan distintos instrumentos, el más conocido de ellos es la matriz del marco lógico (MML), cuyo uso se ha generalizado, no solamente entre los organismos internacionales como el Banco Interamericano de Desarrollo (BID) y el Banco Mundial (BM), sino entre los sistemas de SyE de varios países1. La MML se basa en una estructura causal lógica similar a la cadena de resultados, tal como puede apreciarse en el gráfico 6.3. La segunda columna de la izquierda obliga a establecer los indicadores de seguimiento para cada nivel de objetivos, término con el que la MML designa a la cadena de resultados.

1 Este es el caso de México. Para mayor información, visitar el sitio: www.coneval.gob.mx 12

El seguimiento de los resultados

Es necesario mencionar que la información para construir los indicadores de insumos, procesos y productos es comparativamente más fácil de obtener que aquella relacionada con los efectos e impactos, tal como puede apreciarse en el cuadro 6.1. Efectivamente, la mayor parte de los datos de los primeros indicadores consta en los registros que mantienen las instituciones y proyectos, mientras que para producir los indicadores de efectos e impactos generalmente se necesita construir instrumentos especiales.

Cuadro 6.1. Ejemplo de indicadores según componentes de la cadena de resultados Categoría Insumos

Procesos Productos

Indicador Número de profesores Número de aulas Días de clase al año Horas efectivas de clase dictadas diariamente Alumnos matriculados Alumnos promovidos

Efectos

Porcentaje de estudiantes de doceavo grado que obtienen por lo menos 7/10 en las pruebas estandarizadas de aprendizaje.

Impactos

Porcentaje de egresados que consiguen empleos en el sector formal de la economía.

Fuente: Elaboración del autor (2011)

Tradicionalmente, la mayoría de las instituciones públicas de América Latina y el Caribe (ALC), sean nacionales o subnacionales, han basado la función de seguimiento en la información sobre el uso de los insumos y la realización de las actividades (procesos), produciendo informes institucionales en los que abundan listas de las actividades realizadas y análisis financieros de los recursos invertidos. Estos informes mencionan sólo ocasionalmente los productos elaborados, mas no hacen referencia a los efectos o impactos logrados con el uso de los recursos públicos.

Módulo 6: Seguimiento y evaluación de los resultados

El seguimiento basado en los informes financieros y de actividades es insuficiente para saber si se lograron o no los objetivos y si la gestión se realizó de manera eficiente. Un proyecto para mejorar la educación básica, por ejemplo, pudo haber realizado a tiempo todas las actividades previstas (obras de infraestructura, capacitación a los docentes, compra y entrega de material didáctico) y pudo haber manejado eficientemente los recursos. Sin embargo, el objetivo de que los niños aprendan más y mejor, pudo no haberse cumplido debido a varios factores: estrategias inadecuadas de capacitación, ausentismo de los docentes, textos escolares inapropiados, etc. Un sistema de seguimiento basado exclusivamente en la información sobre insumos y actividades, oculta los resultados reales de la gestión pública; con ello impide rendir cuentas apropiadamente a los ciudadanos y no estimula el aprendizaje institucional.

1.1.2. Medición del desempeño Según el Diccionario de la Real Academia de la Lengua Española, desempeñar significa “cumplir las obligaciones inherentes a una profesión, cargo u oficio”. En el ámbito de las políticas públicas, el desempeño se define como la “medida en que una intervención para el desarrollo o una entidad que se ocupa de fomentar el desarrollo actúa conforme a criterios/normas/directrices específicos u obtiene resultados de conformidad con metas o planes establecidos” (OECD, 2002: 29). Los indicadores para medir el desempeño, por tanto, deberán dar cuenta de dos aspectos importantes de las intervenciones para el desarrollo: i) los resultados establecidos en la planificación (productos, efectos, impactos) y, ii) los criterios, normas, directrices que guían la intervención de las entidades. Usando como referencia la cadena de resultados, se pueden identificar las dimensiones críticas que dan cuenta de los dos aspectos ya mencionados del desempeño. El gráfico 6.4. ilustra las relaciones entre los elementos de la cadena de resultados y las dimensiones del desempeño.

El seguimiento de los resultados

Gráfico 6.4. Dimensiones del desempeño

EFICIENCIA Insumos

Procesos ECONOMÍA

EFICACIA Productos

Efectos

Impactos

CALIDAD

Fuente: Elaboración del autor (2011)

Se aprecia que las dimensiones del desempeño son cuatro: eficiencia, eficacia, economía y calidad. Cada una de ellas brinda información sobre la medida en que la institución o intervención para el desarrollo logra los resultados esperados y cumple con las normas establecidas. En conjunto, proporcionan información valiosa y útil para realizar un seguimiento sólido y orientado a la obtención de resultados. A continuación, se definen cada una de las dimensiones del desempeño y se brindan ejemplos de indicadores para cada una de ellas.

Según el Diccionario de la Real Academia de la Lengua Española, desempeñar significa “cumplir las obligaciones inherentes a una profesión, cargo u oficio”. En el ámbito de las políticas públicas, el desempeño se define como la “medida en que una intervención para el desarrollo o una entidad que se ocupa de fomentar el desarrollo actúa conforme a criterios/normas/directrices específicos u obtiene resultados de conformidad con metas o planes establecidos”. (OECD, 2002: 29)

Módulo 6: Seguimiento y evaluación de los resultados

Cuadro 6.2. Indicadores de desempeño Dimensiones del desempeño

Eficacia

Eficiencia

Economía

Calidad

Definición

Grado de cumplimiento de los objetivos (efectos e impacto). Relación entre los insumos y los productos.

Ejemplo Tasa de mortalidad materna. Tasa de desnutrición de niños de entre 0 y 3 años. Pacientes atendidos por médico al día. Costo promedio de inmunización por niño.

Ausencia de desperdicio en la obtención de un resultado.

Calidad de los bienes y servicios producidos.

% de atrasos en el pago a proveedores de salud. Porcentaje de recuperación del costo de los servicios de salud. % usuarios satisfechos con el servicio. % de partos que cumplieron con las normas de calidad.

Fuente: Elaboración del autor (2011)

A diferencia de los indicadores que consideran los componentes de la cadena de resultados aisladamente (cuadro 6.1.), los indicadores de desempeño establecen correspondencia entre esos componentes, lo cual los dota de una mayor capacidad para captar las complejas interrelaciones causales que se producen en la gestión institucional. Un buen sistema de seguimiento deberá contener una mezcla adecuada de indicadores de todas las dimensiones del desempeño con los distintos componentes de la cadena de resultados. En el siguiente ejemplo, puede observarse una matriz que presenta indicadores tomando en cuenta ambos criterios.

El seguimiento de los resultados

Cuadro 6.3. Indicadores según dimensiones de desempeño y cadena de resultados

Insumo

Número de maestros. Presupuesto asignado

Proceso

Producto

Efecto

Impacto

Eficiencia

Eficacia

Economía

Calidad

Relación entre gastos administrativos y gastos en docentes

Costo por alumno

% de ahorro por reducción Tasa de promoción de deserción escolar

% de comités de padres de familia satisfechos con el servicio

% alumnos que rinden satisfactoriamente las pruebas estandarizadas

Porcentaje de graduados de educación secundaria que obtienen empleo

% de atrasos en el pago a proveedores

Fuente: Elaboración del autor (2011)

1.2. Elementos necesarios para implementar un sistema de seguimiento2 Una vez que se han explicado los principales conceptos relacionados con la materia, es necesario establecer los elementos que se requieren para implementar un sistema de seguimiento del desempeño de la gestión de un gobierno subnacional. Esos elementos son los siguientes: 2 Una metodología detallada para implementar un sistema de seguimiento puede encontrarse en el libro Diez pasos hacia un sistema de seguimiento y evaluación basado en resultados de Jody Zall Kusek y Ray C. Rist (2005). Esta es la versión en español del libro escrito originalmente en inglés Ten steps to a Results-Based Monitoring and Evaluation System: A handbook for Development Practitioners. Desgraciadamente, la traducción es descuidada y de mala calidad, lo que provoca equívocos en los términos técnicos. Por ello, si el interesado lee en inglés, se le sugiere optar por la edición en ese idioma. 17

Módulo 6: Seguimiento y evaluación de los resultados

Recuadro 6.2. Elementos necesarios para desarrollar un sistema de seguimiento • Objetivos y estrategias definidas • Indicadores • Información de línea base • Metas • Recolección y análisis de información • Incorporar la información sobre el desempeño

en la toma de decisiones • Comunicar los resultados

Objetivos y estrategias definidas Si los objetivos formulados para un gobierno, institución o proyecto no responden a un análisis riguroso de los problemas, o son ambiguos y confunden los procesos con los productos o efectos, no habrá una base firme para la elaboración de los indicadores, pues éstos se elaboran a partir de los objetivos.

El primer elemento y condición sine qua non para desarrollar un sistema de seguimiento, es contar con objetivos claramente establecidos y con las estrategias correspondientes para lograrlos. La definición de los objetivos parte del análisis de los problemas que se vayan a enfrentar y supone la identificación de los impactos y efectos que se busca obtener (cambios sociales), así como de los productos (bienes y servicios) con los que se espera lograrlo. Si los objetivos formulados para un gobierno, institución o proyecto no responden a un análisis riguroso de los problemas, o son ambiguos y confunden los procesos con los productos o efectos, no se contará con una base firme para la elaboración de los indicadores, pues éstos se elaboran a partir de los objetivos. Es muy frecuente observar planes o proyectos cuyos objetivos son vagos o no están formulados adecuadamente, lo cual dificulta la tarea de diseñar un sistema de seguimiento. Por ejemplo, si un municipio emprendiera un proyecto para mejorar la calidad de la educación y estableciera que el objetivo principal consiste en “realizar talleres de capacitación para mil docentes de

El seguimiento de los resultados

educación primaria”, estaría colocando un producto (talleres de capacitación) en lugar del efecto (mejorar el aprendizaje de los niños). Esto provocaría que el indicador para medir el efecto del proyecto fuera el número de talleres realizados para los docentes y no el mejoramiento de los aprendizajes de los niños. Si el proyecto ejecutara los mil talleres de capacitación programados, el indicador señalaría que se ha cumplido el objetivo. Sin embargo, dichos talleres podrían no haber sido suficientes para mejorar el aprendizaje de los alumnos, con lo cual el indicador habría brindado una información errónea. Por lo dicho, un buen sistema de seguimiento sólo puede construirse con base en un proceso de planificación estratégica realizado de manera sistemática y ordenada. La calidad de los indicadores y su capacidad para expresar de forma más o menos fidedigna la marcha de una intervención de desarrollo, depende en gran medida de la rigurosidad del proceso de planificación. Indicadores La elaboración de los indicadores es un paso crucial en el desarrollo de un sistema de seguimiento. Como se ha dicho, los indicadores son expresiones de las variables cuantitativas y cualitativas mediante la cuales pueden medirse los logros alcanzados, observar los cambios vinculados con una intervención o analizar los resultados de una institución. Deberán expresar el avance de los distintos elementos de la cadena de resultados y, en el mejor de los casos, dar cuenta de todas las dimensiones del desempeño.

…los indicadores son expresiones de las variables cuantitativas y cualitativas mediante las cuales se pueden medir los logros alcanzados, observar los cambios vinculados con una intervención o analizar los resultados de una intervención para el desarrollo.

En varias áreas del desarrollo, como la salud, la educación y el empleo, existe un amplio acuerdo entre los especialistas sobre los indicadores que deben usarse para medir los efectos e impactos de las intervenciones para el desarrollo, por lo cual, cuando sea posible y conveniente, es adecuado usar esos indicadores. En otros casos, no obstante, no existen indicadores estandarizados y es necesario crear algunos que se ajusten a lo que la organización o proyecto pretenda lograr. Vale la pena resaltar que la elaboración de los indicadores es una tarea técnica especializada, por lo que se recomienda encargarla a profesionales con experiencia en este campo.

Módulo 6: Seguimiento y evaluación de los resultados

Ellos pueden apoyar a los funcionarios del gobierno subnacional a elaborar los indicadores y, al mismo tiempo, capacitarlos para que se encarguen de esa tarea en el futuro3. Por otro lado, es conveniente que al principio se establezca un número reducido de indicadores que midan los principales efectos y productos de la gestión del gobierno subnacional o de su plan de gobierno. Ese número puede incrementarse conforme el sistema vaya madurando y se compruebe la validez de tales indicadores. Además, es preciso tener presente que la función de cualquier sistema de seguimiento es servir como instrumento de gestión y rendición de cuentas, por lo cual, es importante que su implementación se haga de manera progresiva. Información de la línea base Una vez establecidos los objetivos e identificados los indicadores para medirlos, es necesario recopilar la información para determinar la situación del indicador, al inicio del período de análisis o antes de la intervención; lo que define la denominada línea base. La línea base es el punto de partida de un indicador que servirá como referencia para medir los avances que se logren en la consecución de un objetivo. Es conveniente, además, disponer de una serie de tiempo lo más larga posible para cada indicador, pues eso permitirá conocer su tendencia y proporcionará pistas a la hora de definir las metas. En el ejemplo que se muestra en el gráfico 6.5., se puede observar la evolución del trabajo infantil mediante el indicador de la tasa específica de participación de la población económicamente activa de 12 a 15 años, durante cinco años consecutivos. Si un municipio se planteara como objetivo reducir el trabajo infantil en un escenario como este, debería tomar como línea base la tasa del año 2010 que fue de 13.1. La información de la línea base puede provenir de varias fuentes. Las principales son los registros administrativos, las encuestas periódicas y los instrumentos específicos. Estas fuentes, a su vez, pueden pertenecer al gobierno subnacional o a otro organismo, sea gubernamental o no gubernamental. A 3 Para una revisión minuciosa del proceso de elaboración de indicadores se recomienda el texto Indicadores de Desempeño en el Sector Público elaborado por Juan Cristóbal Bonnefoy y Marianela Armijo (2005). 20

El seguimiento de los resultados

continuación se presentan algunos ejemplos de indicadores, según el tipo de fuente del que comúnmente provienen.

Cuadro 6.4. Indicadores según tipo de fuente Tipo de fuente Registros administrativos

Encuestas periódicas Instrumentos específicos

Fuente Registros del Ministerio de Salud

Ejemplo de indicador Tasa de mortalidad infantil

Registros del Ministerio de Educación

Tasa de promoción escolar

Encuesta de empleo y subempleo

Tasa de desempleo

Encuesta de condiciones de vida

Porcentaje de pobreza

Encuesta de opinión ciudadana

Porcentaje de ciudadanos que consideran muy buena la gestión municipal

Fuente: Elaboración del autor (2011)

Es necesario tener en cuenta que la información para la línea base de todos los indicadores no siempre está disponible. Por ejemplo, es posible que un municipio cuyo objetivo sea mejorar la calidad de la educación primaria, no cuente con pruebas estandarizadas que permitan conocer si los alumnos han adquirido los conocimientos que el currículo de enseñanza establece para cada uno de los grados escolares. En ese caso, será necesario desarrollar y aplicar esa prueba, lo cual supondrá invertir recursos para diseñarla, aplicarla y analizarla. En todo caso, la creación de la línea base requiere realizar un esfuerzo considerable de recolección y análisis de información; mientras mayor sea el número de indicadores, mayor será la demanda de trabajo para elaborar la línea base. Metas Las metas son la expresión concreta y cuantificable de lo que se quiere alcanzar en un período definido, trátese de impactos, efectos o productos. Las metas son el compromiso más visible y verificable que un gobierno subnacional establece con la ciudadanía y, por tanto, deben ser definidas por las

Módulo 6: Seguimiento y evaluación de los resultados

autoridades de alto nivel, tomando en cuenta tanto los factores técnicos y financieros, como los políticos. Para definir una meta, hay que considerar tres elementos: i) el objetivo que se pretende alcanzar, ii) el indicador con el que se vaya a medir el logro y iii) la información que se disponga de la línea base. Así, para el ejemplo mencionado anteriormente de reducir el trabajo infantil, podría proponerse una disminución del 20% en un período de dos años, lo que equivaldría a que la tasa de participación de la población económicamente activa de 12 a 15 años, disminuya de 13.1 a 10.5, y se ubique en el mismo nivel que el año 2005, según se muestra en el ejemplo del gráfico 6.5.

Gráfico 6.5. Tasa específica de participación de la población económicamente activa de 12 a 15 años 14.0 13.5

13.1

13.0 12.4

12.5

12.6 12.3

12.0 11.5

11.2

11.0 10.6 10.5 10.0

2OO2

10.4

2003

10.5

10.2 2004

2005

2006

2007

2008

2009

2010 Línea Base

2012 META

Fuente: Elaboración del autor (2011)

Además del objetivo y de la información de la línea base, deberán tomarse en cuenta la viabilidad técnica de cumplir la meta y los recursos necesarios y disponibles para lograrla. Retomando el ejemplo anterior, supongamos que la reducción del 20% en la tasa de trabajo infantil en un municipio conlleva retirar de las actividades laborales a dos mil 500 chicos mediante una estrategia de becas escolares y subsidios, cuyo costo es de 500 dólares anuales por cada uno. De esta manera, cumplir la meta requerirá una inversión de un millón 250 mil dólares anuales. 22

El seguimiento de los resultados

Como se puede apreciar, la definición de metas está relacionada con la planificación y programación, tanto de actividades como de recursos. Aunque se las use como un medio de seguimiento, su definición involucra factores complejos que deben ser examinados y discutidos de manera conjunta por los responsables de los asuntos políticos, técnicos y presupuestarios de un gobierno subnacional. Recolección y análisis de la información Una vez definidos los indicadores, las fuentes de información y las metas, los datos deberán recopilarse y procesarse periódicamente. Para ello se requiere contar con un equipo de técnicos y recursos dedicados específicamente a esas tareas, así que conviene crear una unidad institucional a cargo del seguimiento y la evaluación. Con el propósito de promover el uso y apropiación de la medición del desempeño por parte de las direcciones de presupuesto o de planificación del gobierno subnacional, se recomienda que la unidad de SyE esté adscrita a estas direcciones. Deberán crearse, además, procedimientos y protocolos para que el proceso de recolección y análisis de los datos se realice de manera regulada. Por otro lado, es necesario establecer acuerdos formales de coordinación con las dependencias y organizaciones que proveerán los datos, sean integrantes del gobierno subnacional o externas a él. La elaboración de los indicadores depende de esas fuentes de información y es conveniente involucrar a sus responsables desde el inicio del proceso, pues son ellos quienes conocen en detalle la calidad, periodicidad y validez de la información que producen. Conviene enfatizar en que el seguimiento tradicional da cuenta de los insumos y actividades realizadas y, ocasionalmente, de los productos. El seguimiento, en el marco de un enfoque basado en los resultados, toma también en consideración los efectos que se logran con los productos. Por ese motivo, el razonamiento que guía el análisis de los indicadores está orientado a responder las siguientes preguntas básicas: los insumos de los que dispongo y las actividades que realizo, ¿son los adecuados para elaborar los productos?; los bienes y servicios producidos, ¿están provocando los efectos e impactos previstos? No es suficiente informar si los insumos se emplearon y

Módulo 6: Seguimiento y evaluación de los resultados

si las actividades se realizaron, también es necesario indicar si con ellos se logró producir la cantidad y calidad de bienes y servicios establecidos. Asimismo, no basta notificar si se elaboraron los productos programados, pues hay que determinar si esos productos están logrando modificar la realidad social de la manera prevista inicialmente. Para dar respuesta a las preguntas planteadas, es necesario que el sistema de seguimiento use, además de los indicadores, otros instrumentos como los informes de actividades, reuniones con los involucrados, estudios de caso, grupos focales, encuestas y evaluaciones. Aunque los indicadores son la columna vertebral del sistema de seguimiento, no son suficientes para establecer juicios sobre la obtención de los resultados. Es necesario utilizar información adicional para explicar las causas y factores que influyen en el desempeño, para lo cual, se requiere emplear instrumentos como los mencionados. Incorporar la información sobre el desempeño en la toma de decisiones El objetivo de construir sistemas de seguimiento es usar la información sobre el desempeño institucional para tomar decisiones y rendir cuentas. La elaboración de indicadores y la recolección y análisis de los datos son actividades que no tienen sentido en sí mismas, pues de nada sirven si no se las utiliza como insumos para tomar decisiones sobre los distintos aspectos de la marcha institucional, y para rendir cuentas a los ciudadanos y a las autoridades, sobre la gestión desarrollada. Por lo tanto, es necesario advertir que es ocioso implementar programas informáticos con datos sobre el desempeño, que no vayan ligados a procesos de cambio organizacional; la decisión de implementar un sistema de seguimiento debe surgir de la voluntad de construir una estructura institucional orientada a la obtención de resultados. Esto conlleva implementar cambios profundos en las prácticas tradicionales que están basadas en la repetición de conductas4 y en una cultura de gestión pública excesivamente impregnada de consideraciones

4 El mejor ejemplo de la repetición de conductas es el presupuesto incremental, vigente en casi toda América Latina, que consiste en aumentar la misma proporción de recursos a todos los ejecutores año tras año. 24

El seguimiento de los resultados

corporativas y políticas5. La nueva cultura debe crearse con base en prácticas y procedimientos que alienten el uso de la información sobre el desempeño de las personas e instituciones. Así habrán mejoras en la forma de conseguir los objetivos de desarrollo social y económico trazados por el gobierno subnacional. En la unidad 3 se exponen de manera más detallada los usos de la información y algunos aspectos relacionados con la comunicación de los resultados del seguimiento.

1.3. Síntesis de la unidad El seguimiento es una función continua, ésta utiliza la recopilación sistemática de datos sobre indicadores del desempeño institucional para proporcionar información sobre el avance y el logro de los objetivos, así como sobre la utilización de los fondos asignados. Estos insumos están destinados a los administradores y a las principales partes interesadas de una intervención para el desarrollo. El propósito principal del seguimiento radica en mejorar el desempeño de las instituciones en la creación de valor público y contribuir con información para que las autoridades y los gerentes públicos rindan cuentas a los ciudadanos con base en los resultados obtenidos. El proceso de implementación de un sistema de evaluación incluye varios pasos, entre los que constan la identificación de los objetivos, el diseño de indicadores, la conformación de una línea base, la elaboración de metas, la recolección y análisis de información y el uso de la información en la gestión institucional.

5 La política es un ingrediente consustancial de la gestión de las políticas públicas, pero para que esa gestión esté orientada al logro de resultados, es necesario que también tome en cuenta los ingredientes técnicos.

Módulo 6: Seguimiento y evaluación de los resultados

1.4. Bibliografía de la unidad BID-CLAD (2007). BID y CLAD (Banco Interamericano de Desarrollo y Centro Latinoamericano de Administración para el Desarrollo) (2007). Modelo abierto de gestión para resultados en el sector público. Washington, D.C.: Banco Interamericano de Desarrollo. Bonnefoy, Juan Cristóbal y Marianela Armijo (2005). Indicadores de Desempeño en el Sector Público. Santiago de Chile: ILPES. García López, Roberto y Mauricio García Moreno (2010). La gestión para resultados en América Latina y el Caribe. Avances y desafíos. Washington D.C.: Banco Interamericano de Desarrollo. Mackay, Keith (2008). Cómo crear sistemas de SyE que contribuyan a un buen gobierno. Washington D.C.: Banco Mundial6. OECD (2002). Glosario de los principales términos sobre evaluación y gestión basada en resultados. París: OECD. Zall Kusek, Jody y Ray C. Rist (2005). Diez pasos hacia un sistema de seguimiento y evaluación basado en resultados. Bogotá: Banco Mundial y Mayol Ediciones.

6 Ésta es la versión en español del libro escrito originalmente en inglés. Esta es la versión en español del libro escrito originalmente en inglés How to Build a M&E Systems to Support Better Government. Desgraciadamente, la traducción es descuidada y de mala calidad, lo que provoca equívocos en los términos técnicos. Por ello, si el interesado leer en inglés, se le sugiere optar por la edición en ese idioma. Con respecto a esta publicación, ver recomendación en la nota 2 de esta unidad. 26

Unidad 2. La evaluación de los resultados Objetivos del aprendizaje • Identificar los principales conceptos y definiciones relacionados con la

evaluación de los resultados de la gestión de un gobierno subnacional. • Conocer y apropiar conceptualmente información sobre los elementos

que deben tomarse en cuenta para implementar evaluaciones sistemáticas de la gestión institucional.

2.1. Conceptos básicos Según el glosario de la Organización para la Cooperación para la Cooperación y el Desarrollo Económicos (OECD, por sus siglas en inglés), la evaluación es la “apreciación sistemática y objetiva de un proyecto, programa o política en curso o concluido, de su diseño, su puesta en práctica y sus resultados. El objetivo es determinar la pertinencia y el logro de los objetivos, así como la eficiencia, la eficacia, el impacto y la sostenibilidad para el desarrollo. Una evaluación deberá proporcionar información creíble y útil, que permita incorporar las enseñanzas aprendidas en el proceso de toma de decisiones” (OECD, 2002: 21). La diferencia fundamental entre el seguimiento y la evaluación radica en que el primero ofrece información sobre la situación relativa al cumplimiento de los objetivos y los efectos de una política, programa o proyecto, mientras la evaluación explica por qué esos objetivos o efectos se están logrando (o se han logrado), o no, y expone los cambios que se han producido entre los beneficiarios y en la sociedad como resultado de la implementación de la política, programa o proyecto. La evaluación, mediante un proceso sistemático de recolección y de análisis de información relevante, emite juicios sobre las causas y las razones de los resultados, examina resultados no buscados,

Módulo 6: Seguimiento y evaluación de los resultados

estudia el proceso que se ha seguido para obtenerlos y proporciona recomendaciones para acciones futuras. Además, mientras el seguimiento es una función que se ejecuta permanentemente durante la gestión de un programa, proyecto o política, la evaluación se realiza en momentos determinados. El siguiente cuadro presenta sintéticamente las diferencias más importantes entre el seguimiento y la evaluación.

Cuadro 6.5. Diferencias entre el seguimiento y la evaluación Seguimiento

Evaluación

Informa sobre el cumplimiento de los procesos, productos y efectos.

Informa sobre los efectos, los impactos, y explica lo que se ha logrado y por qué.

Observa sólo lo que se planifica.

Observa resultados buscados y no buscados.

No examina la pertinencia7 de una intervención.

Examina la pertinencia de una intervención.

No analiza si los efectos son atribuibles8 a la intervención.

Algunos tipos de evaluación analizan si los efectos son atribuibles a la intervención.

Se realiza continua y paralelamente a la ejecución.

Se realiza en momentos específicos, durante y después de la ejecución.

Se basa en indicadores que miden el desempeño.

Se basa en investigaciones y estudios cuantitativos y cualitativos.

El agente que realiza el seguimiento es parte de la organización.

El agente evaluador es, generalmente, externo a la organización9.

La información se usa para la gestión cotidiana.

La información se usa para la gestión estratégica.

Fuente: Elaboración del autor (2011)

789

7 Pertinencia es “la medida en que los objetivos de una intervención para el desarrollo son congruentes con los requisitos de los beneficiarios, las necesidades del país, las prioridades globales y las políticas de los asociados y donantes.” (OECD, 2002: 32). 8 “La atribución se refiere a la acción que explica los cambios observados o los resultados obtenidos. Representa la medida en que los efectos de desarrollo observados pueden atribuirse a una intervención específica o a la actuación de una o más partes teniendo en cuenta otras intervenciones, factores exógenos (prev istos o imprevistos) o choques externos.” (OECD, 2002: 17). 9 En ALC, el agente evaluador es generalmente externo a la organización que implementa el proyecto. Esto no ocurre en todas las regiones. En la mayoría de los países de la OECD, por ejemplo, las evaluaciones son efectuadas por agentes internos (Mackay, 2008). Esto se debe al diferente grado de institucionalización del SyE que existe en las regiones. 28

La evaluación de los resultados

Es necesario tener en cuenta que el seguimiento y la evaluación son instrumentos complementarios. Aunque cada uno de ellos tiene su función y fortalezas propias, el objetivo de ambos es contribuir con información adecuada para que la gestión se realice con base en los resultados que las instituciones desean obtener. La construcción de un sistema en que los componentes de SyE estén debidamente articulados es condición sine qua non para implementar una gestión orientada al logro de los resultados.

2.1.1. Tipos de evaluación10 Las evaluaciones pueden clasificarse según distintos criterios: el propósito que las anima, la metodología que usan, la forma de participación de los involucrados, el momento de su realización, etc. Aquí adoptaremos este último criterio, pues nos permite articular los distintos tipos de evaluación con la cadena de resultados. Así, tenemos que las evaluaciones pueden dividirse en tres tipos: 1) aquellas que se realizan antes de la intervención, 2) las que se realizan durante la intervención y, 3) las que se realizan después de la intervención.

Gráfico 6.6. Tipos de evaluación

EVALUACIÓN DURANTE LA EJECUCIÓN

Insumos

Procesos EJECUCIÓN

Productos

EVALUACIÓN EX POST

Efectos

Impactos

RESULTADOS

Fuente: Elaboración del autor (2011)

10 La publicación Seguimiento y evaluación: instrumentos, métodos y enfoques del Banco Mundial (2004) presenta varios métodos con sus usos, ventajas, desventajas, requisitos, tiempo de ejecución y costos correspondientes.

Módulo 6: Seguimiento y evaluación de los resultados

Aunque este documento trata solamente de las evaluaciones que se realizan durante y después de la ejecución, conviene mencionar que las evaluaciones ex ante tienen como propósito asegurar que el diseño de una intervención para el desarrollo sea pertinente, idóneo y rentable, según sea el caso. Tradicionalmente, el examen ex ante se ha orientado a analizar la viabilidad económica y financiera de los proyectos de inversión, utilizando técnicas como el análisis costo beneficio, la Tasa Interna de Retorno (TIR) y Valor Actual Neto (VAN)11. Sin embargo, desde la perspectiva de la GpRD, es necesario evaluar también aquellas intervenciones diferentes a los “proyectos” como, por ejemplo, las políticas y los programas. Además, es importante analizar la estructura lógica de las propuestas y su contribución al logro de los resultados establecidos en el plan de gobierno. Por otro lado, las evaluaciones que se realizan durante la intervención tienen la función de mejorar el desempeño. En el caso de los proyectos, es frecuente que estas evaluaciones se ejecuten una vez transcurrida la mitad de tiempo de ejecución previsto o una vez al año. No obstante, cualquier momento es adecuado para realizar una evaluación, si existen preguntas que requieren respuesta para mejorar la gestión o resolver problemas surgidos en la marcha del programa o proyecto. Los instrumentos y técnicas de recolección y análisis de la información que se aplican en estas evaluaciones son muy variados: encuestas, grupos focales, entrevistas a informantes calificados, análisis del marco lógico, estudio de casos, análisis de información documental, análisis de los indicadores de desempeño, etc. Pueden ser efectuados por evaluadores externos o por los mismos responsables del diseño e implementación de la intervención. También pueden ser participativas, es decir, ejercicios en los que los representantes de las entidades y partes involucradas en el programa o proyecto trabajan conjuntamente en el diseño, implementación e interpretación de una evaluación.

…cualquier momento es adecuado para realizar una evaluación, si existen preguntas que requieren respuesta para mejorar la gestión o resolver problemas surgidos en la marcha del programa o proyecto.

Las evaluaciones que se realizan una vez concluidas las intervenciones, tienen el propósito de identificar sus resultados, la sostenibilidad de sus logros y los factores que contribuyeron a su éxito o fracaso. Las técnicas e instru11 El trabajo de Ortegón y otros (2005) presenta un análisis detallado de las técnicas de evaluación ex ante de los proyectos de inversión. 30

La evaluación de los resultados

mentos son los mismos que se usan para las evaluaciones intermedias. No obstante, hay un tipo de evaluación que tiene características particulares: se trata de las evaluaciones de impacto12. Éstas buscan establecer las diferencias hipotéticas que existirían entre la situación de las personas luego de participar en un proyecto o programa, y la situación de esas mismas personas en ese mismo momento, si no hubieran participado en el proyecto o programa. Esto equivale a preguntarse ¿cuál sería la situación de esas personas si el proyecto o programa no se hubiera ejecutado? Dado que no se puede responder a esa pregunta mediante la verificación de los hechos, los evaluadores usan técnicas tomadas de los métodos científicos para dilucidarla. Mediante la observación y comparación entre grupos de personas que participaron y que no participaron en el programa, y usando técnicas estadísticas, proyectan el posible impacto de la intervención en los participantes. La evaluación de impacto es costosa, técnicamente compleja y emplea abundante tiempo. Generalmente se la reserva para proyectos estratégicos de gran envergadura y en los cuales las variables que se observan son pocas y están bien definidas. La metodología y técnicas de evaluación deben ser escogidas cuidadosamente, tanto por los gerentes públicos como por los evaluadores, en función de los objetivos y preguntas de la evaluación, las características del programa o proyecto, la disponibilidad de recursos financieros y personal experto con que se cuente. Es necesario enfatizar en que, así como el sistema de indicadores de desempeño se construye para observar el cumplimiento de los objetivos y metas institucionales, las evaluaciones merecen atención porque son un insumo para el aprendizaje institucional, para perfeccionar la manera en que se crea valor público y para rendir cuentas a la ciudadanía. Las evaluaciones que no se inscriben en estos propósitos se convierten en ejercicios académicos con poca utilidad práctica.

12 Se recomiendan los textos de Aedo (2005) y del Banco Mundial (2006) para una revisión más exhaustiva sobre la evaluación de impacto.

Módulo 6: Seguimiento y evaluación de los resultados

2.2. Pasos necesarios para implementar evaluaciones Recuadro 6.3. Pasos para realizar evaluaciones en un gobierno subnacional • Programar las evaluaciones • Elaborar los términos de referencia de la evaluación • Contratar la evaluación • La comunicación de los resultados de la evaluación

Programar las evaluaciones El primer paso para establecer un sistema de evaluaciones en el gobierno subnacional consiste en responder a la pregunta ¿qué se va a evaluar? Para ello, es necesario considerar cuidadosamente los objetivos y estrategias establecidos en el plan de gobierno y determinar qué políticas, instituciones, programas o proyectos desempeñan un papel preponderante en la consecución de sus resultados. Esto permitirá seleccionar las intervenciones más importantes y focalizar la atención en ellas. Es necesario señalar que tradicionalmente la evaluación estaba limitada al examen de los proyectos, sin embargo, en la actualidad se considera importante evaluar también las políticas, las instituciones y los programas, pues todos ellos forman parte del arsenal de intervenciones de las políticas públicas.

…tradicionalmente, la evaluación estaba limitada al examen de los proyectos, sin embargo, en la actualidad se considera importante evaluar también las políticas, las instituciones y los programas…

Una vez identificadas las intervenciones que se desea evaluar, es conveniente desarrollar un programa plurianual de evaluaciones que cubra todo el período gubernamental y que establezca aquellas que se realizarán cada año. Dicho programa deberá establecer el monto de recursos que se empleará en cada evaluación, sus objetivos, la fecha en que se realizará, su duración y la metodología que se aplicará. El calendario de evaluaciones debe tomar en cuenta aspectos como el cronograma de ejecución de las intervenciones, su

La evaluación de los resultados

nivel de madurez, la demanda existente para el análisis y otros elementos que pudieran influir en la ejecución de los estudios. Para establecer los objetivos y la metodología de las evaluaciones con mayor precisión, es conveniente realizar un análisis de evaluabilidad13 de las intervenciones que se van a examinar. Este análisis consiste en “verificar si existe claridad en la intencionalidad de la intervención que será evaluada, indicadores mensurables suficientes, fuentes de información evaluables y fiables y ningún factor significativo que interfiera con un proceso de evaluación imparcial” (UNEG, 2005: 9). Además, pretende comprobar si “un evaluador, utilizando métodos y técnicas de evaluación adecuados, en el tiempo estipulado y a un costo compatible con las restricciones existentes, será capaz de responder a las preguntas de evaluación con una alta probabilidad de alcanzar conclusiones útiles.” (Merino, 2007: 19). Una vez definido el programa plurianual de evaluaciones, será necesario asignar anualmente el financiamiento correspondiente para poder llevarlas a cabo. El costo de las evaluaciones depende de varios factores, entre ellos, la metodología empleada, las características de las intervenciones y la disponibilidad de expertos en evaluación. En tanto que los métodos de evaluación rápida son menos costosos, los de evaluación del impacto requieren la inversión de más recursos. El siguiente cuadro resume algunas indicaciones sobre los costos de cuatro modelos de evaluación, de los efectos e impactos.

13 Para una revisión del concepto de evaluabilidad y su aplicación a la gestión pública se recomienda el texto La evaluabilidad: de instrumento de gestión a herramienta estratégica en la evaluación de políticas públicas, de Marisa Merino (2007).

Módulo 6: Seguimiento y evaluación de los resultados

Cuadro 6.6. Costos y duración de evaluaciones de los efectos e impactos Modelo

Costo y duración

Evaluación aleatoria antes y después de la prueba

De 1 a 5 años que dependen del tiempo que transcurre antes de que puedan observarse los resultados. El costo puede variar entre US $ 50.000 y 1 millón según el tamaño y la complejidad del programa que se esté estudiando.

Diseño semi experimental con comparaciones previas y ex post de la población a la que estaba destinado el proyecto y la de control.

Costo y duración similares a los del modelo 1.

Comparación ex post de un grupo que participe en el proyecto y un grupo de control no equivalente.

US $ 50.000 o más. El costo suele ascender a la tercera parte o la mitad de un estudio comparable en que se usen los modelos 1 o 2.

Evaluaciones rápidas de los efectos.

US $ 25.000 o más. Algunos estudios llevan uno o dos meses, para otros se requiere más tiempo.

Fuente: Tomado de Banco Mundial (2004)

Hay que advertir que es conveniente que la decisión de evaluar una intervención sea tomada en consenso por la mayor cantidad de involucrados posible: las autoridades gubernamentales, el órgano deliberativo del gobierno local, los gerentes públicos encargados de la intervención, los sindicatos públicos, las organizaciones de la sociedad civil (OSC) involucradas, etc. Esto contribuirá a que el proceso de evaluación no se perciba como una amenaza y, por el contrario, se realice en un ambiente propicio que permitirá que los resultados de la evaluación sean provechosos para todos. Elaborar los términos de referencia de la evaluación Una vez que se ha decidido evaluar una intervención, es necesario elaborar los términos de referencia (TR) de la evaluación, como paso previo a su realización. Los TR deben explicar por qué, para qué, cómo, cuándo, quién y con qué recursos se realizará la evaluación. Los siguientes son algunos de los elementos que generalmente integran los TR de una evaluación. 34

La evaluación de los resultados

Cuadro 6.7. Elementos que contienen los términos de referencia de una evaluación Elemento

Definición

Descripción de la intervención

Incluye la información básica sobre los objetivos, los involucrados, la ubicación, los recursos de la intervención.

Objetivos

Establece por qué y para quién se hace la evaluación. Debe especificar lo que la evaluación pretende conseguir y la manera en que se emplearán los resultados.

Preguntas

Son las interrogantes que se desea que responda la evaluación. Estas preguntas, por lo general, se refieren a la pertinencia, eficiencia, eficacia, impacto y sostenibilidad de la intervención.

Metodología

Establece los métodos, técnicas e instrumentos que se deberán usar para realizar la evaluación, así como las etapas que cumplirá el proceso. También se debe indicar la manera en que se tomará en cuenta a los distintos involucrados.

Fuentes de información

Indica las fuentes de información que deberán usarse durante la evaluación: documentación, informantes calificados, etc.

Productos que se entregarán

Establece los productos que deberán entregarse al final de la evaluación: informes, talleres de retroalimentación, publicaciones, etc.

Cálculo preliminar del costo

Se debe realizar un cálculo preliminar del costo de la evaluación para tenerlo como referencia interna.

Plazos de ejecución y cronograma

Identifica la fecha en la que se deberá iniciar la evaluación, su tiempo de duración y el cronograma de ejecución.

Calificaciones del equipo de evaluadores

Indica la composición y calificaciones del equipo de evaluación.

Fuente: Elaboración del autor basada en OECD (2010)

Contratar la evaluación Una vez elaborados los términos de referencia, se procede a contratar los servicios de empresas o personas expertas en evaluación, de acuerdo a las normas de contratación pública que exista en cada país. La decisión de contratar empresas o personas debe meditarse cuidadosamente, pues ambas tienen ventajas y desventajas, tal como se resume en el siguiente cuadro.

Módulo 6: Seguimiento y evaluación de los resultados

Cuadro 6.8. Ventajas e inconvenientes de contratar empresas de evaluación o evaluadores individuales Individuos

Ventajas

Los consultores autónomos pueden ofrecer conocimientos especializados y muchos años de experiencia en temas específicos. Las múltiples capacidades de los miembros del equipo contribuyen al debate y a las discusiones, lo que enriquece el ejercicio. Puede ser menos costoso. Puede ser más susceptible a cambios de último minuto en los TR u otras disposiciones.

Empresas El monto de la consultoría es acordado como un paquete que no cambiará a menos que haya una alteración en los TR. Los miembros del equipo están acostumbrados a trabajar juntos. La empresa asegura la calidad de los productos. Está garantizado un enfoque multidisciplinario. Los procedimientos de contratación, aunque pueden ser más largos que para un individuo, son generalmente más fáciles.

La empresa desarrolla la metodología o El proceso de evaluación puede brindar propuesta de evaluación. la oportunidad para el fortalecimiento de las capacidades institucionales y para En caso de una indisposición repentina de el aprendizaje de expertos nacionales. un evaluador (p.ej. enfermedad), la empresa es responsable de proporcionar un sustituto.

Inconvenientes

La identificación de los consultores independientes requiere más tiempo y existe el riesgo de seleccionar a miembros del equipo con base solamente en la información de su postulación. Un equipo de profesionales que nunca ha trabajado en conjunto puede tener dificultades para cohesionarse y, además, se pueden generar conflictos internos que afecten el proceso. Los cambios en el calendario pueden desembocar en costos adicionales en honorarios, dietas y arreglos de viaje. La logística debe ser proporcionada por la entidad contratante.

La logística debe ser proporcionada por la empresa. Las tarifas pueden ser más elevadas, ya que los costos generales de la empresa estarán incluidos. Si la firma ha tenido excesiva visibilidad en el tema o en la organización, la credibilidad del ejercicio podría quedar comprometida. Los miembros del equipo tienden a tener enfoques y perspectivas similares, de modo que se pierde algo de la riqueza de las diferentes posiciones. Los procedimientos de licitación pueden ser largos y engorrosos. Las empresas pueden tener dificultades para proveer una combinación de expertos nacionales e internacionales.

Fuente: PNUD (2009)

La evaluación de los resultados

Comunicar y usar los resultados Una vez que se ha realizado la evaluación, el paso final consiste en comunicar los hallazgos y utilizarlos, sea para mejorar la gestión de esa u otras intervenciones o para rendir cuentas. La comunicación de los resultados de una evaluación es un proceso que debe planificarse cuidadosamente a fin de que la información contribuya al aprendizaje institucional y a la toma decisiones acertadas. Debe tenerse en mente que se requieren formatos y medios específicos para cada uno de los públicos usuarios: autoridades, gerentes y personal de la intervención evaluada; beneficiarios, opinión pública, etc. En la siguiente unidad, se analizan con mayor detalle tanto la comunicación como el uso de los resultados de las evaluaciones.

2.3. Síntesis de la unidad La evaluación es el análisis sistemático y objetivo del diseño, ejecución y resultados de un proyecto, programa o política en curso o concluido, cuyo objetivo es determinar la pertinencia y el logro de los objetivos, así como la eficiencia, la eficacia, el impacto y la sostenibilidad para el desarrollo. Una evaluación debe proporcionar información creíble y útil sobre lo que se ha aprendido para incorporarla en el proceso de toma de decisiones. La diferencia fundamental entre el seguimiento y la evaluación radica en que el primero ofrece información sobre la situación relativa al cumplimiento de los objetivos y los efectos de una política, programa o proyecto, mientras la evaluación explica por qué esos objetivos o efectos se están logrando (o se han logrado) o no, y expone los cambios que se han producido entre los beneficiarios y en la sociedad, como resultado de la implementación de la política, programa o proyecto. Los pasos necesarios para implementar un sistema de evaluación en un gobierno subnacional incluyen: programar las evaluaciones, elaborar los TR de la evaluación, contratarla y comunicar los resultados.

Módulo 6: Seguimiento y evaluación de los resultados

2.4. Bibliografía de la unidad Aedo, Cristián (2005). Evaluación del impacto. Santiago de Chile: ILPES. Banco Mundial (2006). Realización de evaluaciones de impacto de calidad con limitaciones de presupuesto, tiempo e información. Washington D.C.: Banco Mundial. Banco Mundial (2004). Seguimiento y evaluación, instrumentos, métodos y enfoques. Washington D.C.: Banco Mundial. Feinstein, Osvaldo (2006). “Evaluación pragmática de políticas públicas”. Revista ICE Nº 83601-05-2007. Madrid: ICE. Merino, Marisa (2007). La evaluabilidad: de instrumento de gestión a herramienta estratégica en la evaluación de políticas públicas. Madrid: AEVAL. OECD (2010). Estándares de Calidad para la Evaluación del Desarrollo. París: OECD. OECD (2002). Glosario de los principales términos sobre evaluación y gestión basada en resultados. París: OECD. Ortegón, Edgar y otros (2005). Metodología general de identificación, preparación y evaluación de proyectos de inversión pública. Santiago de Chile: ILPES. PNUD (2009). Manual de planificación, seguimiento y evaluación de los resultados de desarrollo. Nueva York: PNUD. UNEG (Grupo de Evaluación de las Naciones Unidas) (2005). “Normas de evaluación en el sistema de las Naciones Unidas” www.uneval.org/ documentdownload?doc_id=21&file_id=124 (Fecha de acceso: 04/04/2011)

Unidad 3. Construcción del sistema de seguimiento y evaluación Objetivos del aprendizaje • Identificar los distintos usos que tiene el sistema de SyE en las po-

líticas públicas, así como los distintos usuarios que se benefician de dicho sistema. • Reconocer algunos elementos clave que un gobierno subnacional debería

tener en cuenta para institucionalizar y fortalecer el sistema de SyE

3.1. Usos del sistema de seguimiento y evaluación A diferencia de las unidades anteriores en las que las funciones de SyE se presentaron por separado, en esta unidad se las tratará como una sola entidad con el nombre de “sistema de seguimiento y evaluación” pues ambas deben funcionar de manera simultánea y complementaria. Como se ha subrayado anteriormente, el propósito de las funciones de SyE es brindar información para mejorar los resultados de la gestión pública. Por tanto, el referente principal para la construcción del sistema de SyE debe ser el uso que se dará a la información que se obtenga. De manera general, se puede afirmar que el sistema de SyE tiene dos usos principales, de los que se desprenden otros de mayor particularidad: 1) la gestión de la creación de valor público y 2) la rendición de cuentas. A continuación, se analizarán cada uno de estos usos más detalladamente.

3.1.1. La gestión de la creación de valor público En la primera unidad, se ha señalado que el valor público son las respuestas efectivas de un gobierno a las necesidades o demandas sociales que 39

Módulo 6: Seguimiento y evaluación de los resultados

se concretan en cambios sociales observables y susceptibles de medición. Mediante los indicadores de desempeño y los estudios evaluativos, el sistema de SyE hace posible tal observación y medición. Aquellos instrumentos, además de posibilitar la apreciación de los cambios sociales logrados, permiten saber hasta qué punto fueron efectivas las estrategias empleadas para la solución de problemas. En tal sentido, el sistema de SyE cumple dos funciones importantes en la gestión de la creación de valor público: observa y mide el cambio social (los resultados) y determina la efectividad de las respuestas del gobierno a las demandas sociales. Estas dos funciones se concretan en una serie de aplicaciones durante el ciclo de gestión pública que, además del SyE, involucra los siguientes componentes: planificación, presupuesto, gestión financiera pública, gestión de programas y proyectos (García López y García Moreno, 2010). Se examinará a continuación, el uso del sistema de SyE en cada uno de estos componentes. El sistema de SyE cumple dos funciones importantes en la gestión de la creación de valor público: observa y mide el cambio social (los resultados) y determina la efectividad de las respuestas del gobierno a las demandas sociales.

El sistema de SyE proporciona a la planificación, información valiosa para el diseño de estrategias idóneas orientadas a resolver problemas institucionales o sociales. Las tres preguntas que debe responder una planificación orientada a resultados son ¿dónde estamos? ¿a dónde queremos ir? y ¿cómo podemos llegar? El sistema de SyE ayuda a los planificadores a responder la tercera pregunta. Efectivamente, a partir del análisis de la efectividad de las intervenciones pasadas, los planificadores disponen de elementos de juicio que les permiten identificar las mejores soluciones a los problemas presentes. Les facilitan también establecer la mejor combinación de insumos, procesos y productos para lograr determinados efectos e impactos. Adicionalmente, en un marco de presupuesto por resultados, la información sobre los resultados obtenidos mediante la ejecución de los recursos del presupuesto, debe provenir de los indicadores de desempeño elaborados para dar seguimiento a los programas. Estos indicadores deben considerar no sólo los productos (bienes y servicios) que se generan, sino también los efectos que generan en la población. Los análisis provenientes de las evaluaciones de las políticas, los programas y los proyectos también son un insumo importante para el proceso presupuestario, pues complementan los datos del sistema de seguimiento con el aporte de criterios sobre los efectos

Construcción del sistema de seguimiento y evaluación

y los impactos de la acción gubernamental. Con base en los indicadores de desempeño y en las evaluaciones, las autoridades presupuestarias identifican la efectividad del gasto público y pueden sustentar sus decisiones sobre la asignación de fondos o establecer reglas del juego para el acceso a los recursos públicos.14 La gestión financiera pública está conformada por principios, normas, sistemas y procedimientos que intervienen en las operaciones de programación, gestión y control necesarias tanto para la captación como para el gasto de recursos, es decir, establecen las reglas del juego del los procesos financieros de la gestión pública. Estas reglas del juego definen una buena parte de los procesos mediante los que se generan los productos. Al analizar la eficiencia de la gestión (relación insumos – productos), el sistema de SyE observa tanto la aplicación de esas reglas como su idoneidad para lograr los resultados. La gestión de programas y proyectos es el centro de creación de valor público, pues éstos generan los bienes y servicios que producen los cambios sociales previstos en el plan de gobierno. El SyE permite a los gerentes públicos contar con información sobre la eficiencia de los procesos, la calidad de los bienes y servicios y el efecto que provocan entre los ciudadanos. No es posible conseguir un alto desempeño institucional si no se cuenta con esa información. Adicionalmente, la función de control interno15 sólo puede implementarse adecuadamente si las instituciones cuentan con un sistema de SyE adecuado.

3.1.2. La rendición de cuentas La rendición de cuentas es el otro campo para el uso de los sistemas de SyE. Efectivamente, en una gestión orientada hacia la obtención de resultados, 14 Un caso interesante es el sistema desarrollado por el estado de Ceará, en Brasil, para asignar recursos a programas sociales (Holanda y Barbosa, en prensa). 15 El control interno es un proceso integral efectuado por la gerencia y el personal, está diseñado para dar una seguridad razonable de que en la consecución de la misión de la entidad, se alcanzarán los siguientes objetivos gerenciales: i) ejecución ordenada, ética, económica, eficiente y efectiva de las operaciones, ii) cumplimiento de las obligaciones de rendición de cuentas, iii) cumplimiento de las leyes y regulaciones aplicables y, iv) salvaguardia de los recursos para evitar pérdidas, mal uso y daño (INTOSAI, 2004).

Módulo 6: Seguimiento y evaluación de los resultados

tanto la rendición de cuentas de parte de los gerentes públicos a las autoridades, como de éstas a los ciudadanos, deben basarse en pruebas sobre el valor público que se ha creado durante su administración. No basta con que las autoridades informen la cantidad de recursos que se invirtieron o el número de obras públicas inauguradas en su período de gobierno, sino que deben ser capaces de responder de qué manera esos recursos invertidos y esas obras construidas contribuyeron efectivamente a lograr los objetivos de gobierno para los que fueron elegidos por sus conciudadanos. El caso de la seguridad ciudadana puede ilustrar bien este punto. Si las autoridades de un gobierno subnacional fueron elegidas debido a su oferta de mejorar la seguridad, deben rendir cuentas de su gestión con información confiable acerca de indicadores relacionados con los delitos y la percepción de los ciudadanos sobre la seguridad. Por tanto, no basta que las autoridades informen a la Policía sobre el incremento de los recursos, sobre el aumento del número de patrulleros o sobre la dotación de equipo moderno, pues deben probar que todos esos elementos realmente contribuyeron a la reducción del delito y a mejorar la seguridad ciudadana.

Gráfico 6.7. Usos del sistema de seguimiento y evaluación PLANIFICACIÓN: ¿Cómo podemos llegar?

PRESUPUESTO: Efectividad del gasto Gestión de la creación de valor público

GESTIÓN FINANCIERA PÚBLICA: Reglas del juego que generen resultados PROGRAMAS Y PROYECTOS: Gestión de la producción de bienes y servicios

Sistema de seguimiento y evaluación

AUTORIDADES A CIUDADANOS Rendición de cuentas GERENTES A AUTORIDADES

Fuente: Elaboración del autor (2011) 42

Construcción del sistema de seguimiento y evaluación

3.2. Los usuarios del sistema de seguimiento y evaluación El sistema de SyE debe brindar información sobre el desempeño a todos los actores que intervienen en el proceso de generación de valor público: las autoridades, los gerentes públicos y los prestadores de servicios. Esto supone considerar las necesidades de cada usuario para que el proceso de recolección, análisis y devolución de la información sea apropiado y útil para cada uno de ellos. Así, por ejemplo, las autoridades requieren información agregada sobre todos los efectos que produce la acción del gobierno, en tanto que los prestadores de servicios necesitan información detallada sobre los procesos específicos en los que participan. En general, se puede decir que la información que las autoridades requieren está ubicada en la parte derecha de la cadena de resultados (resultados) mientras que los prestadores de servicios necesitan la información ubicada en la parte izquierda de la cadena (ejecución). Los gerentes públicos requieren información sobre toda la cadena, pues deben considerar tanto la ejecución como los resultados. El siguiente gráfico presenta, de manera esquemática, el tipo de información que requiere cada grupo de usuarios. Es necesario diseñar una estrategia que se sustente en los valores del aprendizaje institucional, la mejora continua y la transparencia, para entregar la información a cada uno de los usuarios.

Gráfico 6.8. Usuarios del sistema de seguimiento y evaluación

INFORMACIÓN DESAGREGADA

Insumos

Procesos

INFORMACIÓN AGREGADA

Productos

PRESTADORES DE SERVICIOS

Efectos

Impactos

AUTORIDADES

GERENTES PÚBLICOS

Fuente: Elaboración del autor (2011) 43

Módulo 6: Seguimiento y evaluación de los resultados

Puesto que la información del sistema de SyE sirve también para rendir cuentas, la opinión pública y los ciudadanos deben ser considerados también como usuarios. La información que se difunde entre ellos debe enfocarse en los resultados agregados (productos, efectos, impactos) y presentarse de manera que expliquen de forma sencilla los datos técnicos y los vinculen con los objetivos del gobierno. Esto no impide, sin embargo, que se entregue información técnica desagregada para dar cumplimiento a la política de trasparencia.

3.3. Institucionalización del sistema de seguimiento y evaluación Entre los elementos relacionados con la operación del sistema existen dos que tienen una gran importancia en la institucionalización del SyE: la formalización del sistema y la capacitación de los operadores y usuarios.

La institucionalización del sistema de SyE, es decir su uso como instrumento de gestión y rendición de cuentas, es un proceso continuo de largo aliento que rebasa la gestión de una sola administración gubernamental, tal como puede observarse en las experiencias de construcción de los sistemas nacionales de Brasil, Chile y Colombia (Banco Mundial y BID, 2006). Diversos estudios señalan varios factores que contribuyen a la institucionalización de los sistemas de SyE (Mackay, 2008; Zall Kusek y Rist, 2005) que deben tomarse en cuenta a la hora de emprender los procesos de construcción de estos sistemas. Dichos factores pueden dividirse en dos categorías: los relacionados con la operación del sistema (ámbito interno) y los relacionados con el entorno (ámbito externo). Entre los elementos relacionados con los operadores del sistema existen dos que tienen una gran importancia en la institucionalización del SyE: la formalización del sistema y la capacitación de los operadores y usuarios. La formalización supone, además de la existencia de una norma que regule el sistema, la construcción de instrumentos y modelos de trabajo, la definición de procesos y procedimientos, la elaboración de guías, manuales y otros documentos técnicos que sirven para la operación del sistema. Todo esto permite su buen funcionamiento y crea un marco adecuado para la producción de información de buena calidad, creíble y oportuna. El proceso de elaboración de todos estos elementos demanda tiempo y no se lo hace de una sola vez, por el contrario, requiere de aproximaciones sucesivas y de los

Construcción del sistema de seguimiento y evaluación

aprendizajes que se producen de los ensayos y errores frecuentes. En todo caso, la regla de oro de este proceso es partir de lo sencillo y, solamente con el trascurso del tiempo, añadir complejidad al sistema y a sus componentes. En ningún campo esto resulta más cierto que en el de la construcción de los indicadores de desempeño: es mejor partir con pocos indicadores relevantes que efectivamente se usen, que con muchos indicadores que midan cada aspecto de la gestión institucional, pero que no se apliquen adecuadamente. Otro aspecto a tomar en cuenta en la formalización es la ubicación de la unidad a cargo de la operación del sistema de SyE. Es importante que esta unidad esté vinculada de alguna forma a las máximas autoridades del gobierno subnacional, sea que se ubique dentro de los departamentos de planificación o de presupuesto, o que forme una oficina independiente. La experiencia muestra que la consolidación del sistema de SyE requiere de un fuerte respaldo de las autoridades que se complemente con un liderazgo técnico sólido por parte de los operadores del sistema y una coordinación adecuada con las funciones de planificación y presupuesto. Otro factor relacionado con el ámbito interno del sis- No se trata solamente de brindar tema de SyE es la capacitación tanto de los fun- cursos y talleres sobre la importancia cionarios a cargo de operar el sistema, como de los del SyE y el funcionamiento del distintos usuarios: autoridades, gerentes públicos, pres- sistema, sino de acompañar a cada tadores de servicios y OSC. En gran medida, la insti- uno de los usuarios para que pueda tucionalización del sistema descansa en su apropia- ejercer adecuadamente el rol que ción por parte de los usuarios; son ellos quienes, en le corrresponde desempeñar en la función de SyE. última instancia, deciden si el sistema funciona o no. Un instrumento valioso para fomentar esta apropiación es la capacitación. Por ello, los encargados del sistema deben establecer una estrategia de capacitación a mediano plazo con componentes diferenciados para cada uno de los públicos usuarios. No se trata solamente de brindar cursos y talleres sobre la importancia del SyE y el funcionamiento del sistema, sino de acompañar a cada uno de los usuarios para que puedan ejercer adecuadamente el rol que les corresponde desempeñar en la función de SyE que, como se ha visto anteriormente, atraviesa el conjunto del ciclo de la gestión pública. Igual importancia tiene el acompañamiento a los usuarios para que utilicen adecuadamente la información, propósito central del SyE. Esta tarea implica que los operadores del sistema vayan más allá de la mera entrega de la información, y actúen como consultores de sus usuarios. 45

Módulo 6: Seguimiento y evaluación de los resultados

Otro aspecto que la capacitación debe considerar con especial cuidado, son las resistencias al uso del SyE. En el sector público de América Latina existe la idea muy extendida de que el SyE es parte de un sistema punitivo al arbitrio de las autoridades. Desterrar esta idea, surgida de la ausencia de meritocracia en la cultura burocrática de nuestros países, y sembrar la noción de que el seguimiento y la evaluación son instrumentos para el aprendizaje institucional y personal, son desafíos que la capacitación debe enfrentar. Respecto al ámbito externo, hay que considerar dos factores esenciales para la institucionalización del sistema de SyE: i) la demanda por parte de las autoridades y gerentes públicos y, ii) la demanda por parte de las OSC y la opinión pública. Las autoridades, los gerentes públicos y todos quienes tienen responsabilidades de jefatura en el gobierno subnacional son los usuarios primordiales de la información de SyE, sea que pertenezcan a las áreas de planificación, presupuesto, gestión financiera o gestión de programas y proyectos. En su mayor parte, ellos desempeñan una doble función en el sistema: por un lado, proveen información y por otro, la demandan. En un entorno institucional que no está organizado con base en los resultados, es más fácil conseguir que los usuarios desempeñen su papel como proveedores de información, mientras que es arduo lograr que demanden información sobre los resultados, pues no la necesitan. Con seguridad, demandarán información sobre la ejecución física y financiera de la institución, pero no les interesará saber acerca de dimensiones tales como la eficacia y la calidad. Por ello, la única manera de conseguir una demanda continua de información sobre SyE es construir una estructura y una cultura institucionales orientadas hacia el logro de resultados. En última instancia, esto conlleva generar nuevas reglas del juego que coloquen a la obtención de resultados en el centro de la acción institucional. Solamente de esa manera, se generará una demanda permanente de información de SyE.

Las autoridades, los gerentes públicos y todos aquellos que tienen responsabilidades de jefatura en el gobierno subnacional son los usuarios primordiales de la información de SyE …

En cuanto a la demanda por parte de las OSC, hay que decir que se la puede promover de manera activa publicando regularmente en el Internet informes explicativos sobre los resultados de la gestión institucional. Aunque el Internet es un instrumento poderoso para difundir información, es necesario anotar que el tipo de información que se publique marca la

Construcción del sistema de seguimiento y evaluación

diferencia en cuanto al consumo y demanda por parte de la sociedad civil. Así, por ejemplo, publicar el presupuesto y los informes presupuestarios anuales sin ningún anexo que explique de manera sencilla la relación entre el gasto realizado y los objetivos de gobierno, puede resultar inútil pues, debido a su naturaleza técnica, sólo los especialistas pueden comprenderlos. Lo mismo puede ocurrir al publicar el listado de indicadores de desempeño sin anexos explicativos. Por lo dicho, la publicación periódica de información sobre los resultados de la gestión gubernamental es un medio para fomentar la demanda de esa misma información por parte de la sociedad civil. Las consideraciones señaladas anteriormente también deben tenerse en cuenta para fomentar la demanda de información sobre SyE por parte de los medios de comunicación y de la opinión pública. Conviene mencionar, además, que es más fácil generar demanda cuando el gobierno local implementa mecanismos participativos para la elaboración del plan de gobierno, de las políticas sectoriales o del presupuesto, pues las OSC requerirán información sobre la gestión pública para orientar su participación en tales procesos. Además de los aspectos ya mencionados, existe un ele- Si una institución establece como mento clave, que configura los ámbitos tanto externo requisito para los ascensos de como el interno, sin el cual no es posible instituciona- su personal cierto historial de lizar el sistema de SyE y, por extensión, un modelo de desempeño, es más probable que GpRD. Se trata de las reglas del juego que regulan la allí se desarrolle un sistema de gestión del proceso de creación de valor público, en par- evaluación con base en indicadores ticular los incentivos que se ofrecen a las instituciones y de desempeño que en una a los funcionarios con el fin de mejorar el desempeño y organización en la cual basta cumplir un número determinado de años de las consecuencias que resultan de no hacerlo. Estas reservicio para ser promovido. glas básicas tienen el poder de potenciar el cambio institucional más que ningún otro elemento y, con ello, logran un efecto positivo en la institucionalización del sistema de SyE, puesto que a través de este instrumento, se mide y examina el desempeño. Si una institución establece como requisito para los ascensos de su personal cierto historial de desempeño, es más probable que allí se desarrolle un sistema de evaluación con base en indicadores de desempeño que en una organización en la cual baste cumplir un número determinado de años de servicio para ser promovido. De la misma forma, si existen reglas que establecen la asignación de recursos

Módulo 6: Seguimiento y evaluación de los resultados

a las instituciones con base en su buen desempeño, será necesario que se desarrolle el instrumental adecuado para medir ese desempeño y así asignar los recursos. Por otro lado, también deben establecerse las consecuencias de la ineficiencia e ineficacia, tanto si se trata de instituciones como del personal. Es importante estimular el logro mediante incentivos, pero esta medida debe complementarse con sanciones que inhiban las conductas no deseadas16. El siguiente gráfico resume, de manera esquemática, los elementos que coadyuvan a la institucionalización del sistema de SyE.

Gráfico 6.9. Institucionalización del sistema de seguimiento y evaluación

ÁMBITO EXTERNO

“Incentivos y consecuencias” (reglas de juego)

Demanda de autoridades y gerentes públicos

Demanda de la sociedad civil y de la opinión pública

ÁMBITO INTERNO

Formalización

Uso del sistema de SyE

Capacitación

Fuente: Elaboración del autor (2011)

16 El libro de Mackay (2008: p 63 - 66) presenta un conjunto de incentivos, sanciones y consejos útiles para promover la institucionalización de los sistemas de SyE. Esta es la versión en español del libro escrito originalmente en inglés How to Build a M&E Systems to Support Better Government. Desgraciadamente, la traducción es descuidada y de mala calidad, lo que provoca equívocos en los términos técnicos. Por ello, si el interesado lee en inglés, se sugiere optar por la edición en ese idioma. 48

Construcción del sistema de seguimiento y evaluación

3.4. Integración horizontal y vertical del sistema de seguimiento y evaluación Finalmente, cabe mencionar algunos aspectos relacionados con la articulación de sistema de SyE a la estructura institucional del gobierno subnacional. Si bien se requiere establecer una unidad especializada que opere ciertas actividades técnicas de SyE, dicha unidad no es la única responsable del funcionamiento del sistema, pues éste involucra a múltiples entidades del gobierno subnacional que deben actuar de manera coordinada. Por otro lado, puesto que el sistema de SyE tiene como propósito mejorar el desempeño del conjunto de la gestión pública, es necesario examinar tanto las políticas públicas, como las instituciones y el desempeño del personal. A continuación, se examinarán los conceptos de integración horizontal y vertical de los sistemas de SyE (Cunill y Ospina, 2008).

3.4.1. Integración horizontal Llamamos integración horizontal al funcionamiento coordinado de los distintos componentes del ciclo de gestión pública. Cada uno de estos componentes desempeña un rol específico en el funcionamiento del seguimiento y la evaluación. Así, por ejemplo, el sistema de planificación establece los objetivos y metas cuyo cumplimiento debe vigilarse, el sistema de presupuesto establece los incentivos que promueven el buen desempeño, el sistema de gestión financiera pública produce información sobre los insumos y los procesos, el sistema de gestión de programas y proyectos produce la información de SyE y la usa para mejorar la gestión de la producción de bienes y servicios y el sistema de SyE integra la información, la analiza y produce los informes. Desde esta perspectiva, la función del SyE es transversal a todos los sistemas de gestión pública y sólo puede funcionar adecuadamente si todos ellos trabajan de manera conjunta y coordinada. Por ello, es importante incluir a todos los actores institucionales en el proceso de implementación y desarrollo del sistema de SyE.

Módulo 6: Seguimiento y evaluación de los resultados

3.4.2. Integración vertical Un sistema de SyE está articulado verticalmente cuando toma en cuenta apropiadamente los siguientes ámbitos en los que se desarrolla la gestión gubernamental: 1) las políticas públicas, 2) las organizaciones, los programas y los proyectos y, 3) el desempeño del personal. Efectivamente, el análisis del desempeño gubernamental debe comprender las políticas, las instituciones y el personal, pues todos esos ámbitos son interdependientes: no puede haber un buen desempeño de las instituciones sin que el personal que trabaja en ellas realice eficientemente sus tareas. De la misma manera, una política pública exitosa sólo es posible cuando las instituciones son eficaces. No obstante, es común que en ALC los sistemas públicos de evaluación del desempeño del personal no se tomen en cuenta los resultados institucionales. Asimismo, es frecuente que la evaluación de los proyectos no contribuya a la elaboración de análisis más globales sobre el desempeño de las políticas sectoriales. El sistema de SyE debe, por tanto, abarcar los tres ámbitos descritos y establecer instrumentos, técnicas y procedimientos propios, para cada uno de ellos, observando que se retroalimenten entre sí.

3.5. Síntesis de la unidad El desarrollo de los elementos técnicos de SyE examinados en las primeras dos unidades, como los indicadores de desempeño y la elaboración de un programa de evaluaciones, no son sino una parte de las tareas que es necesario llevar a cabo para construir el sistema de SyE. La implementación de un sistema de este tipo supone lograr que los usuarios, sean las autoridades, los gerentes públicos o los prestadores de servicios, integren los instrumentos de SyE en su trabajo cotidiano y, al mismo tiempo, conseguir que todos los componentes del ciclo de gestión como la planificación, el presupuesto y la gestión de programas y proyectos, usen la información producida por el sistema. Asimismo, se requiere la implementación del seguimiento y la evaluación, no sólo de los proyectos, sino también de las instituciones, las políticas y los programas.

Construcción del sistema de seguimiento y evaluación

3.6. Bibliografía de la unidad Banco Mundial y BID (2006). Hacia la institucionalización de los sistemas de monitoreo y evaluación en América Latina y el Caribe. Washington D.C.: Banco Mundial. Cunill, Nuria y Sonia Ospina (2008). Fortalecimiento de los sistemas de monitoreo y evaluación en América Latina. Informe comparativo de 12 países. Caracas: CLAD. García López, Roberto y Mauricio García Moreno (2010). La gestión para resultados en América Latina y el Caribe. Avances y desafíos. Washington D.C.: Banco Interamericano de Desarrollo. Holanda, Marcos y Marcelo Barbosa (2010). Incentivos para la adopción de un enfoque orientado a resultados en la prestación de servicios públicos en el estado de Ceará. BID (en prensa). INTOSAI (2004).Guía para las normas de control interno del sector público. Viena: INTOSAI. Mackay, Keith (2008). Cómo crear sistemas de SyE que contribuyan a un buen gobierno. Washington D.C.: Banco Mundial. Zall Kusek, Jody y Ray Rist (2005). Diez pasos hacia un sistema de seguimiento y evaluación basado en resultados. Bogotá: Banco Mundial y Mayol Ediciones.

M贸dulo 6: Seguimiento y evaluaci贸n de los resultados