LA EVALUACIÓN Y LA GESTIÓN DEL CONOCIMIENTO EN LA COOPERACIÓN INTERNACIONAL
MÓDULO 3
LAS FASES DE LA EVALUACIÓN DE PROYECTOS DE COOPERACIÓN
La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional
Módulo 3
Autor del curso Banco Interamericano de Desarrollo (BID) (www.iadb.org), a través de su Sector de Integración y Comercio (INT). Coordinador del curso Banco Interamericano de Desarrollo (BID) (www.iadb.org), a través de su Sector de Integración y Comercio, el Instituto para la Integración de América Latina y el Caribe (INTAL) (www.iadb.org/es/intal), el Instituto Interamericano para el Desarrollo Económico y Social (INDES) (www.indes.org), así como el Consejo Suramericano de Infraestructura y Planeamiento (COSIPLAN) de la UNASUR. Autor del módulo Julio Franco Corzo. Coordinación pedagógica y de edición El Instituto Interamericano para el Desarrollo Económico y Social (INDES) (www.indes.org), en colaboración con la Fundación Centro de Educación a Distancia para el Desarrollo Económico y Tecnológico (CEDDET) (www.ceddet.org).
Copyright ©2017 Banco Interamericano de Desarrollo. Esta obra se encuentra sujeta a una licencia Creative Commons IGO 3.0 Reconocimiento-NoComercial-SinObrasDerivadas (CC-IGO 3.0 BY-NC-ND) (http://creativecommons.org/licenses/by-ncnd/3.0/igo/legalcode). Este documento es propiedad intelectual del Banco Interamericano de Desarrollo (BID). Cualquier reproducción parcial o total de este documento debe ser informada a: BIDINDES@iadb.org Cualquier disputa relacionada con el uso de las obras del BID que no pueda resolverse amistosamente se someterá a arbitraje de conformidad con las reglas de la CNUDMI (UNCITRAL). El uso del nombre del BID para cualquier fin distinto al reconocimiento respectivo y el uso del logotipo del BID no están autorizados por esta licencia CC-IGO y requieren de un acuerdo de licencia adicional. Note que el enlace URL incluye términos y condiciones adicionales de esta licencia. Las opiniones incluidas en los contenidos corresponden a sus autores y no reflejan necesariamente la opinión del Banco Interamericano de Desarrollo. Los presentes materiales han sido revisados a la luz de las decisiones ministeriales tomadas en el marco de la Novena Conferencia Ministerial de la Organización Mundial del Comercio celebrada en Bali, Indonesia, en diciembre de 2013. Los ajustes fueron realizados con la finalidad de reflejar un mayor alineamiento entre la temática del curso y las prioridades identificadas en la Declaración Ministerial y decisiones de Bali, en la que participaron todos los miembros del BID. Declaración de Bali
2
La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional
Módulo 3
Tabla de contenidos Índice de figuras .............................................................................................................. 4 Índice de cuadros ............................................................................................................ 4 Índice de tablas ............................................................................................................... 4 Presentación del módulo ................................................................................................ 5 Objetivo general del módulo .......................................................................................... 6 Preguntas orientadoras de aprendizaje ......................................................................... 6 UNIDAD I. EL CICLO DE LA EVALUACIÓN ...................................................................... 7 Objetivo de aprendizaje .................................................................................................. 7 I.1. Fase I: diseño de la evaluación .................................................................................. 7 SÍNTESIS DE LA UNIDAD ................................................................................................ 17 UNIDAD II. IMPLEMENTACIÓN DE LA EVALUACIÓN: TÉRMINOS DE REFERENCIA DE LA EVALUACIÓN Y CRONOGRAMA ..........................18 Objetivo de aprendizaje ................................................................................................ 18 II.1. Elaboración de los términos de referencia y su relación con los componentes y criterios de evaluación........................................................... 18 II.2. Temporalidad de la evaluación y su registro en el cronograma .......................... 26 SÍNTESIS DE LA UNIDAD ............................................................................................... 29 UNIDAD III. INFORME DE EVALUACIÓN ...................................................................... 30 Objetivo de aprendizaje ................................................................................................ 30 III.1. Estructura del informe de evaluación................................................................... 30 III.2. Presentación del informe de evaluación .............................................................. 33 III.3. Plan de comunicación del informe de evaluación ............................................... 37 SÍNTESIS DE LA UNIDAD ............................................................................................... 40
3
La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional
Módulo 3
UNIDAD IV. LA RENDICIÓN DE CUENTAS Y LA COMUNICACIÓN DE RESULTADOS: AL FINANCIADOR Y A LA CIUDADANÍA ..........................................41 Objetivo de aprendizaje .................................................................................................41 IV.1. Los intereses de los actores que se vinculan al proyecto .....................................41 IV.2. Plan de rendición de cuentas ................................................................................ 47 SÍNTESIS DE LA UNIDAD ................................................................................................ 51
Bibliografía .................................................................................................................... 52
Índice de figuras Figura 1. Las tres fases de la evaluación ......................................................................... 8 Figura 2. Etapas de las fases de evaluación ................................................................... 9 Figura 3. Etapas del diseño de la evaluación ................................................................ 10 Figura 4. Etapas de la implementación de la evaluación .............................................. 13 Figura 5. Etapas de la comunicación de resultados ...................................................... 15 Figura 6. Fases y etapas de la evaluación..................................................................... 16 Figura 7. Presentación eficiente ................................................................................... 36 Figura 8. Presentación deficiente ................................................................................. 36 Figura 9. Análisis de involucrados ................................................................................ 44
Índice de cuadros Cuadro 1. Cronograma de trabajo................................................................................. 28
Índice de tablas Tabla 1. Elementos de los antecedentes ....................................................................... 21
4
La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional
Módulo 3
Tabla 2. Ejemplos de recomendaciones ....................................................................... 33 Tabla 3. Ejemplos de presentaciones interna y externa .............................................. 34 Tabla 4. Actores públicos y privados ............................................................................ 45 Tabla 5. Nivel de influencia de los actores ................................................................... 46 Tabla 6. Principales acciones de los receptores y emisores ........................................ 49
Presentación del módulo En este módulo se exponen cuatro unidades que proporcionan los elementos para diseñar un proyecto de evaluación y llevarlo a cabo. En la Unidad 1 se elabora una perspectiva general sobre las fases de la evaluación. Se delimitan las etapas y las actividades de la preparación de la evaluación, su implementación y la comunicación de sus resultados. En la Unidad 2 se establece la importancia del documento llamado “términos de referencia” (TDRs) como la estructura principal de la evaluación de un programa. Así mismo, se consideran los factores para elaborar este documento y se analiza la relación que tiene con los indicadores. También aquí se estudia el diseño del cronograma de actividades. En la Unidad 3 se presenta el informe de evaluación. Este es un documento que se ubica en la recta final del proyecto, ya que permite dar a conocer los resultados del mismo. Se analiza su estructura, la forma en que se presenta y otros mecanismos para generar un plan integral de comunicación. Finalmente, en la Unidad 4 se estudia la rendición de cuentas en la evaluación, como una variable sustancial en la actividad evaluativa. Esta práctica se constituye como un factor trascendente en el paradigma democrático, y por esto es importante conocerlo a profundidad. Para lograr lo anterior se analizan los intereses de los actores que están involucrados en el proyecto y se discute la pertinencia de un plan de rendición de cuentas.
5
La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional
Módulo 3
A través del estudio de las cuatro unidades anteriores se construye una dimensión integral que permite construir un proyecto para evaluar la intervención del gobierno, sociedad civil, sector privado o la colaboración de todos. Y también se plantean las bases para llevar a cabo la evaluación.
Objetivo general del módulo n Conocer las fases para la evaluación de proyectos de cooperación.
Preguntas orientadoras de aprendizaje n ¿Cuáles son las fases, etapas y actividades para la evaluación de programas? n ¿Cómo se elaboran términos de referencia? n ¿De qué forma se presenta un informe de evaluación? n ¿Por qué es necesario rendir cuentas?
6
La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional
Módulo 3
UNIDAD I EL CICLO DE LA EVALUACIÓN
Objetivo de aprendizaje n Conocer las fases, las etapas y las actividades de la evaluación de programas.
I.1. Fase I: diseño de la evaluación El principal objetivo de la evaluación de políticas y programas es mejorar la intervención pública y, consecuentemente, mejorar la vida de las personas que requieren de apoyos. Para la cooperación española, la evaluación se define como una herramienta que busca perfeccionar el proceso de planificación y mejorar la gestión de todas las entidades y actores que están involucrados en este proceso, así como facilitar su participación (MAEC, 2007). En este apartado se va a construir una visión integral sobre el proceso general de la evaluación. Esto servirá como un mapa de navegación para entender a detalle cuáles son las fases de la intervención evaluativa y qué actividades deben desarrollarse. El proceso de evaluación de políticas y programas se conforma de tres grandes fases: 1) diseño de la evaluación, 2) implementación de la evaluación, 3) comunicación de resultados.
7
La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional
Módulo 3
Figura 1. Las tres fases de la evaluación. Fuente: elaboración propia.
Cada una de las fases contempla una serie de etapas y cada etapa implica la realización de actividades. Este es un proceso lógico que tiene orden, estructura y funciona de forma correcta cuando se aplican con exhaustividad, sin embargo, es preciso señalar que no se trata de una metodología definitiva, ya que los contextos en donde se implementan las evaluaciones son diversos y es necesario observar las particularidades de cada circunstancia (Carrillo, 2009). A continuación, se presenta un mapa de navegación que permite ver gráficamente cuáles son las etapas de cada una de las fases del proceso de evaluación.
8
La Evaluaciรณn y la Gestiรณn del Conocimiento en la Cooperaciรณn Internacional
Mรณdulo 3
Figura 2. Etapas de las fases de evaluaciรณn. Fuente: elaboraciรณn propia.
A lo largo de este mรณdulo se estudiarรก con detenimiento cada una de las fases, etapas y actividades. Todas las partes son importantes, sin embargo, hay puntos crรญticos donde es necesario profundizar. A continuaciรณn, se harรก un planteamiento general de cada una de las fases a manera de introducciรณn, y a partir de la siguiente unidad es estudiarรก cada parte por separado.
9
La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional
Módulo 3
I.1.1. Fase 1: Diseño de la evaluación
Figura 3. Etapas del diseño de la evaluación. Fuente: elaboración propia.
La evaluación de programas es una actividad robusta y compleja que requiere de una planificación rigurosa y metodológicamente consistente. Como todo proyecto, es necesario desarrollar una etapa de preparación o planificación que delinee el resto de las actividades. En esta primera etapa se plantea la realización de las siguientes seis actividades: 1. Motivación El primer paso es identificar quiénes son los actores que promueven las evaluaciones y qué razones tienen para hacerlo. Habitualmente la entidad que financia el programa o la intervención es quien impulsa la actividad evaluativa. Existen muchas razones que hacen conveniente la evaluación, por ejemplo, se asume que permite tomar me-
10
La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional
Módulo 3
jores decisiones en torno al programa si la investigación se desarrolla durante la implementación del mismo, o bien, para reformular el proyecto sin la evaluación se lleva a cabo al final. Hay otros factores de fondo que motivan la evaluación, y se considera que lo más importante es que las condiciones de vida de las personas que requieren de la intervención del gobierno mejoren. En este apartado deberá realizarse una exposición de motivos sobre la pertinencia de la evaluación. 2. Selección Este apartado implica realizar una serie de selecciones. El principal reto es definir los objetivos de la evaluación, pero, para esto, primero es necesario identificar a los actores involucrados en la evaluación o stakeholders (Franco, 2013). Es importante señalar que esta actividad es transversal, es decir, aparece constantemente en el trayecto de la intervención evaluativa, no obstante, este es el primer momento donde se realiza. Una vez identificados los implicados en el proyecto, es prioritario responder la siguiente pregunta: ¿qué se va a evaluar? es decir, hay que determinar si el objetivo es analizar una política, estrategia, programa, proyecto o instrumento. Habitualmente es necesario seleccionar un solo objetivo de evaluación, aunque también es posible establecer un plan de evaluaciones a mediano plazo, donde se definen subsecuentes evaluaciones. 3. Delimitación La delimitación consiste en definir qué es lo que se desea saber después de la evaluación. En otras palabras, se trata de la información que el equipo evaluador debe obtener. Es necesario recordar que una evaluación está basada en los criterios de pertinencia, eficiencia, eficacia, impacto y viabilidad, y en este caso, el financiador debe formular una serie de preguntas por cada uno de estos criterios. Al finalizar, el equipo evaluador es el responsable de responder a estas preguntas.
11
La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional
Módulo 3
4. Términos de referencia Toda la información que se derive de las actividades anteriores debe plasmarse en un documento marco de planificación denominado términos de referencia (TDRs). Este elemento es fundamental, ya que servirá como un plan de trabajo para el equipo de evaluación, ya sea interno o bien puede tratarse de una consultoría contratada para llevar a cabo la intervención. En la práctica el éxito de una evaluación está basada en buena medida en la calidad de los términos de referencia, de tal forma que su construcción es fundamental. Este documento debe construirse a partir de una visión participativa, lo que significa que todos los actores identificados en el análisis de involucrados deben participar y validar la versión final. No existe un modelo unívoco de los TDR, sin embargo, en este módulo se presentará una estructura genérica que funciona como modelo base para desarrollarlos.
12
La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional
Módulo 3
I.1.2. Fase 2: La implementación de la evaluación
Figura 4. Etapas de la implementación de la evaluación. Fuente: elaboración propia.
La evaluación de un programa constituye un trabajo de investigación con rigor metodológico, y se requiere obtener información objetiva de diversa índole, de tal forma es que necesario utilizar una serie de técnicas, métodos y herramientas de investigación social para dar certidumbre al proceso de levantamiento de datos (Hernández, 2010). En esta etapa se recopilará la mayor cantidad de la información, y por este motivo esta parte del proyecto es crucial. El inicio formal y operativo de la evaluación comienza aquí, y el primer paso es generar una reunión entre el financiador y el equipo evaluador, que previamente ha sido seleccionado a través de distintos mecanismos que proponen los marcos normativos de los distintos países de Latinoamérica. En esta reunión se deben discutir con puntualidad cada uno de los puntos que se establecieron previamente en los términos de
13
La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional
Módulo 3
referencias (TDRs). La evaluación es un proceso dinámico y el contenido de este documento pudo haberse modificado desde su construcción hasta esta fase del proyecto, y por eso es importante realizar una revisión previa antes de comenzar con la obtención de la información. Otro de los objetivos de la reunión es comunicar formalmente el inicio de la intervención evaluativa a todos los actores involucrados. También es sustancial la redefinición de las técnicas de investigación que previamente fueron propuestas por el equipo evaluador, o que propuso la entidad financiadora, aunque en la práctica no suele hacerlo. Este es el momento de discutir la idoneidad de los instrumentos y validarlos o bien hacer ajustes. Los dos grandes componentes a desarrollar en esta fase son el trabajo de campo y de gabinete. 1. Trabajo de campo Se trata de procesar y analizar información a partir de las bases de datos que previamente ya han sido alimentadas por instituciones oficiales. Esta es una actividad analítica que podría requerir solicitudes de acceso a la información, por lo que se aconseja programar adecuadamente las actividades considerando los tiempos legales y administrativos para tal efecto. 2. Trabajo de gabinete El trabajo de gabinete es una de las actividades más complejas debido a la dimensión de los recursos, humanos, técnicos, logísticos y materiales, que implica. Se trata de ir directamente donde se encuentra la población objetivo y obtener información directa a través de los instrumentos adecuados.
14
La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional
Módulo 3
I.1.3. Fase 3: Comunicación de resultados
Figura 5. Etapas de la comunicación de resultados. Fuente: elaboración propia.
Una vez que ya se obtuvo la información, se procesó y analizó, ahora es el momento de comunicar los resultados de la evaluación. Esta etapa es necesaria porque democratiza la actuación del gobierno o la entidad financiadora, ya que hace partícipes a los actores involucrados y al resto de la sociedad. Para esta fase se contemplan las siguientes actividades: 1. Informe de evaluación El informe de evaluación es el documento donde se recuperan y exponen los resultados de todo el proceso. Existe una estructura base que se analizará más adelante, sin embargo, sus componentes más importantes son la descripción y valoración de la información, así como las recomendaciones.
15
La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional
Módulo 3
2. Recomendaciones Ninguna evaluación de política pública o programa podría ser válida si no aporta recomendaciones a partir de la información que se generó. Se dijo anteriormente que el objetivo fundamental de la evaluación es tomar decisiones sobre la intervención pública para que su impacto sea mayor y positivo sobre las personas que lo requieren. Por esta razón es necesario que el equipo evaluador emita juicios de mejora. 3. Plan de rendición de cuentas El informe de evaluación se considera como un tipo de comunicación interna, no obstante, es muy importante comunicar los hallazgos al resto de la sociedad que tenga interés o vínculo con el proyecto. Para esto, es necesario generar un plan con el objetivo de socializar la información que se obtuvo a partir de la evaluación. A partir de la información anterior, se construye el siguiente esquema, que permite una visión general sobre las fases y etapas que contempla un proyecto de evaluación.
Figura 6. Fases y etapas de la evaluación. Fuente: elaboración propia.
16
La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional
Módulo 3
A través de las tres fases anteriores es posible llevar a cabo una evaluación de políticas y programas consistente. Ahora es momento de analizar cada uno de los apartados anteriores de forma detallada. En las siguientes unidades se profundiza sobre esta información.
SÍNTESIS DE LA UNIDAD Las fases para llevar a cabo una evaluación de políticas públicas son: 1) diseño de la evaluación, 2) implementación y 3) comunicación de resultados. La primera parte se compone de la motivación de la evaluación, la selección de los objetivos, la delimitación de la información que se desea saber, y los términos de referencia. La segunda fase implica la definición de los instrumentos y herramientas metodológicas para obtener la información, que puede ser trabajo de gabinete y de campo. En la tercera etapa es necesario generar la información de evaluación, las recomendaciones y el plan de rendición de cuentas.
17
La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional
Módulo 3
UNIDAD II IMPLEMENTACIÓN DE LA EVALUACIÓN: TÉRMINOS DE REFERENCIA DE LA EVALUACIÓN Y CRONOGRAMA
Objetivo de aprendizaje n Conocer cuáles son los elementos que permiten evaluar los resultados de un
proyecto de cooperación.
II.1. Elaboración de los términos de referencia y su relación con los componentes y criterios de evaluación Los Términos de Referencia (TDRs) constituyen un documento que son la base para definir el proyecto de evaluación de un programa. Analógicamente puede decirse que son los cimientos de una gran construcción. En principio, es necesario decir que este documento responde a tres grandes preguntas: ¿Por qué evaluar? Aquí debe explicarse detalladamente las razones que propiciaron tomar la decisión de evaluar un programa o política. Puede haber varios motivos para
18
La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional
Módulo 3
realizar esta actividad. Es posible que sea un mandato legal dependiendo del contexto. También podría ser a causa de una decisión por parte del financiador, o posiblemente sólo sea una herramienta para decidir el destino de la intervención. En todo caso es necesario definir con mucha claridad esta pregunta. ¿Para qué, qué y cómo evaluar? Estas preguntas serán respondidas en los términos de referencia. Corresponde al curso y estructura general del acto evaluativo, toda vez que definen los aspectos esenciales de dicha práctica. Este documento es elaborado por la institución que encarga la evaluación, ya que ésta debe especificar con detalle qué es lo que espera como resultado de este proceso. ¿Quién, cuándo y dónde evaluar? Aquí se deben establecer por escrito los procesos y la operatividad de toda la actividad evaluativa, por lo que debe generarse un programa que ordene temporal y administrativamente los detalles logísticos de la evaluación (OCDE, 2009). El éxito o fracaso de una evaluación, en buena medida depende estratégicamente de la elaboración de los términos de referencia. Por esta razón, a continuación, se analizará la estructura general de dicho documento (Cardozo, 2006). A continuación, se presentan las partes que componen los TDRs. 1. Antecedentes. 2. Objetivo general, objetivos específicos. 3. Alcance de la evaluación. 4. Propuesta metodológica. 5. Actividades. 6. Productos. 7. Periodicidad. 8. Recursos técnicos. 9. Perfil del evaluador. 10. Remuneraciones. 11. Confidencialidad.
19
La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional
Módulo 3
1. Antecedentes La evaluación es una tarea compleja que en muchos casos es subrogada, es decir, el gobierno o las entidades que financian el programa podrían contratar a un actor externo para llevar a cabo el proceso y, a partir de este hecho, los términos de referencia son muy importantes porque aquí se especifica qué es lo que la entidad quiere de la empresa o consultoría evaluadora. Esta no es la única forma de evaluación, ya que también existe la modalidad interna, lo que significa que el propio gobierno o ente financiador puede ejecutar con sus propios recursos el proceso, sin embargo, en la práctica esta modalidad suele tener un déficit de objetividad. Como parte de los antecedentes, es necesario que se realice una breve descripción del programa que será sujeto de evaluación. Esta debe incluir una idea de la problemática que pretende atacar el programa y las principales directrices que pretenden solucionarlo. Además, es necesario establecer el objetivo principal, el periodo de duración del programa, la población objetivo, la cobertura geográfica, los alcances de la intervención, resultados de evaluaciones anteriores si es el caso, organización general del proyecto y la presupuestación. Para establecer un ejemplo transversal a todos los apartados de los TDRs se establece hipotéticamente el siguiente programa:
20
La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional
Módulo 3
“Programa de desarrollo para comunidades indígenas en situación de pobreza alimentaria” Ejemplo de los antecedentes:
Concepto
Definición
Objetivo principal del programa
Contribuir a que las personas que pertenecen a comunidades indígenas logren superar su condición vulnerable, a través del acceso a alimentos garantizados.
Periodo de duración
El programa funcionará por periodo de 8 meses en su primera etapa.
Población objetivo
425.000 personas pertenecientes a alguna comunidad indígena que se encuentren en situación de pobreza alimentaria.
Cobertura geográfica
(Al ser un caso de ejemplo se deben enlistar las regiones o localidades donde está ubicada la población objetivo, es deseable establecer una georreferenciación).
Alcances de la intervención
El 80% de la población objetivo ha logrado tener acceso a un banco de alimentos permanente, con lo que se disminuyó a la mitad el índice de enfermedades relacionadas con este factor.
Resultados de evaluaciones previas Organización del proyecto
Hasta el momento no se han realizado evaluaciones previas.
Presupuesto
La ejecución del programa está a cargo del gobierno federal a través del ministerio de desarrollo social, con la participación del gobierno local. $80,000,000.00
Tabla 1. Elementos de los antecedentes. Fuente: elaboración propia.
2. Objetivo general y objetivos específicos Se trata de los objetivos de los términos de referencia y no del programa o política. En este caso, el objetivo general del documento debe plasmar el propósito fundamental de la evaluación. Es importante que su redacción responda a las siguientes preguntas: qué, cómo y para qué.
21
La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional
Módulo 3
Ejemplo: Diseñar un sistema de monitoreo y seguimiento para la evaluación del cumplimiento de las metas del programa “Desayunos escolares”, a través de la generación de indicadores. Objetivos específicos: Es importante que estos objetivos establezcan con mucha precisión las metas específicas que han de alcanzarse, ya que esto se convertirá en una directriz para el equipo que llevará a cabo la intervención evaluativa y, a su vez, será una herramienta que el financiador tendrá para supervisar los trabajos. Ejemplo: n Analizar la pertinencia de las metas del programa, mediante la colaboración
entre los equipos de trabajo, para hacer los ajustes necesarios. n Elaborar los indicadores de seguimiento a través de la recopilación de informa-
ción, para el monitoreo de las metas del programa. n Seleccionar las fuentes de información apropiadas, para generar homogenei-
dad entre los instrumentos y las necesidades de la información, para optimizar los resultados. La adecuada redacción de estos objetivos va a permitir que la agencia o institución evaluadora conozca específicamente las necesidades o requerimientos del gobierno a la institución que ha encargado el proyecto (Cunill, y Ospina, 2008). 3. Alcance de la evaluación Una de las etapas críticas de los términos de referencia es justo definir los alcances del proyecto de evaluación, el enfoque que tendrá el ejercicio y los sujetos que participarán. En esta fase deben definirse principalmente los siguientes elementos: a) Lista de preguntas clave. b) Modalidad de evaluación que se llevará a cabo.
22
La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional
Módulo 3
c) Agente que llevará a cabo el ejercicio. d) Ciclo de vida del proyecto en el que se evaluará.
a) Lista de preguntas clave Se refiere a una serie de cuestionamientos que la entidad que encarga la evaluación debe formular. Estas preguntas corresponden a lo que el gobierno y organización desea saber después de la evaluación. Ejemplo de preguntas clave: n ¿Qué programa o acciones públicas se llevaron a cabo anteriores a este pro-
grama para atender a la población objetivo? n ¿Cómo se vincula el programa de desarrollo para comunidades indígenas en si-
tuación de pobreza alimentaria al plan nacional de desarrollo? n ¿Cuántas personas mejoraron su condición de salud después de recibir los be-
neficios del programa? Estas preguntas son la guía del evaluador porque el trabajo debe orientarse para responderlas con evidencia e información real. Estos cuestionamientos se formulan de acuerdo a la modalidad de evaluación que se va a desarrollar. b) Modalidad de evaluación que se llevará a cabo Tal como se presentó en el primer módulo, existen distintas modalidades de evaluación, de tal forma que es necesario seleccionar alguna de estas, acorde a las necesidades del proyecto. c) Ciclo de vida del proyecto en el que se evaluará Es necesario determinar en qué momento del ciclo de vida de políticas públicas se va a desarrollar el ejercicio evaluativo: esto puede ser al inicio, durante o después de la intervención.
23
La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional
Módulo 3
4. Propuesta metodológica Se refiere a las técnicas, métodos e instrumentos que se utilizarán para llevar a cabo la evaluación, pero específicamente para la recolección de datos es información. En otro módulo de este curso se profundiza al respecto. Es posible que la entidad evaluadora haga el planteamiento metodológico, sin embargo, también el organismo que solicita la evaluación podría realizar un requerimiento específico sobre este punto. 5. Actividades En este apartado debe establecerse con todo detalle las actividades que deben ser realizadas por la entidad evaluadora, especificando la coordinación de la secuencia que habrá entre estas, y que permitan lograr los objetivos que se plantearon anteriormente. También es importante definir las actividades que serán realizadas a través del trabajo de campo y las que serán de gabinete. 6. Productos Se establecen cada uno de los productos o entregables que la entidad evaluadora emitirá para el gobierno o el organismo que haya encargado la evaluación, y además deben especificarse los tiempos en los que serán entregados, pudiendo ser al inicio, a la mitad o al final de la evaluación. Estos entregables son de diversa índole dependiendo de la modalidad de evaluación, sin embargo, aquí aparecen algunos ejemplos generales: n Diagnóstico sobre el sistema de organización del programa. n Elaboración de indicadores de gestión del programa. n Reporte de evaluación de impacto con recomendaciones para gerentes públi-
cos. n Estrategia de publicidad de los resultados de la evaluación.
24
La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional
Módulo 3
7. Periodicidad En esta parte se estipulan los plazos que deberá abarcar la ejecución de la evaluación. Es deseable que todo el proyecto sea segmentado por fases o etapas, ya que esto facilita la relación administrativa y el seguimiento integral del proyecto. 8. Recursos técnicos La evaluación de un programa suele ser una actividad costosa y completa en términos financieros y técnicos. Los recursos técnicos utilizados suelen ser varios y diversos de acuerdo al tipo de evaluación y su periodo de realización. Aquí se deben describir los elementos técnicos que serán utilizados. Estos insumos pueden ser proporcionados por la entidad contratante, o bien podrían ser suministrados por la consultoría, en caso de que se trate de una evaluación externa. Algunos ejemplos son los siguientes: n Oficinas. n Medios de transporte. n Equipos de cómputo.
9. Perfil del evaluador El gobierno o la entidad contratante deberán establecer los perfiles, los conocimientos, la formación y la experiencia de quienes participarán en el proceso de evaluación. En el caso de fondos multilaterales para la evaluación, podrían requerirse personas de nacionalidades específicas, con el objetivo de contextualizar y facilitar los procesos de recolección de datos de un sitio determinado. 10. Remuneraciones Aquí se establecen las normas de pago para el equipo evaluador en caso de que se trate de una intervención externa. Los tópicos comunes a considerar son: el tipo de moneda de pago y los periodos. En la práctica suele desagregarse en etapas el proyecto y los pagos se realizan por cada entregable.
25
La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional
Módulo 3
11. Confidencialidad Un ejercicio de evaluación implica el acceso a un conjunto de información estratégica para el gobierno. El trabajo con datos personales en todo momento deberá ser protegido, de tal forma que siempre es deseable establecer un contrato de confidencialidad entre la parte evaluadora y el financiador. En suma, con los anteriores puntos es posible generar un documento de Términos de Referencia consistente, que permita estructurar de la mejor forma el proyecto y, sobre todo, garantizar su éxito.
II.2. Temporalidad de la evaluación y su registro en el cronograma Después de haber diseñado y presentado los Términos de Referencia como base estructural del proyecto de evaluación, ahora es momento de programar el trabajo que habrá de realizarse desde la primera hasta la última actividad de la intervención evaluativa. Aunque los Términos de Referencia ya son un marco de actuación para la propia ejecución del proyecto, aún es necesario definir un sistema analítico más detallado con el objetivo de disminuir los niveles de incertidumbre, que habitualmente surgen en casos donde interviene una cantidad considerable de recursos humanos (Nirenberg, Brawerman y Ruiz, 2003). La herramienta tradicional para plasmar la sucesión de actos con fechas específicas es el cronograma de trabajo. En este instrumento se programan detalladamente las acciones que habrán de desarrollarse, así como las fechas para tal fin y los responsables que ejecuten las acciones. Algunas de sus ventajas son las siguientes: n Permite controlar y establecer un marco de supervisión sobre las etapas de la
evaluación. n Promueve la evaluación de los responsables de cada etapa. 26
La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional
Módulo 3
n Facilita la asignación de recursos de acuerdo a la importancia y prioridad de las
actividades. n En general sirve para establecer un seguimiento detallado del proyecto.
Existen diferentes tipos de software para elaborar cronogramas de actividades. Uno de los más usados es Microsoft Project, aunque existen otras opciones. En cualquier caso, todas las herramientas requieren ser alimentadas con información básica como la siguiente: n Fechas clave: es necesario identificar las fechas y los periodos de inicio y tér-
mino de cada una de las etapas. n Identificación de puntos críticos: la programación de actividades siempre pre-
senta incidencias que en muchos casos es posible prever, como el personal que tendrá periodo vacacional, etcétera. n Ámbito laboral: significa incorporar información como la cantidad de personas
que trabajarán en cada etapa del proyecto, los roles que jugarán y los momentos en los que intervendrán. El responsable de la elaboración del cronograma de actividades es el líder del proyecto, que será la persona responsable del cumplimiento de los términos de referencia. Una vez que se ha desarrollado el cronograma, es necesario darle seguimiento y someterlo a una evaluación constante. Para esto pueden utilizarse alguna de las siguientes herramientas: n Cadena crítica: se establece un análisis de las fechas de inicio y cierre de activi-
dades, administrando los tiempos de acuerdo los plazos establecidos. n Análisis de escenarios: se trata de calcular los riesgos a partir de supuestos no-
civos como la escasez de recursos o la inoperatividad de los recursos humanos. n Optimización de recursos: se observa que los recursos materiales y humanos
estén disponibles y nivelados. En la práctica es posible que haya mala distribución y cargas excesivas de trabajo que podrían entorpecer el logro de metas.
27
La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional
Módulo 3
A continuación, se presentará un cronograma de trabajo a manera de ejemplo, con las primeras actividades de un proyecto de evaluación.
Mes 1 Actividad
Responsable
S1 Primeras entrevistas con los responsables del pro-
Equipo consultor
Aplicación de cuestionarios estructurados y se-
Equipo con-
miestructurados
sultor
Registros del proyecto de evaluación
Reporte de evaluaciones similares
S3 S4 S5 S6 S7 S8
sultor
Revisión de documentos
Evaluaciones previas
S2
Equipo con-
grama
Información de desempeño
Mes 2
Equipo consultor Equipo consultor Equipo consultor Equipo Consultor
Cuadro 1. Cronograma de trabajo. La administración del proyecto de evaluación es un elemento muy importante para el éxito de esta actividad, sin embargo, también es necesario establecer que el cronograma de actividades es una matriz guía que no es definitiva, sino que podría modificarse durante el desarrollo de la evaluación y en todo caso se debe alimentar de forma concomitante.
28
La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional
Módulo 3
SÍNTESIS DE LA UNIDAD Los términos de referencia (TDRs) son un documento que se configura como la base de un proyecto de evaluación. Las preguntas fundamentales que responden los TDRs son las siguientes: ¿por qué evaluar? ¿Para qué evaluar? y ¿Cuándo evaluar? La estructura básica para la elaboración del documento es la siguiente: 1) antecedentes, 2) objetivos, 3) alcance, 4) propuesta metodológica, 5) actividades, 6) productos, 7) periodicidad, 8) recursos técnicos, 9) perfil del evaluador, 10) remuneraciones y 11) confidencialidad. Las actividades para realizar la intervención evaluativa deben registrarse en un cronograma de trabajo que es un medio de organización y monitoreo para el éxito de los TDRs.
29
La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional
Módulo 3
UNIDAD III INFORME DE EVALUACIÓN
Objetivo de aprendizaje n Conocer cómo se realiza un informe de evaluación.
III.1. Estructura del informe de evaluación El informe o reporte de evaluación es un documento imprescindible para el proyecto, ya que aquí se resume la información más relevante de todo el proceso. Este documento es tan importante como la propia evaluación, toda vez que es la parte donde se articulan claramente los resultados que surgieron de la planeación y la ejecución de la intervención evaluativa. El objetivo central del informe es proporcionar información objetiva a los actores que están interesados o vinculados al proyecto. Según la agencia canadiense de desarrollo internacional, el reporte tiene tres propósitos importantes: n Informar los resultados de la evaluación a los involucrados en el proyecto,
tanto al personal operativo, así como a los gerentes públicos. En el caso de los primeros es útil para generar identidad con el trabajo realizado, mientras que para los segundos es necesario para tomar decisiones estratégicas.
30
La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional
Módulo 3
n Promover la información al interior de la organización, dependencia, entidad,
o grupos de la sociedad civil interesados, como organizaciones no gubernamentales o la academia. n El informe de evaluación promueve la transparencia en la esfera pública, ya que
se mide el desempeño de los programas y la aplicación del gasto público. Según la guía de evaluación de programas y proyectos sociales (2009), el informe de evaluación debe presentar la siguiente estructura: n Portada. n Resumen. n Introducción. n Descripción de la información. n Valoración de la información. n Conclusiones y recomendaciones. n Anexos.
Portada Se sugiere que los elementos que debe incluir la portada son: n Título del proyecto. n Modalidad de la evaluación de acuerdo al agente que la realizó, la temporali-
zada y su tipo. n Situación del informe, pudiendo ser un documento en categoría de borrador,
preliminar o final. n Fecha de presentación. n Descripción del equipo evaluador. Se sugiere que se incluyan datos como el
nombre del líder de proyecto y del equipo de evaluadores, además del domicilio fiscal de la entidad evaluadora.
31
La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional
Módulo 3
Resumen Se refiere al resumen del informe, no del proyecto en sí mismo. La idea es que el lector conozca de forma concisa cuáles son las partes que conforman el reporte. Introducción Aquí debe incluirse una breve descripción del programa, sus características principales, los objetivos de la intervención, el enfoque metodológico, el ámbito de aplicación, la ubicación geográfica donde opera el programa, las características de la población objetivo y su proceso de selección, los lineamientos y las reglas de operación. Descripción de la información En este apartado el objetivo es presentar la información más sobresaliente agrupada por componentes, resultados y estrategias. Valoración de la información Aquí se hará un análisis o interpretación de la información presentada. Es necesario que este apartado sea explicativo, lo que significa exponer con detalle el propósito e interpretación de los datos. Conclusiones y recomendaciones Este es un apartado muy importante porque se establece el valor agregado de todo el proceso. Las conclusiones deben ser muy concretas y reportar los puntos clave, además, debe distinguirse respecto a las recomendaciones. En el caso de estas últimas, deben ser viables, ya que es necesario evitar a toda costa emitir propuestas complejas. Una de las funciones vitales del equipo evaluador es lograr que el programa mejore. Algunos de los problemas principales de los programas son justo la falta de presupuesto, ante esto, las recomendaciones podrían sugerir un ajuste presupuestal, no obstante, esta no suele ser una propuesta viable, de tal forma que se aconseja no hacerla. Se propone generar consensos sobre las recomendaciones con los tomadores de decisiones, antes de que el informe se publique.
32
La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional
Módulo 3
También se estima un tiempo para la implementación de las recomendaciones y los ajustes al programa. Deben establecerse periodos a corto plazo, que van de un día a un año, mediano plazo, que comprende de uno hasta cinco años, y largo plazo, que abarcan más de cinco años.
Recomendación viable
Recomendación deficiente
Se encontró que el 25% de las personas que for-
La principal contingencia para la entrega de los
man parte de la población objetivo ya se encuen-
bienes y servicios es la insuficiencia logística
tran beneficiados por un programa del gobierno
para entregarlo, por lo que recomienda solicitar
local que atiende las mismas necesidades, por lo
una ampliación presupuestal del 10% del presu-
tanto, se aconseja que en un periodo de seis
puesto total.
meses se haga una redefinición de los beneficiarios.
Tabla 2. Ejemplos de recomendaciones. Fuente: elaboración propia.
Anexos Los resultados de una evaluación concentran una cantidad muy amplia de información. Aunque el propósito del informe es sólo presentar los datos sustantivos, se respaldan los documentos ampliados, de tal forma que se sugiere incluirlos en forma de anexos.
III.2. Presentación del informe de evaluación No existe un método y proceso definido para presentar el informe de evaluación, sin embargo, es prioritario dirigirlo hacia los actores que están principalmente interesados en los resultados de la evaluación. También debe garantizarse la accesibilidad al documento, así que se propone hacerlo público a través de los medios de comunicación asociados a los interesados. El principal espacio de difusión puede ser el sitio web y las redes sociales de la agencia que implementó el programa.
33
La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional
Módulo 3
Hay que distinguir entre la presentación interna y externa del informe. En la presentación interna se comunican los hallazgos a los gerentes públicos o a los involucrados directos en el proyecto, mientras que la presentación externa estará dirigida a personas u organismos que sí están interesados en los resultados de la evaluación, pero que no forman parte de la misma, como los grupos de la academia o los medios de comunicación. Presentación externa
Presentación interna
Organizaciones no gubernamentales
¿Hacia quién está dirigida?
Universidades Gerentes públicos e integrantes del equipo evaluador
Medios de comunicación Grupos de la sociedad focalizados
Tabla 3. Ejemplos de presentaciones interna y externa. Fuente: elaboración propia.
A continuación, se propone una estructura para realizar la presentación de forma interna. Para comunicar de forma interna se sugiere hacerlo a través de una presentación ejecutiva. Esta se lleva a cabo cuando existe la necesidad de interactuar directamente, con la persona o grupo de personas que se encargarán de tomar decisiones en torno al reporte. Una ventaja de la presentación ejecutiva es que las dudas o aclaraciones pueden solventarse por el presentador en tiempo real. La presentación ejecutiva es un instrumento de comunicación multisensorial, pues involucra principalmente los sentidos de la vista y oído. Para este propósito se usa algún software apropiado para presentaciones, y existen cinco recomendaciones técnicas para elaborar la presentación.
34
La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional
Módulo 3
Recomendación 1. Usar plantillas originales. Debe evitarse usar plantillas predeterminadas de programas como PowerPoint. El uso de estos elementos proporciona un aspecto escolar y poco profesional, de tal forma que es necesario presentar un diseño realizado por un profesional de este ámbito. Recomendación 2. Buscar uniformidad en las diapositivas, que los títulos tengan los mismos colores, el mismo tamaño de letra, y que los textos tengan uniformidad en el tamaño y los colores. Cuando la tipografía de una presentación es diversa, no hay armonía visual. Recomendación 3. Es indispensable usar poco texto. Una presentación es para mostrar los datos más importantes, y debe exponerse únicamente la información clave. Las diapositivas llenas de texto es la principal causa de desatención o desinterés en una presentación. Recomendación 4. Se sugiere resaltar palabras o ideas clave con negrita, ya que permite acelerar la lectura por parte de los presentes. Recomendación 5. Es altamente recomendable usar elementos gráficos como imágenes, tablas, gráficas, mapas mentales y otro tipo de insumos que apoyen los argumentos. La presentación debe considerar un soporte físico, que es el conjunto de elementos técnicos que habrán de acompañar la presentación ejecutiva. Se trata de los siguientes elementos: n Tipografía: la letra utilizada debe ser legible y visualmente amable. Se reco-
mienda no usar “Comic Sans”, evitar usar letras cursivas y no usar más de tres tipos y tamaños de letra en una misma presentación. n Colores: son importantes ya que cuando se usan de forma correcta producen
armonía visual, pero en caso contrario generan un aspecto desagradable. Se aconseja no usar más de tres, no colocar letras claras sobre fondos claros y no usar letras oscuras sobre fondos oscuros.
35
La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional
Módulo 3
n Imágenes: pueden ser gráficas, diagramas, fotografías, mapas, tablas, dibujos,
logotipos, plecas, entre otros elementos. La única condición es que estos recursos agreguen valor comunicativo, es decir, que apoyen la idea que se desea presentar el informe. n Multimedia: son elementos que complementan la presentación como videos,
audios, sitios web y aplicaciones. Con estas recomendaciones es posible exponer el informe de evaluación a los actores estratégicos. Ahora, el reto es establecer un vínculo de comunicación con un sector igual de importante: los grupos de interés de la sociedad.
Figura 7. Presentación eficiente. Fuente: elaboración propia.
Figura 8. Presentación deficiente. Fuente: elaboración propia.
36
La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional
Módulo 3
III.3. Plan de comunicación del informe de evaluación La evaluación de programas es una práctica que está adherida a la política de transparencia y rendición de cuentas de todo gobierno, de tal forma que la comunicación con la sociedad es una práctica deseable. Para entablar un diálogo que aborde los resultados de la evaluación de programas debe generarse un plan de acción comunicativa. Entablar procesos de comunicación desde el gobierno o entidades de cooperación con los ciudadanos no es una tarea simple. A causa de esto muchas agencias públicas deciden evadir este diálogo y actúan de forma unidireccional, es decir, diseñan e implementan sus acciones estratégicas sin consultar ni comunicar los resultados a los ciudadanos. Esto es un error estructural en los proyectos públicos. La participación de la ciudadanía en la actualidad se genera a partir de la organización de grupos de interés como organizaciones no gubernamentales, organizaciones religiosas, académicos o grupos políticos, entre otros, sin embargo, el grueso de la población no presenta un interés genuino en los asuntos del gobierno (Sánchez, 2009). Por esta razón, las organizaciones públicas están obligadas a iniciar el diálogo con la sociedad y detonar su interés por el ejercicio gubernamental y, en especial, por el diseño, implementación y evaluación de programas. La metodología para llevar a cabo un plan de comunicación externa consta de los siguientes pasos: 1. Definición del mensaje. 2. Identificación de los receptores. 3. Programación. 4. Presupuestación. 5. Storytelling. 6. Definición de la estrategia.
37
La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional
Módulo 3
1. Definición del mensaje El primer paso es definir un mensaje o establecer un propósito comunicativo, es decir, determinar qué se desea comunicar. No toda la información que surge del proyecto de evaluación es de interés para la sociedad, por lo tanto, es necesario hacer una selección de la información que se dará a conocer. El objetivo de comunicación de los resultados de la evaluación es que haya una percepción clara por parte de los sectores sociales que están interesados. Diseñar el mensaje implica responder la siguiente pregunta: ¿qué percepción del público se desea lograr? El mensaje debe ser construido de acuerdo a la temporalidad y a las necesidades del proyecto. El diseño del mensaje requiere de un análisis “situacional”, es decir, se debe observar el contexto social y político del proyecto y hacer un diagnóstico, y basándonos en esto, generar un mensaje pertinente que se relacione directamente con las personas, partiendo de la siguiente pregunta: ¿qué desean saber? 2. Identifica a los receptores del mensaje En la siguiente unidad se profundiza sobre este este aspecto, no obstante, el objetivo es identificar a los actores estratégicos que recibirán la información. Después de los actores internos, los principales interesados en el informe de evaluación son los grupos organizados de la sociedad que monitorean el trabajo del gobierno. En este caso, un mensaje podría estar personalizado y dirigido hacia un grupo de la población. 3. Programación Se refiere al momento o periodo en el que se publicitará el reporte. Se entiende que este documento se presenta luego de que ha concluido la intervención, sin embargo, es preciso recordar que existen evaluaciones ex ante y concomitantes, donde se obtienen resultados preliminares y antes de que el proyecto concluya, de tal forma que es posible emitir informes o reportes parciales, y en todo caso debe programarse el momento en el que se emitirá el documento.
38
La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional
Módulo 3
4. Presupuestación La emisión de mensajes o la estrategia de comunicación invariablemente generan costos financieros. Habitualmente esto no se contempla en los gastos previstos del equipo evaluador, y por lo tanto la socialización del informe se puede ver comprometida, de tal forma que desde el principio debe considerarse en las actividades a realizar. Para establecer los recursos que se usarán deben considerarse los puntos 1, 2 y 6 de esta metodología. 5. Storytelling Significa narrar una historia para comunicar algo, y este mensaje implica mucho más que la transmisión de datos. La comunicación política e institucional en los últimos años está basada en narrativas que buscan impactar en la identidad de la ciudadanía y convencer a través de historias ficticias (López y Vargas, 2013). Las historias son una extraordinaria vía para penetrar en el medio sensitivo de las personas. El objetivo de la comunicación con la sociedad es generar un interés genuino de los actores estratégicos y lograr su identificación con el proyecto. Cuando sólo se emiten mensajes aislados que tratan de comunicar el inicio de un proyecto o los resultados que tuvo, es muy probable que el impacto de la comunicación sea limitado, ya que no hay contexto. En la historia narrada la población objetivo debe saber lo siguiente: n Cuál es el problema que se atendió. n Cuáles eran las condiciones iniciales de las personas que padecían el problema. n Qué hizo la entidad u organismo para atender el problema. n Cómo participó la sociedad en el proyecto. n Cuáles fueron los resultados. n Cómo mejoró la vida de las personas.
39
La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional
Módulo 3
6. Definición de la estrategia La televisión, la radio y la prensa escrita fueron poderosos conductos en el pasado para comunicar todo tipo de cosas, sin embargo, en los últimos años se ha generado una transición de estos medios tradicionales a la social media (Hütt, 2012). Las agencias financiadoras y los equipos de evaluación deben considerar los nuevos mecanismos tecnológicos de comunicación. Definir una estrategia implica saber cómo se conseguirá que los receptores efectivamente logren recibir el mensaje, es decir, es necesario elegir los canales adecuados de comunicación. Las redes sociales con más penetración son Facebook, Twitter y YouTube (Maya y Holgado, 2015), de tal forma que es imprescindible considerar estos medios para llegar a los receptores. Además, los costos pueden optimizarse en relación con los medios tradicionales. A través de los seis pasos anteriores, puede establecerse un plan de comunicación adecuado para dar a conocer los resultados del informe de evaluación. Como todos los métodos, esta propuesta debe contextualizarse y es posible hacer modificaciones si las condiciones así lo requieren.
SÍNTESIS DE LA UNIDAD El informe de evaluación es un documento muy importante porque concluye el ciclo del proyecto de evaluación. Ahí se establecen los resultados del proceso evaluativo y su principal objetivo es proporcionar información objetiva a los actores operativos y gerenciales que tienen algún vínculo con el proyecto. La estructura del documento se compone de la portada, resumen, instrucción, descripción de la información, valoración, conclusiones y recomendaciones y anexos. Para comunicar los resultados del proyecto a la ciudadanía se establece un plan que consta de las siguientes etapas: definición del mensaje, identificación de los receptores, programación, presupuestación, storytelling y definición de la estrategia.
40
La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional
Módulo 3
UNIDAD IV LA RENDICIÓN DE CUENTAS Y LA COMUNICACIÓN DE RESULTADOS: AL FINANCIADOR Y A LA CIUDADANÍA
Objetivo de aprendizaje n Conocer cómo se elabora un plan de rendición de cuentas.
IV.1. Los intereses de los actores que se vinculan al proyecto En la Unidad 3 se abordó el tema de la comunicación del informe de evaluación. Ahí se estableció que ésta es una práctica que responde a un valor altamente democrático. La transparencia y la rendición de cuentas son un prerrequisito republicano que cualquier país democrático debe contemplar (Schauer, 2014). Bajo esta lógica, la evaluación de políticas y programas, así como cualquier otra intervención del gobierno o de instituciones que ejercen recursos públicos, debe ser diáfana. Los dos actores preponderantes en un proceso de evaluación son la ciudadanía, por una parte, y el financiador, por otra. En cualquier caso debe garantizarse que cualquier persona pueda tener acceso a información del ejercicio de los recursos públicos
41
La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional
Módulo 3
y los procesos de toda intervención pública. La entidad que financia un programa debe establecer una plataforma o proceso con la finalidad de rendir cuentas. El primer paso para establecer un plan de rendición de cuentas es analizar con detalle quiénes son los grupos de interés que circundan a la evaluación del programa. En la Unidad 3 se estableció que los principales actores vinculados al proyecto son los gerentes públicos, el equipo evaluador y, por supuesto, la ciudadanía, no obstante, es preciso profundizar sobre este tema. El análisis de los involucrados es una actividad propia para el diseño de todo programa que esté desarrollado bajo la metodología de marco lógico, de tal forma que puede asumirse que ésta es una etapa que ya fue solventada, y el equipo encargado de elaborar un plan de rendición de cuentas solo tendría que retomar esta información, no obstante, ahora se presenta un conjunto de pasos que, ante la ausencia o debilidad de la información, puede utilizarse. Para analizar a los involucrados del proyecto de evaluación, deben realizarse las siguientes actividades: 1. Identificar. 2. Clasificar. 3. Posicionar y caracterizar. 4. Analizar y seleccionar. 1. Identificar El primer trabajo es determinar quiénes son las personas, grupos, sectores, instituciones, organismos o entidades que se oponen o se opondrían en el futuro a la política pública. Ya sea con una simple desaprobación o bien con movilizaciones o acciones concretas que materialicen su oposición, siendo este último hecho el más importante a considerar.
42
La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional
Módulo 3
El objetivo de identificar a los agentes que en algún momento incidieron de forma negativa o que no apoyaron el proyecto es establecer un plan que considere a este sector, ya que se propone hacerlos partícipes de los resultados del mismo, sobre todo cuando los efectos fueron muy positivos. Para ejemplificar este análisis, se propone el siguiente caso práctico: Programa: Agua potable para todos. Problema que atendió el programa: Durante más de veinte años, el 50% de la población de una provincia pagó parcialmente o no pagó el servicio de agua potable. La gestión del servicio de agua estuvo a cargo de un consejo ciudadano, elegido por una asamblea popular independiente del gobierno. Como consecuencia de la ausencia del pago, dicha comisión no tuvo los recursos para pagar el suministro de luz al gobierno y, por lo tanto, el servicio de agua se suspendió por amplios periodos de tiempo, lo que generó diversos problemas de salud en la localidad Ante el hipotético escenario anterior, primero es necesario generar un listado de los actores involucrados. Una vez realizado el listado, el siguiente paso es generar un mapa conceptual como el que se muestra en la imagen, donde se aprecian esquemáticamente los involucrados.
43
La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional
Módulo 3
Figura 9. Análisis de involucrados. Fuente: elaboración propia.
En el esquema anterior se observa que hay cinco actores que tienen un vínculo directo con el programa. Los ciudadanos que no han pagado el servicio de agua representan el factor determinante, el departamento de servicios públicos es el organismo gubernamental encargado de asesorar a la comisión ciudadana que brinda el servicio, el gobierno aporta apoyos económicos periódicos a la comisión ciudadana de agua, la empresa brinda servicios de mantenimiento técnico, y el actor fundamental es la comisión que no pudo gestionar el sistema de pagos. 2. Clasificar Cuando ya se ha identificado a los involucrados, ahora es necesario categorizarlos, y para esto deben responderse tres preguntas: n ¿Pertenecen a organizaciones públicas o privadas? n ¿Qué relación tienen con el proyecto? n ¿Forman parte del proyecto o son externos?
Siguiendo con el ejemplo, las respuestas a estas preguntas son las siguientes:
44
La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional
Módulo 3
Dos de los actores involucrados pertenecen a organizaciones privadas y tres más pertenecen a organizaciones públicas. Los ciudadanos que no pagan el servicio y la empresa son actores privados, mientras que el gobierno de la provincia, el departamento de servicios públicos y los integrantes de la comisión son actores públicos. Actores públicos
Actores privados
Gobierno provincial
Ciudadanos deudores
Departamento de servicios públicos
Empresa de mantenimiento
Integrantes de la comisión de agua
Tabla 4. Actores públicos y privados. Fuente: elaboración propia.
Ya definida la condición de los actores, ahora debe responderse la siguiente pregunta: ¿qué relación tienen con el proyecto? Actores privados Ciudadanos deudores: se relacionan directamente con el proyecto porque son los principales responsables de la escasez de los recursos, al no generar su pago. Empresa de mantenimiento: esta entidad privada está relacionada con actos de corrupción y ha sido investigada por las autoridades. En este caso, dicha empresa ha brindado servicio de mantenimiento durante diez años al sistema de agua potable. Actores públicos Comisión de agua potable: es el organismo ciudadano encargado de gestionar y administrar el servicio durante tres años consecutivos hasta que se eligen a nuevos integrantes. Departamento de servicios públicos municipales: aunque el servicio de agua es ciudadano, el gobierno interviene con apoyos económicos a través de esta entidad. Gobierno provincial: representa el financiador parcial de la actividad.
45
La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional
Módulo 3
3. Posicionar y caracterizar a los involucrados No todos los involucrados en el proyecto participan de la misma forma, y por esa razón no basta solo con identificarlos, sino que es necesario analizarlos con más profundidad, para esto es necesario determinar la fuerza, la posición y la intensidad de quienes intervienen en el problema público.
Tabla 5. Nivel de influencia de los actores. Fuente: elaboración propia.
Cada indicador tiene un semáforo que clasifica el nivel o gravedad del problema respecto a los involucrados. Para esta actividad debe elaborarse una matriz como la que se muestra en la imagen, donde se aprecia de forma conjunta toda la información. 4. Analizar y seleccionar a los involucrados La información que se ha recabado en la actividad anterior es muy útil porque permite reconocer los intereses y limitaciones de los involucrados. Es altamente recomendable que el plan de rendición de cuentas considere en todas sus dimensiones a los involucrados que se han identificado.
46
La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional
Módulo 3
IV.2. Plan de rendición de cuentas En la gestión pública es fundamental el uso de controles institucionales para evitar en cualquier caso el abuso del poder, además, deben garantizarse las libertades y derechos de los ciudadanos, como el derecho a la información (Uvalle, 2016). Esto significa que las intervenciones públicas y todos los actos donde estén involucrados los intereses de las mayorías deben contemplar este principio de control institucional. En la última década en los países de América Latina los sistemas anticorrupción, transparencia y rendición de cuentas se han venido consolidando (Valencia, 2016). Esto significa que las legislaciones en las naciones de dicha región se han modificado y han instaurado sus propios sistemas de rendición de cuentas. Esto hace complejo que exista un criterio unificado sobre el método para transparentar y rendir cuentas desde la función pública, y esta es la razón por la que ahora se propone un esquema genérico, que puede funcionar en varios de los contextos latinoamericanos (CARE, 2010). Sistema de rendición de cuentas: 1. Encuadre organizacional. 2. Análisis de los stakeholders. 3. Asignación de responsabilidades.
1. Encuadre organizacional La rendición de cuentas es un proceso donde participan varios actores estratégicos, como la propia organización que emite bienes y servicios, que puede ser el gobierno u otra entidad financiadora, el equipo evaluador y la ciudadanía. El principio del proceso de rendición de cuentas es que los involucrados se apropien de esta visión global, que, como se ha señalado con anterioridad, corresponde a un principio democrático.
47
La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional
Módulo 3
Para generar esta identidad debe generarse un documento donde se establezca cuál es la relación entre los objetivos y los valores institucionales del financiador y el proceso de la rendición de cuentas. En términos más sencillos, hay que responder la siguiente pregunta: ¿por qué transparentar la información? 2. Analizar a los stakeholders Al análisis de los involucrados es una actividad que se desarrolló en el apartado anterior, y por lo tanto sólo ahora se recupera la información y se considera para el proceso de rendición de cuentas. Es prioritario que los esfuerzos estén enfocados en las personas, actores o instituciones que están vinculados al proceso o que tienen un interés genuino al respecto. 3. Asignación de responsabilidades Esta es la etapa más robusta de la propuesta metodológica, y consiste en identificar las actividades que deben llevarse a cabo para publicitar la información y que los stakeholders tengan acceso a ella, además de asignar tareas y responsabilidades de los actores. En la siguiente tabla se especifican las principales acciones de los receptores1 y los emisores de la información.
1
Es importante aclarar que la figura de los receptores y emisores de la información es cambiante y subjetiva, ya que se trata de un proceso dinámico que está en constante retroalimentación. Esto significa que los receptores en algún momento se convierten en emisores y viceversa.
48
La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional
Módulo 3
Entidad financiadora
Grupos organizados de la sociedad civil
Lograr que los interesados se involucren institu-
Conocer en profundidad las etapas del pro-
cionalmente en el programa
grama, incluida la evaluación
Identificar las necesidades informativas de los
Mantener disponibilidad para interactuar for-
interesados
malmente con los responsables del programa
Analizar la identidad de los involucrados en el
Monitorear la implementación del programa y
programa
analizar objetivamente el informe de evaluación
Dar seguimiento a las demandas de los interesa-
Comunicar con claridad sus opiniones o sugeren-
dos
cias (retroalimentar) al financiador respecto a las etapas del programa.
Tabla 6. Principales acciones de los receptores y emisores. Fuente: elaboración propia.
Como parte del mismo punto de la asignación de responsabilidades se plantean las tres actividades siguientes para implementar el sistema de rendición de cuentas (SRC). Actividad 1. Poner a disposición la información Es imprescindible que exista un diálogo permanente entre los emisores y los receptores. Por esta razón es importante que quien asuma el rol de emisor de la información disponga y pueda publicitar los siguientes insumos sobre el programa: n Plan de trabajo o actividades. n Periodo de duración. n Análisis de los involucrados. n Descripción de etapas. n Información financiera. n Responsables.
49
La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional
Módulo 3
Actividad 2. Integración de los interesados La entidad financiadora debe generar las condiciones administrativas necesarias para que los interesados puedan involucrarse en el programa. Se plantean las siguientes acciones: n Realizar reuniones de carácter consultivo y no informativo. n Trabajo de campo para identificar las necesidades de los interesados. n Desarrollar un plan de trabajo para entablar una relación sistemática entre los
actores. Actividad 3. Gestión de la retroalimentación La información que proviene de los actores involucrados es estratégica y crucial, de tal forma que la entidad financiadora debe gestionar los mensajes, sugerencias y quejas de los grupos de interés. En la práctica los mensajes de los receptores (cuando se trata de los grupos o actores) suelen ser inquisitivos o incluso hasta incriminatorios, nos obstante, aun así debe garantizarse que estos grupos tengan plena libertad y los mecanismos para formular sus peticiones y demandas de información. Para lograr lo anterior, se establecen las siguientes acciones: n Sistematizar el registro de peticiones y demandas. n Generar reuniones constantes y programadas para recibir información.
A través de este planteamiento metodológico se propone establecer un sistema de rendición de cuentas que garantice este valor democrático.
50
La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional
Módulo 3
SÍNTESIS DE LA UNIDAD Los dos actores preponderantes en un programa y su proceso de evaluación son la ciudadanía y el financiador. El proceso de rendición de cuentas y la comunicación de resultados es una política necesaria que se inserta en una nueva dinámica democrática en los países de América Latina. El primer paso para lograr lo anterior es analizar a los involucrados desarrollando las siguientes actividades: 1) identificar, 2) clasificar, 3) posicionar y caracterizar y 4) analizar y seleccionar. Posteriormente es necesario establecer un plan de rendición de cuentas, que implica el desarrollo de las siguientes etapas: 1) encuadre organizacional, 2) analizar a los stakeholders, 3) asignación de responsabilidades.
51
La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional
Módulo 3
Bibliografía n Carrillo Rodríguez, J. (2009). La dimensión política de la evaluación de políti-
cas. Revista Opera, (9), 53-65. n Cardozo, M. (2006). La evaluación de las políticas y programas públicos. México:
PORRÚA n Cunill, G. y Ospina, S. (2008). Fortalecimiento de los sistemas de monitoreo y
evaluación en América Latina. Informe comparativo en 12 países. Caracas: CLAD. n Franco, J. (2013). Diseño de políticas públicas. México: IEXE. n Guía para la elaboración de los términos de referencia (2009). Caracas: CLAD. n Guía para organizar sistemas de rendición de cuentas de las ONGs a la ciudadanía
(2010). PERÚ: CARE. n Hernández, S. (2010). Metodología de la investigación. México: Mc Graw Hill. n Hütt Herrera, H. (2012). Las redes sociales: una nueva herramienta de difusión.
Reflexiones, 91 (2), 121-128. n López, A. y Vargas, J. (2013). La política relatada: el storytelling de Barack
Obama en el marco de la Operación Gerónimo. Palabra Clave, 16 (1), 12-44. n (2007). Manual de gestión de evaluaciones de la cooperación española. Ma-
drid: Ministerio de Asuntos Exteriores y de Cooperación. n Nirenberg, O., Brawerman, J. y Ruiz, V. (2003). Programación y evaluación de
procesos sociales. Buenos Airés: PAIDÓS. n Maya-Jariego, I. y Holgado, D. (2015). Network analysis for social and commu-
nity interventions. Psychosocial Intervention, 24 (3), 121-124. n Perea, O. (2009). Guía de evaluación de proyectos sociales. Madrid: Plataforma
de ONG de acción social. n Sánchez, M. (2009). La participación ciudadana en la esfera de lo público. Espa-
cios Públicos, 12 (25), 85-102. n Schauer, F. (2014). Transparencia en tres dimensiones. Revista de Derecho (Val-
divia), XXVII (1), 81-103 n Uvalle Berrones, R. (2016). Fundamentos políticos de la rendición de cuentas
en México. Estudios Políticos, 9 (38), 37-55. 52
La Evaluación y la Gestión del Conocimiento en la Cooperación Internacional
Módulo 3
n Valencia Escamilla, L. (2016). Rendición de cuentas y los mecanismos de trans-
parencia legislativa en América Latina. RICSH Revista Iberoamericana de las Ciencias Sociales y Humanísticas, 5 (10).
53