Guía de Evaluación de la ACDI

Gu铆a de Evaluaci贸n de la ACDI

Canadian International Development Agency 200 Promenade du Portage Gatineau, Quebec K1A 0G4 Tel: (819) 997-5006 Toll free: 1-800-230-6349 Fax: (819) 953-6088 (For the hearing and speech impaired only (TDD/TTY): (819) 953-5023 Toll free for the hearing and speech impaired only: 1-800-331-5018) E-mail: info@acdi-cida.gc.ca

DIRECCIÓN GENERAL

GUÍA

DE

ANÁLISIS

DEL

RENDIMIENTO

DE EVALUACIÓN DE LA

ACDI

Enero de 2000

A GENCIA CANADIENSE DE DESARROLLO INTERNACIONAL

PERFORMANCE REVIEW BRANCH

Preparada por: Robert C. Jones CIDA

Chris Stanley Oakron Consultants Inc.

EL

V Í N C U L O ENTRE R E N D I M I E N T O Y D E S A R R O L L O

G UÍA

DE E V A L U A C I Ó N DE LA

D IRECCIÓN GENERAL

DE

ANÁLISIS

DEL

ACDI

RENDIMIENTO

QUE REMOS CONO CER SU OPI NIÓN

ESTA GUÍA ES U NA OB RA EN CONS TANTE EVOL UCIÓN . ESTÁ SIE NDO P UESTA A PR UEBA EN EL LUGA R DE TRABA JO A FIN DE C OMPRE NDER MEJOR SU U TILID AD EN LAS ACT IVIDA DES D IARIA S E I DENTI FICAR LA F ORMA DE MEJ ORARL A. L E I NVITA MOS A ANAL IZAR SU CO NTENI DO EN SU TOTAL IDAD Y HAC ERNOS LLEG AR SU S SUG ERENC IAS.

DEBE MOS P RECIS AR QU E EST A GUÍ A PRE SUPON E LA CON FIRMA CIÓN DE AL GUNAS POSI CIONE S POL ÍTICA S QUE AÚN ESTA BAN E LABOR ÁNDOS E EN EL MO MENTO DE S U RED ACCIÓ N ( POR EJ.: LA POLÍT ICA D E ANÁ LISIS DEL REN DIMIE NTO P ARA 200 0 Y L OS MA RCOS DE REN DIMIE NTO).

LE R OGAMO S NOS ENVÍ E SUS COME NTARI OS Y SUG ERENC IAS P OR CO RREO ELECT RÓNIC O A L A SIG UIENT E DIR ECCIÓ N:

DGE R_PRD @ACDI -CIDA .GC.C A LAS CONTR IBUCI ONES RECIB IDAS SE ES TUDIA RÁN DET ENIDA MENTE CON OBJET O DE ELABO RAR U NA HER RAMIE NTA D E TRA BAJO MÁS E FICAZ .

… g racia s por su c olabo ració n

P RE FA C IO

E

l análisis del rendimiento es el proceso que facilita la institucionalización de las mejoras en materia de medición del rendimiento e información sobre el rendimiento de la ACDI. La Dirección General de Análisis del Rendimiento (DGAR) ha preparado una serie de instrumentos y herramientas funcionales para sustentar dicho análisis.

La “Guía de evaluación de la ACDI” es un manual fácil de utilizar que establece normas de aplicación sistemática en materia de evaluación y propone una serie de pautas y directrices que deben seguirse a fin de satisfacer las expectativas de la dirección de la Agencia.

Esta Guía ha sido concebida para ayudar al personal de la DGAR y a los consultores que ésta contrata en el diseño y realización de las evaluaciones. Algunas de las pautas, sin embargo, se pueden adaptar a las necesidades de otras iniciativas relacionadas con el rendimiento para las que no existan instrumentos más específicos.

La presente versión de la “Guía de evaluación de la ACDI” no es definitiva. Se irán incorporando mejoras a fin de adaptarla a los cambios que experimente el análisis del rendimiento y a la evolución de otros aspectos relacionados con el rendimiento.

El sitio web oficial de la Agencia ofrece una gran cantidad de información sobre la medición del rendimiento y la información sobre el rendimiento, y permite al usuario familiarizarse con el trabajo que realiza la DGAR y descargar información estratégica. El acceso a algunos documentos está reservado exclusivamente al personal de la Agencia.

Guía de evaluación de la ACDI

Í N DI CE D E M A TE RI A S

INTRODUCCIÓN

1

CAPÍTULO 1: LAS NOCIONES BÁSICAS

5

1.1 1.2 1.3 1.4 1.5 1.6

5 6 6 8 8 9

La razón de ser de las evaluaciones Las expectativas de la dirección Los tipos de evaluaciones Cómo se programan las evaluaciones Cómo se realizan las evaluaciones El proceso de evaluación de la ACDI

CAPÍTULO 2: LA CONSECUCIÓN DE RESULTADOS COMO OBJETIVO

13

2.1 2.2 2.3 2.4 2.5

13 14 16 16 16

El análisis del rendimiento La gestión basada en los resultados El marco de responsabilización de la Agencia Plan de los programas geográficos El marco de resultados y factores claves de éxito

CAPÍTULO 3: EL CONTEXTO DE REALIZACIÓN DE LAS EVALUACIONES

21

3.1 3.2

21 25

El marco de realización de las evaluaciones Las realidades de la cooperación para el desarrollo

CAPÍTULO 4: RESPONDER A LAS EXPECTATIVAS

27

4.1 4.2 4.3

27 28 29

La aplicación de los principios de la GBR Cuáles son las características de una buena evaluación La ética, el fundamento del profesionalismo

CAPÍTULO 5: DESARROLLAR LA CAPACIDAD DE EVALUACIÓN EN LA PLANIFICACIÓN Y EL DISEÑO

33

5.1 5.2 5.3

34 35 35

Los marcos de rendimiento de la GBR La aplicación del “Marco de resultados y factores claves de éxito” El desarrollo de la capacidad de evaluación

CAPÍTULO 6: DIRECTRICES PARA EL ÉXITO

37

6.1 6.2 6.3

37 40 40

Optimizar los resultados La importancia de fomentar la participación de los grupos interesados El desarrollo de las capacidades locales

CAPÍTULO 7: LA PREPARACIÓN DEL MANDATO

41

7.1 7.2 7.3

La utilidad del mandato Antes de comenzar La preparación del mandato

42 42 43

7.3.1 7.3.2 7.3.3 7.3.4 7.3.5 7.3.6 7.3.7 7.3.8 7.3.9 7.3.10

43 43 44 45 45 46 47 47 49 50

7.4

ii

Título Perfil de la inversión Razones para la evaluación Alcance y objeto Participación de los grupos interesados Papeles y responsabilidades Proceso de evaluación Documentos a producir Cualidades del evaluador Previsiones presupuestarias

La etapa siguiente

50

Guía de evaluación de la ACDI

CAPÍTULO 8: LA SELECCIÓN DEL EVALUADOR

51

8.1 8.2 8.3 8.4

Cómo se realiza la selección La contratación competitiva La contratación de especialistas locales El establecimiento de la mejor relación calidad-precio

52 53 54 54

8.4.1 8.4.2 8.4.3 8.4.4 8.4.5

55 55 55 55 56

8.5 8.6

Valoración estratégica Imparcialidad e independencia Liderazgo y dinámica de equipo Dominio de conocimientos básicos Calificaciones

¿Ha escogido al buen candidato?

La etapa siguiente

56 57

CAPÍTULO 9: LA PREPARACIÓN DEL PLAN DE TRABAJO

59

9.1 9.2 9.3

En qué consiste la preparación del plan de trabajo Aspectos estratégicos a considerar La preparación del plan de trabajo

60 61 62

9.3.1 9.3.2 9.3.3 9.3.4 9.3.5 9.3.6 9.3.7

62 63 64 65 74 75 76

9.4

Descripción general de la inversión Expectativas con respecto a la evaluación Papeles y responsabilidades Metodología Marco de evaluación Informes Calendario de trabajo

La aprobación

77

iii

CAPÍTULO 10: LA RECOPILACIÓN Y EL ANÁLISIS DE LA INFORMACIÓN

79

10.1 10.2 10.3 10.4 10.5 10.6

Los métodos y las técnicas Mantener una perspectiva estratégica Privilegiar la flexibilidad Las consultas a los grupos interesados Mantener informado al público Responder a los problemas

80 80 81 81 82 83

10.6.1 Valores fundamentales 10.6.2 Dinámica interpersonal 10.6.3 Problemas que pueden surgir

83 84 84

La etapa siguiente

85

10.7

CAPÍTULO 11: LA PREPARACIÓN DEL INFORME FINAL

87

11.1 11.2 11.3 11.4

Para qué sirve el informe final Los públicos destinatarios Los elementos principales del informe La redacción del informe

88 89 89 91

11.4.1 11.4.2 11.4.3 11.4.4 11.4.5 11.4.6 11.4.7 11.4.8 11.4.9

92 94 94 96 98 99 99 100 101

11.5

iv

Resumen Introducción Perfil de la inversión Perfil de la evaluación Constataciones Conclusión Recomendaciones Lecciones Anexos

La aprobación

102

Guía de evaluación de la ACDI

CAPÍTULO 12: LA COMUNICACIÓN DE LOS RESULTADOS

103

12.1 12.2 12.3 12.4

104 105 106 107

Invertir en el saber Buenas comunicaciones Aprovechar los resultados Las opciones para difundir los resultados

CAPÍTULO 13: LAS RESPUESTAS A LAS PREGUNTAS MÁS FRECUENTES

109

13.1 13.2 13.3

109 112 118

Generalidades La planificación, el diseño y la ejecución Los informes y la comunicación de los resultados

RECUADROS Recuadro 1 Recuadro 2 Recuadro 3 Recuadro 4 Recuadro 5 Recuadro 6 Recuadro 7 Recuadro 8 Recuadro 9 Recuadro 10 Recuadro 11 Recuadro 12

El proceso de evaluación de la ACDI Marco de resultados y factores claves de éxito El marco de evaluación de la ACDI Directrices para el éxito Aspectos a tener en cuenta para elaborar evaluaciones sustentables Metodologías de evaluación Fuentes de información Principales métodos de recopilación de información Técnicas de análisis Marco de evaluación Calendario de trabajo Elementos principales del informe

10 17 23 37 66 67 70 71 73 74 76 90

v

Guía de evaluación de la ACDI

INTRODUCCIÓN

Las evaluaciones establecen un vínculo entre los resultados obtenidos en materia de rendimiento y las ventajas que aportan al desarrollo.

L

a ACDI considera que la medición e información sobre el rendimiento es un elemento esencial para lograr el éxito de las actividades en favor del desarrollo sostenible.

Las lecciones que se aprenden con la experiencia contribuyen a tomar decisiones bien fundamentadas, lo que a su vez favorece la adopción de políticas, estrategias y prácticas de desarrollo más eficaces y efectivas.

Además de permitir a la Agencia rendir cuentas de sus actividades y practicar la transparencia para con los ciudadanos canadienses, la medición del rendimiento y la información sobre el rendimiento le ofrecen también la posibilidad de cumplir con sus obligaciones ante la comunidad de desarrollo internacional.

En la ACDI, estas dos funciones forman parte de una política general de gestión basada en los resultados. Las evaluaciones facilitan la aplicación de esta política y suministran a la dirección de la ACDI información plausible, pertinente y objetiva sobre el rendimiento de las iniciativas de desarrollo, sobre lo que funciona y no funciona, y lo que hay que hacer para mejorar la situación.

Las evaluaciones únicamente son útiles si los resultados que generan aportan un valor añadido. En la ACDI, las constataciones, recomendaciones y lecciones aprendidas son integradas en el proceso de toma de decisiones a nivel de la alta dirección y de la gestión. Los resultados de las evaluaciones desempeñan un papel estratégico a la hora de adoptar decisiones fundamentadas en materia de formulación de políticas, elaboración de estrategias, asignación de recursos y adopción de mejores prácticas.

Acerca de esta Guía La “Guía de evaluación de la ACDI” ha sido elaborada para informar al lector sobre la estrategia actual de la Agencia en materia de evaluación. Describe las expectativas de la dirección respecto a los resultados que espera obtener, propone pautas para su consecución, e identifica normas y requisitos esenciales.

Esta Guía se propone tener múltiples aplicaciones. Ha sido diseñada como una herramienta didáctica con fines formativos, una obra de referencia de fácil manejo para quienes desean información sobre un aspecto concreto y un compendio exhaustivo de la estrategia adoptada por la ACDI en materia de evaluación.

Una lectura detenida de esta Guía permite comprender en profundidad todos los aspectos de la evaluación en la Agencia, si bien también se puede consultar rápidamente para encontrar respuesta a preguntas precisas. El lector más profano puede utilizar la Guía para aprender los aspectos fundamentales del proceso de evaluación, mientras que el evaluador experimentado encontrará en ella gran cantidad de consejos para completar con éxito su tarea.

La Guía se divide en trece capítulos: Primera parte: Los grandes principios 1.

“Las nociones básicas” ofrece información elemental sobre la estrategia de la ACDI en materia de evaluación, describiendo el proceso paso por paso.

2.

“La consecución de resultados como objetivo” describe la iniciativa emprendida por la Agencia para convertirse en una organización responsable cuya gestión esté orientada hacia la consecución de resultados.

3.

“El contexto de realización de las evaluaciones” describe el marco y el cuadro de repartición de funciones relativas a la evaluación, y estudia las dificultades inherentes en la cooperación en materia de desarrollo.

4.

“Satisfacer las expectativas” explica con detalle en qué consiste una buena evaluación e identifica las expectativas con respecto a determinadas normas éticas.

5.

“Desarrollar la capacidad de evaluación en la planificación y el diseño” analiza la necesidad de incorporar desde las primeras etapas la capacidad de medir el rendimiento e informar sobre el rendimiento de la inversión.

Segunda parte: La realización de la evaluación 6.

“Directrices para el éxito” explica cómo sacar el máximo provecho de la inversión que representa una evaluación.

7.

“La preparación del mandato” describe los aspectos esenciales de la preparación del mandato.

8.

“La selección del evaluador” analiza el proceso de otorgamiento de contratos y las cualidades que deben reunir los candidatos.

2

Guía de evaluación de la ACDI

9.

“La preparación del plan de trabajo” describe los elementos esenciales que debe abordar el evaluador en su plan de trabajo.

10.

“La recopilación y el análisis de la información” estudia los métodos utilizados y las dificultades que pueden surgir en esta etapa del proceso de evaluación.

11.

“La preparación del informe final” describe los aspectos estratégicos de la preparación del informe e identifica las normas que deben seguirse al respecto.

12.

“La comunicación de los resultados” explica de qué manera pueden contribuir los resultados de las evaluaciones a alcanzar los objetivos de desarrollo y describe distintas opciones para dar a conocer dichos resultados.

Tercera parte: Preguntas y respuestas 13.

“Las respuestas a la preguntas más frecuentes” aborda los aspectos más básicos de la evaluación.

Sus comentarios nos son de gran utilidad La DGAR depende de la aportación de los usuarios para mejorar sus prácticas de trabajo.

Le invitamos por lo tanto a hacernos llegar cualquier comentario o sugerencia que pueda tener.

Deseamos expresar nuestro agradecimiento a todas las personas que generosamente han dedicado gran parte de su tiempo a a preparación de esta Guía.

Sin su decisiva contribución y sus valiosas ideas y consejos, esta obra no habría sido posible.

3

4

Guía de evaluación de la ACDI

CAPÍTULO 1: LAS NOCIONES BÁSICAS

•••••••••••••••••••••••••••••••••••••••••••••••••••••• En este capítulo:

• • •

El porqué y el cómo de las evaluaciones en la ACDI Las expectativas Quién hace qué

••••••••••••••••••••••••••••••••••••••••••••••••••••••

Definición de la evaluación Análisis de las políticas, estructuras, programas y proyectos destinados a facilitar la toma de decisiones, la asignación de recursos y la rendición de cuentas.

E

n este capítulo se abordan las nociones básicas del proceso de evaluación de la ACDI. ¿Por qué realiza la ACDI evaluaciones? ¿Cuáles son las expectativas de la dirección? ¿Cómo se programan las evaluaciones? ¿Cómo se realizan? En el análisis de estas cuestiones se insiste constantemente en el interés que revisten las evaluaciones para la ACDI y las ventajas que pueden aportar a las políticas, estrategias y prácticas de desarrollo.

1.1

La razón de ser de las evaluaciones

Los ministerios y organismos públicos deben dar cuenta de su rendimiento y adoptar a menudo decisiones difíciles respecto a la utilización de los fondos del erario público. La evaluación ofrece una herramienta de gestión práctica para analizar el rendimiento que ayuda a la Agencia a aprender de la experiencia con objeto de mejorar el diseño de sus nuevas iniciativas y la consecución de los resultados previstos.

Las evaluaciones suministran a la ACDI información veraz, útil y pertinente con la que analizar las políticas, estructuras, programas y proyectos a fin de mejorar el proceso de toma de decisiones, de asignación de recursos y de rendición de cuentas. La

5

disponibilidad de información estratégica basada en los resultados obtenidos permite al Presidente y al Comité Ejecutivo orientar adecuadamente las intervenciones en favor del desarrollo a fin de obtener los resultados previstos, al mismo tiempo que los gerentes pueden aumentar la eficacia y eficiencia de dichas intervenciones. Por otra parte, la responsabilización de la ACDI se ve dotada de mayor transparencia al disponer la Agencia de mejores medios para rendir cuentas de sus actividades al Parlamento y a los propios ciudadanos canadienses.

1.2

Las expectativas de la dirección

La prioridad absoluta de la Agencia es producir información plausible y útil que le ayude a alcanzar sus objetivos estratégicos. Para tener éxito es primordial contar con un proceso simplificado que utilice con eficacia y eficiencia el tiempo valioso y los recursos limitados de que dispone.

La ACDI espera que las evaluaciones se fundamenten en el análisis de los resultados obtenidos, esto es, que integren los principios y prácticas establecidas en su propia política de “gestión basada en los resultados” (GBR).

Se espera que las evaluaciones pongan de relieve: v El compromiso contraído por la ACDI para utilizar eficaz y eficientemente sus recursos en favor del desarrollo sostenible a fin de reducir la pobreza en los países en desarrollo. v El objetivo de contribuir a la construcción de un mundo más seguro, equitativo y próspero. v El rendimiento en relación con los resultados en materia de desarrollo y factores claves de éxito enunciados en el “Marco de resultados y factores claves de éxito”.

1.3

Los tipos de evaluaciones

Existen varios criterios para clasificar las evaluaciones.

En primer lugar, las evaluaciones pueden dividirse en sumativas y formativas. Las evaluaciones sumativas se realizan en una etapa avanzada de la realización del programa o proyecto, o bien a posteriori una vez terminado, a fin de evaluar su eficacia y establecer los resultados y utilidad general. Las evaluaciones formativas, por el contrario, suelen realizarse en una etapa más temprana a fin de comprender mejor la marcha del proyecto o programa y su grado de consecución de los objetivos, y adoptar las medidas correctivas necesarias. Ambos tipos de evaluación contribuyen al proceso de aprendizaje.

6

Guía de evaluación de la ACDI

A menudo las evaluaciones se clasifican por su objeto (esto es, en función de lo que se está evaluando). Así, las categorías posibles según este criterio son: v Las evaluaciones temáticas (por ej.: las que tratan de la integración de la mujer en el desarrollo, la satisfacción de las necesidades humanas básicas, el desarrollo de la capacidad). v Las evaluaciones de programas, proyectos y otras inversiones. v Las evaluaciones institucionales de organizaciones multilaterales (por ej.: UNICEF, ACNUR) o de ONG internacionales, canadienses o locales.

Por último, las evaluaciones pueden clasificarse también en función del momento o de la etapa del ciclo de la iniciativa evaluada: v Las evaluaciones intermedias sirven para medir el rendimiento al final de un período determinado e informar al respecto para que puedan hacerse los ajustes y mejoras necesarias en el transcurso de la realización. v Las evaluaciones de final de etapa se llevan a cabo tras completar una etapa de las iniciativas que se componen de varias etapas y ofrecen información útil para la ejecución de las etapas siguientes. v Las evaluaciones de final de proyecto/inversión o de programa se realizan una vez completada la iniciativa en cuestión. A menudo los resultados de una iniciativa a nivel social o sus repercusiones no se dejan ver de inmediato sino que precisan cierto tiempo para manifestarse. Por consiguiente, este tipo de evaluación puede limitarse a informar sobre los logros en materia de desarrollo y los primeros indicios de los efectos, sin ofrecer una indicación realmente concluyente en cuanto al grado de consecución de los objetivos a medio y largo plazo. v Las evaluaciones de las repercusiones a posteriori sirven para medir e informar del grado de consecución de los objetivos en materia de desarrollo que se ha alcanzado a medio y largo plazo, fijándose principalmente en los efectos y consecuencias que resultan de los logros realizados.

Todas estas categorías de evaluación pueden considerarse además como: 1) participativas, 2) conjuntas, 3) externas o internas, 4) completamente independientes, o 5) una autoevaluación.

7

1.4

Cómo se programan las evaluaciones

El Comité Ejecutivo de la ACDI se encarga de establecer el calendario de las evaluaciones en función de las prioridades establecidas en el marco del ciclo de planificación de la Agencia. Es el Comité Ejecutivo quien asume en última instancia la responsabilidad del rendimiento de la Agencia y quien debe rendir cuentas al respecto. El Comité se ocupa de cuestiones de carácter general que influyen en la evaluación y aprueba el plan de trabajo general en materia de control interno y evaluación.

Las evaluaciones se planifican y realizan en función de las necesidades de la dirección en materia de información sobre los resultados y repercusiones de los programas y proyectos en el área del desarrollo. El Comité puede solicitar la realización de evaluaciones a nivel de la Agencia, o bien los propios directores de programas pueden, si así lo desean, evaluar una actividad de desarrollo concreta para la que se justifique un análisis independiente. ¿Cómo se toma la decisión de realizar una evaluación? Esta decisión no se toma hasta que la dirección comprenda claramente todos los aspectos precisos, los parámetros y las ventajas que aportará a la ACDI la evaluación propuesta. La decisión final de seguir adelante con la evaluación corresponde en última instancia al director del centro de responsabilidad que financiará la evaluación en cuestión.

1.5

Cómo se realizan las evaluaciones

Las evaluaciones de la ACDI se realizan según: 1) el proceso establecido por la Agencia para realizar las evaluaciones; 2) la repartición de las responsabilidades entre la ACDI y el evaluador; y 3) los métodos utilizados. Si bien las evaluaciones se llevan a cabo dentro de una estructura establecida, su realización propiamente dicha depende, en gran medida, del buen juicio tanto del director de evaluación de la ACDI como del evaluador.

Cada evaluación es única y suele plantear desafíos nuevos o imprevistos.

Por lo general, la ACDI subcontrata las evaluaciones a un profesional, compañía u organización externa. En algunos casos se considera preferible formar un equipo de evaluación reuniendo a representantes de distintas compañías u organizaciones.

Subcontratando la realización de las evaluaciones a evaluadores externos, la Agencia reduce los costos que implicaría mantener permanentemente un equipo interno de evaluadores y se beneficia al mismo tiempo de la creatividad e innovación que le ofrece la variedad de proveedores disponibles.

8

Guía de evaluación de la ACDI

En lo que respecta la organización de la evaluación, suelen aplicarse las siguientes reglas: v Para las evaluaciones complejas o de gran envergadura, a menudo se crea un comité asesor encargado de establecer la orientación general de la evaluación. En esta categoría se incluirían, por ejemplo, las evaluaciones en las que participan varios donantes y las grandes evaluaciones temáticas. En estos casos, uno de los miembros del comité asesor será nombrado director de evaluación para la ACDI, actuando al mismo tiempo como persona de contacto con el evaluador. v Para el resto de las evaluaciones se suele asignar a un director de evaluación de la ACDI la responsabilidad de representar a la Agencia. En este caso también, la persona actuará de enlace con el evaluador. v El evaluador es responsable de dirigir las actividades cotidianas y producir los documentos exigidos de conformidad con los términos del contrato.

1.6

El proceso de evaluación de la ACDI

El recuadro 1 describe paso por paso cómo se distribuyen las tareas y cómo se realizan las evaluaciones una vez que han sido autorizadas por la ACDI. Si bien el mandato define en términos generales los parámetros de la evaluación, ésta no podrá iniciarse realmente hasta que la Agencia no haya aprobado el plan de trabajo del evaluador. La comunicación de los resultados y su aplicación confieren a las evaluaciones un valor duradero.

9

Recuadro 1 El proceso de evaluación de la ACDI

Etapa Mandato

Responsable Director de evaluación de la ACDI

Función Establece el enunciado inicial de las expectativas y las necesidades, fijando los parámetros y resultados que se espera obtener.

Selecciona al mejor candidato en función de las cualidades exigidas y requisitos en materia de rendimiento.

Selección del evaluador

Director de evaluación de la ACDI

Plan de trabajo

Evaluador

Prepara una descripción de cómo se realizará la evaluación y qué objetivos deben obtenerse.

Recopilación y análisis de la información

Evaluador

Recopila la información en la que se basarán los resultados.

10

1.

2.

3.

4.

5.

Pasos Análisis de las fuentes de información.

Realización de consultas.

Preparación del mandato.

Notificación a la misión interesada.

Aprobación de la ACDI.

1. Adopción de un mecanismo de selección.

2. Establecimiento de una primera lista de candidatos y posteriormente de una lista prioritaria de candidatos.

3. Selección propiamente dicha.

4. Notificación al candidato seleccionado.

Negociación del contrato.

1. Consultas, análisis de la documentación, organización de los desplazamientos.

2. Elaboración del plan de trabajo.

3. Aprobación de la ACDI. 4. Notificación a la misión interesada.

1. Organización y reconocimiento sobre el terreno.

2. Recopilación de la información (informe del avance).

3. Informe sobre el terreno.

4. Análisis e interpretación de la información.

Guía de evaluación de la ACDI

Etapa Informe de la evaluación

Responsable Evaluador

Función Da a conocer los resultados.

1.

2.

3.

Difusión de los resultados

Director de evaluación de la ACDI

Trata de que la evaluación contribuya lo más posible a aumentar la eficiencia y eficacia de las intervenciones futuras en favor del desarrollo.

4.

1.

2.

3.

4.

Pasos Determinación de los resultados obtenidos y las lecciones aprendidas.

Análisis estratégico adaptado a los diferentes tipos de público.

Preparación del informe final.

Aprobación de la ACDI. Análisis estratégico.

Extracción de las lecciones aprendidas.

Difusión de los resultados.

Carga de los resultados en la memoria central.

Fuentes útiles v Evaluation of Development Assistance (Ministerio Real de Asuntos Exteriores, Noruega, noviembre de 1993) v Guidelines for Evaluation (Danida, febrero de 1994) v Benefit Monitoring and Evaluation (Banco Asiático de Desarrollo) v Evaluación: una herramienta de gestión para mejorar el desempeño de los proyectos (Banco de Desarrollo Interamericano, marzo de 1997) v Enhancing Organizational Performance: A Toolbox for Self-Assessment (Centro de Investigación para el Desarrollo Internacional, 1999)

11

12

Guía de evaluación de la ACDI

CAPÍTULO 2: LA CONSECUCIÓN DE RESULTADOS COMO OBJETIVO

•••••••••••••••••••••••••••••••••••••••••••••••••••••• En este capítulo:

• • •

Transparencia y responsabilización La GBR o cómo fomentar la consecución de resultados El análisis del rendimiento, un punto de partida

••••••••••••••••••••••••••••••••••••••••••••••••••••••

E

n 1994 la ACDI inició una ambiciosa renovación institucional, comprometiéndose ante el Parlamento y los ciudadanos canadienses a adoptar un estilo de gestión que estuviera orientado prioritariamente hacia la consecución de los resultados y fuera más responsable. En julio de ese mismo año se daba a conocer la “Política de la ACDI para el análisis del rendimiento” que establecía un marco general para medir y presentar informes sobre el rendimiento. En este marco se describe la evaluación como uno de los elementos claves e integrales del sistema de análisis del rendimiento.

En octubre de 1996 se precisaron los papeles y responsabilidades de cada persona dentro de la ACDI en la “Actualización de la Política de análisis del rendimiento de la ACDI”, en la que se establecía que la responsabilidad de las evaluaciones corresponde a la DGAR. En su “Política de análisis del rendimiento para 2000” de la ACDI (actualmente en curso de redacción), la ACDI debería confirmar su posición de principio y precisar ciertos aspectos.

2.1

El análisis del rendimiento

El análisis del rendimiento, que constituye un ejercicio de reflexión permanente a nivel de la Agencia, facilita la integración de las mejoras en la valoración del rendimiento y la transmisión de la información. Engloba todas las funciones e instrumentos utilizados por la dirección y el personal de la Agencia para analizar los resultados de sus intervenciones en materia de desarrollo y de las operaciones.

El análisis del rendimiento es un componente integral del proceso de gestión y sirve para establecer el vínculo entre una amplia gama de actividades y el objetivo principal que

13

consiste en aumentar la eficacia de la ayuda. La DGAR desempeña un papel preponderante en las iniciativas de medición del rendimiento, colaborando con las direcciones generales de operaciones y de apoyo, y aprendiendo de sus distintas experiencias y competencias.

En principio, el análisis del rendimiento debe: v Ofrecer a los directores de la ACDI las herramientas necesarias para asumir sus responsabilidades y alcanzar los resultados previstos. v Desempeñar un papel fundamental en la transformación de la Agencia en una organización más orientada hacia los resultados, más transparente y más responsable. v Contribuir de manera esencial a la iniciativa de renovación de la gestión de la ACDI, poniendo de relieve la excelencia, el saber, el aprendizaje, el trabajo en equipo y la innovación.

Los objetivos que se persiguen son producir resultados útiles y fiables, aprender con la propia experiencia y fomentar una forma de participación válida de los grupos interesados.

2.2

La gestión basada en los resultados

Definición de un resultado “Un resultado es un cambio de la situación que puede describirse o medirse y que es resultado de una relación de causa y efecto”.

Gestión basada en los resultados en la ACDI Declaración de política, abril de 1996

La gestión basada en los resultados o GBR, estrategia general adoptada por la ACDI para su gestión, se propone alcanzar resultados y mejorar la transparencia y responsabilización mediante la rendición de cuentas sobre el rendimiento.

14

Guía de evaluación de la ACDI

Así, están basadas en los resultados: v Las actividades de desarrollo: programas, proyectos y otras inversiones. v Las actividades internas de medición del rendimiento: evaluaciones de los riesgos, auditorías financieras, estudios operacionales, actividades de seguimiento. v Las actividades independientes de medición del rendimiento de la Agencia: estudios, evaluaciones, investigaciones especiales, auditorías internas.

La política en materia de GBR reconoce la importancia de medir tanto el cambio producido como sus causas, puesto que ambos elementos juntos constituyen el fundamento lógico de la gestión del cambio. Los resultados corresponden a los cambios que son atribuibles a la influencia que una organización ejerce al utilizar sus recursos.

La publicación en enero de 1999 por parte de la DGAR de “La gestión basada en los resultados en la ACDI: Guía de introducción a los conceptos y principios” se proponía uniformizar la interpretación de la política en materia de GBR y su aplicación por parte de los responsables de los distintos programas geográficos y del programa de cooperación de la Agencia. Algunos de los temas abordados son: la participación de los grupos interesados, la identificación de hipótesis y riesgos, el marco de medición del rendimiento, así como la información sobre el rendimiento y la toma de decisiones relativas a la gestión.

La GBR pone de relieve: v La importancia de definir expectativas realistas respecto a los resultados que se espera obtener, identificando claramente a los beneficiarios y adaptando las intervenciones en favor del desarrollo a sus necesidades. v El seguimiento del grado de consecución de los resultados previstos utilizando indicadores adecuados y gestionando los riesgos con eficacia. v La habilitación de supervisores directos y socios para medir el rendimiento y tomar las decisiones necesarias de acuerdo con la información disponible. v Las ventajas que aporta recurrir a especialistas independientes para realizar las auditorías internas y las evaluaciones. v La importancia de contar con una participación constructiva de los grupos interesados. v La transparencia de la comunicación de los resultados obtenidos y los recursos utilizados.

15

2.3

El marco de responsabilización de la Agencia

El “Marco de responsabilización de la Agencia”, publicado por la DGAR en julio de 1998, expone las responsabilidades de la ACDI como ministerio gubernamental federal.

Este marco establece: v La responsabilidad plena de la ACDI en cuanto a los resultados en el área de las operaciones y su responsabilidad conjunta en cuanto a los resultados en materia de desarrollo. v Las responsabilidades de determinados cargos de la ACDI, incluidas las relacionadas con el análisis y medición del rendimiento.

2.4

Plan de los programas geográficos

El guía de los programas geográficos (versión 5.0 de febrero de 1999), preparado por las direcciones generales de Asia, las Américas, África y Oriente Próximo, es la guía práctica del programa de ayuda bilateral de la Agencia. En él se describe el contexto particular para las operaciones, así como los métodos demostrados y prácticas establecidas para diseñar y poner en práctica las intervenciones, proyectos y programas de ayuda bilateral.

2.5

El Marco de resultados y factores claves de éxito

El “Marco de resultados y factores claves de éxito” de la ACDI proporciona un punto de referencia permanente para medir los resultados en materia de desarrollo y contribuye a hacer respetar la política de la ACDI en materia de GBR. Al precisar cómo debe medirse el éxito, este marco identifica los límites que deben aplicarse para medir el rendimiento de las inversiones de la ACDI. Se indica pues claramente a los evaluadores cuáles son los resultados que constituyen un logro, lo que a su vez proporciona a los programas y proyectos de la ACDI una orientación que se ajusta a las políticas, prioridades y principios de la Agencia y contribuye fundamentalmente a orientar adecuadamente sus intervenciones en materia de desarrollo. El resultado global se traduce en una mejora del rendimiento de las inversiones de acuerdo con los resultados que la Agencia espera obtener.

El marco es una herramienta de trabajo que conviene utilizar de forma constante, sistemática y estratégica en las etapas del diseño, planificación, ejecución y preparación de los informes de las actividades de valoración del rendimiento. Se espera que los evaluadores se concentren en la producción de resultados inspirándose para ello en los resultados de desarrollo y factores de éxito del marco.

En el recuadro 2 se ilustra el “Marco de resultados y factores claves de éxito” de la Agencia:

16

Guía de evaluación de la ACDI

Recuadro 2 Marco de resultados y factores claves de éxito

A. Resultados en materia de desarrollo 1. Resultados alcanzados ¿Qué progresos se están haciendo en la consecución de los resultados previstos (a nivel de los logros, efectos y repercusiones)? ¿Contribuyen esos resultados a los objetivos generales de la Agencia de reducir la pobreza y fomentar el desarrollo sostenible, y/o a los esfuerzos para apoyar el desarrollo democrático y la liberalización económica en Europa Central y del Este? a) Resultados reales y previstos en el país beneficiario. b) Resultados/beneficios reales y previstos en Canadá. c) Resultados imprevistos.

2. Relación costo-eficacia de los resultados ¿Es razonable la relación entre los costos y los resultados? a) Comparación de los costos con los parámetros de referencia pertinentes, cuando sea posible, teniendo en cuenta los resultados alcanzados. b) Gastos reales correspondientes a los gastos previstos o justificación detallada de cualquier discrepancia importante.

B. Factores de éxito 3. Pertinencia de los resultados ¿Es pertinente la iniciativa teniendo en cuenta la situación, las necesidades o los problemas a los que se propone responder? a) Adecuación a las necesidades y prioridades de los beneficiarios, los socios locales, del país, de la región a la que se destina. b) Conformidad con las políticas de reducción de la pobreza y fomento del desarrollo sostenible de la ACDI, y con otras políticas, prioridades y programas de la Dirección General. c) Conformidad con la política exterior de Canadá, incluidos los posibles beneficios para Canadá. d) Conformidad con las intervenciones de organizaciones locales, organizaciones canadienses y otros donantes que tratan de responder a las mismas necesidades y problemas.

17

4. Sostenibilidad de los resultados ¿Se mantendrán los resultados/beneficios una vez concluida la iniciativa? a) La población local asume el control de las actividades del proyecto/programa y se compromete a alcanzar los resultados previstos y mantener los métodos seleccionados a tal fin. b) Asignación de recursos suficientes para mantener los beneficios/resultados, cuando proceda. c) Capacidad institucional adecuada y pertinencia continua para mantener los resultados. d) Política interior y marco institucional que propicien el mantenimiento de los resultados. e) Coyuntura nacional e internacional que propicien el mantenimiento de los resultados.

5. Asociaciones ¿Se asume conjuntamente la responsabilidad en cuanto a la consecución de los resultados? a) Participación directa de los socios locales del país, de los beneficiarios (incluidas las mujeres) en el diseño, ejecución y seguimiento/evaluación del programa/proyecto. b) Definición clara y aceptación por parte de los participantes de sus papeles y responsabilidades en el proyecto/programa. c) Los asociados en la gestión del proyecto poseen la autoridad e instrumentos necesarios para adoptar decisiones y tomar las medidas pertinentes. d) Creación de nuevas asociaciones para obtener resultados.

6. Adecuación del diseño ¿Es adecuado el diseño y se fundamenta en conocimientos sólidos del contexto local? ¿Se identificaron y evaluaron los riesgos y se formularon estrategias para garantizar un seguimiento continuo? ¿Se estudiaron ideas y métodos innovadores y creativos para obtener resultados? a) Las metas, objetivos, resultados e indicadores de rendimiento responden a las normas de la ACDI en materia de gestión basada en los resultados, se establecieron utilizando métodos participativos y se fundamentan en conocimientos sólidos del contexto local, incluyendo la relación entre los sexos y la situación del medio ambiente. b) Los recursos y servicios se adaptan bien a la situación (incluidos los riesgos), las necesidades o los problemas identificados. c) El análisis de riesgos en la etapa de planificación da lugar a la formulación de estrategias que garanticen un seguimiento continuo durante la ejecución del programa/proyecto. d) Se ponen a prueba nuevos métodos para diseñar proyectos/programas y nuevas formas de proceder. e) Se aplican las lecciones aprendidas de la experiencia en materia de desarrollo y se consignan y divulgan las lecciones aprendidas de los nuevos métodos.

18

Guía de evaluación de la ACDI

7. Utilización adecuada de los recursos ¿Se cuenta con los suficientes recursos humanos, financieros y materiales, y se utilizan adecuadamente? ¿Es completa, exacta y fiable la información financiera? ¿Se utilizan los recursos con suficiente prudencia y probidad? a) Buenas políticas y procedimientos de gestión financiera, incluyendo los sistemas y prácticas de preparación de presupuestos, la contabilidad y la preparación de informes. b) Adjudicación y gestión de contratos conforme a buenas políticas y prácticas de contratación. c) Capacidad de Canadá de suministrar los bienes y servicios necesarios para alcanzar los resultados previstos. d) Concordancia entre las necesidades y los conocimientos, competencias y cualidades personales de los principales participantes en el proyecto/programa. e) Gestión adecuada de los recursos humanos y materiales asignados al proyecto/programa.

8. Medidas documentadas y rápidas ¿Hemos anticipado y respondido a los cambios basándonos en información adecuada? ¿Hemos tomado las medidas necesarias para la buena gestión de los riesgos? a) Eficacia de las redes y métodos para establecer y evaluar las grandes tendencias y los cambios importantes que pueden influir en el proyecto/programa. b) Eficacia de los sistemas de vigilancia e información para la gestión de los riesgos internos y externos, y capacidad de reacción adecuada y rápida a los riesgos y posibilidades que se presenten. c) Estrategias y prácticas adaptadas a la naturaleza y amplitud de los riesgos internos y externos a los que se exponen los fondos y activos del proyecto/programa. d) Recursos y servicios prestados de manera que respondan eficazmente y se adapten a la situación, incluyendo los riesgos, las necesidades, las posibilidades y los problemas.

19

20

Guía de evaluación de la ACDI

CAPÍTULO 3: EL CONTEXTO DE REALIZACIÓN DE LAS EVALUACIONES

•••••••••••••••••••••••••••••••••••••••••••••••••••••• En este capítulo:

• • •

El marco de evaluación de la ACDI Principales factores determinantes Las realidades de la cooperación para el desarrollo

••••••••••••••••••••••••••••••••••••••••••••••••••••••

¿

Cuáles son los factores que determinan la estrategia de la ACDI en materia de evaluación? ¿Quién asume las distintas responsabilidades en el Gobierno de Canadá? ¿Qué se espera de la ACDI? ¿De qué manera influye en el proceso de toma de decisiones las intervenciones en los países en desarrollo?

La respuesta a estas preguntas se encuentra en una multitud de expectativas, condiciones y circunstancias que repercuten en el proceso de evaluación en general o que se aplican específicamente a proyectos individuales. Algunas de estas influencias o factores determinantes son particulares de la ACDI y otros no. Y algunos son competencia de la Agencia y otros no.

Este capítulo describe: 1) el marco de la ACDI para realizar las evaluaciones e identificar las responsabilidades que corresponden a la función; y ) las dificultades coyunturales propias de la cooperación para el desarrollo.

3.1

El marco de realización de las evaluaciones

El gobierno federal, a través del Consejo del Tesoro de Canadá, establece para cada ministerio y organismo los requisitos en materia de realización de evaluaciones. Estas evaluaciones se utilizan para identificar qué es lo que realmente funciona y lo que no funciona, y encontrar nuevas formas de conseguir los objetivos gubernamentales de la manera más rentable posible.

El Consejo del Tesoro actúa como gerente general del Gobierno de Canadá, encargándose de la gestión de sus recursos financieros, humanos y administrativos.

21

Sus responsabilidades consisten en: v Garantizar que los ministerios y organismos federales evalúen sus políticas y programas desde un punto de vista estratégico y utilicen los resultados para informar el proceso de toma de decisiones y la rendición de cuentas. v Establecer un marco estratégico para la realización de las evaluaciones y proponer normas y directrices.

La ACDI se ha comprometido a utilizar sus recursos de manera eficaz y efectiva en favor del desarrollo sostenible a fin de reducir la pobreza en los países en desarrollo y contribuir a un mundo más seguro, más justo y más próspero.

Para ello, existen tres niveles de análisis del rendimiento, esto es: v Los análisis que dependen de los socios o la dirección, entre los que se incluyen las evaluaciones de riesgos y auditorías financieras, las autoevaluaciones, los estudios operacionales y las actividades de seguimiento. v Los análisis independientes que dependen de la DGAR, como por ejemplo los exámenes, evaluaciones, investigaciones especiales y auditorías internas. v Los análisis realizados por los organismos centrales y el Parlamento.

Se espera que las evaluaciones proporcionen información útil que contribuya a tomar decisiones bien fundamentadas para lograr los objetivos de la ACDI de acuerdo con las prioridades estratégicas de la Agencia.

El recuadro 3 describe someramente el marco de evaluación de la ACDI, identificando las principales funciones, objetivos y contribuciones. En la “Actualización de la política de la ACDI para el análisis del rendimiento” se estableció con claridad la repartición de los papeles y responsabilidades entre la DGAR y las distintas direcciones generales de operaciones y de apoyo de la Agencia.

22

Guía de evaluación de la ACDI

Recuadro 3 El marco de evaluación de la ACDI

Función

Objetivo Contribución El Consejo del Tesoro de Canadá 1. Ac tú a d e ger en te Ga ra nti za r q ue la s 1. Es ta ble ce el m arc o gen er al ge ne ral d el Go bie rn o ev al uac io nes pa ra la r eal iz aci ón de l as de C ana dá pr op orc io nen i nfo rm aci ón ev al uac io nes . en ca rgá nd ose d e op or tun a, út il y ob jet iv a 2. Es ta ble ce la s nor ma s, su pe rvi sa r l a ges ti ón qu e per mi ta ev alu ar : di re ctr ic es y pri nc ipi os . de l os re cur so s fi na nci er os, h uma no s 1. La p ert in enc ia 3. Pr om uev e el ap ren di zaj e co nt inu a de la s y ad min is tra ti vos . or ga niz at ivo . po lí tic as y pr ogr am as 2. In di ca a los (t en ien do en c uen ta la mi ni ste ri os y ev ol uci ón de l a or ga nis mo s c óm o si tu aci ón ). re al iza r la ev alu ac ión 2. Lo s res ul tad os qu e se es tr até gi ca de su s es tá n p ro duc ie ndo . po lí tic as y pr ogr am as, y ut ili za lo s 3. La s opo rt uni da des d e re su lta do s p ar a ut il iza r otr os me jo rar e l p ro ces o de in st rum en tos o to ma de d eci si one s y me ca nis mo s m ás re nd ici ón de c uen ta s. re nt abl es .

1. Se asegura de que los recursos sean utilizados con eficacia y eficiencia en favor del desarrollo sostenible.

2. Cuida de que el financiamiento y las intervenciones armonicen con las prioridades y objetivos.

3. Mantiene informados a los canadienses sobre el rendimiento.

La alta dirección de la ACDI Utilizar la información sobre 1. Garantiza que las el rendimiento para: operaciones se beneficien de los informes sobre el 1. Establecer políticas, rendimiento. estrategias y orientaciones.

2. Se encarga de mantener un sistema de informes anuales 2. Informar el proceso de sobre los avances realizados toma de decisiones y la en los que figuran los asignación de recursos resultados previstos y los en el área de las resultados reales. operaciones.

3. Presenta al Parlamento el 3. Mejorar la rendición de Informe sobre el rendimiento cuentas sobre el de la ACDI. rendimiento.

4. Archiva los resultados y las lecciones en la memoria central de la Agencia.

23

Función

Objetivo La Dirección General de Análisis del 1. Constituye el centro Analizar las actividades en de responsabilidad favor del desarrollo para principal de la ACDI en informar a la dirección sobre: relación con la medición del 1. El grado de consecución rendimiento y la de los resultados información sobre el previstos y su relación rendimiento. costo-eficacia.

2. Se asegura de que los resultados sobre el rendimiento faciliten la toma de decisiones fundamentadas.

2. La pertinencia de los resultados y su carácter sostenible.

Contribución Rendimiento 1. Realiza las evaluaciones de acuerdo con las prioridades de la Agencia.

2. Elabora instrumentos, sistemas y guías.

3. Proporciona apoyo metodológico a todos los sectores de la Agencia.

3. La calidad de las asociaciones, la adecuación del diseño y la asignación de recursos, y la medida en la que las intervenciones son útiles y oportunas.

Las direcciones generales de operaciones y de apoyo 1. Garantizan una Tener en cuenta constante y 1. Orientan su gestión con gestión eficaz y sistemáticamente los vistas a obtener resultados. eficiente de acuerdo resultados en materia de con las políticas, rendimiento y las lecciones 2. Participan en la realización prioridades, normas y aprendidas en: de las evaluaciones. prácticas de la Agencia.

1. La gestión y la 3. Informan sobre los planificación estratégica resultados del análisis del 2. Se ocupan de medir el a nivel de la dirección rendimiento, comunicándolos rendimiento para que general. a los grupos interesados. las operaciones estén bien orientadas.

2. El diseño y la ejecución 4. Colaboran con la DGAR para de programas y mejorar las técnicas e 3. Determinan qué proyectos. instrumentos. políticas, programas y proyectos pueden ser 3. La elaboración de evaluados. sistemas, métodos y prácticas.

24

Guía de evaluación de la ACDI

3.2

Las realidades de la cooperación para el desarrollo

El lugar en el que se trabaja o las personas con las que se trabaja suelen desempeñar un papel decisivo a la hora de determinar el contexto para realizar las actividades. En los países en desarrollo, el éxito o fracaso de una intervención puede depender de un conjunto de factores o circunstancias que a menudo quedan fuera del control de la ACDI. Entre dichos factores se puede citar: v El clima político, económico, social y cultural en el país o países beneficiarios. v Los marcos institucionales y el nivel de acceso a los grupos interesados claves (por ej.: funcionarios, principales beneficiarios). v La estructura organizativa (las iniciativas con varios donantes pueden ser más complejas). v Los distintos puntos de vista de los socios participantes y organismos de ejecución canadienses. v Las expectativas de los grupos interesados, sobre todo de los beneficiarios.

Las expectativas de éxito deben ser plenamente conscientes de los desafíos que plantea el trabajo en el extranjero y con otros socios. A menudo, no se comprende bien esta dimensión del trabajo en el área del desarrollo internacional. Conviene pues mantener una actitud realista a la hora de definir los resultados que se espera obtener.

En su informe sobre los programas geográficos de la ACDI presentado a la Cámara de los Comunes en diciembre de 1998, el Interventor General de Cuentas de Canadá (IGC), reconociendo la envergadura de dicho desafío, recomendó a la ACDI que identificara los factores políticos y económicos atenuantes en sus informes para hacerlos más equilibrados y mejorar su credibilidad.

Otros factores que influyen en el contexto de medición del rendimiento son: v No existe una vía única y definitiva para favorecer el desarrollo. Recurrir a nuevos métodos y experimentar sobre el terreno puede aumentar los riesgos y perjudicar el rendimiento. Las estrategias iterativas pueden ofrecer el margen de maniobra o flexibilidad necesaria. v El amplio alcance de la cooperación en favor del desarrollo complica la preparación de los informes sobre el rendimiento. Resulta más fácil cuantificar los resultados concretos (el acceso al agua, la ayuda alimentaria, etc.) que el resto. En algunas iniciativas, los resultados son más bien cualitativos y no se manifiestan más que a largo plazo (por ej.: en las intervenciones en favor del desarrollo de recursos humanos, el desarrollo democrático).

25

Este es el contexto en el que se realizan las evaluaciones en los países en desarrollo.

Las realidades de la cooperación para el desarrollo y las dificultades que presentan las intervenciones de ayuda internacional constituyen siempre factores importantes que influyen en el diseño y ejecución de todas las actividades de medición del rendimiento y de información sobre el rendimiento. Al estar basado en la cooperación, el trabajo de desarrollo internacional obliga por lo general a alcanzar un nivel importante de compromiso. Por consiguiente, no es aconsejable en absoluto mostrarse autoritario y adoptar decisiones unilaterales que perjudican la consecución de los resultados previstos.

Fuentes útiles Publicaciones de la ACDI v Política de la ACDI para el análisis del rendimiento (julio de 1994) v La gestión basada en los resultados: declaración de política (abril de 1996) v Actualización de la política de la ACDI para el análisis del rendimiento (octubre de 1996) v El marco de responsabilización de la Agencia (julio de 1998) v Lecciones aprendidas de la gestión basada en los resultados de la ACDI (junio de 1998) v La gestión basada en los resultados en la ACDI: Guía de introducción a los conceptos y principios (enero de 1999) v Marco de resultados y factores claves de éxito (1999) Publicaciones del Consejo del Tesoro v Política de examen – Manual del Consejo del Tesoro - Examen, auditoría interna y evaluación

26

Guía de evaluación de la ACDI

CAPÍTULO 4: RESPONDER A LAS EXPECTATIVAS

•••••••••••••••••••••••••••••••••••••••••••••••••••••• En este capítulo:

• • •

La aplicación de los principios de la GBR Las características de una buena evaluación La probidad profesional

••••••••••••••••••••••••••••••••••••••••••••••••••••••

S

on varios los factores que contribuyen al éxito de una evaluación: adoptar el enfoque adecuado, seleccionar un evaluador competente y motivado, realizar el trabajo con debida diligencia y garantizar que los resultados sean al mismo tiempo útiles y utilizables. Asimismo, es necesario que el proceso de toma de decisiones refleje continuamente “buenas” reglas morales y “buenos” valores.

Las buenas evaluaciones son imparciales e independientes, producen resultados convincentes, responden a las expectativas del cliente, se ajustan al presupuesto establecido y mantienen y garantizan que los resultados se utilicen en todas las etapas del proyecto.

4.1

La aplicación de los principios de la GBR

En su declaración de política sobre la gestión basada en los resultados, la ACDI invita a sus directores a orientar sistemáticamente sus decisiones hacia la consecución de resultados, garantizando que se apliquen los principios de la GBR a todos los programas y actividades de la Agencia.

Se establecen los principios siguientes: v la simplicidad v el aprendizaje por tareas v la aplicación amplia v las asociaciones

27

v la responsabilidad v la transparencia La ACDI se ha comprometido a “hacer aceptar a sus empleados la idea de que la consecución de los resultados forma parte integral de sus responsabilidades”. Se logrará una mayor transparencia mediante “una mejor comunicación de los resultados en materia de desarrollo definidos con mayor claridad”.

4.2

Cuáles son las características de una buena evaluación

La evaluación debe orientarse más hacia resultados que hacia opiniones.

La calidad de una evaluación se mide no sólo por sus recomendaciones sino también por la forma en que el evaluador ha llegado a formularlas. El valor de una evaluación depende de la calidad de sus resultados. Al final, lo que determina si una evaluación es buena es el éxito de su contribución a la toma de decisiones informadas y al ciclo de aprendizaje mediante la difusión de información fiable, objetiva y veraz.

La medida en que los grupos interesados se sientan afectados por los resultados de la evaluación permite a menudo saber si la evaluación ha sido un éxito. Si los grupos interesados han participado en todas las etapas de la evaluación, probablemente las recomendaciones y lecciones aprendidas darán aún más frutos.

Algunas de las características de una buena evaluación son: Satisfacción de las expectativas v Cumplimiento de los requisitos del contrato y las expectativas establecidas en el plan de trabajo. v Aplicación de las normas profesionales que satisfacen las expectativas de la dirección.

28

Guía de evaluación de la ACDI

Valor añadido v Orientación hacia el mandato de la ACDI, sus prioridades de intervención y sus temas multidisciplinarios (por ej.: la igualdad entre los sexos, el medio ambiente, el desarrollo de capacidades). v Contribución al esfuerzo en favor del desarrollo de la ACDI, a la toma de decisiones informadas y al aprendizaje. v Presentación clara y concisa de los resultados adaptada a las necesidades de los públicos principales. v Formulación de recomendaciones útiles y pragmáticas y presentación de lecciones aprendidas mediante un proceso basado en la participación directa de los grupos interesados.

Calidad de los resultados v Producción de resultados convincentes y fiables mediante un diseño adecuado, un examen profundo de los hechos y la utilización de métodos y técnicas rigurosas. v Imparcialidad y objetividad mediante el respeto constante de los principios de independencia, neutralidad, transparencia y justicia en todas las etapas.

Relación costos-beneficios v Beneficios reportados a la Agencia. v Utilización razonable de los recursos humanos, financieros y materiales.

4.3

La ética, el fundamento del profesionalismo

Las normas éticas constituyen los cimientos de los valores en que se fundamentan todas las decisiones. A menos que se respeten esas reglas, la credibilidad y calidad de los resultados de la evaluación pueden peligrar.

La Sociedad Canadiense de Evaluación destaca en sus “Directrices de conducta ética” la importancia de: 1) la competencia en la prestación de servicios; 2) la integridad en las relaciones con los grupos interesados; y 3) la responsabilización en cuanto al rendimiento y los resultados.

29

La ACDI espera de los evaluadores de sus programas y proyectos que respeten los cinco principios generales en lo referente a la conducta ética: Rigor en la aplicación de los métodos de investigación v Realizar investigaciones profundas y objetivas utilizando métodos y técnicas adecuadas y observando las normas técnicas más rigurosas. v Validar la información mediante las distintas medidas y fuentes, incluidos los grupos interesados, que sea oportuno utilizar en el ámbito de la evaluación.

Competencia v Garantizar que el equipo de evaluación esté formado por personas con los estudios, competencias, cualidades y experiencia necesarios para realizar la evaluación. v Trabajar únicamente dentro de los límites de la formación y competencia profesional que se posea. v Tratar en todo momento de mejorar sus competencias metodológicas y especializadas.

Integridad v Ser honesto en cuanto a los conocimientos y competencias que se afirma poseer. v Comunicar con prontitud al cliente cualquier conflicto de interés o la posibilidad de que una situación se perciba como tal. v Explicar con exactitud los métodos, la información y los resultados, y tratar de evitar que ninguna otra persona pueda proporcionar información falsa. v Consignar todos los cambios efectuados durante la realización o informes de evaluación que se alejen del plan de trabajo, ofreciendo las explicaciones necesarias e informando al cliente y a los principales grupos interesados. v Informar al cliente de cualquier problema importante o constataciones que no estén directamente relacionadas con el mandato, o de cualquier fechoría real o percibida.

Respeto v Garantizar el carácter confidencial de la información proporcionada impidiendo la posibilidad de encontrar la fuente de dicha información. v Adoptar las estrategias necesarias para evitar que se perciba a los evaluadores como si fueran críticos con su sociedad.

30

Guía de evaluación de la ACDI

v Familiarizarse con las creencias, prácticas y costumbres de los habitantes de los países beneficiarios a fin de poder manifestar el respeto debido en materia de creencias religiosas, indumentaria, relaciones interpersonales, etc. v Encontrar un justo equilibrio entre la necesidad de satisfacer determinados requisitos relativos a la gestión (en materia de liderazgo, competencia, etc.) y la necesidad de recurrir a determinadas personas.

Responsabilidad v Presentar los documentos exigidos en los plazos previstos de conformidad con lo acordado con el cliente. v Presentar los resultados e informar con precisión de la marcha de la evaluación, identificando cualquier limitación o incertidumbre que pudiera influir en la interpretación de los resultados. v Demostrar prudencia y honestidad en la toma de decisiones financieras de forma que puedan justificarse los gastos y que el cliente salga ganando también.

Fuentes útiles v Directrices de conducta ética de la Sociedad Canadiense de Evaluación v Program Evaluation Standards – American Evaluation Association (AEA) v Guiding Principles for Evaluators (AEA)

31

32

Guía de evaluación de la ACDI

CAPÍTULO 5: DESARROLLAR LA CAPACIDAD DE EVALUACIÓN EN LA PLANIFICACIÓN Y EL DISEÑO

•••••••••••••••••••••••••••••••••••••••••••••••••••••• En este capítulo:

• • •

La GBR y la capacidad de evaluación La aplicación del “Marco de resultados y factores claves de éxito” Directrices para desarrollar la capacidad de evaluación

••••••••••••••••••••••••••••••••••••••••••••••••••••••

Distinción entre planificación y diseño El diseño se basa en los conocimientos adquiridos y la información reunida durante la etapa de planificación (por ej.: en las evaluaciones de viabilidad, consultas, análisis).

R

esulta conveniente tener en cuenta la evaluabilidad de las inversiones en las etapas de planificación y diseño. Las posibilidades de éxito de una evaluación aumentan si durante la planificación y el diseño de los programas, proyectos o inversiones de desarrollo se desarrolla su capacidad de evaluación.

La orientación de la ACDI hacia la consecución de resultados previamente determinados contribuye a mejorar la evaluabilidad de las inversiones: v Desde la institucionalización de la GBR, el Marco de rendimiento y el Marco de medición del rendimiento (MMR) se han convertido en elementos esenciales para la planificación y el diseño (en sustitución del Marco de análisis lógico). Estas matrices presentan la progresión jerárquica de la consecución de resultados con el paso del tiempo (esto es, logros, efectos y repercusiones) y la forma de medir el rendimiento con respecto al grado de consecución de los resultados previstos.

33

v Los resultados previstos deben tener en cuenta los resultados en materia de desarrollo y factores de éxito descritos en el “Marco de resultados y factores claves de éxito” de la ACDI. Esta herramienta de trabajo integral deberá aplicarse de forma constante, sistemática y estratégica a la hora de establecer las modalidades de diseño, planificación, ejecución y presentación de informes.

5.1

Los marcos de rendimiento de la GBR

La GBR introdujo el marco de rendimiento y el marco de medición del rendimiento para facilitar la sistematización de un enfoque racional y global que privilegie la consecución de resultados y su aplicación en la planificación y el diseño de los programas y proyectos de desarrollo.

El marco de rendimiento representa gráficamente las relaciones de causa y efecto entre las actividades, el alcance y los resultados de desarrollo. En él se describen los objetivos estratégicos, la cadena de resultados previstos, los principales grupos interesados y las actividades más importantes. Numerosos factores influirán en la evolución de las relaciones entre esos elementos diferentes. El marco de rendimiento ofrece un contexto para esas relaciones estableciendo las condiciones necesarias para el éxito. Para ello es preciso determinar las hipótesis subyacentes en las que deberían fundamentarse las relaciones de causa y efecto, y evaluar los riesgos asociados.

El marco de medición del rendimiento explica de forma sistemática cuál es el objeto del estudio, ofreciendo un plan estructurado para recopilar, analizar, utilizar y difundir la información sobre el rendimiento. Describe las actividades que se realizarán, quién se encargará de realizarlas, cómo y cuándo. La primera etapa en la preparación del marco de medición del rendimiento consiste en establecer los indicadores de rendimiento que ayudarán a definir las modalidades de recopilación de la información. Algunos de los aspectos claves que deben tenerse en cuenta a la hora de escoger los indicadores de rendimiento son su claridad, su eficacia para responder a las necesidades y su capacidad para ser medidos o evaluados.

Los marcos de rendimiento deben actualizarse regularmente durante el curso de la iniciativa a fin de reflejar los cambios y hechos que puedan repercutir en los resultados previstos, la forma en que se miden los progresos realizados y las hipótesis y riesgos subyacentes. Actualizar regularmente los marcos de rendimiento mejorará su utilidad a la hora de medir el rendimiento e informar al respecto.

34

Guía de evaluación de la ACDI

5.2

La aplicación del “Marco de resultados y factores claves de éxito”

Los resultados en materia de desarrollo y los factores de éxito son en realidad una lista de control que permite analizar e integrar los aspectos claves en las etapas de planificación y diseño. De esta forma se puede determinar qué medios se adoptarán para obtener los resultados que la Agencia espera alcanzar.

En realidad esto equivale a diseñar la inversión en función de la consecución de resultados, debiendo constituir sus elementos la base de valoración del rendimiento en cualquier evaluación posterior.

5.3

El desarrollo de la capacidad de evaluación

El éxito de una evaluación puede variar dependiendo del tiempo que se dedica a desarrollar la capacidad de evaluación en la etapa de diseño.

La aplicación de las siguientes directrices puede contribuir a desarrollar la capacidad de evaluación en las etapas de planificación y diseño: v Desde la institucionalización de la GBR, el Marco de rendimiento y el Marco de medición del rendimiento (MMR) se han convertido en elementos esenciales para la planificación y el diseño (en sustitución del Marco de análisis lógico). Estas matrices presentan la progresión jerárquica de la consecución de resultados con el paso del tiempo (esto es, logros, efectos y repercusiones) y la forma de medir el rendimiento con respecto al grado de consecución de los resultados previstos. v Es importante ser realista a la hora de decidir qué logros pueden alcanzarse. Las expectativas en cuanto al rendimiento deben tener en cuenta las realidades de la cooperación para el desarrollo y los desafíos que conlleva trabajar en el extranjero. v El evaluador debe comparar los resultados reales con los resultados previstos. En realidad, su tarea consiste en determinar en qué medida se ha logrado resolver los problemas que la dirección esperaba solucionar. Por consiguiente, es importante que los resultados previstos se expresen claramente durante las etapas de planificación y diseño a fin de establecer la base para dicha comparación.

35

v La política de la ACDI identifica una serie de temas multidisciplinarios (por ej.: la reducción de la pobreza, la igualdad entre los sexos, el medio ambiente) que todas las actividades de desarrollo deben abordar. Corresponde pues a los diseñadores garantizar que se incluyan los puntos de referencia necesarios relacionados con dichos temas. El evaluador, por su parte, debe medir los efectos e implicaciones de la inversión con relación a esos temas e informar al respecto. v Debe limitarse el número de indicadores establecidos para medir el rendimiento durante las etapas de planificación y diseño a fin de simplificar la medición del rendimiento. v Las lecciones aprendidas de la experiencia pueden resultar de gran utilidad. Es necesario insistir durante las etapas de planificación y diseño en la necesidad de consignar esas lecciones. v La GBR favorece la participación de los grupos interesados durante todas las etapas del programa/proyecto, incluidas las de planificación y diseño. Se espera que las evaluaciones sean participativas, esto es, que los evaluadores establezcan con los grupos interesados la importancia de su participación. v Si se dispone de los recursos necesarios, se pueden establecer en las etapas de planificación y diseño las modalidades relativas a la recopilación de información básica. Prever anticipadamente las necesidades en materia de información ayuda a prevenir los problemas de falta de información que pueden presentarse durante el transcurso de la evaluación o a posteriori. Los evaluadores que no dispongan de la información básica deberán escoger otra solución para medir el rendimiento. Por ejemplo, los informes sobre los avances realizados son menos precisos a la hora de medir los cambios marginales.

36

Guía de evaluación de la ACDI

CAPÍTULO 6: DIRECTRICES PARA EL ÉXITO

•••••••••••••••••••••••••••••••••••••••••••••••••••••• En este capítulo:

• • •

Cómo rentabilizar las evaluaciones Las evaluaciones participativas El desarrollo de las capacidades locales

••••••••••••••••••••••••••••••••••••••••••••••••••••••

E

ste capítulo analiza las opciones para rentabilizar al máximo las inversiones de la ACDI en las evaluaciones. Tras presentar las directrices para que las evaluaciones sean lo más rentables posible, analizaremos la importancia de la participación de los grupos interesados y del desarrollo de las capacidades locales.

6.1

Optimizar los resultados

Las evaluaciones pueden ofrecer lecciones de desarrollo para mejorar la entrega de ayuda y lecciones operacionales para mejorar las prácticas de trabajo gerenciales y administrativas.

El recuadro siguiente presenta varias directrices para realizar evaluaciones exitosas: Recuadro 4 Directrices para el éxito

Planificación 1. En la etapa de planificación, deberán considerarse de manera especial los siguientes aspectos: la contribución a la reducción de la pobreza, las repercusiones en los objetivos prioritarios de la ACDI y la satisfacción de las necesidades de los beneficiarios locales.

37

2. Se espera que el evaluador respete las normas e informe de los elementos esenciales.

3. El objetivo del proceso de evaluación es obtener resultados exactos, útiles y pertinentes, y hacerlo de manera racional a fin de reducir al mínimo posible el uso de los recursos y tiempo disponibles.

4. Deben enunciarse claramente las expectativas y necesidades de la evaluación, garantizándose al mismo tiempo que la dirección de la ACDI y el evaluador las comprendan bien.

5. La evaluación debe servir para mejorar el proceso de toma de decisiones y resolución de problemas, al utilizar la Agencia sus resultados como elemento clave a la hora de determinar el diseño.

6. El evaluador deberá poder dedicar todo el tiempo y energía necesarios a la elaboración de un plan de trabajo adecuado y eficaz.

7. El plan de trabajo debe ser lo suficientemente detallado para que sea posible determinar si se ha respondido a las expectativas y necesidades.

8. A la hora de formar el equipo de evaluación deberá tenerse en cuenta principalmente la capacidad de los interesados para trabajar juntos a fin de realizar la evaluación con éxito y no únicamente su experiencia y competencias.

9. El equipo de evaluación debe poseer las competencias técnicas que requiere el análisis de los temas multidisciplinarios pertinentes.

10. La participación constructiva de los grupos interesados debe formar parte integral de los procesos de planificación, ejecución y diseño.

11. Las expectativas en cuanto al rendimiento deben tener en cuenta los desafíos que conlleva trabajar en los países en desarrollo.

Ejecución 1. Los evaluadores deben garantizar que los recursos sean bien utilizados y sirvan principalmente para medir el rendimiento durante el transcurso de la evaluación. La mejor manera de garantizar que se respete el plan de trabajo y se hagan las mejoras necesarias en materia de operaciones es la preparación de informes sobre la marcha de la evaluación.

2. Las actividades de evaluación deben respetar el plan de trabajo y ser al mismo tiempo lo suficientemente flexibles para mejorar las ideas y métodos. Deberá informarse a la Agencia inmediatamente de cualquier cambio significativo con relación a la estrategia establecida.

38

Guía de evaluación de la ACDI

3. Los evaluadores deberán ser conscientes de que las evaluaciones son molestas, por lo que se mostrarán respetuosos y se adaptarán a la situación, evitando en la mayor medida de lo posible interrumpir a las personas afectadas en su trabajo diario.

4. Las evaluaciones deben llevarse a cabo en un ambiente positivo, destacando la consecución de objetivos constructivos.

5. Deberá mantenerse un diálogo abierto y franco con los grupos interesados durante todas las etapas del programa o proyecto, e informarles periódicamente a fin de mantenerles al corriente de la evolución de la situación.

6. Los informes sobre la marcha del proyecto o programa deberán ser objetivos y moderados. Nadie se ve beneficiado cuando los problemas no se solucionan o empeoran.

7. Los evaluadores deben demostrar en todo momento respeto absoluto de a cultura, creencias, costumbres y prácticas locales.

Informes 1. Los informes de evaluación deben explicar detalladamente las razones por las que se decidió realizar la evaluación, qué es lo que se hizo, cuáles fueron los logros y qué lecciones se aprendieron.

2. Los informes de evaluación no deben ser demasiado largos a fin de facilitar su lectura por el mayor número posible de personas, y se centrarán únicamente en los aspectos esenciales.

3. Los informes deberán adaptarse específicamente al tipo de público al que se dirigen.

4. La información presentada debe ser precisa y de fácil comprensión a fin de reducir el riesgo de que sea malinterpretada.

5. Los informes deben presentar únicamente resultados convincentes, útiles y válidos.

6. Los encuentros con ciertos públicos de grupos interesados pueden resultar útiles y permiten proporcionar explicaciones y aclaraciones.

Comunicación de los resultados 1. Debe garantizarse que las evaluaciones aporten los máximos beneficios al mayor número posible de personas en materia de desarrollo por todo el mundo.

2. A fin de que la comunicación de los resultados tenga éxito se necesita preparar un plan de comunicación que tenga en cuenta las necesidades de todos los públicos a quienes se dirige la información.

39

3. La difusión de la información debe realizarse de forma estratégica, respondiendo a las necesidades de los grupos interesados de aprender del proyecto y respetando al mismo tiempo las reglas impuestas por la ACDI.

6.2 La importancia de fomentar la participación de los grupos interesados Es indispensable que los grupos interesados participen en el establecimiento del alcance de las evaluaciones y en el diseño, la planificación de las actividades, la recopilación de la información y la difusión de los resultados.

Las evaluaciones mejoran cuando los grupos interesados participan directamente en lugar de ser una mera fuente de información. Además de favorecer la adopción de una orientación más pragmática y una mayor colaboración sobre el terreno, esta participación aumenta las posibilidades de que se apliquen las recomendaciones.

Cuando las evaluaciones son participativas, los beneficiarios y otros intervinientes locales disfrutan de las ventajas que les reporta la experiencia de trabajo y se responsabilizan desde el punto de vista del perfeccionamiento profesional.

6.3

El desarrollo de las capacidades locales

El empleo de recursos locales y la participación de los grupos interesados en las evaluaciones debería considerarse como una oportunidad ventajosa para todos.

Identificar métodos y prácticas mejores resulta sin duda beneficioso en el área del desarrollo internacional. La ACDI puede aprovechar los conocimientos, competencias y perspectivas locales, mientras que por su parte, los países beneficiarios mejoran sus capacidades profesionales.

Otras ventajas destacadas son:

v Las posibilidades de que se apliquen las recomendaciones son mayores, dado que los grupos interesados se sienten más afectados cuando participan directamente.

v La difusión de la información sobre prácticas de desarrollo y la transparencia al respecto, al ser formas de rendir cuentas al público, pueden aumentar la confianza del público en el gobierno del país beneficiario.

v Las evaluaciones pueden favorecer la instauración de una cultura de aprendizaje y la creación de una infraestructura de información en los países en desarrollo.

40

Guía de evaluación de la ACDI

CAPÍTULO 7: LA PREPARACIÓN DEL M ANDATO

•••••••••••••••••••••••••••••••••••••••••••••••••••••• En este capítulo:

• •

La utilidad del mandato Pautas para preparar el mandato

••••••••••••••••••••••••••••••••••••••••••••••••••••••

El mandato conceptualiza la evaluación y determina los parámetros generales para su realización

E

l mandato expone las necesidades y expectativas de la dirección con respecto a la evaluación. Describe lo que debe evaluarse, la razón por la que se solicita la evaluación y la forma en que debe realizarse. El mandato permite al lector visualizar claramente la situación, conceptualiza la evaluación y establece sus parámetros generales y elementos esenciales.

Por lo general, es el director de evaluación de la ACDI quien prepara el mandato poco tiempo después de que el director del centro de responsabilidad de la Agencia decida realizar la evaluación. La longitud y profundidad del mandato dependen normalmente de la importancia y complejidad de la evaluación.

Más concretamente, el mandato comporta:

v Una descripción de la inversión que ha de evaluarse y de su contexto de rendimiento particular.

v Una exposición de las razones por las que se realiza la evaluación. v Una descripción del alcance y el objeto.

41

v Una exposición de la forma en que se realizará la evaluación. v Un programa y calendario. v Las previsiones presupuestarias.

El mandato debe reflejar la prioridad que la GBR otorga a la consecución de resultados, incorporando los principios y prácticas de la Agencia en materia de GBR. Deberán aplicarse los resultados en materia de desarrollo y los factores de éxito enunciados en el “Marco de resultados e indicadores claves del éxito” de la ACDI a fin de describir qué aspectos debe abordar la evaluación y establecer la orientación de las actividades previstas.

7.1

La utilidad del mandato

El mandato presenta una visión general preliminar de la evaluación. Sirve para orientar el proceso de evaluación hasta que se complete su plan de trabajo, convirtiéndose éste a partir de ese momento en el principal documento de referencia. El plan de trabajo de la evaluación, que es preparado por el evaluador, es más detallado y preciso que el mandato, pudiendo considerársele como su versión mejorada.

Desde el punto de vista práctico, el mandato sirve para:

v Describir el proyecto que ha de evaluarse para las necesidades de la administración y gestión internas.

v Explicar las etapas de selección del evaluador y de adjudicación de contratos, y servir como documento de referencia para preparar la exposición de las actividades a realizar.

v Establecer las bases del plan de trabajo del evaluador.

7.2

Antes de comenzar

Antes de comenzar a preparar el mandato, el director de evaluación debe disponer de la siguiente información básica:

v La razón por la que se realiza la evaluación. v Los aspectos que debe abordar. v Los recursos de que se dispone. v Un cálculo de los costos que se prevén.

42

Guía de evaluación de la ACDI

v Los conocimientos especializados necesarios. v Los plazos que han de respetarse.

7.3

La preparación del mandato

Fuente de referencia principal El marco de rendimiento para la inversión objeto de la evaluación identifica los resultados previstos, el alcance, los grupos interesados, las actividades, etc.

En esta sección se describen los elementos esenciales que deben tenerse en cuenta a la hora de preparar el mandato, añadiéndose al final de cada elemento una lista de control para comprobar que no se ha olvidado ningún aspecto. Dado que esta lista ofrece tan sólo una idea general de las preguntas que podrían hacerse, conviene adaptarla a cada situación individual.

7.3.1

Título

Un buen título debe ser breve, descriptivo y fácil de recordar. Un título que pueda convertirse en un acrónimo fácil de pronunciar puede facilitar las comunicaciones.

7.3.2

Perfil de la inversión

Es necesario establecer el perfil de la inversión objeto de la evaluación prestando especial atención a los resultados previstos y a la forma en que deben obtenerse. Se explicará la razón de ser de la evaluación y su contexto particular en materia de desarrollo. La razón de ser de la inversión debe relacionarse con : 1) la reducción de la pobreza y el desarrollo sostenible; 2) las prioridades de intervención de la ACDI, y 3) las necesidades de los beneficiarios locales. Deberá proporcionarse asimismo una indicación general de los avances del proyecto o programa hasta la fecha.

43

Lista de control

7.3.3

√

¿Qué resultados espera obtener la inversión?

√

¿Cómo deben conseguirse dichos resultados?

√

¿Qué relación existe entre los resultados previstos y la reducción de la pobreza?

√

¿De qué manera se tiene en cuenta la situación, las necesidades y los problemas locales?

√

¿De qué forma se abordan los temas multidisciplinarios?

√

¿Cuál es el grado de consecución de los resultados previstos?

Razones para la evaluación

Las evaluaciones suelen solicitarse porque la dirección desea obtener información sobre el rendimiento de una determinada inversión u organización. La guía de introducción a los conceptos y principios de la GBR de la ACDI establece que: “los directores deben contar con información sobre el rendimiento relativa a los recursos, el alcance y los resultados a fin de poder planificar, administrar y evaluar sus programas y proyectos”.

El mandato debe explicar las razones por las que la dirección de la ACDI decidió realizar la evaluación en cuestión y cuáles son los resultados que espera obtener. Deben identificarse asimismo los factores individuales que repercutieron en esa decisión.

Lista de control

44

√

¿Cuáles son los factores que motivaron esta evaluación?

√

¿Qué valor añadido espera obtener la ACDI de la evaluación?

Guía de evaluación de la ACDI

7.3.4

Alcance y objeto

El alcance ofrece una indicación de los aspectos principales que debe abordar la evaluación. El objeto de la evaluación se determina realizando una serie de preguntas que son esenciales respecto a los puntos a analizar.

Lista de control

7.3.5

√

¿Adquiere el lector una buena idea de los aspectos que se propone abordar la evaluación?

√

¿Se han descrito con suficiente claridad los puntos generales que debe analizar la evaluación?

√

¿Cubren las preguntas sobre el objeto de la evaluación los aspectos específicos que deberá tratar la evaluación con suficiente detalle?

Participación de los grupos interesados

En la ACDI las evaluaciones tienen un carácter participativo y se espera que los grupos interesados participen de forma directa y constructiva en la planificación y el diseño, la recopilación y el análisis de información, la preparación de los informes y la comunicación de los resultados. Entre los grupos interesados pueden incluirse los beneficiarios, los gobiernos de los países beneficiarios, otros donantes, los socios y otras partes intervinientes.

El mandato debe incluir por lo tanto: 1) una lista de todos los grupos interesados que participan en la inversión; 2) una indicación del alcance de su participación; y 3) una descripción general de la forma en que la ACDI prevé hacerles participar en la evaluación.

45

Lista de control ¿Se ha identificado a los grupos interesados? ¿De qué manera participan los grupos interesados y qué papel han desempeñado hasta la fecha en la ejecución del proyecto, programa, etc.? ¿Qué papel se espera que desempeñen los grupos interesados en la evaluación y de qué manera se les debe consultar respecto a cuestiones de rendimiento?

7.3.6

Papeles y responsabilidades

El mandato debe describir brevemente cómo se estructurará la evaluación, precisando claramente los papeles y responsabilidades de la Agencia y del evaluador.

Por ejemplo:

v Por lo general, la responsabilidad global de la evaluación corresponde al director de evaluación de la ACDI.

v El director de evaluación de la ACDI debe encargarse también de administrar el proceso de evaluación, orientar todas las etapas de la ejecución y aprobar todos los documentos producidos.

v El evaluador es responsable de realizar la evaluación, dirigir las actividades diarias, presentar los informes sobre la marcha de la evaluación al director de evaluación de la ACDI, establecer los resultados y preparar el informe de evaluación final.

Lista de control √

46

¿Se establecen y delimitan claramente los papeles y responsabilidades de la Agencia y el evaluador?

Guía de evaluación de la ACDI

7.3.7

Proceso de evaluación

En esta sección se describe en líneas generales cómo debe llevarse a cabo la evaluación. El mandato debe ofrecer la información adecuada para facilitar la preparación del plan de trabajo.

Por lo general, el evaluador deberá: √

Preparar un plan de trabajo a partir del cual pueda comenzar la evaluación. En el plan de trabajo se detallan con mayor precisión los parámetros generales establecidos en el mandato a fin de responder a las necesidades de planificación de las actividades.

√

Realizar una visita sobre el terreno para recopilar información y reunirse con el personal de la ACDI y los grupos interesados.

√

Preparar un informe de evaluación.

Deberá hacerse referencia a la importancia de respetar las reglas establecidas en la “Guía de evaluación de la ACDI”.

Lista de control

7.3.8

√

¿Se explica con claridad cómo se llevará a cabo la evaluación?

√

¿Permite la información suministrada establecer el plan de trabajo?

√

¿Son realistas las expectativas teniendo en cuenta los plazos establecidos y las previsiones presupuestarias?

Documentos a producir

Por lo general, los términos del contrato exigen que el evaluador produzca dos documentos esenciales: 1) un plan de trabajo; y 2) un informe final (acompañado de una síntesis). Las normas para elaborar estos documentos deberán basarse en los requisitos establecidos en el “Guía de evaluación de la ACDI”.

Las instrucciones relativas, por ejemplo, a la traducción, la impresión, la publicación en formato electrónico o copia impresa, o el número de ejemplares se limitarán a aquellos aspectos que deban determinarse por adelantado.

47

Deberán describirse asimismo las expectativas en cuanto a la presentación de informes sobre la marcha de la evaluación al director de evaluación de la ACDI por parte del evaluador y a las comunicaciones con los grupos interesados.

Se puede establecer un calendario para la evaluación, fijando fechas límites para la presentación de los documentos exigidos o la realización de otras tareas. Es conveniente asimismo especificar fechas de entrega para la primera versión de los documentos.

Es importante también que:

v las evaluaciones estén programadas estratégicamente a fin de acoplarse a los ciclos de toma de decisión de la ACDI;

v los plazos establecidos sean realistas, ofreciendo un margen suficiente para que la evaluación pueda realizarse de acuerdo con las expectativas.

Lista de control

48

√

¿Se identifica con claridad la obligación de producir determinados documentos?

√

¿Se describe claramente la obligación de presentar al director de evaluación de la ACDI informes sobre la marcha de la evaluación?

√

¿En caso necesario, se han fijado fechas límites para la producción de los documentos exigidos?

√

¿Permiten los plazos establecidos transmitir a la dirección de la ACDI la información en el momento oportuno para la toma de decisiones estratégicas?

√

¿Se ha previsto tiempo suficiente para que todas las tareas asignadas puedan realizarse?

Guía de evaluación de la ACDI

7.3.9

Cualidades del evaluador

En esta sección se identifican las calificaciones, experiencia, conocimientos especializados y competencias probadas que debe poseer el evaluador para llevar a buen término la tarea encomendada por la ACDI. Entre los requisitos que debe reunir el evaluador figuran:

v Experiencia en la realización de evaluaciones, principalmente en países en desarrollo y en la región o país en cuestión.

v Competencia lingüística. v Conocimientos técnicos, analíticos y sectoriales. v Participación prevista de empresas o personas locales. v Experiencia en la realización de evaluaciones participativas. v Niveles de rendimiento demostrados.

Deberá prestarse especial atención a: 1) la capacidad para realizar evaluaciones participativas; 2) el conocimiento de los temas multidisciplinarios adquirido sobre el terreno; y 3) las expectativas en cuanto a la utilización de especialistas locales.

Lista de control √

¿Describen adecuadamente las cualidades exigidas la experiencia, competencias y capacidades que debe poseer el evaluador?

√

¿Se ha mencionado la capacidad de abordar temas multidisciplinarios?

√

¿Se ha identificado adecuadamente el alcance de la participación de especialistas locales?

√

¿Se ha hablado de la experiencia que debe poseer el evaluador en la realización de evaluaciones participativas?

49

7.3.10 Previsiones presupuestarias El director de evaluación de la ACDI establece las previsiones presupuestarias para identificar la naturaleza y magnitud de los gastos con fines administrativos y financieros.

Dichas previsiones deben corresponder a las expectativas de la dirección respecto a los costos previstos de la propia evaluación, así como de los desplazamientos, comunicaciones, producción de informes, etc. Deberá establecerse asimismo una previsión respecto a las horas de trabajo para determinar el costo de los honorarios profesionales.

En las previsiones presupuestarias se indicarán por separado los importes correspondientes a los honorarios profesionales (distinguiendo asimismo los gastos de profesionales canadienses y los de profesionales locales) y otros gastos. Con respecto a los gastos, se desglosarán los distintos elementos cuando la situación lo permita. Las previsiones presupuestarias están reservadas para uso interno de la Agencia.

Como para cualquier ejercicio de determinación de costos, es importante establecer las previsiones de gastos con la mayor exactitud posible. Si los cálculos no son realistas, puede resultar necesario modificar el contrato en plena realización de la evaluación si se carece de fondos suficientes. Es importante prever un cierto importe para los imprevistos y para posibles errores de planificación.

Lista de control

7.4

√

¿Se han previsto suficientes fondos para realizar el trabajo de acuerdo con las expectativas?

√

¿Son las previsiones presupuestarias lo suficientemente detalladas?

√

¿Se ha previsto un importe suficiente para los imprevistos y posibles errores de planificación?

La etapa siguiente

La información contenida en el mandato permite proceder a la etapa siguiente del proceso de evaluación, esto es, la selección de evaluador. El proceso de selección puede comenzar tan pronto como el director de evaluación de la ACDI apruebe el mandato. Por lo general, el mandato se adjunta a la solicitud de preparación de contrato y de asignación de fondos que se presenta al director del centro de responsabilidad en cuestión.

50

Guía de evaluación de la ACDI

CAPÍTULO 8: LA SELECCIÓN DEL EVALUADOR

•••••••••••••••••••••••••••••••••••••••••••••••••••••• En este capítulo:

• • • •

El proceso de selección La contratación competitiva Las pautas para la selección El análisis del resultado de la selección

••••••••••••••••••••••••••••••••••••••••••••••••••••••

Garantizar la transparencia, el tratamiento equitativo y la igualdad de oportunidades.

P

or lo general la ACDI subcontrata las evaluaciones a profesionales externos. Se selecciona al candidato que se considera más competente con respecto a las expectativas de la Agencia. Resulta conveniente, por lo tanto, establecer con claridad cuáles son las cualidades exigidas en cuanto a calificaciones, experiencia y competencias necesarias para cumplir las obligaciones contractuales. El candidato seleccionado será el que reúna los requisitos establecidos y ofrezca a la ACDI la mejor relación calidad-precio.

La ACDI ha adoptado un procedimiento de contratación competitiva a fin de garantizar la transparencia, el tratamiento equitativo y la igualdad de oportunidades. Por otra parte, es beneficioso para la Agencia disponer de un amplio abanico de proveedores que puedan prestarle sus servicios. ¿En qué consiste este procedimiento? Independientemente de la opción de contratación que se utilice, el desafío consiste en dar con la mejor relación calidad-precio respetando al mismo tiempo el principio de la competencia leal.

La selección de un evaluador competente es un elemento indispensable para garantizar el éxito de la evaluación. De nada servirán los consejos ofrecidos o el control ejercido

51

por la ACDI para garantizar el éxito de la evaluación si el evaluador seleccionado no puede, por la razón que sea, desempeñar su cometido con el nivel de profesionalismo previsto. Así pues, es esencial invertir el tiempo y energía necesarios en la selección de un evaluador capaz y plenamente cualificado para el trabajo en cuestión.

A menudo se confían las evaluaciones a un equipo de evaluadores. En este caso, a la hora de seleccionar a los candidatos ideales deberán evaluarse no solamente las calificaciones individuales de los miembros del equipo sino también su capacidad real para trabajar en equipo.

Es importante asimismo tener en cuenta las condiciones de trabajo a menudo difíciles de los países en desarrollo. El evaluador seleccionado deberá poseer también la capacidad para desempeñar eficazmente su cometido durante las visitas sobre el terreno.

8.1

Cómo se realiza la selección

La selección de los evaluadores se realiza mediante un proceso establecido de adjudicación de contratos. Por lo general, la ACDI solicita a las consultoras una propuesta para realizar la evaluación y éstas le proponen un equipo de evaluación (o bien la ACDI utiliza algún otro mecanismo para iniciar la selección). Los candidatos son evaluados de acuerdo con la información suministrada en cada propuesta, en la que se describe la experiencia y conocimientos especializados de la consultora, así como los títulos y cualidades de los candidatos propuestos para el equipo de evaluación, en función de las exigencias específicas de la evaluación.

La contratación de un evaluador implica por lo general cuatro etapas: 1) decidir cuál será el modo de selección; 2) seleccionar al candidato que ofrezca la mejor relación calidadprecio; 3) notificar al candidato que ha sido elegido; 4) negociar y firmar el contrato.

El modo de selección escogido por la ACDI depende de las características de la evaluación en cuestión y de los factores específicos de la misma. El director de evaluación de la ACDI debe garantizar que el costo de un determinado modo de selección pueda justificarse y que los requisitos que se exijan de los candidatos participantes no sean excesivos.

52

Guía de evaluación de la ACDI

8.2

La contratación competitiva

Se espera que los directores de evaluación de la ACDI utilicen un sistema de contratación competitivo para seleccionar a los evaluadores.

En materia de adjudicación de contratos, la ACDI está a favor del ejercicio de la competitividad. El empleo de un modo de selección que no sea competitivo (por ej.: recurrir a un proveedor único) deberá justificarse plenamente y habrá de respetarse una serie de condiciones muy precisas.

Los siguientes modos de adjudicación de contratos son competitivos:

v Las invitaciones a presentar propuestas anunciadas en el Servicio Electrónico de Licitación (MERX).

v Los acuerdos de suministro regular durante un período determinado. v Las notificaciones previas de adjudicación de contrato (ACANS). v Las selecciones realizadas en virtud de acuerdos marco con organismos de servicio especiales.

El MERX permite tener acceso a una amplia gama de posibles consultores. Los acuerdos de suministro regular dan acceso a consultores preseleccionados y que reúnen los requisitos para realizar determinados tipos de trabajo. Asimismo, los organismos de servicio especiales que han suscrito acuerdos marco con la Agencia pueden proporcionar listas de consultores.

En los países en desarrollo a menudo se pueden obtener fácilmente listas de especialistas locales dirigiéndose a la sección de ayuda de la ACDI o a la unidad de apoyo al programa/proyecto sobre el terreno, la Embajada o el Alto Comisario, los donantes sobre el terreno o el gobierno local.

53

8.3

La contratación de especialistas locales

Ampliar la participación contratando a especialistas locales puede fomentar el interés de la población local por la evaluación y hacer que se sienta más afectada por sus resultados. La participación local ayuda a ampliar la reserva de especialistas en los países en desarrollo y puede aumentar las posibilidades de que se apliquen las recomendaciones.

Una de las garantías que la ACDI puede exigir es que evaluadores u otros especialistas locales participen de una forma u otra en la evaluación. El mandato debe establecer clara y detalladamente los requisitos en materia de contratación de especialistas locales.

8.4

El establecimiento de la mejor relación calidad-precio

Para que la evaluación tenga éxito, es esencial seleccionar a un evaluador competente.

¿Cómo escoger al mejor candidato? ¿Qué cualidades debe buscar la ACDI? La selección del evaluador consiste ante todo en encontrar un evaluador competente que pueda completar la tarea y satisfacer las expectativas de la Agencia, y que ofrezca al mismo tiempo la mejor relación calidad-precio.

La selección del evaluador tiene en cuenta, por lo general, cuatro factores:

v Las expectativas de los responsables de la selección y su opinión. v Las credenciales del evaluador. v La capacidad del evaluador para competir en el proceso de contratación. v El precio solicitado por el evaluador para completar la evaluación.

En algunos casos, si varios candidatos obtienen la misma clasificación, la selección final puede basarse en criterios económicos y se escogerá al evaluador que presente el precio más bajo, garantizando de esta forma la mejor relación calidad-precio para la ACDI.

54

Guía de evaluación de la ACDI

8.4.1

Valoración estratégica

¿Es el evaluador “adecuado” para el trabajo? Si se trata de un equipo ¿sabrán trabajar juntos sus miembros con eficacia? ¿Cómo será la actuación del equipo durante las visitas sobre el terreno? ¿Cuenta el equipo con una experiencia probada para obtener los resultados previstos y satisfacer las expectativas?

Responder a estas preguntas puede resultar difícil. La información de referencia apenas proporciona una indicación de las capacidades para efectuar determinadas tareas. En ocasiones, realizar una valoración adecuada puede desempeñar un papel más importante que la propia información a la hora de seleccionar al evaluador.

8.4.2

Imparcialidad e independencia

Es esencial que el candidato seleccionado no se vea en una posición de conflicto de intereses como resultado de la adjudicación del contrato. El candidato no deberá haber participado ni previsto participar en el proyecto objeto de la evaluación o en cualquier otro proyecto que pudiera crear un conflicto de intereses con respecto a la evaluación en cuestión.

8.4.3

Liderazgo y dinámica de equipo

El liderazgo eficaz y la capacidad de gestión son esenciales. No puede restársele importancia a la necesidad absoluta de que exista una química de equipo y que sus miembros se lleven bien, especialmente cuando deben realizar actividades en condiciones de trabajo difíciles. Se espera que el equipo de evaluación funcione sin problemas y con autoridad y convicción, mostrándose sus miembros solidarios en todo momento.

8.4.4

Dominio de conocimientos básicos

La dirección espera que cada evaluación incorpore y refleje las políticas, principios y prácticas establecidas de la ACDI. El candidato seleccionado deberá tener por lo tanto un conocimiento práctico del mandato y las prioridades de la Agencia, de su política relativa a la GBR, del “Marco de resultados y factores claves de éxito” y otras herramientas esenciales de trabajo.

La experiencia de trabajo en países en desarrollo puede ser primordial. Idealmente, el candidato seleccionado deberá haber demostrado su capacidad para realizar evaluaciones exitosas en países en desarrollo con condiciones de trabajo o características similares.

55

8.4.5

Calificaciones

Los requisitos previos que debe reunir el evaluador en materia de conocimientos, competencias y experiencia dependen del trabajo que deba realizarse y de los resultados que se espere obtener con la evaluación. ¿Cómo decidir cuáles son los requisitos para una evaluación concreta?

Deberán tenerse en cuenta los siguientes aspectos:

v Los conocimientos técnicos, analíticos y sectoriales. v La capacidad de abordar temas multidisciplinarios. v La participación prevista de empresas o especialistas locales. v La experiencia en la realización de evaluaciones participativas. v Los niveles de rendimiento demostrados. v La competencia lingüística. v La capacidad para realizar consultas.

8.5

¿Ha escogido al buen candidato?

Para saber si los candidatos serán capaces de satisfacer las expectativas de la ACDI para realizar la evaluación, puede hacerse las siguientes preguntas.

Lista de control

56

√

¿Cuenta el candidato con los conocimientos y experiencia necesarios para organizar y llevar a cabo todos los aspectos de la evaluación de acuerdo con las expectativas de la dirección?

√

¿Comprende el candidato cómo debe aplicar la política de la ACDI en materia de GBR, el “Marco de resultados y factores claves de éxito” y otras herramientas relacionadas con el rendimiento?

√

¿Ha demostrado el candidato que es capaz de completar evaluaciones con éxito ajustándose al

Guía de evaluación de la ACDI

calendario establecido y a las restricciones presupuestarias?

8.6

√

¿Posee el candidato las cualidades de líder necesarias para dirigir adecuadamente el equipo y establecer relaciones positivas con los socios y los grupos interesados?

√

¿Reúne el equipo de evaluación propuesto los requisitos en materia de conocimientos técnicos y sectoriales?

√

¿Cuenta el equipo con experiencia de trabajo en países en desarrollo, en la región o país en cuestión que confirme su capacidad para realizar con éxito la evaluación?

√

¿Está el equipo suficientemente familiarizado con las costumbres y cultura locales, y posee la competencia lingüística para desenvolverse eficazmente sobre el terreno?

√

¿Cuenta el equipo con especialistas técnicos capaces de analizar las cuestiones esenciales relativas a temas multidisciplinarios (por ej.: la igualdad entre los sexos, el medio ambiente)?

√

¿Ha demostrado el candidato que es capaz de realizar evaluaciones participativas de manera eficaz y efectiva?

√

¿Comprende el candidato por qué debe contratarse a especialistas locales? ¿Se ha tratado esta cuestión adecuadamente?

La etapa siguiente

El director de evaluación de la ACDI procede a seleccionar al candidato y presenta su decisión al director del centro de responsabilidad para su aprobación. Acto seguido, se negocian las condiciones del contrato, en especial las cuestiones relativas al precio y método de pago. Tras firmar el contrato, el evaluador empieza a preparar su plan de trabajo.

57

58

Guía de evaluación de la ACDI

Capítulo 9: La Preparación Del Plan De Trabajo

•••••••••••••••••••••••••••••••••••••••••••••••••••••• En este capítulo:

• • •

La utilidad del plan de trabajo Las expectativas de la Agencia Pautas para la preparación del plan de trabajo

••••••••••••••••••••••••••••••••••••••••••••••••••••••

El plan de trabajo sirve para orientar la realización de la evaluación en función de las expectativas.

E

l plan de trabajo suele ser el primer documento que produce el evaluador. Una vez aprobado por la ACDI, se convierte en el documento clave de gestión que permite orientar la evaluación en función de las expectativas de la Agencia en todas las etapas del proceso.

La evaluación permite saber cuáles son los resultados producidos o atribuibles a una inversión y establece el nivel de satisfacción de las expectativas. El plan de trabajo de la evaluación resalta los logros alcanzados en función de los resultados en materia de desarrollo y los factores claves de éxito enunciados en el “Marco de resultados y factores claves de éxito”. Este marco desempeña un valioso papel para la ACDI, estableciendo un vínculo entre el diseño de la evaluación y los objetivos de la ACDI. El plan de trabajo sirve para:

v Ofrecer una visión general de la inversión objeto de la evaluación. v Describir las expectativas de la dirección con respecto a la evaluación. v Presentar a los miembros del equipo de evaluación.

59

v Precisar los papeles y responsabilidades de cada una de las partes. v Describir la metodología empleada en la evaluación. v Establecer los requisitos en materia de informes. v Determinar un calendario de trabajo con fechas límites para las etapas claves.

El director de evaluación de la ACDI y el evaluador harán cuanto puedan para establecer una buena relación de trabajo durante la etapa de planificación, manteniendo un diálogo que facilite una buena comunicación interpersonal durante todas las etapas de la evaluación. Es importante que al finalizar el proceso de planificación, ambas partes comprendan claramente y de la misma forma cómo se realizará el trabajo, sus papeles respectivos, las tareas a realizar y los plazos de presentación de los documentos exigidos.

A continuación describimos:

v Las etapas de la preparación del plan de trabajo. v Algunos elementos de importancia estratégica que deben tenerse en cuenta a la hora de preparar el plan de trabajo.

v Los aspectos que deben abordarse en el plan de trabajo.

9.1

En qué consiste la preparación del plan de trabajo

El mandato documenta las expectativas y parámetros iniciales de la ACDI para realizar la evaluación. El evaluador utilizará la perspectiva proporcionada en el mandato como punto de partida para establecer lo que es factible, añadiendo precisiones. El objetivo es ponerse de acuerdo con la ACDI respecto al plan de trabajo más adecuado para obtener los resultados previstos.

El evaluador debe examinar detenidamente todas las fuentes de información pertinentes a fin de disponer de los elementos que le permitan preparar su plan de trabajo. Deberá dirigirse al director de evaluación de la ACDI correspondiente para saber dónde puede encontrar la información en cuestión.

Entre las fuentes de información útiles figuran:

v La documentación y los expedientes. v La memoria central de la Agencia.

60

Guía de evaluación de la ACDI

v Las consultas al personal de la ACDI, los grupos interesados y otras personas con conocimientos útiles para la inversión (consultas directas, por teléfono, por correo electrónico).

Las evaluaciones suelen requerir una visita al país en desarrollo a fin de recopilar información sobre el terreno. Los preparativos relativos a los desplazamientos deberán formar parte del proceso de planificación. Normalmente es el director de evaluación de la ACDI, tras consultar con la oficina geográfica y el personal de la ACDI sobre el terreno, quien se encarga de establecer las reglas que deberá seguir el evaluador en el país en desarrollo.

Durante la etapa de preparación del plan de trabajo, el director de evaluación de la ACDI debe mantenerse informado de la marcha de la evaluación y se le podrá solicitar que clarifique los requisitos o expectativas, o que ofrezca asesoramiento. Una vez elaborado, se somete el plan de trabajo a la ACDI para su aprobación, tras lo cual, se comunica a la misión lo que se espera de ella de forma que puedan iniciarse los preparativos necesarios.

9.2

Aspectos estratégicos a considerar

Deberán tenerse en cuenta los siguientes aspectos estratégicos a la hora de preparar el plan de trabajo:

v El plan de trabajo debe dejar un cierto margen de libertad y ser capaz de adaptarse a la situación, favoreciendo al mismo tiempo la innovación y la creatividad. Se fomentarán las intervenciones iterativas cuando mejoren las medidas aprobadas previamente. Cualquier alejamiento importante del plan de trabajo, sin embargo, deberá ser aprobado por el director de evaluación de la ACDI.

v Se animará al evaluador a incorporar sus ideas y puntos de vista en el diseño de la evaluación, a fin de que la ACDI pueda beneficiarse de sus conocimientos, competencias y experiencia, y se pueda mejorar el mandato para que se traduzca en un valor añadido superior.

v Deberán establecerse con precisión cuáles son los resultados que se espera obtener con la evaluación. Dichos resultados deben ser útiles para la ACDI y viables teniendo en cuenta los límites impuestos por las realidades operacionales y los plazos previstos. Es importante que las expectativas relativas al rendimiento sean realistas dado el contexto material y las dificultades que puede conllevar el trabajo en países en desarrollo.

v Según la política de la ACDI en materia de GBR, los socios en la obtención de resultados deben evaluar ellos mismos los proyectos o programas de forma continua durante todas las etapas. El evaluador podría utilizar este recurso durante la etapa de planificación.

61

v El marco de rendimiento es la principal fuente de información utilizada para preparar el plan de trabajo. En él se explican los resultados que se esperaba obtener con la inversión en la etapa de diseño. Estas expectativas están relacionadas con el contexto operacional en esa etapa, y probablemente con una serie de condiciones e hipótesis subyacentes. Durante el proceso de planificación, el evaluador debe tener en cuenta hasta qué punto esos parámetros siguen siendo válidos.

v Se debe ser consciente del hecho de que los resultados y efectos de algunas inversiones únicamente se manifiestan a largo plazo.

v El plan de trabajo debe abordar la necesidad de identificar cualquier resultado imprevisto producido por la inversión.

v Es posible que para las evaluaciones que persiguen efectos más complejos sea necesario enviar una misión de reconocimiento sobre el terreno para adquirir una mejor idea de la organización del trabajo en el lugar, la existencia de información, los aspectos culturales locales a tener en cuenta, la participación de los grupos interesados locales y los requisitos lingüísticos. Por el contrario, las visitas sobre el terreno con fines de planificación suelen ser escasas debido a su costo generalmente prohibitivo. ¿Qué longitud debe tener el plan de trabajo? El evaluador debe esforzarse para que su plan de trabajo sea claro, conciso y preciso. El plan de trabajo deberá ser lo suficientemente detallado para informar y controlar la evaluación con eficacia.

9.3

La preparación del plan de trabajo

¿Cómo debe ser un plan de trabajo? En esta sección se describen los elementos claves que deben incluirse en un plan de trabajo, así como su contenido y su carácter más o menos detallado.

9.3.1

Descripción general de la inversión

En esta parte se presenta en términos generales la inversión objeto de la evaluación. El texto suele limitarse a una o dos páginas. Se ofrecerá una descripción de la estructura de la inversión y el contexto particular del país beneficiario, y se resumirán los resultados que se espera obtener (de acuerdo con lo establecido en el marco de rendimiento).

Se analizarán los siguientes aspectos prioritarios:

v Los vínculos con el mandato y las prioridades de la ACDI. v Los resultados previstos (por ej.: efectos, repercusiones, logros). v El alcance, identificando a los beneficiarios.

62

Guía de evaluación de la ACDI

v La importancia de la inversión. v La participación de los grupos interesados hasta la fecha.

Lista de control

9.3.2

√

¿Adquiere el lector una idea clara de la naturaleza del proyecto objeto de la evaluación y de su relación con el mandato y las prioridades de la ACDI?

√

¿Se suministra información sobre los resultados previstos, el alcance y la importancia de la inversión?

√

¿Se ha tratado el papel que desempeñarán los grupos interesados?

Expectativas con respecto a la evaluación

¿Por qué se realiza la evaluación? Es preciso explicar las razones por las que la ACDI lleva a cabo la evaluación. ¿Qué espera obtener la ACDI con esta evaluación?

Se analizarán los siguientes aspectos prioritarios:

v El análisis de la marcha de la evaluación con respecto a la consecución de los resultados previstos y los otros resultados en materia de desarrollo y factores de éxito enunciados en el “Marco de resultados y factores claves de éxito” de la Agencia.

v Las cuestiones a las que la Agencia desee prestar una atención especial (por ej.: la igualdad entre los sexos, el medio ambiente).

v La importancia de determinar las lecciones aprendidas con la experiencia. v Cualquier otra información sobre el rendimiento de la inversión que se espera obtener como resultado de la evaluación.

63

Por lo general, la preparación de esta sección supone precisar y ampliar la información elaborada para el mandato. Deberán mencionarse todos los documentos oficiales a los que se hace referencia.

Lista de control

9.3.3

√

¿Se explican claramente las razones por las que la dirección decidió realizar la evaluación?

√

¿Se describen con suficiente claridad las expectativas de la dirección con respecto a los exámenes relativos al “Marco de resultados y factores claves de éxito”?

√

¿Se precisan cuáles son los puntos a los que deberá prestarse especial atención y qué información adicional debe reunirse?

√

¿Se menciona la necesidad de extraer y aplicar las lecciones aprendidas con la experiencia?

Papeles y responsabilidades

El plan de trabajo deberá:

v Precisar la composición del equipo de evaluación, identificando el papel y responsabilidades principales de cada miembro (podrán adjuntarse los correspondientes currículos).

v Identificar a los representantes de la ACDI, describiendo sus papeles y responsabilidades (por ej., los del director de evaluación de la ACDI, los miembros del comité asesor, los representantes de la DGAR, los consultores regionales contratados por la ACDI).

Asimismo se describirán en términos generales las expectativas en cuanto a las responsabilidades de cada uno.

64

Guía de evaluación de la ACDI

Lista de control

9.3.4

√

¿Se han identificado debidamente los papeles y responsabilidades principales de todas las personas que realizan una contribución importante a la evaluación?

√

¿Se han establecido con claridad las expectativas en cuanto a las responsabilidades?

Metodología

El evaluador elaborará una metodología que responda a los requisitos y expectativas de la evaluación establecidas en el mandato. El objetivo es adoptar la estrategia más adecuada para conseguir los resultados previstos teniendo en cuenta la información, el tiempo y los recursos disponibles.

El plan de trabajo deberá:

v Explicar las razones que dieron forma a la metodología de evaluación. v Describir el modelo de evaluación, sus fuentes de información, métodos de recopilación de información y técnicas analíticas. ¿En qué se basa la credibilidad de una metodología de evaluación?

Para responder a esta pregunta, es importante recordar que el objetivo de la evaluación es determinar los resultados que pueden atribuirse a la inversión. El desafío reside en establecer las deducciones de causalidad. ¿Cuáles son los resultados que pueden atribuirse realmente a la inversión de la ACDI, y no a otros factores externos (por ej.: una recuperación económica, otras inversiones)? Una buena metodología de evaluación es la que permite establecer una relación directa entre los resultados y la inversión evaluada, eliminando de esa manera otras explicaciones posibles. Para ello se utilizan las hipótesis, la argumentación lógica y/o el análisis empírico.

El documento “Métodos de evaluación de programas: medida y atribución de los resultados de los programas” (Oficina del Contralor General, enero de 1991) analiza los factores y criterios que desempeñan un papel decisivo en la elaboración de una metodología de evaluación sustentable:

65

Recuadro 5 Aspectos a tener en cuenta para elaborar evaluaciones sustentables

Tipo de cuestión Elemento A. Criterios de investigación Cuestiones de medición 1. Fiabilidad 2. Validez de la medición 3. Amplitud y profundidad Cuestiones de atribución 1. Validez de las deducciones de causalidad B. Criterios relativos al contexto de toma de decisiones Posibilidad de formular 1. Objetividad conclusiones sustentables 2. Pertinencia teniendo en cuenta el contexto de toma de decisiones 3. Adecuación del nivel y el tipo de pruebas 4. Exhaustividad Cuestiones de orden práctico 1. Viabilidad 2. Asequibilidad 3. Cuestión de ética

Una metodología de evaluación comprende un modelo de evaluación, un método de recopilación de información y una técnica de análisis. El modelo de evaluación corresponde al modelo lógico utilizado para extraer conclusiones sobre los resultados.

Para escoger un modelo adecuado es preciso determinar la clase de información que deberá obtenerse y el tipo de análisis necesario.

Una vez seleccionado el modelo de evaluación, la etapa siguiente consiste en escoger el enfoque, métodos y técnicas específicas para aplicarlo, teniendo en cuenta las limitaciones temporales y presupuestarias.

El evaluador deberá, por lo tanto:

v Decidir cuáles son las fuentes de información más útiles y prácticas para las necesidades de la evaluación.

v Escoger un método de recopilación de información. v Seleccionar una técnica de análisis de la información en función de las necesidades y del tipo de información de que se dispone.

66

Guía de evaluación de la ACDI

Existen numerosas formas de recopilar y analizar la información a fin de determinar los resultados de una inversión. El recuadro 6 ilustra varias de las opciones que puede utilizar el evaluador.

Recuadro 6 Metodologías de evaluación Actividad Modelo Método de recopilación de información

Técnica analítica

Opciones Modelo experimental Modelo comparativo Modelo implícito Análisis de obras especializadas y estudio de expedientes Consultas Observaciones Encuestas Consulta de especialistas Estudios de casos Análisis estadístico Análisis no estadístico Análisis de otros resultados de programas Utilización de modelos Análisis costo-beneficio y análisis costo-eficacia

Modelo El plan de trabajo deberá identificar qué es lo que se aprendió a partir del análisis de obras especializadas, el estudio de expedientes y las primeras sesiones de consulta, e influyó a la hora de escoger la estrategia más adecuada. La estructura de la inversión y la existencia de fuentes de información pueden ser factores determinantes a la hora de escoger el modelo de evaluación.

Por ejemplo, uno de los elementos claves es la existencia de datos básicos. Si falta esa información, es probable que los evaluadores deban basarse principalmente en la información de las actividades de control, los informes de progreso o los informes de otros donantes a fin de realizar análisis comparativos.

El modelo de evaluación puede concebirse como un conjunto de opciones que se caracterizan por su desviación respecto al modelo de evaluación ideal. Ese modelo ideal corresponde a una situación teórica que es imposible alcanzar puesto que describe la

67

comparación de dos grupos que son idénticos en todos los aspectos salvo que uno de ellos ha sido expuesto al proyecto o programa financiado.

La comparación es la característica común de todos los modelos que se analizan a continuación:

v Los modelos experimentales o probabilísticos tratan de garantizar la equivalencia inicial de los grupos que se comparan, creándolos administrativamente mediante una repartición aleatoria. Esta aleatorización supone aplicar un método de muestreo probabilístico utilizando tablas de números aleatorios, computadoras, etc.

v Los modelos comparativos utilizan grupos de comparación para realizar deducciones de causalidad pero no recurren a la aleatorización para crear dichos grupos. El grupo expuesto al programa suele ser considerado como dado, mientras que el grupo de comparación se selecciona para ofrecer la correspondencia más estrecha posible.

v En los modelos implícitos, la medición se realiza después de haberse producido la exposición al programa y se formulan hipótesis respecto a las condiciones existentes antes de que se iniciara el programa. No existe un grupo de control como tal.

A menudo son las limitaciones temporales y presupuestarias las que determinan qué tipo de modelo es viable. Cuanto más riguroso sea el modelo, más complejo será y, por consiguiente, mayores serán también los recursos financieros necesarios.

Recopilación de la información El plan de trabajo debería:

v Establecer los indicadores de rendimiento que se utilizarán para medir los avances realizados en la consecución de los resultados.

v Identificar las fuentes de información principales que se utilizarán para evaluar el rendimiento. El evaluador puede decidir también proporcionar precisiones sobre dichas fuentes (por ej.: el perfil de grupos de consulta importantes, los resultados de evaluaciones anteriores, el resumen de resultados de actividades de control).

v Describir los métodos que se utilizarán durante la recopilación de datos a fin de reunir información sobre el rendimiento de la inversión.

68

Guía de evaluación de la ACDI

Indicadores de rendimiento La credibilidad de la evaluación depende a menudo de la selección y formulación de los indicadores de rendimiento. A la hora de escoger dichos indicadores de rendimiento conviene observar dos reglas. En primer lugar, los grupos que estén directamente interesados en la evaluación deben poder pronunciarse al respecto. En segundo lugar, se deberían tener en cuenta el contexto, la utilidad, el procedimiento y los límites presupuestarios.

Según los autores de “La gestión basada en los resultados en la ACDI: Guía de introducción a los conceptos y principios”, los seis criterios siguientes deben servir para seleccionar los indicadores de rendimiento:

v ¿Mide el indicador el resultado? v ¿Se trata de una medida uniforme con el paso del tiempo? v Cuando el resultado cambie, ¿responderá el indicador a dicho cambio? v ¿Será fácil reunir y analizar la información? v ¿Será útil la información para el proceso de toma de decisiones y el aprendizaje? v ¿Puede permitirse el presupuesto de la evaluación reunir la información?

Fuentes de información El análisis de obras especializadas, el estudio de expedientes y las consultas permiten en un principio establecer la existencia de fuentes de información. Sin embargo, es posible que el evaluador descubra durante el transcurso de la evaluación nuevas fuentes de información, a menudo cuando se halla sobre el terreno. El plan de trabajo debe ser flexible para adaptarse a dicha eventualidad.

Es probable que el tiempo y presupuestos disponibles limiten la cantidad de información que puede reunirse. Es importante, por lo tanto, mantener una actitud estratégica en todo momento y seleccionar las fuentes que sean más útiles para la medición del rendimiento teniendo en cuenta el alcance de la evaluación y sus parámetros.

El recuadro 7 enumera distintas fuentes de información a las que el evaluador puede tener acceso:

69

Recuadro 7 Fuentes de información

Método Análisis de documentos y estudio de expedientes

Consultas

Fuentes de información Documentos de planificación Evaluaciones anteriores Estudios de viabilidad

Obras

Informes preliminares

Estudios y análisis

Informes de situación

Lecciones aprendidas

Correspondencia

Planes de gestión

Publicaciones

Marcos de rendimiento

Memoria central Personal de la ACDI en la administración central y sobre el terreno

Internet Personal del gobierno del país beneficiario

Beneficiarios Autoridades locales

Observaciones sobre el terreno

Personal del agente de ejecución Emplazamiento de los proyectos

Especialistas sectoriales Otros donantes Organizaciones participantes Instalaciones sobre el terreno

Métodos de recopilación de la información Esta sección del plan de trabajo debe describir los métodos de recopilación de la información. El recuadro 8 presenta los seis métodos que suelen utilizarse con mayor frecuencia en las evaluaciones. El primer método sirve para reunir información secundaria, mientras que los otros cinco se utilizan para reunir información primaria. Por información primaria se entiende la información recopilada específicamente para la evaluación, mientras que la información secundaria se reúne y consigna en una etapa más temprana con fines diferentes a los de la evaluación en cuestión. En el contexto de una evaluación, a menudo se combinan los métodos de recopilación de información.

70

Guía de evaluación de la ACDI

Recuadro 8 Principales métodos de recopilación de información

Método Análisis de obras especializadas y estudio de expedientes

Consultas

Observaciones sobre el terreno

Encuestas

Consulta de especialistas

Estudios de casos

Características Por análisis de obras especializadas se entiende la consulta de informes, publicaciones y libros.

El estudio de expedientes consiste en examinar los expedientes relativos al programa, proyectos individuales, los clientes y los participantes.

Estos métodos ayudan al evaluador a informarse sobre la inversión.

Asimismo le permiten conocer a los grupos interesados.

Encuentros personales o entrevistas telefónicas.

Consultas a grupos muestra elegidos sobre cuestiones o temas previamente establecidos.

Protocolo a seguir para las entrevistas de acuerdo con un modelo formal.

Guías de entrevista para las entrevistas más extensas.

Este método se utiliza para grupos de población objetivo más pequeños.

Las visitas sobre el terreno ofrecen una perspectiva global de la inversión.

Este método informa sobre el contexto para la inversión y las actividades locales.

Permite observar la importancia que reviste la inversión para los beneficiarios.

Ofrecen información cuantitativa y cualitativa recabada de un grupo seleccionado de encuestados. Útiles cuando el público destinatario es más numeroso.

En ocasiones es difícil prever el índice de respuesta.

Utiliza los puntos de vista y conocimientos de especialistas para tener una indicación de los resultados de la inversión y analizar las cuestiones relativas a la evaluación.

Los juicios formulados por los especialistas constituyen la base de este método.

Este método se utiliza cuando una inversión se compone de varios proyectos o casos.

Se selecciona una muestra de estudios de casos para evaluar los resultados.

71

La recopilación normalizada de información favorece su fiabilidad y validez, y facilita la reunión de los elementos de información. La normalización se ve mejorada al utilizar instrumentos de recopilación de información, como por ejemplo cuestionarios y guías para entrevistas. El uso de instrumentos formales contribuye a la fiabilidad y validez de la información ya que se realizan preguntas tipo, normalizando de esta forma todo el proceso de recopilación de información y permitiendo la reunión de los elementos de información recabados.

Es importante seleccionar instrumentos bien diseñados, adaptarlos a las necesidades o crear nuevos útiles a fin de garantizar que los resultados sean útiles y sustentables. En algunos casos, puede resultar útil consultar informes de evaluaciones similares para localizar instrumentos que han demostrado su validez y fiabilidad. Asimismo puede ser una buena idea, especialmente en el caso de las evaluaciones complejas, realizar una prueba piloto a fin de comprobar la claridad y legibilidad de los resultados.

Análisis de la información En esta sección el evaluador debe describir la forma en que la información sin procesar será transformada en una base de información que sirva para preparar una respuesta útil y válida a las expectativas de la dirección con respecto a los resultados que desea obtener. La información reunida únicamente es útil si pueden extraerse los hechos adecuados para abordar las cuestiones y preguntas planteadas en la evaluación. El objetivo del análisis es transformar la información en elementos de prueba convincentes sobre la inversión y su rendimiento.

El recuadro 9 ilustra cinco técnicas de análisis. El análisis estadístico y el análisis no estadístico son técnicas de análisis directo que ofrecen pruebas sobre los resultados directos de la inversión. Las otras tres técnicas son métodos analíticos indirectos que sirven para prever, a partir de mediciones de resultados directos, otros resultados indirectos adicionales que pueden atribuirse a la inversión.

72

Guía de evaluación de la ACDI

Recuadro 9 Técnicas de análisis

Técnica Análisis estadístico Análisis no estadístico Previsión de los efectos y repercusiones a largo plazo Utilización de modelos Análisis de costobeneficio y análisis de costoeficacia

Características Manejo de información cuantitativa y cualitativa para generalizar resultados.

Presentación de la información en un formato conciso y revelador.

Análisis de información cualitativa a menudo de forma inductiva, lo que permite adquirir una visión general de los resultados y las cuestiones difíciles de cuantificar.

Transformación analítica de los resultados directos medidos a fin de prever los resultados y repercusiones a largo plazo.

Utilización de modelos cuantitativos explícitos específicos para transformar un resultado cuantitativo en otro resultado cuantitativo. Ejemplos: simulación, insumos-resultados, modelos microeconómicos y macroeconómicos, y modelos estadísticos.

Ofrece una información resumida del valor de la inversión.

En el análisis de costo-beneficio se comparan los resultados, transformados en ventajas monetarias, con los costos de la inversión.

En el análisis de costo-eficacia se comparan los resultados con los costos, pero sin transformar los resultados en ventajas monetarias.

Lista de control √ ¿Es el modelo de evaluación escogido un modelo lógico de recopilación o análisis de la información que permita determinar qué resultados son atribuibles al programa? √ ¿Permite la metodología de evaluación medir los avances realizados en la consecución de los resultados previstos a nivel de los logros, efectos y repercusiones? √ ¿Permitirá la metodología escogida medir el rendimiento en función de los resultados en materia de desarrollo y los factores de éxito enunciados en el “Marco de resultados y factores claves de éxito”?

73

9.3.5

Marco de evaluación

El marco de evaluación ofrece al lector una visión sucinta del alcance y la lógica de la evaluación. Sistematiza la estrategia adoptada por el evaluador para realizar la evaluación y resume qué es lo que se va a medir y cómo se realizará dicha medición utilizando un formato de matriz de uso sencillo.

El marco de evaluación identifica:

v Las preguntas (y las subpreguntas) a las que ha de responderse v Los indicadores de rendimiento v Las fuentes de información v Los métodos de recopilación de la información v La base en las que se fundamentarán los juicios formulados por el evaluador El marco de evaluación establece el fundamento lógico que sirve de base para responder a las preguntas planteadas a fin de determinar la estrategia de la evaluación. El documento “Marco de resultados y factores claves de éxito” desempeña un papel primordial a la hora de determinar los puntos que debe abordar la evaluación. Las preguntas a las que debe responder la evaluación deberían guardar una relación directa con los resultados en materia de desarrollo y factores de éxito enunciados en el “Marco de resultados y factores claves de éxito” de la Agencia. Se seleccionarán las fuentes de información que faciliten la medición de los resultados para cada uno de los indicadores de rendimiento.

El recuadro 10 ilustra el formato del marco de evaluación.

Recuadro 10 Marco de evaluación Puntos

74

Preguntas

Indicadores de rendimiento

Fuentes de información

Método de recopilación de información

Base del análisis

Guía de evaluación de la ACDI

Lista de control

9.3.6

√

¿Permite el marco responder de forma lógica a las expectativas de la ACDI respecto a la evaluación?

√

¿ Guardan las preguntas planteadas en el marco de evaluación una relación estratégica con los resultados en materia de desarrollo y factores de éxito enunciados en el “Marco de resultados y factores claves de éxito” de la Agencia?

√

¿Satisfacen los indicadores de rendimiento seleccionados los criterios de eficacia, uniformidad, sensibilidad, viabilidad y utilidad?

Informes

El plan de trabajo debe describir los requisitos en materia de presentación de informes, tanto provisionales como finales:

v El evaluador debe describir el sistema que utilizará para informar regularmente al director de evaluación de la ACDI sobre la marcha de la evaluación. Los informes sobre los avances del proyecto ayudan a garantizar que las evaluaciones se realicen de acuerdo con las expectativas y el presupuesto, y que aborden con eficacia las cuestiones previstas. Se puede tratar tanto de encuentros regulares informales como de informes escritos formales que deberán presentarse de acuerdo con un calendario prescrito. Es conveniente prever que, en caso de que surja cualquier problema o dificultad imprevista importante, se informe inmediatamente al director de evaluación de la ACDI.

v Se habrán de prever asimismo sesiones informativas con el personal de la ACDI sobre el terreno tanto a la llegada al país como en el momento de abandonarlo.

v El plan de trabajo debe presentar un esquema o índice de materias para el informe final. El evaluador deberá presentar también una síntesis de la evaluación que se incluirá en el informe final o bien constituirá un documento independiente. Las instrucciones relativas, por ejemplo, a la traducción, la impresión, la publicación en formato electrónico o copia impresa, o el número de ejemplares se limitarán a aquellos aspectos que deban determinarse por adelantado. Se establecerán normas para la producción de los informes basándose en los requisitos establecidos en la “Guía de evaluación de la ACDI”.

75

Lista de control

9.3.7

√

¿Se cumplen las expectativas de la ACDI en materia de informes sobre la marcha del proyecto, sesiones de información al llegar al país y al abandonarlo, y el informe final?

√

¿Se presenta en el plan de trabajo un esquema o índice de materias para orientar el informe final?

Calendario de trabajo

El plan de trabajo debe contener un calendario para el conjunto de las tareas que deben realizarse. Se fijará un plazo para cada una de las actividades individuales y se establecerán fechas límites para las etapas claves y la producción de los documentos exigidos. Asimismo, el evaluador puede juzgar oportuno preparar una matriz del régimen de trabajo indicando el número de personas-días que cada uno de los miembros del equipo debería dedicar a la ejecución de las tareas que le son encomendadas.

El recuadro siguiente ilustra un ejemplo posible de calendario de trabajo:

Recuadro 11 Calendario de trabajo Etapa Plan de trabajo Recopilación de información (sobre el terreno) Análisis de la información Informe de evaluación

76

Actividad clave/documento a producir Plan de trabajo provisional Aprobación de la ACDI Preparación de la versión final Logística y familiarización sobre el terreno Recopilación de información Actividades de información sobre el terreno Análisis e interpretación de la información Presentación de constataciones Examen estratégico Versión provisional Aprobación de la ACDI Versión final

Plazo Duración

Guía de evaluación de la ACDI

Lista de control

9.4

√

¿Presenta el programa de trabajo una progresión lógica de las actividades que deben realizarse hasta la última etapa de la evaluación?

√

¿Se han establecido plazos para las principales actividades y la producción de los documentos exigidos?

La aprobación

Deberá presentarse al director de evaluación de la ACDI una primera versión del plan de trabajo para su aprobación. A fin de proceder a la aprobación normalmente se realiza una revisión para garantizar que el plan responda a las necesidades de la ACDI. El director del centro de responsabilidad de la ACDI debe aprobar el plan de trabajo antes de que pueda iniciarse la evaluación propiamente dicha. Dado que todas las actividades a ejecutar se inscriben en dicho plan de trabajo, cualquier desviación o modificación importante de la estrategia utilizada para realizar la evaluación conllevará una revisión del plan que deberá ser aprobada posteriormente por la dirección de la ACDI.

77

78

Guía de evaluación de la ACDI

CAPÍTULO 10: LA RECOPILACIÓN Y EL ANÁLISIS DE LA INFORMACIÓN

•••••••••••••••••••••••••••••••••••••••••••••••••••••• En este capítulo:

• • •

Los métodos y las técnicas Pautas para el éxito Los problemas a prever sobre el terreno

••••••••••••••••••••••••••••••••••••••••••••••••••••••

U

na vez que la ACDI haya aprobado el plan de trabajo de la evaluación, el evaluador pasa a la próxima etapa del proceso de evaluación, esto es, recopilar y analizar la información. Por lo general, esta etapa implica una visita al país o países en desarrollo en el que se realiza el programa a fin de reunir la información necesaria para medir el rendimiento.

Las actividades de recopilación de información sobre el terreno pueden comprender:

v Consultas con el personal de la ACDI, de Agencias Canadienses de Ejecución (ACE), ONG, beneficiarios locales, donantes, etc.

v Encuestas. v Análisis de obras, expedientes y documentos. v Observación de actividades del programa. v Reunión de datos pertinentes procedentes de otras fuentes de información.

La etapa siguiente consiste en analizar la información a fin de transformar los datos recopilados en resultados de evaluación que aborden las cuestiones y preguntas planteadas en la evaluación. Si bien resulta más fácil establecer pruebas sustentables una vez finalizada la recopilación de información, el análisis continuo que se realiza durante la etapa de recopilación facilita dicho proceso y contribuye a estructurar los resultados.

79

10.1 Los métodos y las técnicas El plan de trabajo de la evaluación establece:

v Las principales fuentes de información seleccionadas para evaluar el rendimiento. v Los métodos de recopilación de información. v Las técnicas de análisis de información.

El capítulo 9 “La preparación del plan de trabajo” describe las fuentes de información, métodos y técnicas utilizadas en esta etapa de la evaluación. Más concretamente, la sección 9.3.4 sobre la metodología puede resultar de especial utilidad.

Consúltense:

v El recuadro 7 en el que se presentan las fuentes que puede consultar el evaluador que desea proceder al análisis de obras especializadas, el estudio de expedientes, consultas y observaciones sobre el terreno.

v El recuadro 8 que ilustra los distintos métodos de recopilación de información. v El recuadro 9 que describe las técnicas de análisis.

10.2 Mantener una perspectiva estratégica Cuando se recopila la información sobre el terreno es importante comprender el contexto local a fin de que las actividades sigan siendo viables desde un punto de vista estratégico. Las características económicas, sociales, políticas y culturales del país beneficiario pueden desempeñar un papel primordial a la hora de determinar qué resultados pueden obtenerse. Es importante que el evaluador se mantenga al corriente de esas influencias y las tenga presentes en todo momento.

Las evaluaciones son, por su propia naturaleza, molestas. Imponen una sobrecarga de trabajo al personal de la misión, las personas asignadas al programa evaluado y los grupos interesados, pudiendo perturbar sus actividades habituales. El evaluador deberá tratar en todo momento de ser lo menos molesto posible y no sobrecargar a persona alguna inútilmente.

Las evaluaciones crean un clima de total incertidumbre. Por lo general las personas se sienten incómodas al saber que se les está juzgando. Esto puede da lugar a una cierta reticencia por parte de algunos, e incluso hostilidad. Para combatir estas actitudes negativas, el evaluador debe: 1) mantener una actitud optimista; 2) poner de relieve los elementos constructivos; 3) mantener a los interesados continuamente informados; y 4) mantener comunicaciones abiertas y francas con el personal de la misión, las ACE, los beneficiarios locales y otros grupos interesados.

80

Guía de evaluación de la ACDI

La sensibilidad con la realidad cultural es un elemento estratégico esencial. Las buenas prácticas de trabajo implican el respeto y adaptación a las creencias, costumbres y prácticas locales.

10.3 Privilegiar la flexibilidad El plan de trabajo de la evaluación describe la metodología escogida por el evaluador y aprobada por la Agencia para obtener los resultados previstos y enuncia las obligaciones contractuales del evaluador. Por consiguiente, el plan de trabajo constituye el principal instrumento de control de las actividades de la evaluación tanto para el evaluador, que debe respetarlo, como para la Agencia.

Es posible, sin embargo, que durante la etapa de recopilación de información se presenten otras opciones que permitan obtener mejores resultados. El evaluador deberá contar con la flexibilidad necesaria para aprovechar las oportunidades que surjan y se le animará a dar muestras de creatividad e innovación.

Otro aspecto que puede resultar importante es el de ser selectivo. Los procedimientos de recopilación de información pueden recabar enormes cantidades de información que no tiene utilidad para los resultados que desean obtenerse o que es repetitiva. En otras palabras, no es necesario recopilar todos y cada uno de los datos existentes para informarse de la situación.

Es importante aprender de la información que se reúne. El evaluador deber estar preparado para revisar su estrategia durante el transcurso de la evaluación a fin de garantizar que los recursos se utilicen de forma estratégica para obtener los mejores resultados.

10.4 Las consultas a los grupos interesados En su “Marco de resultados y factores claves de éxito”, la ACDI explica claramente en qué consisten las intervenciones orientadas a la consecución de resultados precisos. Se espera que las inversiones privilegien “… la participación activa de los socios locales del país y los beneficiarios (incluidas las mujeres) en el diseño, la ejecución y seguimiento/evaluación del proyecto/programa”. Por consiguiente, es normal que entre los métodos de recopilación de información figuren las consultas adecuadas a los grupos interesados para evaluar sistemática y estratégicamente su nivel de participación.

Las siguientes preguntas pueden resultar útiles para evaluar el grado de participación de los grupos interesados.

81

Lista de control √

¿Se ha previsto en los métodos de recopilación de información la realización de consultas a los grupos interesados y la utilización de recursos locales tal como se establece en el plan de trabajo?

√

¿Trata la información recopilada de las necesidades de los grupos interesados?

√

¿Se sienten los grupos en cuestión afectados por la inversión?

√

¿Es la participación de los grupos interesados lo suficientemente importante y diversificada?

√

¿Se han realizado esfuerzos suficientes para fomentar la participación de los grupos interesados?

√

¿Han aprendido algo los grupos interesados con su participación en el programa?

10.5 Mantener informado al público

Liderazgo eficaz Los buenos líderes saben mantener a los socios orientados hacia la consecución del resultado deseado y miden a menudo el progreso realizado a fin de motivarlos y mejorar la gestión.

Steps to Successful Performance Partnerships Oregon Model

Durante la recopilación y análisis de la información será necesario mantener informados a los principales públicos sobre la evolución de la situación. Para ello es preciso adoptar una estrategia que tenga en cuenta las necesidades en materia de comunicaciones entre

82

Guía de evaluación de la ACDI

los miembros del equipo de evaluación y el director de evaluación de la ACDI, el gobierno del país beneficiario y los grupos interesados locales.

Desde el principio del proceso, deberá decidirse qué opción se empleará para comunicarse con estos público, así como el grado de comunicación. Puede resultar útil, desde un punto de vista estratégico, que el evaluador se reúna personalmente con representantes de los grupos interesados locales a fin de evitar en la medida de lo posible que se produzcan malas interpretaciones y poder aclarar en persona las dudas que surjan.

La ACDI necesita recibir información clara, objetiva y equilibrada sobre la situación en el terreno. Los informes sobre la marcha de la evaluación fomentan el respeto del plan de trabajo y permiten realizar los ajustes y modificaciones necesarias de manera oportuna.

La frecuencia con que se informará de los progresos realizados y el nivel de información proporcionada deberán adecuarse a las necesidades de la dirección de la ACDI, evitando sobrecargar al evaluador a fin de reducir al mínimo el tiempo de preparación y los costos asociados.

La experiencia ha demostrado que los evaluadores tienden a transmitir a la dirección únicamente las “buenas noticias”, evitando mencionar los problemas. Sin embargo, la evaluación no tendrá ninguna utilidad para la ACDI si ésta no dispone de un panorama completo de la situación.

10.6 Responder a los problemas A menudo los evaluadores se enfrentan a dificultades imprevistas durante su labor sobre el terreno. En cada evaluación suelen surgir complicaciones, y puede que algunas de ellas no hayan sido previstas durante la etapa de planificación. Es importante que el equipo de evaluación sea capaz de responder eficazmente a dichas dificultades sin que se produzcan repercusiones negativas en los resultados de la evaluación.

Poseer cualidades para ejercer el mando de manera estratégica puede resultar crucial.

En algunos casos se pueden resolver los conflictos aplicando los valores y principios éticos fundamentales o prácticas de gestión demostradas. A menudo, sin embargo, los problemas únicos requieren soluciones únicas. La facilidad para negociar puede convertirse en una importante cualidad cuando se trabaja en los países en desarrollo. A menudo, la búsqueda del consenso y el compromiso constituyen el único recurso práctico para conciliar a los socios locales sin poner en peligro la evaluación.

10.6.1 Valores fundamentales Los evaluadores pueden encontrarse en situaciones conflictivas con los socios en los países en desarrollo debido a las diferencias entre los sistemas de valores básicos de las dos culturas. Para los canadienses, algunas prácticas tradicionales pueden parecer discriminatorias contra las minorías o grupos especiales, o constituir un atentado contra los derechos y libertades fundamentales de la persona.

83

¿Cómo se espera que reaccione el evaluador a ese tipo de situaciones? La respuesta consiste en negociar un equilibrio cuidadoso que tenga en cuenta las prácticas locales y respete al mismo tiempo las convenciones internacionales en materia de protección de esos derechos y libertades.

Las evaluaciones de la ACDI están financiadas por los contribuyentes canadienses, lo cual implica que deben realizarse con eficacia y eficiencia, y de manera prudente y honesta. Los evaluadores deben rendir cuentas de sus decisiones y actividades.

10.6.2 Dinámica interpersonal

Superar los conflictos internos Para calmar las rivalidades personales y las luchas por el poder, es necesario volver a orientar a los socios hacia la consecución del resultado deseado.

Steps to Successful Performance Partnerships Oregon Model

La dificultad que suele plantear la gestión de los recursos humanos puede verse incrementada cuando se trabaja en países en desarrollo. Si uno de sus miembros carece de espíritu de equipo, el evaluador deberá hacer frente inmediatamente al problema.

Cuando se trabaja en un medio menos hospitalario, los rasgos de carácter negativos tienden a acentuarse, lo cual puede perjudicar seriamente la evaluación.

Si bien el jefe del equipo debe mostrarse comprensivo con las personas que tienen problemas reales, deberá actuar con rapidez y determinación cuando la consecución de objetivos personales y las rivalidades amenacen con comprometer el avance de la evaluación. Es indispensable que los miembros del equipo sean solidarios.

10.6.3 Problemas que pueden surgir La recopilación y el análisis de la información deberían ofrecer respuestas a las cuestiones y preguntas planteadas en el plan de trabajo del evaluador. Sin embargo, a menudo surgen dificultades sobre el terreno, debido a la inexistencia o mala calidad de la información, que obligarán al evaluador a estudiar otras opciones.

84

Guía de evaluación de la ACDI

Entre los problemas que pueden surgir figuran:

v El rechazo a reconocer la existencia de información. v La ausencia de información que permita responder a las preguntas. v La falta de información o su mala calidad. v Los problemas de validez o fiabilidad de la información. v La información contradictoria. v El carácter delicado de determinada información difícil de divulgar. v Las pruebas de que se ha cometido algún tipo de fechoría.

10.7 La etapa siguiente La etapa siguiente consiste en transformar la información recopilada en resultados y lecciones aprendidas que serán incorporados en el informe de evaluación. Antes de abandonar el país, el evaluador debe informar de su visita a los públicos estratégicos sobre el terreno.

85

86

Guía de evaluación de la ACDI

CAP ÍTUL O 11: LA PRE PARA CIÓ N DEL INF ORME FIN AL

•••••••••••••••••••••••••••••••••••••••••••••••••••••• En este capítulo:

• • •

Para qué sirve el informe final de evaluación Pautas para preparar un buen informe Los elementos principales de un informe

••••••••••••••••••••••••••••••••••••••••••••••••••••••

El informe de evaluación define el valor añadido obtenido.

E

l objetivo principal de los informes de evaluación es informar a la dirección de la ACDI de los resultados de la evaluación. La información suministrada debe responder de forma detallada a las expectativas de la Agencia expuestas en el mandato y el plan de trabajo del evaluador.

Gracias al informe, el lector deberá comprender bien por qué se tomó la decisión de realizar la evaluación, en qué ha consistido, qué resultados se han obtenido y qué lecciones se han aprendido para su aplicación futura. Los resultados se presentarán siguiendo una progresión lógica adecuada y se basarán en hechos y conclusiones extraídas de la información recopilada.

El informe final define el valor añadido que aporta la evaluación. Se dará relieve a los resultados obtenidos en el contexto del sistema de análisis del rendimiento de la ACDI para fomentar la adopción de medidas, el seguimiento o la creación de conocimientos. Por consiguiente, los informes de evaluación deberán tratar de tener una orientación práctica y centrada en la consecución de resultados.

El evaluador prepara el informe de evaluación de conformidad con lo establecido en el contrato. Por lo general, la ACDI no impone un modo de presentación normalizado sino que más bien fomenta la flexibilidad de forma que el evaluador pueda elaborar su informe según la estructura que le parezca más adecuada para presentar los resultados.

87

Deberá presentarse a la dirección de la ACDI un resumen conciso que exponga los resultados de la evaluación y que será archivado también en la memoria central de la Agencia. Tradicionalmente, se solía presentar una síntesis de la evaluación para cumplir este requisito. En esta Guía, la síntesis de evaluación se integra en el propio informe de evaluación en forma de resumen en lugar de constituir un documento independiente.

En este capítulo se describe en qué consiste la preparación del informe final. La elaboración de los informes sobre la marcha de la evaluación, que constituyen también un elemento importante, se analizó en la sección 9.3.6 sobre la presentación de informes del capítulo 9 titulado “La preparación del plan de trabajo”.

11.1 Para qué sirve el informe final Las evaluaciones informan a la dirección de la ACDI sobre el rendimiento de sus inversiones con respecto a las expectativas que se establecieron durante su planificación. Esta información se utiliza posteriormente para mejorar el proyecto o programa en cuestión, así como otros proyectos paralelos cuando la situación lo permite.

El rendimiento se mide con relación a los resultados en materia de desarrollo y factores de éxito enunciados en el “Marco de resultados y factores claves del éxito” a fin de garantizar un cierto grado de coherencia de una evaluación a otra, lo cual contribuye a aumentar la transparencia del proceso y la rendición de cuentas.

Los informes de evaluación desempeñan un papel crucial en el sistema de análisis del rendimiento de la Agencia. Las evaluaciones contribuyen a enriquecer el saber de la ACDI e influyen en el proceso de toma de decisiones sobre políticas, estrategias y asignación de recursos.

Los resultados de las evaluaciones se integran en la memoria central de la Agencia. Las recomendaciones y lecciones que permiten extraer facilitan la orientación estratégica de las nuevas intervenciones en favor del desarrollo.

En el exterior, los informes sirven para:

v Informar a las ACE y al resto de participantes en el programa evaluado de los niveles de rendimiento alcanzados.

v Dar a conocer los resultados a los grupos interesados y otros públicos destinatarios.

88

Guía de evaluación de la ACDI

11.2 Los públicos destinatarios El informe de evaluación se dirige principalmente y ante todo a la dirección de la ACDI. Entre los otros públicos destinatarios figuran:

v Las organizaciones y beneficiarios locales v Los ministerios del gobierno beneficiario v Las ACE v Las ONG v Los otros organismos donantes La presentación de los resultados en un informe final reduce el riesgo de que éstos sean malinterpretados. Los informes se comprenden mejor y son más eficaces cuando se escriben con claridad y concisión, y se explican con precisión los puntos principales.

Otro aspecto importante que el evaluador debe tener en cuenta a la hora de preparar su informe final es el hecho de que los distintos tipos de público no poseen los mismos conocimientos ni necesitan el mismo tipo de información.

Los lectores deberán poder comprender con facilidad el informe final incluso si tienen pocos o ningún conocimiento técnico. Es posible que sea necesario traducir el informe si algún sector del público no comprende la lengua en la que está escrito.

11.3 Los elementos principales del informe Si bien el evaluador tiene libertad para decidir cómo organizar y presentar los resultados en su informe, es conveniente que se informe con el director de evaluación de la ACDI sobre lo que se espera del informe a fin de que la estructura escogida sea la más adecuada para las necesidades.

A continuación se ofrecen algunos consejos sobre los elementos que debe incluir el informe:

v Es conveniente que el análisis global del rendimiento presentado en el informe destaque los aspectos principales del rendimiento y responda a las cuestiones planteadas en el marco de evaluación o en los resultados en materia de desarrollo y factores de éxito.

v Las recomendaciones y lecciones serán más fáciles de aplicar si son concluyentes, concretas y están redactadas con sencillez. Una lista anexa de las recomendaciones y lecciones aprendidas facilitará la consulta.

89

v Dada la relación intrínseca que puede existir entre las constataciones, las recomendaciones y las lecciones aprendidas, puede resultar útil presentarlas conjuntamente a fin de que la exposición del razonamiento siga siempre la misma disposición.

El recuadro 12 presenta una visión general de los principales elementos que deben incluirse en el informe final: Recuadro 12 Elementos principales del informe Sección Resumen Introducción Perfil de la inversión

Perfil de la evaluación

Constataciones Conclusión Recomendacione s Lecciones Anexos

90

Contenido Sinopsis del informe resaltando los aspectos más destacados del rendimiento, las recomendaciones y las principales lecciones aprendidas. a) Objetivo del informe b) Alcance de la inversión/evaluación Contexto de desarrollo Descripción general Razón de ser y objeto Expectativas Estructura Logros/etapas claves Información sobre la medición del rendimiento Seguimiento Análisis Recursos Descripción general Razones de la evaluación Alcance y objeto Expectativas Metodología Composición del equipo de evaluación Respuesta del evaluador a las preguntas planteadas al principio, explicando lo que ha aprendido con la evaluación.

Análisis general del rendimiento, centrándose en los resultados.

Enumeración razonada Enumeración razonada de: las lecciones en materia de operaciones las lecciones en materia de desarrollo Lista de acrónimos Mandato (evaluación) Bibliografía Personas consultadas

Guía de evaluación de la ACDI

11.4 La redacción del informe

La calidad del informe no depende en absoluto de su longitud.

La prioridad principal de las evaluaciones es ofrecer resultados sustentables y útiles que reflejen el análisis del rendimiento realizado por el evaluador. El informe final presenta los resultados claves a los que se ha llegado extrayendo las lecciones aprendidas durante las etapas de recopilación y análisis de la información.

El valor añadido de la evaluación se determina en función de:

v La valoración del rendimiento que realiza el evaluador (esto es, las respuestas a las preguntas de la evaluación y las conclusiones extraídas).

v Las recomendaciones para efectuar mejoras. v Las lecciones aprendidas con la experiencia.

La formulación de los resultados de una evaluación puede convertirse en un gran desafío. El evaluador debe analizar todas las constataciones realizadas a fin de evaluar el rendimiento de manera justa, objetiva y exacta, y determinar cómo se pueden efectuar mejoras. Los resultados deben extraerse de la información recabada durante la evaluación. Es esencial que el análisis sea exhaustivo y que las conclusiones se justifiquen plenamente, debiendo explicar con claridad el razonamiento que se ha seguido. La utilización de un lenguaje preciso reducirá el riesgo de que se produzcan malas interpretaciones.

El proceso de transformar los datos sin procesar hasta llegar a las conclusiones debe seguir una progresión lógica. El lector deberá poder establecer una relación entre las principales conclusiones extraídas en la valoración global del rendimiento, las recomendaciones y las lecciones aprendidas, y las pruebas establecidas gracias a la recopilación y el análisis de la información. El evaluador deberá hacer referencias específicas a fuentes de información identificables.

Utilizar un marco conceptual o modelo lógico puede resultar útil para garantizar que no se haya olvidado ningún aspecto y que los elementos que constituyen la base de las conclusiones extraídas se expliquen con claridad. El marco de evaluación proporciona un excelente punto de partida para organizar los resultados y permite formular conclusiones que están relacionadas con las cuestiones y preguntas planteadas en la evaluación.

91

Los resultados proceden a menudo de distintas fuentes de información. En tales casos, es preciso que el evaluador utilice sus conocimientos y experiencia para realizar interpretaciones válidas y precisas de la información. El modo de presentación de las estadísticas justificativas y su grado de complejidad deberán adaptarse a las necesidades del tipo de públicos al que se dirigen.

Tradicionalmente han sido la importancia y la complejidad de la evaluación las que determinaban su longitud, variando los informes desde las 35 a las 85 páginas (sin incluir los anexos). La tendencia actual prefiere los informes más concisos dada la probabilidad de que los públicos claves no dispongan de demasiado tiempo para dedicar a la lectura de largos informes. No tiene demasiado sentido preparar informes voluminosos si no llegan a conocimiento de los públicos a los que se dirigen, no alcanzando por lo tanto sus objetivos. Es conveniente que los evaluadores privilegien las explicaciones sucintas y la información concluyente a fin de conservar a sus lectores.

A continuación se analizan con mayor detalle los elementos claves del informe ilustrados en el recuadro 12: 11.4.1 Resumen

El resumen sirve para informar a la alta dirección y enriquecer la memoria central.

El resumen presenta una visión general del informe, analizando todos los aspectos esenciales de la evaluación y haciendo énfasis en los resultados. Este resumen contendrá la información suficiente para ofrecer al lector no iniciado una idea clara de qué es lo que se ha aprendido con la evaluación.

El evaluador utilizará el mismo tono que en el resto del informe. El resumen suele ocupar de seis a diez páginas, debiendo ser las descripciones breves.

Es muy probable que el resumen cuente con más lectores que el informe propiamente dicho. A menudo contribuye a dar un valor permanente a la evaluación, sirviendo como principal punto de referencia en la memoria central de la Agencia. Por consiguiente, deberá prestarse especial atención a su preparación.

92

Guía de evaluación de la ACDI

El resumen debería contener los siguientes elementos: Introducción

v Propósito del informe. v Alcance de la inversión/evaluación.

Descripción general

v Contexto de desarrollo. v Perfil de la inversión. v Expectativas y metodología.

Aspectos destacados

v “Declaración general” que capte la esencia de la evaluación. v Breve presentación de los resultados.

Recomendaciones Lecciones aprendidas

Lista de control √

¿Adquiere el lector una idea clara del rendimiento de la inversión con respecto a las expectativas?

√

¿Responde la valoración del rendimiento a las preguntas planteadas al iniciar la evaluación?

√

¿Son las recomendaciones y lecciones aprendidas concluyentes y fáciles de comprender?

93

11.4.2 Introducción En esta sección el evaluador expone el propósito del informe y describe someramente el alcance de la inversión y la evaluación. Si lo desea, también puede expresar su agradecimiento a las personas que hayan contribuido a la realización de la evaluación.

Esta sección no debería exceder una página.

11.4.3 Perfil de la inversión Los marcos para medir el rendimiento constituyen una valiosa fuente de información en materia de medición del rendimiento.

Contexto de desarrollo El evaluador resumirá las influencias predominantes que caracterizan el medio en el que se realiza el programa/proyecto.

Puede abordar los siguientes elementos:

v La situación económica local. v Las dimensiones, factores e influencias sociales, culturales, geográficos y políticos que considere importantes.

v La situación de la infraestructura y la organización en el país beneficiario y a nivel local.

Si así lo desea, el evaluador puede utilizar indicadores de desarrollo claves para describir el contexto de desarrollo (por ej.: la situación económica, la educación, la salud).

Descripción general de la inversión El evaluador describirá la inversión en función de su contribución al mandato de la ACDI de reducir la pobreza en los países en desarrollo y la consecución de sus objetivos prioritarios temáticos (por ej.: la satisfacción de las necesidades humanas básicas, la igualdad entre los sexos, el medio ambiente). Explicará también las razones por las que se inició la inversión y cuáles son los aspectos prioritarios que se deben abordar.

El evaluador describirá las expectativas con respecto a los logros, efectos y repercusiones, y presentará la estructura organizativa identificando a las ACE, los socios y los otros donantes (si los hubiera). Se nombrará también a los principales grupos interesados.

94

Guía de evaluación de la ACDI

Logros/Etapas claves En esta sección el evaluador ofrecerá una visión general de los logros que ya se han alcanzado. Para ello, puede hacer una presentación cronológica de las etapas claves/logros.

Información relativa a la medición del rendimiento Esta sección analizará las constataciones procedentes de:

v Evaluaciones, exámenes operacionales, investigaciones especiales, etc. realizadas anteriormente.

v Actividades de seguimiento en curso.

Se identificarán las lagunas u obstáculos que hayan afectado negativamente al rendimiento.

Financiamiento de la inversión El evaluador indicará el importe total del financiamiento y cómo se han empleado los fondos hasta la fecha. Cuando proceda, se mencionarán las contribuciones económicas de los socios.

Lista de control √

¿Se ha descrito la situación en el país beneficiario, así como las principales influencias que se manifiestan?

√

¿Se ha explicado con claridad la razón de ser de la inversión, su objeto, los resultados previstos y la estructura del programa?

√

¿Se ha explicado la relación con el mandato de reducción de la pobreza y las prioridades temáticas de la Agencia?

√

¿Se explican las relaciones existentes entre el programa/proyecto, las prioridades del país beneficiario y las necesidades locales?

√

¿Se menciona a los principales grupos interesados?

95

√

¿Se ofrece al lector una idea clara de lo que se ha logrado hasta la fecha?

√

¿Se han descrito las actividades permanentes de medición del rendimiento y las evaluaciones del rendimiento realizadas anteriormente?

√

¿Se menciona la asignación de recursos?

11.4.4 Perfil de la evaluación El evaluador debe explicar cómo se ha respondido a las expectativas establecidas en el plan de trabajo de la evaluación y el mandato, el cual se incluirá en la evaluación como anexo, al igual que el marco de evaluación si el evaluador lo estima oportuno. Deberán identificarse las modificaciones realizadas.

Descripción general Esta sección explicará:

v Los factores que influyeron en la decisión de realizar la evaluación. v Los parámetros que determinaron el diseño de la evaluación. v Su alcance y su objeto. v Los resultados previstos.

Las expectativas en cuanto al rendimiento deberán extraerse del marco de la evaluación, prestando especial atención a las cuestiones específicas que son esenciales para la evaluación. El evaluador describirá la participación de los grupos interesados en la evaluación.

Metodología En esta sección el evaluador describirá cómo se ha realizado la evaluación. Se informará al lector sobre las preguntas (y subpreguntas) a las que debía responder la evaluación y sobre cómo se ha aplicado la metodología para formular las respuestas. Se presentarán las actividades (desde la recopilación de la información hasta la elaboración de los

96

Guía de evaluación de la ACDI

resultados) siguiendo un orden lógico claramente definido. Se incluirá un itinerario de los lugares visitados.

Asimismo el evaluador analizará los siguientes aspectos:

v La selección de los indicadores de rendimiento. v Las fuentes de información, que deben guardar relación con cada indicador de rendimiento.

v Los métodos de recopilación de información, precisando: 1) cualquier método de muestreo que se haya podido utilizar; y 2) los instrumentos de recopilación de la información (en forma de anexo al informe).

v El análisis de la información, esto es, el método de análisis utilizado, indicando las pruebas y convenciones estadísticas que se hayan utilizado.

El evaluador debe ofrecer una descripción exacta y detallada de las limitaciones más problemáticas derivadas de la metodología empleada. Se identificarán asimismo las modificaciones realizadas en la metodología durante la realización de la evaluación.

Equipo de evaluación En esta sección el evaluador deberá responder a la pregunta: “¿Quiénes formaban el equipo de evaluación y qué es lo que ha hecho cada uno?” Se describirá la composición del equipo identificando el papel y responsabilidades principales de cada miembro, al igual que el papel y responsabilidades de los representantes de la ACDI.

Lista de control √

¿Se explican claramente las razones por las que se ha realizado la evaluación?

√

¿Se describe el alcance y objeto de la evaluación?

√

¿Se identifican los objetivos estratégicos establecidos durante la etapa de planificación?

√

¿Se ha descrito la participación de los grupos interesados en la evaluación?

97

√

¿Se explica con claridad al lector cómo se aplicó la metodología para elaborar los resultados de la evaluación?

√

¿Ofrece la metodología la base lógica necesaria para responder a las preguntas de la evaluación?

√

¿Responde el perfil del equipo de evaluación a las necesidades?

11.4.5 Constataciones

Afirmaciones basadas en la información recopilada.

En esta sección el evaluador resume el rendimiento de la inversión respondiendo a las preguntas claves de la evaluación o describiendo los resultados obtenidos en función de los resultados en materia de desarrollo y factores de éxito. El lector deberá ser capaz de establecer una relación entre los resultados y las observaciones realizadas a partir de la información recopilada y analizada. El evaluador hará referencias específicas a fuentes de información identificables.

La sección sobre las constataciones de la evaluación suele ser la más larga del informe.

98

Guía de evaluación de la ACDI

Lista de control √

¿Se han resumido exhaustivamente las constataciones, destacando los puntos que merecen ser resaltados?

√

¿Se ofrece una explicación lógica de las constataciones, estableciendo una relación con las observaciones a fin de confirmar la validez de los resultados?

√

¿Se presta atención especial a los resultados en materia de desarrollo y los factores de éxito que guardan relación con la inversión?

11.4.6 Conclusión En esta sección, el evaluador resumirá el rendimiento de la inversión con relación a las expectativas establecidas durante su planificación. Uno de los criterios claves a la hora de seleccionar qué resultados deben destacarse será la importancia de los mismos.

Lista de control √

¿Se ofrece al lector una idea general del rendimiento de la inversión, destacando los elementos más significativos?

11.4.7 Recomendaciones Las recomendaciones son “afirmaciones individuales derivadas de las observaciones realizadas, que indican qué debería hacerse en el futuro y quién debería hacerlo”. En esta sección el evaluador propone mejoras o identifica puntos que deberían someterse a seguimiento.

El evaluador debe explicar en qué se ha basado para formular las recomendaciones en cuestión, estableciendo una relación con la información recopilada durante la evaluación.

Las recomendaciones deberán ser prescriptivas (esto es, “la ACDI debería…”).

99

La aplicación de las recomendaciones puede verse facilitada si éstas se agrupan por políticas, programas y proyectos.

Lista de control √

¿Están las recomendaciones sólidamente documentadas, y son detalladas y pertinentes teniendo en cuenta las observaciones realizadas?

√

¿Facilitará la aplicación de las recomendaciones la forma en que han sido presentadas?

11.4.8 Lecciones

Aprender a formular un principio de aplicación general a partir de lo que se ha aprendido con una evaluación específica.

Una lección se define como “una hipótesis general basada en las conclusiones de una evaluación específica que establece o apoya un principio general y que en teoría podría ser útil y beneficiosa en otras situaciones”.

Las observaciones realizadas por el evaluador pueden facilitar la elaboración de nuevas orientaciones, estrategias y prácticas. Al formular las lecciones aprendidas, el evaluador deberá adoptar una perspectiva que vaya más allá de la evaluación en cuestión, y utilizar sus conocimientos y experiencia a fin de que la información adquirida pueda servir para fines generales, aportando de esta manera un valor añadido a la Agencia.

Es preferible que el evaluador elabore un conjunto limitado de lecciones aprendidas, centrándose en aquellas con más posibilidades de ser aplicadas eficazmente en otros campos de actividad de la ACDI, en lugar de formular múltiples lecciones que sólo serán útiles en determinadas circunstancias y que retoman las constataciones de la evaluación.

El número de lecciones aprendidas que formulan los evaluadores suele limitarse a un máximo de seis.

100

Guía de evaluación de la ACDI

Existen dos tipos de lecciones:

v Las lecciones en materia de desarrollo, que se proponen obtener resultados en el área del desarrollo, mejorar las prácticas de ayuda y facilitar la consecución de los objetivos prioritarios de intervención de la ACDI.

v Las lecciones en materia de operaciones, relativas a la gestión y la administración, cuyo objetivo es establecer un clima de trabajo favorable y buenas prácticas laborales. Estas lecciones pueden relacionarse con la medida del rendimiento, la coordinación de las actividades de los donantes, las necesidades en materia de recursos, la formación y coordinación de equipos, las prácticas de adquisición, los sistemas de ejecución y presentación de informes, la logística, etc.

Lista de control √

¿Están las recomendaciones sólidamente documentadas, y son detalladas y pertinentes teniendo en cuenta las observaciones realizadas?

√

¿Facilitará la aplicación de las recomendaciones la forma en que han sido presentadas?

11.4.9 Anexos Por regla general, los anexos, si bien no son indispensables, contribuyen a ampliar, ilustrar o enriquecer el informe. Se presenta como anexo la información que pueda interrumpir la circulación y equilibrio del informe, o distraer o desconcentrar al lector.

Por lo general los anexos incluyen:

v La lista de acrónimos v El mandato (de la evaluación) v La bibliografía de fuentes (informes, publicaciones) v La lista de personas consultadas Cuando los anexos son especialmente largos o muy técnicos, a menudo se publican como documento independiente.

101

11.5 La aprobación El evaluador debe presentar al director de evaluación de la ACDI una primera versión de su informe final para su aprobación. Por lo general se revisa esta versión a fin de garantizar que responda a las necesidades de la Agencia. El director de evaluación de la ACDI debe aprobar el informe antes de que se haga pública la información que contiene.

102

Guía de evaluación de la ACDI

CAPÍTULO 12: LA COMUNICACIÓN DE LOS RESULTADOS

•••••••••••••••••••••••••••••••••••••••••••••••••••••• En este capítulo:

• • •

Invertir en el saber Buenas comunicaciones Saber aprovechar los resultados

••••••••••••••••••••••••••••••••••••••••••••••••••••••

Cuanto más se dan a conocer los resultados, mayor es su credibilidad y mayor es también la presión ejercida para que se apliquen las recomendaciones.

A

l invertir en las evaluaciones, la ACDI crea la posibilidad de mejorar su rendimiento en materia de desarrollo y operaciones. Las evaluaciones no son iniciativas puntuales y aisladas, sino que pueden tener utilidad en un contexto general, aportando ventajas a largo plazo a la Agencia en el área de las operaciones.

Los conocimientos adquiridos ayudan a la dirección a tomar decisiones informadas y a encontrar soluciones a los problemas que se presentan. Las enseñanzas que nos aportan las evaluaciones pueden tener un valor estratégico a la hora de establecer las políticas, estrategias y prioridades de la ACDI. Los resultados de las evaluaciones también pueden beneficiar a los principales grupos interesados (por ej.: los beneficiarios locales, los organismos de ejecución, los ministerios del gobierno beneficiario, etc.).

Para determinar el valor de una evaluación, es importante comprobar para qué sirven los resultados y lecciones. En este capítulo se describe el papel que pueden desempeñar las enseñanzas ofrecidas por la experiencia y las formas para aprovechar al máximo los beneficios que reportan las evaluaciones.

103

12.1 Invertir en el saber

Una oportunidad de aprender para la ACDI.

La decisión de realizar la evaluación representa, efectivamente, una inversión en el saber. La ACDI es una organización en continuo aprendizaje. Las evaluaciones enriquecen el caudal de conocimientos de la Agencia, ofreciéndole una oportunidad de aprender que puede ayudarle a mejorar su capacidad de éxito en su ámbito de actividad.

Las evaluaciones constituyen una eficaz herramienta de análisis e información:

v Identifican qué resultados pueden atribuirse a la inversión y cómo contribuyó la ACDI a dichos resultados.

v Suministran información sobre cuestiones específicas de rendimiento, por ejemplo, si se obtuvieron o no los resultados previstos, y las razones por las que el programa o proyecto evaluado ha sido un éxito o un fracaso.

Las evaluaciones ayudan a la Agencia a: 1) formular políticas y estrategias de desarrollo eficaces; 2) extraer lecciones útiles de la experiencia que benefician a todos los sectores de la Agencia; 3) confirmar hipótesis; y 4) encontrar nuevas soluciones a los problemas en materia de desarrollo.

Las lecciones constituyen el principal instrumento de aplicación sistemática de los resultados de la evaluación a otras actividades e iniciativas de desarrollo. Pueden reportar beneficios ofreciendo respuestas a toda una serie de cuestiones relativas, por ejemplo, a: 1) los factores que influyen en la sostenibilidad, la relación costo-eficacia y la utilidad; 2) lo que dio lugar a resultados o repercusiones imprevistas; y 3) la mejor manera de satisfacer las necesidades locales. Los responsables de la planificación y preparación de una nueva inversión deberían familiarizarse con las lecciones aprendidas de la experiencia.

104

Guía de evaluación de la ACDI

12.2 Buenas comunicaciones ¿Cómo se puede sacar el máximo provecho de la evaluación? Para aprovechar todas las ventajas posibles de los resultados y lecciones aprendidas con la evaluación, es indispensable comunicar estratégicamente los conocimientos adquiridos a fin de facilitar el proceso de toma de decisiones.

El aprendizaje se produce cuando la información sobre el rendimiento permite a la dirección tomar decisiones bien informadas en materia de desarrollo y de operaciones.

En el nivel apropiado, esta asimilación de conocimientos puede contribuir al aprendizaje de la Agencia y a la mejora de las prácticas. ¿Cómo elaborar una buena estrategia de presentación y comunicación de los resultados?

No existe una respuesta única a esta pregunta. Si bien ciertas pautas generales pueden resultar útiles, la estrategia debe adaptarse a cada situación concreta.

El primer paso para establecer una estrategia suele consistir en responder a algunas preguntas fundamentales: ¿Quiénes son los distintos tipos de público destinatario? ¿Qué información debería conocer cada público? ¿Cuál es la mejor manera de llegar a cada público? ¿Qué información debe comunicarse? ¿A qué debe prestársele atención especial?

A continuación se ofrecen algunas pautas para mejorar la eficacia comunicaciones:

de las

v Es preciso dar a conocer los resultados de la evaluación a los grupos interesados (beneficiarios locales, organismos de ejecución, ministerios del gobierno beneficiario, etc.) que puedan beneficiarse de las lecciones aprendidas.

v Antes de hacer pública determinada información, hay que preguntarse si será beneficioso para los programas/países de la ACDI teniendo en cuenta las preocupaciones sociales y políticas de sus responsables. En general, la difusión de notas informativas y resúmenes no oficiales no suele plantear problemas, mientras que la decisión de divulgar el informe de la evaluación propiamente dicho deberá someterse a la aprobación de la ACDI, analizándose cada caso particular por separado.

v La información deberá presentarse de tal forma que se facilite su comprensión y aplicación. Para ello, es posible que deban tenerse en cuenta las costumbres y preferencias del público destinatario.

v Si bien es indispensable dar a conocer los resultados de la evaluación a los grupos interesados y otros públicos, en ocasiones puede ser recomendable adaptar los instrumentos de comunicación a los distintos públicos.

105

v Deberá mantenerse informados a los públicos afectados de las nuevas constataciones y de la estrategia seguida a lo largo de la evaluación ya que puede animar a los grupos interesados a aumentar su participación.

12.3 Aprovechar los resultados

Mantener una actitud estratégica y selectiva No todas las recomendaciones de la evaluación deben aplicarse. La dirección de la ACDI puede adoptar un punto de vista global y estratégico a fin de determinar qué recomendaciones pueden ser aplicadas pragmáticamente.

En el caso de las evaluaciones intermedias y de final de etapa, es posible introducir en el proyecto o programa las medidas correctivas que se estimen necesarias. Si se trata de una evaluación de fin de proyecto, serán otros proyectos en curso o futuros los que puedan beneficiarse de sus resultados.

La oficina geográfica tiene la responsabilidad final de garantizar que las recomendaciones formuladas en una evaluación intermedia y de final de etapa que hayan sido aprobadas sean integradas en las actividades mediatas de planificación y ejecución del proyecto en cuestión. Esta medida sirve para garantizar la aplicación de las recomendaciones en caso de que el director de evaluación sea sustituido antes de que finalice el proyecto o programa.

No es necesario, sin embargo, aplicar todas las recomendaciones de la evaluación. El evaluador formula sus recomendaciones a partir de lo que ha aprendido durante la evaluación. Por su parte, el director de evaluación puede adoptar un punto de vista global y estratégico en el que puede influir información procedente de otras fuentes y limitaciones relativas a la administración o viabilidad. Es importante, sin embargo, no perder de vista la necesidad de tomar medidas que resulten necesarias, por muy difíciles que sean.

Por otra parte, puede ocurrir también que la dirección de la ACDI, por distintas razones, decida abandonar una evaluación. Es posible, por ejemplo, que la evaluación o sus resultados no inspiren confianza, que las recomendaciones no se adapten a las prácticas de trabajo o que entren en juego consideraciones de carácter estratégico. En algunos casos, estas situaciones escapan por completo al control de los evaluadores.

106

Guía de evaluación de la ACDI

Los siguientes factores pueden perjudicar la aplicación de las recomendaciones formuladas en una evaluación:

v Una mala comunicación entre el evaluador y la ACDI puede hacer que las recomendaciones sean inaceptables.

v La metodología de la evaluación estaba mal concebida y no se adoptaron las medidas correctivas necesarias durante el transcurso de la evaluación. Como consecuencia, los resultados de la evaluación pueden no tener ningún valor práctico.

v Las recomendaciones no son ni pragmáticas ni realistas teniendo en cuenta las cantidades que sería necesario invertir para su aplicación eficaz.

v Se han producido cambios drásticos en la situación que despojan a las recomendaciones de su pertinencia.

v Debido a un desacuerdo con los participantes, los grupos interesados no han demostrado un nivel suficiente de compromiso.

12.4 Las opciones para difundir los resultados Independientemente del tipo de evaluación, es importante divulgar adecuadamente los resultados, ya que de esa manera todos los sectores de la Agencia pueden beneficiarse inmediatamente o más adelante en el marco de sus propios proyectos de desarrollo.

Por lo general, es el director de evaluación de la ACDI quien determina qué tipo de información será comunicada a los grupos interesados (ACE, gobiernos beneficiarios, grupos interesados locales, otros donantes, etc.). Para algunos tipos de público, puede estimarse suficiente la presentación de un resumen.

En lo que a la Agencia respecta, la memoria central es el instrumento principal utilizado para recopilar y distribuir los resultados de la evaluación. En el caso de las evaluaciones temáticas y otros análisis de rendimiento de carácter general, se puede consultar el texto íntegro del informe de evaluación a través de la memoria. Todas las evaluaciones deberán incluir un resumen o síntesis que será archivado posteriormente en la memoria central de la Agencia.

Otros mecanismos para divulgar la información son los siguientes:

v Publicar un artículo en el Boletín informativo sobre el rendimiento de la DGAR. v Distribuir el informe de evaluación (o un resumen) a las oficinas geográficas, centros de responsabilidad de la Agencia interesados, las ACE y/u otros grupos interesados.

107

v Catalogar el informe de evaluaci贸n en los recursos documentales del Centro de Informaci贸n sobre Desarrollo Internacional de la Agencia.

v Publicar un resumen biling眉e en el sitio web de la ACDI. v El inventario de evaluaciones del Comit茅 de Ayuda al Desarrollo. v Los seminarios, talleres, sesiones de estudio entre colegas y reuniones personales, que ofrecen a menudo la oportunidad de debatir las lecciones aprendidas.

108

Guía de evaluación de la ACDI

CAPÍTULO 13: LAS RESPUESTAS A LAS PREGUNTAS M ÁS FRECUENTES

13.1

Generalidades

–––––––––––––––––––––––––––––––––––––––––––––––– P:

¿Qué espera obtener la ACDI al realizar una evaluación?

R:

Información pertinente, útil y veraz que contribuya a mejorar la labor de la ACDI facilitando la toma de decisiones bien informadas y la resolución de los problemas.

–––––––––––––––––––––––––––––––––––––––––––––––– P:

¿Qué espera la ACDI de los evaluadores?

R:

Un resultado profesional que ofrezca un valor añadido a la Agencia y ponga de manifiesto su competencia y conocimientos, así como su integridad, imparcialidad e independencia.

–––––––––––––––––––––––––––––––––––––––––––––––– P:

¿Cómo se llevan a cabo las evaluaciones?

R:

La “Guía de evaluación de la ACDI” describe la estrategia de la Agencia para realizar evaluaciones y propone pautas para responder a las expectativas de la dirección.

El evaluador debe garantizar que su evaluación se mantenga en todo momento orientada hacia la consecución de sus objetivos estratégicos, privilegiando la sencillez a fin de reducir al mínimo el consumo del tiempo y los escasos recursos disponibles.

–––––––––––––––––––––––––––––––––––––––––––––––– P:

¿Quién realiza las evaluaciones de la ACDI?

R:

Por lo general, la ACDI subcontrata las evaluaciones a un profesional, compañía u organización externa. En algunos casos se considera preferible formar un equipo de evaluación reuniendo a representantes de distintas compañías u organizaciones.

109

Con relación a la organización de la evaluación, suelen aplicarse las siguientes reglas:

v Para las evaluaciones complejas o de gran envergadura, a menudo se crea un comité asesor encargado de establecer la orientación general de la evaluación. En esta categoría se incluirían, por ejemplo, las evaluaciones en las que participan varios donantes y las grandes evaluaciones temáticas. En estos casos, uno de los miembros del comité asesor será nombrado director de evaluación para la ACDI, actuando al mismo tiempo como persona de contacto con el evaluador.

v Para el resto de las evaluaciones se suele asignar a un director de evaluación de la ACDI la responsabilidad de representar a la Agencia. En este caso también, la persona actuará de enlace con el evaluador.

v El evaluador es responsable de dirigir las actividades cotidianas y producir los documentos exigidos de conformidad con los términos del contrato.

Se espera que todas las evaluaciones incluyan la participación directa y útil de los grupos interesados.

–––––––––––––––––––––––––––––––––––––––––––––––– P:

¿Cuáles son las etapas de la estrategia adoptada por la ACDI para realizar las evaluaciones?

R:

Por lo general, las evaluaciones conllevan las siguientes etapas (la persona responsable aparece entre paréntesis):

v Decisión de realizar la evaluación (dirección de la ACDI) v Preparación del mandato (director de evaluación de la ACDI) v Selección del evaluador (director de evaluación de la ACDI) v Preparación del plan de trabajo (evaluador) v Recopilación y análisis de la información (evaluador) v Preparación del informe de evaluación (evaluador) v Comunicación de los resultados (director de evaluación de la ACDI)

––––––––––––––––––––––––––––––––––––––––––––––––

110

Guía de evaluación de la ACDI

–––––––––––––––––––––––––––––––––––––––––––––––– P:

¿De qué manera influye la política de gestión basada en los resultados (GBR) en las evaluaciones?

R:

La GBR actúa como marco general de gestión de la Agencia para producir resultados estratégicos y mejorar la transparencia y la rendición de cuentas en el marco de las actividades de la ACDI en materia de desarrollo y operaciones. Las políticas, principios y prácticas de la GBR sirven para orientar la realización de las evaluaciones y están integradas en los procesos, métodos y técnicas propios de la Agencia.

–––––––––––––––––––––––––––––––––––––––––––––––– P:

¿Qué papel desempeña el “Marco de resultados y factores claves de éxito” en la realización de las evaluaciones?

R:

El Marco proporciona a la Agencia una orientación general para definir qué constituye un logro y cuáles son los elementos que deben tenerse en cuenta a la hora de medir el rendimiento. Al establecer una correspondencia estratégica entre los puntos que deben evaluarse y las expectativas de la ACDI con respecto a los resultados, se promueve la GBR y se crea al mismo tiempo una buena base informativa destinada a facilitar la toma de decisiones y la resolución de problemas.

El marco es una herramienta de trabajo que conviene utilizar de forma constante, sistemática y estratégica en las etapas de diseño, planificación, ejecución y preparación de los informes de las actividades de valoración del rendimiento. Se espera que los evaluadores se concentren en la producción de resultados inspirándose para ello en los resultados de desarrollo y factores de éxito del marco.

–––––––––––––––––––––––––––––––––––––––––––––––– P:

¿Qué debe hacerse para garantizar que una inversión sea evaluable en su etapa de planificación y diseño?

P:

Los autores de la “Guía de evaluación de la ACDI” proponen varias formas para desarrollar la capacidad de evaluación en una inversión.

De acuerdo con sus sugerencias, es importante:

v Mantener una actitud realista sobre lo que se puede lograr y describir las expectativas relativas a los resultados de manera sencilla y concisa.

v Establecer las relaciones existentes con el mandato y las prioridades de la ACDI, y los temas multidisciplinarios.

111

v Reducir al mínimo el número de indicadores del rendimiento a fin de evitar que la medición sea demasiado compleja.

v Establecer desde el principio la obligación de informar sobre las lecciones aprendidas durante la realización de la evaluación.

v Garantizar que se establezcan fuentes de información básicas para las necesidades de la medición del rendimiento.

–––––––––––––––––––––––––––––––––––––––––––––––– 13.2 La planificación, el diseño y la ejecución

–––––––––––––––––––––––––––––––––––––––––––––––– P:

¿Por qué son importantes las etapas de planificación y diseño?

R:

En la ACDI, el rendimiento se mide comparándolo con las expectativas establecidas en la etapa de planificación. Por consiguiente, es importante explicar con claridad en las etapas de planificación y diseño qué resultados se espera obtener y qué camino se utilizará para conseguir dichos resultados.

La planificación y el diseño desempeñan un papel fundamental en las evaluaciones:

v La realización de las evaluaciones resulta más fácil cuando se crea la capacidad de evaluación en la propia inversión. Los marcos de rendimiento preparados para las inversiones de la ACDI constituyen la principal fuente de referencia para los evaluadores. En ellos se describen los vínculos con el mandato y las prioridades de la ACDI, los resultados previstos, el alcance, etc.

v El plan de trabajo que prepara el evaluador, tras ponerse de acuerdo con el director de evaluación de la ACDI, establece claramente cómo se realizará la evaluación, quién es responsable de qué y cuáles son los documentos exigidos y las etapas a superar, así como los plazos para completar las distintas actividades de la evaluación.

––––––––––––––––––––––––––––––––––––––––––––––––

112

Guía de evaluación de la ACDI

P:

¿En qué consiste el proceso de planificación de la evaluación en la ACDI?

R:

La planificación de la evaluación es un proceso que se compone esencialmente de dos etapas, siendo el mandato y el plan de trabajo de la evaluación los dos documentos de planificación principales:

v Por lo general, es el director de evaluación de la ACDI quien prepara el mandato, identificando la visión inicial de la dirección, sus necesidades y expectativas, así como los parámetros generales de la evaluación y la estrategia.

v El evaluador prepara un plan de trabajo en el que explica detenidamente qué es lo que se puede hacer y establece la base para poder iniciar la evaluación propiamente dicha.

Cualquier desviación significativa del plan de trabajo durante el transcurso de la evaluación deberá comunicarse al director de evaluación de la ACDI.

–––––––––––––––––––––––––––––––––––––––––––––––– P:

¿Cómo se prepara el mandato?

R:

La “Guía de evaluación de la ACDI” propone varias pautas para preparar el mandato de la evaluación.

El director de evaluación de la ACDI deberá abordar los siguientes elementos:

v Perfil de la inversión (descripción del contexto y la razón de ser) v Razones por la que se realiza la evaluación v Alcance y objeto v Participación de los grupos interesados v Proceso de evaluación v Documentos a producir v Cualidades del evaluador v Previsiones presupuestarias

––––––––––––––––––––––––––––––––––––––––––––––––

113

–––––––––––––––––––––––––––––––––––––––––––––––– P:

¿Cómo se prepara el plan de trabajo?

R:

La “Guía de evaluación de la ACDI” propone varias pautas para preparar el plan de trabajo de la evaluación.

El evaluador deberá abordar los siguientes elementos:

v Descripción general de la inversión v Expectativas con respecto a la evaluación v Papeles y responsabilidades v Metodología v Marco de evaluación v Informes v Calendario de trabajo

–––––––––––––––––––––––––––––––––––––––––––––––– P:

¿Qué función desempeña el marco de evaluación?

R:

El marco de evaluación sistematiza en un formato de matriz fácil de utilizar la estrategia adoptada por el evaluador para realizar la evaluación. Determina cómo se llevará a cabo la evaluación presentando en orden jerárquico los puntos que deberá tratar y las preguntas que deberá responder el evaluador, estableciendo el fundamento lógico que servirá de base a las respuestas. Para cada una de las preguntas se identifican los indicadores de rendimiento, las fuentes de información, los métodos de recopilación de información y la base de análisis que se utilizará. Las preguntas a las que debe responder la evaluación deberán guardar una relación directa con los resultados en materia de desarrollo y factores de éxito enunciados en el “Marco de resultados y factores claves de éxito” de la Agencia.

––––––––––––––––––––––––––––––––––––––––––––––––

114

Guía de evaluación de la ACDI

–––––––––––––––––––––––––––––––––––––––––––––––– P:

¿Qué fuentes de información puede consultar el evaluador?

R:

El evaluador puede consultar, entre otras, las siguientes fuentes de información: Análisis de obras y estudios de expedientes

v v v v v v v v v v v v v v

Documentos de planificación Estudios de viabilidad Informes preliminares Informes de progreso Correspondencia Publicaciones Memoria central Evaluaciones anteriores Obras Estudios y análisis Lecciones aprendidas Planes de gestión Marcos de rendimiento Internet

Consultas

v v v v v v v v

Personal de la ACDI en la administración central y sobre el terreno Beneficiarios Autoridades locales Personal de los organismos de ejecución Personal del gobierno del país beneficiario Especialistas sectoriales Otros donantes Organizaciones participantes

Observaciones sobre el terreno

v Emplazamientos del proyecto v Instalaciones sobre el terreno

––––––––––––––––––––––––––––––––––––––––––––––––

115

–––––––––––––––––––––––––––––––––––––––––––––––– P:

¿Qué métodos de recopilación de información se pueden utilizar?

R:

Los métodos siguientes:

v Análisis de obras especializadas y estudio de expedientes v Consultas (por ej.: reuniones personales o entrevistas telefónicas, entrevistas en grupo, grupos de trabajo, talleres)

v Observaciones sobre el terreno v Encuestas v Consulta a especialistas v Estudios de casos

–––––––––––––––––––––––––––––––––––––––––––––––– P:

¿Qué técnicas de análisis suelen utilizarse?

R:

El documento “Métodos de evaluación de programas: medida y atribución de los resultados de los programas” (Oficina del Contralor General, enero de 1991) describe las técnicas que suelen utilizarse con mayor frecuencia en las evaluaciones:

v El análisis estadístico v El análisis no estadístico v El uso de modelos v El análisis de costo-beneficio y el análisis de costo-eficacia

––––––––––––––––––––––––––––––––––––––––––––––––

116

P:

¿Por qué es importante contar con la participación de los grupos interesados?

R:

En su “Marco de resultados y factores claves de éxito”, la ACDI considera primordial la participación directa de los socios y beneficiarios locales en el diseño, ejecución, control y evaluación de los programas o proyectos. La experiencia ha demostrado que los programas y proyectos que cuenta con la participación plena y entera de los grupos interesados dan mejores resultados.

Guía de evaluación de la ACDI

Entre las ventajas que reporta la participación de los grupos interesados destacan:

v Una orientación más pragmática. v El perfeccionamiento profesional, dotando a los participantes con los medios para su propia habilitación.

v Un mayor compromiso de los interesados, lo que favorece la sostenibilidad del programa o del proyecto a largo plazo.

El evaluador deberá abordar la participación de los grupos interesados desde dos perspectivas:

v Debe informar sobre la importancia de la participación de los grupos interesados en el propio programa y evaluar su utilidad.

v Debe asegurarse que los interesados participen directamente en la evaluación.

–––––––––––––––––––––––––––––––––––––––––––––––– P:

¿Cuál es la mejor forma de hacer participar a los grupos interesados?

R:

Hacer participar a los grupos interesados es un proceso que suele consistir en cuatro etapas:

v En primer lugar, el director de evaluación de la ACDI determina quién podría formar parte de los grupos interesados y lo evalúa. Puede tratarse de beneficiarios, ministerios del gobierno beneficiario, organizaciones comunitarias locales, ONG, otros donantes y la prensa.

Se evaluará estratégicamente a cada parte interesada a fin de establecer las relaciones entre los grupos, sus intereses y la contribución que puede hacer a la evaluación.

v A continuación, el director de evaluación de la ACDI informa a los grupos interesados en cuestión que va a realizarse una evaluación, les describe sus parámetros generales, les da el nombre del evaluador e inicia el diálogo con ellos. Deberán respetarse las reglas habituales que rigen las relaciones con los grupos interesados en los países beneficiarios.

v Seguidamente, el evaluador habla de la evaluación a los grupos interesados, les pregunta si desean participar y debate con ellos su posible participación.

117

v Por último, el evaluador integra la estrategia de participación de los grupos interesados en su plan de trabajo. Se informa a los grupos interesados que deban desempeñar un verdadero papel en la evaluación de las expectativas y la marcha de la evaluación.

–––––––––––––––––––––––––––––––––––––––––––––––– 13.3 Los informes y la comunicación de los resultados

–––––––––––––––––––––––––––––––––––––––––––––––– P:

¿Qué tipo de informes debe presentar el evaluador a la dirección de la ACDI?

R:

El evaluador debe presentar, por lo general, dos tipos de informe:

v Informes periódicos sobre la marcha de la evaluación a la dirección de la ACDI y a los grupos interesados.

v Un informe de evaluación final.

–––––––––––––––––––––––––––––––––––––––––––––––– P:

¿Por qué es importante presentar informes periódicos?

R:

Informar regularmente a la Agencia permite comprobar si la evaluación se realiza de acuerdo con las expectativas y presupuesto establecido. Los informes a los grupos interesados les mantiene al corriente de la situación, ofreciéndoles la oportunidad de dar a conocer su punto de vista y contribuye a fomentar su interés, haciéndoles sentirse más afectados por el programa o proyecto en cuestión.

Las directrices de la DGAR en materia de GBR establecen que se realice un control interno constante de las actividades. Al presentar informes periódicos, el evaluador proporciona al director de evaluación y a los grupos interesados información en “tiempo real” sobre la utilización de los recursos, el alcance de las intervenciones y el grado de consecución de los resultados.

––––––––––––––––––––––––––––––––––––––––––––––––

118

Guía de evaluación de la ACDI

–––––––––––––––––––––––––––––––––––––––––––––––– P:

¿Cómo se prepara un resumen o síntesis del informe de evaluación?

R:

La “Guía de evaluación de la ACDI” presenta varias pautas sobre cómo preparar el resumen del informe de evaluación final.

El resumen debería incluir los siguientes elementos:

v Introducción v Descripción general de la inversión/evaluación v Aspectos más destacados en cuanto al rendimiento v Recomendaciones v Lecciones

–––––––––––––––––––––––––––––––––––––––––––––––– P:

¿Cómo se prepara un informe final de evaluación?

R:

La “Guía de evaluación de la ACDI” sugiere que se incluyan los siguientes elementos en el informe final de evaluación:

Resumen Introducción Perfil de la inversión

Perfil de la evaluación

Sinopsis del informe Objetivo del informe Alcance de la inversión/evaluación Contexto de desarrollo Descripción general • Razón de ser y objeto • Expectativas • Organización/estructura Logros/etapas claves Información sobre la medición del rendimiento • Seguimiento • Análisis Recursos Descripción general • Razones de la evaluación • Alcance y objeto • Expectativas Metodología

119

Constataciones Conclusión Recomendaciones Lecciones Anexos

Composición del equipo de evaluación Respuesta a las preguntas planteadas Análisis general del rendimiento Enumeración • Lecciones en materia de operaciones • Lecciones en materia de desarrollo Lista de acrónimos Mandato (evaluación) Bibliografía Personas consultadas

–––––––––––––––––––––––––––––––––––––––––––––––– P:

¿Cómo se comunican los resultados de la evaluación?

R:

Por lo general es el director de evaluación de la ACDI quien determina la estrategia de comunicación de los resultados y difusión de la información.

En el caso de las evaluaciones intermedias y de final de etapa, es posible introducir en el proyecto o programa las medidas correctivas que se estimen necesarias. Si se trata de una evaluación de fin de proyecto, serán otros proyectos en curso o futuros los que puedan beneficiarse de sus resultados.

En lo que a la Agencia respecta, la memoria central es el instrumento principal de difusión de los resultados de evaluación y de integración de las lecciones aprendidas en las etapas de planificación, diseño y ejecución de los programas y proyectos. Todas las evaluaciones deberán incluir un resumen que será archivado posteriormente en la memoria central de la Agencia.

Existen otras herramientas para comunicar los resultados:

v Publicar un artículo en el Boletín informativo sobre el rendimiento de la DGAR.

v Distribuir el informe de evaluación (o un resumen) a las oficinas geográficas, centros de responsabilidad de la Agencia interesados, las ACE y/u otros grupos interesados.

v Catalogar el informe de evaluación en los recursos documentales del Centro de Información sobre Desarrollo Internacional de la Agencia.

v Publicar un resumen bilingüe en el sitio web de la ACDI.

120

Guía de evaluación de la ACDI

v El inventario de evaluaciones del Comité de Ayuda al Desarrollo.

Los seminarios, talleres, sesiones de estudio entre colegas y reuniones personales, que ofrecen a menudo la oportunidad de debatir las lecciones aprendidas.

Cómo obtener más información Si tiene cualquier pregunta sobre cómo realizar una evaluación o elaborar un informe de rendimiento, no dude en ponerse en contacto con la DGAR. Será un placer responderle.

121

Direcci贸n de la Evaluaci贸n Direcci贸n General de An谩lisis del Rendimiento Agencia Canadiense de Desarrollo Internacional