Asamblea Inaugural de la Organización Internacional para la Cooperación en Evaluación (IOCE)

Asamblea Inaugural de la Organización Internacional para la Cooperación en Evaluación (IOCE): Realización de un sueño utópico1

por Craig Russon Fundación W.K. Kellogg y Arnold Love Consultor independiente

31 de julio de 2003

Occasional Paper No. 20 The Evaluation Center Western Michigan University Kalamazoo, Michigan

1

Original en idioma Inglés. Traducido por el Programa para el Fortalecimiento de la Capacidad de Seguimiento y Evaluación de los Proyectos FIDA en América Latina y el Caribe (PREVAL): www.preval.org Traductora: Susana Carrera Risco: carrerarisco1@terra.com.pe

Resumen El presente artículo relata la historia de la Organización Internacional para la Cooperación en Evaluación (IOCE, según sus siglas en inglés), proporciona información actualizada acerca de organizaciones de evaluación regionales y nacionales, expone los problemas que afrontan dichas organizaciones y describe el proceso de puesta en marcha de la IOCE (por ejemplo, la ratificación del acta de constitución provisional, la elección del Consejo de Administración interino).

1

Asamblea Inaugural de la Organización Internacional para la Cooperación en Evaluación: Realización de un sueño utópico Al arrancar la fruta de la memoria corres el riesgo de estropear su flor...

-Joseph Conrad

La asamblea inaugural de la Organización Internacional para la Cooperación en Evaluación se llevó a cabo del 28 al 30 de marzo de 2003 en Lima, Perú. El evento fue organizado por PREVAL (Programa para el Fortalecimiento de la Capacidad de Seguimiento y Evaluación de los Proyectos FIDA en América Latina y el Caribe). En él se dieron cita 40 líderes de 26 organizaciones de evaluación regionales y nacionales de todo el mundo. (En el Anexo A encontrarán la relación de los participantes registrados y sus respectivas instituciones.) Luego de una breve narración del proceso de creación de la IOCE, presentaremos una descripción detallada de la asamblea inaugural.

Historia El proceso de creación de la IOCE se remonta a la conferencia internacional que se realizó en Vancouver, British Columbia, en 1995, bajo los auspicios de la Asociación Americana de Evaluación y la Sociedad Canadiense de Evaluación (AEA y CES, según sus siglas en inglés, respectivamente). El tema de la conferencia fue: “Evaluación para un nuevo siglo – una perspectiva global”. El evento contó con la asistencia de delegados de 50 países, y muchos emergieron de él enfocando la evaluación desde nuevos ángulos.

Un par de años después se llevó a cabo una discusión en el grupo de discusión electrónica (listserv) EVALTALK acerca de la internacionalización de la profesión.

Uno de los principales temas tratados fue la posibilidad de crear una federación de organizaciones nacionales de evaluación.

Como resultado de dicha discusión, el Grupo de Interés en el Tópico de la Evaluación Internacional y Transcultural (I&CCE, según sus siglas en inglés) convocó a un panel de seis presidentes de organizaciones de evaluación regionales y nacionales. El Panel de Presidentes se reunió en sesión plenaria en ocasión de la reunión anual de 1998 de la Asociación Americana de Evaluación (Russon & Love, 1999). El objetivo del Panel fue evaluar la posibilidad de crear una “comunidad mundial de evaluadores”. Un resultado del panel fue la decisión de llevar adelante con calma este proyecto. Se elaboró una propuesta y se obtuvo financiamiento de la Fundación W.K. Kellogg para poner en marcha el primer paso del proyecto (Russon & Love, 2000).

Del 18 al 20 de febrero de 1999 se celebró una reunión presencial en Barbados, Indias Occidentales, para analizar los aspectos inherentes a la creación de dicha comunidad internacional (Mertens & Russon, 2000). Asistieron a la reunión los y las líderes de 15 organizaciones de evaluación regionales y nacionales de todo el mundo. También participaron observadores de la Fundación Kellogg, la Universidad de las Indias Occidentales (University of the West Indies), el Banco Caribeño de Desarrollo (BCD) y el Fondo para el Desarrollo de Capitales de las Naciones Unidas. Luego de intensas negociaciones, el grupo identificó los fines, principios institucionales y actividades que sostendrían a la comunidad mundial. Se eligió un comité de redacción integrado por representantes de la diversidad del grupo. El comité recibió el encargo de desarrollar un

2

acta de constitución para lo que luego se daría en llamar la Organización Internacional para la Cooperación en Evaluación (IOCE).

Tomó casi un año que el acta de constitución fuera endosada por todas las organizaciones presentes en la reunión de Barbados. Luego, el acta de constitución fue presentada al resto de organizaciones regionales y nacionales de evaluación de todo el mundo. Con apoyo de la comunidad mundial de evaluadores, se redactó una segunda propuesta y se obtuvo financiamiento adicional de la Fundación Kellogg. Los miembros del comité de redacción se reunieron en República Dominicana del 8 al 10 de marzo de 2002 y constituyeron un grupo coordinador para planear la asamblea inaugural de la IOCE. Entre los temas más importantes tratados por el grupo coordinador en esta reunión figuraron los siguientes: participación, formato, agenda, procesos avanzados, sede y secretariado.

28 de marzo de 2003 La asamblea inaugural se llevó a cabo en el centro de conferencias del Hotel Las Américas en el distrito de Miraflores, Lima, Perú. Antes del inicio del evento, el salón principal del hotel bullía de actividad. Los expositores cargaban sus presentaciones en la computadora principal del evento y probaban el proyector de video. Los asesores en tecnología probaban el sistema de audio que se encargaría de transmitir la interpretación simultánea de las exposiciones en tres idiomas – inglés, francés y español. Pronto, la actividad cesó y la asamblea inaugural fue inaugurada formalmente por Ada Ocampo, la Coordinadora de PREVAL, quien dio la bienvenida a los delegados y delegadas en nombre del grupo coordinador de la IOCE y la Red Peruana de Seguimiento y Evaluación. Reconoció la presencia de delegados y delegadas de organizaciones de evaluación de Perú y Colombia que se habían formado el año anterior. Ése fue uno de los resultados que el grupo coordinador había esperado obtener de la selección de América Latina como sede de la asamblea inaugural.

Seguidamente, Marco Segone, de la Red de Seguimiento y Evaluación de Brasil, y Penny Hawkins, de la Sociedad de Evaluación de Australasia, dieron la bienvenida a los participantes en francés e inglés, respectivamente. Segone saludó a los participantes a la asamblea en nombre de la Red de S&E de Brasil y de todas las sociedades de evaluación francófonas de todo el mundo. Señaló que esta reunión brindaba a las sociedades de evaluación francófonas la oportunidad de reunirse por primera vez e incidir sobre el desarrollo de la evaluación a un nivel internacional. En especial, añadió, la asamblea inaugural de la IOCE ofrecía a los delegados y delegadas de países en desarrollo que estaban padeciendo coyunturas políticas difíciles una oportunidad para reunirse y expresar su opinión libremente. Hawkins agradeció a PREVAL y aseguró que era un privilegio asistir a este evento histórico y ver a la IOCE convertida en realidad.

Señaló que tenía grandes expectativas de conocer mejor a los otros delegados y delegadas y desarrollar vínculos fuertes con ellos, que pudieran aprovecharse en el futuro para llevar adelante la organización.

Murray Saunders, de la UK Evaluation Society (Sociedad de Evaluación del Reino Unido), habló sobre la motivación fundamental detrás de la creación de la IOCE y se refirió a la forma en que el grupo coordinador había hecho su trabajo. Además, enumeró los resultados esperados de la asamblea inaugural. La IOCE era necesaria, sostuvo, por los siguientes motivos: (1) debido al crecimiento de la evaluación en todo el mundo.

3

Saunders atribuyó dicho crecimiento en parte al reto que planteaba para la evaluación de las políticas sociales el distanciarse de la ética profesional de los proveedores y expertos y concentrarse en personas externas e internas que pudieran crear una base de evidencia ‘desinteresada’; (2) el aumento de la demanda de evaluación por parte de las organizaciones internacionales en todos los sectores; (3) el incremento de la actividad de evaluación transnacional, a nivel tanto individual como institucional (o, dicho de otro modo, el aumento de la oferta de evaluación); (4) el interés emergente en evaluar de manera puntual el impacto de la asignación transnacional de recursos; y (5) el interés generalizado en la calidad y los estándares de evaluación y los aspectos más sutiles de idoneidad y capacidad.

Saunders pasó a discutir los supuestos que habían guiado el trabajo del grupo coordinador: (1) la inclusividad es necesaria si se quiere impulsar una actividad de ancha base; (2) las conexiones transnacionales pueden fomentar el crecimiento de las organizaciones y promover valores positivos; (3) el diálogo genera una comprensión compartida respecto de temas importantes, tales como normas éticas, estándares y uso de la evaluación; (4) la evaluación puede apoyar intervenciones socialmente responsables impulsadas por los gobiernos; y (5) es importante promover el fortalecimiento de capacidades, tanto al interior de los grupos sectoriales, regionales y lingüísticos como entre ellos.

Acto seguido, Saunders comentó brevemente el trabajo del grupo coordinador. En la reunión de Barbados, el grupo recibió el mandato de actuar como un grupo de habilitación de recursos humanos e ideas. Dado que los miembros del grupo se encontraban ampliamente dispersos y no podían darse el lujo de reunirse, se acordó que se comunicarían mediante tecnología en línea. En un principio, el trabajo se dividió en tres grupos funcionales: el grupo encargado de seleccionar la sede, el grupo a cargo de la elaboración del programa y el grupo que conseguiría financiamiento. A medida que fue transcurriendo el tiempo, sin embargo, la división del trabajo se fue haciendo más difusa. Diferentes personas asumieron el liderazgo en diferentes etapas. Todos realizaron contribuciones esenciales en diferentes etapas. El grupo coordinador tomó decisiones clave, a las que se arribó mediante la negociación y el consenso.

Los resultados que el grupo coordinador vislumbró para la institución fueron: (1) endoso provisional del acta de constitución, como proceso previo a la ratificación formal del documento en un plazo de tiempo razonable; (2) ideas y planes para dotar a la IOCE de un enfoque distintivo; (3) producción de un marco de habilitación caracterizado por las cualidades de apertura, capacidad de respuesta y flexibilidad; y (4) una nueva estructura de liderazgo a la cual el grupo coordinador pudiera transferirle la responsabilidad.

Luego de la intervención de Saunders, Nancy Porteous, de la Sociedad Canadiense de Evaluación, habló sobre el formato de la asamblea inaugural. Precisó que el esfuerzo por dar cabida a todos los que habían expresado un interés en participar en la asamblea era una clara señal del enfoque inclusivo adoptado. Los delegados y delegadas cumplirían con diversas funciones: algunos presentarían ponencias; otros presidirían las sesiones y otros tomarían notas para las actas de la reunión. Las responsabilidades de los presidentes de las sesiones y los relatores habían sido distribuidas previamente.

Expositores y relatores cargarían sus materiales en el sistema de discusión en línea, de manera tal que las personas interesadas pudieran tener acceso a ellos. (En adición, se

4

estaba preparando un archivo de la asamblea en video.) Al día siguiente se tomaría una foto del grupo hacia el mediodía. Se prepararon insignias con los nombres de los participantes y carpetas para el uso de cada uno.

Para concluir con las bienvenidas e introducciones, Mahesh Patel, observador de UNICEF, pidió a los delegados y delegadas un minuto de silencio en conmemoración del sufrimiento ocasionado por la guerra en Irak. A continuación se cantó una versión conmovedora de la canción de la evaluación (con la melodía de El Rey León). Esta canción fue cantada durante la conferencia inaugural de la Asociación Africana de Evaluación, de la cual Patel fue co-organizador. Finalmente, Patel invitó a los delegados y delegadas a formar parejas, entrevistar a sus parejas y luego presentarlas brevemente a los demás delegados y delegadas.

Historia y visión general La siguiente sesión de la conferencia consistió en un recorrido por la historia y una visión general de la IOCE, a cargo de dos facilitadores de la asamblea inaugural, Arnold Love y Craig Russon. Los expositores empezaron con una historia gráfica de los eventos clave en el proceso de creación de la IOCE (Love & Russon, 2000). Luego, se refirieron a la visión de la IOCE, que es “promover la cooperación entre sociedades, asociaciones y redes de evaluación nacionales y regionales”. Indicaron que, si bien gran parte del trabajo de la IOCE se llevaría a cabo de manera “virtual”, también habría reuniones regionales, eventos de capacitación, proyectos comunes y conferencias ocasionales. La misión de la IOCE es: “legitimar y fortalecer las sociedades, asociaciones o redes de evaluación para que puedan contribuir mejor a la buena gobernabilidad y fortalecer la sociedad civil. Construir capacidad de evaluación, desarrollar principios o procedimientos de evaluación, alentar el desarrollo de nuevas sociedades y asociaciones o redes, realizar actividades educativas orientadas a incrementar la conciencia pública sobre la importancia de la evaluación y buscar recursos para la actividad cooperativa. Asimismo, será un foro para el intercambio de métodos útiles y de alta calidad, teorías y prácticas efectivas de evaluación.”

Los principios clave en base los cuales se fundó la IOCE incluyen los siguientes: • • • • •

La IOCE será completamente independiente de los intereses de cualquier asociación o sociedad de evaluación, país, región u organización nacional o internacional individual.

La membresía estará abierta a todas las organizaciones o redes de evaluación formalmente constituidas, pero no a personas individuales.

En principio, todas las organizaciones participantes deberán contribuir a los gastos corrientes y actividades de la IOCE, pero las diferentes necesidades y capacidades no constituirán impedimento para su participación.

El principio rector es la inclusión: la no asistencia a reuniones de cuerpo presente no se entenderá como no participación.

La organización de la IOCE se regirá por el principio del menor costo posible de los recursos.

5

• •

La IOCE se financiará mediante una combinación de fondos de auspiciamiento y cuotas de sus miembros.

Para reducir los costos, la IOCE hará uso de medios electrónicos, tales como: listas de correo electrónico, foros de discusión electrónicos y archivo electrónico de documentos clave.

Asociaciones y redes nacionales Luego de un refrigerio, se presentaron diversos estudios de caso sobre el proceso de formación de las asociaciones y redes nacionales. Los primeros expositores fueron Marco Segone, de la Red de Seguimiento y Evaluación de Brasil, y Jean-Charles Rouge, de la Red de Seguimiento y Evaluación de Níger. Los expositores explicaron que el papel de UNICEF consistía en fortalecer la capacidad de evaluación en los países en desarrollo, proveyendo los fondos necesarios para crear redes de evaluación rápidamente. Añadieron que el desarrollo de redes de evaluación era muy importante en África y otras partes del mundo. A continuación, explicaron el marco conceptual de Desarrollo de Capacidad en Seguimiento y Evaluación (DCS&E), elaborado conjuntamente por UNICEF y el PNUD, que fue utilizado para crear redes de evaluación en dos países muy distintos: Níger y Brasil. El marco contiene los siguientes elementos: • • • • •

establecimiento de procesos efectivos (funciones, roles, responsabilidades, tareas), identificación de problemas o temas y formulación y realización de metas; procesos que deben llevar a cabo los actores apropiados (individuales y colectivos); y deben ser organizados en estructuras eficientes de rendición de cuentas, gestión y expresión de una voz colectiva; los actores deben tener la motivación, el conocimiento, las destrezas y los recursos necesarios para llevar a cabo su función con eficacia; y deben apoyarse en “reglas” o “normas” (formales e informales, económicas, sociales y políticas) que existan dentro de las organizaciones (públicas, privadas, de la sociedad civil), en los grupos sociales y a todos los niveles de la sociedad.

El marco de S&EDC fue utilizado por primera vez por Segone para la creación de la Red de Seguimiento y Evaluación de Níger (ReNSE) en 1999. ReNSE ha adoptado un procedimiento mediante el cual las decisiones importantes se toman por consenso entre todas las organizaciones miembros. Los integrantes de la red eligen democráticamente un comité de coordinación cada dos años. Para garantizar los aspectos de motivación, conocimiento, destrezas y recursos, el comité de coordinación intenta cobijar una amplia representación, de diferentes grupos de interesados (stakeholders). En lo que respecta a las reglas y normas, la red ha adoptado los siguientes valores comunes: énfasis en el uso de capacidades locales, dirección y propiedad nacionales, así como una percepción compartida de la naturaleza de la evaluación. La focalización de ReNSE en los aspectos técnicos, una estructura organizacional ligera y procedimientos transparentes ha contribuido a convertirla en una de las organizaciones nacionales más activas de un país en desarrollo.

A continuación, Carmen Vélez presentó un estudio de caso de la Sociedad Española de Evaluación (SEE). Se refirió a la creciente importancia que está cobrando la evaluación 6

de las políticas públicas en España. Los planificadores y gerentes están usando la evaluación cada vez más como una herramienta para optimizar el gasto estatal. En adición, la evaluación está ayudando al gobierno a cumplir con los requisitos legales y de tiempo, así como con la transparencia de los procedimientos. Una ola de evaluación es cofinanciada a través de fondos estructurales.

Vélez hizo una breve reseña del desarrollo y la evolución de la evaluación en España.

Pese a los avances recientes, sigue habiendo una brecha entre España y los países anglófonos. Mencionó problemas de diseño y ejecución de la evaluación y el uso limitado de los resultados. La evaluación está siendo utilizada más bien como un sistema de control financiero y administrativo, antes que como un sistema de servicios para planificadores y gerentes, acotó. La evaluación es de corte más bien descriptivo y no necesariamente emite juicios de valor. Se está empleando como un instrumento para generar descripciones de lo que ya se ha hecho, en vez de como una herramienta para mejorar la planificación y la toma de decisiones.

Para terminar, Vélez mencionó el proceso de surgimiento de la SEE. Un foro de 16 académicos reconoció la necesidad de trabajar en la promoción de la investigación y el intercambio de experiencias. Dicho foro eventualmente se convirtió en la SEE, cuyo objetivo superior es contribuir al desarrollo de una cultura de la evaluación en España. Ésta proveería la base necesaria para que la evaluación se convierta en la mejor herramienta existente para garantizar la eficacia y la eficiencia de las políticas públicas en términos de diseño y ejecución. La SEE apoyará y tratará de mejorar la investigación científica y la difusión de los métodos y prácticas de evaluación. La idea es crear un vehículo para facilitar el intercambio de experiencias con otras asociaciones y grupos españoles y europeos a nivel interdisciplinario e interprofesional.

Desde su creación, la SEE ha auspiciado o sido anfitriona de tres eventos importantes: una reunión de coordinación, la 5ª conferencia de la Sociedad Europea de Evaluación en Sevilla y una reunión en Barcelona sobre la evaluación política de programas locales.

La SEE celebrará su segunda conferencia nacional en Cádiz en noviembre de 2003. El tema a tratar serán los desafíos teóricos y metodológicos de la evaluación de programas.

La SEE tiene que hacer frente al desafío de formar equipos de trabajo por Internet y expandir su radio de acción a otros sectores, además del sector de desarrollo económico.

La siguiente exposición, a cargo de Barbara Rosenstein, se centró en un estudio de caso de la Asociación Israelí de Evaluación de Programas (IAPE, según sus siglas en inglés).

Los evaluadores de Israel sostuvieron una reunión inicial en julio de 1998, para determinar si existía o no la necesidad de una asociación semejante. La respuesta de los evaluadores de todos los confines de Israel fue abrumadora, ya que se sentían aislados y necesitados de reconocimiento y de establecer redes de trabajo. Inmediatamente se formó un comité y se llevó a cabo una conferencia inaugural en diciembre de 1998.

Desde entonces, IAPE se ha convertido en parte integrante del mundo de la evaluación y la programación y es una entidad que goza de aceptación en Israel.

IAPE es una asociación formal de organizaciones individuales que comparten un comité ejecutivo voluntario y un presidente, ambos de los cuales son elegidos cada dos años. La asociación no cuenta con financiamiento externo; se mantiene exclusivamente de los aportes de sus miembros. Los miembros provienen de muchas disciplinas, entre ellas la educación formal y no formal, programas sociales y el sector de atención de salud.

7

Pocos han recibido capacitación formal en evaluación, dado que no existen muchos programas de capacitación formales en Israel.

Las actividades del IAPE incluyen: conferencias anuales, un boletín bianual en hebreo, un sitio web en hebreo e inglés y de dos a cuatro talleres al año, cuyos participantes son seleccionados por experiencia o tema. Los retos que enfrenta el IAPE son, entre otras cosas, lograr una membresía sostenible, no sobrecargar a su liderazgo voluntario y mantener su nivel actual de actividades. Para hacer frente al desafío de recaudar fondos, el IAPE ha iniciado una nueva campaña. Está invitando a fundaciones y ONG a pagar una cuota institucional más alta a cambio de recibir talleres para ayudar a fortalecer su capacidad de evaluación. Durante su breve historia, el IAPE ha obtenido algunos logros sobresalientes, entre ellos el incremento de la conciencia respecto de la evaluación en Israel entre diseñadores de programas e interesados por igual, la difusión de las tendencias actuales en materia de evaluación, el aumento del trabajo en redes entre sus miembros, la creación de una comunidad de evaluadores y un mayor énfasis en la participación en eventos internacionales.

Luego de la presentación de Rosenstein, los delegados y delegadas se enfrascaron en una discusión de los estudios de caso vistos esa mañana. La discusión giró en torno a aspectos presupuestales. Las redes informales a menudo forman alianzas estratégicas y logran trasladar algunos gastos operativos a instituciones que les prestan apoyo.

Algunos participantes se preguntaron si la aceptación de ese tipo de apoyo no comprometía la independencia de las organizaciones de evaluación. Los delegados/as reconocieron que la aceptación de un auspiciamiento podía venir de la mano con condicionamientos. Otros se refirieron a la paradoja de que, si los fondos se utilizaban para asistir a reuniones internacionales, luego no hubiera fondos suficientes disponibles para desarrollar las redes que eran invitadas a participar en dichas reuniones.

Se reconoció que las organizaciones de evaluación en países con un ingreso per cápita anual bajo no podían depender de los aportes de sus miembros, razón por la cual debían formar alianzas estratégicas. Sin embargo, dichas organizaciones de evaluación muchas veces pueden obtener financiamiento de las organizaciones de desarrollo. Las organizaciones de evaluación de los países ricos pueden mantenerse de las cuotas de sus miembros. Son las organizaciones de evaluación de países de ingreso medio, como Israel y Malasia, las que se encuentran en apuros. Son lo suficientemente solventes como para no conseguir financiamiento de las organizaciones de desarrollo, pero lo suficientemente pobres como para no poder depender de los aportes de sus miembros.

Los delegados/as que representaban a la Sociedad Europea de Evaluación se refirieron a las dificultades para recaudar fondos que posibilitaran la participación de más organizaciones de evaluación nacionales de Europa en la asamblea inaugural de la IOCE. Hay muchas organizaciones de evaluación de bajos recursos en los países con un ingreso per cápita alto. Hacia el final de la discusión, pareció reinar un consenso general respecto de la necesidad de diversificar las fuentes de financiamiento. Sería bueno contar con cuotas de membresía y forjar alianzas estratégicas.

Las presentaciones de estudios de caso prosiguieron luego del almuerzo, que se realizó en restaurantes cercanos. Carlos Salazar y Emma Rotondo hicieron una presentación sobre la Red Peruana de Seguimiento y Evaluación. Salazar llamó la atención de los asistentes hacia la tradición ancestral de organización existente en el Perú, que los Incas

8

legaron a sus descendientes. Una versión moderna de dicha tradición, dijo, son las redes. Las redes ofrecen diversas ventajas en términos sinérgicos, tales como una opción para trabajar juntos, disponibilidad de recursos, acceso a información, oportunidades para intercambiar experiencias, generación de nuevas intervenciones políticas y desarrollo de una visión colectiva. Las redes son flexibles y eso favorece la construcción de consenso. Más que nada, las redes aspiran a tener un impacto en nuestras vidas – a modificar la realidad. Desde luego, las redes también pueden tener algunas desventajas.

Si son cerradas, pueden inhibir la introducción de ideas nuevas, y la red puede convertirse en una estructura estática. Además, las influencias externas pueden desviar a las redes de su propósito original.

Emma Rotondo se refirió especialmente a la experiencia de la Red Peruana de Seguimiento y Evaluación. En agosto de 2002, 15 evaluadores/as profesionales se reunieron con el objeto de formar la RPSE. La red se encuentra actualmente en proceso de construcción. Se han realizado reuniones y un taller para definir una visión y una misión institucionales. La visión de la RPSE es desarrollar una red inclusiva, que goce de reconocimiento nacional e internacional, defienda principios y valores comunes y promueva el desarrollo de una cultura de la evaluación en todo el país. Su misión es crear una red nacional para fortalecer la capacidad de evaluación en todo el país, ofreciendo oportunidades para que sus miembros intercambien información y experiencia, con miras a contribuir al desarrollo socioeconómico del país. En adición, la RPSE está elaborando planes de acción para hacer realidad su visión. Sus objetivos de corto plazo incluyen el reclutamiento de nuevos miembros, la organización de un seminario nacional, el desarrollo de estándares éticos de evaluación y la elaboración de procedimientos operativos (reuniones, página web).

James Milner presentó un estudio de caso sobre la Red de Evaluadores de Malawi (MNE, según sus siglas en inglés). En 1979, UNICEF-Malawi apoyó la creación del Centro de Investigación Social, para ayudar a evaluar los programas promovidos por dicho organismo. En 1999, luego de la conferencia inaugural de la Asociación Africana de Evaluación, UNICEF le pidió al Centro que presidiera la formación de un grupo nacional de evaluación. Ocho evaluadores de la universidad y la oficina nacional de estadística respondieron a la invitación de asistir a una reunión organizacional. El grupo acordó formar una red inicial, y que el Centro de Investigación Social se encargara del secretariado. Se definieron los siguientes objetivos específicos para la organización: 1. Oportunidades para presentar ponencias en reuniones, talleres y seminarios 2. Un foro de discusión sobre métodos de investigación 3. Promoción de agendas y metodologías de evaluación participativas y con enfoque de género 4. Establecimiento de vínculos con redes de otras áreas y regiones 5. Creación de una base de datos de evaluadores/as 6. Organización y ejecución de sesiones de capacitación En agosto de 2002 se llevó a cabo una segunda reunión con el fin de debatir las pautas de evaluación africanas. En noviembre de 2002, la red tomó conciencia de que necesitaba mejorar su publicidad. Los planes desarrollados con este fin incluyeron: lanzamiento formal de la red, desarrollo de un sitio web y publicidad por radio y televisión. Una semana antes de la asamblea inaugural, la MNE realizó su lanzamiento formal. Los principales temas de discusión fueron: la revisión de los términos de

9

referencia iniciales, consideraciones relacionadas con la membresía e identificación de los beneficios de la red.

Para terminar, Consuelo Ballesteros y Daniel Gómez presentaron un estudio de caso sobre la Red Colombiana de Seguimiento y Evaluación. Ballesteros centró su exposición en la reunión que tuvo lugar en el 2002 con el fin de organizar la red. El evento contó con la participación de representantes de 10 universidades, ONG, entidades estatales y PREVAL (la red regional de evaluación de América Latina). El propósito de la reunión fue reflexionar acerca de la evaluación de los proyectos y programas de desarrollo en Colombia. La metodología que se empleó tomó en cuenta la diversidad de las experiencias de cada organización, en términos de los sistemas y procedimientos de evaluación utilizados para evaluar la innovación, las metodologías y el entorno o medio político. El resultado de la reunión fue que los participantes intercambiaron experiencias y empezaron, a través del diálogo, a acumular y agregar los impactos que habían obtenido. Con el apoyo de PREVAL, la red se encuentra en proceso de publicar las actas de la reunión. Asimismo, está haciendo los preparativos para una segunda reunión a fin de proseguir con el diálogo.

Gómez se refirió a la motivación de las organizaciones que participaron en la primera reunión de la red. Citando los ejemplos de las iniciativas de reconstrucción en la provincia de Patén y el hospital público de Bogotá, Gómez subrayó que la evaluación da una voz a los beneficiarios respecto de la forma en que se ejecutan los programas. En adición, añadió, la evaluación ayuda a hacer más transparente la forma en que las instituciones estatales manejan los recursos públicos. Por último, la evaluación ayuda a las organizaciones gubernamentales a rendir cuentas sobre la correspondencia entre sus promesas y sus actos. Estas funciones fortalecen la credibilidad de las instituciones públicas frente a las comunidades que atienden. Gómez concluyó su exposición con una reflexión acerca del rol que cumplen los académicos en el proceso de evaluación. Según él, los académicos se están involucrando cada vez más en el proceso de ayudar a las entidades del gobierno a incorporar la evaluación en sus programas. Sin embargo, los académicos tienen un deber mayor frente al público, en el sentido que tienen la obligación de hacer las preguntas duras. Gómez citó el ejemplo de un consorcio de universidades que estaba evaluando un programa nacional de vivienda. Las cosas marcharon bien hasta que el consorcio empezó a preguntar de qué manera se estaban empleando los recursos para beneficiar a los pobres. De inmediato saltaron a la luz las discrepancias. La institución estatal informó al consorcio que no había sido contratado para eso, y pronto se cortó la fuente de financiamiento estatal.

Luego de las presentaciones de Ballesteros y Gómez, los delegados y delegadas se enfrascaron en una discusión de los estudios de caso expuestos esa tarde. La discusión se centró en aclarar la percepción de que la red peruana estaba compuesta por personas, mientras que la colombiana lo estaba por organizaciones. De acuerdo a los organizadores, la red colombiana está muy interesada en incorporar la experiencia de las organizaciones. Sin embargo, esto requiere de la participación de personas que representan intereses colectivos. La red del Perú tiene una orientación algo diferente. Se trata de una red de personas que traen consigo sus afiliaciones institucionales. La organización se centra en personas individuales para evitar las restricciones institucionales que entrañan las cuotas y otras exigencias vinculadas a la participación.

10

Asociaciones de evaluación regionales Luego del refrigerio se dio inicio a una sesión sobre el desarrollo y el papel de las asociaciones de evaluación regionales. El primer estudio de caso fue presentado por Zenda Ofir, quien habló de la Asociación Africana de Evaluación (AfrEA, según sus siglas en inglés). La AfrEA nació en 1999 gracias a la dedicación de activistas tales como Mahesh Patel y Kate Spring. Se trata de una coordinadora de 17 organizaciones nacionales de evaluación diversas. La asociación se labró una reputación no a través de la formalización de su estructura ni la elaboración de un acta de constitución, sino gracias a sus logros. La AfrEA convocó a dos conferencias de envergadura en 1999 y 2002, ha creado una comunidad que comparte su trabajo y es autora de pautas de evaluación. La AfrEA es presidida por un comité ejecutivo compuesto por cuatro personas, que se eligen entre personas con liderazgo a nivel nacional. La presidencia está ligada a la sede de la conferencia. El comité ejecutivo está trabajando en la creación de un consejo de asesoría para la AfrEA, constituido por líderes de todas las asociaciones y redes nacionales de evaluación de África.

Según Ofir, el éxito de AfrEA será proporcional al valor que pueda agregar a sus organizaciones miembros. Se refirió brevemente a lo que había hecho la AfrEA hasta la fecha y lo que podía hacer en el futuro.

• • •

• • • •

• •

Gracias a sus conferencias, la AfrEA desarrolló una comunidad real, que no existía antes de 1999.

Intercambio de información Establecimiento de una alianza con UNIFEM para construir capacidad en evaluación del enfoque de género. Es muy difícil establecer alianzas con 17 organizaciones nacionales de evaluación individuales. Éste puede ser un modelo para otras iniciativas similares.

Se rediseñó el sitio web de AfrEA, incorporando bases de datos actualizadas con opciones de búsqueda, foros, etc. Esto provee un portal común a todas las organizaciones miembros y puede usarse como plantilla (template).

Fortalecimiento de la capacidad de gestión de los líderes de organizaciones de evaluación nacionales.

Promoción de la investigación sobre evaluaciones africanas, a fin de contribuir a la literatura especializada sobre el tema.

Incidencia política a favor de la evaluación, tanto al interior de los países como a través de las fronteras. Se incide a favor de alianzas entre evaluadores y equipos del Sur y del Norte en igualdad de condiciones, basadas en la justicia y el respeto mutuo.

Movilización más eficiente de recursos, porque la AfrEA puede hacer una colecta única en nombre de las 17 organizaciones miembros.

Las Pautas de Evaluación Africanas se encuentran publicadas ahora en Evaluation and Program Planning. De cierta manera, son mejores que los Estándares de Evaluación de Programas porque toman en cuenta el contexto.

Finalmente, Ofir señaló que la IOCE puede facilitar una exposición ante la comunidad internacional, lo cual podría impulsar el desarrollo de la AfrEA. Puede aportar insumos al desarrollo de estándares y normas éticas. Puede contribuir al establecimiento de alianzas mutuamente beneficiosas, la comprensión de contextos nuevos y el desarrollo de redes.

11

Ada Ocampo y Gloria Vela presentaron un estudio de caso sobre PREVAL. PREVAL forma parte de un programa más grande de reducción de la pobreza, financiado por el Fondo Internacional de Desarrollo Agrícola (FIDA). La misión de PREVAL es construir capacidad de evaluación en América Latina y el Caribe. El supuesto sobre el cual descansa PREVAL es que la evaluación es una herramienta que permite a los actores locales y los sectores excluidos utilizar la información para negociar, interactuar, influenciar y movilizar acciones políticas con miras a mejorar la situación local y regional.

PREVAL empezó a funcionar en junio de 1997, congregando a personas, organizaciones e instituciones con un interés en la evaluación. Se trata de una red hispanohablante con una membresía muy diversa. Más que nada, el aporte de PREVAL ha sido la promoción del intercambio de información y experiencias basadas en metodologías de seguimiento y evaluación. Debido a su carácter regional, y también por razones de financiamiento, el principal medio para el intercambio de información ha sido la Internet. La red ha organizado con éxito dos talleres electrónicos de un mes de duración cada uno. Hay una lista de correo electrónico en la cual los miembros cargan mensajes relativos a cursos de capacitación, libros, vacantes y artículos interesantes. En adición, hay un valioso sitio web con librería electrónica, desde la cual los miembros pueden descargar recursos de evaluación.

El reto más difícil que enfrenta PREVAL es apoyar mejor a los grupos de evaluadores de países latinoamericanos que están desarrollando un interés en formar redes, sociedades y asociaciones. En la actualidad, este apoyo se brinda de manera voluntaria y esporádica. PREVAL aspira a encontrar alguna forma de proporcionar un apoyo más sistemático. Las organizaciones de evaluación, por su parte, pueden compartir los aprendizajes que han extraído en materia del uso de metodologías de evaluación, de manera tal que PREVAL pueda capitalizar cada vez más el conocimiento a nivel de la gente.

Penny Hawkins presentó un estudio de caso sobre la Asociación de Evaluación de Australasia (AES, según sus siglas en inglés). En la década de 1960, la agricultura fue la génesis de la evaluación en Australia y Nueva Zelanda. En la década de 1970, los sectores de salud y educación empezaron a usar la evaluación, seguidos por el sector de servicios sociales. Durante la década de 1980, la evaluación sufrió un fuerte espaldarazo, a raíz de la reforma del sector público. En 1987 ocurrió un evento significativo: los Departamentos de la Mancomunidad Australiana empezaron a exigir a las organizaciones del sector público que integraran la evaluación en la gestión corporativa de sus programas durante un ciclo de cinco años. La obligatoriedad de la evaluación estimuló el desarrollo de la industria de la evaluación en Australia. La alta demanda ha generado problemas de capacidad. Es imposible satisfacer la demanda con los recursos actuales.

En 1982, una red de evaluadores convocó a una conferencia en Melbourne, la primera de una sucesión de conferencias en 1984 y 1986. Durante la reunión de 1986, la AES fue constituida y formalizada como sociedad. La sociedad aspira a asumir el liderazgo en Australasia en el área de teoría y práctica de la evaluación. Su misión es convertirse en la principal fuente de información, asesoría, contactos y establecimiento de redes en materia de evaluación. Los objetivos superiores que subyacen a su misión institucional

12

son: (a) normas éticas y estándares, (b) foros de discusión, (c) educación y capacitación, (d) premiaciones anuales, y (e) incidencia a favor del uso de evaluación de calidad. La AES tiene una junta directiva y varios comités permanentes (entre ellos, un nuevo Comité de Relaciones Internacionales), que están estrechamente ligados a los objetivos superiores de la sociedad. Gran parte de la actividad de la AES tiene lugar al interior de sus grupos regionales. Dichos grupos son autónomos y pueden recurrir a una reserva central de recursos para financiar sus actividades.

Entre los desafíos que enfrenta la AES se encuentra el área de gestión del conocimiento.

La AES está buscando una alternativa formal para sistematizar el conocimiento institucional desarrollado a lo largo de 21 años antes de que desaparezca. La AES ha acometido asimismo la difícil tarea de desarrollar su propio conjunto de estándares de evaluación, completamente independiente de los de otros países. La sociedad está elaborando asimismo un marco de competencias de evaluación. La evaluación en los países en desarrollo situados dentro de los límites geográficos de Australia y Nueva Zelanda ofrece estimulantes oportunidades para explorar teorías autóctonas sobre evaluación. En el pasado, la AES participó en el debate sobre el sistema de acceso abierto versus acceso restringido que está teniendo lugar actualmente en el seno de la Asociación de Evaluadores de Kenia (KenEA por sus siglas en Inglés). (Acceso restringido significa que el ingreso a la sociedad está sujeto al cumplimiento de un conjunto específico de criterios por parte de los candidatos.) La AES decidió optar por el ingreso abierto, y en opinión de Hawkins dicha decisión no ha tenido ningún impacto sobre el profesionalismo de la sociedad o reducido sus estándares de manera alguna.

A continuación, Nino Saakashvili presentó un estudio de caso sobre la Red Internacional de Evaluación de Programas (IPEN, según sus siglas en inglés) de Rusia y los Estados Recientemente Independizados (ERI) de la ex Unión Soviética. Saakashvili aclaró que ella representaba al capítulo georgiano de IPEN. Señaló que la evaluación en la región se encontraba en un estadio de desarrollo más incipiente que en otras regiones del mundo. Según ella, esto se debía a la inexistencia de una cultura de la evaluación en la ex Unión Soviética. Tras la caída de la Unión Soviética, los países de la región empezaron a intentar la construcción de una democracia. La evaluación está siendo reconocida cada vez más como parte del proceso de construcción democrática. Tiene el potencial para ofrecer retroalimentación acerca de lo que se ha gastado en programas, cómo se ha invertido el dinero y los resultados. Saakashvili opina que la sociedad civil está más abierta a la evaluación que el gobierno. Los funcionarios del gobierno, afirmó, han mantenido la mentalidad de los viejos tiempos. Eso obviamente tiene que cambiar.

Los distintos capítulos de IPEN están tratando de generar dicho cambio, convocando a personas individuales y organizaciones interesadas en crear una cultura de la evaluación. Por ejemplo, IPEN convocó a conferencias sobre evaluación importantes en Novosibirsk, Siberia y Sochi. Dichos espacios educativos informales son imprescindibles, dada la inexistencia de espacios académicos en la región que impartan una capacitación semejante. Saakashvili agradeció por anticipado a las organizaciones miembros de la IOCE por ayudar a IPEN a alcanzar el éxito.

Elliot Stern presentó un estudio de caso sobre la Sociedad Europea de Evaluación (EES, según sus siglas en inglés). La EES se encuentra en medio de un enorme experimento político llamado la Unión Europea (UE). Inherente a dicho experimento es la tensión entre soberanía nacional independiente y soberanía regional común. Varias áreas de las políticas públicas están siendo promovidas a nivel europeo, pese a que sus Estados

13

miembros son responsables de la ejecución de la política en sí. La ejecución ha dado lugar a grandes programas del tipo fondos de ajuste estructural y programas marco.

Dichos programas requieren que todos sus aspectos sean evaluados. Ésta es una razón por la cual la evaluación se está convirtiendo en una maquinaria extremadamente importante para impulsar el cambio y el desarrollo dentro de la UE. El efecto neto de este tipo de programas es generar una enorme demanda de evaluación.

En muchos países, la demanda supera la oferta. La EES y otras instituciones han intentado promover el lado de la oferta. Una estrategia que emplea la EES para ello es la promoción de sociedades nacionales. Una forma de hacer esto es realizando sus conferencias en la sede de la nueva sociedad. Esto eleva el perfil de la nueva sociedad al nivel nacional porque atrae a un público europeo más amplio. Sus estrategias parecen haber tenido mucho éxito porque, cuando la EES se fundó en 1995, había una sola sociedad nacional de evaluación en Europa; hoy hay 12. La EES trabaja activamente en el desarrollo de redes de evaluación en los países de Europa del Este.

Según Stern, los arreglos administrativos de la EES son bastante convencionales. La sucesión automática de los vicepresidentes ayuda a garantizar la continuidad a lo largo de un período de cuatro años. La sociedad está presidida por una junta de fiduciarios multinacional integrada por 12 miembros. Sus miembros son cerca de 400 personas de múltiples campos y 12 miembros institucionales. El Secretariado lo provee la oficina nacional de auditoría de un país europeo. Actualmente no existe una relación contractual entre la EES y las sociedades nacionales que la integran. Sin embargo, dado que la mayoría de los miembros de la junta de fiduciarios trabajan activamente en sus sociedades nacionales, existe una relación informal. Stern quisiera formalizar dicho vínculo en el futuro, a fin de lograr un apalancamiento a través de su influencia colectiva.

Luego de la presentación de Stern, los delegados y delegadas discutieron los estudios de caso expuestos esa tarde. Algunos delegados manifestaron su sorpresa ante el hecho de que la diversidad cultural fuera materia de debate internacional. Se preguntaron de qué manera podía integrarse la diversidad cultural y lingüística en una visión regional (o continental) de la evaluación. Se planteó una pregunta específica relacionada con el hecho de que el acta de constitución de la EES identifica el inglés como el idioma de uso general al interior de la sociedad. Stern respondió admitiendo que esa política inevitablemente genera desventajas para los numerosos evaluadores de Europa cuya lengua materna no es el inglés. La EES ha debatido varias formas de resolver este problema. Una alternativa consistía en sostener las sesiones de las conferencias en idiomas distintos al inglés. Dichas conferencias se suspendieron debido a las tasas de asistencia extremadamente bajas. La EES exploró asimismo la posibilidad de usar servicios de interpretación simultánea. Sin embargo, contratar dichos servicios en seis idiomas no resultaba económicamente viable. La junta de fiduciarios de la EES finalmente tomó la decisión de mantener el inglés como idioma de uso general, al mismo tiempo que intentaban mostrarse sensibles frente a las diferencias lingüísticas.

Para Stern, un tema más importante es la falta de diversidad multicultural (y no solamente lingüística). Expresó su preocupación de que los grupos musulmanes, hindúes y otros grupos poderosos que participan activamente en la vida pública en Europa no se encuentren representados en la comunidad de evaluación.

Comentarios de clausura del Día 1

14

Craig Russon estaba programado para hacer los comentarios de clausura del día. Había planeado explorar las actividades que la IOCE podía llevar a cabo para complementar el trabajo de las organizaciones regionales y nacionales de evaluación. Sin embargo, cuando vio las caras de los delegados y delegadas, muchos de los cuales habían cruzado múltiples zonas de tiempo, observó que ya no quedaba ninguna energía en la habitación.

Por lo tanto, Russon propuso clausurar la asamblea inaugural hasta la recepción que se celebraría más tarde ese mismo día. El delegado de la Sociedad Francesa de Evaluación (SFE) se opuso radicalmente a la moción porque, según sostuvo, había una gran cantidad de trabajo que resolver y el tiempo para hacerlo era limitado. Se sometió el tema a votación y se aprobó la moción. Aquéllos que desearan seguir trabajando fueron invitados a permanecer en el centro de conferencias.

A las 17:00 horas se realizó una recepción para ofrecer un reconocimiento especial a los auspiciadores de la asamblea inaugural y ofrecer a los delegados y delegadas una oportunidad para reunirse con colegas de su región y otras partes del mundo. Los auspiciadores eran: la Fundación W.K. Kellogg, el Banco Mundial, el Fondo de las Naciones Unidas para la Infancia (UNICEF), el Departamento para el Desarrollo Internacional del gobierno británico (DFID), el Fondo Internacional para el Desarrollo Agrícola (FIDA), la Asociación Americana de Evaluación (AEA), el Greengrants Fund, PREVAL y Benoit Gauthier (webmaster extraordinario de la IOCE). Se propuso un brindis en honor de cada auspiciador y se entregó un certificado de apreciación a los representantes presentes. Poco después de la entrega de los certificados, dos grandes y bulliciosas manifestaciones de protesta por la guerra librada en Irak bajo la batuta de los Estados Unidos convergieron en la intersección fuera del Hotel Las Américas. Desde un balcón del hotel, los delegados y delegadas observaron las protestas.

Resultados esperados de la IOCE (29 de marzo de 2003) Luego de un recuento general de la agenda revisada y varios anuncios, Murray Saunders y Penny Hawkins facilitaron un ejercicio con los delegados y delegadas, con miras a (1) determinar qué podría contribuir la IOCE a las organizaciones de evaluación regionales y nacionales, y (2) qué podrían contribuir las organizaciones regionales y nacionales a la IOCE. Para desarrollar las respuestas, Saunders y Hawkins sugirieron que los delegados/as se dividieran en cinco grupos orgánicos. Un grupo se concentraría en la región francófona, uno en la hispanohablante, dos en la angloparlante y uno en la africana. Los grupos fueron invitados a reportar al plenario sus comentarios sobre cinco o seis puntos clave. Una vez hecho esto, se buscaría arribar a un consenso en torno a los mensajes clave que emergieran del trabajo de los grupos. Algunos delegados expresaron su preocupación respecto de la diversidad de los grupos. Al final, se formaron cuatro grupos, y los delegados y delegadas tuvieron la libertad de participar en cualquier grupo que eligieran.

Al cabo de 45 minutos, los grupos se volvieron a juntar. El grupo compuesto por los delegados/as de la Asociación Americana de Evaluación, la Sociedad Canadiense de Evaluación, la Sociedad de Evaluación del Reino Unido y la Red Internacional de Evaluación de Programas fue el primero en tomar la palabra. Dividieron sus expectativas frente a la IOCE en dos categorías: internas y externas. Desde una perspectiva interna, sus expectativas eran: desarrollo y fortalecimiento de destrezas, construcción de equipos, conexiones, y comunicación a través de las fronteras

15

nacionales. La IOCE podía promover la diversidad, facilitar el aprendizaje, capacitar líderes y desarrollar organizaciones de evaluación estratégicamente. Desde el punto de vista externo, la IOCE podía hacer incidencia a favor de la evaluación e infundir credibilidad a las sociedades emergentes. Podía ayudar a las organizaciones de evaluación a hablar con una sola voz y comunicar el valor de la evaluación para la sociedad. Las normas éticas trascenderían las expectativas tanto internas como externas.

El Grupo Uno opinó que las organizaciones nacionales y regionales de evaluación podían aportar cuatro elementos a la IOCE: (1) pasión, visión y energía; (2) capital social (por ejemplo, orientación, intercambios, apoyo en línea); (3) capital intelectual (por ejemplo, pautas éticas, estándares); y (4) capital financiero (por ejemplo, cuotas, recaudación de fondos).

El grupo integrado por delegados y delegadas de la Sociedad Europea de Evaluación, la Sociedad Francesa de Evaluación y La Francophonie presentó sus conclusiones en segundo lugar. El grupo consideró que era importante mantener los comentarios acerca de las expectativas separados de los comentarios sobre los aportes que podían hacer las organizaciones a la IOCE. La primera expectativa consistía en mejorar la calidad del debate en torno a dos temas: normas éticas y formas de realizar una evaluación. El grupo opinaba que este debate se vería enriquecido por una dimensión multicultural que debía aportar la IOCE y que no existía en este momento. Más aún, el grupo opinaba que la IOCE ofrece una avenida nueva para ayudar tanto a los gobiernos como a la sociedad civil a descubrir la utilidad de la evaluación. Al intercambiar experiencias, cada asociación estaría mejor capacitada para desarrollar modelos de evaluación. La IOCE incrementaría asimismo la diversidad de las fuentes de aprendizaje. Normalmente, uno se centra en la práctica de la evaluación en un país, sin tomar en cuenta lo que se está haciendo en otros lugares. En vez de uno o dos modelos de evaluación, la IOCE podría ayudar a expandir el rango de opciones de evaluación que tenemos a nuestra disposición.

El grupo compuesto por delegados y delegadas de las organizaciones regionales y nacionales de evaluación de África y la Asociación Israelí de Evaluación de Programas tomó la palabra en tercer lugar. Debatieron si para sus organizaciones era mejor participar en la IOCE directamente o a través de su organización regional. Su expectativa era que la IOCE debía promover el establecimiento de redes internacionales, los intercambios de literatura y conocimientos y el desarrollo de instituciones y/o profesionales. Añadieron que puede contribuir al proceso de incidencia política sobre aspectos relacionados con la evaluación, especialmente el diálogo Norte-Sur sobre la formación de alianzas. La IOCE puede servir asimismo como foro de prácticas contextuales y diversidad. Este grupo se interesó asimismo por los criterios de participación y juzgó importante expresar dicha preocupación.

El grupo formado por delegados y delegadas de organizaciones regionales y nacionales de evaluación de América Latina y España tomó la palabra al final. Para este grupo, el concepto de diversidad era importante. La IOCE debía promover además la profesionalización de la evaluación por medio de la incidencia. Este grupo deseaba que la IOCE sirviera de facilitadora de conexiones e intercambios internacionales entre las organizaciones miembros. Asimismo, opinó que la IOCE debía facilitar el debate cultural, en forma de intercambios técnicos para compartir experiencias, metodologías y avances. A cambio de ello, los delegados y delegadas de América Latina prometieron crear una organización regional latinoamericana al estilo de PREVAL, fortalecer las

16

organizaciones nacionales de evaluación existentes, expandir su número y establecer vínculos con España. Lo que este grupo NO deseaba eran estructuras burocráticas grandes y rígidas.

Elliot Stern hizo una síntesis de varios puntos a partir de los comentarios de los grupos.

El primer grupo temático tenía que ver con la forma en que se desarrollan las redes y sociedades con algún tipo de capital social y marcos éticos que respeten la diversidad regional y cultural. El segundo gran grupo temático versaba sobre la posibilidad de que la IOCE brindara apoyo institucional a la innovación y las ideas nuevas. El tercer gran grupo tenía que ver con los debates en torno a la naturaleza de la evaluación en sí. En cuarto lugar, parecía haber un interés generalizado en la realización de acciones de incidencia a favor de la evaluación. El quinto gran punto se refería a la adquisición colectiva de recursos, de formas que no podían ser acometidas por personas individuales. El sexto gran grupo versaba sobre la posibilidad de mejorar la calidad de la evaluación, con énfasis especial en la observación de normas éticas y algún tipo de función de seguimiento. El sétimo y último gran grupo incidía sobre el desarrollo de un marco organizacional flexible, abierto, no burocrático y no jerárquico.

Actividades prioritarias para la IOCE Luego del refrigerio, Marco Segone y Mahesh Patel facilitaron un ejercicio con los delegados y delegadas, que consistía en priorizar la lista preliminar de actividades que figuraba en el IOCE Briefing Bulletin. Se advirtió que las actividades debían ser priorizadas en base a criterios como recursos financieros, recursos humanos y urgencia.

Una vez más, los delegados y delegadas se dividieron en grupos. Luego de 45 minutos, los grupos se volvieron a juntar. Esta vez, el grupo integrado por delegados y delegadas de organizaciones regionales y nacionales de evaluación de África y la Asociación Israelí de Evaluación de Programas (IAPE) tomó la palabra primero. La lista de actividades priorizada por este grupo incluía: el mejoramiento de la evaluación de los programas de desarrollo internacionales mediante la aplicación de estándares, la coordinación de programas para facilitar el intercambio entre organizaciones de evaluación del Norte y el Sur, el establecimiento de redes de investigación sobre temas innovadores, el intercambio de información e ideas sobre evaluación, e incidencia política a favor de la evaluación frente a los gobiernos y la sociedad civil.

La lista priorizada por el grupo latinoamericano trazaba una división entre actividades de corto y actividades de mediano plazo. En adición, las actividades habían sido divididas en tres componentes. El componente ‘iniciativas’ incluía actividades tales como la ratificación de los estatutos de la IOCE, el perfeccionamiento del funcionamiento de la estructura de la organización, y la organización de grupos de trabajo para profundizar la declaración de principios filosóficos. El componente ‘construcción de capacidad’ incluía actividades tales como el manejo de la información y la definición de los métodos de participación en las actividades regionales. El componente ‘político’ incluía actividades tales como la promoción de alianzas estratégicas, el posicionamiento de la IOCE en foros internacionales y el robustecimiento del diálogo Norte-Sur y Sur-Sur. El grupo francófono sugirió 10 tareas prioritarias para la IOCE durante los dos años siguientes. La primera era el desarrollo de un sitio web de la IOCE organizado por temas, que permitiera el acceso a importantes fuentes de información a nivel

17

internacional. La segunda consistía en la creación de una conferencia internacional virtual todos los años. La conferencia virtual duraría dos semanas y versaría sobre un tema específico. La tercera postulaba la creación de una base de datos con una relación de todas las actividades de cada asociación. La cuarta era indicar en el sitio web de la IOCE los viajes que tenían previsto realizar los evaluadores que actúan como recursos, como una oportunidad para facilitar intercambios. La quinta era desarrollar módulos de información para promover la importancia de la evaluación frente al público. La sexta, estrechamente vinculada con la anterior, era proveer módulos de información para ayudar a las sociedades de evaluación de diversas partes del mundo a promover la evaluación en su propio medio. La sétima era crear un calendario internacional de eventos de promoción de la evaluación. La octava consistía en desarrollar boletines noticiosos “virtuales” para informar a la gente alrededor del mundo acerca de la evaluación. La novena consistía en crear vínculos entre los sitios web de cada asociación, sociedad y red. La décima y última tarea comprendía la creación de un folleto que explicara claramente en qué consistía la IOCE. El grupo opinó que, si el concepto de la IOCE y sus beneficios no estaban claros, entonces la IOCE no lograría recaudar fondos.

La AEA, la CES, IPEN y UKES otorgaron una prioridad más alta a las tareas menos difíciles, que llevarían a éxitos tempranos y desatarían entusiasmo para otras actividades más adelante. Su lista incluía: desarrollar un plan de comunicaciones, conciliar la experticia técnica con la necesidad, hacer incidencia a favor de la evaluación, programas de posgrado, educación a distancia, mercadeo de la IOCE frente a públicos internos, y enlace con bancos de empleo internacionales.

A partir de los comentarios de los diversos grupos, Mahesh Patel y Zenda Ofir realizaron una síntesis de cuatro o cinco puntos. En ausencia de una teoría programática o un modelo lógico, Patel cuestionó la base que utilizaron los grupos para el ejercicio de priorización. Asimismo, enfatizó que el valor agregado de la IOCE sería mayor si se concentrara en actividades que las organizaciones regionales y nacionales de evaluación no pudieran hacer por sí mismas. Sugirió que la rendición de cuentas podía ser promovida asignando la responsabilidad de la ejecución de cada actividad a personas, comités o grupos específicos. Ofir identificó, a partir de las sesiones de los grupos, una serie de temas comunes para que la IOCE tomara acción: (1) Es necesario establecer sistemas organizacionales para la IOCE antes de fin de año. Éstos tienen que hacer un uso intensivo de la tecnología para minimizar los costos. (2) El desarrollo de una estrategia de comunicación de la IOCE constituye una prioridad y debe incluir, entre otras cosas, un sitio web interactivo que facilite la gestión de la IOCE y el intercambio de información, un boletín noticioso y un folleto. (3) Es necesario implementar programas para desarrollar el uso de estándares de evaluación, capitalizando la experiencia internacional y la diversidad regional; para intercambiar experiencias y experticia en materia de evaluación, entre otras cosas sobre temas relacionados con la interacción Norte-Sur y Sur-Sur; para promover redes internacionales de investigación sobre temas relacionados con la evaluación de la innovación; para desarrollar destrezas puntuales; así como para proporcionar recursos y herramientas útiles a las asociaciones de evaluación. (4) Es preciso diseñar una estrategia para hacer incidencia política a favor de la evaluación en foros regionales e internacionales. (5) Es necesario construir alianzas estratégicas con el fin de impulsar las metas de la IOCE.

18

Visión general del proceso del proyecto nombramiento deL Consejo de Administración

de

constitución

y

el

Después del almuerzo, Nancy Porteous presentó un panorama general del acta de constitución propuesta, con una discusión del proceso. El plazo para la ratificación final del acta de constitución se amplió, de un mes a tres meses. Esto se interpretó como un punto intermedio entre otorgar un margen de tiempo suficiente para la ratificación y no perder el dinamismo generado durante la asamblea inaugural. Se arribó a un consenso en el sentido que en algún momento de la asamblea inaugural habría una votación sobre si endosar o no el acta de constitución en principio. Porteous le cedió la palabra a Arnold Love, quien llevó a los delegados y delegadas por un recorrido a través del acta de constitución.

Love dirigió la atención de los delegados y delegadas hacia el proyecto de constitución que había sido incluido entre los materiales que les fueron entregados, traducido al inglés, francés y español. Se comprometió a revisar la lógica de contar con un acta de constitución, los principios en los cuales ésta debía basarse y los supuestos que subyacían al documento. Durante las reuniones de planificación de Barbados y República Dominicana, algunos participantes manifestaron que NO deseaban un acta de constitución porque ésta podría dar lugar a una estructura organizacional rígida y burocrática. Finalmente se decidió, sin embargo, que sí se requería un acta de constitución, para poder constituir la organización formalmente como una organización internacional sin fines de lucro. La constitución formal era importante por dos motivos: (1) se trata de un requisito para obtener financiamiento de las organizaciones donantes; y (2) esta medida permitirá a la IOCE gestionar sus propios asuntos (anteriormente, la AEA se había ofrecido gentilmente a actuar de agente fiscal para todo lo que tuviera que ver con financiamiento).

El proyecto de constitución fue considerado como la encarnación de los principios enunciados en las reuniones de Barbados y República Dominicana. La IOCE funcionaría de manera independiente de cualquier otra entidad preexistente, una organización de organizaciones, abierta a todas las organizaciones regionales y nacionales de evaluación bona fide, basada en el principio de economía del gasto y financiada mediante una combinación de cuotas de los miembros y fondos recaudados.

Luego, Love repasó junto con los participantes algunas de las características centrales del proyecto de constitución. Se propuso que la organización se llamara Organización Internacional para la Cooperación en Evaluación (IOCE, según sus siglas en inglés). Su misión sería contribuir a la gobernabilidad y fortalecer a la sociedad civil, construir capacidad en evaluación, desarrollar principios y procedimientos, alentar la creación de sociedades y redes de evaluación nuevas, aumentar la conciencia pública sobre la evaluación, asegurar recursos para actividades de cooperación y crear un foro para el intercambio de información.

Se propusieron tres categorías de miembros: membresía plena para las organizaciones de evaluación establecidas, membresía asociada para las organizaciones de evaluación emergentes, y el estatus oficial de observadores. Sólo las organizaciones con membresía plena tendrían derecho a voto – un voto por organización. Se celebraría una asamblea general al menos cada cinco años y quizás con mayor frecuencia. La IOCE contaría con un consejo de administración de entre 10 y 14 miembros. Entre los miembros se elegiría un comité ejecutivo (un presidente, dos vicepresidentes, un secretario-tesorero y un ex

19

presidente). El secretariado estaría ubicado en la sede del secretario-tesorero o alguna otra locación. Además del comité ejecutivo, varios comités de trabajo incidirían sobre diversas áreas de actividad. El inglés sería el idioma de trabajo principal, pero también se distribuirían los documentos oficiales en francés y español. El consejo de administración determinaría las cuotas de los miembros.

A continuación, Nancy Porteous presentó la propuesta del grupo coordinador para el nombramiento del Consejo de Administración de la IOCE. Cualquier delegado o delegada podía ya sea postular como candidato o presentar la candidatura de otro delegado o delegada. El grupo coordinador ensamblaría la lista de candidatos. Acto seguido, cada una de las siete regiones seleccionaría a dos miembros, ya sea por consenso o por votación. Luego de negociar el tema, los delegados/as decidieron eliminar el proceso de nombramiento, pero se acordó determinar el número total de miembros del Consejo de Administración y su composición y decidir la fecha y el lugar donde las regiones tomarían esa decisión.

Varios delegados/as expresaron su preocupación respecto de la sobre representación de algunos países o regiones. Se alegó que, aunque tanto Europa como África estaban formados por muchos países, apenas contaban con dos representantes, mientras que Australasia y Norteamérica representaban solamente a unos pocos países y sin embargo contaban con dos asientos. Se presentaron cuatro contrapropuestas para eliminar representantes de algunas regiones (por ejemplo, Asia, Australasia, Rusia/ERI) y agregarlos en otras (por ejemplo, África, Europa, América Latina, América del Norte).

El número de contrapropuestas pareció paralizar las negociaciones. Recién cuando las delegaciones de África y América Latina renunciaron generosamente a su solicitud de un mayor número de representantes pareció vislumbrarse una alternativa de solución. El número de propuestas se redujo a tres: A, B y C. Las tres proponían una reducción del número de representantes de Asia, Australasia y Rusia/ERI, de dos a uno. La propuesta A sugería dar a Europa y Norteamérica tres representantes cada uno. La propuesta B planteaba dar a Europa y Norteamérica dos representantes cada uno. La propuesta C recomendaba dar a Europa tres representes y a Norteamérica, dos. Se realizó una votación secreta y la propuesta A recibió cinco votos; la B, 12; y la C, siete. Por lo tanto, la composición regional de la Junta de Fiduciarios fue la siguiente: Europa (2), Norteamérica (2), América Latina (2), África (2), Asia (1), Rusia/ERI (1), Australasia (1). Esa noche, los delegados y delegadas asistieron a una cena en el restaurante Manos Morenas, donde disfrutaron de una rica comida y una exhibición de danzas folclóricas peruanas.

30 de marzo de 2003 Redes de evaluación potenciales o nuevas La mañana del domingo empezó con una presentación a cargo de Karen Odhiambo, de la Asociación de Evaluación de Kenia, sobre el Instituto para el Desarrollo, Evaluación, Asesoría y Soluciones (IDEAS), promovido conjuntamente por el Banco Mundial y el PNUD. Odhiambo observó coincidencias en la forma en que IDEAS y la IOCE estaban siendo organizadas. El enfoque central de IDEAS es el desarrollo de la capacidad de evaluación mediante el uso de una red de profesionales e instituciones. El plan de trabajo de la organización incluye conferencias bienales y un sitio web. Dicho plan puede ser expandido a medida que crezcan las alianzas y modalidades de colaboración.

20

Odhiambo presentó la estructura organizacional de IDEAS, que incluye un presidente y 10 directores de países repartidos por todo el mundo.

Luego, Jean-Louis Dethier expuso sus puntos de vista sobre las implicancias de la IOCE para La Francophonie. En gran medida, se trata de una oportunidad para trabajar en un idioma común y con una historia compartida, que incentiva a las asociaciones francófonas a trabajar juntas y les permite comunicarse directamente, sin pasar por otro idioma. La asamblea inaugural de la IOCE representó para las asociaciones y redes francófonas la primera oportunidad internacional de juntarse. Las asociaciones de evaluación francófonas desean desarrollar una red y debatir temas comunes, fortalecer la red conjuntamente y trabajar juntas. Desean desarrollar dicha red no para aislarse de otras asociaciones sino para abrirse.

Jack Batho tomó la palabra, expresando sus puntos de vista acerca de las implicancias de la IOCE para La Francophonie. Empezó diciendo que La Francophonie era el equivalente de la Mancomunidad de países angloparlantes. Está compuesta por 55 países, 22 de los cuales se encuentran en África. De los 55 países miembros, 30 tienen el francés como idioma oficial. A excepción de Níger, ninguno de los países africanos de habla francesa estaba representado en la reunión de la IOCE en Lima. Batho mencionó la necesidad de identificar el conocimiento y la experticia existentes en el Sur y buscar formas para que todos los miembros de la red participaran en las reuniones internacionales. La participación total de sus miembros permitirá a las asociaciones de evaluación francófonas hacer realidad su creencia en la importancia de una amplia representación multicultural.

A continuación, Batho describió el plan de acción que el grupo había elaborado. En la semana siguiente, La Francophonie tenía previsto ejecutar un foro para promover la comunicación entre sus asociaciones miembros y planear las reuniones y actividades que tendrían lugar en el segundo semestre de 2004. Citó ejemplos de algunos proyectos de colaboración que ya estaban siendo ejecutados. Quebec y Lille están trabajando juntos en la evaluación de las políticas sobre el agua. Un grupo franco-belga-suizo está desarrollando indicadores. Bélgica y Francia están estableciendo contactos, con miras a forjar alianzas con los países de habla francesa del Sur. Dichas alianzas contribuirán a facilitar el diálogo entre el Sur y el Norte.

Acto seguido, Donna Mertens, de la AEA, hizo una presentación sobre el tema “diversidad”. Mertens reafirmó la importancia de la diversidad y manifestó su convicción de que ninguna cultura tiene derecho a imponer su estilo de vida sobre otra.

En el contexto de la IOCE, añadió, el principio de la diversidad se reflejaba en la selección de los miembros del grupo coordinador, la traducción de los materiales antes de la conferencia y el servicio de interpretación simultánea durante la conferencia. El principio puede ser mejorado compartiendo nuestras experiencias en la lucha a favor de la diversidad.

En ese mismo tenor, Mertens socializó algunas de las experiencias de la AEA con la Iniciativa a favor de la Diversidad (BDI, según sus siglas en inglés), financiada por la Fundación Kellogg. Señaló que la iniciativa tenía dos metas: (1) mejorar la calidad y eficacia de la evaluación, incrementando el número de evaluadores/as profesionales diversos desde el punto de vista racial y étnico, y (2) mejorar la capacidad de todos los evaluadores para trabajar transculturalmente. Las tareas que se han acometido incluyen

21

la puesta en marcha de una estructura administrativa, la recopilación de una guía de evaluadores de color y evaluadores con experiencia transcultural y la ejecución de un estudio sobre programas de capacitación en evaluación. La Fase II programada intentará poner en práctica las recomendaciones, entre ellas revisar los Estándares para la Evaluación de Programas y los Principios Rectores de la AEA en relación con la idoneidad cultural, un programa de pasantías para evaluadores de color, una campaña en los medios para generar conciencia sobre la evaluación como profesión y el desarrollo de pequeñas empresas para evaluadores de minorías.

Luego de la presentación de Mertens, los delegados y delegadas se enfrascaron en una discusión sobre las sesiones de esa mañana. Una parte de la discusión se utilizó para profundizar sobre el fin detrás de IDEAS. Luego, los delegados intentaron extraer lecciones que pudieran ser aprendidas de la experiencia de IDEAS. Una lección aprendida fue que IDEAS hizo grandes esfuerzos para evitar un plan de trabajo demasiado ambicioso. Solamente se emprendieron aquellas actividades que tenían una perspectiva razonable de poderse cumplir. Se debatieron los aspectos de diferenciación que podrían usarse para posicionar a la IOCE frente a IDEAS. IDEAS incide mayormente sobre el desarrollo profesional de particulares. (No obstante, una revisión de los materiales promocionales de IDEAS sugiere que puede tener la ambición de convertirse en algo más que eso.) La IOCE, por su parte, es una coordinadora informal de organizaciones de evaluación regionales y nacionales. Los dos modelos buscan en esencia lo mismo, pero han adoptado enfoques diferentes, que reflejan un conjunto de supuestos fundamentales ampliamente divergentes acerca de la naturaleza humana.

Finalmente, se discutió brevemente la idea de invitar a IDEAS a formar parte de la IOCE en algún momento en el futuro.

Normas éticas y estándares Luego del refrigerio, Mahesh Patel, observador de UNICEF, presentó las Pautas de Evaluación Africanas. Las Pautas (Guidelines), basadas libremente en los Estándares para la Evaluación de Programas (Comité Conjunto, 1994), constituyen una serie de diálogos entre la persona que contrata la evaluación y la persona que ejecuta el trabajo.

Los diálogos pueden ocurrir durante una de tres fases: negociación del contrato, presentación del primer borrador o presentación de la versión final. La elaboración de las Pautas se remonta a un taller celebrado en Nairobi en 1998 y facilitado por Craig Russon, acerca del uso de los Estándares para la Evaluación de Programas. Un año después, Patel y Russon (1999) produjeron una versión preliminar, que fue debatida en sesión plenaria en la conferencia de la AfrEA. Otras discusiones se llevaron a cabo en el Taller Regional del Banco Sudafricano de Desarrollo (Patel y Russon, 2000). Estas discusiones llevaron a un consenso conceptual entre los miembros de la AfrEA. Las Pautas fueron publicadas recientemente, en la edición de noviembre 2002 de Evaluation & Program Planning. El prólogo de la publicación fue suscrito por los directores de UNICEF y ONUSIDA y, hasta cierto punto, puede considerarse como un endoso del principio de aplicar estándares promotores de la calidad a las evaluaciones de programas. Cerca de la tercera parte de las Pautas han sido modificadas – un proceso que continúa hasta hoy. Algunas modificaciones futuras pueden incluir la incorporación de criterios y consideraciones operativas del Comité de Asistencia para el Desarrollo de la OCDE, que UNICEF quisiera ver abordados.

22

Luego de la presentación de Patel, Karen Odhiambo presentó su tesis sobre los estándares de evaluación. Odhiambo relató algunas de las experiencias negativas que había tenido con la evaluación en África Austral. Dichas experiencias pusieron de manifiesto la necesidad de mejorar la calidad de la evaluación. Una forma de lograr esto, observó, es desarrollar estándares de evaluación. Odhiambo invocó a los delegados y delegadas a considerar de qué forma la IOCE podía contribuir a esta situación. La discusión de la ponencia versó sobre los dos enfoques que podían acometerse. Algunos delegados favorecían la puesta en marcha de mecanismos externos para “ejercer una función de vigilancia del sistema”. Otros, que rechazaban la intervención externa, opinaron que la solución estribaba en promover la interiorización de los estándares de evaluación por medio de iniciativas de capacitación profesional. Pareció reinar cierto consenso en el sentido que la educación al consumidor sería beneficiosa. Esto entrañaría ayudar a financieras y gobiernos a aplicar los estándares de evaluación a los productos que reciben de los consultores, para cerciorarse de que sean de alta calidad (Russon, 2000).

Jean-Louis Dethier, de la Wallonia Society for Evaluation (WSE), expuso sobre la relación entre evaluación y democracia. En su introducción, describió a Wallonia como una pequeña región francófona de Bélgica, creada hace unos 20 años. Si bien es cierto que comprende cerca de la mitad del territorio de Bélgica, en ella reside apenas la tercera parte de la población. Wallonia no tiene una estructura económica fuerte. Está compuesta principalmente por áreas urbanas con una alta tasa de desempleo. Ha habido una transferencia gradual de experticia, de manera tal que Wallonia se encuentra operando actualmente dentro de una federación. Para todos los efectos prácticos, está funcionando como un Estado dentro de un Estado.

En Wallonia se ha llevado a cabo un estudio de evaluación para preguntar a la población acerca del gobierno, así como qué significa para ellos la gobernabilidad. Esto llevó a la creación de la WSE en el 2000. La misión de la WSE es promover la evaluación en Wallonia. La sociedad sostiene reuniones anuales, la última de las cuales versó principalmente sobre la relación entre la evaluación y la planificación para el futuro.

Dethier describió el componente de evaluación de un proyecto de planeamiento del futuro de Wallonia. Se empleó un enfoque de evaluación participativo para hacer el seguimiento de la ejecución del proyecto. En la Fase II del proyecto se creó un Instituto de Estadística y Pronóstico.

Ahora que el gobierno ha creado su oficina de estadística y pronóstico, la WSE ha recibido el encargo de trabajar en el código de ética para el uso de la información recogida en las evaluaciones. Además, tiene que ayudar al gobierno y las partes interesadas a entender la diferencia entre seguimiento y evaluación. La WSE, sin embargo, tiene un problema de recursos. El sitio web de la WSE despliega los documentos que especifican su misión institucional en francés e inglés. El proyecto actual es muy importante porque la evaluación permite la comunicación entre el gobierno y las partes interesadas.

Endoso en principio del Acta de Constitución de la IOCE En la penúltima sesión de la asamblea inaugural, Arnold Love presentó al Consejo de Administración interino. El Consejo interino dispondrá de 18 meses para ensamblar la

23

estructura legal de la IOCE y terminar los planes para las direcciones futuras. El Cuadro 1 muestra los nombres de los representantes y las áreas que representan.

Cuadro 1. Consejo de Administración interino de la IOCE Región Nombre(s) Suplente Europa Elliot Stern Carmen Vélez Jean-Louis Dethier Norteamérica Donna Mertens Nancy Porteous América Latina Marco Segone Gloria Vela Carlos Salazar África Zenda Ofir Girmay Haile Asia Barbara Rosenstein (provisional) Rusia/ERI Nino Saakashvili (provisional) Australasia Penny Hawkins Barbara Rosenstein accedió a consultar con otras personas de Asia a fin de seleccionar al representante interino permanente para Asia, al igual que Nino Saakashvili para el caso de Rusia/ERI. Surgieron varias consideraciones en relación con el Consejo de Administración interino.

Se señaló que el mandato de varios líderes de organizaciones regionales y nacionales de evaluación expirará antes que termine el período interino de 18 meses. Esto generó preocupación en torno a la continuidad de la iniciativa. Se sugirió dar preferencia a la continuidad por encima de la rotación. Los representantes interinos para quienes éste era un tema recibieron la recomendación de negociar con sus respectivas organizaciones para determinar si podían continuar ejerciendo como representantes interinos incluso después de concluir su mandato. Varios representantes interinos reconocieron que requerían de la aprobación de las juntas directivas de sus organizaciones matrices antes de aceptar el cargo de representante interino.

La nominación de PREVAL y La Francophonie como miembros observadores generó una discusión general acerca de la flexibilidad de la que el Consejo de Administración tendría que hacer gala para recurrir a expertos externos en busca de información, energía y apoyo. Se sugirió que se reconocieran los distintos roles que los asesores externos podrían eventualmente jugar. Para el rol de experticia, se podría invitar a asesores a proporcionar asesoría especializada. El rol de representación se invocaría para compensar el crecimiento futuro de organizaciones de evaluación regionales y nacionales en todo el mundo. Los miembros sin derecho a voto del consejo de administración podrían desempeñar el rol de observadores. Se estimó importante la flexibilidad; sin embargo, también se expresó preocupación por desenmarañar el acuerdo al que se había arribado el día anterior respecto del número de representantes.

Acto seguido, Love facilitó una revisión más minuciosa del proyecto de constitución de la IOCE, con el fin de identificar posibles áreas de mejoría. En vez de votar sobre los diferentes temas, se acordó que el consejo de administración deliberaría sobre los comentarios. El primer tema debatido fue la conservación del nombre Organización

24

Internacional para la Cooperación en Evaluación y las siglas IOCE. Algunos delegados expresaron su temor de que las siglas implicaran una modalidad intergubernamental. Sin embargo, hubo un amplio consenso en el sentido que IOCE tenía un fuerte reconocimiento de marca y que el nombre y las siglas debían conservarse para fines de mercadeo. De hecho, PREVAL incluso decidió mantener las siglas en inglés, IOCE (en lugar de su equivalente en castellano, OICE) en los materiales que preparó con anticipación para la asamblea inaugural.

El segundo aspecto debatido fue la misión y los objetivos de la IOCE. La discusión se centró en cómo lograr un equilibrio entre los objetivos de inclusividad y legitimación.

Algunos delegados interpretaron que este último objetivo quería decir que una organización de evaluación no podía ser considerada legítima si no contaba con el endoso de la IOCE. Los miembros del grupo de coordinación aclararon que la idea no era que la IOCE debía legitimar a las organizaciones de evaluación, sino que debía legitimar la evaluación. En algunos países, una persona puede ser arrestada por realizar una evaluación. Un objetivo de la IOCE debía ser dejar sentado que la evaluación es un elemento legítimo, correcto y apropiado de una sociedad cívica.

Si bien es cierto que la legitimación de las organizaciones de evaluación puede no ser un objetivo manifiesto, la IOCE puede tener que desempeñar dicha función hasta cierto punto, como protección contra los grupos de consultores que se han posicionado en países en desarrollo como organizaciones nacionales de evaluación, cuando el realidad lo que desean es atraer más negocios. Pareció reinar un amplio consenso en el sentido que los juicios acerca de la legitimidad de una organización nacional de evaluación debían formarse en consulta con las organizaciones regionales de evaluación. El desarrollo de una serie de criterios y mecanismos para llegar a un dictamen sería provechoso.

Un tercer aspecto que se sometió a debate fueron las categorías de membresía. Se propusieron tres categorías: miembros plenos, miembros asociados y miembros observadores. Se sugirió la membresía honoraria como una posible cuarta categoría, como una forma de reconocer las contribuciones de las personas y también fortalecer la visibilidad y la credibilidad de la IOCE. Se recomendó que en el acta de constitución se definieran mejor las diferentes categorías de membresía, sus aportes monetarios específicos y lo que podían esperar recibir de la IOCE a cambio. Se identificaron dos casos especiales de membresía. El primero se refería a las organizaciones de evaluación “subnacionales”, como Quebec y Wallonia. Algunos participantes manifestaron su temor de que su inclusión abriría las puertas para que las organizaciones estaduales afiliadas a la AEA y las organizaciones provinciales integrantes de la CES y la AES solicitaran la admisión en la IOCE. El segundo caso especial se refería a los países en los cuales existe más de una organización nacional de evaluación (por ejemplo, en Estados Unidos existen la AEA y la División 13 de la Asociación Americana de Investigación Educacional). Los criterios que se desarrollen para reconocer a una red o un grupo de evaluación para su inclusión en la IOCE deben ser sensibles a estos casos especiales.

El idioma de trabajo de la IOCE fue el cuarto aspecto debatido. La traducción de todos los documentos oficiales y la redacción de las actas de la asamblea inaugural en inglés, francés y castellano habían sentado un precedente. Sin embargo, el servicio de traducción e interpretación supone un costo considerable. Una propuesta que se planteó

25

fue que todos los documentos se circularan en inglés y todas las organizaciones de evaluación tuvieran derecho a traducirlos a sus propios idiomas de trabajo. Esta posición pareció ser respaldada por los delegados y delegadas de organizaciones de evaluación de países donde el inglés, el francés y el español no constituyen su lengua materna. Se reconoció que el uso del inglés como idioma principal pone injustamente a algunos grupos culturales en posición de ventaja. Hubo un consenso general entre los delegados en el sentido que la IOCE debía promover la diversidad lingüística en la medida de lo posible, pero que la organización también tiene que ser pragmática en lo que respecta a la traducción y sus costos a menudo altos.

El quinto y último aspecto debatido fueron los recursos, incluyendo humanos pero especialmente fiscales. Love manifestó que el proyecto de constitución contenía una frase ambigua acerca del pago de cuotas según la discreción del Consejo de Administración. Una propuesta fue que todos debían pagar algo – quizás utilizando una escala móvil, de manera tal que las organizaciones de evaluación de mayor tamaño y más ricas pagaran más. Se acordó buscar financiamiento externo para complementar el presupuesto de la IOCE. Se precisó que el supuesto de que todas las organizaciones de evaluación de los países desarrollados son grandes y ricas es incorrecto. En adición, la situación económica de muchas organizaciones varía de año en año, dependiendo del éxito de su conferencia. Dos ideas que se plantearon para aliviar la carga financiera para las organizaciones de evaluación fueron: contribuciones en especie (por ejemplo, trabajo voluntario para recolectar las cuotas) y exenciones, especialmente para los grupos nuevos.

Uno de los delegados pidió que se prestara consideración especial a las redes informales de los países en desarrollo. Dichas redes frecuentemente no poseen una cuenta corriente ni están registradas ante el gobierno. Por lo tanto, el pago de cuotas es más complicado para ellas. Al mismo tiempo, muchas de estas redes pueden recaudar fondos desproporcionadamente más altos para asistir a reuniones como la asamblea inaugural que sus contrapartes de países desarrollados. Esto puede generar oportunidades creativas para evaluar las cuotas. Otra consideración que se abordó hacia el final de la discusión de las cuotas fue la nomenclatura del comité ejecutivo de la IOCE. Algunos participantes opinaron que las palabras presidente, vicepresidente, etc., enviarían el mensaje equivocado2. Referirse a los líderes como chair, vice chair, etc., refleja una organización menos jerárquica, con mayor capacidad de respuesta y sin connotaciones de género.

Clausura de la Asamblea y resumen de los pasos siguientes En la sesión de clausura, Marco Segone hizo una breve síntesis de los tres días de la asamblea inaugural. El viernes, los participantes aprendieron acerca de la historia y el contexto de la IOCE y escucharon estudios de caso sobre distintas experiencias nacionales de organizaciones de evaluación de programas de desarrollo. El sábado se debatieron los aspectos organizacionales, se definieron los resultados esperados y se priorizaron las actividades. Y, finalmente, el domingo se debatieron tanto el futuro de la IOCE como los siguientes pasos a tomar. Segone luego le pidió a Zenda Ofir que tratara el tema de los pasos siguientes. Aludiendo a unos materiales que habían sido distribuidos el día anterior, Ofir identificó los siguientes cinco pasos: 2

Esta discusión tiene relevancia sólo en inglés, donde tanto president como chair significan “presidente” (N.T.).

26

1. Desarrollar sistemas de organización para la IOCE. 2. Establecer una estrategia de comunicación para la IOCE. 3. Ejecutar programas en torno a temas específicos.

4. Abogar por y promover la evaluación en foros internacionales.

5. Forjar alianzas estratégicas a fin de avanzar las metas de la IOCE. Segone invitó al grupo coordinador a reunirse con el consejo de administración entrante, luego de lo cual ésta última celebraría su primera reunión con el objeto de desarrollar un plan de acción. Agradeció a Ada Ocampo y PREVAL, la Red Peruana de Seguimiento y Evaluación, los intérpretes, el grupo coordinador y los y las participantes. Declaró que la IOCE era un sueño utópico que se había hecho realidad en pocos años. Por último, Segone presentó a Ada Ocampo, la Coordinadora de PREVAL. Ocampo afirmó que era un honor para América Latina el haber sido elegida como la sede de la asamblea inaugural de la IOCE. Sin embargo, cuando se ofreció de voluntaria, nunca imaginó la enormidad de la tarea. Afirmó que tanto ella como su organización habían aprendido muchas lecciones estratégicas al igual que operativas y logísticas. Por ejemplo, las demandas de organización eran tan grandes que no tuvo tiempo de participar en los debates en torno a contenidos. Añadió que el personal de PREVAL había aprendido muchas lecciones y cometido unos cuantos errores y comentó (en broma) que PREVAL deseaba tener la oportunidad de ser la anfitriona de otra asamblea para poder demostrar que había aprendido sus lecciones. Ocampo comentó el lado humano de la reunión. Los delegados y delegadas se habían reunido, se habían hecho amigos, y esto los ayudaría a trabajar juntos en el futuro. Luego de sus comentarios, el personal de PREVAL distribuyó fotografías del grupo y una cerámica como souvenir a cada uno de los participantes. Luego de las palabras de Ocampo, Mahesh Patel dirigió a la asamblea en la canción de la IOCE, una variación de la canción de la evaluación que había dirigido el viernes.

Temas estratégicos Nosotros, los autores de este documento, hemos participado en el esfuerzo de organizar la IOCE desde el principio. Ahora que se ha elegido un consejo de administración interino, vemos que nuestro papel es dar un paso atrás y dejar que ese augusto organismo asuma el liderazgo de la organización. Esto nos da la libertad para ofrecer una crítica y una asesoría (no solicitada) independientes. Por lo tanto, el siguiente análisis no constituye una evaluación cualitativa de la descripción narrativa presentada en las secciones anteriores. Más bien, se trata de un análisis estratégico de lo que nosotros consideramos fortalezas, debilidades, oportunidades y amenazas que se ciernen sobre la institución.

Fortalezas. Nuestra opinión es que la IOCE tiene una visión audaz y una misión noble.

Esta visión compartida ha juntado a un grupo de los líderes más dinámicos y carismáticos de organizaciones regionales y nacionales de evaluación de todas partes del mundo. Tenemos la impresión de que estos líderes están unidos por una aspiración común y un profundo compromiso de crear algo que, 10 años atrás, pocos - por no decir nadie - se hubieran atrevido a soñar.

27

La diversidad de las personas y organizaciones que participan en la IOCE es otra fuente de fortaleza. Cada organización miembro aporta talentos y experiencias únicas, que fortalecerán la capacidad de la IOCE para alcanzar su misión y beneficiar a otras organizaciones miembros. La interpretación simultánea de los materiales y sesiones en tres idiomas fue un hito que sienta un nuevo precedente en lo que se refiere a promover la diversidad.

La IOCE es una organización “de abajo hacia arriba”, en oposición a una “de arriba hacia abajo”. Su proceso de organización ha sido democrático y no controlado u orquestado por sus fundadores. Los fundadores intentaron hacer el proceso de organización lo más transparente posible, publicando materiales en línea para que aquéllos que no pudieran participar físicamente pudieran hacerlo virtualmente. Se ha recibido retroalimentación, que ha sido incorporada a la discusión. Creemos que este respeto por el aspecto democrático del proceso ha generado una sólida base de apoyo para la IOCE. Debilidades. A menudo sucede que las mayores fortalezas de una organización son al mismo tiempo sus mayores debilidades. La IOCE no constituye una excepción. En su calidad de organización “de abajo hacia arriba”, la IOCE no cuenta con un patrón acaudalado que garantice sus gastos. El financiamiento de la IOCE ha sido hasta ahora en cierto modo ad hoc. La Fundación Kellogg proporcionó financiamiento medular para el evento. Algunas organizaciones de evaluación de países ricos pudieron pagar sus propios gastos de participación en la asamblea inaugural de la IOCE. Muchas organizaciones de evaluación de países en desarrollo lograron obtener apoyo financiero para el viaje de diversas fuentes.

No obstante, las organizaciones de evaluación de varios países de ingreso medio no pudieron afrontar los gastos de la visita, y sin embargo tampoco reunieron los requisitos para recibir asistencia. Lamentablemente, este hecho restringió la participación de dichas organizaciones en la asamblea inaugural. Si no se establece una opción más equitativa para distribuir los recursos, este dilema financiero amenaza con socavar una participación genuinamente inclusiva y democrática en la IOCE. Además, tememos que la distribución actual de los derechos de voto (un voto por organización) puede conducir a la creación de bloques de votación regionales. Es posible que un bloque de votación formado por organizaciones de evaluación pequeñas llegue a dominar a organizaciones de evaluación grandes que no forman parte de un cuerpo regional. Es posible que sea necesario adoptar un modelo semejante al que utiliza las Naciones Unidas, según el cual los votos en la IOCE dependan no solamente del estatus de representante de un país o región sino también del número de miembros que contenga la organización y la cantidad de cuotas que ésta paga. Alternativamente, la IOCE puede considerar recomendable aprobar las decisiones por consenso, y no por votación.

Oportunidades. La asamblea inaugural representó una oportunidad para poner sobre el tapete la discusión acerca de temas tales como: estándares de evaluación, normas éticas, construcción de capacidad en evaluación, e incidencia a nivel internacional. Para aprovechar al máximo sus potencialidades, creemos que la constitución formal de la IOCE como un organismo independiente es esencial. Además de constituir un prerrequisito para obtener financiamiento de las organizaciones donantes, lo más

28

importante es que permitirá a la IOCE gestionar sus propios asuntos y fijarse una agenda independiente para emprender acciones vinculadas con asuntos que sean importantes para la comunidad mundial de evaluación.

Algunas organizaciones regionales y nacionales consideran al Instituto para el Desarrollo, Evaluación, Asesoría y Soluciones (IDEAS), impulsado por el Banco Mundial y el PNUD, como una organización rival que está compitiendo por el mismo pool de miembros. En vez de sentirnos amenazados por IDEAS, o que IDEAS se sienta amenazado por la IOCE, estamos convencidos de que una integración y cooperación más estrechas entre IDEAS y la IOCE beneficiará a ambas organizaciones. Una relación más estrecha beneficiará a IDEAS porque generará una mayor aceptación de ese organismo por parte de las organizaciones miembros de la IOCE. Dado que IDEAS es una organización compuesta por miembros individuales, la IOCE puede contribuir a la sostenibilidad de IDEAS una vez que se acabe el financiamiento inicial del Banco Mundial y el PNUD. Por su parte, la IOCE puede beneficiarse de un mayor acceso a recursos gracias a una relación de cooperación con IDEAS. Amenazas. La misión, los fines y los principios organizativos de la IOCE han recibido un apoyo amplio y constante desde el inicio (la reunión de Barbados). Un peligro que percibimos es que la IOCE no permanezca fiel a sus principios organizativos. Por ejemplo, el Briefing Bulletin dice que “regiría el principio de inclusión, lo cual quiere decir que la no asistencia a reuniones de cuerpo presente no se entenderá como no participación”. Sin embargo, en la asamblea inaugural las organizaciones de evaluación regionales y nacionales que no estuvieron representadas o lo estuvieron precariamente (esto es, de países de ingreso medio) parecieron no tener la misma voz que las que estuvieron adecuadamente representadas.

El Briefing Bulletin toca asimismo la representación rotativa de las estructuras de liderazgo de la IOCE. En nuestra opinión, la necesidad de continuidad debe ser balanceada con la necesidad de reclutar nuevos líderes regularmente, tanto para la junta de fiduciarios como para el comité ejecutivo. Creemos que este aspecto debería ser abordado de alguna forma en los estatutos de la IOCE. Una manera de hacerlo podría ser establecer límites de tiempo para los mandatos o rotando las presidencias. Nos preocupa de que, si la IOCE no permanece fiel a sus principios fundamentales como organización, las organizaciones miembros se desencantarán y abandonarán la institución.

Finalmente, creemos que los líderes de la IOCE deben estar en capacidad de producir beneficios que sean tangibles para los miembros de las organizaciones regionales y nacionales de evaluación. Los líderes de la IOCE deben comunicar claramente el valor de pertenecer a la IOCE, de manera tal que no quepa la menor duda en la mente de los miembros de las organizaciones regionales y nacionales de evaluación de que la IOCE merece su apoyo y compromiso. Por eso, la comunicación tanto dentro de como entre las organizaciones de evaluación regionales y nacionales reviste suma importancia.

Asimismo, será necesario que la IOCE desarrolle estrategias de comunicación que sirvan de ejemplo y fomenten la colaboración y los intercambios, trascendiendo cualquier barrera idiomática y cultural.

“Llegará un día en que creas que todo ha terminado; ése será el comienzo.”

29

-Louis L’Amore

30

Referencias Comité Conjunto de Estándares de Evaluación Educativa (1994). The program evaluation standards. Thousand Oaks, CA: Sage.

Love, A., & Russon, C. (2000). Building a worldwide evaluation community: past, present, and future. Evaluation and Program Planning: An International Journal, 23(4), 449-459.

Mertens, D., & Russon, C. (2000). A proposal for the International Organization for Cooperation in Evaluation. The American Journal of Evaluation, 21(2), 275-284.

Patel, M., & Allen, K. (editores) (2000). UNICEF and UNAIDS evaluations of HIV/AIDS. Evaluation and Program Planning: an International Journal, 25(4).

Patel, M., & Russon, C. (1999, septiembre). Appropriateness of The Program Evaluation Standards for use in African cultures. Ponencia presentada en la reunión inaugural de la Asociación Africana de Evaluación, Nairobi, Kenia.

Patel, M., & Russon, C. (2000). Appropriateness of The Program Evaluation Standards for use in African cultures. Construcción de capacidad en seguimiento y evaluación en África: Actas seleccionadas de un seminario y taller organizado por el Banco de Desarrollo de África Austral, el Banco Africano de Desarrollo y el Banco Mundial.

Johannesburgo, Sudáfrica.

Russon, C. (editor) (2000). The Program Evaluation Standards in international settings.

Serie Occasional Papers No. 17. Kalamazoo, Michigan, Universidad de Western Michigan, The Evaluation Center.

Russon, C., & Love, A. (editores) (1999). Creating a world-wide evaluation community.

Serie Occasional Papers No. 15. Kalamazoo, Michigan, Universidad de Western Michigan, The Evaluation Center.

Russon, C., & Russon, K. (editores) (2000). The annotated bibliography of international programme evaluation. Boston, MA. Kluwer Academic Publishers.

31

Notas 1. Este artículo refleja las opiniones de los autores y no necesariamente las de la Organización Internacional para la Cooperación en Evaluación (IOCE), sus organizaciones miembros o la Fundación Kellogg.

2. Los autores desean reconocer las invalorables contribuciones a este artículo realizadas por Karen Russon, Robert Bundy Jr., Rigoberto J. Rincones-Gómez, Liliana Rodríguez-Campos y todos los delegados y delegadas de la asamblea inaugural de la IOCE.

32

Anexo A Asociaciones participantes en la Asamblea Inaugural de la IOCE (al 25 de marzo) Asociación Regional o Nacional de Evaluación Representante(s) oficial(es) Asociación Africana de Evaluación Zenda Ofir Girmay Haile Asociación Americana de Evaluación Donna Mertens Richard Krueger Sociedad de Evaluación de Australasia Penny Hawkins Red de Seguimiento y Evaluación de Brasil Rogério Renato Silva Marco Segone Sociedad Canadiense de Evaluación Gwen Keith Nancy Porteous Red Colombiana de Seguimiento y Evaluación (RED SIES) Consuelo Ballesteros Daniel Gómez Asociación Nacional de Evaluación de Eritreo Bissrat Ghebru Woldeyesus Elisa Sociedad Europea de Evaluación Elliot Stern Sociedad Francesa de Evaluación Denys Baïlle Asociación de Evaluadores de Ghana Chales Nornoo Asociación de Evaluación de Kenia Mburugu Nkanata Gitonga Karen Odhiambo Asociación Israelí de Evaluación de Programas Barbara Rosenstein Asociación Italiana de Evaluación Laura Tagle Programa para el Fortalecimiento de la Capacidad de Seguimiento y Ada Ocampo Evaluación de los Proyectos FIDA en América Latina y el Caribe Gloria Vela (PREVAL) Red de Evaluadores de Malawi James Milner Red de Seguimiento y Evaluación de Níger Jean-Charles Rouge Sociedad de Evaluación de Programas de Québec Hélene Johnson Red Peruana de Seguimiento y Evaluación Emma Rotondo Carlos Salazar Red Internacional de Evaluación de Programas de Rusia y los Nino Saakashvili (Capítulo Estados Independizados Georgiano) Red de Evaluación de Sudáfrica Zenda Ofir Sociedad Española de Evaluación Carmen Vélez Sociedad de Evaluación del Reino Unido Mark Bitel Murray Saunders Sociedad de Evaluación de Wallonia (Bélgica) Jean-Louis Dethier Sociedad de Evaluación de Zimbabwe Mufunani Tungu Kho Facilitadores Craig Russon Arnold Love Observadores Agence Intergouvernementale de la Francophonie, Jack Batho Oficina principal de UNICEF en Nueva York, Mahesh Patel

33