Desarrollo de Capacidades en Planificación, Seguimiento y Evaluación by Cecilia Castillo

Desarrollo de capacidades en planificación, seguimiento y evaluación: resultado de una evaluación

Ronald Mackay y Douglas Horton

Este artículo describe la evaluación de un proyecto regional para el desarrollo de capacidades en sitios múltiples, que se llevó a cabo con el objeto de fortalecer la planificación, seguimiento y evaluación en el campo de la investigación agrícola. En este artículo se discuten brevemente algunos desafíos que enfrenta el desarrollo de capacidades y su evaluación, los marcos conceptuales y los métodos adoptados, y los procedimientos que se utilizan. Después, se presentan algunas conclusiones y lecciones consolidadas para el diseño, gestión y evaluación de los esfuerzos de desarrollo de capacidades.

ISNAR Briefing Paper

Febrero 2004

Antecedentes Durante los últimos 50 años, la práctica de la cooperación para el desarrollo en investigación agrícola ha evolucionado considerablemente, a medida que cada paso nuevo se convierte en una experiencia de aprendizaje basada en los éxitos y fracasos de las etapas anteriores. Las explosiones de desarrollo de capacidades a corto plazo dirigidas a la oferta, que usan asignaciones directas de recursos y transferencia de tecnología, han dado lugar a la construcción de capacidades organizacionales, con un enfoque en la colaboración en función de la demanda a largo plazo. Esto implica que las disposiciones institucionales se deben alinear con las estrategias, metas y objetivos de la organización. La meta del desarrollo de capacidades es crear organizaciones de aprendizaje independientes, capaces de responder satisfactoriamente a los desafíos, que puedan mantener sus niveles de relevancia y desempeño bajo circunstancias cambiantes. En 1996, ISNAR inició una serie de estudios sobre la evaluación de los esfuerzos de desarrollo de capacidades. Su propósito era estimular el debate sobre temas de desarrollo de capacidades y evaluación, y diseñar métodos para evaluar los esfuerzos de desarrollo de capacidades en organizaciones de investigación agrícola y desarrollo. De 1997 a 1999, el trabajo se enfocó en una evaluación a fondo de un proyecto regional complejo en América Latina y el Caribe, conocido como Proyecto del ISNAR de Planificación, Seguimiento y Evaluación (PSyE). El tema del presente artículo es la evaluación del proyecto de desarrollo de capacidades y de las lecciones aprendidas.

El Proyecto PSyE: perspectiva general El proyecto se implementó de 1992 a 1998 para fortalecer la PSyE en organizaciones de investigación agrícola en América Latina y el Caribe. Su objetivo era ayudar a las organizaciones participantes a desarrollar sistemas integrados de PSyE y, de ese modo, mejorar su gestión de investigación. La hipótesis que dirigió el proyecto era que una gestión mejorada contribuiría a la relevancia, efectividad y eficiencia de los programas de investigación agrícola, así como a la producción de nueva información y tecnología que se pudiera utilizar en el sector productivo. Al principio, el proyecto se enfocó en capacitación en PSyE, dentro de un marco más amplio de la gestión estratégica. A medida que se desarrollaba, los esfuerzos de capacitación se ampliaron, hasta incluir tres áreas adicionales que los gerentes de la región consideraban de alta prioridad: sistemas de gestión de la información, formulación de proyectos y gestión de los procesos de cambio institucional. El proyecto PSyE adoptó tres estrategias: Información. Se prepararon libros de referencias y material de capacitación para utilizarse en los talleres y para su distribución al personal directivo y bibliotecas en toda la región. Talleres y capacitación. El equipo del proyecto organizó talleres regionales para planificar y revisar las actividades del proyecto y para difundir los resultados entre los gerentes superiores en la región. Se formó un grupo de capacitadores, escogiéndose para ello a miembros de las organizaciones de investigación regionales participantes, para que diseñaran y celebraran los eventos de capacitación del proyecto en la región.

Briefing Paper del ISNAR 65

Facilitación del cambio institucional. En 1996, a solicitud de los líderes de investigación agrícola de la región, el proyecto PSyE se amplió y comenzó a proporcionar apoyo directo a las organizaciones que habían sido seleccionadas, las cuales estaban comprometidas a llevar a cabo el cambio institucional y a emprender los esfuerzos necesarios para mejorar sus sistemas de PSyE. Estas organizaciones, conocidas como "Casos Piloto", se encontraban en Costa Rica, Cuba, Panamá y Venezuela. El proyecto se guió por tres principios básicos: Participación. Se alentó la participación activa de los beneficiarios meta del proyecto para asegurar la relevancia de sus actividades, su compromiso con los objetivos y la aplicación posterior de los resultados. Equipos de gerentes de la región participaron en la planificación de los talleres del proyecto y elaboraron, probaron y revisaron un juego de material didáctico. Más tarde, durante la etapa de evaluación, los mismos gerentes participaron en la revisión del proyecto. Aprendizaje basado en la experiencia. Para fomentar el fortalecimiento institucional, el personal de ISNAR y las organizaciones participantes planificaron conjuntamente actividades, probaron innovaciones y revisaron los resultados, que luego usaron para modificar los planes durante la fase de ejecución del proyecto. Respeto a la diversidad. El proyecto elaboró sobre la diversidad de conocimiento y experiencia presentes en la región y en otras partes, y trabajó con gerentes locales para desarrollar soluciones adaptadas a problemas locales de gestión específicos, en vez de intentar encontrar soluciones genéricas.

Evaluación del Proyecto PSyE El estudio partió de la premisa que las evaluaciones se deberían juzgar por su utilidad para las partes interesadas, en cuyos intereses se llevan a cabo. Para que sean útiles, las evaluaciones deben estar dirigidas explícitamente a los beneficiarios meta. Para lograrlo, los evaluadores y los representantes de todas las partes interesadas clave se reunieron en talleres para tomar decisiones conjuntas sobre la conceptualización, diseño y métodos que se usarían en la evaluación. El primer taller participativo, celebrado en Ecuador a principios de 1997, ayudó a definir las cuatro preguntas que la evaluación debía contestar: 1. ¿Cuáles han sido las principales contribuciones del proyecto PSyE a la gestión de investigación agrícola? 2. ¿Cómo se lograron las contribuciones del proyecto? 3. ¿Qué lecciones pueden aprenderse para mejorar el diseño de futuros programas de desarrollo de capacidades? 4. ¿Qué lecciones pueden aprenderse para mejorar las evaluaciones de los futuros programas de desarrollo de capacidades?

Tres talleres adicionales celebrados en 1997 y 1998 ofrecieron la oportunidad para que los participantes revisaran los datos, resultados y conclusiones, y para que se compartieran los borradores de los informes y la retroalimentación.

Marcos conceptuales Los participantes del primer taller de planificación usaron tres marcos para diseñar la evaluación y para contestar a las cuatro preguntas. Primero adaptaron un marco de evaluación institucional (Lusthaus et al. 1995) que ilustraba una organización a partir de las cuatro "dimensiones" siguientes: su entorno operativo, motivación, capacidad y desempeño. El entorno operativo se refiere al contexto legal, social y económico en que opera la organización. La motivación institucional se relaciona con los factores internos que influencian la dirección en que se encauza la organización y la energía que despliega en sus actividades. Estos, a su vez, son influenciados por variables tales como la cultura y los incentivos institucionales. La capacidad institucional se refiere a las capacidades de todo el personal, a otros recursos que posee la organización y a su estructura, sistemas de gestión y vínculos con otras organizaciones. El desempeño institucional se mide en términos de efectividad, eficiencia y sostenibilidad. La efectividad se refiere al grado en que la organización alcanza sus objetivos; la eficiencia es el grado en que se minimiza el precio unitario. La sostenibilidad es la medida en que la organización mantiene su relevancia ante las partes interesadas y, de ese modo, garantiza los recursos financieros y de otra índole que necesita. El marco postula que el desempeño de una organización es una función de su entorno operativo, su motivación y capacidad. Ya que el trabajo del proyecto PSyE incluía la participación de gerentes y organizaciones de investigación agrícola, el marco se aplicó en dos niveles de análisis: en el nivel del participante individual y del nivel organizacional. El proyecto PSyE se consideró como un elemento en el nivel operativo de la persona participante así como en el de sus organizaciones. El proyecto podía tener consecuencias directas en varios factores en el entorno y en varios aspectos de la motivación y capacidad individual y organizacional. El proyecto podía contribuir indirectamente al desempeño de las personas individuales o de las organizaciones, a través de susUna revisión documentada del diseño, estrategias, a consecuencias en los variables del entorno, la motivación o capacidad. El segundo marco fue un modelo lógico para el proyecto PSyE (Figura 1). Este modelo es una reproducción en papel de las operaciones del programa: se manifestaron explícitamente las formas en que se suponen las acciones y los componentes del esfuerzo para el desarrollo de capacidades, para producir las mejoras deseadas en las organizaciones participantes.

Desarrollo de Capacidades en Planificación, Seguimiento y Evaluación: Resultado de una evaluación

Meta

Fortalecimiento de la gestión de la investigación agrícola

Propósito

Institucionalización de los sistemas integrados de PSyE y de los principios de gestión estratégica en las organizaciones de investigación agrícola

Resultado

Actividades

Información

Capacitación

Difusión de información

Talleres nacionales

Preparación de material didáctico

Preparación de publicaciones

Estudios de caso sobre PSyE

• Una evaluación de las contribuciones del proyecto que facilitan los cambios de PSyE en nueve organizaciones a lo largo de toda la región. El Cuadro 1 representa los cinco estudios en una matriz de evaluación, que resume sus objetivos, métodos y fuentes de datos. A continuación sigue una descripción de los estudios.

Facilitación

Talleres de planificación & revisión

Intercambio de profesionales

Talleres subregionales

Acuerdos suscritos ISNAR casos piloto

Intercambio de información

Talleres regionales

Análisis ex ante de los casos piloto

Apoyo del equipo del proyecto

Estudio 1. El proyecto PSyE Este estudio, escrito por el equipo del proyecto PSyE y el equipo de evaluación, proporciona una revisión descriptiva del proyecto desde sus comienzos. Presenta los antecedentes del entorno organizacional del proyecto y resume los objetivos, estrategias, actividades y productos. También se documentan las fuentes y usos de los recursos del proyecto.

Figura 1. Modelo lógico del proyecto PSyE

El tercer marco que usaron los participantes a los talleres fue un esquema integrado de evaluación que relaciona cada uno de los tres componentes del proyecto con las cuatro áreas potenciales de impacto, tanto en los niveles individuales como en los organizacionales (Figura 2). Esto proporciona una representación visual concisa de un juego de relaciones complejas que de otra manera se eluden.

Cinco estudios complementarios El equipo de evaluación determinó que ningún estudio de evaluación puede proporcionar las respuestas adecuadas a las cuatro preguntas de la evaluación. Por lo tanto, diseñó cinco estudios complementarios para evaluar el impacto de los tres componentes del proyecto (información, capacitación y facilitación), en el entorno, motivación, capacitación y desempeño de las personas individuales y las organizaciones. Este juego de estudios complementarios consta de:

• actividades y resultados del proyecto. • Un estudio de los impactos de las publicaciones del proyecto en personas individuales y organizaciones. • Un estudio de los impactos de los métodos de capacitación del proyecto. • Una evaluación de las contribuciones del proyecto para facilitar el cambio en los tres casos piloto.

Estudio 2. Impactos de la información El Estudio 2 evalúa el uso de las publicaciones del proyecto y sus efectos en las personas individuales y las organizaciones. Se utilizó una encuesta por correo para recolectar información de más de 500 personas que habían recibido las publicaciones del proyecto hasta julio de 1997. Se obtuvo un 29% de respuestas. Los encuestados proporcionaron información sobre el uso de las publicaciones del proyecto y evaluaron su utilidad general, en comparación con otras publicaciones sobre los mismos temas. También evaluaron el impacto de las publicaciones del proyecto, de acuerdo a un juego de indicadores que medían el to

c ye ro lp

Facilitación Capacitación

Información

Nivel de impacto

El proyecto PSyE buscaba incrementar la capacidad de una organización a través de: (1) la producción y difusión de información de PSyE, (2) la capacitación de gerentes de investigación agrícola, (3) la facilitación del proceso de cambio en las organizaciones seleccionadas. El modelo lógico postula que los gerentes usen la información y la capacitación proporcionada, para mejorar la manera en que las organizaciones planifican, dan seguimiento y evalúan sus actividades de evaluación. Se considera que este tipo de mejoras conduce a programas de investigación más relevantes, efectivos y eficientes.

La organización

The individual

La persona The organization

Motivación

Capacidad Entorno

Desempeño

Dimension del impacto

Figura 2. Marco integrado de evaluación Nota: Se parte del supuesto que los tres componentes del proyecto contribuyen principalmente a los aspectos de motivación y capacidad individual y organizacional, y al del entorno. La línea doble entre entorno y desempeño refleja el hecho que el desempeño es una función de la motivación, la capacidad y las variables del entorno. Por lo tanto, las contribuciones del proyecto al desempeño son indirectas.

Briefing Paper del ISNAR 65

Cuadro 1. Los objetivos, métodos usados y fuentes de datos de los cinco estudios de evaluación. Estudio

Objetivos

Métodos

Fuentes de datos del estudio

Estudio 1: El proyecto de desarrollo de las capacidades de ISNAR, PS&E

Revisar los objetivos, estrategias, actividades y resultados del proyecto

Autoanálisis

Registros del proyecto

Estudio 2: Impactos de la información

Analizar la difusión, uso e impacto de las publicaciones

Encuesta por correo

144 destinatarios de las publicaciones del proyecto de 40 organizaciones en 24 países

Estudio 3: Impactos de la capacitación

Analizar los impactos de la capacitación.

Encuesta por correo

67 participantes a eventos de capacitación de 43 organizaciones en 24 países

Estudio 4: Cambios en PS&E en los casos piloto

Analizar los cambios en el PS&E en las orga- Autoanálisis nizaciones con casos piloto; identificar las contribuciones del proyecto PS&E; determinar los efectos de los cambios en el desempeño organizacional.

grado en que la información había influenciado la motivación, capacidad, entorno operativo y desempeño, tanto de personas individuales como de organizaciones. Con el propósito de mejorar la calidad de los datos, se pidió a los encuestados de este estudio y de los siguientes estudios de impacto que dieran ejemplos concretos. Estos fueron usados para verificar las afirmaciones y para ilustrar cómo había contribuido la información, la capacidad y el entorno operativo al desarrollo de capacidades. Estudio 3. Impactos de la capacitación El tercer estudio evaluó el impacto de las actividades de capacitación del proyecto en el comportamiento tanto de los participantes como de sus organizaciones. Los 150 profesionales de la región que habían participado en los eventos de capacitación recibieron un cuestionario de encuesta y se obtuvo un 45% de respuestas. Un juego de indicadores relacionados con las áreas en que se había anticipado el cambio ayudaron a los encuestados a medir el grado en que la capacitación del proyecto había afectado la motivación, capacidad, entorno operativo y desempeño tanto de las organizaciones como de los profesionales mismos. Como medio de corroborar la información recibida, también se pidió al jefe inmediato y a los colegas de cada encuestado que proporcionaran su evaluación de los efectos que había tenido la capacitación en los participantes y sus organizaciones. Estudio 4. Cambios en PSyE en las organizaciones con casos piloto El componente de facilitación del proyecto se evaluó a través de una serie de ejercicios de autoanálisis: en cada una de las organizaciones con casos piloto, los equipos del cambio organizaron y facilitaron talleres en que la gerencia y el personal

Colaboradores en tres organizaciones con casos piloto

analizó los cambios que habían ocurrido en su organización. También identificaron las fortalezas y las debilidades de los procesos de cambio que se habían llevado a cabo. Los procedimientos e instrumentos se elaboraron en colaboración con el equipo de cambio y los colaboradores de las organizaciones con casos piloto. Después, se organizaron los ejercicios de autoanálisis y se prepararon los informes. Se utilizó un proceso facilitado de autoanálisis para capitalizar el conocimiento único que poseían los participantes de los casos piloto acerca de sus respectivas organizaciones y sobre cómo habían cambiado dichas organizaciones. Además de aumentar la profundidad y calidad de la información, el autoanálisis también puede tener efectos positivos en la disposición de la organización de realizar una revisión significativa. Estudio 5. Las dinámicas de PSyE El quinto estudio complementario trató de evaluar las contribuciones del proyecto PSyE al cambio en los sistemas PSyE e identificar los efectos de las mejoras de PSyE en el desempeño institucional. Esto se logró analizando los resultados de nueve estudios de caso llevados a cabo para documentar los cambios en PSyE en las organizaciones de investigación agrícola de la región desde 1992, comparándolos con los resultados de 13 estudios de caso llevados a cabo en 1992. El protocolo y sus instrumentos se elaboraron basándose en Yin (1994). El Protocolo especificaba los procedimientos precisos que deberían usarse durante la recolección de datos y en el trabajo de campo. La evaluación recolectó los datos de las entrevistas con los gerentes y el personal de cada organización y con los informantes externos clave familiarizados con la organización, y revisaron los documentos sobre PSyE de cada organización. Los miembros del equipo de evaluación observaron las instalaciones y las prácticas durante las visitas a los países, que tuvieron de 5 a 14 días de duración, y en colabora-

Desarrollo de Capacidades en Planificación, Seguimiento y Evaluación: Resultado de una evaluación

ción con uno o varios miembros de la organización participante recolectaron los datos disponibles. Primero prepararon informes separados de los casos de estudio y después produjeron una síntesis a la que incorporaron los resultados de los 11 casos. Mejorar la fiabilidad de los resultados Además de la aplicación de las técnicas descritas anteriormente, para maximizar el grado de fiabilidad de los datos recolectados, los evaluadores sostuvieron entrevistas telefónicas, hicieron visitas de campo y mantuvieron correspondencia para corroborar los impactos que habían informado los participantes y verificar la validez de las afirmaciones. También le enviaron un formulario sencillo a los gerentes de investigación agrícola de alta gerencia y a los representantes de organizaciones regionales familiarizadas con el proyecto ISNAR, solicitándoles que indicaron los tipos de impactos—caso que los hubiera—que habían observado. Las respuestas que se recibieron de 51 encuestados se codificaron, analizaron y se usaron para corroborar los datos recolectados de los cinco estudios.

Resultados consolidados Los marcos conceptuales ayudaron a identificar los efectos del proyecto, tanto en el nivel individual como en el organizacional. Los resultados de estos dos niveles se tratarán por separado. Es importante reconocer que el proyecto PSyE no ha causado los cambios que se han reportado, sino que ha contribuido a ellos. Contribuciones del proyecto PSyE a la gestión de investigación agrícola en el nivel individual Los estudios de evaluación indican que el proyecto ayudó a incrementar la capacidad de muchas personas involucradas en la planificación, seguimiento y evaluación de la investigación agrícola. Las personas individuales opinaron que las publicaciones del proyecto les habían proporcionado información útil y que las actividades de capacitación les habían brindado numerosas oportunidades para compartir información y experiencias, y para experimentar con las nuevas técnicas de gestión. La contribución más importante en el nivel individual se nota en el ámbito de la motivación. Los gerentes han aprendido a apreciar la necesidad del cambio y del papel que puede jugar PSyE en el proceso de cambio, para asegurar que las decisiones se basen en la recolección sistemática de datos. El entendimiento que ha surgido de que un sistema integrado de PSyE es un elemento esencial al dar seguimiento a una tendencia externa, al identificar las necesidades y oportunidades, definir metas relevantes y desarrollar estrategias adecuadas, coordinar las actividades de los miembros del personal con los objetivos estratégicos de las organizaciones, y asegurar el mejoramiento continuo de varias estrategias, actividades y resultados. Los resultados de todos los estudios de evaluación demuestran cómo han contribuido las publicaciones y los esfuerzos de capacitación del proyecto al desarrollo de la capacidad de las personas individuales, mejorando sus conocimientos y habili-

dades en PSyE, gestión estratégica y gestión del cambio institucional. Las experiencias documentadas también indican que la capacidad técnica mejorada de PSyE es de poco valor si no hay habilidad para gestionar el cambio institucional. La mayoría de las mejoras en PSyE que se reportaron en el nivel organizacional han sido instauradas en el nivel de actividades de investigación y proyectos, que son gestionados directamente por personas que participaron en las actividades del proyecto. El proyecto también ha ayudado a desarrollar la habilidad de las personas individuales para impartir capacitación en gestión a otros profesionales, tanto en sus propias organizaciones como en otras. Muchas organizaciones se han aprovechado de esta capacidad reforzada para la capacitación en gestión que existe en la región, para elevar el nivel de sus prácticas de gestión. Contribución del proyecto PSyE a la gestión de investigación agrícola en el nivel institucional Muchos de los cambios reportados en el nivel organizacional ocurrieron donde prevalecían las situaciones siguientes:

• El entorno fue conductivo al cambio (por ejemplo, fuertes presiones externas para el cambio). • La alta gerencia proporcionó liderazgo para fomentar el cambio. • Una masa crítica de personal se involucró y comprometió con el proceso de cambio. • Se pusieron a disponibilidad o fueron desarrolladas innovaciones institucionales apropiadas. • Se proporcionaron recursos para el cambio (por ejemplo, dedicación del tiempo del personal clave y asignación de presupuestos para capacitación y facilitación). • El proceso de cambio fue bien gestionado. Cuando las organizaciones por sí mismas tomaron el liderazgo ocurrieron algunos cambios fundamentales. El proyecto ISNAR jugó un papel de apoyo catalítico, motivando a los gerentes clave y proporcionando conceptos, información, capacitación y herramientas. También estimuló a las organizaciones participantes a que dedicaran recursos esenciales para el proceso de cambio. Tanto en las organizaciones con casos piloto como en otras, la mayoría de las mejoras institucionales ocurrieron en el área de la planificación estratégica. En varios centros de investigación y en proyectos, se instituyeron mejoras en los procesos de planificación de la organización. Se hicieron algunas mejoras al proceso de seguimiento y algunas, en menos medida, en el nivel de evaluación, el cual sigue siendo la fase más débil del ciclo de gestión. El proyecto PSyE ha contribuido más a la gestión en el nivel de proyecto que en los niveles más altos de toma de decisiones. Esto se refleja en el hecho que los gerentes en el nivel medio pueden introducir ellos mismos mejoras en el nivel de proyecto con más facilidad que en los niveles de decisión más altos, donde el liderazgo y la coordinación deben ser provistos por la alta gerencia.

Briefing Paper del ISNAR 65

Las acciones para fortalecer e integrar los sistemas de PSyE han sido más vigorosas en el nivel de los casos piloto. Otras organizaciones han mejorado algunos aspectos de sus sistemas de PSyE pero sin el mismo grado de integración.

Limitaciones de las estrategias del proyecto

El papel del proyecto en la mejora de la capacidad

La naturaleza un tanto genérica de la capacitación del proyecto. Los participantes informaron que la capacitación hubiera sido de más utilidad si se hubiera adaptado más a las necesidades individuales específicas de las diferentes organizaciones, en vez de estar dirigida a la región en general.

El alcance e intensidad del proyecto. El proyectó utilizó tres estrategias principales, presentando cada una de ellas una combinación diferente de alcance e intensidad. La estrategia de información tuvo el mayor alcance y la intensidad más baja de interacción; la estrategia de capacitación, tanto el alcance como la intensidad fueron "intermedios", mientras que la estrategia de los casos piloto tuvo el alcance más bajo y la intensidad más alta de interacción. Los resultados de la evaluación indican que la alta intensidad de interacción favorece el desarrollo de capacidades tanto en los niveles individuales como organizacionales. Uso de la información. Las publicaciones del proyecto han sido difundidas ampliamente entre los participantes, quienes atribuyen el valor más alto a los manuales de capacitación en planificación estratégica. Es evidente que la mayoría de los cambios más importantes ocurrieron cuando las personas buscaron activamente maneras de mejorar sus organizaciones y encontraron información en publicaciones del proyecto, que pudieron aplicar de inmediato. Resultados de la capacitación. El proyecto PSyE brindó capacitación directa a unos 150 gerentes. Los resultados de la evaluación llevaron a la conclusión que aunque la capacitación puede jugar un papel importante dentro de la estrategia general para el desarrollo de capacidades, la capacitación sola, sin el apoyo activo dentro del entorno organizacional, no es suficiente para producir el cambio institucional. Cambios en las organizaciones con casos piloto. En las organizaciones con casos piloto, el desarrollo de capacidades mostró los mejores resultados cuando había un fuerte compromiso hacia el cambio de parte de la alta gerencia, y los gerentes interactuaban intensamente con el equipo del proyecto. Los impactos reportados en la mayoría de los indicadores de motivación, capacidad, entorno y desempeño organizacional fueron considerablemente más altos en las organizaciones con casos piloto que en otras organizaciones. Resultados del enfoque del equipo del proyecto. El proyecto utilizó enfoques muy participativos para conducir todo el trabajo de desarrollo de capacidades. Grupos de personas planificaron las actividades del proyecto, estudiaron PSyE en sus propias organizaciones o en otras, prepararon las publicaciones, jugaron papeles importantes en los talleres y eventos de capacitación regionales, facilitaron procesos de cambio en los casos piloto y participaron en numerosas revisiones de trabajo relacionadas con el proyecto. A través del tiempo, se desarrolló un fuerte espíritu de equipo entre los participantes.

Los estudios de evaluación identificaron un número de limitaciones de las estrategias del proyecto.

Tiempo limitado para la interacción. La mayoría de los gerentes estuvieron en contacto con el proyecto durante las actividades de capacitación a corto plazo. Para que trascienda, el desarrollo de capacidades en el nivel organizacional requiere extensa interacción y apoyo directo. La corta duración (tres años) del trabajo en las organizaciones con casos piloto. La experiencia indica que la planificación estratégica y la institucionalización de los sistemas de PSyE integrados requieren un mínimo de cinco años. El acceso restringido de las organizaciones con casos piloto a las destrezas externas. Para cada caso piloto sólo se empleó a un profesional como facilitador externo. La percepción de los participantes de los casos piloto es que el acceso a una selección más amplia de habilidades y experiencias resultaría en el desarrollo de capacidades que conduciría al cambio institucional. La aparente distribución indiscriminada de actividades y recursos del proyecto (en especial durante la primera fase). El enfoque exclusivo en organizaciones comprometidas a emprender cambios de gestión podría haber redundado en mayores impactos en el nivel organizacional.

Lecciones para diseñar y gestionar los esfuerzos de desarrollo de capacidades El equipo de evaluación analizó la información relacionada con la evaluación del desempeño de las estrategias y resultados del proyecto, en colaboración con el equipo del proyecto, gerentes de investigación agrícola de América Latina, donantes y un comité de consulta de expertos. Se sacaron las siguientes lecciones generales para mejorar el diseño y gestión de futuros esfuerzos del desarrollo de capacidades: Los beneficiarios meta deben jugar un papel central en el diseño y gestión de los esfuerzos de desarrollo de capacidades. Para el ISNAR es valioso y factible involucrar a los beneficiarios meta en todas las fases del diseño, ejecución y evaluación del programa. La participación realza el sentido de propiedad local y contribuye a la aplicación de los resultados de la evaluación y a la sostenibilidad de los esfuerzos de desarrollo de capacidades. Los esfuerzos de desarrollo de capacidades deben articular y comprobar sus teorías y supuestos fundamentales. El desarrollo de capacidades todavía es un proceso de experimentación social más que de diseño institucional. Las intervenciones son dirigidas a los objetivos. Los objetivos y las actividades diseñadas

Desarrollo de Capacidades en Planificación, Seguimiento y Evaluación: Resultado de una evaluación

para alcanzarlos deben describirse claramente desde el principio. Los cambios a los objetivos o actividades y las razones de esos cambios deben registrarse. La experiencia en el desarrollo de capacidades evolucionará sólo si los esfuerzos se tratan como investigación aplicada de la cual se aprenden lecciones. Los esfuerzos de desarrollo de capacidades deben enfocar su atención en organizaciones que están comprometidas con el cambio. El compromiso y liderazgo de la alta gerencia son esenciales para el cambio institucional a gran escala. Las inversiones en organizaciones no comprometidas son inútiles. Los esfuerzos de desarrollo de capacidades deben ir más allá de proveer insumos; necesitan facilitar los procesos de cambio. La clave del desarrollo de capacidades no radica en la provisión de recursos sino en la utilización adecuada de los insumos existentes y nuevos, para resolver problemas a través de la mejora de los procedimientos y del trabajo rutinario de la organización. Los esfuerzos de desarrollo de capacidades necesitan trabajar en muchos frentes a la vez. Los resultados de la evaluación destacan la necesidad de trabajar a la vez tanto en los factores técnicos como en los políticos/culturales en diferentes niveles de la organización, abarcando desde la alta gerencia—que facilita el cambio—, a los equipos y personal operativo, quienes dependen de apoyo para implementar los nuevos sistemas de gestión. Los esfuerzos de desarrollo de capacidades deben adaptarse a las necesidades y circunstancias de la organización que apoyan y no a la inversa. Con frecuencia, se supone que los objetivos y marcos de tiempo de las agencias externas son análogos con los de las organizaciones que buscan las mejoras. Sin embargo, una multitud de factores influyen en el ritmo y la dirección de los cambios institucionales, muchos de los cuales pueden eclipsar un proyecto con financiamiento externo. Las intervenciones externas de desarrollo de capacidades pueden apoyar los procesos de cambio, pero no pueden conducirlos eficazmente. La integración de PSyE es crucial para promocionar el aprendizaje individual y organizacional y para mejorar las estrategias. En las organizaciones, la planificación, el seguimiento y la evaluación no son funciones discretas de gestión y control. La experiencia del proyecto PSyE confirma el valor de la planificación, seguimiento y evaluación sistemática e integrada en los procesos de desarrollo individuales y organizacionales de capacidades y desempeño. No existen anteproyectos para el desarrollo de capacidades. Cada organización debe aprender de su propia experiencia, así como de la de otros. El fortalecimiento de PSyE es de importancia fundamental para fomentar el aprendizaje y mejorar los esfuerzos a través del tiempo.

Lecciones para la evaluación de los esfuerzos de desarrollo de las capacidades Las siguientes lecciones generales pueden mejorar la evaluación de los esfuerzos de desarrollo:

Una evaluación de los esfuerzos de desarrollo de capacidades debe basarse en tres tipos de teorías: teoría de la intervención, teoría del desempeño y teoría del cambio. Se sabe mucho sobre desarrollo, desempeño y cambio, y las evaluaciones deben estar bien informadas con conocimientos y teorías imperantes. En los casos en que los esfuerzos de desarrollo de capacidades carecen de una teoría de acción, los evaluadores deben ayudar al personal a explicar en detalle los supuestos fundamentales de sus actividades y elaborar un modelo lógico que relacione sus esfuerzos con los rendimientos esperados, y que permita que se identifiquen y expliquen los resultados imprevistos. Puesto que los esfuerzos de la evaluación del desarrollo de capacidades son un campo de estudio relativamente nuevo, todavía se necesita mucho trabajo para aclarar los conceptos y terminología clave. Los conceptos claros y un vocabulario bien definido, basados adecuadamente en las teorías y prácticas actuales, son esenciales para el desarrollo de un campo relativamente joven y fundamentalmente trans-disciplinario como es el desarrollo de capacidades. En la actualidad, cunde la confusión debido a que los donantes, beneficiarios y las agencias de cambio usan términos similares en formas diferentes. En la evaluación del desarrollo de capacidades se debe evitar la metáfora del impacto. La metáfora del impacto militarista no encierra las características primordiales del desarrollo de capacidades, que es el proceso de cambio y crecimiento. En la evaluación de los esfuerzos de desarrollo de capacidades, el término análisis de la contribución (Mayne 2001) puede ser más apropiado política y técnicamente que evaluación del impacto. La manera que escogemos para pensar sobre la cooperación para el desarrollo tiene influencia en la manera en que la conducimos y evaluamos. A menudo, los modelos tradicionales de evaluación del impacto son inadecuados. La participación de los miembros de la organización y de las partes interesadas es esencial en la evaluación de los programas de desarrollo de capacidades. Los miembros de la organización y las partes interesadas entienden las realidades organizacionales complejas y se ha descubierto que su participación en la evaluación mejora los estudios del diseño y enriquece la interpretación de los resultados. Cuando las partes interesadas participan al máximo en una evaluación, de inmediato aumenta su capacidad para evaluar y usar los resultados de la evaluación. Al evaluar el desarrollo de capacidades organizacional, la triangulación es muy importante para mejorar la veracidad de los resultados. El uso de diferentes evaluadores para recolectar y analizar diferentes tipos de datos de diferentes fuentes permite corroborar los resultados de manera disciplinada y sistemática. Ninguna fuente es suficiente para encerrar la complejidad de los esfuerzos de desarrollo de capacidades. Esto significa que en las evaluaciones se deben emplear métodos variados. El desarrollo de capacidades debe ser evaluado de forma que contribuya al proceso de desarrollo de capacidades. Dada la fragilidad de los procesos de desarrollo de capacidades, es muy importante que las evaluaciones se diseñen no sólo para proporcionar información de evaluación para las partes interesadas externas, sino también para apoyar y reforzar el

ISNAR Briefing Paper 62

desarrollo de capacidades en sí. Una evaluación puede apoyar el desarrollo de capacidades fomentando el pensamiento y el aprendizaje analítico disciplinado, e inculcando la motivación para mejorar el entendimiento propio de todo el proceso de desarrollo de capacidades.

Sobre este estudio y sus autores Este artículo se basa en el trabajo de los autores y de numerosos colaboradores en el ISNAR, así como en organizaciones de investigación y desarrollo en América Latina y en la región del Caribe. Los autores desean expresar su agradecimiento a todos los colegas que aportaron valiosas contribuciones sobre el desarrollo de capacidades y su evaluación. Ronald Mackay, catedrático de pedagogía en la Universidad de Concordia, Montreal, Canadá, imparte el programa de planificación, gestión y evaluación. Douglas Horton es especialista en desarrollo de capacidades y evaluación. Es líder del proyecto de ISNAR, Linking Research Organizations and Stakeholders in a Changing Context (Enlazando a las Organizaciones de Investigación y a las Partes Interesadas en un Contexto de Cambio).

Bibliografía relevante Horton, D., R. Mackay, A. Andersen, y L. Dupleich. 2000. Evaluating Capacity Development in Planning, Monitoring, and Evaluation. A Case from Agricultural Research. ISNAR Research Report 17. The Hague: ISNAR. Este informe describe los conceptos y métodos usados para eva-

luar un proyecto regional de desarrollo de capacidades en América Latina. Joint Committee on Standards for Educational Evaluation. 1994. The Program Evaluation Standards, 2d ed. Thousand Oaks, CA, USA: Sage. Provee treinta normas divididas en cuatro grupos: utilidad, viabilidad, propiedad y precisión, para guiar la evaluación de programas educacionales y de otra índole. Lusthaus, C., G. Anderson, y E. Murphy. 1995. Institutional Assessment: A Framework for Strengthening Organizational Capacity for IDRC's Research Partners. Ottawa: IDRC. Los autores proporcionan un marco conceptual con base en el detalle y la teoría, para analizar el desempeño de una organización, en términos de su entorno operacional, su capacidad interna y los factores que la motivan a cumplir con su misión. Mayne, J. 2001. Addressing Attribution through Contribution Analysis: Using Performance Measures Sensibly. The Canadian Journal of Program Evaluation 16 (1): 1-24. Los autores ofrecen un juego sucinto de directrices operacionales coherentes, para demostrar cómo los gerentes, investigadores y diseñadores de políticas pueden usar medidas prácticas para el desempeño, que les ayuden a llegar a conclusiones plausibles que puedan respaldarse, sobre la contribución de sus programas a resultados específicos. Yin, R.K. 1994. Case Study Research: Design and Methods, 2nd ed. Thousand Oaks, CA, USA: Sage. Los autores proporcionan consejos claros y detallados para investigadores interesados en conducir estudios de caso, como método riguroso para la evaluación de la investigación.

El Servicio Internacional para la Investigación Agrícola Nacional (ISNAR) forma parte de los 16 centros 'Future Harvest' apoyado por el Grupo Consultivo para la Investigación Agrícola Internacional (GCIAI). ISNAR procura contribuir a la generación y uso de conocimiento que fomente sostenibilidad y equidad en el desarrollo agrícola. La misión del ISNAR es ayudar a impulsar innovación en institutos de investigación agrícola en países en desarrollo para aumentar aportes a la investigación en el desarrollo agrícola para los pobres. Una institución no sin ánimo de lucro, ISNAR empezó a operar en sus oficinas principales en la Haya, Países Bajos, en septiembre 1 de 1980.

Servicio Internacional para la Investigación Agrícola Nacional Part de la

GCIAI

Laan van Nieuw Oost Indië 133, 2593 BM La Haya, Países Bajos P.O. Box 93375, 2509 AJ La Haya, Países Bajos Teléfono: (31) (70) 349 6100 l Fax: (31) (70) 381 9677 www.isnar.cgiar.org l E-mail: isnar@cgiar.org

Red de Investigación

Los Briefing Papers del ISNAR examinan los temas de administración y políticas que afectan a la investigación agrícola en los países en desarrollo. Están basados normalmente en recientes investigaciones o servicios desarrollados o en proceso de desarrollo del ISNAR. Los lectores son ejecutivos de investigación, responsables de políticas, la comunídad de donantes y la comunidad académica. Todo comentario será bien recibido y deberá ser dirigado al autor(es). Los Reportes pueden ser citados con el reconocimiento del ISNAR como referencia. Derechos de autor © ISNAR, 2003.

ISNAR es un centro Future Harvest SM

F U T U R E HAR EST

Este Briefing Paper se pude bajar de la página web del ISNAR.

ISSN 1021-2310