“Sistema DE MONITOREO, SEGUIMIENTO Y EVALUACIÓN by Lourdes Caballero

MINISTERIO DE DESARROLLO RURAL Y TIERRAS (MDRYT) VICEMINISTERIO DE COCA Y DESARROLLO INTEGRAL (VCDI) PROGRAMA DE APOYO PRESUPUESTARIO SECTORIAL (PAPS) ASISTENCIA TÉCNICA FINANCIADA POR EL CONVENIO DCI / 2007 / 19027

“SISTEMA DE MONITOREO, SEGUIMIENTO Y EVALUACIÓN”

VCDI ● VERSIÓN FINAL AJUSTADA ●

PREPARADO POR: LEONARDO ZEGARRA TAPIA MIRIAM ALVARADO BALDERRAMA LA PAZ, NOVIEMBRE DE 2010.-

CONTENIDO I. INTRODUCCIÓN: ............................................................................................................. 3 II. MARCO CONCEPTUAL: ................................................................................................ 11 III. OBJETIVOS DEL SISTEMA DE MONITOREO, SEGUIMIENTO Y EVALUACIÓN: ............... 16 3.1. Ámbito de Aplicación del Sistema ........................................................................ 16 3.2. Objetivos del Sistema de Monitoreo, Seguimiento y Evaluación.......................... 16 3.3. Objetivos de la Evaluación .................................................................................... 18 IV. MONITOREO & SEGUIMIENTO: ..................................................................................... 19 4.1. Descripción del Monitoreo y Seguimiento (M&S)................................................ 19 4.2. Procedimiento para el Monitoreo y Seguimiento (M&S) ...................................... 21 4.3. Recopilación y Sistematización de la Información ................................................ 24 4.4. Ámbitos del Monitoreo & Seguimiento (M&S) .................................................... 31 4.8. Informe de Resultados del Monitoreo y Seguimiento ........................................... 53 4.9. Seguimiento de las Medidas Correctivas y Retroalimentación Operativa............. 54 V. EVALUACIÓN DE MEDIO TÉRMINO: ............................................................................... 56 5.1. Objetivos Específicos de la Evaluación de Medio Término .................................. 56 5.2. Procedimiento y Metodología para la Evaluación de Medio Término .................. 57 5.3. Resultados y Productos de la Evaluación de Medio Término ............................... 59 5.4. Proceso de Retroalimentación ............................................................................... 61 VI. EVALUACIÓN DE IMPACTO (EX-POST): ....................................................................... 63 6.1. Marco Conceptual de la Evaluación Ex-Post......................................................... 63 6.2. Objetivos Específicos de la Evaluación Ex-Post ................................................... 64 6.3. Procedimiento para Realizar la Evaluación Ex-Post ............................................. 65 6.4. Aspectos Metodológicos ........................................................................................ 67 6.5. Ámbitos de la Evaluación Integral Ex-Post ........................................................... 73 6.6. Proceso de Retroalimentación ............................................................................... 77 VII. CONSTRUCCIÓN DE LA LÍNEA BASE E INDICADORES: ................................................. 79 7.1. Definición .............................................................................................................. 79 7.2. Objetivos ................................................................................................................ 79 7.3. Estructura de la Línea Base.................................................................................... 80 7.4. Alcance de la Línea Base ....................................................................................... 81 7.5. Metodología para la Construcción de la Línea Base ............................................. 82 7.6. Construcción de Indicadores .................................................................................. 84 7.7. Sugerencia de Indicadores de Monitoreo y Evaluación ......................................... 86

VIII. PLAN DE ACCIÓN PARA LA IMPLEMENTACIÓN DEL SISTEMA DE M&E EN EL VCDI: ... 90 IX. LINEAMIENTOS PARA EL FORTALECIMIENTO DEL VCDI: ............................................. 93

Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

GLOSARIO DE SIGLAS Y ABREVIATURAS ADEPCOCA: ATI: AECID: CEP: CONALTID: COFECAY: DIGCOIN: DIGPROCOCA: EPB: FONADAL: GTZ: IBTA: IDH: INIAF: LOE: MDRyT: MESDI: NCPE: ONG’s: ONU: ONUDD: OEA: PAPS: PNDIC: PND: PRRAF: POA: SAFCO: SENASAG: SIGMA: TGN: UE: USAID: VCDI: VDS:

Asociación Departamental de Productores de Coca. Asistencia Técnica Internacional. Agencia Española de Cooperación Internacional de Desarrollo. Centro de Estudios y Proyectos Consejo Nacional de Lucha contra el Tráfico Ilícito de Drogas. Consejo de Federaciones Campesinas de los Yungas. Dirección de Comercialización e Industrialización de la Hoja de Coca. Dirección Nacional de Desarrollo de las Áreas Productoras de Coca. Estado Plurinacional de Bolivia. Fondo Nacional de Desarrollo Alternativo. Agencia de Cooperación Técnica del Gobierno Alemán. Instituto Boliviano de Tecnología Agropecuaria. Impuesto Directo a los Hidrocarburos. Instituto Nacional de Innovación Agropecuaria y Forestal. Ley de Organización del Estado. Ministerio de Desarrollo Rural y Tierras. Mesa de Coordinación Sectorial. Nueva Constitución Política del Estado. Organizaciones No Gubernamentales. Organización de las Naciones Unidas. Oficina de las Naciones Unidas Contra la Droga y el Delito. Organización de Estados Americanos. Programa de Apoyo Presupuestario Sectorial. Plan Nacional de Desarrollo Integral con Coca. Plan Nacional de Desarrollo. Plan para la Revolución Rural, Agraria y Forestal. Programación Operativa Anual. Sistema de Administración Fiscal y Control. Servicio Nacional de Sanidad Animal e Inocuidad Alimentaria. Sistema Integrado de Gestión y Modernización Administrativa Tesoro General de la Nación. Unión Europea. Agencia de los Estados Unidos para el Desarrollo Internacional. Viceministerio de Coca y Desarrollo Integral. Viceministerio de Defensa Social.

Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

MINISTERIO DE DESARROLLO RURAL Y TIERRAS (MDRYT) VICEMINISTERIO DE COCA Y DESARROLLO INTEGRAL (VCDI)

“SISTEMA DE MONITOREO, SEGUIMIENTO Y EVALUACIÓN” ● VERSIÓN FINAL AJUSTADA ●

INTRODUCCIÓN:

El despido masivo de trabajadores, entre ellos mineros “relocalizados” de las Empresas Estatales como resultado de la aplicación de políticas de ajuste estructural implementadas a mediados de los ochenta, sumado a la extrema pobreza en áreas rurales del país y la marginación de algunos sectores de la población, situación que no puede revertirse por las propuestas y políticas de desarrollo económico implementadas en Bolivia durante los últimos años; generaron importantes flujos migratorios hacia las zonas de cultivo de coca en el Trópico de Cochabamba (Chapare) y los Yungas de La Paz, como una alternativa económica de sobrevivencia. Esta situación y los altos precios de la cocaína a nivel mundial, originaron la expansión del tráfico ilícito de drogas y el incremento de su consumo a nivel nacional y mundial, todo esto originó de manera irremediable un escenario favorable para el crecimiento sin control de las áreas ilegales de cultivo de coca. Ante esta situación, el 19 de julio de 1988 el Gobierno del Dr. Víctor Paz promulgó la Ley N° 1008 sobre el Régimen de la Coca y Sustancias Controladas, que permitió la implementación de una política antidroga, basada en cuatro áreas de intervención: • • • •

La erradicación de cultivos de coca en áreas no tradicionales y de producción ilegal; La interdicción del narcotráfico; La prevención contra el consumo de drogas; y El desarrollo alternativo en las zonas de producción legal, en la perspectiva de ofrecer oportunidades económicas alternativas para los productores.

Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

El concepto de la política antidroga suponía que el cultivo de la hoja de coca estaba ligado indisolublemente a la producción de cocaína; de ahí que la erradicación de los cultivos de coca en base a compensaciones financieras a los productores o a través de operaciones militares en zonas de producción ilegal, ha sido una prioridad para los diferentes gobiernos y también una de las principales fuentes de inestabilidad política en el país. En este marco conceptual para la política de lucha contra el narcotráfico, se concibieron los programas de desarrollo alternativo, asumiendo como “alternativos” aquellos cultivos sustitutos a la economía de la coca. Bajo esta concepción, la política de desarrollo alternativo estaba orientada a prevenir la expansión de cultivos ilícitos de coca y contribuir a su erradicación, ofreciendo como alternativa a los productores, infraestructura y servicios de apoyo a la producción de cultivos alternativos a la coca. Bajo este enfoque, se tuvieron numerosos éxitos, gracias a los esfuerzos conjuntos entre el Gobierno Nacional y la Cooperación Internacional, traducido en el desarrollo de varias zonas, a través del cultivo de productos agropecuarios exportables, complementados con la instalación de varias plantas de procesamiento agroindustrial y el mejoramiento de la infraestructura de caminos, puentes, energía eléctrica, centros de salud, etc.; en el marco de un significativo flujo de inversión pública hacia la región del Trópico de Cochabamba. Sin embargo, la implementación del desarrollo alternativo tuvo varios obstáculos, tales como: escasa participación de los campesinos en la planificación y ejecución de los proyectos, insuficiente inversión privada por los riesgos propios de la zona, problemas tecnológicos, precios no competitivos frente al precio de la coca, y falta de mercados viables y estables para los productos alternativos, entre los más importantes. En síntesis, el proceso de sustitución de la economía de la coca afectó las condiciones de visa de los productores de coca, sin ofrecerles una alternativa equivalente y que sea sostenible; las comunidades del Chapare que cultivan coca se encuentran entre las más pobres del país, de manera general el 85% de una población migrante en Bolivia vive sumida en la pobreza y el 30% en extrema pobreza.1 Ante esta situación, nace la legítima necesidad de una reforma integral de la política antidroga, demandada principalmente por las poblaciones productoras del Trópico de Cochabamba y Yungas de La Paz. Como respuesta, el actual Gobierno ha cambiado la estrategia de lucha contra el narcotráfico, mediante la revalorización de la hoja de coca, considerando que el cultivo de coca no solo constituye un derecho ancestral de los campesinos productores, sino que garantiza sus subsistencia económica, al no contar con otras alternativas productivas aptas y para las zonas en las que habitan. 1

Oficina de las Naciones Unidas contra la Droga y el Delito (ONUDD). Desarrollo Alternativo: Evaluación Temática Mundial. Naciones Unidas, Nueva York, 2005. Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

El nuevo enfoque de la Estrategia de Lucha Contra el narcotráfico y Revalorización de la Hoja de Coca del Gobierno, tiene como objeto fundamental el de reducir el potencial de producción de cocaína en Bolivia a través de medidas de control social de las culturas, interdicción del narcotráfico y acciones prevención. Asimismo, busca revalorizar la hoja de coca con la participación del control social en la producción y el fomento del cultivo orgánico para su transformación productiva. Otro elemento importante en esta estrategia es la incorporación de la comunidad en las tareas de control de la producción clandestina. La superficie autorizada es controlada por mecanismos de control social, es decir las propias organizaciones sociales tomaron a su cargo la responsabilidad de organizar un registro de productores de coca y el control de la reducción gradual de los cultivos ilegales. Esta acción es conocida como la política de “racionalización” de cultivos de coca. Completando éste nuevo enfoque se introduce el concepto de “desarrollo integral”, que incorpora orgánicamente el cultivo de coca a los programas de producción agropecuaria, incluyendo la recuperación de suelos, los cultivos asociados y la industrialización de la coca, cerrando un circuito virtuoso conformado por el desarrollo social, el fortalecimiento institucional y la protección de los recursos naturales. Toda esta nueva concepción está incorporada en el Plan Nacional de Desarrollo (PND) “Bolivia Digna, Soberana, Productiva y Democrática para Vivir Bien” junto al “Plan de Desarrollo Sectorial: Revolución Rural, Agraria y Forestal”, que generan el marco legal para que el Viceministerio de Coca y Desarrollo Integral formule el “Plan Nacional de Desarrollo Integral con Coca 2006–2010 (PNDIC)”. Este instrumento se aprueba mediante dos resoluciones, la Resolución Ministerial N° 359 del 31 de diciembre de 2007 del Ministerio de Desarrollo Rural, Agropecuario y Medio Ambiente, y la Resolución Multiministerial N° 7/2008 del 24 de septiembre de 2008 del Consejo Nacional de Lucha contra el Tráfico Ilícito de Drogas (CONALTID). El objetivo del PNDIC es: “Generar procesos de desarrollo integral sostenible y participativo, fomentando capacidades de autogestión comunitaria e institucional, que incluya inversión privada solidaria, para eliminar los factores causantes de la pobreza, la exclusión social y el deterioro ambiental, aplicando de forma interna y externa la estrategia de la Revalorización de la Hoja de Coca”.2 La responsabilidad institucional de la implementación del PNDIC recae en el Viceministerio de Coca y Desarrollo Integral (VCDI), instancia que además de gestionar 2

Estado Plurinacional de Bolivia, Ministerio de Desarrollo Rural y Tierras, Viceministerio de Coca y Desarrollo Integral. Plan Nacional de Desarrollo Integral con Coca, Mayo de 2009, pág. 29. Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

los recursos financieros necesarios, tanto del Tesoro General de la Nación (TGN) como de la Cooperación Internacional, debe gestionar los medios técnicos y administrativos necesarios para su implementación, seguimiento y evaluación, y así verificar su cobertura en los ámbitos de intervención previstos en el mismo: i) regiones productoras de hoja de coca, ii) zonas pobres expulsoras de población, y iii) zonas consideradas de riesgo, como Parques Nacionales y Áreas Protegidas. En este marco y bajo el principio de “responsabilidad compartida”, la Cooperación Internacional en su conjunto ha decidido contribuir y apoyar al Gobierno de Bolivia en la implementación del Plan Nacional de Desarrollo Integral con Coca, considerando al mismo como el principal instrumento de planificación que respalda los esfuerzos en la lucha contra el narcotráfico. Este apoyo está refrendado por los diferentes Convenios de apoyo y financiamiento firmados entre el Estado Plurinacional de Bolivia y las Embajadas y/o Agencias de Cooperación Internacional durante los últimos años en general y en el periodo de vigencia del actual PNDIC en particular (2006-2010). Después de un periodo de casi cinco años de implementación del PNDIC, se advierte por parte del VCDI y de los donantes que integran la Mesa de Coordinación Sectorial (MESDI) la necesidad de llevar a cabo una evaluación del Plan Nacional de Desarrollo Integral con Coca, tanto en lo referido a su formulación y consistencia interna como a los resultados de su implementación. El estudio fue realizado por el Centro de Estudios y Proyectos (CEP) y presentado el 30 de abril de 2010. Uno de los principales objetivos de la evaluación fue el de contar con elementos objetivos para ajustar los lineamientos del actual Plan en su último año de vigencia y utilizarse como principal insumo para la formulación del nuevo Plan de Desarrollo Integral con Coca (2011-2015). Las principales conclusiones y recomendaciones del estudio están resumidas en los siguientes puntos: Conclusiones: •

Existió una intencionalidad de que la planificación sea de abajo hacia arriba, con una amplia participación de los actores sociales; sin embargo, en los hechos este proceso fue débil, con poca participación en los niveles deseados, aspecto que fue verificado en el trabajo de campo, donde un 86% de la gente entrevistada no participó en dicho proceso. La falta de participación de los actores sociales durante el proceso de formulación del PNDIC, influyó negativamente en la apropiación del Plan por parte de los mismos, limitando la visión de largo plazo por acciones aisladas de corto plazo, sólo para satisfacer necesidades inmediatas.

•

Queda pendiente por resolver el tema legal respecto a la penalización de la hoja de coca, aspecto que no permite realizar acciones orientadas a su industrialización y exportación.

Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

•

La ausencia de una estructura de planificación del marco lógico o cuadro de mando integral, que identifique un objetivo general, objetivos específicos, metas, productos, indicadores, responsabilidades institucionales, así como la ausencia de un mecanismo de monitoreo y seguimiento, son las principales debilidades del PNDIC.

•

Los proyectos e intervenciones no responden a la visión de desarrollo integral que contiene el objetivo general del PNDIC, sino a intervenciones aisladas de cada uno de los componentes del Plan.

•

La falta de coordinación interinstitucional a nivel de entidades ejecutoras, es el reflejo de la falta de definición de responsabilidades, de tal forma que no existe una verdadera integración del PNDIC, sino solamente la suma de acciones independientes.

•

El VCDI es el responsable del seguimiento y monitoreo, pero no cuenta con un sistema que le permita tomar conocimiento sobre el avance del PNDIC, así como tampoco realizar los ajustes al mismo.

•

La ausencia de un mecanismo de seguimiento y evaluación, tampoco permitió corregir oportunamente las deficiencias anteriores, por lo que no se cuenta con información sobre el avance del PNDIC. Cada entidad, en el marco de sus competencias legales, realiza sus intervenciones y cuenta con su propia base de datos, que no apunta a una centralización de información, que debería estar a cargo del VCDI.

•

Como consecuencia de la ausencia de información agregada y sistematizada sobre la ejecución de los programas y proyectos, no se puede verificar el cumplimiento de la mayor parte de las metas previstas en el PNDIC.

•

A raíz de las deficiencias en la formulación del PNDIC, no es posible evaluar el impacto generado a través de la ejecución de proyectos y obras, en términos de reducción de la pobreza, generación de empleos, incremento de ingresos y mejora de las condiciones de vida de la población.

Recomendaciones: •

El nuevo Plan debe elaborarse de manera participativa, identificando previamente a los actores involucrados en el desarrollo integral.

•

La formulación del nuevo PNDIC debería considerar un enfoque conceptual y metodológico que articule la dimensión sectorial y la dimensión territorial, con una metodología que a su vez incorpore transversalmente la participación de los actores.

•

Las Gobernaciones Departamentales, Gobiernos Municipales y otros actores subnacionales como los productores y sus organizaciones, deben participar en la formulación, ejecución, seguimiento y evaluación del nuevo Plan.

•

Deben contemplarse programas integrales y no intervenciones sectoriales aisladas.

Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

•

Este proceso debería ser liderado por el VCDI a través de una estrategia comunicacional que acompañe el proceso y difunda los principios, visión, misión, objetivos y tipo de intervenciones estructurales, para que los actores/sujetos del desarrollo ó “población beneficiaria” se apropien de la propuesta.

•

La definición de los componentes del nuevo PNDIC podría sustentarse en los siguientes cuatro ejes: Desarrollo económico productivo, Recursos naturales, Desarrollo humano integral, y Revalorización de la hoja de coca. A partir de estos componentes, se podría incluir la realización de estudios de vocaciones productivas en cada zona definida y generar iniciativas de programas para la implementación de complejos productivos que generen empleo, valor agregado y el mejoramiento de los ingresos de la población beneficiaria.

•

El mayor énfasis del Plan debe radicar en la promoción del desarrollo económico a partir de las vocaciones productivas locales, puesto que la satisfacción de las necesidades básicas del área social, es una competencia de las Gobernaciones Departamentales y Gobiernos Municipales.

•

En el componente de la promoción del desarrollo económico productivo, el desarrollo de servicios de asistencia técnica y acceso a servicios financieros, son fundamentales para asegurar la sostenibilidad de las iniciativas económicas.

•

Un eje transversal importante a incluir es el relativo a la participación e involucramiento de los/as jóvenes, especialmente en los ámbitos de los procesos de transformación y comercialización.

•

El Plan debe ser específico para cada una de les zonas de intervención: Yungas de La Paz, Trópico de Cochabamba y Zonas Expulsoras de Población.

•

El sistema de planificación, monitoreo y evaluación del VCDI y FONADAL debe ser estructuralmente ajustado en sus niveles de objetivos, resultados y actividades. La definición de indicadores debe cualificarse a fin de lograr y mostrar los efectos e impactos de las acciones que se propongan lograr en el nuevo PNDIC.

•

Debe disponerse de un marco lógico u otro instrumento que facilite su monitoreo y evaluación, con indicadores que permitan verificar el cumplimiento de las metas.

•

Debe definirse claramente que entidad gubernamental estará a cargo del monitoreo y evaluación del Plan, tomando en cuenta el control social.

•

Debe establecerse claramente cuál es la entidad gubernamental encargada de gestionar y canalizar los recursos financieros para su implementación.

•

Debe informarse periódicamente a los diversos actores del desarrollo integral, sobre los avances del Plan a través de una estrategia de comunicación.

Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

A la luz de las conclusiones y recomendaciones contenidas en el Informe de Evaluación del PNDIC, claramente se advierte la necesidad de fortalecer al Viceministerio de Coca y Desarrollo Integral, puesto que el diagnóstico realizado demanda una estructura institucional ágil, operativa y eficiente, que garantice la implementación de las políticas pública y estrategias de lucha contra el narcotráfico y revalorización de la hoja de coca a que por mandato tiene a su cargo (PNDIC). Por otro lado, las entrevistas a profundidad aplicadas a 17 personas, tanto de organismos de la cooperación internacional como al propio personal del VCDI, han evidenciado que el VCDI no sistematiza la información que recibe y tampoco tiene la capacidad de evacuar informes periódicos con datos actualizados y precisos de los diferentes programas y proyectos del sector, por ende no cuenta con insumos para realizar el monitoreo y seguimiento a la implementación del PNDIC y mucho menos su evaluación, tampoco cuenta con un sistema o método para gerenciar los convenios firmados entre el Estado Plurinacional con las agencias cooperantes referidos al tema coca y desarrollo integral; y por último tampoco realiza adecuadamente el seguimiento a los convenios con organizaciones locales de productores. Lo cual refuerza la necesidad institucional de su fortalecimiento en general y particularmente de contar con un “Sistema de Monitoreo, Seguimiento y Evaluación”. En respuesta a esta necesidad institucional del VCDI, el objetivo de la presente asistencia técnica es identificar y proponer un “Sistema de Monitoreo & Evaluación (M&E) para el Viceministerio de Coca y Desarrollo Integral (VCDI)”, que le permita manejar adecuadamente la información técnica, administrativa y financiera, y así mejorar su gestión institucional. Esto implica definir claramente los aspectos estratégicos y operacionales, a nivel gerencial y operativo, para monitorear los procesos, procedimientos y resultados de la planificación sectorial (PNDIC); que implicarán posteriores evaluaciones intermedias y/o de impacto de sus intervenciones y operaciones. Estos retos institucionales ligados al rol de dinamizar el proceso de monitoreo y seguimiento a los programas y proyectos del PNDIC, con la incorporación de todos los actores relacionados con el sector del “desarrollo integral con coca” en escenarios estratégicos que faciliten sinergias institucionales bajo el rol protagónico y liderazgo del VCDI; podrían ser asumidos solamente a través de una entidad “fortalecida y experimentada”, por lo cual el VCDI precisa delinear y encarar su fortalecimiento en el marco de su mandato e institucionalidad, que permitan al VCDI, contar con manuales, reglamentos, instrumentos y mecanismos aptos para desarrollar sus roles y funciones de manera eficiente y eficaz para alcanzar sus objetivos estratégicos institucionales. Precisamente como parte de estos instrumentos y mecanismos, a través del presente documento presentamos el “Manual de Monitoreo, Seguimiento y Evaluación del VCDI”. Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

En este marco, el presente documento se constituye en la primera fase que permite medir la eficacia, eficiencia y efectividad, durante la ejecución de los programas y proyectos del PNDIC. La segunda fase debería encarase a través del fortalecimiento institucional del VCDI complementada con el desarrollo informático del sistema propuesto, que permita automatizar los procesos y procedimientos del monitoreo, seguimiento y evaluación, mediante el manejo de información y datos que serán ingresados en el sistema, para ser procesados adecuada y ágilmente, y así permitan emitir reportes de tipo gerencial y operativo que contribuyan a una mejor gestión de los programas y proyectos que forman parte del Plan Nacional de Desarrollo Integral con Coca (PNDIC).

Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

II.

MARCO CONCEPTUAL:

El paradigma de desarrollo de la “Nueva Constitución Política del Estado (NCPE)” y del “Plan Nacional de Desarrollo (PND)” está sustentado por la filosofía del “Vivir Bien”, que plantea fundamentalmente la complementariedad entre el acceso y disfrute de los bienes materiales y la realización afectiva, subjetiva y espiritual, en armonía con la naturaleza y en comunidad con los seres humanos. Éste nuevo concepto promueve el respeto de la pluralidad económica, social, jurídica, política y cultural de los habitantes de esta tierra, en convivencia colectiva y velando por el acceso al agua, trabajo, educación, salud y vivienda para todos. Además, de impulsar el “desarrollo integral” a través de la construcción de un nuevo patrón de desarrollo diversificado e integrado, con el objeto de erradicar la pobreza, la desigualdad y la exclusión social. En éste marco, los programas y proyectos financiados e implementados en el marco del PNDIC, se constituyen en los mecanismos fundamentales para lograr resultados, efectos e impactos orientados al “desarrollo integral con coca” para el “Vivir Bien”. Por lo tanto, es imperioso “prever y verificar” que los programas, proyectos e intervenciones impulsadas por el VCDI en el marco del PNDIC, aseguren un desempeño eficiente, eficaz y efectivo. En este contexto, es imprescindible garantizar la sostenibilidad de las intervenciones y/o inversiones previstas en el PNDIC. Por consiguiente, la gestión de programas y proyectos debe incorporar criterios, metodologías, procedimientos e instrumentos destinados a instituir el “monitoreo, seguimiento y evaluación integral”, tanto en la etapa ex-ante, durante la ejecución y a la conclusión de los proyectos (ex-post), que incremente la posibilidad de generar efectos e impactos positivos y sostenibles dentro los beneficiarios. El “monitoreo, seguimiento y evaluación integral de proyectos” tiene un carácter permanente, continuo y sistemático, que opera como un proceso de aprendizaje institucional con el propósito de generar información relevante para la toma de decisiones de los distintos actores involucrados en la gestión, ejecución y operación de los proyectos. En este sentido, la finalidad del monitoreo, seguimiento y evaluación es la de generar conocimiento dirigido a “retroalimentar” la toma de decisiones oportunas que garanticen la calidad, eficiencia, eficacia y efectividad de los resultados, efectos e impactos obtenidos a través de la implementación de un determinado proyecto. Por último, tanto la evaluación intermedia como la evaluación ex-post se constituyen en una herramienta fundamental para verificar la generación de resultados, efectos e impactos que coadyuven al mejoramiento de la calidad y ampliación de la cobertura de los bienes y servicios públicos provistos a través de la operación de proyectos de inversión productiva, dirigidos a promover el “Desarrollo Integral con Coca”. Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

Con el propósito de generar un entendimiento común y homogéneo de los conceptos y definiciones utilizadas en el presente documento, se asume el siguiente glosario de términos:3 Asistencia Técnica:

Brindar asesoramiento en campo, tanto a nivel individual de los beneficiarios como a grupos de beneficiarios, con el objeto de modernizar y solucionar efectivamente problemas específicos con el apoyo de un(os) especialista(s) del área.

Beneficiarios:

Son agentes sociales y económicos (hombres y mujeres) del sector desarrollo integral con coca. Son actores organizados que participan en cualquiera de los componentes contenidos en el PNDIC; participan, priorizan y se identifican con una demanda.

Cadena Agroproductiva:

Capacitación:

Contraparte del Proyecto:

Contrato:

La cadena agroproductiva está conceptualizada como la integración vertical y horizontal de los diversos procesos y agentes socioeconómicos que vinculan la producción agropecuaria y forestal, su transformación y posterior comercialización. Transferencia de conocimientos, destrezas y habilidades a los beneficiarios. Puede ser capacitación en campo cuando se realiza el servicio en las mismas parcelas productivas con un grupo de beneficiarios y sus trabajadores.

Aporte en especie o efectivo de recursos adicionales de parte de los demandantes y/o oferentes, para la ejecución de los proyectos de desarrollo integral. Instrumento público que establece derechos y obligaciones relativas a la prestación de bienes o servicios entre el Contratante y el Adjudicatario y por el cual se obliga al Adjudicatario a proveer el bien o servicio contratado contra una remuneración de acuerdo al presupuesto que figura en el contrato suscrito.

Parte de estos conceptos y definiciones fueron extraídos de los siguientes textos: “Evaluación: Una Herramienta de Gestión para Mejorar el Desempeño de los Proyectos”, Oficina de Evaluación (EVO) del BID, Marzo de 1997; y “Caja de Herramientas para la Planificación – Versión Preliminar”, Estado Plurinacional de Bolivia, Ministerio de Planificación del Desarrollo, Viceministerio de Planificación y Coordinación, Agosto de 2009. Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

Control:

Criterios de Elegibilidad:

Desempeño del Proyecto:

Días:

Diseño de la Evaluación:

Efectos:

Es la verificación del cumplimiento de las normas que regulan operaciones y actividades de los hechos que respaldan estas actuaciones.

Corresponde a los parámetros a utilizarse en los procesos de identificación, priorización, concurso, evaluación, contratación y ejecución de los proyectos de desarrollo integral. Los criterios de elegibilidad pueden ser de naturaleza técnica, económica, financiera, social, ambiental y estratégica; son condiciones imprescindibles que los beneficiarios, oferentes, sectores, servicios y gastos, deben cumplir conforme lo establecido en los Convenios con los Organismos de Cooperación Internacional.

Identificación del grado de avance de los resultados previstos en un determinado proyecto o servicio, dentro los plazos y recursos programados. Se refiere a días calendario, salvo que se especifique que son días hábiles.

Identificación de los criterios, parámetros y objetivos que definen una evaluación y cómo ésta será implementada, incluyendo conceptos, metodologías y procedimientos para la recolección de información, procesamiento de datos y métodos de análisis e interpretación de resultados. Permite conocer en el sentido más amplio e integral (técnico, económico, social, político, medioambiental e institucional), las consecuencias planificadas directas de los resultados y/o productos definidos a nivel de propósito del programa o proyecto, las cuales son medibles y verificables a través de los indicadores de eficiencia definidos en el Marco Lógico ó Cuadro de mando Integral (CMI). Muestra los cambios relevantes generados en la población beneficiaria por la ejecución del programa o proyecto.

Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

Efectividad:

Es el grado hasta el cual un proyecto logró los resultados y productos previstos en el diseño final, que contribuyen a la obtención de los propósitos y por ende del fin del proyecto.

Eficacia:

Es el grado en que la ejecución de un proyecto se traduce directamente en el adecuado logro de los resultados y productos previstos en el diseño final en un tiempo determinado, sin considerar los costos.

Eficiencia:

Es la relación entre el costo de los insumos y los productos obtenidos. Es decir, es el grado hasta el cual se ejecutaron las actividades de un proyecto al menor costo posible para rendir los productos esperados.

Evaluación:

Es realizada ex-ante, durante y/o ex-post a la ejecución de un proyecto y supone la indagación y valoración sistemática y objetiva de los objetivos, productos y resultados de un proyecto y la determinación de los “efectos e impactos” que generará o generó su implementación. Su propósito es conocer la eficacia, eficiencia y efectividad de la inversión productiva o social para identificar si el proyecto modificará o modificó las condiciones de vida de la población beneficiaria, con relación a la problemática central que originó la gestión del mismo.

Fin:

Es una definición concreta de cómo el proyecto contribuirá a la solución del problema del sector o sub-sector.

Fondo Concursable: Modalidad de selección y contratación de servicios basada en la competencia entre propuestas de proyectos de desarrollo integral, preparadas por distintos oferentes, que define la asignación de recursos financieros. Impacto:

Permite conocer en el sentido más amplio e “integral” (técnico, económico, social, político, medioambiental, institucional, etc.), las consecuencias planificadas y/o no previstas de los efectos definidos a nivel de fin en el diseño del programa o proyecto, las cuales son medibles y verificables a través de los indicadores de impacto definidos en el Marco Lógico ó Cuadro de Mando Integral. Muestra los cambios relevantes generados en la población beneficiaria por la ejecución del programa o proyecto.

Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

Indicadores:

Especificaciones de carácter cuantitativo y cualitativo determinadas en la etapa de diseño del programa o proyecto, para medir el grado de obtención de propósitos (efectos) que contribuyan al logro del fin (impacto), en términos de calidad, cantidad, tiempo y espacio.

Línea Base:

Conjunto de datos e información debidamente sistematizada que describe el estado de situación antes de la intervención del programa o proyecto. La línea base consiste en una fotografía de la situación de partida que establece el inicio de la ejecución del programa o proyecto.

Monitoreo:

Proceso de observación permanente destinado a comprobar la efectividad y eficiencia de la ejecución de un proyecto o servicio, mediante la identificación de aspectos propicios y/o obstáculos, con el objeto de recomendar e implementar medidas correctivas y/o cambios pertinentes durante la ejecución de un programa o proyecto hasta su conclusión.

Propósitos:

Condiciones de cambio referidas a los efectos directos logrados mediante la provisión del servicio que se pretende proveer o mejorar a través de la implementación del proyecto.

Resultados o Productos:

Seguimiento y/o Supervisión:

Sistema:

Resultantes directos de la inversión que permiten el logro de los propósitos previstos por el programa o proyecto. Se trata de obras de infraestructura, productos complementarios, equipamiento, fortalecimiento institucional, capacitación y/o asistencia técnica. Procedimiento establecido para verificar el cumplimiento contractual de actividades, resultados y la provisión de bienes y servicios, en términos de cantidad, calidad y tiempo, que permita recomendar acciones que posibiliten alcanzar satisfactoriamente los resultados, propósitos y objetivos del proyecto. Es un conjunto de componentes o partes que tienen un orden preestablecido, armónico y que se interrelacionan e interaccionan entre sí a fin de lograr objetivos comunes y resultados esperados.

Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

III. 3.1.

OBJETIVOS DEL SISTEMA DE MONITOREO, SEGUIMIENTO Y EVALUACIÓN: Ámbito de Aplicación del Sistema

El ámbito de aplicación del Sistema de Monitoreo, Seguimiento y Evaluación comprende a todos los actores involucrados en la ejecución, supervisión, seguimiento, monitoreo y control de los programas y proyectos ejecutados en el marco del Plan Nacional de Desarrollo Integral con Coca (PNDIC), tales como: agencias y organismos de cooperación internacional, entidades ejecutoras, supervisores y funcionarios del FONADAL y del Viceministerio de Coca y Desarrollo Integral, y otras personas y entidades que tengan relación indirecta con la ejecución de los programas y proyectos, para quienes las disposiciones contenidas en el presente documento son de cumplimiento obligatorio. 3.2.

Objetivos del Sistema de Monitoreo, Seguimiento y Evaluación

El presente documento tiene el objeto de establecer un conjunto de procesos y procedimientos operativos, administrativos y financieros; para las etapas de monitoreo y seguimiento a la ejecución, evaluación intermedia y evaluación ex-post; de los programas y proyectos ejecutados en el marco del PNDIC y bajo el monitoreo del Viceministerio de Coca y Desarrollo Integral (VCDI). En este sentido, el principal objetivo del Sistema de Monitoreo, Seguimiento y Evaluación es la GESTIÓN ORIENTADA AL LOGRO DE RESULTADOS. Al ser parte integrante de la gestión, se constituye en una herramienta útil para el VCDI, que permite el monitoreo y evaluación como una forma más efectiva e inteligente de administrar los programas y proyectos; e incrementar la eficacia del control y la ejecución de proyectos; para mejorar el desempeño, aprender de la experiencia y tomar mejores decisiones. El objetivo de elaborar un “Manual de Monitoreo, Seguimiento & Evaluación (M&E) para el Viceministerio de Coca y Desarrollo Integral (VCDI)”, es el de generar un instrumento que le permita manejar adecuadamente la información técnica, administrativa y financiera, y así mejorar su gestión institucional. Esto implica definir claramente los aspectos “estratégicos y operacionales”, a nivel “gerencial y operativo”, para monitorear los procesos, procedimientos y resultados del Plan Nacional de Desarrollo Integral con Coca (PNDIC) y la Programación Operativa Anual (POA); que implicarán posteriores evaluaciones intermedias y de impacto de sus intervenciones y operaciones. El Sistema de “M&E” para el VCDI, permite, en primera instancia, realizar el monitoreo y seguimiento a las actividades operativas, y en segunda instancia, evaluar los resultados, efectos e impactos que generarán, como insumo y/o producto de la gestión pública sectorial (desarrollo integral con coca), en coordinación horizontal y vertical con otras Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

entidades estatales, gobiernos sub-nacionales, programas y proyectos de la Cooperación Internacional (CI), que vienen implementando el PNDIC. Un resumen conceptual del sistema de “M&E” es el siguiente:

El monitoreo, seguimiento y evaluación, permite conocer avances, resultados e identificar anomalías en todos los procesos y procedimientos operativos, para proponer medidas correctivas e implementar su retroalimentación con el fin de optimizar la gestión pública.

Bajo éste marco conceptual, el diseño del “Sistema de Monitoreo & Evaluación (M&E) para el VCDI”, está asentado en los siguientes cuatro o ámbitos: i) seguimiento operativo a programas y proyectos (control de procedimientos); ii) seguimiento estratégico al PNDIC (indicadores de efecto y resultado); iii) seguimiento a convenios interinstitucionales con la cooperación internacional y organizaciones de productores (centrales, sub-centrales y sindicatos campesinos); y iv) evaluaciones intermedias y ex post. Tal como se muestra en el siguiente esquema:

IMPLEMENTACIÓN DEL MONITOREO, SEGUIMIENTO & EVALUACIÓN

Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

3.3.

Objetivos de la Evaluación

En el presente documento asumimos que la evaluación es realizada ex-ante, durante (intermedia) y ex-post a la ejecución de un programa o proyecto, aspecto que supone la indagación y valoración sistemática y objetiva de los objetivos, productos y resultados de un proyecto y la determinación de los “efectos e impactos” que generará o generó su implementación. En este marco, el objetivo de la evaluación es conocer la eficacia, eficiencia y efectividad de la inversión pública para identificar si el proyecto modificó o modificará las condiciones de vida de la población beneficiaria, con relación a la problemática central que originó la gestión del mismo. La “Evaluación Intermedia”, tiene el objetivo de evaluar el desempeño y resultados intermedios, tanto operativos, administrativos como financieros, de los programas y proyectos ejecutados en el marco de los objetivos, metas y resultados previstos en el Plan Nacional de Desarrollo Integral con Coca, la Programación Operativa Anual (POA) de las entidades ejecutoras del PNDIC y el Cuadro de Mando Integral del PNDIC, así como la evaluación de desempeño institucional del VCDI y sus diferentes unidades funcionales, con la finalidad de identificar problemas y amenazas que puedan ser revertidas oportunamente a través de la implementación de medidas correctivas y ajustes que mejoren el desempeño institucional del VCDI. La “Evaluación Integral Ex-post”, tiene el objetivo de determinar el grado de alcance del fin (objetivo superior) y propósitos (objetivos específicos) determinados en el Plan Nacional de Desarrollo Integral (PNDIC), lo cual coadyuva a la identificación de los efectos e impactos generados sobre la población beneficiaria. En particular, se debe evaluar el cumplimiento de la ejecución efectiva de los programas y proyectos, la eficiencia de los recursos destinados a su implementación y el desempeño institucional de las entidades ejecutoras y agencias de cooperación internacional, además de verificar el cumplimiento de los indicadores de impacto, eficiencia, eficacia y sostenibilidad previstos en el PNDIC. La evaluación ex-post debe evaluar el grado de cumplimiento de los indicadores y/o variables identificadas y cuantificadas por el levantamiento de la “línea base sectorial” en las zonas de intervención, con información y datos que son fundamentales y se convierten en el principal insumo para la evaluación ex-post en los ámbitos: técnico, socioeconómico, social, ambiental y la capacidad institucional de las organizaciones locales.

Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

IV.

MONITOREO & SEGUIMIENTO:

4.1.

Descripción del Monitoreo y Seguimiento (M&S)

El presente documento concibe al “Monitoreo & Seguimiento” y posterior “Evaluación de Medio Término y Ex Post”, como una herramientas de gestión, que conducen a mejorar la “gestión cualitativa e integral de los programas y proyectos del PNDIC”, con el fin de garantizar la calidad y sostenibilidad de los mismos y así optimizar la gestión de la política pública sectorial. En este sentido, el “proceso de seguimiento, monitoreo y evaluación es permanente, preventivo y correctivo” que derivará en sugerencias de ajustes técnicos, metodológicos, operativos, administrativos e inclusive legales, a través de la retroalimentación institucional que determinará la optimización de la gestión pública del VCDI. Bajo este enfoque, el seguimiento, monitoreo y control se realizará de forma permanente con el objeto de verificar el logro de los resultados, metas y objetivos programáticos contenidos en el PNDIC; el control es aplicado para verificar el cumplimiento de las normas que regulan las operaciones técnicas y administrativas del VCDI; y la evaluación intermedia a través de cortes transversales que permiten identificar posibles desviaciones y sus respectivas medidas correctivas. A partir del enfoque conceptual sobre el monitoreo, seguimiento & evaluación, se delimitarán las actividades operativas del VCDI, mediante la identificación de procesos, procedimientos, metodologías, manuales, guías e instrumentos operativos que optimicen la gestión pública institucional (VCDI) y la retroalimentación de la política pública sectorial. El “Monitoreo y Seguimiento (M&S)” es una herramienta gerencial que utiliza como insumos la recolección y análisis de datos e información, con el principal objetivo de realizar un monitoreo y seguimiento proactivo de la gestión pública y el funcionamiento operativo de los diferentes programas y proyectos que conforman el PNDIC, capaz de detectar y corregir anticipadamente potenciales problemas. Por otro lado, se constituye en un instrumento gerencial que permitirá efectuar una adecuada evaluación de las metas, resultados y objetivos contenidos en el PNDIC, además de servir como el mejor mecanismo para implementar el “control social” de la sociedad civil en general y las comunidades beneficiarias en particular. En suma, el M&S se convierte en el mejor mecanismo para medir la eficiencia y la eficacia de la “gestión por resultados” y la “transparencia” en la gestión pública sectorial. El “Monitoreo & Seguimiento Integral” está diseñado para analizar y evaluar la gestión pública sectorial en base a indicadores medibles e información de monitoreo y seguimiento gerencial, agregada en los siguientes ámbitos estratégicos (Ver Esquemas): Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

1º Ámbito Operativo:

Se realizará el monitoreo y seguimiento a la eficiencia y eficacia en la gestión de los programas y proyectos, a través de la identificación, análisis e interpretación de indicadores estratégicos de gestión.

2º Ámbito Programático: En el ámbito programático, se realizará el monitoreo y seguimiento al Plan de Desarrollo Integral con Coca (PNDIC), a través de la verificación del cumplimiento de objetivos específicos, indicadores de efecto y resultado (metas para cada gestión durante el periodo 2011-2015). 3º Ámbito Estratégico:

En el ámbito estratégico, se realizará el seguimiento a los convenios con organismos internacionales de cooperación, visualizando los plazos, ejecución financiera, el logro de los objetivos y la ampliación o gestión de nuevos convenios; pero también se realizará el seguimiento y verificación de cumplimiento de los convenios con organizaciones locales de productores en los términos previstos.

4º Retroalimentación:

Tanto las evaluaciones de medio término como la evaluación ex post, proveerán valiosos datos e información para la “retroalimentación” de la política pública sectorial (PNDIC) y la reconducción del VCDI hacia nuevos retos institucionales definidos por la dinámica de la misma.

El monitoreo y seguimiento de la política pública sectorial, estará enmarcado dentro una lógica integral para evaluar la gestión por resultados. Para esto se realizará el seguimiento y evaluación del “Cuadro de Mando Integral” contenido en el PNDIC, donde se puedan visualizar los puntos críticos de control en cada componente, sub-componente y programa, y así evaluar el desempeño programático de manera integral, e identificar problemas y medidas correctivas considerando la interacción y complementariedad entre los diferentes financiadores, entidades y programas que implementan el PNDIC. Para lo cual se diseñarán y utilizarán indicadores de efecto y resultado, la periodicidad estará determinada por la propia dinámica del M&S (trimestral, semestral o anual), y será realizado a través del trabajo en gabinete y visitas de campo, tal como muestra el siguiente esquema:

Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

MONITOREO, SEGUIMIENTO & EVALUACIÓN

ÁMBITO OPERATIVO (Programas y Proyectos)

ÁMBITO PROGRAMÁTICO (PNDIC)

ÁMBITO ESTRATÉGICO (Convenios)

EVALUACIÓN DE MEDIO TÉRMINO Y EX POST (Retroalimentación)

APLICACIÓN DE INDICADORES (Periodicidad: Trimestral, Semestral y/o Anual) EQUIPO MULTIDISCIPLINARIO – UDIP/VCDI (Trabajo de Gabinete y Visitas de Campo)

4.2.

Procedimiento para el Monitoreo y Seguimiento (M&S)

Una condición para que el sistema de Monitoreo y Seguimiento funcione y sea sostenible, es que el mismo se encuentre normado, reglamentado, estructurado y apropiado por todos los actores institucionales involucrados en la implementación del Plan Nacional de Desarrollo Integral con Coca (PNDIC). Al respecto, de acuerdo con el mandato legal otorgado por el PND, Plan Sectorial y D.S. N° 29894, el VCDI es la instancia responsable de liderar y regir la política pública sectorial contenida en el PNDIC, para tal efecto uno de sus principales roles está relacionado con el monitoreo y control operativo y administrativo de la implementación del desarrollo integral y la política de revalorización de la hoja de coca en las zonas priorizadas. En este marco, el VCDI deberá definir si realiza el monitoreo y seguimiento de la política pública sectorial a través de la Unidad de Desarrollo Integral y Producción (UDIP) compuesta por un equipo multidisciplinario de profesionales dedicados exclusivamente a estas labores con dependencia directa del Viceministro; o si realiza estas labores con la participación de un equipo más amplio de profesionales de las diferentes Direcciones del VCDI, tanto administrativas como técnicas, pero de igual manera con dependencia directa del Viceministro, para fines de reportar los hallazgos, recomendaciones y la consiguiente implementación de las medidas correctivas que correspondan “retroalimentar” como resultado del monitoreo y seguimiento. Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

La metodología para realizar el monitoreo y seguimiento, está basada en los siguientes principios: •

Integral, puesto que será realizado en los diferentes ámbitos que correspondan a la integralidad de los programas y proyectos ejecutados en el marco del PNDIC (técnico, social, socioeconómico, ambiental e institucional);

•

Sistemático y Periódico, que será ejecutado de manera sistemática y periódica de acuerdo a la información contenida en los sistemas informáticos de las entidades ejecutoras y en las carpetas de los proyectos ejecutados o en ejecución;

•

Aleatorio, basado en la selección aleatoria con base estadística de los proyectos que serán objeto del monitoreo y seguimiento;

•

Detección de Desviaciones, como efecto del monitoreo de los datos e información contenida en los sistemas informáticos de las entidades ejecutoras y provista al VCDI, se detectarán desviaciones respecto a los rangos de aceptación de la información.

El procedimiento para realizar el monitoreo y seguimiento a los programas y proyectos de las agencias y/o entidades de la cooperación internacional, implementados en el marco del PNDIC, está definido por las siguientes etapas que se desarrollarán de manera iterativa en las diferentes fases operativas de los proyectos: 1º Planificar y aprobar los “planes de monitoreo y seguimiento”, y determinar una muestra representativa de los proyectos que serán objeto del monitoreo y seguimiento en las zonas de intervención (una parte por muestreo estadístico y otra mediante la identificación de desviaciones previas). 2º Definir y conformar un equipo multidisciplinario de profesionales de la UDIP/VCDI, que tenga la responsabilidad de realizar el monitoreo a la implementación de las medidas correctivas sugeridas. 3º Una vez constituidos en las oficinas de la Agencia y/o Entidad Implementadora (regionales ó locales), realizar una reunión de inicio y coordinación de actividades con el Responsable y el equipo técnico, planteando los objetivos, alcances y resultados del monitoreo y seguimiento. 4º Efectuar el monitoreo y seguimiento documental de los procesos y procedimientos aplicados en todas las etapas del ciclo del proyecto a través de la revisión documental de las carpetas de los proyectos y servicios monitoreados en gabinete. 5º Realizar el monitoreo y seguimiento de los proyectos en las etapas de: a) evaluación ex-ante, b) contratación, c) seguimiento a la ejecución, tanto física como financiera, y d) cierre de los proyectos.

Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

6º Una vez concluido el trabajo de gabinete, programar y realizar visitas de campo a las localidades donde se implementan los proyectos, con el fin de verificar aspectos técnicos, sociales, medioambientales y realizar entrevistas con dirigentes de productores, beneficiarios y otros actores locales. 7º Una vez concluido el trabajo de gabinete y las visitas de campo, realizar una reunión de cierre con el Responsable y el equipo técnico de la Agencia y/o Entidad Implementadora, donde se transmitan los principales hallazgos y recomendaciones preliminares que permitan revertir los problemas identificados (medidas correctivas). 8º En función a los resultados preliminares del monitoreo y seguimiento, sugerir medidas correctivas, planificar su seguimiento desde el VCDI y realizar el monitoreo a la aplicación de las mismas. 9º La compilación y sistematización de los hallazgos, resultados y recomendaciones de medidas correctivas derivarán en un informe de monitoreo y seguimiento, el cual será enviado al Viceministro o autoridad designada con copia a la Agencia y/o Entidad Implementadora para su consiguiente implementación. 10º A partir de las conclusiones y recomendaciones derivadas del monitoreo, realizar la retroalimentación de los aspectos administrativos y técnicos en la gestión de los proyectos, mediante la sugerencia de ajustes a los procedimientos e instrumentos operativos que coadyuven a mejorar la gestión cualitativa e integral de los proyectos. 11º Realizar un diagnóstico e identificación de hitos operativos documentados que permitan diseñar e implementar procesos y procedimientos destinados a mejorar el control interno a través del “control previo” (sólo en los casos que corresponda). 12º Efectuar el monitoreo ambiental a proyectos y, si fuera necesario, proponer medidas de mitigación correctivas adicionales; y realizar el monitoreo global a los distintos programas sectoriales, con el fin de informar a la Autoridad Ambiental Competente en el marco de lo establecido en las Licencias Ambientales. Al respecto, es importante resaltar que las recomendaciones contenidas en los informes de monitoreo y seguimiento, para que sean implementadas por las Agencias y/o Entidades Implementadoras del PNDIC, deben tener un plazo y responsable, puesto que serán objeto de seguimiento y verificación por parte de la instancia responsable del M&S en el VCDI y la siguiente visita a esa oficina será iniciada por la verificación del cumplimiento de las recomendaciones contenidas en el último informe de monitoreo y seguimiento. La verificación del incumplimiento a las recomendaciones contenidas en estos informes podría originar desde llamadas de atención, la aplicación del control gubernamental mediante el inicio de auditorías internas e inclusive externas, hasta el inicio de procesos administrativos a los funcionarios que incurran en el incumplimiento de la norma sectorial o en algún acto que contravenga el cumplimiento de la Ley “Marcelo Quiroga Santa Cruz” y sus Reglamentos. Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

Un aspecto importante a considerar y diferenciarse es que los procesos de monitoreo y seguimiento no intentan sustituir los mecanismos previstos por Ley para implementar el “Control Gubernamental”, es decir que el M&S no debe confundirse ni superponerse a los procesos de auditoría, puesto que si bien se aplican sobre los mismos objetos de análisis, persiguen diferentes objetivos y finalidades. Aclarando tácitamente que el incumplimiento reiterado a las recomendaciones del M&S podrían dar paso al inicio de auditorías internas. El siguiente diagrama de flujo describe el procedimiento y la secuencia operativa de las diferentes etapas del monitoreo y seguimiento a los programas y proyectos del PNDIC: DIAGRAMA DE FLUJO DEL PROCEDIMIENTO DE MONITOREO & SEGUIMIENTO

Obtención de datos

Datos de Sistemas (secundarios)

R E T R O A L I M E N T A C I O N

Criterios de Análisis Datos Clasificados Analisis de la Información

Datos Observados (Procesados)

Informe de la visita de campo (Procesados)

Documentos fuente (datos primarios) Visita de Campo

Informe Final de Monitoreo (Procesados)

Informe de Monitoreo a la Oficina Deptal. (Procesados)

4.3.

- Observaciones - Recomendaciones - Retroalimentación y ajustes al diseño del Procesos y Procedimientos

Verficación de incorporación de las Recomendaciones

Recopilación y Sistematización de la Información

El método de recopilación y sistematización de datos e información para la cuantificación de los indicadores previstos en el monitoreo y seguimiento al PNDIC, utilizará información de fuente primaria y secundaria: Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

4.3.1. Recopilación de Información de Fuente Secundaria Los responsables del monitoreo y seguimiento del VCDI recopilarán información de fuente secundaria proveniente de las Agencias y/o Entidades Ejecutoras que implementan el PNDIC, concretamente se ha identificado que la mayoría de estas instancias operan y registran los datos del área administrativa – financiera a través de sistemas informáticos propios y el registro de datos del área operativa está automatizada a través de sistemas informáticos, solamente en el FONADAL y en los Programas financiados por USAID (ARCO, ACDI-VOCA y CC.VV.), el resto de los Programas aún opera en hojas Excel. Una muestra del tipo de información que se maneja en ambas áreas de operación, está detallada a continuación: •

Área Operativa: Información de los beneficiarios y su demanda, datos generales (nombre del proyecto, ubicación, sector y programa), cambios de etapas, proceso de contratación, montos de los proyectos, fechas sobre hitos operativos, datos de seguimiento y supervisión a la ejecución (contratos, órdenes de cambio, montos aprobados, montos contratados, sectores, ubicación geográfica, cambios de etapas, planillas procesadas y pagadas); y otro tipo de información operativa necesaria para el monitoreo y seguimiento (M&S).

•

Área Financiera: Programación y ejecución financiera (por sector, programa, área de intervención, municipio y fuente), estados financieros, movimientos contables por contrato, por área programática y fuente de financiamiento, datos sobre la gestión financiera establecida por reglamentación específica del Ministerio de Economía y Finanzas (Viceministerio de Presupuesto y Viceministerio de Inversión Pública y Financiamiento Externo – VIPFE), y datos financieros de los programas y proyectos (planillas pagadas y solicitudes de reposición de recursos).

La “ruta metodológica” para realizar la recopilación y sistematización de la información que alimentaría el Sistema de Monitoreo y Seguimiento del VCDI, está resumida en los siguientes puntos que deben ser encarados por el VCDI a través de la UDIP: 1º Identificar todas las instancias internas y externas al VCDI, que utilizan, procesan y requieren datos e información sobre los programas y proyectos del PNDIC; 2º Diseñar una base de datos única, conjuntamente las agencias de cooperación y las entidades ejecutoras del PNDIC; 3º A través de la base de datos única, identificar los datos de entrada y salida, para procesar y proveer información de tipo gerencial; 4º Determinar y acordar la periodicidad del requerimiento y provisión de información (preferentemente mensual); 5º Diseñar y definir “formatos de reportes tipo” para proveer la información gerencial debidamente sistematizada; 6º Identificar los puntos focales (personas) de cada agencia de cooperación y/o entidad ejecutora, que conformarán la red de contactos operativos, quienes serán responsables de la alimentación periódica de información para el M&S al PNDIC; 7º Definir y normar todos los aspectos operativos y logísticos, para coordinar y asignar responsabilidades entre todos los puntos focales y los funcionarios del VCDI; 8º Oficializar estos aspectos a través de unas Resolución Administrativa u otro documento equivalente que norme estas labores; 9º Realizar el monitoreo y seguimiento a la eficiencia y eficacia del flujo de datos e información, la efectividad y el desempeño operativo de los puntos focales y de los funcionarios del VCDI; e 10º Identificar e implementar todas las medidas correctivas que sean pertinentes y necesarias para mejorar permanentemente la recolección de información que alimentará el “Sistema de Monitoreo y Seguimiento del VCDI”. 4.3.2. Diseño de la Base de Datos y Formato de Reportes El VCDI ha visto la necesidad de contar con una Base de Datos única que le permita obtener la información requerida para el seguimiento y monitoreo del PNDIC. Para ello, es necesario identificar todas las instancias internas y externas al VCDI, que utilizan, procesan y requieren datos e información sobre los programas y proyectos del PNDIC. Ante esta necesidad, USAID manifiesta el deseo de contar con información fiable de sus proyectos ACDI-VOCA, ARCO y CC.VV, motivo por el cual, la UDIP del VDCI y USAID en trabajo conjunto han diseñado una base de datos con información básica sobre los programas y proyectos de USAID. Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

La base de datos diseñada entre el VCDI y USAID, fue puesta a consideración de las agencias de cooperación y entidades implementadoras de programas y proyectos del PNDIC para su retroalimentación, estas instancias deberían trabajar con la base de datos sugiriendo aportes y/o correcciones. A través de la base de datos única corregida y/o mejorada se identificaron los datos de entrada y salida que son necesarios para procesar y proveer información de tipo gerencial. Esta base de datos también fue retroalimentada con sugerencias de compatibilidad de alimentación de datos por parte de FONADAL, a través de un link ó interface con el Sistema Integrado de Procesos Técnicos y Administrativos (SIPTA) que opera esta institución. La estructura de esta base está determinada a través de los siguientes campos: a. Información del Proyecto: que comprende la descripción del proyecto, su ubicación, financiadores, área de desarrollo, rubro, actividad, fechas de inicio y conclusión.

NOMBRE DEL CAMPO PROYECTO DESCRIPCIÓN EJECUTOR FINANCIADOR CÓDIGO REGIÓN MUNICIPIO LOCALIDAD ÁREA DE DESARROLLO SUBÁREA RUBRO/ACTIVIDAD ORGANIZACIÓN ACTOR INSTITUCIONAL ACTOR LOCAL ESTADO DEL PROYECTO COORDENADA X COORDENADA Y

DESCRIPCIÓN Según la estructura del SISIN. Si es implementación se refiere a varios componentes, como infraestructura, equipamiento, asistencia técnica Describe detalladamente en qué consiste el proyecto Nombre del proyecto ejecutor Nombre de la institución financiadora Es el código interno de proyecto Región geográfica donde se implementa el proyecto Nombre del municipio Localidad donde se implementa el proyecto Describe el área global del proyecto implementado Describe el sub-área específico dentro de cada área de desarrollo En caso de productivos aplica rubro Es la empresa u organización que es parte fundamental del apoyo proporcionado Institución que es inherente en la implementación del proyecto La instancia relevante local beneficiaria o que canaliza/demanda la implementación del proyecto Estado del proyecto Ubicación georeferenciada eje x Ubicación georeferenciada eje y

b. Seguimiento Físico – Financiero del Proyecto: que muestra los porcentajes de avance físico y financiero, como también los aportes de las instancias involucradas en el proyecto. Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

NOMBRE DEL CAMPO MONTO PLANIFICADO MONTO IMP MONTO BEN MONTO MUN MONTO EJECUTADO MONTO EJEC IMP MONTO EJEC BEN MONTO EJEC MUN PORCENTAJE AVANCE FECHA DE APROBACIÓN FECHA DE CONTRATO FECHA DE INICIO FECHA CONCLUSIÓN PREVISTA FECHA CONCLUSIÓN REAL

DESCRIPCIÓN Monto total planificado del proyecto en Bs. Monto planificado a ser aportado por el implementador en Bs. Monto planificado a ser aportado por los beneficiarios en Bs. Monto planificado a ser aportado por el municipio en Bs. (si aplica) Monto total ejecutado del proyecto en Bs. Monto ejecutado por el implementador en Bs. Monto ejecutado por el o los beneficiarios en Bs. Monto ejecutado por el municipio en Bs. Porcentaje de avance físico del proyecto Fecha de aprobación del proyecto Fecha en que el contrato ó plan de negocios es firmado Fecha en que el proyecto se inicia Fecha en que se prevé concluir el proyecto Fecha en que el proyecto concluye realmente

c. Indicadores del Proyecto: que son la base del monitoreo y seguimiento al PNDIC y se constituyen en el principal medio de verificación del Cuadro de Mando Integral (CMI).

NOMBRE DEL CAMPO FAMILIAS BENEFICADAS HECTÁREAS INCREMENTALES EMPLEOS EQUIVALENTES VENTAS INCREMENTALES PERSONAS CAPACITADAS KILÓMETROS MANTENIDOS KILÓMETROS MEJORADOS PUENTES CONSTRUIDOS PUENTES MEJORADOS INDICADOR PAPS

DESCRIPCIÓN Es el número de familias beneficiadas por la actividad específica Es el número de hectáreas nuevas o mejoradas implementadas por la actividad específica Es el número de empleos equivalentes generados por la actividad específica Ventas incrementales acumuladas generadas por el negocio, en $us Es el número de personas que recibieron algún tipo de capacitación y/o asistencia técnica Es el número de kilómetros mantenidos Es el número de kilómetros mejorados Es el número de puentes construidos Es el número de puentes mejorados Es el número de indicador de Programa de Apoyo Presupuestario (PAPS) en el que el proyecto califica

Una vez validada la base de datos, se deberá determinar y acordar la periodicidad del requerimiento y provisión de información, que preferentemente debería ser mensual, esta base será alimentada por los funcionarios de las propias agencias de cooperación y/o entidades ejecutoras (puntos focales). Seguidamente se deberá diseñar y definir “formatos de reportes tipo” para proveer la información gerencial debidamente sistematizada e identificar a los funcionarios de cada agencia de cooperación y/o entidad ejecutora, que conformarán la red de contactos operativos, quienes serán responsables de la alimentación periódica de información para el M&S al PNDIC. Asimismo, se debe definir y normar todos los aspectos operativos y Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

logísticos, para coordinar y asignar responsabilidades entre todos los funcionarios de cada agencia de cooperación y del VCDI. Para oficializar estos aspectos el VCDI emitirá un Reglamento ó Resolución Administrativa que normará estas labores. La base de datos única permitirá realizar el monitoreo y seguimiento a la eficiencia y eficacia del flujo de datos e información, la efectividad y el desempeño operativo de los funcionarios de las agencias de cooperación y del VCDI, como también se logrará identificar e implementar todas las medidas correctivas que sean pertinentes y necesarias, para mejorar permanentemente la recolección de información que alimentará el “Sistema de Monitoreo y Seguimiento del VCDI”. 4.3.3. Muestreo, Recopilación y Análisis de Datos La población de análisis es el conjunto de proyectos ejecutados en el marco del PNDIC, que a efectos prácticos tendrá un tratamiento de población finita, pero debido a su magnitud no es posible analizarla, monitorearla y evaluarla en su conjunto. Por ello, para realizar el análisis de monitoreo, seguimiento y evaluación de los proyectos, se plantea realizar segmentaciones de los mismos al interior del universo de proyectos tomando en cuenta su tipología y caracterización en magnitud, así como su distribución de acuerdo a los siguientes criterios: • • • • • • • •

Área de Intervención, Departamento, Municipio, Sector y Sub Sector, Programa y Sub Programa, Financiador y/o Agencia Ejecutora, Monto y Plazo (Análisis de Rangos), y Estado Actual (Aprobado, Contratado, En Ejecución, Concluido ó Cerrado).

La decisión de establecer una muestra de proyectos a monitorearse y no realizarla sobre el total de proyectos, responde a los siguientes criterios: • • •

La representatividad del número de proyectos muestreados sobre el universo de programas y proyectos de desarrollo integral ejecutados en el marco del PNDIC. El criterio de desviación de los valores respecto a los parámetros de aceptación de los puntos de control establecidos (hitos operativos). La disponibilidad de recursos humanos y tiempo efectivo para realizar el monitoreo y seguimiento (M&S).

Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

Cuando el trabajo de monitoreo y seguimiento se base en una muestra, ésta debe satisfacer la condición básica de representatividad de la población de estudio, principio que exige que la muestra elegida sea “estadísticamente representativa”. El monitoreo y seguimiento no establece periodicidad en la recolección de información, por lo que la recopilación de datos se la realizará mediante cortes transversales en cualquier etapa del proyecto. Por lo tanto, para obtener información oportuna, veraz y confiable, aspectos determinantes para que el monitoreo y seguimiento sean de calidad, se exige que la Base de Datos del VCDI y otros sistemas de información que la alimentan, se encuentren con información actualizada y continuamente alimentada por las agencias ejecutoras y/o instancias operativas respectivas, según la evolución operativa en cada etapa del ciclo del proyecto. A través de metodologías estadísticas comparativas se realizará el análisis de los datos recopilados, tomando en cuenta parámetros establecidos con relación al tiempo, costo y calidad durante las diferentes etapas del ciclo del proyecto. La recolección de información realizada mediante las visitas de campo con fuentes de información primaria y secundaria permitirá obtener los resultados del desempeño institucional exteriorizado en niveles de ejecución, eficiencia, eficacia e impacto de los programas y proyectos a nivel sectorial, programático, regional y departamental. 4.3.4. Recopilación de Información de Fuente Primaria (Visitas de Campo) Una vez revisada la información contenida en la base de datos alimentada por las agencias y/o entidades ejecutoras correspondiente al universo de proyectos que serán seleccionados en la muestra que será objeto del monitoreo y seguimiento, se procederá a la validación de la misma. Posteriormente, la información recopilada es revisada, analizada, sistematizada y vaciada en formularios diseñados para tal efecto. Una vez obtenida la información sobre los proyectos seleccionados, se planifica y realiza las visitas de campo en coordinación con las agencias ejecutoras. En este marco, la recolección de información y datos de fuente primara, será obtenida mediante visitas a las Oficinas de las Agencias Ejecutoras y a las localidades donde se implementan los proyectos, en las mismas se realizarán entrevistas ó encuestas a los diferentes actores relacionados con la ejecución de los proyectos, tales como: funcionarios (Técnicos y Administrativos), que proveerán la documentación física, tanto administrativa como técnica, sobre la ejecución de los proyectos y otros actores, cuya opinión será contrastada con la información proveniente de la Agencia Ejecutora y los beneficiarios directos del proyecto (a través de encuestas que verificarán el grado de satisfacción Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

generado por los resultados obtenidos). Estas visitas de campo deberán complementarse con fotografías representativas del área de intervención, de los beneficiarios y otros aspectos relacionados con la ejecución de los proyectos. 4.4.

Ámbitos del Monitoreo & Seguimiento (M&S)

4.4.1. Ámbito Operativo: Seguimiento a Programas y Proyectos El monitoreo y seguimiento de operaciones está relacionado directamente con la eficiencia y eficacia en la gestión de los proyectos. En este sentido, mensualmente se medirá la eficiencia y eficacia operativa en base a los siguientes criterios: • • • • •

Efectividad Operativa: Eficiencia Operativa: Control Operativo: Contratación Efectiva: Eficiencia Institucional:

Proyectos en Ejecución / Proyectos Aprobados; Recursos Desembolsados / Recursos Programados; Procedimientos Adecuados / Total de Procedimientos; Contratos Firmados / Procesos de Contratación Iniciados; Tiempo de Licitación / Tiempo Óptimo de Licitación.

Adicionalmente, se realizará el monitoreo y seguimiento sobre la eficiencia en los procesos de contratación, bajo un esquema de responsabilidad operativa de las Agencias y/o Entidades Ejecutoras, éste monitoreo y seguimiento a los procedimientos de contratación será realizado por personal del VCDI. De igual manera, en el entendido que las Agencias y Entidades Ejecutoras asumen las responsabilidades operativas a nivel técnico y administrativo de la gestión de los proyectos, el VCDI a través de la UDIP se encargará del monitoreo y seguimiento operativo permanente, a través de visitas a las Oficinas de Enlace y a las zonas de emplazamiento de los proyectos. Como consecuencia, se realizará el seguimiento a la implementación de las medidas correctivas que resulten del proceso de monitoreo y seguimiento operativo en el marco de la “retroalimentación operativa”. 4.4.2. Ámbito Programático: Seguimiento al Plan de Desarrollo Integral con Coca Para realizar el seguimiento y evaluación a la implementación del Plan Nacional de Desarrollo Integral con Coca (PNDIC), el VCDI debe asegurarse de contar con los siguientes insumos de información: a. Las Agencias y Entidades Ejecutoras relacionadas con la implementación del PNDIC, deben registrar los datos operativos y financieros de sus respectivos proyectos en la Base de Datos Única del VCDI, con información actual y precisa; Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

b. El análisis de la información acerca del estado o “status” de las metas plurianuales, indicadores de efecto y objetivos específicos contenidos en el Cuadro de Mando Integral Institucional (CMI) del PNDIC (Ver punto 4.4.3); y c. Conclusiones respecto a las “brechas de desempeño operativo”, las causas y las medidas correctivas a implementarse. El seguimiento a la implementación del PNDIC, se circunscribe básicamente a la verificación del logro de indicadores de resultado y efecto contenidos en el CMI, esta labor será permanente y generará reportes periódicos sobre su desempeño y cumplimiento; se recomienda que estos reportes de monitoreo y seguimiento sean semestrales o anuales, a efectos de encarar medidas de ajuste que faciliten su obtención. La Unidad de Desarrollo Integral y Producción del VCDI debería ser la instancia responsable de estas labores. Éste ejercicio también permitirá “retroalimentar” el Plan de Desarrollo Integral con Coca y sugerir el ajuste de algunos objetivos y/o indicadores. Una vez concluido el periodo de vigencia del PNDIC, el VCDI deberá realizar la evaluación ex post sobre el cumplimiento del Plan, con el fin de establecer las principales lecciones aprendidas y logros alcanzados, guardando relación directa con los Objetivos, la Misión y Visión contenida en el PNDIC. Estos elementos más los resultados de las evaluaciones de medio término y otras que se realicen durante el periodo de vigencia del PNDIC, se traducen en los mejores insumos informativos para encarar el siguiente proceso de planificación del desarrollo integral con coca. 4.4.3. Ámbito Programático: Seguimiento al Cuadro de Mando Integral (CMI) El seguimiento es un proceso que consiste en efectuar observaciones y registros permanentes y sistemáticos a la marcha de las políticas, estrategias, programas y proyectos que forman parte de los planes de desarrollo, con el propósito de controlar que estos procesos de gestión avancen en el ritmo y según la orientación planificada, evitando oportunamente desviaciones o retrasos. Debe permitir controlar los avances tanto físico como financieros, tanto cuantitativos como cualitativos. Es decir debe permitir medir los procesos, los resultados, efectos e impactos que las políticas económicas y sociales están produciendo en función del “vivir bien”, produciendo información precisa para la toma oportuna de decisiones de ajustes en la política pública. El principal instrumento para lograr un efectivo seguimiento a los avances de un plan, políticas estrategias programas o proyecto son los “indicadores”, que son formulados al momento de planificar pero son usados en el seguimiento. Son señales o parámetros de medición de los objetivos en cada uno de los niveles de la estructura de un plan o proyecto. Ayudan a verificar objetivamente el nivel de efectividad necesario del objetivo Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

para su logro o su obtención. Especifican las pruebas necesarias para establecer si el objetivo superior, el objetivo del proyecto o los resultados (en el caso de un proyecto) o en el caso de un plan, si los objetivos de las políticas, estrategias o programas fueron efectivamente alcanzados. Un buen indicador habitualmente contiene el objeto a ser medido (calidad), la cantidad, el tiempo y el lugar. Los indicadores son la información fundamental para el seguimiento y evaluación (S&E). Se construyen generalmente cuando se está formulando un proyecto o un plan, para ello se requiere tener suficiente claridad en los conceptos que subyacen en la formulación de objetivos y resultados, y la información necesaria sobre los mismos. Hay tres tipos de indicadores: • • •

Indicadores de inicio o línea de base; Indicadores de proceso o de gestión; e Indicadores de resultado (de logro, de efecto o de impacto)

Un mecanismo para sistematizar el diseño y seguimiento de indicadores es el Cuadro de Mando Integral (CMI), el cual se constituye en una herramienta poderosa en todo proceso de planificación sectorial, puesto que permite gestionar, comunicar, monitorear y evaluar el Plan, y por ende rendir cuentas por la obtención de resultados. Por otro lado, también permite fijar orientaciones y articulaciones directas entre el plan, los programas y presupuestos anuales y plurianuales. El CMI se constituye en la herramienta central de la planificación sectorial, traduce las distintas elecciones estratégicas realizadas en indicadores, asignando responsabilidades concretas y uniformando el lenguaje del Plan. El CMI también genera los insumos clave para incorporar medidas de desempeño orientadas hacia la “Gestión por Resultados (GpR)” y el “Control Social” de las entidades públicas y los organismos de cooperación. Por otro lado, es fundamental reconocer que el proceso de planificación sectorial, orienta los esfuerzos de las entidades líderes del sector hacia la articulación de los procesos de planificación sectorial con programas y presupuestos de corto plazo. Este es un mandato ineludible que ordena las contribuciones, en distinta escala, de los resultados que las entidades públicas producen para la creación de planes y políticas de desarrollo integral. El último momento del proceso de planificación sectorial, focaliza la necesidad de poner en marcha el CMI y consiguientemente también los sistemas de información, registro de estadísticas, seguimiento y evaluación, que permitan el gerenciamiento del plan a través de la toma de decisiones, el control interno y el control social. Desde Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

luego, constituye un desafío enorme para el Viceministerio de Coca y Desarrollo Integral (VCDI) que, de manera permanente, solicite, reciba, consolide y produzca información de tipo gerencial, para realizar el seguimiento y evaluación a los resultados alcanzados por el PNDIC, a través de la ejecución de los diferentes programas y proyectos. Concretamente, el seguimiento y evaluación al PNDIC se concentra en el establecimiento de la relación existente entre lo planificado y lo efectivamente ejecutado. El gráfico, que se presenta a continuación, ilustra el proceso de construcción y articulación del PNDIC en general y el proceso de seguimiento y evaluación en particular (Ver Gráfico):

PROCESO DE CONSTRUCCIÓN DEL NUEVO “PNDIC” MANDATO LEGAL (NCPE, PND, ELCN Y PLAN SECTORIAL)

Misión

Objetivos y Políticas Sectoriales

Visión

Análisis Externo SUB-COMPONENTES (EJES ESTRATÉGICOS)

SEIS COMPONENTES

(S&E) Indicadores

RETROALIMENTACIÓN

(Efecto y Resultado)

Cuadro de Mando Integral Metas Plurianuales

PROGRAMAS Y PROYECTOS

Presupuestos Plurianuales

Sistema de Información Seguimiento y Evaluación Control Social

S e g u i m i e n t o y E v a l u a c i ó n

Diagnóstico Institucional

Mapeo de Actores

Debe destacarse que el PNDIC incorpora dos matrices de indicadores de efecto, una para los objetivos específicos y otra por área programática del Plan.

Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

Por una parte, se presenta una matriz con indicadores de gestión del Cuadro de Mando Integral, que permitirán realizar el seguimiento del desempeño estratégico sectorial, evaluando el grado de cumplimiento de los objetivos del PNDIC hasta el año 2015 y favoreciendo la toma de decisión de las autoridades sectoriales. Los indicadores de efecto relacionados con los objetivos estratégicos del Plan son los siguientes: OBJETIVO ESPECÍFICO

INDICADORES DE EFECTO

Diversificar la base productiva y económica generando empleo, favoreciendo iniciativas privadas y comunitarias, desarrollando nuevos sistemas de producción y consolidando los actuales, mediante un aprovechamiento sostenible de los Recursos Naturales. Contribuir al mejoramiento de las condiciones de vida de la población de las zonas de cobertura del plan, fortaleciendo la coordinación con las instituciones competentes, apoyando y complementando programas y proyectos económicos, sociales y de infraestructura. Promover el desarrollo de las capacidades de participación y gestión comunitaria e institucional en los aspectos de programación, ejecución y monitoreo de las actividades del Plan, facilitando el establecimiento del marco normativo correspondiente. Contribuir a los procesos de Racionalización de la Hoja de Coca, manteniendo un clima de concertación y paz social mitigando y previniendo los conflictos, en el marco de la nueva política de lucha contra el narcotráfico. Promover los procesos de investigación científica, la producción agroecológica, control de la comercialización y proyectos de industrialización de la Hoja de Coca, en el marco de la soberanía nacional y los acuerdos internacionales.

• Empleos directos generados por las intervenciones del PNDIC • Estructura de ingresos (encuesta de hogares) • Áreas cultivadas bajo sistemas promovidos por el PNDIC • • • •

Necesidades Básicas Insatisfechas Índice de vulnerabilidad alimentaria Línea de pobreza en zonas de intervención Estructura de ingreso y gastos familiares

• Ejecución presupuestaria • Emprendimientos e iniciativas de actores locales alineadas en el marco del PNDIC

• Superficie de coca racionalizada con control social • Número de organizaciones sociales involucradas con las dinámicas de racionalización con control social • Superficies de cultivo de hoja de coca bajo certificación agroecológica • Nuevos productos derivados de la hoja de coca insertados en el mercado • Volumen de hoja de coca industrializado

Por otra parte, a continuación se presenta el Cuadro de Mando Integral (CMI) para el periodo 2011 - 2015, que contiene los indicadores de inicio y efecto, asociados a cada una de las áreas de intervención programáticas del Plan Nacional de Desarrollo Integral con Coca (PNDIC):

Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

CUADRO DE MANDO INTEGRAL • CMI COMPONENTE

SUB-COMPONENTE (EJE ESTRATÉGICO)

EJE EDUCATIVO

DESARROLLO HUMANO INTEGRAL

EJE DE SALUD, AGUA, SANEAMIENTO Y ELECTRIFICACIÓN

PROGRAMA Programa Educación Primaria y Secundaria

‐ Número de Centros Educativos en las zonas de intervención.

Programa Formación Vocacional

‐ 60,000 jóvenes de en las zonas de intervención

Programa Materno Infantil

‐ Índice de Mortalidad Materno Infantil en las zonas de intervención (Gestión 2009). ‐ Índice de Embarazos no deseados en las zonas de intervención. ‐ Índice de Embarazo Precoz en las zonas de intervención. ‐ Índice de Cobertura de Acceso al Agua de Uso Doméstico en las zonas de intervención. ‐ Índice de Cobertura de la Distribución Primaria en las zonas de intervención. ‐ 50,000 Has.de cultivos más representativos. ‐ 26,000 Has.de cultivos más representativos.

Programa Salud Productiva y Reproductiva Programa Agua y Saneamiento Programa de Electrificación Rural

DESARROLLO ECONÓMICO PRODUCTIVO

EJE DE FOMENTO DE VENTAJAS COMPARATIVAS REGIONALES

INDICADOR DE INICIO (LÍNEA BASE)

Programa Desarrollo Económico Productivo del Trópico de Cochabamba

Programa Desarrollo Económico Productivo de los Yungas de La Paz

INDICADOR DE EFECTO ‐ 200 Centro Educativos apoyados con infraestructura y equipamiento. ‐ 25% de los jóvenes de las zonas de intervención acceden a servicios de formación vocacional. ‐ Disminución del Índice de Mortalidad Materno Infantil en las zonas de intervención. ‐ Disminución del Índice de Embarazos no deseados en las zonas de intervención. ‐ Disminución del Índice de Embarazo Precoz en las zonas de intervención. ‐ Incremento del Índice de Cobertura de Acceso al Agua de Uso Doméstico en las zonas de intervención. ‐ Incremento del 5% del Índice de Cobertura de la Distribución Primaria en las zonas de intervención. ‐ Los ingresos de los productores beneficiarios por el desarrollo integral se incrementó en 30%. ‐ El volumen de producción de los rubros apoyados por el desarrollo integral se incrementó en 30%. ‐ 20% de la superficie de cultivos apoyados por el desarrollo integral. ‐ Los ingresos de los productores beneficiarios por el desarrollo integral se incrementó en 30%. ‐ El volumen de producción de los rubros apoyados por el desarrollo integral se incrementó en 30%. ‐ 40% de la superficie de cultivos apoyados por el desarrollo integral.

CUADRO DE MANDO INTEGRAL • CMI COMPONENTE

SUB-COMPONENTE (EJE ESTRATÉGICO) EJE DE MICRO Y PEQUEÑAS EMPRESAS (MYPES)

Programa de Servicios Financieros Programa de Creación y Fortalecimiento de MYPES Programa de Mejoramiento y Mantenimiento Vial (Caminos Vecinales)

EJE TRANSPORTE Y VIABILIDAD

EJE DE PARQUES NACIONALES Y ÁREAS PROTEGIDAS RECURSOS NATURALES Y MEDIO AMBIENTE

Programa de Creación de Empresas Regionales de Mantenimiento Programa de Parques Nacionales y Áreas Protegidas Programa para Zonas de Amortiguamiento Programa Agroforestal del Trópico de Cochabamba

EJE AGROFORESTERÍA Programa Agroforestal de los Yungas de La Paz

Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

INDICADOR DE INICIO (LÍNEA BASE)

PROGRAMA

‐ 60 familias en ambas zonas de intervención. ‐ Número de MYPES en las zonas de intervención. ‐ Número de MYPES apoyadas por el Programa y en actual operación. ‐ Longitud de caminos vecinales mejorados y mantenidos. ‐ Número de puentes vehiculares construidos. ‐ Número de estudios sectoriales sobre la viabilidad técnica y financiera de Empresas Regionales de Mantenimiento de Caminos. ‐ Número de Empresas Regionales de Mantenimiento de Caminos constituidas.

INDICADOR DE EFECTO ‐ 30% de los actores económicos de la zona de intervención tienen acceso a servicios financieros. ‐ 300 MYPES apoyadas por el Programa. ‐ 80% de la MYPES apoyadas por el Programa están en actual operación. ‐ 3,500 Km. de caminos vecinales mejorados y mantenidos. ‐ 100 puentes vehiculares construidos. ‐ Un estudio sectorial sobre la viabilidad técnica y financiera de la Empresa Regional de Mantenimiento de Caminos para los Yungas de La Paz. ‐ Una Empresa Regional de Mantenimiento de Caminos para los Yungas de La Paz constituida.

‐ Superficie de bosque bajo manejo forestal sostenible. ‐ Superficie de Sistemas Agrosilvopastoriles. ‐ Número de familias que participan en programas de recuperación agroforestal en zonas de intervención.

‐ 5,000 has. bajo manejo forestal sostenible. ‐ 2,500 has. bajo Sistemas Agrosilvopastoriles. ‐ 10,000 familias que participan en programas de recuperación agroforestal en zonas de intervención.

CUADRO DE MANDO INTEGRAL • CMI COMPONENTE

SUB-COMPONENTE (EJE ESTRATÉGICO) EJE DE DESARROLLO SECTORIAL

DESARROLLO INSTITUCIONAL

REVALORIZACIÓN DE LA HOJA DE COCA

EJE DE DESARROLLO MUNICIPAL, MANCOMUNIDADES, ORGANIZACIONES DE BASE Y OTROS ACTORES SOCIALES Y ECONÓMICAS

EJE DE PRODUCCIÓN AGROECOLÓGICA DE LA HOJA DE COCA

EJE DE TRANSFORMACIÓN PRODUCTIVA DE LA HOJA DE COCA

Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

PROGRAMA Programa de Fortalecimiento Sectorial (VCDI y FONADAL) Programa de Desarrollo Municipal Programa de Fortalecimiento de Mancomunidades Programa de Fortalecimiento de Organizaciones de Base y otros Actores Sociales y Económicos Programa de Apoyo a la Implementación de Parcelas Ecológicas en los Yungas de La Paz Programa de Apoyo a la Implementación de Parcelas Ecológicas en el Trópico de Cochabamba Programa de Investigación Científica e Integral de la Hoja de Coca

INDICADOR DE INICIO (LÍNEA BASE)

INDICADOR DE EFECTO

‐ Programación y ejecución presupuestaria del VCDI. ‐ Ejecución de la inversión pública del FONADAL. ‐ Programación y ejecución presupuestaria de los Gobiernos Municipales de las zonas de intervención. ‐ Planes Estratégicos y/o Programación Operativa Anual de las Mancomunidades de las zonas de intervención. ‐ Número de Organizaciones Locales en las zonas de intervención.

‐ 80% de cumplimiento de la programación presupuestaria. ‐ FONADAL incrementa en 30% su capacidad de gestión operativa. ‐ 80% de cumplimiento de la programación presupuestaria de los Gobiernos Municipales de las zonas de intervención. ‐ 80% el cumplimiento programático de los Planes Estratégicos y/o Programación Operativa Anual.

‐ Superficie de coca agroecológica introducida y cultivada. ‐ Cantidad de coca ecológica producida. ‐ Número de familias beneficiadas. ‐ Número de empleos indirectos generados. ‐ Superficie de coca agroecológica introducida y cultivada. ‐ Cantidad de coca ecológica producida. ‐ Número de familias beneficiadas. ‐ Número de empleos indirectos generados. ‐ Número de centros de investigación integral de la Coca. ‐ Número de convenios de investigación científica gestionados y firmados.

‐ 3,000 parcelas de coca agroecológica introducida y cultivadas. ‐ 1,000 T.M. de coca ecológica producida. ‐ 3,000 familias beneficiadas. ‐ 12,000 empleos indirectos generados. ‐ 3,000 parcelas de coca agroecológica introducida y cultivadas. ‐ 1,000 T.M. de coca ecológica producida. ‐ 3,000 familias beneficiadas. ‐ 12,000 empleos indirectos generados.

‐ 150 Organizaciones Locales formalizadas y fortalecidas en las zonas de intervención.

‐ Un centro de investigación integral de la Hoja de Coca. ‐ Cuatro (4) convenios de investigación científica gestionados y firmados.

‐ Número de proyectos de industrialización de la Coca. ‐ Número de Reglamentos para la Industrialización de la Hoja de Coca. ‐ Número de Empresas Sociales de Industrialización de la Hoja de Coca constituidas y en operación. ‐ Número de Ferias, Talleres y/o Seminarios sobre la Revalorización de la Hoja de Coca organizados y desarrollados. ‐ Número de documentos y/o folletos sobre la Revalorización de la Hoja de Coca producidos, publicados y distribuidos. ‐ Número de Reglamentos para el Control de la Producción y Comercialización de la Hoja de Coca elaborados y aprobado. ‐ Número de Puestos de Control de la Hoja de Coca construidos, equipados y en funcionamiento.

‐ Cuatro (4) proyectos de industrialización de la Hoja de Coca. ‐ Un Reglamento para la Industrialización de la Hoja de Coca. ‐ Dos (2) Empresas Sociales de Industrialización de la Hoja de Coca constituidas y en operación. ‐ Treinta (30) Ferias, Talleres y/o Seminarios sobre la Revalorización de la Hoja de Coca organizados y desarrollados. ‐ Treinta (30) documentos y/o folletos sobre la Revalorización de la Hoja de Coca producidos, publicados y distribuidos. ‐ Un Reglamento para el Control de la Producción y Comercialización de la Hoja de Coca elaborado y aprobado. ‐ Quince (15) Puestos de Control de la Hoja de Coca construidos, equipados y en funcionamiento.

Programa de Infraestructura Productiva Programa de Fortalecimiento Organizacional Programa de Transformación

‐ Superficie de Has. cultivadas bajo riego en las zonas de intervención.

‐ 1,500 Has. incrementales cultivadas bajo riego.

‐ Número de Municipio con UDEL’s en funcionamiento.

‐ 20 Municipio con UDEL’s en funcionamiento.

‐ Número de Plantas Agroindustriales en funcionamiento.

‐ 100 contratos comerciales.

Programa Único de Capacitación Técnica

‐ Un Centro de Formación Multisectorial construidos y en funcionamiento.

‐ 600 personas formadas en oficios laborales.

Promoción de Industrialización de la Hoja de Coca

Programa de Promoción y Difusión de los Derivados de la Hoja de Coca

Programa de Comercialización de la Hoja de Coca

ZONAS EXPULSORAS DE POBLACIÓN

EJE DE PROMOCIÓN PRODUCTIVA CON SEGURIDAD ALIMENTARIA EJE DE CAPACITACIÓN TÉCNICA

Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

4.4.4. Ámbito Programático: Seguimiento Presupuestario El monitoreo y seguimiento presupuestario tiene como objetivo determinar la eficiencia y efectividad de la ejecución presupuestaria. Para esto es necesario realizar un análisis comparativo entre la ejecución real respecto a la programada, de manera trimestral, semestral y anual, con el fin de evaluar el cumplimiento de metas y detectar desviaciones significativas por área programática, región, departamento, etc.; además de identificar las causas de posibles desviaciones. El proceso de monitoreo y seguimiento se completará con la determinación de metas y resultados, que cuenten con indicadores objetivamente verificables y estándares de comparación histórica. Metodológicamente existen tres enfoques de observación de datos presupuestarios, cada uno con su respectiva metodología y utilidad analítica: i) ejecución por línea o fuente de financiamiento, ii) por área programática, y iii) por área de intervención o municipios. Concretamente, el monitoreo y seguimiento presupuestario se efectuará mediante el análisis de indicadores parametrizados de índices financieros que variarán de acuerdo a la dinámica operativa de los proyectos. Algunos de estos índices financieros, son los siguientes: • • • •

Razón de Rendimiento: Razón de Eficiencia Administrativa: Razón de Contrapartes: Razón de Apalancamiento:

Desembolsos / Captaciones; Gastos administrativos / Gastos de Inversión; Desembolsado / Comprometido; y Total Pasivos / Total Activos.

Es importante resaltar que estos y otros índices financieros serán evaluados con respecto a cambios en períodos anteriores y a objetivos estratégicos establecidos para cada período institucional. 4.4.5. Ámbito Programático: Obras de Impacto Inmediato “Las Obras de Impacto Inmediato es la implementación de proyectos y obras comunales destinadas a mejorar de forma inmediata y oportuna las condiciones de vida de los habitantes de las zonas beneficiarias, a través de la entrega de bienes a favor de las comunidades por parte del Estado, a consecuencia de la racionalización y/o declaración de áreas de no expansión de cultivos de coca”.4

Modificaciones al Reglamento Interno para Ejecución de Obras de Impacto Inmediato. Resolución Ministerial N° 172 de Mayo de 2010.

El VCDI recibe anualmente aproximadamente 1.000 solicitudes de proyectos de las comunidades de los Yungas de La Paz y del Trópico de Cochabamba, la gestión 2010 se han procesado 100 solicitudes, las cuales llegan a la Unidad Económica y Social del Trópico (UDESTRO), Unidad Económica y Social de los Yungas de La Paz UDESY del VCDI. Antes de priorizar las solicitudes se realiza una evaluación técnica, que la realizan los funcionarios de DIGPROCOCA. Primeramente se verifica si la comunidad solicitante ha erradicado o racionalizado la hoja de coca. Si no lo ha hecho se firma un convenio de compromiso para llevar a cabo la erradicación ó racionalización. Posteriormente se verifica si en la comunidad no se ha realizado ya una obra, porque no se puede llevar a cabo dos proyectos en una misma comunidad en un año. El proyecto debe beneficiar a toda la comunidad y no a unas cuantas familias. No se financia proyectos de reforestería o caminos vecinales, estas solicitudes se derivan a FONADAL ó a Caminos Vecinales de USAID. Entre las obras que se financian están: Centros de Capacitación, Aulas de Escuelas, Vivienda para Profesores, Herramientas de Trabajo, Equipamiento a Sedes y Puentes de menos de 6 metros de largo. Priorizan las solicitudes dos instancias o autoridades, entre ellas: el Viceministro y el Director de DIGPROCOCA. DIGPROCOCA cuenta con dos bases de datos en Excel, una donde se registra todas las solicitudes de Obras de Impacto y la otra base con la que realiza un seguimiento financiero a los proyectos. La segunda base tiene los siguientes campos: i) Descripción del proyecto, ii) Ubicación del proyecto, iii) Presupuesto total, vi) Fuente de financiamiento (TGN, CC.VV., Municipio), v) Proyectos sin solicitud, vi) Proyectos con solicitud, vii) Proyectos en ejecución; y viii) Proyectos concluidos. La información obtenida de esta base de datos es la siguiente: Actualmente se tiene programado el 100% del presupuesto y se ha ejecutado el 68% del mismo. De los 100 proyectos programados, 11 son proyectos sin solicitud, 21 con solicitud, 22 proyectos están en ejecución y 46 proyectos se han concluido. De este total de proyectos 90% son centros de capacitación y el 10% las otras modalidades de obras de financiamiento.5 La ejecución del Programa Obras de Impacto Inmediato tiene por objetivo evitar la producción excedentaria de la hoja de coca. Como acciones inmediatas, se recomienda que las funciones de UDESPRO y UDESY estén orientadas a apoyar la ejecución de Obras de Impacto Inmediato en las zonas productoras de hoja de coca, participando en todo el proceso de captación de demanda, elaboración de proyectos, procesamiento técnico de las carpetas de proyectos; y apoyo para la conformación del control social que coadyuve en las tareas de control de los cultivos de hoja de coca.

Fuente: DIGPROCOCA, Octubre de 2010.

Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

Asimismo, promocionar, brindar orientación y apoyo técnico a los beneficiarios de las zonas productoras del Trópico de Cochabamba y de los Yungas de La Paz, para la ejecución de Obras de Impacto Inmediato, de forma paralela al proceso de racionalización. Para la ejecución de las Obras de Impacto Inmediato se ha elaborado un Reglamento que ha sido aprobado el 05 de noviembre de 2007 y en mayo de 2010 se incorpora algunas modificaciones. Este reglamento tiene por objetivo regular la ejecución de los recursos asignados por el TGN al MDRyT para la ejecución de Obras de Impacto Inmediato, a través del VCDI. Las zonas beneficiadas son el Trópico de Cochabamba, Yungas de La Paz y zonas comprendidas en la Estrategia de Lucha contra el Narcotráfico y Revalorización de la hoja de coca. El Reglamento señala que, las organizaciones sociales deben presentar sus solicitudes al VCDI, a DIGPROCOCA y/o UDESTRO y UDESY según corresponda. El Director de DIGPROCOCA prioriza las solicitudes en base a las necesidades y demandas de los beneficiarios. Los criterios de elegibilidad son: i) tipo de obra solicitada, ii) importe, iii) costo/beneficio, iv) área de clasificación, v) impacto social y/o productivo; y vi) prevención de conflictos. Estos criterios de elegibilidad deben coadyuvar a llegar a las zonas de mayor vulnerabilidad, con mayores índices de pobreza y al mismo tiempo alcanzar el objetivo de erradicación de la hoja de coca que se da en el marco de los convenios suscritos entre el VCDI y las comunidades, que consiste en la concreción de proyectos que impulsen el desarrollo de la zona. Se debe programar una reunión con las organizaciones sociales para recibir las demandas y ofertar la realización de una obra de impacto inmediata en base a sus necesidades, donde se elaborará un Acta de Entendimiento y/o Convenio con el visto bueno del Viceministro, del Director de DIGPROCOCA y firmada por los representantes de las organizaciones sociales. El enlace técnico agropecuario elabora las carpetas mensualmente, con el siguiente contenido: i) Carta de solicitud dirigida al Viceministro y/o a las Unidades de UDESTRO y UDESY, Acta de Entendimiento y/o Convenio, ii) Certificado de Reducción y/o área libre de coca ó compromiso de no expansión de cultivos extendido por DIGPROCOCA, iii) Nómina de Beneficiarios, vi) Solicitud de Financiamiento, v) Ficha de perfil de Proyecto, vi) Especificaciones Técnicas, vii) Presupuesto estimado de la Obra (estos tres últimos deben ser elaborados por DIGPROCOCA); y viii) Metodología de Evaluación y Seguimiento posterior de la Obra. Una vez que las carpetas estén completas con la aprobación del Director General de DIGPROCOCA deberán enviarse al VCDI. Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

Se procederá a verificar la existencia de los bienes solicitados en almacenes, si existen se procederá a la entrega a través de un Acta de Entrega a los representantes de los beneficiarios firmada por autoridades del VCDI y/o DIGPROCOCA. Si no existen los bienes en almacenes se deberá elaborar la certificación presupuestaria de fondos y fijar la modalidad de compra, a través de las Normas Básicas del Sistema de Administración de Bienes y Servicios. En el caso de estos últimos, los bienes ingresarán a almacenes del VCDI con la firma de un Acta de Recepción. Dependiendo del lugar de requerimiento, estos bienes deben ser registrados en el archivo emitiéndose un formulario de ingreso a almacenes. El pago será tramitado por el Enlace Administrativo Financiero del VCDI. Para la entrega de los bienes a los beneficiarios, el Responsable de Almacenes deberá elaborar un Acta de Entrega y un Compromiso de Cumplimiento del Destino Final de los Bienes firmada por autoridades del VCDI y/o DIGPROCOCA y los representantes de los beneficiarios. El Enlace Técnico Agropecuario será el responsable de la implementación y seguimiento a las Obras de Impacto Inmediato y deberá hacer un informe sobre la puesta en obra de los bienes. En caso de incumplimiento el VCDI deberá iniciar las acciones legales correspondientes. Las carpetas de solicitudes que no se ejecuten serán tomadas en cuenta en la elaboración del POA y el programa de contrataciones de la próxima gestión. Una propuesta de los procedimientos operativos de las Obras de Impacto Inmediato para mejorar la gestión y el seguimiento al mismo, referida específicamente al manejo de información presentaría las siguientes dos fases (Ver Diagrama de Flujo de Procedimientos):6 Elaboración de Carpetas: que comprende todo el proceso de envío y recepción de solicitudes, debiéndose llevar a cabo la verificación de los beneficiarios, seguidamente se debe realizar el análisis técnico y financiero de los proyectos, para finalmente elaborar las carpetas y proceder a su respectiva aprobación. Inversión: cumplida la fase de preparación de carpetas se debe realizar el proceso de compra del bien, para luego emitir el acta de entrega y el compromiso de cumplimiento del destino final de los bienes, este documento debe contar con las firmas del VCDI, DIGPROCOCA y los representantes de los beneficiarios. Después de contar con los dos pasos previos, se debe elaborar un informe sobre la puesta en obra de los bienes; y finalmente el paso más importante luego de realizada todo el proceso es coordinar con Control Social, el Monitoreo y Seguimiento de las Obras de Impacto en un plazo no mayor a tres meses después de entregarse los bienes. 6

Gutiérrez Iriarte Waldo, “Elaboración de una Propuesta para la Reestructuración y Reorganización Interna del VCDI”, Programa de Apoyo Presupuestario Sectorial (PAPS), Abril de 2009, pág. 81 y 82.

Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

DIAGRAMA DE FLUJO DEL PROCEDIMIENTO PARA OBRAS DE IMPACTO INMEDIATO

ELABORACIÓN DE CARPETAS

Organizaciones Sociales envían las solicitudes de Obras de Impacto Inmediato

Recepcina las solicitudes de Obras de Impacto Inmediato

Verifica y comprueba Beneficiarios

Realiza el Análisis Técnico y Financiera de proyectos de Obras de Impacto Inmediato

INVERSIÓN

Se elaboran las carpetas de proyectos y se aprueban

Realiza el proceso de compra del bien

Emite el Acta de Entrega y un compromiso de Cumplimiento de Destino Final de los Bienes

Firma el VCDI y/o DIGPROCOCA y los representantes de los Beneficiarios

Emite un Informe sobre la puesta en obra de los Bienes

Coordina con Control Social el M&S de las Obras de Impacto en un plazo no mayor a 3 meses de entregados los bienes

En el marco de este procedimiento operativo, es fundamental que el VCDI a través de DIGPROCOCA y/o la UDIP, realice el monitoreo y seguimiento a la implementación de las obras de impacto inmediato o la dotación de bienes (materiales de construcción) comprometidos a través de los respectivas Actas de Entendimiento o Convenios firmados entre el VCDI y los representantes de las Organizaciones Sociales, verificando en campo los siguientes aspectos: i) dotación de bienes en el lugar acordado, ii) dotación de bienes en la cantidad y calidad acordadas, iii) emplazamiento de las obras, bajo el diseño y especificaciones técnicas contenidas en la carpeta de proyecto, iv) funcionalidad de las obras para los fines comprometidos, y v) firma del Acta de Entrega de los bienes y/o de la obra emplazada, bajo las condiciones técnicas acordadas en la carpeta de proyecto. Al respecto, la instancia responsable del monitoreo y seguimiento al Programa Obras de Impacto Inmediato al interior del VCDI, debe evacuar estos informes (bajo formatos ágiles, estándar y pre-establecidos) adjuntando cinco fotografías representativas de la zona de emplazamiento del proyecto con la presencia de los representantes de los beneficiarios, con lo cual podrá continuarse con el cierre de estos proyectos y registrarse en la base de datos como proyectos entregados a conformidad de los beneficiarios.

Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

4.4.6. Ámbito Estratégico: Racionalización de la Hoja de Coca El VCDI cuenta con dos Direcciones Generales con sus respectivas Unidades, que están vinculadas a los objetivos estratégicos del PNDIC: Dirección General de Hoja de Coca e Industrialización (DIGCOIN) y Dirección General de Desarrollo Integral de las Regiones Productoras de Coca (DIGPROCOCA). Dirección General de la Hoja de Coca e Industrialización (DIGCOIN): Está vinculada a la Estrategia Industrialización de la Hoja de Coca y al objetivo estratégico Coca para el Desarrollo que comprende la industrialización y comercialización de la hoja de coca. El objetivo de esta Dirección es promover el aprovechamiento cultural, medicinal e industrial de la hoja de coca estableciendo las condiciones para su comercialización e industrialización. La DIGCOIN cuenta con dos unidades: a) Unidad de Comercialización de la Hoja de Coca, cuyo objetivo es promover políticas de comercialización y de acceso a mercados internos y externos para la hoja de coca, y b) Unidad de Industrialización de la Hoja de Coca, con el objetivo de promover políticas, programas y proyectos de industrialización de la hoja de coca y sus productos derivados. Los procesos operativos que se han identificado en la Unidad de Comercialización de la Hoja de Coca pueden resumirse en: i) autorización de licencias, ii) registro de empresas demandantes de la hoja de coca, iii) registro y control de circulación y comercio, iv) aplicación de infracciones y sanciones; y v) almacenamiento e incineración. Mientras que en la Unidad de Industrialización de la Hoja de Coca los procesos operativos que se han identificado son: i) industrialización de la hoja de coca, ii) capacitación a facilitadores y promotores, iii) certificación para la producción orgánica; y iv) organización y promoción de ferias.7 Estos procesos no están estructurados, motivo por el cual los funcionarios proceden de manera improvisada sin seguir una secuencia lógica en sus actividades, debido a que no se cuenta con una reglamentación que describa los procesos y procedimientos que deben cumplir. La información que genera esta dirección y que se envía al VCDI es confiable, fidedigna que puede tomarse en cuenta y aceptarla como valedera para el monitoreo y seguimiento del PNDIC y de la Estrategia de la Lucha Contra el Narcotráfico y Revalorización de la Hoja de Coca. Mensualmente se genera información que ha sido elaborada en un sistema informático llamado SISCOCA, la que evacua datos y estadísticas relacionadas a la comercialización e industrialización de la hoja de coca. Los datos que se manejan en este sistema informático están estructurados por departamento, por mes y por acciones (Ver Cuadro).8 7

Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

DATOS E INFORMACIÓN Movimiento de Hoja de Coca en Depósitos Movimiento de Hoja de Coca en Estado Natural de las Retenciones, Devoluciones, Donaciones, Mermas e Incineración Movimiento Comercial de la Hoja de Coca Comerciantes Detallista Movimiento Comercial de la Hoja de Coca, de Productores al Detalle Autorización de trueques en los mercados de La Paz y Cochabamba Autorización de trueques en los mercados de La Paz y Cochabamba Cantidad Renovada Comerciantes Detallistas

EXPRESADO EN: Ingresos y egresos de la hoja de coca en libras y toneladas Por departamento y meses Mercados de La Paz y Cochabamba, por departamento y meses Mercados de La Paz y Cochabamba, por departamento y meses Por departamento y meses Por hojas de ruta, total taques

Por departamento Mercados de La Paz y Cochabamba por Hoja de Coca Comercializada por Detallistas departamento, hoja de ruta, total taques Empresas que industrializan la hoja de coca Por empresas y meses Por regiones de La Paz Hoja de Coca Comercializada Productores Detallistas Por departamento y meses Incineraciones Precios Promedio de Hoja de Coca en mercados de Villa Por meses, hoja de coca de primera clase, Fátima de La Paz y Sacaba de Cochabamba segunda clase y tercera clase

Toda esta información presenta totales en libras y toneladas, como también cuadros generales, resúmenes y gráficas. A través de esta información, se evidencia el Control y Seguimiento de la comercialización de la hoja de coca en su estado natural, de los mercados legales del país, hasta el destino final, atendiendo a dos sectores, comerciantes y productores detallistas que expenden la hoja de coca a nivel nacional y no así de industrialización, porque no se presenta información de los programas ni proyectos de la industrialización de la hoja de coca y sus derivados, solo se detalla las empresas industrializadoras. Dirección General de Desarrollo Integral de las Regiones Productoras de Coca (DIGPROCOCA): Está vinculada a la Estrategia Desarrollo Integral y Sustentable en las Zonas Productoras de Coca, situadas en el Trópico de Cochabamba y los Yungas de La Paz. Tiene como objetivo el de promover el aprovechamiento cultural, medicinal e industrial de la hoja de coca, estableciendo las condiciones para el desarrollo integral, económico y social de las áreas de cultivo de la hoja de coca. DIGPROCOCA, cuenta con dos Unidades: a) Unidad de Desarrollo Económico y Social Yungas de La Paz (UDESY) y b) Unidad de Desarrollo Económico y Social del Trópico de Cochabamba (UDESTRO), el objetivo de ambas unidades es la promoción del Desarrollo Integral económico social de las zonas productoras de la hoja de coca; estas unidades se dividen por sus áreas geográficas de acción en Yungas de La Paz y Trópico de Cochabamba. En la práctica sus principales funciones están vinculadas con la racionalización de los cultivos de la hoja de coca y con la promoción de proyectos de corto plazo (obras de impacto inmediato). Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

Los procesos operativos que se han identificado tanto en la Unidad de Desarrollo Social de los Yungas de La Paz como del Trópico de Cochabamba, son: i) erradicación concertada, ii) elaboración de carpetas, iii) inversión, iv) control aéreo y barrido; y v) registro y actualización de las áreas erradicadas. Al igual que en DIGCOIN, estos procesos no están estructurados y no se cuenta con una reglamentación que describa los procesos y procedimientos operativos que deben cumplir los funcionarios. Regularmente cumplen sus actividades de manera improvisada sin seguir una secuencia lógica establecida. Los informes que mensualmente envía DIGPROCOCA al VCDI presentan principalmente las acciones de erradicación y racionalización de los cultivos de la hoja de coca en las zonas de cobertura. Esta información es confiable y aceptada, que puede ser utilizada para el monitoreo y seguimiento de las actividades. En la actividad de racionalización se presenta el total de hectáreas racionalizadas de hoja de coca en las zonas de los Yungas de La Paz y el Trópico de Cochabamba, de agosto de 2009 a Septiembre de 2010. Asimismo, se tienen los datos de erradicación de hoja de coca del mismo período por zonas y el total de hectáreas. Entre las zonas de cobertura, además de las anteriores están: Yungas de La Paz, Parque Nacional Carrasco, Parque Isiboro Sécure y Yapacaní (Santa Cruz). También presenta el total general del período por zonas e indicadores 15 y 16 en el total de hectáreas.9 DIGPROCOCA emite en forma mensual los reportes de reducción por zonas en total de hectáreas, donde se presenta la erradicación por día, mes y acumulada, como también la Mensura. El informe también contiene la extensión total de superficie medida en el Chapare y el porcentaje de Edades de Erradicada y Mensurada (Ver Cuadro). DATOS E INFORMACIÓN Racionalización: actividades y metas del año por zonas Total racionalizado agosto 2009 – septiembre 2010 por zonas Erradicación: actividades y metas del año por zonas Total racionalizado agosto 2009 – septiembre 2010 Total general agosto 2009 – septiembre 2010 por zonas Datos de reducción mensual por zonas Erradicación por zonas del día, mes y acumulada Mensura por zonas del día, mes y acumulada Extensión total de superficie medida en el Chapare del día mes y acumulada Porcentaje de edades de erradicada y mensurada

EXPRESADO EN: Superficies en hectáreas Superficies en hectáreas Superficies en hectáreas Superficies en hectáreas Indicador 15 y 16 superficie en hectáreas Superficie en hectáreas Superficie en hectáreas Superficie en hectáreas Porcentajes Porcentajes

Fuente: DIGPROCOCA, Informe de Actividades Relativas al Período Agosto 2009 – Septiembre 2009.

Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

La propuesta de procesos operativos10, tanto para DIGCOIN como para DIGPROCOCA es la siguiente: •

•

Racionalizar concertadamente los cultivos de la hoja de coca, para coordinar y organizar tareas conjuntas de racionalización y delimitar el cocal (Mensura). Ejecutar la racionalización de los cultivos y emitir su certificado. Erradicación en zonas de riesgo, que con lleva delimitar las zonas de riesgo a ser intervenidas, organizar y coordinar equipos y operativos para la erradicación, efectuar la erradicación de los cultivos de hoja de coca, generando los informes y el registro de las zonas erradicadas. Sistematizar la información para poder procesar la información de las Unidades, actualizar la información de las áreas erradicadas y racionalizadas, coordinar la actualización del sistema de información geográfica con los proyectos de las agencias de cooperación y generar los reportes estadísticos. Hacer un seguimiento y monitoreo de los cultivos de hoja de coca, donde se deberá coordinar el monitoreo de cultivos de hoja de coca, definir estrategias de incursión a nuevas áreas de intervención y delimitar las zonas productoras de hoja de coca. Llevar a cabo un registro y control de la comercialización de la hoja de coca para registrar y otorgar licencias de comercialización, registrar a las empresas demandantes de la hoja de coca y la información generada en la comercialización. Establecer directrices para el acopio, distribución, transporte y comercialización de la hoja de coca. Realizar el almacenamiento e incineración.

Gutiérrez Iriarte Waldo, “Elaboración de una Propuesta para la Reestructuración y Reorganización Interna del VCDI”, Programa de Apoyo Presupuestario Sectorial PAPS, Abril 2009, pág. 38. Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

DIAGRAMA DE FLUJO DEL PROCEDIMIENTO DE DIGCOIN Y DIGPROCOCA

4.4.7. Ámbito Estratégico: Seguimiento a Convenios El VCDI como responsable directo de la coordinación y de la preparación de propuestas de planes, políticas, programas y proyectos de desarrollo integral en las áreas de intervención, debe establecer estrategias de gestión con la Cooperación Internacional, para captar el financiamiento a través de convenios y contratos bilaterales. A su vez, la Cooperación Internacional debe armonizar sus mecanismos de cooperación en dos sentidos: i) a través del financiamiento directo a proyectos bajo su administración o bajo la administración del Estado; y ii) la transferencia de recursos a FONADAL para proyectos concretos de desarrollo integral. A nivel de gestión, el VCDI debe coordinar con la cooperación internacional temas como el flujo de recursos que deberán ser canalizados a través de los mecanismos acordados, a fin de asegurar la continuidad en la ejecución de los proyectos. En este nivel de relacionamiento deberá realizarse un trabajo de equipo entre el VCDI, a través de UDIP y cada uno de los ejecutores ó implementadores de Programas y Proyectos.

Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

El conocer el estado actual de los convenios gestionados entre el Estado Plurinacional de Bolivia y las Agencias de Cooperación, permite al VCDI: planificar, definir los programas y áreas de intervención, determinar los saldos existentes, fechas de conclusión de los mismos y principalmente llevar a cabo las negociaciones para la prórroga u obtención de nuevos recursos financieros con la firma de nuevos convenios, dando continuidad a los programas y proyectos que son la base del PNDIC. Entre las Agencias de Cooperación que apoyan al VCDI se encuentran: • • • • • • •

USAID: Agencia de los Estados Unidos para el Desarrollo Internacional; ONUDD: Oficina de las Naciones Unidas Contra la Droga y el Delito; DUE: Delegación de la Unión Europea (Programa de Apoyo Presupuestario Sectorial - PAPS); CTB: Cooperación Técnica de Bélgica; OEA: Organización de Estados Americanos; AECID: Agencia Española de Cooperación Internacional para el Desarrollo; y CI: Cooperación Italiana.

Para que esta gestión sea exitosa es importante llevar a cabo el monitoreo y seguimiento a los Convenios, el que será aplicado a todo tipo de relación oficial entre el Estado Plurinacional de Bolivia y la Cooperación Multilateral o Bilateral con Embajadas y/o Agencias de Desarrollo, las mismas que se encuentran amparadas a través de Convenios o Contratos Bilaterales, que en sus respectivos objetivos delimitan el tipo de apoyo hacia el país, el mismo puede ser presupuestario y/o programático a favor de la política pública sectorial plasmada en el Plan Nacional de Desarrollo Integral con Coca liderada como ente rector por el Viceministerio de Coca y Desarrollo Integral. Es fundamental que cada funcionario y/o responsable de la UDIP del VCDI tenga a su cargo uno o la cantidad de Convenios que pueda manejar o gestionar de manera eficiente, esta distribución debería guardar relación con las responsabilidades del monitoreo y seguimiento operativo, perfil profesional y equidad al interior del VCDI. Para ello se deberá realizar un recuento e inventario de absolutamente todos los Convenios firmados y vigentes sobre el tema coca y desarrollo integral. El monitoreo y seguimiento estratégico se efectuará mediante el análisis de variables relacionadas directamente con la gestión y dinámica operativa, administrativa y financiera de los convenios. Algunas de estas variables, son las siguientes: • •

Agencia o Entidad Ejecutora: Área de Intervención:

Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

Cooperación Multilateral ó Bilateral; Yungas, Trópico y/ó Zonas Expulsoras; 50

• • • • • • • •

Área Programática: Hitos Programáticos: Aporte de Contrapartes: Evaluación Intermedia: Gestión Programática: Gestión Financiera: Plazo de Vigencia: Cierre y Evaluación:

Tipo de Intervenciones; Tramos o Etapas de Ejecución; Verificación de su Cumplimiento; Identificación de Medidas Correctivas; Monitoreo al Marco Lógico y/o Indicadores: Monitoreo de las Metas Presupuestarias; Monitoreo y Gestión de Ampliaciones; y Informe de Resultados ó Evaluación Ex Post.

Es importante resaltar que por lo menos estas variables, deben ser manejadas y gestionadas bajo una óptica “gerencial”, es decir coordinando con todas las instancias gubernamentales que corresponda, anticipándose a los hechos y coordinando estrechamente con la Agencia de Cooperación todos los aspectos operativos que viabilicen su ejecución y satisfactoria conclusión. Aunque el Convenio no lo establezca es importante que el VCDI gestione la evaluación intermedia y la evaluación ex post de estos Convenios ó Programas, con el objeto de identificar lecciones aprendidas y retroalimentar la implementación de la política pública sectorial (PNDIC). La propuesta del proceso y procedimiento del monitoreo y seguimiento a los Convenios con las Agencias de Cooperación sería realizado a través del siguiente procedimiento operativo: •

•

• •

Elaborar el Manual de Operaciones para definir la organización, mecanismos y procedimientos operativos a utilizarse en el relacionamiento interinstitucional con las Agencias de Cooperación. Gestionar la información y documentos para elaborar informes sobre los convenios y contratos bilaterales, registrar e inventariar todos los convenios firmados entre el Estado Plurinacional de Bolivia y las Agencias de Cooperación, detallar las modalidades de convenios y analizar el alcance de los mismos. Actualizar la información de los convenios, en proceso de gestión, en ejecución y concluidos. Verificar el cumplimiento de los plazos y preparar adendas de ampliaciones de plazo ó documentos equivalentes que amplíen los plazos de los convenios, y/o gestionar nuevos convenios de manera anticipada. Realizar el monitoreo y seguimiento a la ejecución presupuestaria de los convenios y verificar las condiciones previas para los desembolsos. Realizar la evaluación intermedia, para analizar la información, coordinar el monitoreo de los convenios, evaluar el desempeño y resultados intermedios de los convenios e identificar medidas correctivas.

Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

• • • •

Acompañar la llegada de misiones oficiales, programar reuniones con los miembros de la Misión, para evaluar el avance de los programas y proyectos. Gestionar el financiamiento de nuevos convenios con las Agencias de Cooperación y firmar acuerdos de ampliación y/ó nuevos convenios. Procesar la información de los convenios concluidos, actualizar la información, generar reportes estadísticos y elaborar informes de cierre o finales. Realizar la evaluación ex post, centralizar la información sobre los convenios, determinar indicadores cuantitativos y cualitativos para la evaluación de los convenios, realizar evaluaciones sobre los efectos inmediatos de los convenios y proponer medidas correctivas (retroalimentación).

DIAGRAMA DE FLUJO DEL PROCEDIMIENTO PARA GESTIÓN DE CONVENIOS

Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

Por otro lado, también es importante realizar el monitoreo y seguimiento estratégico a los Convenios Interinstitucionales ó Subsidiarios firmados con Organizaciones Locales de Productores, principalmente en el marco del “Programa Obras de Impacto Inmediato”, de los cuales debe verificarse su cumplimiento, tanto por parte de la dotación comprometida por el Gobierno Nacional como el compromiso de racionalización de hectáreas de coca comprometida por la organización de productores, ambos aspectos deben verificarse a través de visitas de campo que refrenden el cumplimiento del mismo, a través de actas o documentos equivalentes que certifiquen su cumplimiento, verificación y cierre. Esta tarea se encuentra desarrollada en el punto 4.4.5 del presente documento. 4.8.

Informe de Resultados del Monitoreo y Seguimiento

De la conjunción de los procesos de análisis en gabinete y la visita de campo surge el “Informe Final de Monitoreo y Seguimiento”, donde se detallan las observaciones, sus causas, efectos, medidas correctivas y recomendaciones especiales, relativas a cada etapa del ciclo del proyecto. El análisis de los resultados del monitoreo y seguimiento supone, básicamente en comparar el desempeño ejecutado con el programado, y los gastos ejecutados con el presupuestado, analizando las causas y los efectos de cualquier desviación. Como también la verificación del cumplimiento de los procesos y procedimientos operativos, tanto técnicos como administrativos, contenidos en las normas, manuales y guías establecidas por cada Agencia y/o Entidad Ejecutora. En busca de una gestión eficaz y transparente, periódicamente se comunicarán los resultados obtenidos por el monitoreo y seguimiento a: 1. A la Máxima Autoridad Ejecutiva del VCDI 2. A las Direcciones del VCDI 3. A Oficinas Desconcentradas del VCDI

VCDI

4. A otras unidades involucradas directamente 5. A otras instancias que autorice el Viceministro 6. También serán atendidos los requerimientos de presentación de informes de la Cooperación Internacional, los que estarán en concordancia con los Reglamentos y/o Manuales Operativos de los respectivos Convenios. 7. Se difundirá información al MDRyT y otras entidades gubernamentales, en apego a Convenios Interministeriales o a simple requerimiento. Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

8. Por otro lado, se proveerá información a todos los actores comprometidos con la implementación del Plan Nacional de Desarrollo Integral con Coca (PNDIC), considerando su relacionamiento con la ejecución de los programas y proyectos. Estos informes estarán estructurados de manera objetiva, concreta y ejecutiva, y no serán modificados durante el plazo de vigencia de los programas y proyectos, manteniéndose asimismo el nivel y las categorías de notificación para facilitar las comparaciones correspondientes. 4.9.

Seguimiento de las Medidas Correctivas y Retroalimentación Operativa

Una vez que el informe de monitoreo y seguimiento es difundido a los usuarios entre los que se encuentran las Agencias y Entidades Ejecutoras, se espera que las recomendaciones y medidas correctivas sugeridas en el mismo, sean consideradas e incorporadas si corresponde en los proyectos observados y tomados además como lecciones aprendidas para el resto de las Agencias y/o Entidades Ejecutoras como “retroalimentación operativa”. El seguimiento a la implementación de las medidas correctivas sugeridas será realizado una vez transcurrido un tiempo prudencial, es decir entre uno a tres meses después de realizado el monitoreo, a través de la solicitud de un informe escrito a la Agencia Ejecutora monitoreada. Posteriormente en la siguiente visita de monitoreo, se realizará una verificación muestral in-situ sobre el grado de implementación y cumplimiento de las medidas correctivas sugeridas. El objetivo de difundir los resultados del monitoreo y seguimiento es el de conseguir la retroalimentación operativa, sobre el estado de avance de los proyectos, en qué medida se han logrado los resultados esperados, la identificación de problemas surgidos en la ejecución y el entorno de los proyectos, y las lecciones aprendidas para el próximo período del monitoreo y seguimiento. Básicamente, los resultados del monitoreo y seguimiento se convierten en un insumo para: • • •

La toma de decisiones estratégicas a nivel ejecutivo y gerencial; La toma de decisiones sobre la gestión operativa (técnica y administrativa); Encaminar acciones estratégicas que coadyuvan al logro de los objetivos institucionales contenidos en el Plan Nacional de Desarrollo Integral con Coca (PNDIC);

Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

•

• • • •

Redactar informes y reportes de progreso, mensuales, trimestrales, semestrales o anuales, dirigidos a los mandos ejecutivos del VCDI: Viceministro y Directores Generales; Compartir la información con otras entidades públicas (Ministerios, Viceministerios, Organismos Internacionales y actores del PNDIC) para difusión y análisis; Corregir distorsiones de aplicación de los procedimientos operativos; Ajustes de los procesos y procedimientos operativos internos; Alerta temprana para la propuesta e implementación de medidas correctivas.

Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

EVALUACIÓN DE MEDIO TÉRMINO:

La “Evaluación de Medio Término”, tiene el objetivo de evaluar el desempeño y resultados intermedios, tanto operativos, administrativos como financieros de los Programas ejecutados por las Agencias de Cooperación en el marco del Plan Nacional de Desarrollo Integral (PNDIC), verificando su alineamiento y contribución a los objetivos, metas y resultados previstos en el PNDIC, la Ejecución Presupuestaria Anual (POA), y el cumplimiento del Cuadro de Mando Integral contenido en el PNDIC, así como la evaluación de desempeño institucional del VCDI y de las Agencias de Cooperación, con la finalidad de identificar problemas y amenazas que puedan ser revertidas oportunamente a través de la implementación de medidas correctivas y ajustes que mejoren el desempeño programático e institucional del VCDI, FONADAL, Agencias de Cooperación Internacional, Organizaciones de Productores y otros actores relacionados con el PNDIC (si corresponde). 5.1.

Objetivos Específicos de la Evaluación de Medio Término

El logro del objetivo de la “Evaluación de Medio Término”, será posible a través de la obtención secuencial de los siguientes objetivos específicos: 1. Diseñar, definir y ordenar los indicadores de proceso y resultado, sobre los cuales se sustentará la evaluación de medio término del Programa. 2. Indagar, comparar y valorar los objetivos y metas programadas en el periodo de evaluación, respecto a los resultados intermedios obtenidos por el VCDI, FONADAL y las Agencias de Cooperación y los Programas a su cargo. 3. Analizar, procesar y evaluar la información, de fuente primaria y/o secundaria, para identificar las fortalezas, oportunidades, debilidades y amenazas (análisis FODA), en los componentes de: i) Desarrollo Humano, ii) Desarrollo Económico Productivo, iii) Recursos Naturales y Medio Ambiente, iv) Desarrollo Institucional, v) Revalorización de la Hoja de Coca, y iv) Zonas Expulsoras de Población; y establecer las principales causas, efectos y posibles medidas correctivas. 4. Indagar y determinar el desempeño institucional del: a) MDRyT y otras Entidades Gubernamentales, b) VCDI y FONADAL, c) Agencias de Cooperación y sus Oficinas Ejecutoras de Programas, y d) Organizaciones Locales de Productores y/ó Beneficiarios; respecto a sus roles y responsabilidades en la implementación del PNDIC hasta el momento de la evaluación intermedia. 5. En función a las metas programadas y resultados obtenidos a la fecha de corte de la evaluación intermedia, proponer un mecanismo de “monitoreo, seguimiento y retroalimentación” que asegure la continuidad en la ejecución y principalmente la administración sostenible de los bienes públicos generados a raíz del PNDIC. Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

6. En función a los problemas, debilidades y amenazas identificadas a la fecha de corte de la evaluación, proponer recomendaciones, medidas correctivas y mecanismos que mejoren el desempeño, programático e institucional, que aseguren la normal ejecución, conclusión y principalmente la sostenibilidad de los proyectos del PNDIC. 7. Evaluar la viabilidad operativa y financiera del cumplimiento de los objetivos, metas y resultados de cada una de las Agencias de Cooperación y los Programas a su cargo, respecto a lo establecido en el PNDIC. 8. En caso de contar con amenazas estructurales que pongan en riesgo alguno de los objetivos, metas y resultados previstos en el CMI del PNDIC, elaborar y proponer un plan de contingencia que revierta esas amenazas y asegure el logro de los objetivos, metas y resultados planificados. 5.2.

Procedimiento y Metodología para la Evaluación de Medio Término

Los alcances de la Evaluación de Medio Término son de orientación sin ser limitativos a cualquier otra iniciativa, por lo que los responsables de la misma, si así lo deciden, pueden mejorarlos a objeto de optimizar la calidad de la evaluación, los productos o resultados y el uso de los recursos asignados a este trabajo, sin alterar los objetivos planteados en el presente documento. En este marco, a continuación detallamos los alcances mínimos de la evaluación que deberían cumplirse secuencial y ordenadamente:11 1. Al inicio del trabajo, los responsables de la evaluación intermedia deben presentar una propuesta metodológica, logística y los instrumentos que utilizarán para el cumplimiento de los objetivos de la misma, así como un plan de trabajo y cronograma de actividades, que deben ser aprobados por la instancia que supervise el trabajo antes de su implementación. 2. Recabar, analizar y evaluar la programación operativa y financiera para cada gestión, respecto a la ejecución física y financiera del PNDIC a cargo del FONADAL y las Agencias de Cooperación, para construir y obtener indicadores de desempeño operativo y financiero. 3. Proponer, cuantificar y presentar indicadores de evaluación de medio término y desempeño programático de los componentes del PNDIC: a) Desarrollo Humano, b) Desarrollo Económico Productivo, c) Desarrollo Institucional, d) Recursos Naturales y Medio Ambiente, e) Revalorización de la Hoja de Coca, y d) Zonas

A efectos de interpretar y complementar la información de fuente secundaria, los responsables de la evaluación podrán organizar talleres, grupos focales, aplicar encuestas de opinión, entrevistas de profundidad y otro tipo de sondeos de fuente primaria de información. Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

Expulsoras de Población. Los mismos deben guardar relación con los indicadores contenidos en el CMI del Plan nacional de Desarrollo Integral con Coca (PNDIC). 4. Verificar, medir y/o estimar el cumplimiento de los objetivos, metas y resultados “intermedios”, contenidos en el PNDIC y la Programación Operativa Anual. Complementariamente, analizar y valorar los indicadores de los objetivos, metas y resultados esperados, a partir de los criterios de pertinencia, eficiencia, eficacia, viabilidad y sostenibilidad, a través de la construcción de una matriz de análisis de los indicadores del Cuadro de Mando Integral. 5. Identificar y evaluar los factores de causalidad (causa/efecto) que hayan influido e influirán en el cumplimiento o incumplimiento de los resultados, metas y objetivos “intermedios”, que puedan explicar y justificar el estado actual y desempeño operativo, financiero e institucional del VCDI, FONADAL y las Agencias de Cooperación Internacional. 6. Indagar, determinar y evaluar el desempeño institucional en dos niveles: a) operativo, del FONADAL y Oficinas Operativas de los Programas de Cooperación, y b) apoyo, del MDRyT, VCDI, VIPFE, Cooperación Internacional, Beneficiarios y otros actores locales; como responsables e instancias que coadyuvan técnica y operativamente en la implementación del PNDIC; en términos de eficiencia, eficacia y efectividad, en: i) aplicación de normas y procedimientos, ii) capacidad administrativa, financiera y de gestión, iii) capacidad técnica y operativa, iv) disponibilidad de recursos humanos capacitados, y iv) análisis de tiempos. 7. Análisis y evaluación de las actividades realizadas, sus resultados parciales y/o intermedios, alcanzados por el VCDI, FONADAL y las Agencias de Cooperación a través de sus Oficinas Ejecutoras de Programas, y sugerir las medidas y ajustes necesarios en los documentos que rigen y norman sus procedimientos operativos. 8. Analizar las principales amenazas y oportunidades en el cumplimiento de objetivos, metas y resultados contenidos en el PNDIC, hasta su expiración prevista para el año 2015. Los responsables de la evaluación pueden aplicar un análisis FODA o proponer una metodología alterna. 9. Organizar talleres, grupos focales, aplicar encuestas y entrevistas a informantes clave para levantar información relevante y precisa sobre las percepciones de los beneficiarios directos en particular y de los usuarios en general, respecto a la: a) ejecución de los proyectos, y b) generación de probables efectos e impactos intermedios y/o parciales, a efectos de construir una matriz de actores sociales, políticos y otras organizaciones de productores que estén relacionados con la

Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

implementación del Plan, y la operación y mantenimiento de las intervenciones o proyectos ejecutados en el marco del PNDIC.12

10. Internalizar los resultados y lecciones aprendidas que derivaron de la evaluación de medio término a través de su incorporación en los procedimientos operativos, administrativos y financieros, a efectos de mejorar el desempeño operativo, administrativo e institucional del VCDI, FONADAL y Agencias de Cooperación, con vista a lograr los objetivos, metas y resultados contenidos en el CMI del PNDIC. 11. Proponer recomendaciones, medidas correctivas que aseguren la efectiva implementación del PNDIC, y evaluar la pertinencia y viabilidad de los mecanismos previstos por los diferentes actores para dotar de una adecuada operación y mantenimiento de las intervenciones y proyectos entregados, y así asegurar la sostenibilidad de las mismas. En caso extremo, sólo cuando se encuentre en riesgo la obtención de algunos de los objetivos contenidos en el Plan Nacional de Desarrollo Integral con Coca, los responsables de la evaluación deberán elaborar un plan que reviertan las amenazas identificadas. 5.3.

Resultados y Productos de la Evaluación de Medio Término

A continuación realizamos un breve punteo sobre el contenido mínimo para el “Informe de la Evaluación de Medio Término”, éste detalle es referencial y no es limitativo a otros resultados y/o productos que podrían mejorar y enriquecer el informe: 5.3.1. Documento referido al plan de trabajo, propuesta metodológica, e instrumentos de acopio de información e indicadores; necesarios para encarar la evaluación de medio término del Programa, que comprenda: • Plan de trabajo, propuesta metodológica, logística e instrumentos que se utilizarán para recabar y ordenar la información necesaria para el cumplimiento de los objetivos de la evaluación. • Recopilación de datos e información referida a la programación, ejecución física y financiera del periodo comprendido para la evaluación, desagregada por tipo de operador: VCDI, FONADAL y Agencias Ejecutoras de los Programas. • Los dos puntos anteriores deben estar respaldados con el diseño de una propuesta de indicadores de monitoreo, evaluación intermedia y desempeño institucional de los operadores del PNDIC, a partir de los indicadores de resultado contenidos en el Plan Nacional de Desarrollo Integral con Coca.

Tanto las encuestas, entrevistas a profundidad, grupos focales como talleres participativos, deben aplicarse a actores relacionados directa e indirectamente con la implementación del PNDIC.

Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

5.3.2. Documento o memoria de la evaluación de medio término del PNDIC, que comprenda: • Evaluación y valoración del cumplimiento de los objetivos, metas y resultados “intermedios” de cada área programática ó componente del PNDIC, a través de la construcción de una matriz de análisis de los objetivos e indicadores contenidos en el CMI del PNDIC. • Evaluación de los factores de causalidad (causa/efecto) que hayan influido e influirán en el cumplimiento o incumplimiento de los resultados, metas y objetivos “intermedios”, que puedan explicar y justificar el estado y desempeño operativo, financiero e institucional del Programa. • Evaluación del desempeño institucional de las entidades responsables de la ejecución del PNDIC (MDRyT, VCDI, FONADAL, Cooperación Internacional, Beneficiarios y otros actores locales). • Análisis y evaluación de las actividades realizadas, resultados parciales y/o intermedios, alcanzados por cada operador y/o impulsor del PNDIC. • Análisis de amenazas y oportunidades en el cumplimiento de objetivos, metas y resultados contenidos en el Cuadro de Mando Integral contenido en el PNDIC, para cada Componente y Programa, hasta su expiración prevista para el 2015. • Valoración social, política y de percepciones de los beneficiarios directos en particular y de los usuarios en general, a través de una matriz de actores sociales, políticos y otras organizaciones de productores que estén relacionados con la implementación del PNDIC, y la operación y mantenimiento de las intervenciones y proyectos entregados en el marco del PNDIC. • Sistematización y asimilación de los resultados y recomendaciones de las actividades del control social y los talleres de rendición participativa de cuentas (RPdC) con actores sociales relevantes y las comunidades beneficiarias. • Presentación en formato “Power Point”, que resuma la memoria o informe final de la evaluación de medio término del PNDIC. 5.3.3. Documento de recomendaciones y sugerencias de ajustes al Plan Nacional de Desarrollo Integral con Coca, y otras para encarar la reingeniería y fortalecimiento del VCDI (en caso que corresponda), que comprenda: • Conclusiones y recomendaciones que derivaron de la “sistematización” de los resultados y lecciones aprendidas de la evaluación de medio término, para su incorporación en los procedimientos operativos, administrativos y financieros, con el objeto de mejorar el desempeño programático e institucional del PNDIC. • Propuesta de ajustes y/o medidas correctivas que aseguren la efectiva implementación del PNDIC, y un plan que involucre a los diferentes actores y operadores, para implementar un mecanismo que asegure una adecuada operación y mantenimiento de las intervenciones y/o proyectos entregados, y así asegurar la sostenibilidad de las mismas. Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

• •

5.4.

Recomendaciones para encarar de manera adecuada el ajuste, actualización o diseño del siguiente PNDIC. Presentación en formato “Power Point”, sobre la propuesta de ajustes al PNDIC (si corresponde) y las recomendaciones para encarar el proceso de diseño del siguiente Plan Nacional de Desarrollo Integral con Coca.

Proceso de Retroalimentación

A partir de los resultados de la evaluación de medio término, los responsables de la evaluación deben sugerir recomendaciones de ajuste al Plan Nacional de Desarrollo Integral con Coca (si corresponde), con el objeto de asegurar la implementación y cumplimiento del mismo en su plazo de vigencia hasta el 2015, y de esta manera mejorar el desempeño y sostenibilidad del Plan. Esta actividad se realizará de forma interna (revisión de procedimientos operativos, administrativos y financieros) como con los actores externos que participan en la gestión institucional del PNDIC (MDRyT, VCDI, VIPFE, FONADAL, Cooperación Internacional, Beneficiarios y otros actores), con el propósito de tener mayor incidencia y control sobre los factores “endógenos y exógenos” que determinan el desempeño programático e institucional del PNDIC. Asimismo, los resultados que expulse la evaluación de medio término, se constituyen en el principal insumo para iniciar el proceso de revisión y evaluación de la metodología utilizada en el diseño del PNDIC, la sistematización de lecciones aprendidas y analizar los posibles errores y/o elementos que no fueron considerados en ésta etapa, para que los mismos sean considerados al momento de su ajuste o en el diseño del siguiente PNDIC. En este sentido, los resultados de la evaluación de medio término más las conclusiones que expulsa el proceso de rendición participativa de cuentas y el control social, deben plantear recomendaciones para encarar el diseño del nuevo PNDIC, y a partir de la evaluación del desempeño institucional, proponer un mecanismo para la reorganización o reingeniería del VCDI (en caso que corresponda), acorde a las necesidades de ajuste institucional determinadas por la dinamicidad de la política pública sectorial. Por otro lado, es importante determinar anticipadamente la periodicidad con la que se realizarán las evaluaciones de medio término y quién será responsable de su realización. Se recomienda asumir periodos semestrales, anuales o bianuales, dependiendo de las necesidades estratégicas definidas institucionalmente y de lo establecido en el propio Plan Nacional de Desarrollo Integral con Coca, en términos de seguimiento, revisiones y evaluaciones de ese instrumento de planificación; por razones estratégicas y de imparcialidad en el trabajo, la responsabilidad de la evaluación de medio término debería Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

encomendarse a un grupo multidisciplinario de profesionales externos al VCDI, tal como se describe en el siguiente esquema:

EVALUACIÓN DE MEDIO TÉRMINO DEL PNDIC

VCDI • FONADAL

AGENCIAS DE COOPERACIÓN INTERNACIONAL

La “Evaluación de Medio Término”, tiene el objetivo de evaluar el desempeño y resultados intermedios, tanto operativos, administrativos como financieros.

USO DE INDICADORES (Periodicidad: Semestral, Anual y/o Bianual) Realizada respecto a: PNDIC, Cuadro de Mando Integral y POA’s

Retroalimentación (Medidas Correctivas)

Responsable: EQUIPO DE CONSULTORES 27.09.2010

Por último, la evaluación de medio término, supone la indagación y valoración de los resultados, metas y objetivos intermedios contenidos en el PNDIC y la determinación del desempeño institucional programático e institucional hasta el momento de la evaluación. Su complementación se da con la evaluación ex-post que permitirá conocer la eficacia, eficiencia, efectividad e impacto de las inversiones destinadas al logro de la “desarrollo integral con coca” para el “Vivir Bien” de la población boliviana, que será valorada a través del diseño y ordenamiento de indicadores que propongan los responsables de la evaluación y complementen los datos establecidos en la Línea Base y el diagnóstico previo realizado por el VCDI.

Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

VI.

EVALUACIÓN DE IMPACTO (EX-POST):

El presente documento incorpora el enfoque integral y multidisciplinario para realizar la evaluación ex-post, vale decir, que el análisis de efectos e impactos generados a través de los proyectos y las intervenciones realizadas en el marco del PNDIC, serán evaluadas bajo criterios técnicos, socioeconómicos, sociales, ambientales, y en los casos que correspondan se evaluará el desempeño de la instancia responsable de la operación y mantenimiento del proyecto, con el fin de verificar la eficiencia y eficacia del uso de los recursos que aseguren la “sostenibilidad” de los proyectos. Por razones estratégicas y de imparcialidad, la evaluación ex post será realizada a través de profesionales externos al VCDI, bajo la supervisión y monitoreo de un equipo multidisciplinario designado por el propio Viceministro. Con el propósito de que los responsables de la evaluación ex-post puedan operativizar la evaluación integral, el presente documento tiene previsto seguir criterios y procedimientos indicativos como una guía metodológica para su realización, para este fin se han diseñado formatos e instrumentos para la presentación de resultados por ámbito de evaluación, los mismos que deberán llenarse de acuerdo a las instrucciones establecidas en el presente documento. 6.1.

Marco Conceptual de la Evaluación Ex-Post

La finalidad de la evaluación ex-post, supone la indagación y valoración de los resultados o productos finales de los proyectos ejecutados en el marco del PNDIC y la determinación de los “efectos e impactos” generados a través de la implementación de éstos. Su propósito es conocer la eficacia, eficiencia y efectividad de la inversión pública para identificar si el proyecto modificó las condiciones de vida de la población beneficiaria, con relación a la problemática central que originó la gestión de los mismos (Ver Esquema).

Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

La “evaluación de resultados” permite indagar y analizar el cumplimiento de las metas previstas para cada uno de los propósitos u objetivos específicos, a través de los “indicadores de eficacia” previstos en el marco lógico de los proyectos, en términos de su efectividad, eficiencia y eficacia, para obtener conclusiones que sirvan tanto para la “retroalimentación de la gestión de proyectos del PNDIC”, como para la identificación, formulación y ejecución de otros proyectos de desarrollo integral con coca. La “evaluación de efectos” se refiere al análisis y verificación del cumplimiento de los propósitos del proyecto a través de la verificación de los “indicadores de eficiencia” previstos en el marco lógico, con el propósito de identificar y evaluar los cambios relevantes atribuibles a la presencia del mismo, respecto a la generación de efectos tangibles o intangibles dentro la población beneficiaria. La “evaluación de impacto” permite conocer si el proyecto ha generado cambios relevantes atribuibles a la presencia del mismo, respecto al mejoramiento de las condiciones de vida de la población beneficiaria. A tal efecto, se verifica el cumplimiento del fin a través de los “indicadores o variables de impacto” previstos en el análisis del marco lógico. 6.2.

Objetivos Específicos de la Evaluación Ex-Post

Para el logro del objetivo general de la evaluación ex-post, debe cumplirse secuencial y ordenadamente con los siguientes objetivos específicos: 1. Verificar, medir y valorar el cumplimiento de los resultados y productos contenidos en el Cuadro de Mando Integral del PNDIC. 2. Analizar, medir y valorar el grado de cumplimiento de los propósitos u objetivos específicos del proyecto, a través de la verificación de los indicadores de efecto previstos en el Cuadro de Mando Integral del PNDIC. 3. Analizar, medir y valorar el grado de cumplimiento del fin u objetivo general del PNDIC, a través de la verificación de los indicadores o variables de efectos contenidas en el PNDIC. 4. Identificar factores de causalidad (causa/efecto) que hayan influido en el cumplimiento o incumplimiento de los resultados, propósitos u objetivos específicos, que puedan explicar y justificar el desempeño y estado de los proyectos. 5. Determinar claramente los efectos atribuibles a la presencia de los proyectos en el área de influencia de los mismos. 6. Determinar los grados de cualificación y cuantificación del efecto generado por el proyecto en la población beneficiaria. Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

7. Determinar si el efecto generado por el proyecto en la comunidad beneficiaria, ha contribuido al fin (objetivo general) y propósitos (objetivos específicos) del Plan Nacional de Desarrollo Integral con Coca. 8. Verificar si la entidad demandante (Organización de Productores u otra) realiza una adecuada operación y genera continuidad al servicio provisto por el proyecto. 9. Analizar y verificar la capacidad operativa y financiera de la entidad demandante para realizar una adecuada operación y generar continuidad al servicio provisto por el proyecto. 10. Formular recomendaciones para mejorar las condiciones de sostenibilidad del proyecto evaluado. 11. Internalizar los resultados y las experiencias de la evaluación ex-post a través de su “retroalimentación” en los procesos y procedimientos que norman el ciclo del proyecto en el sector del desarrollo integral con coca (PNDIC). 6.3.

Procedimiento para Realizar la Evaluación Ex-Post

El procedimiento para realizar la evaluación ex-post está estructurado básicamente por cinco etapas claramente definidas, las cuales están sintetizadas en el siguiente cuadro: ETAPA

DESCRIPCIÓN

HITO

Inicio de la Evaluación Ex Post.

Contrato firmado con el equipo multidisciplinario responsable de la evaluación ex post.

Determinación de la muestra de proyectos a

Listado de proyectos seleccionados para la

evaluarse.

evaluación ex post, previa aprobación del VCDI.

3º

Presentación y aprobación del Plan de Evaluación Ex Post.

Plan de Evaluación Ex Post aprobado y cronograma de viajes consensuado con el VCDI.

4º

Realización de la Evaluación Ex Post.

Informe de Visita de Campo presentado de acuerdo a los formatos establecidos.

5º

Elaboración, presentación y aprobación del Informe Final.

Informe Final aprobado con resultados por ámbito de evaluación.

1º 2º

1º Etapa: Inicio de la Evaluación Ex Post Inicio de la etapa de evaluación ex-post, a través de la elaboración de los términos de referencia, invitación pública y contratación de un equipo multidisciplinario responsable de la ejecución de la evaluación ex-post, conformado por un Ing. Agrónomo, un Ing. Civil, un Economista, un Sociólogo y un Ambientalista.

Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

2º Etapa: Determinación de la Muestra de Proyectos a Evaluarse Determinación de una muestra representativa de proyectos a evaluarse en base a los criterios establecidos en el punto 6.4.2 del presente documento. 3º Etapa: Presentación y Aprobación del Plan de Evaluación Ex Post El equipo multidisciplinario responsable de la evaluación debe elaborar y presentar un “Plan de la Evaluación Ex Post”, el mismo que debe estar estructurado en base al siguiente contenido mínimo, para su aprobación por parte del VCDI:

a. b. c. d. e.

objetivos, alcances y metas, proyectos a evaluarse, cronograma, y presupuesto.

El VCDI comunica oficialmente la aprobación del Plan y avala el cronograma de las evaluaciones de campo, con el propósito de comunicar de forma anticipada a las siguientes instancias: a) FONADAL, b) Agencias Ejecutoras de los Programas, c) Organizaciones de Productores, y d) Grupo Beneficiarios en la Zona del Proyecto. 4º Etapa: Realización de la Evaluación Ex-Post La realización de la evaluación ex post está dividida en dos momentos que se complementan en términos de la generación de productos como insumos para la siguiente etapa, estos son: • •

Verificación de indicadores y datos a partir de la Línea Base, y Evaluación “in situ” o Visita de Campo.

5º Etapa: Elaboración, Presentación y Aprobación del Informe Final La elaboración, presentación y aprobación del “Informe Final de Resultados” comprende básicamente dos procedimientos, detallados a continuación: • •

Procesamiento de datos en gabinete, y Presentación y aprobación del Informe Final de Resultados.

Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

6.4.

Aspectos Metodológicos

6.4.1. Principios de la Evaluación Ex-Post Los principios para realizar la evaluación ex-post de proyectos, parten del concepto del aprovechamiento de los recursos en forma eficiente y eficaz, en búsqueda del “Vivir Bien” de la población boliviana, donde la dimensión técnica, económica, social, ambiental e institucional se constituyen en los cinco pilares fundamentales para alcanzar los objetivos de la evaluación ex-post, en la que se articulan “sistémicamente” el crecimiento económico, la equidad social, la gestión ambiental y la capacidad institucional. Para alcanzar los objetivos planteados en el presente documento, ninguno de los ámbitos de evaluación puede considerarse como un criterio único e independiente que demuestre un efectivo logro de las metas y objetivos de los proyectos ejecutados en el marco del PNDIC. Los cinco ámbitos de evaluación, pueden valorarse independientemente, pero esto no significa que sean excluyentes, pues la interrelación entre estos nos expresa el “impacto integral” que alcanzó la ejecución y operación de un proyecto en un contexto determinado. El análisis integral que sustenta la evaluación ex–post planteada a través del presente documento, está definido de forma específica en cinco ámbitos de evaluación: a) técnico, b) económico-financiero, c) social, d) ambiental y e) capacidad institucional para la operación y mantenimiento. Al interior de estos ámbitos de evaluación se han diseñado criterios cuantitativos y cualitativos que determinarán en forma conjunta y sinérgica los “efectos e impactos integrales” que han sido generados por la presencia del proyecto o servicio evaluado dentro la población beneficiaria y en su entorno o área de influencia. Además, estos criterios específicos por ámbito de evaluación son parte de la “línea base” levantada y definida con anterioridad a las intervenciones del PNDIC. Un buen proceso de evaluación ex-post debe incorporar mínimamente los siguientes principios como principal característica que asegure la calidad del mismo: a. Imparcial:

Supone neutralidad, imparcialidad, transparencia y equidad en todo el proceso de análisis y generación de conclusiones y recomendaciones. Por esta razón, el equipo responsable de la evaluación ex-post no debe tener ningún interés particular o intereses de tipo institucional, respecto los resultados de la evaluación ex-post.

Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

b. Creíble:

Lo esencial de la credibilidad es la confianza sobre los responsables de la evaluación y el consiguiente reconocimiento a la calidad de su trabajo. Una buena evaluación debe aplicar normas claras y estrictas al diseño del plan de evaluación, la confiabilidad y validez de los datos asegura el rigor del análisis y la compatibilidad lógica entre las conclusiones y las recomendaciones.

c. Útil:

El éxito del proceso de evaluación ex-post está sustentado por su efecto sobre los agentes involucrados y organizaciones que aprenden de dicho proceso. Los resultados de una evaluación serán útiles, en la medida que sean asumidos e incorporados en los procesos de “retroalimentación” en la gestión de los proyectos.

d. Participativo:

La ejecución e implementación de la evaluación ex-post precisa una amplia participación de todos los agentes involucrados en la gestión del proyecto evaluado. De esta manera se asegura el análisis integral.

e. Retroalimentación: La evaluación ex-post debe coadyuvar a la generación de información que contribuya a retroalimentar el proceso de toma de decisiones, en todas las etapas del ciclo de proyecto, con el propósito de viabilizar el aprendizaje institucional a partir de las experiencias adquiridas. 6.4.2. Criterios para Determinar la Muestra Para cumplir con los objetivos de la evaluación, además de verificar las condiciones de operación y mantenimiento convenidas con las entidades demandante y oferente, se debe realizar la evaluación ex-post de un universo conformado por la cartera de proyectos concluidos en un periodo entre uno (1) a tres (3) años contables a partir de la fecha de emisión del “Acta de Entrega o Conclusión del Proyecto”. Para determinar la muestra de proyectos a evaluarse, se considera la cartera de proyectos concluidos de acuerdo a los siguientes criterios específicos: •

•

Proyectos que hayan cumplido con el período de maduración, el cual está comprendido entre uno (1) a tres (3) años después de la conclusión y entrega del proyecto o servicio, o que se encuentren en etapa de operación. Proyectos ubicados en los diferentes pisos ecológicos del país, por consiguiente equitativamente distribuidos a lo largo y ancho de las áreas de intervención del PNDIC.

Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

•

Proyectos de inversión correspondientes a todos los sectores, sub-sectores y programas establecidos en el PNDIC.

Una vez que se cuenta con una estructura ordenada del universo de proyectos a ser evaluados en la etapa ex-post, el tamaño de la muestra será determinado aleatoriamente a partir de criterios estadísticos que determinen su amplia “representatividad”, bajo la consigna de obtener la mayor cobertura posible, alcanzar a la totalidad de las áreas de intervención previstas en el PNDIC e incorporar proyectos representativos de todos los sectores, sub-sectores y programas ofertados por el PNDIC. Sin distorsionar la representatividad de la muestra, la identificación de proyectos a evaluarse estará complementada por factores y condiciones operativas propias del proceso evaluación ex-post, tales como: • • • •

Accesibilidad a la zona donde se desarrolló el proyecto a evaluarse, Tiempo de viaje a la capital del municipio y a la zona del proyecto, Estacionalidad migratoria de la población beneficiaria, Posibilidades de contacto con los agentes involucrados (Agencias Ejecutoras de los Programas, Organizaciones de Productores, Comunidad Beneficiaria, etc.) y concentración espacial de los proyectos.

6.4.3. Verificación de Datos e Indicadores de la Línea Base Esta etapa es realizada íntegramente en las Oficinas de las Agencias Ejecutoras e implica la revisión exhaustiva de la carpeta del proyecto, con el propósito de analizar los datos e información contenida en la “línea base”, la cual fue levantada con anterioridad a la ejecución (ex-ante). Las actividades previstas en esta etapa son las siguientes: 1º Verificar la coherencia de la información contenida en la “Matriz de Planificación o Marco Lógico” del proyecto, 2º Revisión del cumplimiento de los “indicadores de eficacia” establecidos en el marco lógico del proyecto (grado de cumplimiento de las metas por componentes y productos resultantes de la inversión) que puedan ser verificados en gabinete, 3º Revisión del cumplimiento de los “indicadores de eficiencia” establecidos en el marco lógico del proyecto (grado de cumplimiento de los propósitos u objetivos específicos) que puedan ser verificados en gabinete, 4º Revisión del cumplimiento de los “indicadores o variables de impacto” establecidos en el marco lógico del proyecto (grado de cumplimiento del fin u objetivos superior) que puedan ser verificados en gabinete, Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

5º Verificar la pertinencia y calidad de la documentación técnica que respalda al proyecto, los informes de los supervisores, las planillas de avance generadas por la entidad oferente y el “Acta de Entrega o Conclusión del Proyecto”, 6º Revisión del documento proyecto, los estudios de soporte técnico y otros estudios específicos del proyecto a evaluarse, 7º Análisis de la ejecución del presupuesto general por componentes, 8º Análisis técnico del cumplimiento de la estrategia de ejecución e implementación del proyecto, en términos de eficiencia y eficacia. Es importante resaltar que todos los indicadores y aspectos que precisen de una verificación “in situ”, serán identificados y se convertirán en el principal objetivo de la visita de campo. 6.4.4. Evaluación “in situ” o Visita de Campo El objetivo de la visita de campo es contrastar y verificar la información analizada en la evaluación de gabinete, con la vivencia de la evaluación “in situ” a través de la visita a la zona donde se desarrolló el proyecto y las entrevistas con los agentes involucrados en la operación y mantenimiento del proyecto, con el propósito de verificar aspectos técnicos, económicos, sociales y/o ambientales que fueron previamente identificados en gabinete. Operativamente, la evaluación “in situ” o visita de campo debe cumplir mínimamente con las siguientes actividades: 1º Visita y recorrido de la zona donde se desarrolló el proyecto, con el propósito de verificar aspectos técnicos, que fueron previamente identificados en la evaluación en gabinete. 2º Verificar la consistencia de la información socioeconómica (población beneficiaria, rubros de producción, rendimientos, área incremental, precios, costos de producción y presupuesto por componente), y el cumplimiento de las proyecciones del flujo de caja. 3º Aplicación del cuestionario de valoración social a integrantes representativos de la entidad demandante y/o comunidad beneficiaria. 4º Realizar el análisis cualitativo, y sí corresponde cuantitativo, del estado de situación de los factores ambientales previstos en la “Línea Base Ambiental”: agua, aire, suelos, ruido, ecología y socioeconómico.

Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

5º Verificar el adecuado cumplimiento del Plan de Aplicación y Seguimiento Ambiental (PASA) y la ejecución de las recomendaciones sobre buenas prácticas ambientales por parte de la entidad demandante (si corresponde). 6º Entrevista a funcionarios de la Organización de Productores y/o Comunidad Beneficiaria, para verificar la capacidad institucional para la operación y mantenimiento del proyecto o servicio evaluado, 7º Realizar la verificación “in situ” de los aspectos económicos, sociales, culturales, ambientales e institucionales que sean causales de la generación de efectos e impactos positivos que aseguren la sostenibilidad del proyecto. 6.4.5. Procesamiento de Datos en Gabinete Para realizar el procesamiento de datos en gabinete, el equipo responsable de la evaluación ex-post debe revisar toda la información, tanto en la etapa de verificación de las variables de la “línea base” en gabinete como en la visita de campo, lo cual permitirá contar con la información y argumentos necesarios para realizar el procesamiento de datos recabados en los formatos e instrumentos previstos para cada ámbito de evaluación, con el propósito de obtener los siguientes productos: • • • •

Informe de Resultados en los cinco Ámbitos de Evaluación (informe literal, formatos llenados y resultados por ámbito de evaluación). Informe Final de la Evaluación Integral (formato llenado y dictamen final de la valoración integral). Informe sobre el estado de la Operación y Mantenimiento (O&M) del bien o servicio prestado a cargo de la entidad demandante y/o población beneficiaria. Informe de conclusiones y recomendaciones como un proceso de aprendizaje para ajustar y retroalimentar el ciclo de proyectos en particular y la gestión de proyectos en general.

El “Informe de Resultados de la Evaluación Ex-Post” debe contener la información verificada y los datos recabados a través de la aplicación de los diferentes instrumentos, además debe ser complementado mínimamente con cinco (5) fotografías representativas de la zona donde se desarrolló el proyecto o servicio. Si el “Informe de Resultados de la Evaluación Ex Post” es observado por el VCDI, los responsables de la evaluación ex post deberán realizar su ajuste de acuerdo a las observaciones realizadas y presentarlo nuevamente en el tiempo estipulado por el contrato. Con lo cual concluye el proceso previsto para la evaluación ex post del PNDIC.

Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

6.4.6. Informe de Resultados de la Evaluación Ex-Post El Viceministro de Coca y Desarrollo Integral es responsable de presentar cada dos años un “Informe de Resultados de la Evaluación Ex Post del PNDIC”, para lo cual contratará los servicios de un equipo multidisciplinario de profesionales que tendrán a su cargo la realización del estudio. Es importante resaltar que la evaluación ex-post se debe convertir en una actividad periódica y rutinaria, la misma que debe estar inserta dentro la Programación Operativa Anual (POA) del VCDI con la consiguiente asignación de presupuesto para su adecuado desarrollo y aplicación de la retroalimentación. Además, el Viceministro será la instancia responsable de monitorear el cumplimiento de las recomendaciones emanadas y verificar el cumplimiento del “Plan de Retroalimentación” de forma rutinaria y permanente. Los reportes de evaluación ex-post de cada proyecto deben estar de acuerdo a los formatos establecidos por el VCDI para este fin, los cuales son parte de los anexos del “Informe de Resultados de la Evaluación Ex Post”, el mismo que debe estar elaborado “preferentemente” bajo la siguiente estructura:

Índice Resumen Ejecutivo 1. Introducción 2. Justificación del Proyecto 3. Análisis de Eficacia y Efectividad 4. Análisis de Eficiencia 5. Análisis de Efectos e Impactos 5.1. Efectos Tecnológicos (sí corresponde) 5.2. Impacto Económico 5.3. Impacto Social 5.4. Impacto Ambiental 5.5. Efectos de la Capacidad Institucional 6. Estado de la Operación y Mantenimiento (O&M) 7. Presentación e Interpretación de Resultados 8. Conclusiones 9. Recomendaciones para la Retroalimentación Anexos

Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

6.5.

Ámbitos de la Evaluación Integral Ex-Post

6.5.1. Criterios para la Evaluación Técnica La evaluación técnica es particular para cada sector, sub-sector, programa y tipo de proyecto, de esta manera los criterios técnicos aplicados a la evaluación ex-post son particulares en función a la tipología del proyecto a evaluarse, los mismos que serán asimilados de la normativa técnica existente y desarrollada por tipo de proyecto precisamente para evaluaciones ex post. Sin embargo, a continuación definimos algunos criterios generales para la evaluación técnica de proyectos, tales como: • • • • •

La ejecución óptima y oportuna, con resultados, metas y productos que puedan ser tangiblemente verificados y evaluados en términos de su calidad y cantidad; Adecuados criterios ingenieriles; Determinación de cantidades y costos por tipo de intervención; Estrategias técnicas de implementación; y Un plan de operación y mantenimiento (O&M) adecuado al tipo de proyecto.

6.5.2. Criterios para la Evaluación Socioeconómica a. Para Proyectos con Beneficios Económicos Cuantificables Los criterios planteados para la evaluación socioeconómica, están orientada a mejorar los procesos de decisión sobre la sostenibilidad económica de los proyectos ejecutados en el marco del PNDIC, los mismos que estarán determinados a través de la cuantificación de indicadores de rentabilidad económica y financiera en la etapa de evaluación ex-post, que permitan verificar el “impacto económico” de los proyectos en pleno funcionamiento. A través del presente documento planteamos criterios que conduzcan a emitir apreciaciones ex-post sobre la rentabilidad de las inversiones realizadas, bajo los criterios “costo-beneficio”, “costo-eficiencia” y “costo-efectividad” en el uso de los recursos públicos canalizados para la implementación del PNDIC. De forma objetiva, la evaluación socioeconómica se expresa a través de indicadores de resultado, tales como: a) la Tasa Interna de Retorno Social y Privada (TIR-S y TIR-P), b) el Valor Actual Neto Social y Privado (VAN-S y VAN-P), y c) la Relación Beneficio/Costo (R-B/C). Cuando estos valores presentan resultados positivos, la rentabilidad económica de los beneficiarios ha mejorada a raíz del proyecto desarrollado.

Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

Estos indicadores, parten de un análisis incremental de estática comparativa “con y sin” proyecto, el cual determina los beneficios y costos monetarios que se identifican a través de la “cuantificación de beneficios económicos incrementales” previstos a lo largo de la vida útil del proyecto, con el fin de justificar la inversión a través de la capacidad de recuperación mínima de la inversión y su consiguiente rentabilidad. b. Para Proyectos sin Beneficios Económicos Cuantificables La evaluación socioeconómica para proyectos sin beneficios económicos cuantificables es realizada bajo el criterio “costo-eficiencia” a través de la cuantificación del Costo Anual Equivalente Social (CAES), cuyos beneficios no pueden ser cuantificados y/o valorados. Este criterio debe utilizarse para determinar el costo anual equivalente social del proyecto o servicio evaluado. Al respecto, el CAES también debió utilizarse en la etapa de evaluación ex-ante, con el propósito de asumir la decisión de que se constituya en la alternativa más conveniente para la inversión a realizarse, puesto que la alternativa con menor CAES supone que los beneficios, además de ser mayores a los costos, son iguales para todas las alternativas analizadas. En la evaluación ex–post, el Costo Anual Equivalente Social (CAES) establece lo siguiente: a) cuando el CAES del proyecto evaluado es menor o igual al parámetro de costo eficiencia respectivo, la solución planteada con el proyecto “es eficiente”; b) cuando el CAES del proyecto evaluado es mayor al parámetro costo eficiencia correspondiente, significa que dicha solución “no fue la más eficiente”. 6.5.3. Criterios para la Valoración Social Los criterios sociales que definen si los proyectos generan diferentes grados de “impacto social”, están basados en la consideración imprescindible de que los proyectos demuestren consenso y concertación social previamente alcanzados entre sus beneficiarios. Además, en la valoración social deberán considerarse específicamente cinco criterios centrales definidos en la evaluación ex-ante: a. b. c. d. e.

consenso social, acceso a servicios de consumo colectivo, equidad social, capital social e identidad cultural, y control social.

Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

El objetivo del procedimiento previsto para la valoración social ex-post de los proyectos desarrollados en el marco del PNDIC, busca que los mismos dimensionen objetivamente sus objetivos y resultados en función del impacto social, expresados a través de una conjunción sinérgica del enfoque de género, generacional y étnico cultural de los proyectos, asociados a los componentes técnico, económico, ambiental e institucional. El análisis y la valoración social, a través de la evaluación de impactos sociales, pretende establecer los efectos que ocasionó la ejecución, operación y mantenimiento de los proyectos o servicios, con el fin de definir acciones correctivas y medidas necesarias para fortalecer la equidad, cohesión social y la revalorización de la identidad étnica y cultural de las comunidades campesinas y pueblos indígenas. En suma, se pretende dimensionar el impacto social de los proyectos, en términos de la generación de capital social dentro la población beneficiaria como un importante medio para alcanzar la sostenibilidad de los mismos. 6.5.4. Criterios para la Evaluación Ambiental Los criterios ambientales identifican los impactos potenciales negativos y positivos de los proyectos, acorde con las características naturales, hábitats protegidos y asentamientos humanos dentro el área de influencia del proyecto u otras zonas de intervención. De igual modo, la gestión ambiental define los requerimientos de manejo ambiental y sensibilidad local respecto al medio ambiente y sus consiguientes implicaciones en la ejecución y operación de los proyectos. Los principales objetivos de la evaluación ambiental ex-post son: cuantificar el grado de “impacto ambiental” producido por la presencia de un determinado proyecto en sus etapas de ejecución y operación, a través de la medición y valoración de la efectividad del Programa de Prevención y Mitigación (PPM) y el Plan de Aplicación y Seguimiento Ambiental (PASA) a través de la ejecución de las correspondientes medidas de mitigación para determinar si la gestión ambiental del proyecto fue la correcta. A tal efecto, el equipo responsable realizará la evaluación ambiental sobre datos e información contenida en la “Línea Base Ambiental” e incluirá un balance de situación de los aspectos físico - biológicos, técnicos y económicos: a. los aspectos físico – biológicos están referidos tanto al estado inicial del ambiente, antes del proyecto, así como el estado ambiental una vez concluido el proyecto;

Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

b. los aspectos técnicos, están referidos a las intervenciones realizadas por el proyecto y relacionadas a las medidas de mitigación establecidas al inicio del proyecto; y c. los aspectos económicos están orientados hacia la valoración económica ambiental. 6.5.5. Criterios para Evaluar la Capacidad Institucional La evaluación de la capacidad institucional en la etapa ex-post, tiene como finalidad determinar la capacidad de gestión de la Entidad Operadora y/o de la Comunidad Beneficiaria para realizar la Operación y Mantenimiento (O&M) del proyecto o servicio. Con estos antecedentes, se definen criterios generales para realizar la evaluación institucional, los mismos que varían de acuerdo al tipo de proyecto, sin embargo están delimitados básicamente por los siguientes: a. b. c. d. e. f. g. h.

experiencia, estabilidad y continuidad institucional, cultura organizativa, eficiencia y eficacia institucional, promoción de la participación social, capacidad financiera, cumplimiento de compromisos, y cumplimiento del Plan de O&M.

La evaluación del estado de la operación y mantenimiento corresponde a la etapa del servicio que presta el proyecto a la comunidad beneficiaria. Es decir, para que el proyecto pueda alcanzar su fin y propósitos deberá demostrar sus beneficios de uso y sostenibilidad. En este sentido, la evaluación de la O&M se orienta a mostrar el nivel de funcionalidad del proyecto y formular recomendaciones para asegurar dicha funcionalidad. Los criterios de la evaluación cualitativa de la O&M están orientados principalmente a cuantificar y cualificar el estatus de los proyectos ejecutados en los siguientes aspectos: a) el estado funcional del proyecto, b) la apreciación cualitativa de los efectos e impactos económicos, sociales y medioambientales del proyecto, y c) la detección de las relaciones de causalidad que explican el estado funcional del proyecto y la generación de impactos. Estos aspectos, debido a las realidades particulares del proyecto, se analizan bajo un contexto amplio de entorno que permiten comprender el contexto en el cual fue concebido, desarrollado, ejecutado y concluido el proyecto a evaluarse. En este sentido, los criterios cualitativos se circunscriben en los siguientes aspectos: Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

a. Estado de Operación del Proyecto: Si el proyecto se encuentra funcionando y generando servicios y/o beneficios que generan impactos en los ámbitos económico y social de la población beneficiaria. b. Estado de Mantenimiento: Si el proyecto se encuentra adecuadamente utilizado por el grupo de beneficiarios y cuenta con las instancias de organización comunal que financian y ejecutan la operación y/o funcionamiento del proyecto. c. Conceptualización: Si con la ejecución del proyecto, el mismo respondió conceptualmente (diseño técnico, integralidad entre componentes, estrategia de ejecución, etc.) a la solución del problema identificado. d. Ejecución de Proyecto: Si el proyecto fue ejecutado con los debidos procesos de supervisión, seguimiento y fiscalización de las instancias correspondientes (Gobierno Municipal, Organización de Productores, Comunidad Beneficiaria y otras instancias locales) y no ha generado conflictos que se reflejen en el tiempo de ejecución, en la organización social de la comunidad, en la calidad del servicio prestado y en el cumplimiento de los resultados y metas. e. Apropiación Comunal del Proyecto: Si el proyecto se consideró una necesidad sentida de la comunidad, como respuesta al problema planteado para que estas instancias intervengan de manera activa como participantes, usuarios y directos responsables de la sostenibilidad del mismo. 6.6.

Proceso de Retroalimentación

A partir de los resultados de la evaluación ex-post, el Viceministro de Coca y Desarrollo Integral deberá encarar una “Estrategia de Retroalimentación” o “Feed Back” para instituir procesos de ajuste permanente que refresquen la política pública sectorial y mejoren la sostenibilidad de los proyectos. Esta actividad deberá realizarse tanto de forma interna (en la normativa del ciclo del proyecto y sus instrumentos operativos) como con los actores externos involucrados en la gestión de los proyectos (FONADAL, Agencias de la Cooperación Internacional y Comunidad Beneficiaria), con el propósito de tener incidencia y mayor control sobre los factores “endógenos y exógenos” que inciden en la implementación de la política pública sectorial y la sostenibilidad de los proyectos. La experiencia adquirida y el nivel de aprendizaje que emerge a partir de los resultados de la evaluación ex-post son de dos tipos:

Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

a. Aprendizaje Operativo: tiende a estar relacionado con la eficiencia, la eficacia y aprendizaje de desarrollo que se concentra en los efectos e impactos. b. Aprendizaje Emergente: nace de las experiencias adquiridas y se traduce en conclusiones y recomendaciones que pueden convertirse en parámetros de diseño o supuestos para la implementación de otros proyectos. La ejecución de un buen proceso de evaluación ex post brinda oportunidades de aprendizaje a todos los agentes involucrados en la gestión del proyecto. La clave para tener éxito en éste propósito es la interpretación, análisis y difusión de los resultados de la evaluación ex post, sean estos positivos como negativos. Además, estas oportunidades de retroalimentación y aprendizaje pueden extractarse de las experiencias adquiridas en la implementación de todas las etapas previstas en el ciclo de proyecto. En consecuencia, la ejecución de buenas evaluaciones ex post y la difusión de sus resultados se traducen en lecciones emergentes de la experiencia adquirida y se convierten en los mejores instrumentos de aprendizaje para mejorar la política pública sectorial, y el diseño, ejecución y operación de los proyectos ejecutados en el marco del PNDIC. Si los resultados de las evaluaciones ex-post identifican incumplimientos en las condiciones de operación y mantenimiento contractualmente convenidas con los Gobiernos Municipales, Organizaciones de Productores o Comunidad Beneficiaria, se aplicarán las siguientes acciones de forma “preventiva” o definitivamente “correctiva”: a. Se recomendarán acciones que deberán ser encaradas por los agentes responsables del mantenimiento del proyecto, determinándose un plazo perentorio para su ejecución, además de los instrumentos de verificación a ser presentados. b. En caso de incumplimiento del punto anterior, se analizarán y evaluarán futuras intervenciones con los grupos anteriormente beneficiados, con el propósito de incentivar la atención de estos beneficiarios hacia la operación y mantenimiento de las intervenciones desatendidas. c. En caso de que la situación se mantenga invariable, se determinará que el Gobierno Municipal, Organización de Productores y/o Comunidad Beneficiaria no son elegibles para gestionar futuras intervenciones en el marco del PNDIC, mientras no se corrijan los incumplimientos que dieron lugar a esta medida correctiva de carácter temporal.

Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

VII.

CONSTRUCCIÓN DE LA LÍNEA BASE E INDICADORES:

7.1.

Definición

Para poder construir un sistema de evaluación es indispensable mantener presente que la actividad de evaluación ex-post no es la última etapa en el ciclo del programa o proyecto, sino un proceso constante de mejoramiento en el cual los interesados aprenden a evaluar constantemente su progreso hacia metas determinadas por ellos mismos a reorientar sus planes y estrategias según los resultados de un proceso continuo de evaluación. Para lo cual es imprescindible contar con información sistematizada sobre el estado de partida del objeto de intervención a través de la construcción de una línea base. La línea base se define como un conjunto de indicadores seleccionados para el seguimiento y la evaluación sistemática de la política sub-sectorial. Los indicadores que la conforman se clasifican en “desempeño e impacto” y al mismo tiempo se ordenan, de acuerdo a su importancia relativa, en indicadores claves y secundarios (Ver Cuadro). Quienes diseñan y ejecutan la política sub-sectorial, obtienen en los indicadores clave la información general sobre la forma cómo evolucionan los problemas y, en los secundarios, información puntual que explica o complementa la suministrada por los indicadores claves. ETAPA

MOMENTO DE APLICACIÓN

INSTRUMENTO

Evaluación Ex-Post

Periódica o según los resultados del monitoreo y control.

Indicadores de impacto.

Monitoreo y Seguimiento

Permanente.

Indicadores de desempeño, rendimiento y resultado.

Sistematización

Según los resultados de la evaluación y/o el monitoreo.

Metodología de sistematización.

La conformación de la línea base implica la realización de pasos previos en la identificación de información necesaria y en la precisión de criterios que conducen a un aprovechamiento óptimo de la información disponible para la toma de decisiones. 7.2.

Objetivos

El objetivo general de la línea base para el PNDIC, es el de establecer los parámetros de comparación para medir en el tiempo (anualmente) la evolución de la población beneficiaria, en aspectos relacionados con la situación económica (ingresos), social, ambiental, innovación tecnológica, productiva y organizacional generada a través de las intervenciones emprendidas en el marco del desarrollo integral con coca.

Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

Los objetivos específicos de la construcción de una línea base estarían resumidos en los siguientes puntos: • Brindar información agregada, oportuna y confiable, que permita al Viceministerio de Coca y Desarrollo Integral (VCDI) alcanzar niveles óptimos de eficiencia en la gestión y en los procesos de la toma de decisiones; • Contribuir con la consolidación de una cultura de uso y aprovechamiento de la información, mediante el manejo permanente de indicadores seleccionados y de análisis de eficiencia comparativa en el monitoreo, seguimiento y evaluación de las políticas públicas, programas y proyectos ejecutados; • Implementar un sistema de monitoreo, seguimiento y evaluación, que permita consultar e indagar sobre información estratégica, gerencial y operativa; y que permita obtener datos de trabajo para su edición; • Mantener una base de datos actualizada y alimentada permanentemente con información levantada en las Oficinas de las Agencias Ejecutoras de los Programas. Esto permitirá un análisis detallado con el fin de establecer prioridades, planificar actividades en forma estratégica y medir los efectos e impactos generados por las intervenciones realizadas en el marco del PNDIC; 7.3.

Estructura de la Línea Base

La línea de base puede incluir tres grupos de indicadores: indicadores de estructura, de coyuntura y de referencia. Dependiendo de las características particulares, necesidades e intereses del sub-sector de desarrollo integral con coca, en la línea de base pueden no estar presentes necesariamente los tres tipos de indicadores. •

Indicadores de Estructura: Son la base de la planeación. Se refiere a los indicadores ya estandarizados, de uso común, cuyos análisis involucran series de tiempo.

•

Indicadores de Coyuntura: Se refieren a las mediciones sobre el estado de situación de la política pública, plan sectorial y metas propuestas por el MDRyT y el propio VCDI, entre ellos destaca el seguimiento y evaluación de los objetivos y metas contenidas en el Plan de Desarrollo Sectorial: “Revolución Rural, Agraria y Forestal” y el Plan Nacional de Desarrollo Integral con Coca (PNDIC).

•

Indicadores de Referencia: Se refieren al entorno demográfico y socioeconómico general (indicadores de población, macroeconómicos, sociales, sectoriales y otros).

Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

La estructura de indicadores permite establecer jerarquías entre ellos. En un nivel superior se agruparán los indicadores claves que ofrecen a los tomadores de decisiones una visión global del comportamiento de la política pública y sus programas. En un segundo nivel, los indicadores secundarios, que ofrecen una visión complementaria a los primeros. Los niveles directivos y ejecutivos, tomadores de decisión acudirán a ellos para informarse en detalle de las variaciones de los indicadores claves. En un tercer nivel se encuentran otros indicadores más operativos y específicos, cuya naturaleza indica que son más del dominio de funcionarios y mandos medios del VCDI (Ver Figura 8). La Figura 9 ilustra la forma como el indicador clave se descompone en cuatro indicadores secundarios. De esta manera, quien tome las decisiones se dirigirá en primera instancia al indicador clave, que dará respuesta a una política o programa, agrupando o resumiendo toda la información dispuesta en los indicadores secundarios. Estos últimos facilitan la observación de realidades específicas, a mayor nivel de detalle, cuando el indicador clave no pueda explicar en su totalidad las causas del resultado obtenido.

7.4.

Alcance de la Línea Base

A partir del establecimiento de un año base o un periodo de referencia para el conjunto de indicadores de la línea base, se puede realizar ejercicios de eficiencia comparativa y estudios de desempeño en el tiempo. La etapa de revisión y estado del arte de la información disponible y de su calidad indicará el año a partir del cual se realizarán las comparaciones y se observarán los cambios temporales. El ejercicio de diseñar y utilizar una línea base, como instrumento de apoyo a la evaluación permanente de acciones e intervenciones del VCDI, permite:

Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

•

Identificar indicadores claves, de uso obligado para el monitoreo, seguimiento y evaluación de la gestión, y de las tendencias y cambios que las intervenciones del PNDIC producen en la población beneficiaria.

•

Organizar bases de datos de acuerdo a las necesidades de información identificadas en el proceso de construcción de los indicadores.

•

Definir técnicas y procedimientos estandarizados que garanticen la obtención de la información requerida.

•

Establecer funciones y compromisos institucionales frente a los requerimientos de información, generación y difusión de datos.

•

Realizar ejercicios analíticos bajo el enfoque de eficiencia comparativa, mediante el uso de: i) estándares (situaciones promedio y situaciones óptimas), como referentes a través de los cuales ha de compararse la situación institucional del VCDI; ii) referencias temporales (datos del año base establecido), con las cuales han de compararse las metas y los logros temporales de políticas y programas establecidos en el Plan Nacional de Desarrollo Integral con Coca (PNDIC).

•

Democratizar el acceso a la información. El Viceministro y las instancias directivas del VCDI minimizarían su dependencia de los agentes proveedores de información, que en los esquemas actuales controlan la generación de la información y sólo responden a requerimientos puntuales.

•

Acortar la distancia entre el proceso de producción de información, generación de datos, disponibilidad en bases de datos organizadas, indicadores y el proceso de toma de decisiones.

•

Facilitar la coordinación interinstitucional con otras instancias gubernamentales y articular sistemas de información a nivel horizontal y vertical con los diferentes niveles sub-nacionales y actores relacionados con la implementación del Plan Nacional de Desarrollo Integral con Coca (PNDIC).

7.5.

Metodología para la Construcción de la Línea Base

La metodología contempla la realización de los siguientes seis pasos: • • • • • •

Planificación; Indagación de las necesidades de información en instancias de toma de decisiones; Diseño preliminar de la estructura y el contenido de la línea base; Análisis y verificación de la información; Desarrollo de una herramienta informática; y Selección y construcción de indicadores.

Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

7.5.1. Planificación Los escenarios de construcción de una línea base son diversos, en el presente caso participan: i) una entidad responsable del diseño de la política pública sectorial (MDRyT), ii) una entidad pública responsable del diseño de la política pública sub-sectorial (VCDI), y iii) un conjunto de cooperantes, entidades sectoriales y actores sociales y económicos, relacionadas con la implementación del PNDIC. Dependiendo del escenario, la etapa de planificación permite precisar los objetivos, establecer la magnitud de las metas y sus plazos, la conformación del equipo técnico, los recursos necesarios, los resultados esperados y el esquema de organización y operación, gran parte de estos aspectos están ampliamente desarrollados en el Plan Nacional de Desarrollo Integral con Coca (PNDIC). Complementariamente al PNDIC, es fundamental que el Viceministro y los mandos medios del VCDI determinen los siguientes productos para el inicio y desarrollo de la línea base sub-sectorial: • • • •

Objetivos y alcance de la línea base; Plan de trabajo y cronograma; Grupo técnico de coordinación y equipos de trabajo; y Recursos físicos y financieros.

7.5.2. Requerimiento de Información Una vez establecida la magnitud de las actividades, el alcance de la línea base y todos los aspectos concernientes a la planificación, la segunda etapa del proceso conduce a una revisión del marco normativo y la identificación de necesidades de información relacionadas con demandas externas y requerimientos en instancias de toma de decisiones. La presente asistencia técnica ha desarrollado ampliamente este aspecto a través del Tomo I: Gestión y Gerencia de la Información en el VCDI, el cual identifica claramente las necesidades de información por nivel funcional a nivel interno y las necesidades de información de otras entidades gubernamentales y de la cooperación internacional a nivel externo. 7.5.3. Diseño de la Estructura y Contenido de la Línea Base Con los resultados del proceso anterior, el equipo técnico define las áreas temáticas e identifica dependencias y actores responsables de la información. Elabora, de igual modo, un listado preliminar de las principales variables con base en las referencias del marco normativo -en tanto éste establece prioridades, requerimientos de información y pertinencia- y de los requerimientos de información expresados por funcionarios en los diferentes niveles de decisiones (ejecutivo, gerencial y operativo). Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

El resultado es el diseño preliminar de una estructura de línea base y un conjunto de indicadores, con sus variables identificadas y su fórmula de cálculo. El principal producto de esta etapa será la estructura preliminar de la línea base y la matriz de indicadores. 7.5.4. Verificación y Análisis de Calidad de la Información El equipo técnico realiza un análisis de la información, con base en el resultado de la etapa de diseño (estructura de línea base y matriz de indicadores). El análisis consiste en verificar, a través de los formatos de las operaciones estadísticas existentes (censos, encuestas, muestras y otros registros) y la disponibilidad de la información requerida para la construcción de los indicadores. La verificación de la información se realiza en dos niveles, al interior del VCDI y entre los actores que financian e impulsan la implementación del PNDIC, lo que permite identificar y clasificar las necesidades de información en el proceso de construcción de la línea base. Además, este ejercicio permite establecer los flujos de información entre las diferentes unidades funcionales del VCDI, entre cooperantes, entidades impulsoras y actores locales del PNDIC y con otras entidades gubernamentales externas que cumplan con la función de proveedoras y/o usuarias de la información. Los principales productos de la etapa de verificación y análisis de calidad de la información, están resumidos en los siguientes puntos: • • • • 7.6.

Balance de la calidad de la información, según parámetros establecidos; Flujos de información; Descripción de nivel y forma de organización de la información; y Balance del grado de aprovechamiento de la información disponible. Construcción de Indicadores

En esta etapa se establece la matriz de indicadores definitivos para la línea base y la documentación de los mismos, conforme una estructura de “meta-datos” previamente diseñada. Se formulan lineamientos sobre la construcción y organización de bases de datos que han de alimentar los indicadores. Los “meta-datos” se definen como los datos que sustentan los indicadores seleccionados. Son un conjunto común de términos y definiciones que describen las principales propiedades o características de los datos y deben cumplir con los siguientes principios: •

Disponibilidad: permite a los usuarios identificar y determinar qué información existe sobre los indicadores seleccionados en la línea base;

Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

• • •

Uso: información necesaria para determinar si el conjunto de datos se ajusta a un requerimiento específico; Acceso: datos acerca de la ubicación, tamaño, formato, medio y restricciones de uso con el fin de identificar y adquirir un grupo de datos; y Transferencia: información necesaria para utilizar, procesar e intercambiar un conjunto de datos.

La documentación de los indicadores permite informar al usuario sobre las entidades que producen la información y sobre su disponibilidad. El “meta-dato” responde a las preguntas qué, quién, cuándo, dónde, para qué y cómo, de los aspectos relativos a los datos que se documentan. La inclusión del registro de “meta-dato” en el esquema de línea base constituye un aporte al acceso y la democratización de la información. Facilita, a cualquier usuario, la información sobre las características de los indicadores (procedencia de la información, periodo de producción, desagregaciones, forma de captura y difusión, entre otros aspectos). El principal producto de la etapa de selección y construcción de indicadores, es básicamente la “Matriz de Indicadores”, que contiene indicadores seleccionados en virtud de los resultados de verificación y análisis de la información disponible y por conseguir, una parte de estos indicadores están desarrollados en el Cuadro de Mando Integral del Plan Nacional de Desarrollo Integral con Coca (PNDIC). Los indicadores que se incluyan en la línea base han de permitir un ejercicio de comparación de situaciones. La línea base se ha pensado para registrar la situación promedio de cada indicador y la distribución por grupos poblacionales por encima y por debajo del promedio. Lo ideal es que un usuario pueda encontrar en la línea base: • •

Datos de referencia del indicador correspondiente a promedios sectoriales, departamentales o locales, en el año base. Datos de referencia temporal correspondientes al año base. La Base Única de Datos diseñada para el monitoreo y seguimiento al PNDIC, deberá estar en capacidad de incluir datos con series históricas.

La importancia de la línea base va más allá de la simple comparación: permite establecer, a partir de la “situación inicial” de los datos en el año base, los alcances y las transformaciones esperadas según objetivos y metas que se hayan establecido en el Plan Nacional de Desarrollo Integral con Coca (PNDIC). A partir de esta situación, quienes toman decisiones podrán establecer el siguiente esquema de análisis: Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

• • • • 7.7.

Situación inicial del indicador; Meta esperada vs. recursos presupuestarios, según periodos; Comportamiento del indicador: ejecución presupuestaria; y Transformaciones del indicador en el tiempo. Sugerencia de Indicadores de Monitoreo y Evaluación

El “monitoreo” se realiza de manera periódica con el objeto de verificar el logro de los resultados esperados; el “control” es aplicado para verificar el cumplimiento de las normas que regulan las operaciones; y la “evaluación intermedia o de medio término” es encarada a través de cortes transversales que permiten identificar posibles desviaciones y sus respectivas medidas correctivas. La “evaluación ex-post” se constituye en una herramienta fundamental para verificar la generación de resultados, efectos e impactos obtenidos a través de las intervenciones y proyectos ejecutados en el marco del PNDIC. Específicamente, la finalidad de la evaluación ex-post, supone la indagación y valoración de los resultados o productos finales y la determinación de los “efectos e impactos” generados a través de las intervenciones realizadas por el FONADAL y las Agencias de Cooperación Ejecutoras de los Programas de Desarrollo Integral o inclusive el resto de los actores que financian e impulsan la implementación del PNDIC. Bajo estos conceptos, a continuación proponemos un sistema de monitoreo y evaluación de las intervenciones y proyectos ejecutados en el marco del PNDIC, basado en los siguientes cuatro grupos de indicadores (Ver Cuadro):

Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

SISTEMA DE MONITOREO Y EVALUACIÓN

INDICADORES DE PROCESO

INDICADORES DE RESULTADO

MONITOREO La evaluación de proceso permite determinar la efectividad de los métodos, metodologías y técnicas, así como la correcta aplicación de la normativa y procedimientos previstos para el desarrollo del mandato del VCDI. Los indicadores utilizados corresponden a la verificación de la disponibilidad de los medios e insumos.

La evaluación de resultados permite indagar y analizar el cumplimiento de las metas previstas para cada uno de los propósitos u objetivos específicos, a través de “indicadores de eficacia”, en términos de su efectividad, eficiencia y eficacia, para obtener resultados y/o productos.

INDICADORES DE EFECTO

INDICADORES DE IMPACTO

EVALUACIÓN EX POST La evaluación de efectos se refiere al análisis y verificación del cumplimiento de los propósitos a través de la verificación de los “indicadores de eficiencia”, con el propósito de identificar y evaluar los cambios relevantes atribuibles a las intervenciones realizadas en el marco del PNDIC, respecto a la generación de efectos tangibles o intangibles.

La evaluación de impacto permite conocer si la implementación del PNDIC ha generado cambios relevantes atribuibles a sus intervenciones y proyectos en la población meta o beneficiaria.

A continuación presentamos conceptualmente una sugerencia de indicadores para cada uno de los cuatro grupos que sustentan el sistema de monitoreo y evaluación, los mismos que son de carácter cuantitativo y cualitativo, para medir el grado de obtención de las metas (resultados) y objetivos de desarrollo institucional (efectos) que contribuyan al logro de la misión y visión contenidas en el Plan Nacional de Desarrollo Integral con Coca del VCDI (impacto), en términos de calidad, cantidad, tiempo y espacio.

Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

7.7.1. Indicadores de Proceso CRITERIOS

VARIABLES

INDICADORES

MEDIOS DE VERIFICACIÓN

- Normas y

Nº de Normas, Manuales y Reglamentos

- Informes de Avance.

Reglamentos.

aplicados / Nº de Normas, Manuales y Reglamentos previstos a considerar

- Informe de Monitoreo.

Eficacia

- Insumos y

Acceso oportuno y efectivo a los

- Informes de Avance.

(Cualitativo)

medios.

insumos y medio previstos

- Informe de Monitoreo.

Monto ejecutado (Bs.) / Monto Presupuestado (Bs.)

- Informes de Ejecución Presupuestaria. - Reporte de Tesorería y SIGMA. - Informe de Monitoreo.

Tiempo real de ejecución (días calendario – semanas) / Tiempo previsto en el cronograma (días calendario – semanas)

- Cronograma de Actividades. - Informes de Avance. - Informe de Monitoreo.

Eficacia (Cuantitativo)

Eficacia (Cualitativo)

Eficiencia (Cuantitativo)

- Presupuesto. - Recursos desembolsados.

- Cronograma de Actividades. - Tiempos de Ejecución.

7.7.2. Indicadores de Resultado CRITERIOS Eficacia (Cuantitativo)

Cobertura (Cuantitativo)

Calidad (Cualitativo)

VARIABLES

INDICADORES

MEDIOS DE VERIFICACIÓN

- Productos y servicios provistos.

Nº de productos y servicios provistos efectiva y oportunamente a los Beneficiario

- Informes de Avance. - Informe de Monitoreo. - Informe Final.

- Comunidades o Asociaciones de Productores

Nº de Comunidades o Asociaciones de Productores efectivamente atendidos / Nº de Comunidades o Asociaciones de

- Informes de Avance. - Informe de Monitoreo. - Informe Final.

atendidas.

Productores previstos para atender

- Productos y servicios provistos. - Productos y servicios provistos.

- Cualificación y atributos del servicio provisto. - Percepciones de los clientes y/o Beneficiarios sobre los servicios provistos.

Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

- Informe de Avance. - Informe de Monitoreo. - Informe Final. - Informe de Monitoreo. - Informe Final. - Informe de Percepciones.

7.7.3. Indicadores de Efecto CRITERIOS Eficiencia (Cuantitativo)

VARIABLES - Costo total - Número de

INDICADORES Costo Total / Nº de Beneficiarios.

MEDIOS DE VERIFICACIÓN - Informe de Monitoreo. - Informe de Evaluación

beneficiarios.

Ex Post.

Eficacia

- Productos y servicios

- Informe de Monitoreo. - Informe de Eval. Ex Post.

(Cuantitativo)

provistos.

Sostenibilidad (Cualitativo)

Nivel de utilización de los proyectos o servicios entre los beneficiarios previstos.

- Informe de Percepciones.

- Participación

Evidencia de participación ciudadana

- Informe de Eval. Ex Post.

ciudadana.

en los proyectos o servicios generados por el PNDIC.

- Informe de Percepciones.

- Participación ciudadana.

Evidencia de la efectividad de los proyectos y servicios del PNDIC entre sus beneficiarios.

- Informe de Eval. Ex Post. - Informe de Percepciones.

7.7.4. Indicadores de Impacto CRITERIOS Eficiencia (Cuantitativo)

Eficiencia (Cualitativo)

VARIABLES - Costo total - Número de beneficiarios. - Costo total - Número de beneficiarios. - Productos y servicios.

INDICADORES Análisis costo – eficiencia: Costo Total / Unidad de Impacto.

Análisis costo – eficiencia: Costo Total / Unidad de Eficiencia Externa.

MEDIOS DE VERIFICACIÓN - Informe de percepciones. - Informe de Evaluación Ex Post. - Informe de percepciones. - Informe de Evaluación Ex Post.

- Productos y

Logro de resultados y productos

- Informe de percepciones.

Efectividad (Cualitativo)

servicios provistos.

previstos que contribuyeron a la obtención de los objetivos específicos del PNDIC.

- Informe de Evaluación Ex Post.

Impacto (Cuantitativo)

- Productos y servicios provistos.

Nº de Comunidades o Asociaciones de Productores que mantienen una relación fluida con entidades impulsoras y financiadores del PNDIC.

- Informe de percepciones. - Informe de Evaluación Ex Post.

Sostenibilidad (Cuantitativo)

- Número de beneficiarios. - Productos y

Nº de Comunidades o Asociaciones de Productores que acceden a proyectos y servicios generados en el

- Informe de percepciones. - Informe de Evaluación Ex Post.

servicios.

marco del PNDIC.

Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

VIII.

PLAN DE ACCIÓN PARA LA IMPLEMENTACIÓN DEL SISTEMA DE M&E EN EL VCDI:

El estudio de “Gestión y Gerencia de la Información en el VCDI” presentado en la primera parte del presente estudio, ha sugerido el diseño e implementación de un “Sistema de Monitoreo, Seguimiento y Evaluación para el VCDI”, el cual contribuirá al acceso, procesamiento, y envío oportuno y preciso de la información a instancias internas y externas al VCDI. Éste sistema permitirá optimizar el tiempo, precisión y actualización del procesamiento y envío de la información, aspectos que favorecerán a la planificación, ejecución, monitoreo y seguimiento de la política pública sectorial contenida en el PNDIC; en consecuencia la gestión y gerenciamiento de la información será más eficiente y eficaz. El diseño conceptual, metodológico y procedimental de éste sistema está desarrollado en el Tomo II de la presente consultoría, posibilitando su inmediata implementación en el VCDI a partir del desarrollo y cumplimiento de las acciones descritas a continuación a manera de un “Plan de Acciones Inmediatas”: Para iniciar la implementación del sistema de M&E es imperioso que los programas y agencias implementadoras del sector cuenten con sistemas u otros mecanismos que permitan que la información que evacuen al VCDI esté sistematizada y actualizada para facilitar la elaboración de reportes e informes gerenciales. Para lo cual, el VCDI debe diseñar, instituir y utilizar una base de datos única y estándar, administrada por el propio VCDI, donde los datos se procesen en formatos uniformes para que los mismos sean de fácil acceso y se constituyan en información exacta, precisa, actualizada y veraz, tanto para la toma de decisiones como para el reporte y envío de información a instancias externas al VCDI. En este marco, la recolección, procesamiento y elaboración de informes y/o reportes para atender requerimientos de información, debe estar apoyada por un mecanismo o sistema informático, que permita contar con información: veraz, precisa, actualizada, oportuna y técnicamente validada por el VCDI. Para este efecto, los responsables del monitoreo y seguimiento en el VCDI recopilarán información de fuente secundaria proveniente de las Agencias y/o Entidades Implementadoras del PNDIC. En el Tomo I de la presente consultoría (Gestión y Gerenciamiento de la Información), se ha identificado que la mayoría de estas instancias operan y registran los datos del área administrativa – financiera a través de sistemas informáticos propios y el registro de datos del área operativa está automatizada a través de sistemas informáticos solamente en el FONADAL y en los Programas financiados por USAID (ARCO, ACDI-VOCA y CC.VV.), el resto de los Programas aún opera en hojas Excel.

Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

Las técnicas o los instrumentos para adquirir datos se obtendrán inicialmente con software de lenguaje de consulta en bases de datos (Excel, Access, etc.), para esto el VCDI en consulta con las agencias de cooperación internacional, diseñó una base de datos con información básica sobre los programas y proyectos, la cual será alimentada periódicamente a través de una pequeña red de “contactos operativos o puntos focales” (funcionarios de las propias agencias de cooperación y/o entidades implementadoras). Los procedimientos operativos para la operación y funcionamiento de esta red de contactos o puntos focales, serán transmitidos a través de un instructivo o documento equivalente que emanará del propio VCDI hacia las agencias de cooperación y sin entorpecer las labores de monitoreo, seguimiento y evaluación que realiza el MDRyT a través del SISEGER. Posteriormente el VCDI, a través de los funcionarios de la UDIP (VCDI), sistematizará esta información en función a las necesidades gerenciales del Viceministerio y los requerimientos más recurrentes de otras dependencias gubernamentales, para lo cual utilizará “formatos de reportes tipo”, que serán diseñados previamente para facilitar la emisión de datos e información sobre el monitoreo, seguimiento y evaluación del PNDIC. El método de recopilación y sistematización de datos e información para el monitoreo y seguimiento a los indicadores de efecto contenidos en el Cuadro de Mando Integral del Plan Nacional de Desarrollo Integral con Coca (PNDIC), utilizará información tanto de fuente primaria como secundaria que permita realizar el monitoreo, seguimiento y posterior evaluación del PNDIC. La “ruta metodológica” para realizar la recopilación y sistematización de la información que alimentaría el Sistema de Monitoreo y Seguimiento del VCDI, está resumida en los siguientes puntos que deben ser encarados por el VCDI a través de la UDIP: 1º Identificar todas las instancias internas y externas al VCDI, que utilizan, procesan y requieren datos e información sobre los programas y proyectos implementados en el marco del PNDIC (cumplida); 2º Diseñar una base de datos única, conjuntamente las agencias de cooperación y las entidades implementadoras del PNDIC (cumplida); 3º A través de la base de datos única del VCDI, identificar los datos de entrada y salida, para procesar y proveer información de tipo gerencial (cumplida); 4º Determinar y acordar la periodicidad del requerimiento y provisión de información, preferentemente mensual (cumplida); 5º Diseñar y definir “formatos de reportes tipo” para proveer la información gerencial debidamente sistematizada, precisa, veraz, actualizada, validada y de manera oportuna (a cumplir); Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

6º Identificar los puntos focales (personas) de cada agencia de cooperación y/o entidad implementadora, que conformarán la red de contactos operativos o puntos focales, quienes serán responsables de la alimentación periódica de información para el M&E al PNDIC (a cumplir); 7º Definir y normar todos los aspectos operativos y logísticos, para coordinar y asignar responsabilidades entre todos los puntos focales de las agencias implementadoras y los funcionarios del VCDI (a cumplir); 8º Oficializar estos aspectos a través de una Resolución Administrativa, Instructivo u otro documento equivalente que norme estos procedimientos operativos (a cumplir); 9º Realizar el monitoreo y seguimiento a la eficiencia y eficacia del flujo de datos e información, la efectividad y el desempeño operativo de los puntos focales y de los funcionarios del VCDI (a cumplir); 10º Identificar e implementar todas las medidas correctivas que sean pertinentes y necesarias para mejorar permanentemente la recolección de información que alimentará el “Sistema de Monitoreo y Seguimiento del VCDI” (a cumplir); 11º Las observaciones y recomendaciones contenidas en los Informes de Monitoreo y Seguimiento estarán dadas como “medidas correctivas” y deben considerarse como lecciones aprendidas para la “retroalimentación operativa” de los procedimientos del ciclo del proyecto (a cumplir); 12º La “Evaluación de Medio Término”, será realizada para evaluar el desempeño y resultados intermedios, tanto operativos, administrativos como financieros, verificando su alineamiento y contribución a los objetivos, metas y resultados contenidos en el PNDIC, la Programación Operativa Anual (POA), y el Cuadro de Mando Integral del PNDIC; así como la evaluación de desempeño institucional del VCDI y de las Agencias de Cooperación (a cumplir); y 13º La evaluación ex-post, será realizada para indagar y valorar los resultados finales de los proyectos ejecutados en el marco del PNDIC y la determinación de los “efectos e impactos” generados. Su propósito es conocer la eficacia, eficiencia y efectividad de la inversión realizada, y si el proyecto modificó las condiciones de vida de la población beneficiaria, con relación a la problemática central que originó la gestión del mismo (a cumplir). Por último, recomendamos que, lo antes posible, el VCDI preparé los Términos de Referencia para la contratación de una asistencia técnica o consultoría, a través de una firma consultora especializada, que realice el desarrollo informático del “Sistema de Monitoreo, Seguimiento y Evaluación del VCDI” sobre la base del diseño conceptual, metodológico y operativo contenido en el presente documento y cuidando la funcionalidad del sistema bajo las restricciones y limitantes existentes en el VCDI.

Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

LINEAMIENTOS PARA EL FORTALECIMIENTO DEL VCDI:

IX.

Para poder encarar de manera eficiente y efectiva la implementación del “Plan Nacional de desarrollo Integral con Coca 2011 – 2015” y realizar el seguimiento a sus objetivos y metas, debe implantarse el “Sistema de Monitoreo, Seguimiento y Evaluación” propuesto en el presente documento, para lo cual el Viceministerio de Coca y Desarrollo Integral (VCDI), requiere un proceso de fortalecimiento institucional que considere mínimamente los siguientes aspectos: •

El VCDI no debe perder de vista su razón de ser, que es el desarrollo integral con coca, el mismo que comprende no solamente el desarrollo de las regiones productoras en términos económicos y sociales, sino también en relación a la revalorización de la hoja de coca a través de sus usos legales: medicinales, tradicionales, culturales e industriales.

•

El VCDI debe iniciar operativamente el cumplimiento de sus objetivos estratégicos, como son la revalorización de la hoja de coca y el desarrollo integral con coca, los cuales no están siendo cumplidos, puesto que solamente se avanzó en cambiar la erradicación forzosa por la racionalización concertada, que si bien es un paso importante, pero no suficiente para lograr el verdadero salto cualitativo y cuantitativo en términos del desarrollo integral con coca y la revalorización de la hoja de coca.

•

Otra forma efectiva de encarar el fortalecimiento sectorial, está dada por el desarrollo de estudios específicos sobre los sistemas y/o reglamentaciones del control de la producción y comercialización de la hoja de coca. En éste ámbito, es también importante desarrollar estudios técnicos y socioeconómicos que determinen la viabilidad de la industrialización de la hoja de coca, para su promoción y posicionamiento comercial en los mercados internos y externos.

•

El relacionamiento interinstitucional debe basarse en el liderazgo sectorial del VCDI, cuyo objetivo institucional es el de formular e implementar la política pública de desarrollo integral que recupere y revalorice los usos legales de la hoja de coca, así como su industrialización y el desarrollo de las zonas de intervención definidas en el PNDIC. Por tanto, el VCDI debe constituirse en la instancia que planifique y coordina el relacionamiento interinstitucional del sector.

•

El Viceministerio de Coca y Desarrollo Integral (VCDI), requiere de una estructura institucional ágil, operativa y eficiente, que permita una gestión que garantice la implementación de la política pública sectorial y la estrategia de lucha contra el narcotráfico y revalorización de la hoja de coca.

Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

•

El VCDI requiere la formalización de las funciones a través de un Manual de Organización y Funciones (MOF), procesos y procedimientos operativos (MOP), para que los funcionarios del VCDI no realicen sus tareas de forma improvisada, bajo intuiciones personales y con base a su propia experiencia, situación que limita la inserción de nuevos funcionarios al no existir documentación de consulta para su inducción y/o capacitación.

•

El nuevo MOP del VCDI debe contener procesos y procedimientos operativos, tanto técnicos como administrativos, en el maco del mandato legal del VCDI, los cuales están ampliamente desarrollados en el estudio “Elaboración de una Propuesta para la Reestructuración y Reorganización Interna del Viceministerio de Coca y Desarrollo Integral (VCDI)” (Ver Tabla N° 15 - Diseño de Procesos), financiado por el Programa de Apoyo Presupuestario Sectorial (PAPS) de la Unión Europea, los cuales compartimos amplia y completamente para que el VCDI pueda internalizarlos e instituirlos formalmente a través de los manuales y reglamentaciones específicas que correspondan.

•

Deben desarrollarse y mejorarse las capacidades del personal del VCDI, para lo cual deberá incluirse en los presupuestos operativos anuales recursos para capacitación, así como fomentar el acceso de los funcionarios a becas financiadas por la cooperación internacional.

•

Con referencia a temas administrativos y presupuestarios, es necesario desarrollar un estudio presupuestario mucho más profundo, para determinar las necesidades financiera de las unidades organizacionales, partiendo desde el inicio, con indicadores técnicos que permitan asignar recursos según resultados y no solamente en base al incremento tradicional de los presupuestos anteriores.

•

Se ha verificado que el Enlace de Coordinación y Planificación está encargado de la elaboración del POA del VCDI a través de la recopilación de los POA’s de los Programas ejecutados por las Agencias de la Cooperación Internacional para su consolidación, sin embargo se pudo evidenciar la falta de coordinación con el área de presupuestos, quien tiene la responsabilidad de la elaboración del presupuesto general del VCDI, consolidando los requerimientos presupuestarios internos (Direcciones Generales del VCDI) y de los Programas de Desarrollo Integral ejecutados por las Agencias de la Cooperación Internacional. Por tanto, es más que evidente la necesidad de coordinación y correlación entre ambos instrumentos de planificación y/o programación presupuestaria.

Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

•

Respecto a los recursos financieros, se debe establecer un sistema único de registro presupuestario del financiamiento proveniente de la cooperación internacional para la implementación de la política pública sectorial del desarrollo integral con coca contenida en el PNDIC; éste registro permitirá identificar y cuantificar la sustitución gradual del financiamiento externo por recursos financieros provenientes del TGN, tanto por parte del gobierno nacional como de las administraciones sub-nacionales, como un mecanismo “para nacionalizar la dignidad nacional en la lucha contra el narcotráfico”.

•

Respecto a los gastos administrativos en los que incurren, tanto el VCDI a través del Programa Obras de Impacto Inmediato como las Agencias de Cooperación Internacional, es necesario que el VCDI como cabeza de sector realice un estudio que determine con bastante precisión, el porcentaje del gasto administrativo respecto a las inversiones realizadas, principalmente en las entidades que ejecutan importantes cuantías de la inversión pública sectorial (desarrollo integral y revalorización de la hoja de coca), con el fin de armonizar esta relación y así promover a incurrir en eficiencias administrativas y operativas.

•

El VCDI realizará el monitoreo y seguimiento a la ejecución de los programas y proyectos, centralizando la información que permita a la MESDI, sugerir cursos de acción para alcanzar los resultados de la planificación estratégica; en este sentido, el VCDI se constituirá en una instancia funcional de planificación, coordinación y trabajo colaborativo entre la MESDI y las entidades implementadoras de proyectos.

•

En el presente documento se presenta el diseño conceptual, metodológico y operativo de un “Sistema de Monitoreo, Seguimiento y Evaluación para el VCDI”, el cual contribuirá al acceso, procesamiento, y envío oportuno y preciso de la información a instancias internas y externas al VCDI, éste sistema permitirá optimizar el tiempo, precisión y actualización del procesamiento y envío de la información, aspectos que favorecerán a la planificación, ejecución, monitoreo y seguimiento de la política pública sectorial contenida en el PNDIC; en consecuencia la gestión y gerenciamiento de la información será más eficiente y eficaz.

•

El VCDI debe encarar el desarrollo informático del “Sistema de Monitoreo, Seguimiento y Evaluación”, para lo cual requiere elaborar los Términos de Referencia para la contratación de una firma consultora especializada, que cuenta con capacidad y experiencia en el desarrollo de sistemas informáticos para la gestión de programas y proyectos.

Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

•

Por último, debe diseñarse y establecerse una normativa que regule el Control Social, de tal forma que pueda contribuir a las tareas de control y racionalización de la producción y comercialización de la hoja de coca. En este marco, también se requiere establecer estrategias y definir criterios para que las organizaciones sociales, en la medida de sus posibilidades, pueda realizar aportes de contraparte a los proyectos que se vayan ejecutado, ya sean monetarios o en especie, de tal forma que la concreción de obras refleje el esfuerzo realizados por ellos, llevándolos a identificarse con las mismas.

Sistema de Monitoreo, Seguimiento y Evaluación del VCDI Versión Final Ajustada ● Noviembre de 2010

La Paz, Noviembre de 2010.‐