ABC evaluación

ABC DEL MARCO CONCEPTUAL Y LINEAMIENTOS PARA REALIZAR EVALUACIONES DE POLÍTICA PÚBLICA TIC

3. Pasos para diseñar una evaluación de política pública TIC

CONTENIDO A. ¿Qué es una evaluación de política pública efectiva?......…………………………………....2 ABC del marco conceptual y lineamientos para realizar evaluaciones de política pública TIC

B. ¿Cómo realizar evaluaciones de política pública efectivas?..........................................3 C. Tipos de Evaluaciones...................................4

Ministerio de Tecnologías de la Información y las Comunicaciones República de Colombia www.mintic.gov.co Ministro Diego Molano Vega Viceministra General María Carolina Hoyos Turbay Viceministra de Tecnologías y Sistemas de la Información María Isabel Mejía Secretaria General Beatriz Elena Cárdenas Casas Jefe Oficina Asesora de Planeación y Estudios Sectoriales Ana Marta Miranda Corrales Marcela Acosta Orjuela Eliana Alejandra Camargo Niño Andrés Chaves Joya Diana Paola Córdoba Gómez Jorge Iván Rodríguez Rojas

1

INTRODUCCIÓN La Oficina Asesora de Planeación y Estudios Sectoriales, de acuerdo con el Decreto 2618 de diciembre de 2012, tiene entre sus funciones la de apoyar a las dependencias misionales y los programas del Ministerio de Tecnologías de la Información y las Comunicaciones en el diseño y desarrollo de estudios y evaluaciones que estos necesitan para la medición y seguimiento a las acciones de política pública.

ABC DEL MARCO CONCEPTUAL Y LINEAMIENTOS PARA REALIZAR EVALUACIONES DE POLÍTICA PÚBLICA TIC

En respuesta a lo anterior la presente guía busca ser una herramienta que suministre los conceptos clave y relevantes para el diseño y planeación de evaluaciones de política pública efectivas en el Ministerio TIC. Para el diseño de evaluaciones existen diferentes metodologías, sin embargo, la presente guía se basa en la metodología utilizada por el Departamento Nacional de Planeación, como un caso de estudio aplicado a un caso práctico del Ministerio TIC.

2. Pasos para diseñar una evaluación de política pública TIC

A. ¿QUÉ ES UNA EVALUACIÓN DE POLÍTICA PÚBLICA EFECTIVA? Dentro del contexto público se encuentra el Estado como orientador hacia el desarrollo, esta alineación se basa en la planificación por objetivos, que busca establecer una secuencia lógica entre la visión general del Gobierno, encontrada en el Plan Nacional de Desarrollo, y la visión precisa de las políticas, programas y proyectos.

Con el objetivo de lograr una gestión pública orientada a resultados se encuentra el Ciclo de la Gerencia Pública que inicia con la etapa de formulación de las políticas, programas y proyectos y termina con la evaluación de los mismos.

Ciclo de la Gerencia Pública

El ciclo continúa en la medida que la evaluación permita retroalimentar y mejorar la política, programa y proyecto para luego reformular una nueva.

Por consiguiente, evaluar comprende un proceso de investigación donde se analizan e interpretan los resultados e impactos para dar una apreciación objetiva del proyecto, programa o política en curso o concluido. (DNP, 2012).

Ahora bien, la materialización de la visión del estado se encuentra plasmada en las políticas, programas y proyectos. Para evaluar si realmente se está llegando al objetivo final que propone el gobierno es necesario diferenciar una política de un proyecto y de un programa.

La diferencia entre política, programa y proyecto se encuentra en la dimensión y extensión de cada una, mientras que un proyecto es la unidad mínima de asignación de recursos con una población objetivo definida, el programa está compuesto por una serie de proyectos que están encaminados hacia los mismos objetivos, por lo que define el marco institucional y establece prioridades; la política tiene una dimensión más amplia cubriendo los programas y proyectos, ya que constituye todo un proceso político y social con participación del estado y el sector privado.

De acuerdo a lo anterior se define el tipo de evaluación a realizar con el objetivo que esta sirva como insumo para tomar decisiones, es aquí donde se hace referencia al término: evaluaciones efectivas. De acuerdo con el Departamento Nacional de Planeación la efectividad de una evaluación se evidencia por su nivel de utilidad como por ejemplo, que sirva para dar continuidad o ampliación a una política, para rediseñar un programa o reconocer los buenos esfuerzos, entre otros.

3

B. ¿CÓMO REALIZAR EVALUACIONES DE POLÍTICA PÚBLICA EFECTIVAS? Con el propósito de diseñar y realizar evaluaciones efectivas, se requiere seguir una serie de pasos que permitan estandarizar procesos, construir una agenda multisectorial con la participación de los involucrados y socializar los resultados articulándolos con la rendición de cuentas. (DNP, 2012).

A continuación, se describen los pasos para realizar evaluaciones efectivas

Para realizar Evaluaciones de la Política Pública FASE 0

Identificar el programa a evaluar

Comprende la definición del programa, proyecto o política que se busca evaluar.

Diseño de la evaluación

FASE 1

Describe el diseño de la cadena de valor, la cadena de entrega, la hipótesis, el alcance y el cronograma. Duración aproximada: 3 meses

Planeación de la evaluación

FASE 2

Contempla la conformación del comité de selección, elaboración de los términos de referencia y apertura del proceso de selección para contratar la evaluación. Duración aproximada: 3 meses

FASE 3

Explica la ejecución de la evaluación se realiza la supervisión técnica.

Duración aproximada: 8 meses

Ejecución

Uso de Resultados

FASE 4

Señala la importancia del análisis de las recomendaciones para iniciar un plan de acción con retroalimentación de la formulación. Duración aproximada: 6 meses

En seguida se detallan las fases cero y uno, junto con los pasos que se requieren para realizar evaluaciones de política pública efectivas.

FASE 0 Identificar el programa a evaluar Para iniciar con la evaluación se requiere primero identificar la política, programa o proyecto a evaluar, para esto se debe establecer prioridades y necesidades de estudio. Se recomienda hacer una lista de las políticas que se quieren evaluar y luego, por medio de una reunión se debata la importancia de cada cual, se organice por orden de importancia la lista de los proyectos y de esta forma se tendrá un criterio para escoger qué se necesita evaluar primero.

En esta fase se deben identificar las políticas con sus respectivos programas y proyectos que se quieren evaluar. Ejemplo: La Dirección de Conectividad con el apoyo del DNP y la Oficina Asesora de Planeación y Estudios Sectoriales adelanta el proceso de diseño de evaluación, para esto fue necesario definir en primera instancia qué programas y proyectos se iban a evaluar. Los principales criterios de decisión fueron: que los proyectos tuvieran impacto en las metas del Plan Vive Digital, como política TIC del actual Gobierno y que estos tuvieran una población beneficiaria de gran dimensión. El resultado fue escoger

Kioscos Vive Digital, Puntos Vive Digital y Hogares Digitales como prioritarios para iniciar a evaluar.

FASE 1 Diseño de la evaluación Luego de identificar la política, programa o proyecto a evaluar se procede con el diseño de la evaluación que inicia con la recopilación y análisis de toda la información relacionada con la política a evaluar.

Se recomienda responder a una serie de preguntas fundamentales como: ¿Cuál es el problema de la política pública que pretende resolver la intervención? y ¿Quiénes son los beneficiarios directos e indirectos de la intervención?

5

Gráfica 1. Ejemplo preguntas fundamentales

Fuente: Dirección de Conectividad. Ministerio de Tecnologías de la Información y las Comunicaciones

El eje transversal de la evaluación de la política pública es la cadena de valor, por eso es necesario examinar primero la cadenas de valor de la política, programa y proyecto a evaluar. Si ésta no está definida se debe iniciar por construirla partiendo de identificar el ¿Para qué?, ¿Por qué? y ¿Cómo? de la política. Así se podrá conocer las oportunidades de mejora y las necesidades asociadas a dicha cadena de valor y de entrega, para luego identificar las restricciones o cuellos de botella que generan fallas en el encadenamiento para alcanzar los resultados.

Como último elemento en el diseño de la evaluación está la identificación del alcance, es decir, definir el tipo de evaluación más efectiva teniendo en cuenta la información con que se cuenta y los objetivos de la política.

Dentro del diseño de la evaluación se consideran los siguientes cinco elementos (Gráfica. 2)

Gráfica 2. Elementos para el Diseño de la Evaluación 1

Construcción de la Cadena de Valor

2

Construcción de la Cadena de Entrega

3

Mapeo de la Información

4

Construcción de la Hipótesis

5

Definición del Alcance de la Evaluación

Fuente: DNP (2012).Guía para la Evaluación de Políticas Públicas

1. Construcción de la cadena de valor La cadena de valor o cadena de resultados muestra la secuencia causal de los procesos que componen los programas, proyectos o políticas.

Expone cómo es el orden secuencial desde los insumos que necesita, de los procesos que genera para movilizar sus recursos, de los bienes y servicios que crea y de los resultados y efectos que genera en la población objetivo.

Fuente: DNP (2012).Guía para la Evaluación de Políticas Públicas

Gráfica 3. Estructura de la Cadena de Valor

Fuente: DNP (2012).Guía para la Evaluación de Políticas Públicas; MinTIC (2011).

Manual para la construcción de cadenas de valor.

2. Construcción de la cadena de entrega La cadena de entrega se puede definir como el conjunto de actores (personas o instituciones), y las relaciones entre ellos, a través de los cuales una actividad o un proceso de un sistema serán implementados. (DNP, 2012. Guía para la Evaluación de Políticas Públicas)

Son cadenas que garantizan la entrega de los bienes y servicios producidos y la materialización de los respectivos resultados e impactos. La cadena de entrega se hace al mismo tiempo que la cadena de valor.

7

Gráfica 4. Cadena de Entrega

La cadena de entrega define los canales de distribución utilizados para que el bien o servicio llegue a la población objetivo. Responde a la pregunta ¿cómo, y a través de quién, ocurre una actividad o un proceso del sistema?

¿Quiénes?

¿Qué entidades?

3. Mapeo de la Información e Identificación de cuellos de botella El Mapeo de la información consiste en el levantamiento de información secundaria, ésta entendida como la información que fortalece y argumenta los datos primarios sobre la intervención.

Ejemplo: Marco legal y regulatorio, recursos financieros, recursos humanos, publicaciones periódicas, enciclopedias, índices, resúmenes, normas, estudios que permiten fortalecer los datos primarios que hacer referencia a la información original. Lo anterior debe estar dentro del contexto en el cual se desarrolla el programa o proyecto. De acuerdo con el

¿Cómo?

Departamento Nacional de Planeación, las preguntas que se requieren responder son:

¿Qué nivel de detalle de información maneja el programa? ¿Cómo funciona el sector? ¿Cómo funcionan los programas con ese tipo de objetivos en Colombia y en el contexto internacional?

Con respecto a la identificación de los cuellos de botella, es importante que en cada uno de los componentes de la cadena de valor: Insumos, procesos, productos y resultados se identifiquen los cuellos de botella o barreras que impiden el cumplimiento del objetivo.

Ejemplo: Si dentro de un proyecto, programa o política se consideran las bases de datos de los municipios con una alta necesidad de infraestructura para conectar a la región y esta información se demora o es difícil de verificar, este se considera un cuello de botella en la parte de los insumos, que impediría la efectividad del programa, proyecto o política.

4. Construcción de las preguntas orientadoras y la hipótesis

¿Son preguntas de gestión del programa? ¿Son preguntas de política? ¿Son preguntas de operatividad? ¿Son preguntas del diseño del programa? ¿Son preguntas de implementación? ¿Son preguntas de capacidad institucional? ¿Son preguntas de costo-beneficio? ¿Son preguntas de los resultados del programa? ¿Son preguntas del impacto del programa?

Luego de seguir los anteriores pasos se construyen las preguntas orientadoras y la hipótesis, es decir, se define el objetivo o fin del proyecto, programa o política a evaluar.

La evaluación permitirá validar la hipótesis formulada. Para esto se debe tener claro:

¿QUÉ SE QUIERE COMPROBAR? ¿A DÓNDE SE QUIERE LLEGAR? 5. Definición de objetivos y alcance de la evaluación Según lineamientos dados por el DNP presentados en la “Guía para la Evaluación de Políticas Públicas”, la hipótesis que se construye en un paso anterior determina el alcance de la evaluación y permite establecer los objetivos. En este paso se conoce lo que se va a incluir y lo que no se requiere para la evaluación.

Es importante que en el momento de especificar las principales preguntas a resolver por la evaluación se tenga claro lo siguiente:

Si se busca con la evaluación diagnosticar los productos y servicios entregados de acuerdo con los objetivos de la política, se recomienda realizar una evaluación de resultados; pero si además de evaluar la coherencia de los resultados con los objetivos de la política se requiere analizar el impacto y la magnitud que tuvo su intervención, se hace necesario realizar una evaluación de impacto.

9

6. Definición de la Metodología de Evaluación más apropiada Con base en la estructura de la cadena de valor y los cuellos de botella que se identificaron en cada uno de los componentes de la cadena, se puede analizar el tipo de metodologías de evaluación a realizar, identificando su alcance dentro de la cadena y respondiendo a las preguntas del paso anterior, de esta forma de acuerdo al alcance y el tiempo de evolución de la intervención se selecciona el tipo de evaluación (Gráfico 5) que más se ajuste a este.

Una forma de identificar el tipo de metodología de evaluación es detallar la cantidad de cuellos de botella en cada componente de la cadena de valor y de acuerdo a la dimensión de los cuellos de botella y su frecuencia se decide el enfoque de la evaluación.

Evaluación Institucional: ¿Cuáles con las fortalezas y las debilidades de la capacidad institucional del programa?

Evaluación Ejecutiva: ¿Cómo es la articulación y consistencia entre insumos, procesos, productos y resultados esperados?. Este tipo de evaluación es muy general y poco profunda, sirve para tener una visión general del programa, proyecto o política.

Evaluación de Resultados: ¿Cuáles son los resultados críticos que el programa trata de lograr? ¿Qué efecto de corto plazo generó el programa?

Evaluación de Impacto: ¿Cuál el impacto del programa en los beneficiarios? ¿De qué magnitud fue? ¿Qué tanto se puede atribuir al programa y qué tanto a otros factores?

Evaluación de operaciones: ¿Son eficientes las operaciones del programa?, ¿El programa es capaz de producir lo deseado?

Gráfica 5. Tipo de Evaluaciones Evaluación Ejecutiva

Fuente: DNP (2012).Guía para la Evaluación de Políticas Públicas

FASE 2: Planeación de la evaluación La Fase de planeación hace referencia al proceso de contratación para la realización de la evaluación de la política pública. De acuerdo con la experiencia de contratación que ha tenido la Oficina Asesora de Planeación y Estudios Sectoriales del Ministerio TIC para la realización de la evaluación del Plan Vive Digital, los pasos para la contratación son:

1

Apertura concurso de méritos mediante el proceso de selección por lista corta

2

Publicación de los pliegos de condiciones de la contratación en el Sistema Electrónico para Contratación Pública - Secop

3

Selección de los proponentes que cumplen el pliego de condiciones (en caso de sólo haber un proponente es necesario dar nuevamente apertura a la convocatoria y si por segunda vez se presenta uno sólo se sigue con el proceso)

4

Evaluación del proponente mediante los respectivos estudios: Técnicos, Financieros y Jurídicos, con el fin de verificar el cumplimiento de las condiciones de contratación

5

Firma contrato con el proponente seleccionado, por medio de un acto administrativo para dar inicio a la desarrollo de la evaluación de política pública

11

manera temprana cualquier problema de operaciones o procesos y por ende se mejorará el funcionamiento del programa.

FASE 3: Luego de identificar la metodología de evaluación se inicia la ejecución de la misma, con el respectivo seguimiento a la contratación.

C. TIPOS DE EVALUACIÓN Evaluación de Operaciones o Procesos Una evaluación de operaciones o procesos se caracteriza porque describe y analiza cómo se planifica e implementa el programa de acuerdo a unos indicadores de gestión, por esta razón dentro de la cadena de valor este tipo de evaluación se realiza en los componentes de insumos y procesos.

Gráfica 6. Evaluación de Operaciones y Procesos

Fuente: DNP (2012).Guía para la Evaluación de Políticas Públicas

Es recomendable hacer este tipo de evaluación tan pronto se inicia el programa o durante su funcionamiento, de esta forma se detectará de

El desarrollo de la evaluación contiene los siguientes cuatro pasos:

1

Definir los procesos a evaluar

2 Recoger información de cada una de las áreas

3 Analizar mediante la aplicación de un método y reportar la información

4

Uso de los resultados

1. Definir los procesos a evaluar La metodología más adecuada y práctica para identificar procesos es partir desde el objetivo del programa, proyecto o política.

El objetivo está compuesto por dos partes fundamentales: la primera, descrita por un verbo en infinitivo, hace referencia a lo que se espera lograr con la intervención y la segunda parte habla de los medios que serán utilizados para lograr cumplir la primera parte del objetivo. Es en la segunda parte donde se pueden identificar las actividades y procesos de la intervención. (DNP, 2012)

Estructura de un Objetivo

A continuación, se presentan tres metodologías distintas utilizadas en el análisis de operaciones (DNP, 2012):  Lean Manufacturing

2. Recoger información de cada una de las áreas El evaluador debe recoger la información acerca del programa, proyecto o política, como: misión, objetivos, factores críticos de éxito, políticas y procedimientos de control y seguimiento, como también procesos de la dirección en caso que se requiera, como: toma de decisiones, canales de comunicación y coordinación de actividades.

Esta metodología agrupa principios, conceptos y técnicas para construir sistemas más eficientes, con menor tiempo y sin desperdicios.

El principio fundamental se encuentra en generar actividades de valor agregado en el programa y detectar las demoras par así perfeccionar los procesos.

Gráfica 7. Componentes y principios de Lean Manufacturing

3. Analizar mediante la aplicación de un método y reportar la información Para el análisis de la información reunida en el anterior paso se recomienda emplear herramientas como: diagramas de GANTT, diagramas de PERT y métodos de ruta crítica, de esta manera el evaluador conocerá los porcentajes de avance y ejecución, los tiempos de espera y cuellos de botella.

Fuente: Modificado de DNP (2012).Guía para la  Gestión por Procesos Evaluación de Políticas Públicas

Esta metodología le da mayor importancia a la visión que el cliente (o beneficiario) tiene sobre el conjunto de actividades y procesos del programa. Se utilizan herramientas que facilitan conectar los procesos en pro que respondan a las necesidades del cliente. (DNP, 2012)

13

En la gráfica 3 se identifican los seis pasos básicos para el desarrollo de la metodología de gestión por procesos.

Gráfica 9. Pasos de Six Sigma

Gráfica 8. Pasos para la gestión por procesos

Fuente: Modificado de DNP (2012).Guía para la Evaluación de Políticas Públicas

4. Uso de los resultados Los resultados de la evaluación de operaciones o procesos deben ser útiles para:

Fuente: Modificado de DNP (2012).Guía para la Evaluación de Políticas Públicas

 Six Sigma Esta metodología tiene como principio la optimización de los procesos, para esto se utilizan herramientas estadísticas que permitan medir la variación de las actividades y detectar defectos (distribución normal – campana de Gauss). En la gráfica 4 se observan los pasos básicos de la metodología Six Sigma.

Evaluación Ejecutiva La evaluación ejecutiva es un tipo de evaluación rápida que permite ver de manera general el programa o política en curso.

Los componentes para el desarrollo de una evaluación ejecutiva son los siguientes:

1

Visión General

2

Eficacia y Eficiencia

Identificar cuellos de botella en la cadena de entrega y de valor del programa o política

3

Percepción del Programa

Identificar problemas, mejorar el desempeño y enfoque del programa

4

Recomendaciones

5

Uso de los resultados

Sirve para:

Evaluar el grado de satisfacción del beneficiario o cliente del programa

Herramienta flexible que permite tomar decisiones en el corto plazo

Como la evaluación ejecutiva plantea un panorama general sobre el programa o política, esta abarca los eslabones de insumos, procesos, productos y resultados de la cadena de valor. (Gráfica 10)

1. Visión General La cadena de valor o de resultados será la herramienta básica para el análisis general del diseño e implementación del programa o política, debido a que esta provee la información secundaria, interna y documentada.

Gráfica 10. Evaluación Ejecutiva

Fuente: DNP (2012).Guía para la Evaluación de Políticas Públicas

15

El concepto general del programa que es La cadena de entrega del programa sirve para construido por el consultor debe contener la evaluar la eficacia de la oferta de este, siguiente información: respondiendo a la pregunta:

¿Cómo, y a través de quién, ocurre una actividad o un proceso del sistema?

Justificación

Descripción General

 Análisis de eficiencia:

Descripción de la población objetivo

Objetivos del programa a nivel de fin y propósito

Política sectorial y/o institucional a la que pertenece

Cadena de valor o resultados detallada del programa en su implementación

2. Eficacia y Eficiencia  Análisis de eficacia:

De acuerdo con el DNP y la OECD la eficiencia se define como la medida en que los recursos/insumos (fondos, tiempo, etc.) se han convertido efectivamente en resultados.

El análisis de eficiencia responde a los siguientes interrogantes:

¿Ha incrementado el programa significativamente sus niveles de eficiencia de costos, tiempos u otros insumos? ¿Tiene el programa procedimientos que le permitan medir los logros en eficiencia y efectividad de costos, tiempos u otros insumos? ¿Se ejecutaron las actividades incurriendo en el menor costo posible para generar los componentes esperados?

De acuerdo con el DNP y la OECD la eficacia es la medida en que se lograron o se espera ¿Tiene el programa por lo menos un lograr los objetivos del programa, indicador de eficiencia, con línea de base, tomando en cuenta su información metas y cronograma definidos? relativa.

5. Uso de resultados ¿Ha registrado la productividad media de los factores como recursos humanos, mejoras Para hacer mejor uso de los resultados el DNP en el tiempo y cómo se compara con otros dentro de la Guía para la Evaluación de programas similares?

Políticas Publicas hace las siguientes recomendaciones: 3. Percepción del Programa Con el análisis de la percepción de la demanda se termina de completar el panorama general del programa, de lo que pasa realmente en el terreno y de los potenciales resultados e impactos que el programa va a generar (DNP, 2012).

Para identificar la percepción se hace uso de herramientas como las entrevistas o encuestas cortas de máximo 10 preguntas por medios como: teléfono, correo electrónico o páginas web. De igual manera se pueden implementar estrategias como grupos focales en los que se discuten temas específicos con la ayuda de un moderador.

 Hacer un control de calidad de las evaluaciones realizadas  Priorizar y hacer una lista de las recomendaciones  Manejar un proceso y procedimiento claro para discutir las recomendaciones realizadas por los consultores con los actores involucrados  Incluir en el sistema de seguimiento indicador de las recomendaciones aceptadas e incluirlas dentro del plan de acción.

4. Recomendaciones Las recomendaciones se resumen en una línea de planeación estratégica de corto y mediano plazo en los que se desarrollen las acciones correctivas, con base el análisis y calificación que hace el consultor sobre el programa.

17

Evaluación Institucional Para que la evaluación de política sea efectiva es necesario diferenciar la medición del desempeño de la gestión del desempeño.

La medición de desempeño hace referencia a los sistemas de seguimiento, indicadores y herramientas que permitan medir el rendimiento, y la gestión del desempeño se refiere a cómo, quienes toman decisiones, usan el sistema de indicadores para aprender y mejorar el desempeño a un nivel más estratégico.

“La medición No produce automáticamente resultados”

Ospina, S (2000). Evaluación de la gestión pública. Rep. Dominicana, Santo Domingo

La evaluación institucional tiene un grado más adelante que la evaluación de operaciones o procesos, se ubica en la ejecución de corto y mediano plazo (Gráfica 11) y permite medir el grado de institucionalidad o capacidad institucional que se tiene para llevar a cabo el programa o política.

Cuando se hace referencia a institucionalidad se habla de las normas legales y gobernabilidad que permite el desarrollo y cumplimiento de los objetivos de programa o política.

Gráfica 11. Evaluación Institucional

Fuente: DNP (2012).Guía para la Evaluación de Políticas Públicas

Una evaluación institucional se realiza cuando el diseño del programa se ha completado, es decir, cuando el programa funciona con la intervención de varias organizaciones o áreas en la misma entidad y se quiere saber cómo afectan las relaciones inter institucionales en el logro de los resultados, conocer si las reglas de juego están acordes al programa o se requiere tomar decisiones organizacionales.

La metodología para hacer este tipo de evaluación varía con respecto a lo que se pretende evaluar

dentro de la institucionalidad del programa o política. Sin embargo, de acuerdo con el Departamento Nacional de Planeación (DNP) existen cuatro pasos comunes que deben estar claros antes de aplicar una técnica de análisis del programa o política, institucionalmente:

1

Identificar la perspectiva de la evaluación institucional.

2

Especificar la unidad de análisis: nivel política, organización, programa, proyecto, actividad, tarea.

3

Determinar la metodología a utilizar para el análisis.

4

Planear y desarrollar las herramientas de levantamiento de información necesaria.

¿Se va a evaluar la capacidad financiera y física de las agencias ejecutoras, su viabilidad y sostenibilidad? ¿Se van a revisar las políticas de personal, sistema de recompensas o capacidad individual de los participantes en las agencias involucradas en el programa?

2. Unidad de Análisis Para identificar la unidad de análisis de la evaluación se recomienda tener claro los siguientes insumos:  Información sobre el programa a evaluar  Alcance de la evaluación determinado por la perspectiva  Tiempo disponible para la evaluación  Recursos disponibles para la evaluación De acuerdo con los insumos se puede delimitar la información de acuerdo a la gráfica 2.

Gráfica 2. Niveles de Información 1. Perspectiva de la evaluación Para realizar la evaluación se debe definir la perspectiva a abordar y así poder dimensionar su alcance. Si se decide realizar una evaluación institucional es porque:

¿Se va a hacer el análisis del uso de determinados recursos como leyes, reglas, normas o relaciones interinstitucionales?

Fuente: DNP (2012).Guía para la Evaluación de Políticas Públicas

19

3. Metodología de Análisis

información y nivel de profundidad requerida, para determinar la evolución de las tareas, actividades, Para que el evaluador pueda establecer la forma programas u organizaciones. como influyó la capacidad institucional del programa en el logro de los objetivos, existen distintas metodologías, entre esas se encuentran las siguientes (Tabla I): Tabla I. Metodología de Evaluación Institucional

Fuente: Modificado de DNP (2012).Guía para la Evaluación de Políticas Públicas

4. Levantamiento de la información

5. Análisis de la Información

En una evaluación institucional se puede analizar la De acuerdo a la metodología utilizada (Tabla I) se información de oferta y demanda del programa o utilizan las herramientas para el análisis de la política. Antes de planear la recolección de la información. información se debe identificar el tipo de

6. Uso de resultados

Evaluación de Resultados

Los resultados de la evaluación institucional deben La evaluación de resultados es utilizada para permitir: evaluar los cambios en las condiciones de los beneficiarios luego de la intervención del programa Gráfica 12. Resultados o política cuando este hace entrega de los productos y servicios que ofrece (Gráfica 13).

Gráfica 13. Evaluación de Resultados

Fuente: Modificado de DNP (2012).Guía para la Evaluación de Políticas Públicas

Fuente: DNP (2012).Guía para la Evaluación de Políticas Públicas

Para medir los resultados se utilizan herramientas como:

Gráfica 14. Evaluación de Resultados

Fuente: Modificado de DNP (2012).Guía para la Evaluación de Políticas Públicas

El desarrollo de la evaluación de resultados contiene los siguientes siete pasos: 21

1

2

3

Identificar los resultados esperados del programa o política que se va a evaluar

Priorizar estos resultados para determinar cuáles se van a medir y analizar, con los recursos disponibles

Especificar medidas observables o indicadores de efecto para cada resultado – construcción de indicadores

4

Fijar una meta para estos indicadores

5

Identificar la información necesaria para medir estos indicadores e identificar cómo puede ser recolectada

6

Analizar y reportar los resultados

7

Usar los resultados

2. Priorizar los resultados a evaluar Identificar las actividades clave del programa, es decir, las que se encuentran directamente relacionadas con los resultados.

3. Construir indicadores Para cada resultado a evaluar se construyen indicadores que capturen dinámicas para su observación y análisis.

4. Fijar metas Cada indicador anteriormente construido debe contener una meta que el programa se compromete a cumplir.

Estos cuatro pasos anteriormente mencionados son necesarios para la evaluación de resultados y se desarrollan antes de la intervención, es decir, en la etapa de la formulación del programa o política.

5. Recolección de la información

1. Identificar los resultados esperados En la etapa de diseño del programa se definieron los resultados esperados, mediante metas e indicadores y un sistema de alimentación periódica que los alimentara.

Con respecto a esto se debe priorizar con el formulador o ejecutor del programa que se quiere evaluar.

De acuerdo con los indicadores se recoge la información pertinente que posibilite ver la evolución del programa o política. Se determina si es suficiente la información primaria o es necesario el levantamiento de información primaria mediante encuestas o entrevistas.

6. Análisis mediante una metodología Para el balance de la información hay diferentes metodologías estadísticas con el fin de interpretar los cambios generados en la población beneficiaria después de la intervención del programa o política.

7. Uso de resultados Los resultados de la evaluación de resultados deben permitir:

Evaluación de Impacto En la evaluación de resultados se identifican los cambios que tuvo la población beneficiaria pero No si estos fueron a causa de la intervención, por el contrario la evaluación de impacto sí permite conocer el efecto del programa en la población beneficiaria.

Gráfica 16. Evaluación de Impacto

Gráfica 15. Resultados Fuente: DNP (2012).Guía para la Evaluación de Políticas Públicas

Para el desarrollo de una evaluación de impacto, esta se debe comenzar a planear antes de la intervención y así la toma de información será más confiable para poder comparar la población sin intervención y la población luego de la intervención.

Fuente: Modificado de DNP (2012).Guía para la Evaluación de Políticas Públicas

Por lo tanto, de acuerdo al DNP en esta clase de evaluación se diferencian dos tipos de grupos de personas:

a) Grupo de Tratamiento (Beneficiarios): Cubre a todos los beneficiarios del programa o política sobre los cuales se espera percibir un impacto.

23

2. Muestreo y recolección de información b) Grupo de Control: Es la población que no participa del programa o política y que tiene las mismas características del Para la recolección de la información hay diferentes métodos que también pueden ser grupo de tratamiento. aplicables en otras evaluaciones: El desarrollo de la evaluación de impacto contiene los siguientes tres pasos:

1

Diseñar el modelo

2

Muestreo y Recolección de datos

3

Análisis de datos

1. Diseñar el modelo Un modelo se convierte en una herramienta para representar la realidad e interpretarla mediante variables y relaciones lógicas. Con respecto a la evaluación de impacto el modelo es el diseño de la evaluación, para su construcción se utilizan diferentes metodologías de tipo cuantitativo y cualitativo (Gráfica 17).

Gráfica 17. Métodos para el Diseño de una Evaluación de Impacto

Fuente: Modificado de DNP (2012).Guía para la Evaluación de Políticas Públicas

3. Análisis de la información

 Diseño Cuasi – Experimental

Para el análisis de la información también El DNP identifica las siguientes cuatro existen métodos cuantitativos y cualitativos que aproximaciones al diseño cuasi – experimental pueden ser utilizados combinados o (Gráfica 18). independientemente.

Los métodos cualitativos para el análisis de una Los siguientes métodos cuantitativos son evaluación de impacto son una herramienta para construir las relaciones causales de propios de una evaluación de impacto: impacto del programa sobre la población  Diseño Experimental o aleatorio objetivo. Las técnicas cualitativas no son Según en DNP dentro del diseño experimental propias de la evaluación de impacto, como lo el método más usado es el de Comparación de son: Medidas, el cual consiste en comparar los dos Entrevistas en grupos de población uno de tratamiento y profundidad control, utilizando los datos de cada uno en un Grupos Focales mismo momento de tiempo. Este método tiene como desventaja que se parte del supuesto que Evaluaciones las características de los dos grupos Participativas Rápidas comparados son iguales o muy Estudios de Caso similares.

Paneles de Expertos

Gráfica 18. Métodos para el Diseño de una Evaluación de Impacto

Fuente: Modificado de DNP (2012).Guía para la Evaluación de Políticas Públicas

Elaborado por la Oficina Asesora de Planeaci贸n y Estudios Sectoriales

Ministerio de Tecnolog铆as de la Informaci贸n y las Comunicaciones Rep煤blica de Colombia www.mintic.gov.co