aspectos metodológicos y empíricos de los sistemas de monitoreo y evaluación de los proyectos de ...

Aspectos Metodol贸gicos y Emp铆ricos de los Sistemas de Monitoreo y Evaluaci贸n de los Proyectos de Seguridad Ciudadana

Jose Cuesta y Jorge Lamas RE3/SO3 11 de Septiembre del 2006

Aspectos Metodologicos

Presentaci贸n Objetivos y Retos de S&E en temas de Seguridad Taxomom铆a de los Impactos T茅cnicas de Medici贸n Donde estamos y hacia donde vamos

¿Para que necesitamos un sistema de supervisión y evaluación en el ámbito de seguridad?

• Evidencia de enormes costos por violencia e inseguridad ciudadana • Pero evidencia es indirecta e insuficiente % PIB en gastos medicos, judiciales, penitenciarios, policiales, de seguridad privada, pago de seguros

• Hasta la fecha, beneficios se aproximan como costos ahorrados al bajar la violencia

¿A que nos enfrentamos?

• Objetivo: Generar un conocimiento sistemático, frecuente y relevante sobre productos (supervisión) y resultados (evaluación) atribuibles a un programa.

• Reto: consiste en ir mas alla de meras deducciones llegando a estimar beneficios tanto individuales como sociales de forma directa.

• Dificultad: Identificar y aislar efectos concretos a intervenciones complejas en un contexto multicausal como es el de violencia e inseguridad.

Taxonomía de Impactos (I) Individuales: beneficios apropiados por individuos exclusivamente reducción de la percepción de victimización cambio de comportamiento resolucion pacífica de conflictos personales

Sociales: beneficios extendidos mas alla de individuos concretos fortalecimiento capital social de la comunidad desarrollo local capacidad de planificar politicas efectivas basadas en evidencia

Taxonomía de Impactos (II) • Corto plazo o impactos tempranos mejora de la confianza personal mobilización comunitaria

• Mediano y largo plazo: mejora de las condiciones de vida en comunidades violencia no forma parte de modelo de vida

Metodos de Medición de Impactos Cuantitativos Experimentales: generar un experimento “natural”.

Consideraciones éticas y de economía política.

Cuasi-experimentales: reconstruir unas comparaciones relevantes (propensity matching, estimar probabilidades de ocurrencia). Menor precisión pero menores dificultades de implementación.

Cualitativos Estudios de Caso: Trade-off entre detalle y representatividad.

Grupos focales: Trade off entre detalle y precisión.

Propiedades de mĂŠtodos S&E Experimentales

Cuasiexperimentales

Estudios de caso

Grupos focales

Precision

***

**

*

*

Relevancia-representatividad

***

**

*

*

Factibilidad (costos, tiempos, political economy, etica, requerimientos informacion)

*

**

***

***

Sistematizacion y replicabilidad

**

**

*

*

Capturan efectos corto plazo largo plazo

*** *

** *

*** ***

*** ***

Explicacion, entendimiento de causas, canales de transmision, naturaleza de los efectos

*

*

***

***

**** excelente *** bueno ** satisfactorio * regular-malo

¿dónde estamos .... ?

• Diagnósticos y pruebas piloto previos a S&E que nos permitan elegir indicadores relevantes y factibles • Levantamiento de líneas de base durante preparación del proyecto que incluyan grupos de control y tratamiento • Encuestas de seguimiento y finalización • Aplicación de técnicas económetricas con apoyo puntual de técnicas cualitativas (durante diagnóstico y validación de resultados)

Aspectos EmpĂ­ricos

Distinguir entre supervisión y evaluación • Supervisión: proceso continuo focalizado en el avance de implantación de las actividades del programa. Se refiere a los productos (outputs) de los programas • Evaluación: vinculado al desarrollo del programa (performance).

Se refiere a los resultados de las operaciones (Outcomes).

• Productos: Número de policía entrenados en policía comunitaria.

Resultados: Reducción de xx% de número de robos

Fuentes de Información sobre indicadores • Productos: Informe semestrales, Planes Operativos Anuales • Resultados: Sistemas de Información, Encuestas de Victimización, Encuestas de actitudes, normas y prácticas, Evaluaciones Comunitarias (Community Assessments) y evaluaciones individuales

Encuestas de victimización • propociona información sobre la experiencia de las personas con respecto al crimen, riesgos de victimización, propensión a realizar la denuncia frente a las autoridades, actitudes con relación a la policía y otras instituciones • Percepción de inseguridad. Opinión sobre la calidad de servicios y nivel de confianza relacionado a las instituciones

Encuestas de Victimización Perú: • 70% considera de “probable” a “muy probable” de ser víctima de un delito.

• 89% de los consultados considera que en los últimos años han aumentado el número de delitos de Perú.

• 70% de los consultados afirma no confiar en la PNP.

Encuestas de Victimización GUYANA • 21% (Región IV) y 22% (Región VI) de los entrevistados fueron víctimas de algún tipo de delito en el último año • 42% (Región IV) y 49% (Región VI) de los entrevistados se sentían inseguros en las calles de su comunidad por las noches • 34% and 36% de los entrevistados en las Regiones IV y VI opinan que la GPF no tiene una buena actuación en la prevención del crimen

Encuestas de actitudes, normas y prácticas • prevalencia de conductas violentas hacia la pareja, los niños y personas ajenas a la familia • evaluación de los factores normativos, actitudinales y ambientales que favorecen o inhiben conductas agresivas o violentas en contextos específicos, concretamente violencia hacia la mujer, los niños y los vecinos

Encuestas de actitudes, normas y prácticas GUYANA • 56% (Región IV) y 43% ( Region VI) de las personas no tienen la habilidad de controlar la ira y evitar una pelea • 68% (Región IV) y 76% (Región VI) tienen la voluntad de convivir y ayudar a su vecino

Evaluaciones Comunitarias (Community Assessment) • Identificación de capacidades de la comunidad para enfrentar problemas y proponer soluciones • Proporciona información sobre indicadores que no son cuantificables—compromisos de los diferentes interesados (stakeholders)- presencia en las reuniones; resultados y acciones tomadas como resultados de las reuniones; encuestas de opinión llevados a cabo en las reuniones comunitarias

Evaluaciones Comunitarias (Community Assessment) โ ข Guyana: Realizado anรกlisis en dos comunidades a cargo de jรณvenes de la comunidad

Evaluaciones Individuales • Aislar los efectos de las intervenciones mediante diseño epidemiológico de evaluación  Radomized Intervention Trial- misma probabilidad de ser intervenido o no intervenido.

Elimina sesgo de selección  Modelo Cuasi-experimental- Antes y Despuésbasado en muestras representativas de la población-encuestas, sistemas de información (Observatorio del Crimen)

...y hacia donde vamos?

• Atribución de impactos mejorara en tanto mejoren técnicas cuantitativas y aumenten los periodos de evaluación • Pregunta clave es si Gobiernos y Banco están dispuestos a invertir en estos sistemas de información caros y de largo plazo?