Aspectos Metodol贸gicos y Emp铆ricos de los Sistemas de Monitoreo y Evaluaci贸n de los Proyectos de Seguridad Ciudadana
Jose Cuesta y Jorge Lamas RE3/SO3 11 de Septiembre del 2006
Aspectos Metodologicos
Presentaci贸n Objetivos y Retos de S&E en temas de Seguridad Taxomom铆a de los Impactos T茅cnicas de Medici贸n Donde estamos y hacia donde vamos
¿Para que necesitamos un sistema de supervisión y evaluación en el ámbito de seguridad? • Evidencia de enormes costos por violencia e inseguridad ciudadana • Pero evidencia es indirecta e insuficiente % PIB en gastos medicos, judiciales, penitenciarios, policiales, de seguridad privada, pago de seguros
• Hasta la fecha, beneficios se aproximan como costos ahorrados al bajar la violencia
¿A que nos enfrentamos? • Objetivo: Generar un conocimiento sistemático, frecuente y relevante sobre productos (supervisión) y resultados (evaluación) atribuibles a un programa. • Reto: consiste en ir mas alla de meras deducciones llegando a estimar beneficios tanto individuales como sociales de forma directa. • Dificultad: Identificar y aislar efectos concretos a intervenciones complejas en un contexto multicausal como es el de violencia e inseguridad.
Taxonomía de Impactos (I) Individuales: beneficios apropiados por individuos exclusivamente reducción de la percepción de victimización cambio de comportamiento resolucion pacífica de conflictos personales
Sociales: beneficios extendidos mas alla de individuos concretos fortalecimiento capital social de la comunidad desarrollo local capacidad de planificar politicas efectivas basadas en evidencia
Taxonomía de Impactos (II) • Corto plazo o impactos tempranos mejora de la confianza personal mobilización comunitaria
• Mediano y largo plazo: mejora de las condiciones de vida en comunidades violencia no forma parte de modelo de vida
Metodos de Medición de Impactos Cuantitativos Experimentales: generar un experimento “natural”. Consideraciones éticas y de economía política. Cuasi-experimentales: reconstruir unas comparaciones relevantes (propensity matching, estimar probabilidades de ocurrencia). Menor precisión pero menores dificultades de implementación. Cualitativos Estudios de Caso: Trade-off entre detalle y representatividad. Grupos focales: Trade off entre detalle y precisión.
Propiedades de mĂŠtodos S&E Experimentales
Cuasiexperimentales
Estudios de caso
Grupos focales
Precision
***
**
*
*
Relevancia-representatividad
***
**
*
*
Factibilidad (costos, tiempos, political economy, etica, requerimientos informacion)
*
**
***
***
Sistematizacion y replicabilidad
**
**
*
*
Capturan efectos corto plazo largo plazo
*** *
** *
*** ***
*** ***
Explicacion, entendimiento de causas, canales de transmision, naturaleza de los efectos
*
*
***
***
**** excelente *** bueno ** satisfactorio * regular-malo
¿dónde estamos .... ? • Diagnósticos y pruebas piloto previos a S&E que nos permitan elegir indicadores relevantes y factibles • Levantamiento de líneas de base durante preparación del proyecto que incluyan grupos de control y tratamiento • Encuestas de seguimiento y finalización • Aplicación de técnicas económetricas con apoyo puntual de técnicas cualitativas (durante diagnóstico y validación de resultados)
Aspectos EmpĂricos
Distinguir entre supervisión y evaluación • Supervisión: proceso continuo focalizado en el avance de implantación de las actividades del programa. Se refiere a los productos (outputs) de los programas • Evaluación: vinculado al desarrollo del programa (performance). Se refiere a los resultados de las operaciones (Outcomes). • Productos: Número de policía entrenados en policía comunitaria. Resultados: Reducción de xx% de número de robos
Fuentes de Información sobre indicadores • Productos: Informe semestrales, Planes Operativos Anuales • Resultados: Sistemas de Información, Encuestas de Victimización, Encuestas de actitudes, normas y prácticas, Evaluaciones Comunitarias (Community Assessments) y evaluaciones individuales
Encuestas de victimización • propociona información sobre la experiencia de las personas con respecto al crimen, riesgos de victimización, propensión a realizar la denuncia frente a las autoridades, actitudes con relación a la policía y otras instituciones • Percepción de inseguridad. Opinión sobre la calidad de servicios y nivel de confianza relacionado a las instituciones
Encuestas de Victimización Perú: • 70% considera de “probable” a “muy probable” de ser víctima de un delito. • 89% de los consultados considera que en los últimos años han aumentado el número de delitos de Perú. • 70% de los consultados afirma no confiar en la PNP.
Encuestas de Victimización GUYANA • 21% (Región IV) y 22% (Región VI) de los entrevistados fueron víctimas de algún tipo de delito en el último año • 42% (Región IV) y 49% (Región VI) de los entrevistados se sentían inseguros en las calles de su comunidad por las noches • 34% and 36% de los entrevistados en las Regiones IV y VI opinan que la GPF no tiene una buena actuación en la prevención del crimen
Encuestas de actitudes, normas y prácticas • prevalencia de conductas violentas hacia la pareja, los niños y personas ajenas a la familia • evaluación de los factores normativos, actitudinales y ambientales que favorecen o inhiben conductas agresivas o violentas en contextos específicos, concretamente violencia hacia la mujer, los niños y los vecinos
Encuestas de actitudes, normas y prácticas GUYANA • 56% (Región IV) y 43% ( Region VI) de las personas no tienen la habilidad de controlar la ira y evitar una pelea • 68% (Región IV) y 76% (Región VI) tienen la voluntad de convivir y ayudar a su vecino
Evaluaciones Comunitarias (Community Assessment) • Identificación de capacidades de la comunidad para enfrentar problemas y proponer soluciones • Proporciona información sobre indicadores que no son cuantificables—compromisos de los diferentes interesados (stakeholders)- presencia en las reuniones; resultados y acciones tomadas como resultados de las reuniones; encuestas de opinión llevados a cabo en las reuniones comunitarias
Evaluaciones Comunitarias (Community Assessment) โ ข Guyana: Realizado anรกlisis en dos comunidades a cargo de jรณvenes de la comunidad
Evaluaciones Individuales • Aislar los efectos de las intervenciones mediante diseño epidemiológico de evaluación Radomized Intervention Trial- misma probabilidad de ser intervenido o no intervenido. Elimina sesgo de selección Modelo Cuasi-experimental- Antes y Despuésbasado en muestras representativas de la población-encuestas, sistemas de información (Observatorio del Crimen)
...y hacia donde vamos? • Atribución de impactos mejorara en tanto mejoren técnicas cuantitativas y aumenten los periodos de evaluación • Pregunta clave es si Gobiernos y Banco están dispuestos a invertir en estos sistemas de información caros y de largo plazo?