Evaluación de Impacto Voces por la Paz. Ejecutivo

evaluación de impacto Reporte de la Evaluación de Impacto del Programa “Voces por la Paz” de ConArte A.C. ALGO EN COMÚN A.C.

RESUMEN EJECUTIVO Evaluación de Impacto del programa “Voces por la Paz” con ¡Ah, qué la canción! de ConArte A.C. auspiciado por el Programa Nacional para la Prevención del Delito (PRONAPRED) de la Subsecretaría de Prevención y Participación Ciudadana de la Secretaría de Gobernación.

Todos los materiales contenidos en el presente documento (análisis, texto, gráficos, logotipos, contenido y fotografías) son propiedad exclusiva de Algo en Común A.C. y están protegidos por la ley Federal de derecho de autor y demás leyes relativas. El uso de cualquiera de estos elementos será perseguido y sancionado. Queda prohibido copiar, reproducir, distribuir, publicar, transmitir, difundir, o en cualquier modo explotar cualquier parte de estos materiales sin la autorización previa por escrito de Algo en Común,A.C.

contenido ¿Qué es Algo en Común?

Ficha Técnica

Objetivos del Programa

Metodología

Resultados de la Evaluación

Retos

Modelo de Evaluación

Modelo Teórico

Archivo Fotográfico

Agradecimientos

Contacto

que es algo en comun Algo en Común es una calificadora y consultoría de proyectos sociales enfocada a maximizar el retorno social a través de información y criterios técnicos. Somos una organización de impacto social que evalúa y alinea intereses de los sectores público, privado y la sociedad civil.

Metodologia

escala

La metodología de Algo en Común evalúa rigurosamente proyectos de organizaciones civiles o emprendedores sociales con un enfoque basado en el desempeño y en la optimización del uso de recursos, procesos y operaciones.

90% - 100%

Algo en Común mide el impacto en 3 categorías: - Cobertura - Calidad - Replicabilidad

80% - 89% 60% - 79% 40% - 69% 21% - 39% 0% - 19%

Ficha tecnica PROYECTO

diseno del programa

Algo en Común A.C. realizó la evaluación de impacto del Programa Voces por la Paz ¡Ah, qué la canción! diseñado y operado por ConArte A.C.

¡Ah, qué la canción!, promueve el conocimiento y valoración de la música de autores y compositores mexicanos y busca crear espacios para la sana convivencia donde se propicie una cultura de paz a través de la empatía.

Este programa es auspiciado por el Programa Nacional para la Prevención del Delito (PRONAPRED) de la Subsecretaría de Prevención y Participación Ciudadana de la Secretaría de Gobernación.

fECHA DE EVALUACIÓN Junio a Noviembre de 2014 y Septiembre a Diciembre de 2015.

ConArte lo implementa a partir de la creación de coros comunitarios donde se fomentan los valores, la identidad y el sentido de pertenencia en familias, maestros y niños.

lugar Municipio de Tlaxcala, Tlaxcala.

objetivos del programa Con el fin de Ampliar el acceso de niños y niñas, adolescentes, maestros, padres y madres de familia a la formación artística para contribuir a la afirmación de la identidad, inculcando nuevas formas de pensamiento, empatía, solidaridad y convivencia.

cimentar

una cultura de paz

+ sana convivencia a partir de la

empatía y el desarrollo de la personalidad

METODOLOGIA La intervención se realizó a partir de encuestas a dos grupos: Intervención Niños de 4º, 5º y 6º de primaria y de 1º a 3º de secundaria que residen en Atlahapa, Acuitlapilco, Atempan y La Joya, y que asisten al taller ¡Ah qué la canción!

Control Niños de 4º, 5º y 6º de primaria y de 1º a 3º de secundaria que residen en Atlahapa, Acuitlapilco, Atempan y La Joya y que no son beneficiarios del taller de coros.

Atlhapa

Atempan

Acuitlapilco

La Joya

diseno de EVALUACIÓN

Efecto de la Intervención en el tiempo

2015

Post taller 2014

Línea base

Participaron Intervención

No participaron Control

esquema de muestreo Intervención La muestra intervención estuvo formada por todos los niños inscritos en el taller de coro y sólo estuvieron ausentes los que por alguna eventualidad no pudieron contactarse.

Control Se diseñó buscando la mayor similitud con la muestra intervención.

Debido que el objetivo principal del estudio es estimar el posible impacto que el taller deja en los niños, la muestra de niños del segundo levantamiento fue exactamente la misma del primero.

15

3°

14

2°

13

Marco de muestreo Se estratificó a los niños agrupándolos por grado (primaria y secundaria), género (hombre y mujer) y edad. Dentro de cada estrato, los niños se seleccionaron aleatoriamente con igual probabilidad.

12

1°

11

6°

10

5°

9

4°

8

Edad

Género

Grado

modelo teórico La sana convivencia y la cultura de paz, objetivos claves del programa, se evalúan a través de la evidencia empírica de la empatía y del desarrollo de la personalidad.

Ejes de ConArte

Sana convivencia

Evidencia empírica

Empatía

cognitiva y emotiva

Efectos

Violencia Sentido comunitario

Cultura de la Paz

Desarollo de la Personalidad *

Construcción de ciudadanía

El desarrollo de la personalidad se mide en 5 factores: Apertura mental (Openness); Tesón (conscientiousness); Energía (Extraversion); Afabilidad (agreeableness) y Neurotismo (neuroticism).

modelo DE EVALUACIÓN Actividades

Ejes de ConArte

Variables de control

Vinculados con los objetivos del programa

Variables sociodemográficas

asiste a coro

Desarollo de la Personalidad

+ Empatia cognitiva y emotiva

Género, edad, grado de escolaridad, estado civil, escuela pública/ privada, estatus socioeconómico, nivel sociocultural.

+ no asiste a coro

Variables de capital social Asociaciones, frecuencia de asistencia a misa, grupos y redes, confianza y solidaridad, acción colectiva y cooperación, satisfacción económica, cohesión e inclusión social, empoderamiento y acción política.

Variables de violencia doméstica Física / Emocional

RETOS

Levantamiento de datos Debido a que los niños cambiaron de ciclo escolar, fue necesario hacer un seguimiento de su localización. Esto implicó retos económicos y logísticos adicionales para Algo en Común.

Se duplicó el número de escuelas propuestas en el proyecto inicial, así como los recursos humanos necesarios para llevarlo a cabo y los recursos financieros invertidos en el levantamiento de datos. Además se realizaron 47 visitas a viviendas.

Primera etapa 2014

Segunda etapa 2015

RETOS

Restricciones presupuestarias

Transparencia de la información

El presupuesto no corresponde con el trabajo realizado.

Este proyecto está contribuyendo a una cultura del tejido y

A pesar de las limitaciones presupuestarias se logró

la transparencia de información. Las barreras a abrir la

cumplir con los objetivos de la evaluación.

información fueron muy altas, ya que las escuelas y padres de familia no querían proporcionar información por

Sin embargo, lo anterior se debió al trabajo probono del

desconocimiento y miedo al mal uso de los datos.

equipo y al voluntariado. Además, hubo gastos adicionales debido a que se duplicó el número de

Se confundía la confidencialidad de datos con la opacidad

escuelas. Esto se señala debido que en el futuro es

de datos.

difícil

muestreo, entrevistar a lo alumnos a pesar de contar con

replicar

esquemas

de

voluntariado,

por

lo que se debe pensar dotar de presupuesto suficiente para

recursos

humanos,

levantamiento de datos.

y

capacidad

para

Fue muy complicado obtener listas para el

cartas oficiales y entrevistar en vivienda.

resultados

resultados 2015 IMPACTO

COBERTURA

CALIDAD

REPLICABILIDAD

RESULTADOS GENERALES

2014-2015

2014

2015

%

%

IMPACTO

81.63%

82.20%

Cobertura

66.39%

78.83%

Visibilidad y accesibilidad

66.39%

78.83%

Calidad

92.62%

88.75%

Recursos necesarios

88.46%

75.00%

Cumplimiento de objetivos

100%

100%

Externalidades Positivas

100%

100%

Efectos Esperados

80.00%

80.00%

Replicabilidad

77.00%

80.48%

Creaci贸n del modelo

85.71%

85.71%

Alcance de la poblaci贸n, absorci贸n

36.00%

58.00%

Potencial de expansi贸n

85.70%

85.70%

RESULTADOS COBERTURA

COBERTURA Medir el alcance del proyecto hacia sus beneďŹ ciarios, la visibilidad y la accesibilidad del proyecto al pĂşblico general

resultados Cobertura

Visibilidad y Accesibilidad

visibilidad

implicaciones Se pierde capital humano porque los

34%

enteraron

horarios del coro son similiares a los de de de

los la

encuestados

no

implementación

se

otras actividades y los niños y jóvenes

del

interesados no pueden asistir.

programa en 2014.

recomendaciones No saben dónde encontrar información No identifican un lugar o personas a quienes puedan acudir a pedir información del programa.

i

- Establecer puntos accesibles para dar información - Proveer material informativo y resolver dudas en estos lugares estratégicos, pueden ser tienditas, iglesias, escuelas y cibercafés.

implicaciones

visibilidad

Pérdida de capital humano. Los que más están interesados en el programa (10 a 12 años) no se

6 de cada 10

asistentes son mujeres

enteran.

Sin embargo, a las mujeres se le dificulta

recomendaciones

más la asistencia porque tienen otras tareas y/o actividades, y tienen que cuidar a sus hermanos.

i

Mostrar logros y beneficios Incluir en el material impreso y digital datos, videos, fotografías y testimoniales con la intención de que la población identifique el

75% de los participantes tiene entre 10 y 12 años.

programa, sus beneficiarios, beneficios y los logros que han tenido.

Hacer énfasis en lo que más disfrutan los participantes. Los niños que participan en el

- Esta población es la que menos se entera el programa .

programa, disfrutan mucho cantar (40%) y jugar (23%).

Establecer horarios más accesibles.

Modificar los horarios para que no coincidan con otras actividades de los niños y niñas.

mayor probabilidad de asistencia

+ Las mujeres tienen 2.4 veces m谩s probabilidad de asitir a Voces por la Paz.

Los ni帽os y adolescentes que presentan

una mejora en su situaci贸n econ贸mica y cultural tienen mayor

probabilidad de asistir.

mayor probabilidad de asistencia

6 veces

más probabilidad de asistir los niños y jóvenes que ya participaron en el programa, que aquellos que no han participado.

Hay lealtad hacia el programa

Los niños y adolescentes que tienen mejores herramientas de Capital Social como : - Confianza y Solidaridad - Acción Colectiva

implicaciones

posicionamiento Las personas tienen mucha dificultad para comprender el programa

¿

Desinterés La falta de información y claridad provoca confusión, desinterés y descontento entre las personas.

?

recomendaciones Estrategia continua de difusión Diseñar una estrategia continua de

Los beneficios de participar

Los objetivos del programa

difusión del programa.

Difusión a través de participantes

A quién está dirigido

Asignar actividades de difusión a los participantes, ellos tienen el poder de transmitir su experiencia como parte de Voces por la Paz.

deserción

implicaciones Falta de compromiso La deserción de los profesores provocó sentimientos de abandono en los participantes, estos sentimientos causan que los niños ya no quiera participar en el programa, incluso provoca la resistencia a participar en otros programas parecidos.

6 de cada 10 niños No concluyeron el programa debido a la confusión provocada por la deserción del profesor en Atempan y Atlahapa.

recomendaciones Capacitar a los coordinadores y docentes en el desarrollo de habilidades como resiliencia, herramientas para enfrentarse al fracaso, talleres de resolución de conflictos y gestión de recursos.

Se recomienda que los operadores de los coros sean los maestro de las escuelas.

implicaciones

Ausencia de identidad y sentido de pertenencia La falta de propósito y de claridad provoca que las personas involucradas no tengan sentimientos de pertenencia.

No hay una identidad de los coros de “Voces por la Paz”.

Recomendaciones

Generar identidad y sentido de pertenencia Involucrar a los asistentes: - Elegir logo, slogan y porra del coro.

- Persoanlizar del salón (pintar, pegar posters) - Portar prendas o botones con el logo del programa.

- Asignar un nombre corto o siglas al coro para que se pueda identificar.

- Definir códigos de conviencia con normas que los niños elijan.

- Realizar actividades alternativas como visitas a museos y torneos deportivos.

- Participar en otras actividades de la comunidad.

RESULTADOS calidad

calidad Evaluar el desempeĂąo del proyecto a travĂŠs de la obtenciĂłn de los recursos necesarios para realizar el programa, el cumplimiento de objetivos y los efectos esperados en la comunidad.

resultados

Calidad

Recusos Necesarios

Cumplimiento de Objetivos

Externalidades Positivas

Efectos Esperados

Empatia

El programa incidió en la mejora de la preocupación empática de los participantes

implicaciones Los objetivos definidos por ConArte están correctamente planteados. El programa Voces por la Paz tiene un impacto

Variable

ATE

TT

Significancia

Preocupación Empática

2.1

2.3

1.89**

Toma de Perspectiva

2.5

3.1

1.13

Apertura

0.08

0.1

0.70

positivo en la preocupación empática.

La inversión social en este programa es deseable.

Empatia

6 de cada 10 niños que sí participaron en Voces por la Paz tiene una alta tendencia a experimentar sentimientos de compasión y simpatía frente a los menos afortunados.

Los bajos niveles de violencia emocional doméstica y la percepción de seguridad también influyen en el fortalecimiento de la preocupación empática.

capital social

implicaciones Los polígonos en Tlaxcala donde se está

Los participantes de Voces por la Paz tienen más herramientas de Capital Social que aquellos que no participan Los participantes confían más en los otros y son más solidarios.

4.4 vs 4.2

implementado este programa, corresponden a una sociedad muy homogénea, que no facilita que los niños y adolescentes puedan desarrollar sus niveles de apertura, cohesión e inclusión social.

recomendaciones Incluir en las prácticas de los coros, interacciones con grupos diversos (gente con capacidades

diferentes,

representantes

políticos, adultos mayores, grupos religiosos).

Si participó

No participó

Índice de Capital Social. Puntaje mínimo 0, puntaje máximo 10 Capital Social se mide con los siguientes índices: Asociacionismo, Confianza y Solidaridad, Acción Colectiva y Cooperación y Cohesión e Inclusión Social y Empoderamiento.

Promover intercambios con otros coros de diferentes regiones y de diferentes tipos.

implicaciones Brecha

entre

participantes

y

no

participantes Continuar con convocatorias abiertas hará que

se

aumente

la

brecha

entre

participantes ya que no se está atendiendo a la población más vulnerable.

Si participó

No participó

RECOMENDACIONES

Existe un proceso de autoseleción Donde los participantes actuales tienen una mejor situación económica y tienen mayores herramientas de Capital Social (Confianza y Solidaridad).

Convocatorias Semi Abiertas Diseñar convocatorias semi abiertas para garantizar que las poblaciones más vulnerables participen en el programa.

DESARROLLO DE PERSONALIDAD Participantes

Los participantes del programa Voces por la Paz mejoraron su personalidad al incrementar su afabilidad y energía.

Tesón Apertura Afabilidad Neurotismo

60% 58% 57% 55%

60%

48% 47%

40%

Energía

0% 2014

2015

OTRAS RECOMENDACIONES

Crear un programa de atracción y fidelidad Reforzar la difusión en las escuelas, y crear un

Involucrar a los padres de familia en la metodología PIVE. Diseñar redes de seguimiento y

programa que premie la lealtad (reconocimientos,

mentoraje

oportunidad de viajar a otros coros, subir de nivel), para

participantes y hacer más probable su continuidad en el

garantizar la continuidad del programa.

programa de coros.

institucionalizado

para

identificar

RESULTADOS REPLICABILIDAD

REPLICABILIDAD Hacer accesible la adaptaci贸n del proyecto en diferentes lugares

resultados Replicabilidad

Creaci贸n del Modelo

Alcance de la Poblaci贸n

Potencial de Expansi贸n

Creación del modelo

implicaciones La inversión de tiempo y esfuerzo no es

Voces por la Paz cuenta con reconocimiento a nivel nacional e internacional

efectiva ya que el coordinador se encarga de realizar todas las actividades administrativas, de gestión, posicionamiento y difusión del programa.

recomendaciones Aumentar los Recursos Humanos y

La selección de los recursos humanos es acertada pero limitada, es necesario incrementar el personal para que el programa tenga mayor alcance.

realizar manuales y sesiones para capacitar en temas de logística, implementación y gestión de recursos y talento.

implicaciones

Plan financiero

Continuidad del programa Se pierde continuidad del programa debido a que no se calculan los riesgos y

Dependen completamente de un fondo gubernamental

que sólo dependen de una fuente de ingresos.

recomendaciones Recursos alternativos Elaborar un plan financiero y estrategias de

No se implementan estrategias para buscar otros fondos para el sustento del programa.

patrocinadores alternativos que les asegure tener recursos para que no se interrumpa la implementación o en caso de que existan

Sí existe un plan financiero pero no se calculan riesgos como la discontinuidad del fondo gubernamental.

problemas operativos.

Tener un plan de contingencia en caso de que se suspenada el fondo gubernamental.

alcance y absorción

implicaciones Hay pérdida de capital social de los beneficiarios, el nivel de absorción es bajo, lo cual incide en el posicionamiento del

No se contempla una estrategia continua de difusión del programa

programa.

recomendaciones Es necesario que se invite e involucre a más inversionistas, empresas, ONGs y otros actores que puedan formar parte de

Se

han

sumado

instancias

la red de apoyo del programa para

gubernamentales y voluntarios al

incrementar

el

alcance

así

programa, pero no se han sumado

aumentar las fuentes de ingresos.

como

aliados que puedan aportar soporte financiero.

Empoderar a todos los involucrados e implementar estrategias de apropiación, identidad y pertenencia (ver en cobertura) desde el diseño del programa.

potencial de expansión

El programa es replicable

Capacidad de entrar a otros mercados

El programa está listo para replicarse ya que

Ya que el programa está diseñado para que las

cuenta con regulaciones, roles de miembros y

condiciones

planes de implementación establecidos y

dependan de un mercado en específico, se

documentados.

puede implementar en nuevos nichos de mercado.

de

su

implementación

no

archivo fotografico

agradecimientos

Secretaría de Gobernación

Equipo Colegio de Tlaxcala A.C.

Directores y escuelas que colaboraron

Eunice Rendón Cárdenas Directora General de Coordinación Intersecretarial

Ivonee Campos Rico Profesora Investigadora

Centro, Tlaxcala Alejandro Mora Pérez. Director Escuela Secundaria General “Presidente Juárez”

Ruth Zavaleta Salgado Directora General de Participación Ciudadana

Santiago Ortega Vega Responsable Administrativo de Proyectos

Alejandro Carro Flores. Director Escuela Secundaria Técnica No. 1

IMJUVE - Impulso México

Directores y escuelas que colaboraron

Benigno Sánchez Pérez. Director Colegio de Bachilleres de Tlaxcala No. 01 (COBAT 01)

Subsecretaría de Prevención y Participación Ciudadana

Sabino Arturo Barrera Bravo Director de Enlace con Organizaciones Juveniles

Sector Público Roberto Campa Cifrán Titular de la Subsecretaria de Derechos Humanos Oscar Hernández Subsecretario Particular de la Secretaría de Derechos Humanos

Atlahapa, Tlaxcala Héctor Manuel Nevarez Reyes Director Escuela Primaria Joaquina Molina

Victorino Vergara Castillo. Director Colegio de Estudios Científicos y Tecnológicos (CECyTE)

Vicky Flores Pérez Directora Escuela Secundaria Municipio de Tlaxcala

Comité de Expertos

Atempan, Tlaxcala Martha Flores Reyes. Directora Escuela Primaria Vicente Suárez Escuela Secundaria General No. 1 “Gabino Palma”

José Manuel Azpiroz Bravo, Director General de Cohesión e Inclusión Social en SEDESOL

La Joya, Tlaxcala Isauro Diyarza Canales. Director Escuela Primaria Benito Juárez, San Gabriel Cuautla, Tlaxcala.

Equipo ConArte A.C.

Raymundo Padilla Carro. Director Escuela Secundaria Técnica 36

Lucina Jiménez Directora General Rocío García Ruíz Coordinadora Técnica y de Programas Patricia Marcela Correa Coordinadora Académica David Peña Coordinación Música Israel Netzahuatl Coordinador del Programa Voces por la Paz en Tlaxcala en 2014.

Adrián Netzahualtl. Coordinador del Programa Voces por la Paz en Tlaxcala en 2015.

Gabriela Rosas Juárez. Coordinadora académica Escuela Secundaria Técnica 36 Acuitlapilco, Tlaxcala Carlos Netzahuatl Romano.

Director Escuela Secundaria Técnica 55 Javier E. Hernández Bailón.

Director Escuela Primaria Miguel Hidalgo

Carlos Martínez Velázquez Director General de Central Ciudadano y Consumidor A.C. Javier Osorio Zago. Assistant Professor City University of New York. Doctor en Ciencias Políticas de la Universidad de Notre Dame.

Idalia Rodríguez Morales. Experta en Econometría.

Lic. Economía Universidad Panamericana.

Marisol Vázquez Cuevas. Candidata a Doctor.

Columbia University Fernando Jiménez Sánchez. Experto en Seguridad y Violencia, Candidato a Doctor en Universidad Carlos III, Madrid Olivia Pérez Pérez Experta en Estadística y Probabilidad. Maestría en Estadística e Investigación de Operaciones en el IMAS, UNAM. Consultora Asociada BGC, Beltrán, Juáez y Asociados Patricia Mendiola Experta en Estadísitica y Probabilidad BGC, Ulises Beltrán, Juárez y Asociados

algo en comun a.c.

Equipo de trabajo Algo en Común, A.C.

Voluntarios

Paula Hurtado Calderón Directora y Socia Fundadora Algo en Común

Alfonsina López

Rafael Hurtado Calderón Socio Fundador Algo en Común Peter Fischer Socio Fundador Algo en Común Alejandra Rubio López Coordinadora de Proyectos Erika Peralta Baez Coordinadora de Análisis Estadístico Lucía Villafañe Fuentes Investigadora Olivia Pérez Pérez Asesora en Estadística y Probabilidad Patricia Mendiola Asesora en Estadística y Probabilidad

Elena Atkinson Elías Ramos Razo Gonzalo Carreño Idania Morales Moreno Jorge Morales José Antonio Sánchez Mara Martínez Uribe Mariana Barba Vega Mariana Espinosa Tinoco Miguel Ángel Pérez Santiago Minor

Algo en Común es una calificadora y consultoría de proyectos sociales enfocada a maximizar el retorno social a través de información y criterios técnicos. Algo en Común es una organización de impacto social que evalúa y alinea intereses de los sectores público, privado y la sociedad civil. ¿En qué consiste?

Evaluar proyectos sociales de OSC, emprendedores, empresas y gobierno a través de la Metodología Algo en Común medida en seis dimensiones: Sustentabilidad Financiera, Impacto, Gobernanza, Transparencia, Innovación y Colaboración. www.algoencomun.org contacto@algoencomun.org.mx

Algo en Común A.C.

@AlgoNComun