evaluación de impacto Reporte de la Evaluación de Impacto del Programa “Voces por la Paz” de ConArte A.C. ALGO EN COMÚN A.C.
RESUMEN EJECUTIVO Evaluación de Impacto del programa “Voces por la Paz” con ¡Ah, qué la canción! de ConArte A.C. auspiciado por el Programa Nacional para la Prevención del Delito (PRONAPRED) de la Subsecretaría de Prevención y Participación Ciudadana de la Secretaría de Gobernación.
Todos los materiales contenidos en el presente documento (análisis, texto, gráficos, logotipos, contenido y fotografías) son propiedad exclusiva de Algo en Común A.C. y están protegidos por la ley Federal de derecho de autor y demás leyes relativas. El uso de cualquiera de estos elementos será perseguido y sancionado. Queda prohibido copiar, reproducir, distribuir, publicar, transmitir, difundir, o en cualquier modo explotar cualquier parte de estos materiales sin la autorización previa por escrito de Algo en Común,A.C.
contenido ¿Qué es Algo en Común?
Ficha Técnica
Objetivos del Programa
Metodología
Resultados de la Evaluación
Retos
Modelo de Evaluación
Modelo Teórico
Archivo Fotográfico
Agradecimientos
Contacto
que es algo en comun Algo en Común es una calificadora y consultoría de proyectos sociales enfocada a maximizar el retorno social a través de información y criterios técnicos. Somos una organización de impacto social que evalúa y alinea intereses de los sectores público, privado y la sociedad civil.
Metodologia
escala
La metodología de Algo en Común evalúa rigurosamente proyectos de organizaciones civiles o emprendedores sociales con un enfoque basado en el desempeño y en la optimización del uso de recursos, procesos y operaciones.
90% - 100%
Algo en Común mide el impacto en 3 categorías: - Cobertura - Calidad - Replicabilidad
80% - 89% 60% - 79% 40% - 69% 21% - 39% 0% - 19%
Ficha tecnica PROYECTO
diseno del programa
Algo en Común A.C. realizó la evaluación de impacto del Programa Voces por la Paz ¡Ah, qué la canción! diseñado y operado por ConArte A.C.
¡Ah, qué la canción!, promueve el conocimiento y valoración de la música de autores y compositores mexicanos y busca crear espacios para la sana convivencia donde se propicie una cultura de paz a través de la empatía.
Este programa es auspiciado por el Programa Nacional para la Prevención del Delito (PRONAPRED) de la Subsecretaría de Prevención y Participación Ciudadana de la Secretaría de Gobernación.
fECHA DE EVALUACIÓN Junio a Noviembre de 2014 y Septiembre a Diciembre de 2015.
ConArte lo implementa a partir de la creación de coros comunitarios donde se fomentan los valores, la identidad y el sentido de pertenencia en familias, maestros y niños.
lugar Municipio de Tlaxcala, Tlaxcala.
objetivos del programa Con el fin de Ampliar el acceso de niños y niñas, adolescentes, maestros, padres y madres de familia a la formación artística para contribuir a la afirmación de la identidad, inculcando nuevas formas de pensamiento, empatía, solidaridad y convivencia.
cimentar
una cultura de paz
+ sana convivencia a partir de la
empatía y el desarrollo de la personalidad
METODOLOGIA La intervención se realizó a partir de encuestas a dos grupos: Intervención Niños de 4º, 5º y 6º de primaria y de 1º a 3º de secundaria que residen en Atlahapa, Acuitlapilco, Atempan y La Joya, y que asisten al taller ¡Ah qué la canción! Control Niños de 4º, 5º y 6º de primaria y de 1º a 3º de secundaria que residen en Atlahapa, Acuitlapilco, Atempan y La Joya y que no son beneficiarios del taller de coros.
Atlhapa
Atempan
Acuitlapilco
La Joya
diseno de EVALUACIÓN
Efecto de la Intervención en el tiempo
2015
Post taller 2014
Línea base
Participaron Intervención
No participaron Control
esquema de muestreo Intervención La muestra intervención estuvo formada por todos los niños inscritos en el taller de coro y sólo estuvieron ausentes los que por alguna eventualidad no pudieron contactarse. Control Se diseñó buscando la mayor similitud con la muestra intervención.
Debido que el objetivo principal del estudio es estimar el posible impacto que el taller deja en los niños, la muestra de niños del segundo levantamiento fue exactamente la misma del primero. 15
3°
14
2°
13
Marco de muestreo Se estratificó a los niños agrupándolos por grado (primaria y secundaria), género (hombre y mujer) y edad. Dentro de cada estrato, los niños se seleccionaron aleatoriamente con igual probabilidad.
12
1°
11
6°
10
5°
9
4°
8
Edad
Género
Grado
modelo teórico La sana convivencia y la cultura de paz, objetivos claves del programa, se evalúan a través de la evidencia empírica de la empatía y del desarrollo de la personalidad.
Ejes de ConArte
Sana convivencia
Evidencia empírica
Empatía
cognitiva y emotiva
Efectos
Violencia Sentido comunitario
Cultura de la Paz
Desarollo de la Personalidad *
Construcción de ciudadanía
El desarrollo de la personalidad se mide en 5 factores: Apertura mental (Openness); Tesón (conscientiousness); Energía (Extraversion); Afabilidad (agreeableness) y Neurotismo (neuroticism).
modelo DE EVALUACIÓN Actividades
Ejes de ConArte
Variables de control
Vinculados con los objetivos del programa
Variables sociodemográficas
asiste a coro
Desarollo de la Personalidad
+ Empatia cognitiva y emotiva
Género, edad, grado de escolaridad, estado civil, escuela pública/ privada, estatus socioeconómico, nivel sociocultural.
+ no asiste a coro
Variables de capital social Asociaciones, frecuencia de asistencia a misa, grupos y redes, confianza y solidaridad, acción colectiva y cooperación, satisfacción económica, cohesión e inclusión social, empoderamiento y acción política.
Variables de violencia doméstica Física / Emocional
RETOS
Levantamiento de datos Debido a que los niños cambiaron de ciclo escolar, fue necesario hacer un seguimiento de su localización. Esto implicó retos económicos y logísticos adicionales para Algo en Común. Se duplicó el número de escuelas propuestas en el proyecto inicial, así como los recursos humanos necesarios para llevarlo a cabo y los recursos financieros invertidos en el levantamiento de datos. Además se realizaron 47 visitas a viviendas.
Primera etapa 2014
Segunda etapa 2015
RETOS
Restricciones presupuestarias
Transparencia de la información
El presupuesto no corresponde con el trabajo realizado.
Este proyecto está contribuyendo a una cultura del tejido y
A pesar de las limitaciones presupuestarias se logró
la transparencia de información. Las barreras a abrir la
cumplir con los objetivos de la evaluación.
información fueron muy altas, ya que las escuelas y padres de familia no querían proporcionar información por
Sin embargo, lo anterior se debió al trabajo probono del
desconocimiento y miedo al mal uso de los datos.
equipo y al voluntariado. Además, hubo gastos adicionales debido a que se duplicó el número de
Se confundía la confidencialidad de datos con la opacidad
escuelas. Esto se señala debido que en el futuro es
de datos.
difícil
muestreo, entrevistar a lo alumnos a pesar de contar con
replicar
esquemas
de
voluntariado,
por
lo que se debe pensar dotar de presupuesto suficiente para
recursos
humanos,
levantamiento de datos.
y
capacidad
para
Fue muy complicado obtener listas para el
cartas oficiales y entrevistar en vivienda.
resultados
resultados 2015 IMPACTO
COBERTURA
CALIDAD
REPLICABILIDAD
RESULTADOS GENERALES
2014-2015
2014
2015
%
%
IMPACTO
81.63%
82.20%
Cobertura
66.39%
78.83%
Visibilidad y accesibilidad
66.39%
78.83%
Calidad
92.62%
88.75%
Recursos necesarios
88.46%
75.00%
Cumplimiento de objetivos
100%
100%
Externalidades Positivas
100%
100%
Efectos Esperados
80.00%
80.00%
Replicabilidad
77.00%
80.48%
Creaci贸n del modelo
85.71%
85.71%
Alcance de la poblaci贸n, absorci贸n
36.00%
58.00%
Potencial de expansi贸n
85.70%
85.70%
RESULTADOS COBERTURA
COBERTURA Medir el alcance del proyecto hacia sus beneďŹ ciarios, la visibilidad y la accesibilidad del proyecto al pĂşblico general
resultados Cobertura
Visibilidad y Accesibilidad
visibilidad
implicaciones Se pierde capital humano porque los
34%
enteraron
horarios del coro son similiares a los de de de
los la
encuestados
no
implementación
se
otras actividades y los niños y jóvenes
del
interesados no pueden asistir.
programa en 2014.
recomendaciones No saben dónde encontrar información No identifican un lugar o personas a quienes puedan acudir a pedir información del programa.
i
- Establecer puntos accesibles para dar información - Proveer material informativo y resolver dudas en estos lugares estratégicos, pueden ser tienditas, iglesias, escuelas y cibercafés.
implicaciones
visibilidad
Pérdida de capital humano. Los que más están interesados en el programa (10 a 12 años) no se
6 de cada 10
asistentes son mujeres
enteran.
Sin embargo, a las mujeres se le dificulta
recomendaciones
más la asistencia porque tienen otras tareas y/o actividades, y tienen que cuidar a sus hermanos.
i
Mostrar logros y beneficios Incluir en el material impreso y digital datos, videos, fotografías y testimoniales con la intención de que la población identifique el
75% de los participantes tiene entre 10 y 12 años.
programa, sus beneficiarios, beneficios y los logros que han tenido. Hacer énfasis en lo que más disfrutan los participantes. Los niños que participan en el
- Esta población es la que menos se entera el programa .
programa, disfrutan mucho cantar (40%) y jugar (23%). Establecer horarios más accesibles. Modificar los horarios para que no coincidan con otras actividades de los niños y niñas.
mayor probabilidad de asistencia
+ Las mujeres tienen 2.4 veces m谩s probabilidad de asitir a Voces por la Paz.
Los ni帽os y adolescentes que presentan
una mejora en su situaci贸n econ贸mica y cultural tienen mayor
probabilidad de asistir.
mayor probabilidad de asistencia
6 veces
más probabilidad de asistir los niños y jóvenes que ya participaron en el programa, que aquellos que no han participado.
Hay lealtad hacia el programa
Los niños y adolescentes que tienen mejores herramientas de Capital Social como : - Confianza y Solidaridad - Acción Colectiva
implicaciones
posicionamiento Las personas tienen mucha dificultad para comprender el programa
¿
Desinterés La falta de información y claridad provoca confusión, desinterés y descontento entre las personas.
?
recomendaciones Estrategia continua de difusión Diseñar una estrategia continua de
Los beneficios de participar
Los objetivos del programa
difusión del programa.
Difusión a través de participantes
A quién está dirigido
Asignar actividades de difusión a los participantes, ellos tienen el poder de transmitir su experiencia como parte de Voces por la Paz.
deserción
implicaciones Falta de compromiso La deserción de los profesores provocó sentimientos de abandono en los participantes, estos sentimientos causan que los niños ya no quiera participar en el programa, incluso provoca la resistencia a participar en otros programas parecidos.
6 de cada 10 niños No concluyeron el programa debido a la confusión provocada por la deserción del profesor en Atempan y Atlahapa.
recomendaciones Capacitar a los coordinadores y docentes en el desarrollo de habilidades como resiliencia, herramientas para enfrentarse al fracaso, talleres de resolución de conflictos y gestión de recursos. Se recomienda que los operadores de los coros sean los maestro de las escuelas.
implicaciones
Ausencia de identidad y sentido de pertenencia La falta de propósito y de claridad provoca que las personas involucradas no tengan sentimientos de pertenencia. No hay una identidad de los coros de “Voces por la Paz”.
Recomendaciones
Generar identidad y sentido de pertenencia Involucrar a los asistentes: - Elegir logo, slogan y porra del coro. - Persoanlizar del salón (pintar, pegar posters) - Portar prendas o botones con el logo del programa. - Asignar un nombre corto o siglas al coro para que se pueda identificar. - Definir códigos de conviencia con normas que los niños elijan. - Realizar actividades alternativas como visitas a museos y torneos deportivos. - Participar en otras actividades de la comunidad.
RESULTADOS calidad
calidad Evaluar el desempeĂąo del proyecto a travĂŠs de la obtenciĂłn de los recursos necesarios para realizar el programa, el cumplimiento de objetivos y los efectos esperados en la comunidad.
resultados
Calidad
Recusos Necesarios
Cumplimiento de Objetivos
Externalidades Positivas
Efectos Esperados
Empatia
El programa incidió en la mejora de la preocupación empática de los participantes
implicaciones Los objetivos definidos por ConArte están correctamente planteados. El programa Voces por la Paz tiene un impacto
Variable
ATE
TT
Significancia
Preocupación Empática
2.1
2.3
1.89**
Toma de Perspectiva
2.5
3.1
1.13
Apertura
0.08
0.1
0.70
positivo en la preocupación empática. La inversión social en este programa es deseable.
Empatia
6 de cada 10 niños que sí participaron en Voces por la Paz tiene una alta tendencia a experimentar sentimientos de compasión y simpatía frente a los menos afortunados.
Los bajos niveles de violencia emocional doméstica y la percepción de seguridad también influyen en el fortalecimiento de la preocupación empática.
capital social
implicaciones Los polígonos en Tlaxcala donde se está
Los participantes de Voces por la Paz tienen más herramientas de Capital Social que aquellos que no participan Los participantes confían más en los otros y son más solidarios.
4.4 vs 4.2
implementado este programa, corresponden a una sociedad muy homogénea, que no facilita que los niños y adolescentes puedan desarrollar sus niveles de apertura, cohesión e inclusión social.
recomendaciones Incluir en las prácticas de los coros, interacciones con grupos diversos (gente con capacidades
diferentes,
representantes
políticos, adultos mayores, grupos religiosos).
Si participó
No participó
Índice de Capital Social. Puntaje mínimo 0, puntaje máximo 10 Capital Social se mide con los siguientes índices: Asociacionismo, Confianza y Solidaridad, Acción Colectiva y Cooperación y Cohesión e Inclusión Social y Empoderamiento.
Promover intercambios con otros coros de diferentes regiones y de diferentes tipos.
implicaciones Brecha
entre
participantes
y
no
participantes Continuar con convocatorias abiertas hará que
se
aumente
la
brecha
entre
participantes ya que no se está atendiendo a la población más vulnerable.
Si participó
No participó
RECOMENDACIONES
Existe un proceso de autoseleción Donde los participantes actuales tienen una mejor situación económica y tienen mayores herramientas de Capital Social (Confianza y Solidaridad).
Convocatorias Semi Abiertas Diseñar convocatorias semi abiertas para garantizar que las poblaciones más vulnerables participen en el programa.
DESARROLLO DE PERSONALIDAD Participantes
Los participantes del programa Voces por la Paz mejoraron su personalidad al incrementar su afabilidad y energía.
Tesón Apertura Afabilidad Neurotismo
60% 58% 57% 55%
60%
48% 47%
40%
Energía
0% 2014
2015
OTRAS RECOMENDACIONES
Crear un programa de atracción y fidelidad Reforzar la difusión en las escuelas, y crear un
Involucrar a los padres de familia en la metodología PIVE. Diseñar redes de seguimiento y
programa que premie la lealtad (reconocimientos,
mentoraje
oportunidad de viajar a otros coros, subir de nivel), para
participantes y hacer más probable su continuidad en el
garantizar la continuidad del programa.
programa de coros.
institucionalizado
para
identificar
RESULTADOS REPLICABILIDAD
REPLICABILIDAD Hacer accesible la adaptaci贸n del proyecto en diferentes lugares
resultados Replicabilidad
Creaci贸n del Modelo
Alcance de la Poblaci贸n
Potencial de Expansi贸n
Creación del modelo
implicaciones La inversión de tiempo y esfuerzo no es
Voces por la Paz cuenta con reconocimiento a nivel nacional e internacional
efectiva ya que el coordinador se encarga de realizar todas las actividades administrativas, de gestión, posicionamiento y difusión del programa.
recomendaciones Aumentar los Recursos Humanos y
La selección de los recursos humanos es acertada pero limitada, es necesario incrementar el personal para que el programa tenga mayor alcance.
realizar manuales y sesiones para capacitar en temas de logística, implementación y gestión de recursos y talento.
implicaciones
Plan financiero
Continuidad del programa Se pierde continuidad del programa debido a que no se calculan los riesgos y
Dependen completamente de un fondo gubernamental
que sólo dependen de una fuente de ingresos.
recomendaciones Recursos alternativos Elaborar un plan financiero y estrategias de
No se implementan estrategias para buscar otros fondos para el sustento del programa.
patrocinadores alternativos que les asegure tener recursos para que no se interrumpa la implementación o en caso de que existan
Sí existe un plan financiero pero no se calculan riesgos como la discontinuidad del fondo gubernamental.
problemas operativos. Tener un plan de contingencia en caso de que se suspenada el fondo gubernamental.
alcance y absorción
implicaciones Hay pérdida de capital social de los beneficiarios, el nivel de absorción es bajo, lo cual incide en el posicionamiento del
No se contempla una estrategia continua de difusión del programa
programa.
recomendaciones Es necesario que se invite e involucre a más inversionistas, empresas, ONGs y otros actores que puedan formar parte de
Se
han
sumado
instancias
la red de apoyo del programa para
gubernamentales y voluntarios al
incrementar
el
alcance
así
programa, pero no se han sumado
aumentar las fuentes de ingresos.
como
aliados que puedan aportar soporte financiero.
Empoderar a todos los involucrados e implementar estrategias de apropiación, identidad y pertenencia (ver en cobertura) desde el diseño del programa.
potencial de expansión
El programa es replicable
Capacidad de entrar a otros mercados
El programa está listo para replicarse ya que
Ya que el programa está diseñado para que las
cuenta con regulaciones, roles de miembros y
condiciones
planes de implementación establecidos y
dependan de un mercado en específico, se
documentados.
puede implementar en nuevos nichos de mercado.
de
su
implementación
no
archivo fotografico
agradecimientos
Secretaría de Gobernación
Equipo Colegio de Tlaxcala A.C.
Directores y escuelas que colaboraron
Eunice Rendón Cárdenas Directora General de Coordinación Intersecretarial
Ivonee Campos Rico Profesora Investigadora
Centro, Tlaxcala Alejandro Mora Pérez. Director Escuela Secundaria General “Presidente Juárez”
Ruth Zavaleta Salgado Directora General de Participación Ciudadana
Santiago Ortega Vega Responsable Administrativo de Proyectos
Alejandro Carro Flores. Director Escuela Secundaria Técnica No. 1
IMJUVE - Impulso México
Directores y escuelas que colaboraron
Benigno Sánchez Pérez. Director Colegio de Bachilleres de Tlaxcala No. 01 (COBAT 01)
Subsecretaría de Prevención y Participación Ciudadana
Sabino Arturo Barrera Bravo Director de Enlace con Organizaciones Juveniles
Sector Público Roberto Campa Cifrán Titular de la Subsecretaria de Derechos Humanos Oscar Hernández Subsecretario Particular de la Secretaría de Derechos Humanos
Atlahapa, Tlaxcala Héctor Manuel Nevarez Reyes Director Escuela Primaria Joaquina Molina
Victorino Vergara Castillo. Director Colegio de Estudios Científicos y Tecnológicos (CECyTE)
Vicky Flores Pérez Directora Escuela Secundaria Municipio de Tlaxcala
Comité de Expertos
Atempan, Tlaxcala Martha Flores Reyes. Directora Escuela Primaria Vicente Suárez Escuela Secundaria General No. 1 “Gabino Palma”
José Manuel Azpiroz Bravo, Director General de Cohesión e Inclusión Social en SEDESOL
La Joya, Tlaxcala Isauro Diyarza Canales. Director Escuela Primaria Benito Juárez, San Gabriel Cuautla, Tlaxcala.
Equipo ConArte A.C.
Raymundo Padilla Carro. Director Escuela Secundaria Técnica 36
Lucina Jiménez Directora General Rocío García Ruíz Coordinadora Técnica y de Programas Patricia Marcela Correa Coordinadora Académica David Peña Coordinación Música Israel Netzahuatl Coordinador del Programa Voces por la Paz en Tlaxcala en 2014. Adrián Netzahualtl. Coordinador del Programa Voces por la Paz en Tlaxcala en 2015.
Gabriela Rosas Juárez. Coordinadora académica Escuela Secundaria Técnica 36 Acuitlapilco, Tlaxcala Carlos Netzahuatl Romano. Director Escuela Secundaria Técnica 55 Javier E. Hernández Bailón. Director Escuela Primaria Miguel Hidalgo
Carlos Martínez Velázquez Director General de Central Ciudadano y Consumidor A.C. Javier Osorio Zago. Assistant Professor City University of New York. Doctor en Ciencias Políticas de la Universidad de Notre Dame. Idalia Rodríguez Morales. Experta en Econometría. Lic. Economía Universidad Panamericana. Marisol Vázquez Cuevas. Candidata a Doctor. Columbia University Fernando Jiménez Sánchez. Experto en Seguridad y Violencia, Candidato a Doctor en Universidad Carlos III, Madrid Olivia Pérez Pérez Experta en Estadística y Probabilidad. Maestría en Estadística e Investigación de Operaciones en el IMAS, UNAM. Consultora Asociada BGC, Beltrán, Juáez y Asociados Patricia Mendiola Experta en Estadísitica y Probabilidad BGC, Ulises Beltrán, Juárez y Asociados
algo en comun a.c.
Equipo de trabajo Algo en Común, A.C.
Voluntarios
Paula Hurtado Calderón Directora y Socia Fundadora Algo en Común
Alfonsina López
Rafael Hurtado Calderón Socio Fundador Algo en Común Peter Fischer Socio Fundador Algo en Común Alejandra Rubio López Coordinadora de Proyectos Erika Peralta Baez Coordinadora de Análisis Estadístico Lucía Villafañe Fuentes Investigadora Olivia Pérez Pérez Asesora en Estadística y Probabilidad Patricia Mendiola Asesora en Estadística y Probabilidad
Elena Atkinson Elías Ramos Razo Gonzalo Carreño Idania Morales Moreno Jorge Morales José Antonio Sánchez Mara Martínez Uribe Mariana Barba Vega Mariana Espinosa Tinoco Miguel Ángel Pérez Santiago Minor
Algo en Común es una calificadora y consultoría de proyectos sociales enfocada a maximizar el retorno social a través de información y criterios técnicos. Algo en Común es una organización de impacto social que evalúa y alinea intereses de los sectores público, privado y la sociedad civil. ¿En qué consiste? Evaluar proyectos sociales de OSC, emprendedores, empresas y gobierno a través de la Metodología Algo en Común medida en seis dimensiones: Sustentabilidad Financiera, Impacto, Gobernanza, Transparencia, Innovación y Colaboración. www.algoencomun.org contacto@algoencomun.org.mx
Algo en Común A.C.
@AlgoNComun