Impact: design, analysis and evaluation. MECD Creative Europe. July2014

Diseño, Análisis y Evaluación del Impacto de Proyectos de Cooperación Cultural Victoria Ateca Amestoy (UPV/EHU) Madrid, 8 de julio de 2014 Europa Creativa – Cultura DESK

www mapsi eu www.mapsi.eu www.facebook.com/mapsiproject @MAPSI j @MAPSIproject

Conceptos clave • Definir el impacto de un proyecto (identificación) • Incluir en el desarrollo del proyecto • Llevar el impacto y las acciones para gestionarlo y medirlo a la solicitud

Conceptos clave: ciclo de vida del proyecto • Inputs/recursos: todos los recursos (humanos o de capital), invertidos en la actividades de la organización / consorcio. j llevados a cabo por la • Actividades: las acciones concretas, tareas y trabajos organización / consorcio para crear sus outputs y resultados y para conseguir sus objetivos.

• Outputs/productos: los productos tangibles y servicios que resultan de las actividades de las organizaciones.

• Resultados: los cambios, beneficios, aprendizajes y otros efectos (tanto en el corto como en ell largo l plazo) l ) que resultan l d las de l actividades i id d de d lla organización.

• Impacto (social): la contribución de las actividades de la organización a resultados más amplios y de largo plazo.

A Practical Guide to Measuring and Managing Impact – EVPA 2013

La cadena de valor del impacto

Características y tipo de impacto Resultados más amplios y de largo plazo • Que afecten no sólo al público /s objetivo/s – Análisis de los “stakeholders”

• Que trasciendan el horizonte temporal p del p proyecto y (periodo de (p elegibilidad de gastos) – Sostenibilidad – Legado material o inmaterial

• Que tengan que ver con la “transferibilidad” transferibilidad de los resultados obtenidos: – A otras t i i i ti iniciativas d cada de d partner t d dell consorcio i – A otros agentes que desarrollen proyectos similares

Características y tipo de impacto • Impacto económico • Impacto social • Impacto medioambiental • Impacto en diseño de políticas • Sinergias con otros proyectos • Diseminación a la comunidad de práctica • Otros beneficios del consorcio

Survey and outcomes of cultural heritage research projects supported in the context of EU environmental research programmes – Comisión Europea, 2011

Características y tipo de impacto • Impacto económico: Libro Verde de las ICC, Estudios de Impacto de iniciativas similares (http://www.forum-avignon.org/en/edition2011/publications-2011) • Impacto social: Comunidades más fuertes y seguras (dialogo inter-grupos, diversidad e identidad, relaciones familiares, crimen y comportamiento antisocial), Refuerzo de la vida social (participación y compromiso cívico, capacidades, espacios seguros e inclusivos, empoderamiento, correspondencia de servicios públicos con necesidades), Salud y bienestar (estilos de vida saludables, mayores, niños y dependientes).

• Impacto tecnológico: Retos de la digitalización (desarrollo de innovación de proceso o de producto: adopción por otros agentes).

Características y tipo de impacto I Impacto t

Social Económico Educacional Medio ambiental Tecnológico g Innovación en gestión

A lla conclusión l ió del proyecto (2015 +2/4)

Al cabo b de d n años de la conclusión

E 2020 En

Proceso de medición de impacto Fij ió de Fijación d objetivos bj ti para la l medición di ió •Motivos de medir impacto, recursos dedicados, tipo de proyecto, nivel de rigor, marco temporal

Análisis de los stakeholders •Cualquier parte que afecte o sea afectada por el desarrollo del proyecto •Dos pasos: identificar + involucrar

Medición: resultado, impacto e indicadores •Definir resultados y seleccionar los más importantes de conseguir •Establecer indicadores: specific, measurable, achievable, relevant and timed (SMART)

Verificación y evaluación del impacto •Medición: cuantitativa y cualitativa.

•A través de control interno, encuestas, focus-groups

Monitorización y reporte •Análisis de resultados •Aplicación a la gestión / informe final

Impacto e indicadores • “Performance Indicators”, “Key Performance Indicators (KPIs)”, “Indicators of Impact/outcome” • Valoración V l ió del d l impacto i t y de d la l consecución ió de d llos objetivos.

• SMART – – – – –

La medida ha de tener un propósito eSpecífico.

Medible para conseguir valor del indicador.

Asequible / Conseguible La consecución / mejora en el indicador es Relevante En un marco Temporal adecuado (se manifiestan y miden en tiempo predefinido)

Impacto e indicadores • Definición: parámetro o valor que señala, describe o proporciona información sobre el estado de un fenómeno y que es significativo más allá del valor que toma (OECD, 2003) • Alternativamente,, una característica o dimensión p particular q que se usa para medir los cambios deseados en los resultados de un proyecto Sirven para observar el progreso y medir los resultados proyecto. obtenidos frente a los resultados esperados.

• Han H de d estar expresados d en términos é i cuantificables ifi bl (objetivos ( bj i y mensurables: número de individuos, porcentaje, variación positiva o negativa…)

Conceptos clave: en los criterios de evaluación “Criterios de concesión ó para proyectos de cooperación” ó (página á 5) http://www.mcu.es/cooperacion/docs/MC/EuropaCreativa/call-culture-ce2013_es.pdf E1. Pertinencia (35 puntos).

E2. Calidad del contenido y las actividades (25 puntos) E3 Comunicación y difusión (20 puntos): Enfoque del proyecto con respecto a la comunicación E3. de sus actividades y resultados y a la puesta en común de conocimientos y experiencias con el sector y más allá de las fronteras. El objetivo es maximizar el impacto de los resultados del proyecto, poniéndolos a disposición, de la forma más amplia posible, a nivel local, regional, nacional y europeo, de manera que no solo lleguen a quienes participan directamente en el proyecto, sino que, además, tengan un impacto más allá del período de vigencia de este.

E4. Calidad de la colaboración (20 puntos): En qué medida la organización general y la coordinación del proyecto garantizarán la aplicación efectiva de las actividades y contribuirán t ib i á a su sostenibilidad. t ibilid d

Conceptos clave: en la solicitud “Descripción ó de contenidos del E-FORM”.

O C Capítulo í “Proyectos de

cooperación europea”

http://www.mcu.es/cooperacion/docs/MC/EuropaCreativa/Contenidos_eFORM_Acc _Coop_def.pdf C d f df – Parte E – Criterios de concesión E1. Relevancia: E.1.2. To what extent is the project aiming at producing results which will go beyond the sole interest of the partners and direct participants and have potential long-term impacts?? (Max. 1000 000 characters) How complementary is the project to cultural actions implemented at national, regional or local level?

E3. Comunicación y difusión: E.3.1. How clear and appropriate is the strategy to communicate on the activities of the partners' partners network, network including the objectives objectives, target groups, groups tools, tools channels, channels media, impact and Timeline?

Conceptos clave: en la solicitud E.1.2.

E 12 T To what h extent iis the h project j aiming i i at producing d i results l which hi h will ill go beyond the sole interest of the partners and direct participants and have potential long-term impacts? (Max. 1000 characters) How complementary is the project to cultural actions implemented at national, national regional or local level?

Contribución del proyecto a conseguir objetivos más amplios: (C.3 Relevance to the specific objectives of the Programme. Please choose as appropriate. pp p If more than one priority p y is ticked,, you y will have to provide p a ranking) • • •

Dimensión y retos de EUROPA CREATIVA Respuesta del proyecto Métrica del impacto

Conceptos clave: en la evaluación de la solicitud Check-list Correspondencia entre:

• •

Los objetivos generales del EUROPA CREATIVA que hemos marcado (C3) Objetivos del proyecto (en la aplicación electrónica y en la memoria anexa) Resultados del proyecto: para quién (E3.1) Impacto a largo plazo: en qué áreas (E1.2) (E1 2)

•

Mecanismo de medición y de evaluación establecido

• •

Conceptos clave: en la evaluación de la implementación del proyecto PROGRAMME CULTURE 2007-2013.

2007 2013 FINAL TECHNICAL IMPLEMENTATION REPORT 4.

4 EVALUATION OF PROJECT ACTIVITIES (between 2 and 5 pages) http://eacea.ec.europa.eu/culture/beneficiaries/2012/report_strand_121_en.php

Based on the information presented above, please provide an evaluation of the development, progress and achievements of the project.

•

•

• • • •

• •

4.1 Objectives and priorities: How have the objectives been implemented? Please specify how your project related to the objectives of the Programme, Programme the relevance to the European Year and to the field selected in your application.

4.2 Who has benefited from the project? Please specify what the target groups were and how many people from each target group benefited directly and indirectly from the results of each activity. i i 4.3 How did the project contribute to the selected objectives of the European Agenda for Culture?

4.4 What will be the impact of the project on a long term basis?

4 5 How were the project activities communicated/disseminated? (Please attach a copy of press 4.5 releases, banners, posters or other type of communication material used.)

4.6 Have you already made use (or do you intend to do so) of the European Commission's electronic platform (EVE: http://www.ec.europa.eu/eve) for the dissemination and exploitation of project results?

4.7 Please describe how you promoted and ensured the visibility of your project?

4.8 What was the role (i.e. tasks) of the associate partners (if any) involved in the project?

Sugerencias Sinergias Con otros proyectos e instituciones (algunas pautas dadas ya por la EACEA: Europa p Creativa DESK,, Representaciones p UE en países, p , EVE – nueva versión) Cartas de C d apoyo Antiguo rol de “associated partner” – identificación a priori de los principales p p stakeholders del p proyecto y (p (presentación y apoyo) p y ) Cuidar la comunicación interna hacia esos agentes.

Buscar efectos multiplicadores.

Trabajar en la sostenibilidad ya desde la fase de diseño.

Recursos A Practical P ti l Guide G id to t Measuring M i and d Managing M i Impact I t – EVPA 2013 http://evpa.eu.com/login/?redirect_to=%2Fdownloads%2F%3Fpdf%3D2010%2F11 %2FEVPA_A_Practical_Guide_to_Measuring_and_-Managing_Impact_final.pdf

Survey and outcomes of cultural heritage research projects supported in the context of EU environmental research programmes – Comisión Europea, 2011 http://ec.europa.eu/research/environment/pdf/survey_and_outcomes_cultural_her itage.pdf

Measuring Museum Impacts – report 3. “The Learning Museum” project 2013 http://www.lemproject.eu/WORKING-GROUPS/audience-research-learning-stylesand-visitor-relation-management/3rd-report-measuring-museum-impacts g / p g p Measuring the economic benefits of arts and culture: Practical Guidance on

Research Methodologies for Arts and Cultural Organizations. Arts Council England, 2012

http://www.artscouncil.org.uk/media/uploads/pdf/Final_economic_benefits_of_art s.pdf

MAPSI Project www.mapsi.eu