Prototipo de evaluación de la actividad en Medialab Prado - 2019 by CivicWise

Desarrollo de un primer prototipo de evaluaciĂłn de la actividad en Medialab Prado

Oficina de InnovaciĂłn CĂvica

Civic Innovation f o r Te r r i t o r y M a k i n g

EvaluaciĂłn Medialab Prado 2019

Imagen Escalera interior del edificio de la antigua SerrerĂa Belga, actualmente sede de Medialab Prado en Madrid. Fuente: https://www.iasoglobal.com/es-ES/proyecto/ centro-medialab-prado

Evaluación Medialab Prado 2019

El equipo de trabajo agradece: A todas y cada una de las personas asistentes al evento de presentación pública y taller llevado a cabo el pasado 23 de enero de 2020, por el aporte realizado, en tiempo y conocimiento, haciendo así posible la realización de un proceso como éste. A la dirección y coordinación de Medialab Prado por apoyar el desarrollo de un proyecto estratégico de estas características, haciendo visible su voluntad de mejora así como de seguir aportando y generando conocimiento abierto al contexto de la innovación ciudadana. A Laura Fernández, Javier Laporta, Marcos García, Adrián de Miguel Simón y Gabriel Lucas por su trabajo y predisposición durante todo el proceso, así como a todas las personas que integran Medialab Prado y que de una u otra forma hayan ayudado en tareas de logística o gestión durante el desarrollo del proyecto. A todas las personas que forman parte de la comunidad activa de Medialab Prado y que aportaron su tiempo para responder las encuestas de valoración y calidad del centro que se les hicieron llegar. A familiares y amigas por las tareas de cuidados prestadas, tan importantes y sin las cuales no hubiera sido posible el desarrollo del presente trabajo. A todas ellas, gracias por haber hecho posible la realización y organización de este trabajo.

El presente trabajo se llevó a cabo durante los meses de octubre de 2019 y marzo de 2020. El propósito principal no era desarrollar una evaluación exhaustiva de la actividad en Medialab Prado (ver pág. 28), sino poner a prueba el marco metodológico propuesto para validar, modificar o desechar partes del mismo, facilitando así generar un sistema de medición y evaluación integral en trabajos posteriores.

Para una consulta más actualizada de los planteamientos propuestos en este documento, visitar civimetro.org.

Agradecimientos

Así, durante los siguientes meses, el marco metodológico propuesto fue evolucionado y materializado en Civímetro, publicado en julio de 2020.

Evaluación Medialab Prado 2019

Éste es un proyecto bajo Licencia de Producción entre Pares Más info: https://civicwise.org/peer-production-licence-_-human-readable-summary/ @febrero 2020

Parte de este proyecto está financiado por Designscapes en la fase 2 “Prototipo” designscapes.eu/open-calls

PROMUEVE Y COLABORA: Medialab Prado Equipo de proyecto Marcos García - Dirección del programa cultural Laura Fernández - Coordinación del programa cultural Javier Laporta - Coordinación del programa de mediación Adrián de Miguel Simón - Mediador Gabriel Lucas - Coordinador TIC

COORDINA:

Oficina de Innovación Cívica

Oficina de Innovación Cívica S. Coop. • Martín de los Heros, 52 local - Espacio Ucrania 28002, Madrid

• Bethencourt Alfonso 24, 6º

38003, Santa Cruz de Tenerife.

Tlf +34 690164369 / +34629687633 oficinainnovacioncivica.coop info@oficinainnovacioncivica.coop

Carpe Studio

Carrer Trinitat, 10 - Colector 46010, Valencia Tlf +34 644761434 carpe.studio info@carpe.studio

EQUIPO: Coordinación Pascual Pérez Maje Reig

Colaboración y desarrollo Nora González - noralabora.com

Créditos

COLABORA: CivicWise Civic Innovation f o r Te r r i t o r y M a k i n g

civicwise.org madrid@civicwise.org fb: civicwise | tw: @civicwise

Apoyo Martina Pestarino

01 02 03

INTRODUCCIÓN: DEL ACCESO RADICAL A LA CULTURA (Y AL CONOCIMIENTO).

Contexto Enfoque

MARCO METODOLÓGICO: GENERAR IMPACTO, PERO NO A CUALQUIER PRECIO.

pág. 08 pág. 11

PÁG. 13

Contexto actual de los sistemas de evaluación Medición Evaluación

pág. 14 pág. 15 pág. 20

TESTEO DE LA METODOLOGÍA: LOS DESAFÍOS DE MEDIALAB PRADO 2018-2020

PÁG. 23

Consideraciones previas Medición y resultados

pág. 24 pág. 32

Evaluación

pág. 52

ACCIONES DE MEJORA

PÁG. 57

04 **

PÁG. 07

Im-1 Im-2 Im-3 Im-4 Im-5 Im-10 Im-11 Im-15 Im-16 Im-21 Im-22

Número de participantes activos Índice de diversidad de participantes activos Número de apariciones en prensa Impacto en redes sociales Valoración del centro por participantes activos Índice de prototipos finalizados Índice de proyectos consolidados Número de colaboraciones (locales y regionales) Capacidad de colab. del centro (local, regional y nacional) Nivel de percepción de apertura Grado de aceptación de actividades externas

pág. 32 pág. 34 pág. 36 pág. 37 pág. 38 pág. 40 pág. 42 pág. 44 pág. 46 pág. 48 pág. 50

AC.1 - Definición de los grupos de estudio AC.2 - Recogida y sistematización de datos AC.3 - Factor humano AC.4 - Redefinición de objetivos estratégicos

pág. 58 pág. 59 pág. 60 pág. 61

BIBLIOGRAFÍA

PÁG. 63

ANEXOS

Anexo I: atributos de la innovación ciudadana Anexo II: listado de indicadores de impacto Anexo III: listado de indicadores de proceso Anexo IV: encuesta participantes activos Anexo V: encuesta personas promotoras y colaboradoras en talleres de producción Anexo VI: encuesta a entidades colaboradoras 5

PÁG. 69

pág. 70 pág. 74 pág. 76 pág. 78 pág. 80 pág. 82

Del acceso radical a la cultura (y al conocimiento) Introducciรณn

Evaluación Medialab Prado 2019

1.1 CONTEXTO La necesidad de nuevos paradigmas experimentales Durante la segunda mitad del siglo XX se fomenta un discurso en torno a la cultura, desde la activación de nuevas políticas públicas e industrias culturales y creativas, que se articula en torno a una producción de la cultura cerrada y excluyente.1 En contraposición, aparecen a lo largo de las dos últimas décadas otro tipo de espacios para la producción cultural. En ellos se fomenta un acceso a la cultura completamente permeable de la que ser parte mediante la participación productiva del contenido cultural de y para la ciudadanía. Estos espacios, definidos como “Laboratorios Ciudadanos”, se constituyen como infraestructuras comunes o cívicas, en las que más allá del acceso, se trabaja la producción de cultura y, por tanto, de ciudadanía.2 Las condiciones de partida que abonan el terreno al surgimiento de estos nuevos espacios se deben al cuestionamiento de conceptos y enfoques tradicionalmente implementados, tanto desde lo privado como desde lo público, al calor de un contexto social, cultural y político cada vez más complejo que dificulta el identificar, definir y acotar los problemas de la gente de forma simple y desde la mirada de una única disciplina. Así, de un lado, se cuestiona la idea de innovación empresarial propuesta desde el sector privado (I+D+I) y fundamentada en la solución a problemas muy específicos mediante respuestas técnicas y sistemas de producción lineales: –identificación del problema>investigación y desarrollo de la solución>implementación de productos o servicios>medición del impacto en la sociedad–. El sector público tampoco escapa a esta crisis global de legitimidad institucional3 que pone en cuestión los actuales instrumentos democráticos, con una opinión pública que los considera cada vez menos eficaces para afrontar los malestares sociales.4

1 Rowan, J. (2016). Cultura Libre de Estado. Traficantes de Sueños, Madrid. En https://www.traficantes.net/libros/cultura-libre-de-estado 2 Meléndez, A. “Laboratorios Ciudadanos: espacios abiertos para crear comunidad”. Periódico El Mundo. Publicado el 8 de septiembre de 2019. Consultado el 22 de septiembre de 2019 en https://www.elmundo.es/madrid/2019/09/08/5d691b9cfc6c8347058b4633.html 3 Castells, M. “La crisis de la democracia liberal”. Congreso Puerto de Ideas, Valparaíso. Ponencia el 9 de noviembre de 2019. Consultado el 10 de febrero de 2020 en https://www.youtube.com/watch?v=q9blcS9bxO0 4 Arenilla Sáez, M. (2011). Legitimidad y eficacia de la Administración pública. Gestión Y Análisis De Políticas Públicas, (26-27). En https://doi. org/10.24965/gapp.vi26-27.350

Introducción

Ateneos de Fabricación (Barcelona, España) Fablateka (Madrid, España)

Santa Lab (Santa Fe, Argentina)

Harinera ZGZ Lab Cívico Santiago (Zaragoza, España) (Lisboa, Portugal)

La Base (Valencia, España)

La Nave (Madrid, España)

Lab Place (Ariège, Francia) La Invisible (Málaga, España)

es A

u to

Jazar (Pamplona, España)

ges ti o

Espacio 105 (Tenerife, España)

Wikitoki (Bilbao, España)

Ucrania (Madrid, España)

Volumes (París, Francia)

Colector (Valencia, España)

IDYS (Madrid, España)

La bo

r at o ri o

d e P r á ct i c a s C o l a b o r

a ti v a

o c i al

Can Batllò (Barcelona, España)

La Nube (Tenerife, España)

Fuente: Fasebase, et al. (2019). Espacios Cívicos Activación de Espacios Vecinales en Puerto del Rosario. Oficina de Innovación Cívica S. Coop. En https://issuu. com/oficinainnovacioncivica/docs/190903_17014_ informe_esp-civicos

rk i

C e n tr o s S

La Ingobernable (Madrid, España)

Parkakademie (Berlín, Alemania)

Diagrama Mapeo conceptual de espacios –tipos y casos–. Un análisis, incompleto y abierto a modificaciones que desarrolla un primer barrido general de algunos de los ejemplos de espacios impulsados en la última década. Un mapeo de espacios que, por diferencias y semejanzas entre estos, propone la existencia de una categoría superior que los estudia y analiza y que denominan “Espacios Cívicos.”

Res Publica (Alguero, Italia)

MediaLab-Prado (Madrid, España)

Las Naves (Valencia, España)

ión Urbana Innovac

OvestLab (Modena, Italia)

Dig ital

s de torio ora Lab

Lab ora tor ios Ci

os Digidem Lab an ad d (Göteborg, Suiza) u

Laboratorios de F abric ació n

Ante este escenario de problemas complejos5 se hace necesario un nuevo paradigma que se fundamente en dos aspectos principales: • La inmensa diversidad de miradas y voces de las que se componen este tipo de problemas evidencian cuestiones de carácter emocional inherentes a los mismos que imposibilita una respuesta únicamente mediante soluciones técnicas. Solo aquellas personas afectadas de forma directa por dicho problema son capaces de comprenderlo de forma integral. La inmersión afectiva y la escucha activa se hacen imprescindibles para la gestión de este tipo de problemas. • Además, esta diversidad los convierte en problemas inabarcables de forma global y directa. Sin embargo, sí se hace posible el desarrollo de posibles soluciones si aislamos aspectos específicos de ese problema en pequeños casos de estudio. Se permite y promueve de esta forma un acercamiento más experimental, que no afronta el problema desde lo que se conoce, sino desde la exploración de nuevas posibilidades, rompiendo así con determinados límites institucionales o de recursos. En resumen; frente al solucionismo tecnológico fomentado por el enfoque de la innovación empresarial, nos vemos obligadas a poner la vida en el centro como cuestión fundamental a la que atender en la búsqueda de soluciones a problemas sociales. De otro lado, frente al desarrollo de políticas públicas finalistas6 e instituciones vistas únicamente como poder ejecutivo, nos vemos obligadas a involucrar a las comunidades afectadas y a generar instituciones facilitadoras de lugares de encuentro y reflexión colectiva. 5 Wikipedia. “Wicked problem”. Consultado el 29 de febrero de 2020 en https://en.wikipedia.org/wiki/Wicked_problem 6 Freire, J. “La crisis de las políticas públicas tradicionales”. Blog juanfreire.com. Publicado 15 de febrero de 2017. Consultado el 29 de febrero de 2020 en http://juanfreire.com/la-crisis-de-las-politicas-publicas-tradicionales/

Evaluación Medialab Prado 2019

Innovación Ciudadana: situada y abierta Los laboratorios ciudadanos aparecen así como estos lugares de encuentro en la ciudad. Infraestructuras públicas que sitúan este nuevo paradigma experimental7 descrito y que denominan “innovación ciudadana”. Un concepto que podríamos definir, según lo expuesto hasta ahora, como el aislamiento de partes específicas de un problema social complejo para la búsqueda de soluciones experimentales involucrando a la comunidad afectada. Una de las principales implicaciones de la innovación ciudadana, y que hace que ponga en conflicto las formas de hacer tradicionales en los procesos de innovación empresarial y de implementación de políticas públicas, es la idea de lo abierto, que se materializa en tres cuestiones: • Conocimiento abierto: el tipo de conocimiento generado es público, y por tanto, replicable y/o modificable. Se debe poder acceder, no solo a las nuevas soluciones propuestas, sino a los procesos que las posibilitaron: ¿cuáles fueron los planteamientos iniciales?, ¿cómo evolucionaron las ideas?, ¿cómo se tomaron las decisiones?, ¿qué conflictos surgieron?. • Procesos abiertos: el desarrollo temporal no finaliza como tal en ningún momento. • Público abierto: el conocimiento desarrollado a lo largo de todo el proceso de trabajo debe poder ser accesible para cualquier persona que así lo quiera. Del desarrollo de procesos cerrados, lineales y planificados, pasamos a un contexto abierto, recursivo y experimental en el que todo se entremezcla –las personas, las disciplinas, las problemáticas, las soluciones, etc.–. El objeto de estudio ya no es únicamente el producto o solución final que se alcance, sino también los protocolos de documentación, las dinámicas de toma de decisión o las herramientas de resolución de conflicto puestas en práctica para su consecución.

7 Estalella, A. “El derecho a la experimentación”. Blog prototyping.es. Publicado el 23 de noviembre de 2013. Consultado el 30 de agosto de 2019 en http://www.prototyping.es/experimentation/el-derecho-a-la-experimentacion

Introducción

1.2. ENFOQUE Ante el reto de medir la experimentación ciudadana El impacto de este nuevo objeto de estudio que se nos plantea es siempre incierto, y los cambios que provoca, en muchas ocasiones, inmateriales. Entendiendo el gran valor que los laboratorios ciudadanos y sus nuevas formas de hacer aportan al desarrollo de una sociedad más democrática, cobra especial relevancia nuestra capacidad de visibilizar y evaluar estos cambios.8 Para las lógicas productivistas –de los procesos de innovación empresarial, de los instrumentos de políticas públicas y de acceso a la cultura promovido por los centros culturales tradicionales–, que sitúan a la ciudadanía meramente como usuaria final de una cadena de valor que se desarrolla de forma lineal, el éxito o la capacidad de impacto es fácilmente medible y evaluable desde una mirada retrospectiva del proceso, pero, ¿cómo medir el impacto de procesos de experimentación que permanecen constantemente abiertos?, ¿podemos generar indicadores que no conlleven a procesos solucionistas y burocratizados, sino a la transformación de las dinámicas relacionales y la puesta en práctica de los valores que persiguen?, ¿cómo podemos evaluar el impacto de estas nuevas infraestructuras cívicas en su capacidad de activación del territorio, de generación de comunidades y redes o de contribución al procomún?v Aparece la necesidad de generar un sistema de medición y evaluación específico para los laboratorios ciudadanos y sus procesos de innovación ciudadana, que no sólo se centre en medir y evaluar el “qué” –productos y resultados alcanzados– sino que incluya en su marco conceptual y metodológico la evaluación del “cómo” –dinámicas relacionales y experiencias vividas por las personas que lo integran–.

8 Lafuente, A.; Pellicer, V. (2018). Evaluar sin dar órdenes. Taller desarrollado en el marco del Lab Meeting Iberoamericano en Medialab Prado en septiembre de 2018. En https://www.academia.edu/37369426/Evaluar_sin_dar_%C3%B3rdenes_taller_sobre_la_necesidad_de_hacer_visible_el_trabajo_en_los_laboratorios_ciudadanos

Generar impacto, pero no a cualquier precio Marco metodolรณgico

Evaluación Medialab Prado 2019

2.1. CONTEXTO ACTUAL DE LOS SISTEMAS DE EVALUACIÓN Como expusimos en el capítulo anterior, un laboratorio ciudadano busca generar acciones con alto impacto social, consiguiendo resultados y cambios tangibles para las personas que participan de sus actividades. Sin embargo, no basta con esto. Estos resultados deberán conseguirse a través de unas formas de hacer muy concretas: las que le son propias a la innovación ciudadana, que, como veíamos en el capítulo anterior, son precisamente las que consiguen construir ciudadanía en un sentido más profundo, desarrollando procesos de experimentación abiertos que entienden la innovación como proceso colectivo intrínseco de la ciudadanía1, situando a ésta como generadora de conocimiento y cultura y no únicamente como consumidora de productos y soluciones técnicas. Necesitaremos, por tanto, no sólo ser capaces de medir y evaluar el impacto de las acciones, sino dirimir si éstas han sido fruto de las lógicas de la innovación ciudadana o no. En un momento como el que estamos, de innovación en la gestión pública y la producción cultural, vemos la necesidad de arriesgar, de generar nuevos marcos y propuestas de acción. Metodologías de evaluación también innovadoras que permitan abrir el abanico de posibilidades y nos ayuden, con ello, a avanzar en la definición de estas nuevas lógicas activadas desde lo común. Desde los dos marcos de acción planteados al inicio, la innovación empresarial y la implementación de políticas públicas, encontramos como acercamientos a la evaluación los siguientes: • Desde el sector privado encontramos las experiencias de evaluación de impacto social de las acciones que engloban en lo que han denominado Responsabilidad Social Corporativa (RSC)2. Se centran en medir el impacto social de sus acciones englobadas en este apartado de RSC -desconectadas por completo de sus objetivos centrales como empresa- a través de listados de indicadores o estándares predefinidos que, por lo general, deben aplicarse en su conjunto, indistintamente del contexto o la tipología de organización a evaluar. • En el caso de las experiencias de procesos participativos llevados a cabo en los últimos años por diferentes instituciones públicas, encontramos sistemas de evaluación ad hoc2 y pensados en exclusiva para la medición del mecanismo de participación ciudadana específico a evaluar, no permitiendo así comparar resultados con otros procesos de participación de similar naturaleza. Nos marcamos por tanto el reto de definir un sistema de indicadores basado en las vivencias y particularidades específicas del laboratorio concreto a evaluar, al tiempo que define un marco común de entendimiento para las diferentes experiencias, que permite comparar resultados y compartir aprendizajes. 1Freire, J. “Innovación Social vs Innovación Ciudadana”. Blog juanfreire.com. Publicado el 17 de febrero de 2017. Consultado el 29 de febrero de 2020 en http://juanfreire.com/innovacion-social-vs-innovacion-ciudadana/ 2 Pueden consultarse los ejemplos de evaluación consultados en el capítulo de bibliografía de este mismo documento

Marco metodolótico

2.2. MEDICIÓN La evaluación se desarrolla a partir de dos tipos distintos de medición: el proceso llevado a cabo y el impacto de las acciones fruto de ello. • La medición del proceso determinará si las actividades del laboratorio ciudadano que estamos evaluando han sido o no propicias para la generación de innovación ciudadana. Se definen para ello “indicadores de proceso” vinculados a los principales atributos de la innovación ciudadana. Estos atributos vienen propuestos por la red CivicWise como resultado de sus investigaciones y proyectos desarrollados en este campo. Los atributos definen aspectos de funcionamiento y desarrollo de las dinámicas relacionales de un grupo o comunidad de aprendizaje, y entendemos que, cuando se dan, aumentan las probabilidades de generar innovación ciudadana. • La medición del impacto determinará los efectos de las actividades del laboratorio ciudadano y, en consecuencia, el cumplimiento o no de los objetivos marcados por el laboratorio ciudadano a evaluar. Esto se realizará a través de la medición de “indicadores de impacto” definidos a partir de los objetivos específicos del laboratorio ciudadano a evaluar. Ambos tipos de indicadores vienen asociados a los atributos de la innovación ciudadana, de forma que aseguremos que los efectos o cambios resultado de las actividades del laboratorio ciudadano son consecuencia del cumplimiento de unas formas de hacer concretas, también medibles y evaluables.

Evaluación Medialab Prado 2019

Medición de proceso Vimos en el capítulo anterior como la innovación ciudadana y los procesos experimentales que la propician se basan en el diseño de nuevas soluciones al tiempo que se genera conocimiento sobre ello en un proceso recursivo y no lineal. Para conseguir medir y evaluar dicho conocimiento, deberemos previamente definir cuáles son sus características diferenciales con respecto a otros tipos de conocimiento. Definimos este tipo de conocimiento experimental a través de un listado de atributos que consideramos condición detonante para la generación de innovación ciudadana. Estos atributos definen las características distintivas de los procesos de experimentación ciudadana y se presentan como un listado aún abierto propuesto por la red CivicWise como resultado de sus investigaciones y proyectos desarrollados en este campo.3 Los atributos se operacionalizan para que sean medibles y manejables a través de la definición de los aspectos principales que los definen. Estos aspectos son los hechos observables de los que se componen los atributos y permiten su definición en indicadores y, por tanto, su medición. El principal reto será el alcanzar suficiente validez y confiabilidad de los aspectos y atributos definidos, para lo que deberemos cumplir: consenso, medición y precisión.4 En ese sentido, y como acabamos de comentar, la lista de atributos se plantea como una propuesta abierta a discusión y que deberá trabajarse al tiempo que se implementa, incluyendo otras miradas que aporten un mayor consenso sobre la misma.5 En el anexo I de este documento pueden consultarse las definiciones de los atributos listados a continuación, así como los aspectos que los describen. • • • • • • •

Adhocracia Gobernanza Distribuida Diseño Abierto Deliberación Glocalidad Experimentación Hibridación Físico-Digital

• • • • • •

Multipertenencia Inclusividad Transparencia Resiliencia Permeabilidad Comunidad

3 Domínguez, R.; G. Sanz. L.; Guzmán, M.; et al. (2017). InnovaciónCívicayCultural - Desarrollo de una herramienta de evaluación para la implementación de políticas de activación territorial para el nuevo distrito cultural de l’hospitalet. AJUNTAMENT DE L’HOSPITALET DE LLOBREGAT (BARCELONA). CivicWise (civicwise.org). En https://drive.google.com/open?id=1PcwwICeXb6Sw_1MpLvagUYmaajlzfsAg 4 Leedy, P. (apud Ávila Baray, H. 2006. Introducción a la Metodología de Investigación. Instituto Tecnológico de Cd. Cuauhtémoc. En http://www. eumed.net/libros-gratis/2006c/203/1u.htm) 5 Intentando generar estos espacios de discusión abierta, se realizó el pasado 23 de enero de 2020 en Medialab Prado un evento de presentación pública del proyecto a la que siguió un taller de trabajo sobre el listado de atributos propuesto. En https://www.youtube.com/watch?v=2hbs61KxOkY&t=940s

Marco metodológico

El marco metodológico propuesto prevé que no todos los atributos sean medidos y evaluados para todos los casos. Estos se seleccionarán en función de su mayor o menor vinculación con los objetivos específicos marcados por el laboratorio ciudadano a evaluar. A la descripción de los hechos observables -aspectos- para cada atributo, se asignan indicadores de proceso, referidos al seguimiento de las actividades llevadas a cabo para la medición en el desarrollo de las relaciones, la gestión de recursos, la toma de decisión, etc. En el anexo II se encuentra el listado de indicadores de proceso definidos hasta ahora. A fin de considerarlos válidos, estos indicadores deberán ponerse en práctica, buscando errores y posibles mejoras tanto en su definición como en el desarrollo de su medición.

Medición de impacto Para la medición de los resultados definimos los indicadores de impacto, referidos a los efectos a medio y largo plazo de las acciones y programas implementados por un laboratorio ciudadano. Los indicadores de impacto se definen a partir de los objetivos concretos que el laboratorio ciudadano haya establecido cumplir. Puede consultarse el listado de indicadores de impacto trabajado hasta la fecha en el anexo III. A fin de considerarlos válidos, estos indicadores deberán ponerse en práctica, buscando errores y posibles mejoras tanto en su definición como en el desarrollo de su medición.

Imagen Mesa de trabajo para la discusión abierta del marco metodológico y los atributos propuestos durante el evento de presentación pública y taller que se realizó el pasado 23 de enero de 2020 en Medialab Prado.

Evaluación Medialab Prado 2019

Indicadores En base a todo lo expuesto, y la lectura de diferentes fuentes, podríamos definir ”medir”, para el caso que nos ocupa, como la asignación de un valor (cuantitativo o cualitativo) a acciones y procesos, vinculando conceptos teóricos y abstractos con indicadores empíricos y cuantificables. La definición de indicadores es por tanto una cuestión compleja, así como su relación con los conceptos que trata de medir, por lo que deberemos atender a diferentes aspectos previos y definirlos en base a una serie de elementos que faciliten su puesta en práctica. Indicadores SMART Atendiendo al modelo SMART6, deberemos tomar en consideración los siguientes aspectos: • (Specific) Específico: los indicadores deben reflejar información simple sobre lo que se está midiendo, sin verse afectado por otros factores; y estos deberían ser fáciles de entender y comunicar. ¿Está claro exactamente lo que está midiendo? ¿Ha especificado el nivel apropiado de desagregación? • (Measurable) Medible: deben ser objetivamente verificables. ¿Son objetivos los indicadores? ¿Son verificables los indicadores? ¿Son medidas fiables y claras? • (Attainable) Alcanzable: los indicadores y sus unidades de medida no deben ser demasiado lentos o caros de recopilar y ser capaces de resistir, ser sensibles a los cambios en el contexto. • (Relevant) Relevante: los indicadores deben reflejar información que sea significativa. ¿Captura el indicador la esencia del resultado deseado? ¿Es relevante para el resultado previsto y el impacto? • (Time Limited) Acotado en el tiempo: el progreso se puede rastrear a la frecuencia deseada durante un período de tiempo determinado. ¿Existe un marco de tiempo claro dentro del cual debe capturar los impactos? Elementos que definen un indicador Una vez planteado el indicador se extrae información útil que quedará incluida en una ficha para facilitar su correcta aplicación. Dicha ficha incluye la siguiente información:

6 El concepto de “criterios SMART” se empleó por primera vez por George T. Doran en 1981. Wikipedia. Consultado el 25 de noviembre 2019 en https://en.wikipedia.org/wiki/SMART_criteria

Marco metodológico

Im-00

Nombre del indicador

Tipo de indicador

• • • •

Herramienta

• Herramienta propuesta. Explicación precisa de la herramienta seleccionada

Según el tipo de resultado que esperamos obtener de un indicador, los clasificamos como:

Todo indicador contará con una herramienta de medición específica que permita la recolección de datos. Por lo tanto deberá especificarse:

Binario Número absoluto Índice Gradiente

• Tipo de herramienta. Clasificación de la herramienta para facilitar la simultaneidad en la medición. Se proponen los siguientes: >> Encuesta masiva >> Encuesta focalizada >> Entrevista >> Grupo focal >> Análisis experto • Aplicación. Explicación precisa de la aplicación de la herramienta. Se debe incluir toda la información posible respecto al proceso de medición y de valoración (evaluación) de los resultados.

Momento de medición

• • • • •

Aclaraciones

La definición de los indicadores cuenta, muchas veces, con conceptos que pueden dar lugar a dudas o a interpretaciones diversas. En este apartado se definen y acotan los conceptos empleados.

Recomendaciones

Desde el planteamiento de la metodología y de forma más clara tras su aplicación, se incluyen recomendaciones en la ficha de cada indicador. Éstas van dirigidas tanto a la recogida de datos como a la aplicación del indicador. Las recomendaciones permiten acumular el aprendizaje que se hace tras cada iteración y facilitan la aplicación de la metodología para la obtención de una evaluación más completa.

Atributos relacionados

Los indicadores de impacto se vinculan con atributos que se recomiendan medir y evaluar para comprobar si dicho impacto se ha conseguido a través de procesos propios de los laboratorios ciudadanos.

Los indicadores pueden aplicarse en diferentes momentos de la acción que se pretende evaluar dependiendo de su naturaleza. Conviene aclarar cuándo es el momento idóneo para su aplicación. Se proponen los siguientes:

En cualquier momento Al finalizar la actividad Al inicio de la actividad Durante la actividad Al finalizar el periodo a evaluar

Evaluación Medialab Prado 2019

2.3. EVALUACIÓN Al establecer un vínculo de los objetivos específicos a evaluar tanto con los indicadores de impacto como con los atributos de la innovación ciudadana y, en consecuencia, con los indicadores de proceso, podremos establecer cruces de datos e informaciones extraídas de la medición que nos aporten una evaluación más profunda e integral de desarrollo de las actividades y programas implementados. Se evaluarán, de un lado, el cumplimiento o no de los objetivos, pero incluyendo una medición y evaluación de los procesos llevados a cabo para llegar a conseguir esos efectos. Esto facilitará el señalar procesos que se encuentran en el buen camino, pese a no haber alcanzado aún los efectos determinados en inicio, identificar la consecución de efectos o cambios, a priori, positivos, pero por medio de procesos y dinámicas relacionales negativas, así como el comparar y extraer aprendizajes que permitan añadir mejoras en el desarrollo de consecuentes acciones. Pero debemos tener cierta cautela y evitar acabar definiendo sistemas de medición resultadistas, cuando no ambiguos o pseudo-objetivos7 que dejen fuera la inmensa riqueza y diversidad de matices que se produce en los laboratorios ciudadanos. Un ejemplo claro: imaginemos que queremos evaluar cuestiones de igualdad de género en un grupo de trabajo dado. Si el indicador es “Contar con un reglamento interno de igualdad de género”, el resultado puede ser positivo, y las dinámicas relacionales que se producen en dicho grupo, sin embargo, ciertamente machistas y poco igualitarias. Así, el sistema de medición y evaluación de laboratorios ciudadanos no debe convertir los programas de experimentación ciudadana en un esfuerzo burocratizado que dirija los objetivos hacia el mero cumplimiento de sus indicadores, sino al profundo entendimiento y a la transformación de sus procesos y dinámicas relacionales.

7 Rey, A. “La falacia de los indicadores que no miden lo que prometen”. Blog amaliorey.com. Publicado el 29 de marzo de 2016. Consultado el 30 de agosto de 2019, en https://www.amaliorey.com/2016/03/29/la-falacia-de-la-medicion-que-no-mide-lo-que-promete-post-496/

Marco metodológico

LABORATORIOS CIUDADANOS

Innovación Ciudadana

Formulario vinculante Obj-Atr

–qué–

OBJETIVOS OBJETIVO 1 Aumentar el número y la diversidad de participantes activos e incrementar el conocimiento y valoración del centro.

OBJETIVO 2 Potenciar la calidad y el impacto de los proyectos desarrollados.

OBJETIVO 3 Contribuir a la construcción de redes de colaboración locales y regionales.

OBJETIVO 4 Consolidar redes internacionales de colaboración.

OBJETIVO 5 Consolidar MLP como organización abierta y sostenible.

Los objetivos se vinculan a los atributos buscando así que la medición y evaluación respondan al contexto particular del laboratorio ciudadano.

Indicadores de Impacto

–cómo– Indicadores de Proceso

ATRIBUTOS ADHOCRACIA

Aspectos Ad

Ad 1

Ad 2

Ad n+1

GLOCALIDAD

Aspectos Gl

Gl 1

Gl 2

Gl n+1

MULTIPERTENENCIA

Aspectos Mu

INCLUSIVIDAD

Aspectos In

In 1

In 2

In n+1

HIBRIDACIÓN FÍSICO-DIGITAL

Aspectos Hi

Hi 1

Hi 2

Hi n+1

TRANSPARENCIA

Aspectos Tr

Tr 1

Tr 2

Tr n+1

DELIBERACIÓN

Aspectos De

De 1

De 2

De n+1

DISEÑO ABIERTO

Aspectos Da

Da 1

Da 2

Da n+1

GOBERNANZA DISTRIBUIDA

Aspectos Gd

Gd 1

Gd 2

Gd n+1

EXPERIMENTACIÓN

Aspectos Ex

Ex 1

Ex 2

Ex n+1

RESILIENCIA

Aspectos Re

Re 1

Re 2

Re n+1

PERMEABILIDAD

Aspectos Pe

Pe 1

Pe 2

Pe n+1

COMUNIDAD

Aspectos Co

Co 1

Co 2

Co n+1

Im-1 Im-2 Im-3 Im-4

Mu 1 Mu 2 Mu n+1

Im-5 Im-6 Im-7 Im-8

Im-9 Im-10 Im-11 Im-12 Im-13

Im-14 Im-15 Im-16

Im-17 Im-18 Im-19 Im n+1

Los desafĂos de Medialab Prado 2018-2020 Testeo de la metodologĂa

Evaluación Medialab Prado 2019

2.1. CONSIDERACIONES PREVIAS Objetivos de Medialab Prado 2018-2020 Como primer testeo del marco metodológico planteado, establecemos Medialab Prado como caso de estudio. Medialab Prado es un centro cultural público dependiente del Área de Gobierno de Cultura, Turismo y Deporte del Ayuntamiento de Madrid reconocido internacionalmente por su contribución al desarrollo democrático de la producción cultural.1 Activo desde 2007 en el antiguo edificio de la Serrería Belga, situado en pleno centro de Madrid -junto al Caixaforum-, aunque con algunos años previos de recorrido en el Centro Cultural Conde Duque de Madrid.2 En concreto, establecemos las actividades llevadas a cabo en 2019 como el periodo de estudio para el desarrollo de la recopilación, medición y análisis de datos y sus 5 objetivos estratégicos planteados para el periodo 2018-20203 para la evaluación. Estos 5 objetivos son: • Objetivo 1: aumentar el número y la diversidad de participantes activos e incrementar el conocimiento y valoración del centro. • Objetivo 2: potenciar la calidad y el impacto de los proyectos desarrollados. • Objetivo 3: contribuir a la construcción de redes de colaboración locales y regionales. • Objetivo 4: consolidar redes internacionales de colaboración. • Objetivo 5: consolidar Medialab Prado como organización abierta y sostenible.

1 En marzo de 2016 el centro fue galardonado con el premio Princesa Margarita de Holanda, otorgado por la Fundación Europea por la Cultura. Remacha, B. “Europa premia la cultura colaborativa de Medialab Prado”. Periódico eldiario.es. Publicado el 9 de marzo de 2016. Consultado el 21 de julio de 2019 en https://www.eldiario.es/cultura/politicas_culturales/Europa-premia-cultura-colaborativa-MediaLabPrado_0_492751461.html 2 Este artículo del periódico ABC realiza un breve recorrido del centro y su edificio: Rodrigo, B. “Medialab Prado, el centro donde el ciudadano participa de la vida cultural”. Publicado el 23 de febrero de 2020. Consultado el 23 de febrero de 2020 en https://www.abc.es/espana/madrid/ abci-medialab-prado-centro-donde-ciudadano-participa-vida-cultural-202002230025_noticia.html 3 Borrador del proyecto presentado por Marcos García para el concurso público del puesto de dirección artística de Medialab Prado. En http://www.convivencial.es/index.php/objetivos-estrategicos-para-el-periodo-2018-2021/

Testeo de la metodologĂa

Imagen Patio exterior del edificio de la antigua SerrerĂa Belga, actualmente sede de Medialab Prado en Madrid. Fuente: https://www.archdaily.com/517045/medialabprado-langarita-navarro-arquitectos

Evaluación Medialab Prado 2019

Las actividades de producción de Medialab Prado las estudiaremos según sus 4 formatos: • Grupos de trabajo: grupos de unas 10 personas aproximadamente que se reunen periódicamente en Medialab Prado para desarrollar proyectos o actividades en torno a alguna temática particular. Estos grupos son abiertos a la participación de cualquiera y devuelven a la comunidad su trabajo en forma de documentación de sus procesos, organización de talleres, charlas, etc. + info: https://www.medialab-prado.es/programas/ grupos-de-trabajo • Residencias: Medialab-Prado cuenta con 3 apartamentos que sirven como residencias para invitados. El programa de residencias de Medialab Prado acoge a artistas e investigadores que desarrollan proyectos vinculados al centro. Las residencias se concretan principalmente a través de acuerdos de colaboración con fundaciones, embajadas, organismos oficiales, instituciones y de intercambios con otras organizaciones culturales. +info: https://www.medialab-prado.es/programas/residencias • Talleres de producción: mediante convocatoria abierta se realiza una selección de proyectos en torno a una temática o ámbito de estudio. A estos proyectos se le unen personas colaboradoras también seleccionadas mediante convocatoria abierta. Estos equipos de trabajo desarrollan sus ideas, a modo de hackathon, de forma intensiva durante un breve periodo de tiempo en Medialab Prado –entre 3 días y 2 semanas, dependiendo del programa–. +info: https://www.medialab-prado.es/programas • Proyectos mediación/investigación: El programa de mediación cultural tiene como objetivo acoger a los visitantes y usuarios, facilitarles el acceso a esta información, establecer diálogos con ellos y ponerles en contacto con proyectos en marcha. Además las personas que conforman el equipo de mediación, desarrollan un proyecto personal acogido por Medialab Prado y vinculado a alguna de los grupos o líneas de trabajo del centro. Los proyectos devuelven a Medialab Prado y a su comunidad el trabajo en forma de documentación de procesos, desarrollo de actividades, organización de talleres de trabajo, etc. + info: https://www.medialab-prado.es/programas/mediacion-investigacion

Testeo de la metodología

Imágenes (de izq. a der. y de arriba a abajo) (1) Grupo de trabajo en Medialab Prado; (2) espacio de residencias; (3) programa Puente de Vallecas Experimenta durante sus talleres de producción; (4) taller sobre Objetivos de Desarrollo sostenible como actividad organizada en el marco de la investigación de María Elena Oliveros, mediadora del centro. Fuente: https://www.flickr.com/people/medialab-prado/

Evaluación Medialab Prado 2019

Objetivos del testeo Con el desarrollo de esta primera prueba piloto del marco metodológico en el contexto de Medialab Prado, buscamos: • Poner en práctica y depurar el listado de indicadores, sus definiciones, elementos que los describen y escalas de medición. • Desarrollar nuevos protocolos para la recolección de datos y sistematizar los que actualmente tiene a su disposición el centro permitiendo que puedan llevarse a cabo mediciones precisas y evaluaciones integrales de sus actividades y programas implementados en un futuro. • Sentar las bases del marco metodológico propuesto para la evaluación de laboratorios ciudadanos sobre el que poder seguir reflexionando y trabajando hasta su consolidación en un sistema de evaluación sólido, confiable y útil.

Metodología Selección de indicadores Para la prueba piloto se seleccionan 11 indicadores de impacto. Esta selección se realiza en base a tres cuestiones: • Datos e información disponible para cada uno de los indicadores definidos • Relevancia e interés por parte del centro y/o el equipo evaluador • Distribución a fin de cubrir en alguna medida los 5 objetivos estratégicos del centro

Testeo de la metodología

Objetivo 1 • • • • •

Im-1 Im-2 Im-3 Im-4 Im-5

Aumentar el número y la diversidad de participantes activos e incrementar el conocimiento y valoración del centro

Número de participantes activos Índice de diversidad de participantes activos Número de apariciones en prensa -local, regional, nacional e internacionalImpacto en redes sociales Valoración del centro por participantes activos

Objetivo 2

Potenciar la calidad y el impacto de los proyectos desarrollados

• Im-10 Índice de prototipos finalizados • Im-11 Índice de proyectos consolidados

Objetivo 3

Contribuir a la construcción de redes de colaboración locales y regionales

• Im-15 Número de colaboraciones (locales, regionales y nacionales) • Im-16 Capacidad de colaboración del centro (local, regional y nacional)

Objetivo 4

Consolidar redes internacionales de colaboración

• Im-15 Número de colaboraciones (internacionales) • Im-16 Capacidad de colaboración del centro (internacional)

Objetivo 5

Consolidar Medialab Prado como organización abierta y sostenible

• Im-21 Nivel de percepción de apertura • Im-22 Número de actividades externas desarrolladas Tabla Selección de los 11 indicadores a implementar en la prueba piloto de evaluación de la actividad de Medialab Prado en 2019 para sus 5 objetivos estratégicos 2018-2020. Imagen Taller interno entre el equipo de trabajo de Medialab Prado y el equipo evaluador para la recolección de información y datos disponibles.

Evaluación Medialab Prado 2019

Herramientas Recolección de datos La recolección de datos se desarrolló en las siguientes fases: 1. Evaluación de la información actualmente disponible: en base a un primer taller de trabajo interno con el equipo del laboratorio ciudadano a evaluar se realizó un mapeo preliminar de los formatos de actividades del centro, comprobando los datos, información o evaluaciones ya desarrolladas para cada uno de ellos. 2. Recopilación y evaluación de la información secundaria: se establecieron canales de trabajo entre el equipo evaluador y el equipo del centro para la sistematización de toda la información existente identificada durante el primer taller de trabajo interno. 3. Determinación de la información primaria a ser recopilada: definido el primer borrador de indicadores, se determinaron las informaciones y datos primarios que el equipo evaluador debe recopilar. 4. Definición de los métodos de recolección: una vez seleccionados los indicadores que finalmente se testaron en esta primera prueba piloto de evaluación del centro, se determinaron las herramientas complementarias a desarrollar por el equipo evaluador para la recopilación y medición de datos primarios. Encuestas a participantes activos y entidades colaboradoras Además de los datos secundarios con los que se contaba, fruto del trabajo de recolección y sistematización, se decidió llevar a cabo tres encuestas dirigidas a los tres principales grupos identificados en la comunidad activa de Medialab: • Participantes activos: persona vinculada a actividades de producción en cualquiera de sus formatos –residencias, grupos de trabajo o talleres de producción–. No se incluyen, por tanto, personas visitantes o asistentes a conferencias, charlas, etc. No se consideran tampoco en la categoría de “participante activo” las personas del equipo de mediación-investigación por formar parte del equipo de trabajo de la institución. • Personas participantes en talleres de producción: por las particularidades del formato de trabajo que presentan los talleres de producción, estudiaremos de forma diferenciada a las personas que participaron en ellos considerando sus dos categorías: (1) Promotor/a de un taller de producción: persona que propone (lidera) un proyecto para que éste se desarrolle dentro de un taller de producción. (2) Colaborador/a de un taller de producción: persona que se suma al equipo de trabajo para el desarrollo de un proyecto en un taller de producción. • Entidades colaboradoras: organización, institución o colectivo que ha apoyado, co-promovido o colaborado en actividades de producción –residencias, talleres de prototipado, grupos de trabajo o actividades vinculadas a los proyectos de mediación/investigación.–. 30

Testeo de la metodología

Limitaciones prácticas Es importante entender que el desarrollo de este trabajo no constituye una evaluación integral ni estrictamente rigurosa de Medialab Prado desde un punto de vista metodológico y de análisis estadístico. Debe considerarse, tal y como se concibió en un inicio, una prueba piloto que inicie un proceso de sistematización de datos en el centro y ayude a sentar las bases del marco metodológico propuesto. Esto se debe fundamentalmente a 3 limitaciones prácticas: • Alcance de la medición: la medición que se lleva a cabo es parcial en cuanto al número de indicadores que se implementan, el número de actividades que se evalúan sobre el total de la programación del centro y el público total al que se dirigen las herramientas de medición. • Cantidad y calidad de los datos: es usual encontrar ausencia de información y datos en organizaciones que no hayan establecido previamente un sistema de evaluación claro que determine los protocolos de recolección y sistematización de los datos. En este sentido, la gran mayoría de datos con los que se contaba para las actividades de 2019 cuentan con informaciones parciales que, si bien en algunos casos han permitido realizar una primera iteración de los indicadores de impacto seleccionados, no pueden considerarse mediciones rigurosas que permitan la obtención de resultados fidedignos. • Madurez del marco metodológico y de los indicadores: el sistema de medición y evaluación propuesto así como el listado de indicadores cuenta aún con un nivel de madurez insuficiente para el desarrollo de una evaluación integral. No obstante, y asumiendo estar en el comienzo para la consecución de ese propósito a medio-largo plazo, se pretende precisamente con el desarrollo de esta prueba piloto el avanzar para la consolidación de un sistema de medición y un marco metodológico de evaluación sólidos.

3.1

Medición y visualización de datos Testeo de la metodología

Evaluación Medialab Prado 2019

Im-1

Número de participantes activos

Tipo de indicador

Número absoluto

Herramienta

Análisis de datos secundarios Tipo: análisis experto Aplicación: Solicitud del conteo de participantes activos registrados por Medialab Prado durante el periodo a evaluar

Momento de medición

Al finalizar el período a evaluar

Aclaraciones

Recomendaciones

Tomar simultáneamente otro tipo de datos que puedan complementar este número, como el tipo de actividad en la que se participa o datos demográficos que puedan resultar de interés para la medición de la diversidad –ver Im-2, pág 36–

Atributos relacionados

#inclusividad #multipertenencia

31 grupos de trabajo

Grupos de trabajo activos

51,6% (16) Regular y muy frecuente

Valoramos que el nivel de implicación de los grupos de trabajo en MLP es muy alto, observando que 28 grupos de un total de 31 se reúnen una vez al mes o más y de manera regular y pautada.

38,7% (12) Regular frecuente

Todas las semanas

1 o 2 veces por mes

3,2% (1) Regular y poco frecuente Menos de 1 vez al mes 6,5% (2) Ocasional Sin una periodicidad ﬁja

Tamaño de los grupos de trabajo

De 22 de los grupos se conoce el número aproximado de participantes, habiendo un margen de oscilación de participantes durante el año de en torno al 30%

El tamaño más habitual de los grupos de trabajo oscila en torno a los 15 participantes.

Testeo de la metodología

Morfología de los equipos en proyectos de talleres de producción En la conformación de equipos de proyecto comprobamos que no hay uniformidad en la proporción del número de promotores vs número de colaboradores. Inferimos de los datos que la implicación de los participantes y el tamaño de los propios proyectos podría variar mucho de un proyecto a otro.

¿Qué sabes hacer? 9B-joven A Eira. Alimapping Amor x la lectura, pasión x la inclusión ATAQUE Auto-Documenta BiblioMakers Sanchinarro Bioleft

Biomateriales alimentarios Bivo

Comunidad desarrolladores CRTM Con-suma conciencia Cuadernos de caminantes De la semilla a tu plato Del Bulevar a la Palmera Desvistiendo alimentos

Colaboradores/as Promotres/as

Editar para la (des)memoria El Imaginatorio El laberinto del consumo El petróleo que comemos

Número de participantes activos Dentro de los participantes activos hay un total de diecisiete colectivos, cada uno con un número indeterminado de participantes, por lo tanto cabe esperar que el número real de participantes activos sea mayor que la cifra de conteo.

En Bici sin Edad Experimenta la ciudad Fab. de estruc. hinchable Grigri Pixel Food in km Ganadería intensiva, Problemas extensivos Grigri Box Habitando la Plaza de Entrevías Huerto-Jardín de los sentidos Japonismos La alimentación escolar en España Biblioteca: un lab. para construir ciudad La cocina de los nietos La Máquina del tiempo Las calles y las noches son nuestras Locus* Los nuevos espacios de la movilidad Madrid central: sin verde la vida ﬂorece

414 participantes activos

Manual para un activismo ciclista efectivo Mejoras TXMAD Mujeres visibles Orgullo de huerta Pakita Games Paradas de Taxi Pixelarte Radio Búho (Sapiens emotion)

74,9% (310) Colaboradores/as

25,1% (104)

Promotores/as

Radio Compañía Radio Micelio RadiOM22 Re-Utilización productos cerveceros Recolección de memorias Grigri Pixel Sensortaxi Solitario Sonoro (Radio cómic) Taxi 5.0 Taxi Excelente, por las buenas prácticas The Kitchenette of Future Dust Ultraprocesamiento de alimentos Universonora ValleKrea: Dale color a tu barrio Visor de datos de tráﬁco de Madrid Voces y recuerdos a pie de calle

Evaluación Medialab Prado 2019

Im-2

Índice de diversidad de participantes activos

Tipo de indicador

Índice

Herramienta

Análisis de datos secundarios Tipo: análisis experto Aplicación: relación de participantes pertenecientes a un grupo demográfico concreto en comparación con el número de personas del mismo grupo demográfico en una población de referencia. Se deberá disponer de datos sistematizados de participantes activos clasificados según franja de edad, género, lugar de residencia y lugar de origen. Se analiza de forma separada las personas pertenecientes al grupo poblacional y las que no. Para las personas pertenecientes a la población de referencia, se seleccionan tres aspectos a evaluar de cada categoría. Por ejemplo: mujeres (categoría género), jóvenes hasta 29 años (edad) y personas procedentes de Latinoamérica (origen). Se obtienen los porcentajes sobre el grupo perteneciente a la población de referencia y se comparan con éstos. A cada uno de estos porcentajes diferenciales se les asigna los siguientes valores: 0 si el porcentaje diferencial no varía 1 si el porcentaje diferencial varía en positivo un 10% o más -1 si el porcentaje diferencial varía en negativo un 10% o más Para los porcentajes diferenciales que estén entre -10% y +10% se asignan valores entre -1 y +1 de forma proporcional. De esta forma se obtiene un índice de diversidad para cada sector social perteneciente a la población de referencia. Los datos correspondientes a las personas que no pertenecen a la población de referencia se comparan según los porcentajes mínimos que la entidad se haya marcado como objetivo. Por ejemplo (50% de mujeres, 30% de jóvenes hasta 29 años y 30% de personas residentes en otros países. Para la medición del grupo no perteneciente a la población de referencia se procede de forma análoga.

Momento de medición

Al finalizar el período a evaluar (para la medición global del período) Al finalizar cada actividad (para una medición segmentada).

Aclaraciones

Participante activo: persona vinculada a actividades de producción en cualquiera de sus formatos –residencias, grupos de trabajo o talleres de producción–. No se incluyen, por tanto, personas asistentes a conferencias, personas visitantes, etc. No se consideran tampoco en la categoría de “participante activo” a las personas del equipo de mediacióninvestigación por formar parte del equipo de trabajo de la institución a la que se evalúa. Población de referencia: conjunto de todos los individuos de referencia, utilizado para establecer criterios de comparación de una población en estudio.

Recomendaciones

Para la clasificación de la información demográfica se propone: (1) género: hombre, mujer, otro; (2) edad. Recogida de datos por tramos; (3) origen. Recogida de información por regiones; (4) residencia. Recogida de información por regiones.

Atributos relacionados

#inclusividad #comunidad

Testeo de la metodología

Por falta de definición de una población de referencia y de distribución demográfica mínima marcada como objetivo, no es posible la medición mediante la aplicación del índice de diversidad. A pesar de esto, se dispone de datos de los participantes en los talleres de producción de 2019 y, tras haberlos analizado y sabiendo que corresponden a un análisis parcial, se destacan los siguientes aspectos:

Género Más del 60% de las personas que han participado en los talleres de producción son mujeres. Esta diferencia se ve acrecentada en talleres como “de 0 a 99” (más del 75% son mujeres), el laboratorio de bibliotecas o radio lab (donde superan el 70%). En cambio, en talleres como Taxi Experimenta donde el sector está socialmente protagonizado por el género masculino, este patrón se repite.

De 0 a 99

NS/NC

Lab de Bibliotecas

31,00% 62,00% 2,70% NS/NC

4,30%

Radio Lab

Taxi Experimenta

13,90%

21,50%

21,20%

64,50%

75,00%

72,00%

72,70%

25,80%

8,30%

4,30%

0,00%

2,8%

NS/NC

2,20%

NS/NC

6,00%

NS/NC

9,70%

Franja de edad

Residencia

No es posible realizar un análisis por franja de edad de las personas que han participado en los talleres de producción ya que casi el 30% de las personas no aporta datos al respecto. No obstante, mostramos el gráfico con los datos conseguidos.

El 46.4% de las personas participantes en los talleres de producción es Madrid. Esta distribución puede ser útil para marcar la población de referencia en futuras mediciones. A escala internacional, destaca la comunidad Latinoamérica con un 12.1%.

0,20% 0-14 años 23,20% 15-29 años 31,00% 30-44 años 15,00% 45-59 años 1,30% 60-74 años 29,30% sin respuesta

8,71% (39) Sin respuesta 1,34% (6) África 23,21% (104) España 3,57% (16) Europa 12,05% (54) Latinoamérica 46,43% (208) Madrid 0,22% (1) Norteamérica 4,46% (20) Región 37

Evaluación Medialab Prado 2019

Im-3

Apariciones/impacto en prensa -local, regional, nacional e internacional-

Tipo de indicador

Gradiente

Herramienta

Análisis de datos secundarios Tipo: análisis experto Aplicación: conteo de apariciones en prensa segregadas por territorio (local, regional, nacional e internacional).

Momento de medición

En cualquier momento

Aclaraciones

Se considera aparición en prensa aquella en la que se nombra explícitamente al centro y/o a alguna de las actividades que en él se realizan.

Recomendaciones

El empleo de otros indicadores como el tipo de medio que publica y la valoración que se hace del centro ayudan a ofrecer una imagen más completa sobre las apariciones en prensa. Para un análisis más detallado de las apariciones en prensa se recomienda el uso de otros indicadores en los que se contemple: • •

tipo de medio: prensa online, prensa escrita, blog, radio, televisión, etc. valoración del centro: positiva, informativa, neutra, crítica, negativa, etc.

El impacto en prensa dependerá de los objetivos específicos del laboratorio ciudadano a evaluar. Ej: para un laboratorio ciudadano o para alguna de sus actividades o programas en los que el objetivo sea la internacionalización, podremos entender el impacto como: • • •

Atributos relacionados

bajo si es mayoritariamente local medio si es mayoritariamente regional alto si excede mayoritariamente el ámbito regional

#glocalidad

62,5% estatal

480 apariciones en prensa

10,4% regional 14,8% local 12,3% interna

Número de apariciones en prensa Se clasifican las diferentes apariciones en prensa de Medialab Prado según la zona de impacto del medio y excluyendo aquellos links rotos:

• local: medios con contenidos exclusivamente de la ciudad de Madrid.

• regional: medios con contenidos de la Comunidad de Madrid.

• estatal: medios que publican a nivel estatal o que •

pertenecen a regiones del estado diferentes a la Comunidad de Madrid. internacional: medios enfocados a un público fuera de España.

Testeo de la metodología

Im-4

Impacto en redes sociales

Tipo de indicador

Análisis cualitativo de actividad y contenidos

Herramienta

Análisis de datos secundarios Tipo: análisis experto Aplicación: análisis de la actividad en redes sociales separadas por tipo de red social. Comparación con los resultados obtenidos en periodos de evaluación anteriores.

Momento de medición

Al finalizar el período a evaluar

Aclaraciones

Los datos mostrados se han extraído del informe realizado por Acerca Comunicación para las redes sociales de Twitter, Facebook e Instagram de Medialab Prado.

Recomendaciones

Contemplar en el análisis aspectos como el crecimiento de la comunidad (audiencia), el nivel de interacción, ranking de publicaciones y demografía de seguidores.

Atributos relacionados

#transparencia #hibridaciónFísicoDigital #comunidad

Comunidad activa del centro según redes sociales Comunidad +14.000

+58.000

+40.000

Twitter es la comunidad que más interactúa de manera proactiva con Medialab Prado, superando los 58.000 seguidores y las 2.000 menciones mensuales en meses de actividad moderada.

Glocalidad

+60%

Las seguidoras de Instagram y Facebook se encuentran en más de un 60% en España, sobre todo concentradas a nivel local en Madrid y, fuera de la ciudad, en Barcelona. Ambas redes cuentan con una comunidad de seguidoras en Latinoamérica que supera el 18% del total de seguidoras. (Twitter no proporciona datos de geografía).

Diversidad

+60%

Las seguidoras en Instagram y facebook son en más de un 60% mujeres, encarnando de manera más prominente la feminización del colectivo de participantes activos de MLP. (Twitter no proporciona datos de género).

Evaluación Medialab Prado 2019

Im-5

Valoración del centro por participantes activos

Tipo de indicador

Gradiente

Herramienta

Análisis de datos primarios Tipo: encuesta focalizada Aplicación: se formula una encuesta dirigida a participantes activos durante el periodo de evaluación. (ver anexo IV) Los datos obtenidos de la pregunta 5.4 ofrecerán una medición cuantitativa del indicador. A partir de los datos obtenidos en las preguntas 5.1; 5.2; 5.5; 5.6, 5.7 y 5.8. se realizará un análisis cualitativo en relación a este indicador.

Momento de medición

Al finalizar la actividad

Aclaraciones

Recomendaciones

Los datos obtenidos a través de la encuesta (ver anexo IV), especialmente los relativos a las preguntas 5.1; 5.2; 5.5; 5.6 y 5.7 pueden tratarse en un taller con un grupo focal o en entrevistas (ver AC-3, pág 62). Los datos obtenidos del taller o entrevistas realizadas podrán tratarse como información complementaria a la obtenida en la encuesta.

Atributos relacionados

#comunidad #permeabilidad

Testeo de la metodología

Considerando tu participación en Medialab Prado, ¿cómo valorarías tu experiencia?

61,4%

35,2%

Muy satisfactoria

Satisfactoria

14,8% Poco satisfactoria 0,00% Nada satisfactoria

Durante tu participación en Medialab Prado, ¿has colaborado con personas con las que no lo habías hecho antes?

53,5% 44,80 1 vez

>5 veces

25%

50%

75%

Sí No

Prácticamente todas las personas que han participado activamente en Medialab Prado han colaborado con personas que no lo habían hecho antes. Esta situación se mantiene con independencia del número de actividades en las que se haya participado.

100%

En base a tu experiencia personal, ¿qué aspectos te ha aportado Medialab Prado?

¿Crees que Medialab Prado aporta un tipo de valor a la sociedad distinto al de otros centros culturales? 92,0% Sí

5,00%

5,70% No

Empleabilidad

2,30% ns/nc

39,00%

Formación

58,00%

Investigación

16,00%

¿Volverías a participar en una actividad de Medialab Prado? 94,3% Sí

Emprendimiento

75,00%

4,50% No

38,00%

1,20% ns/nc

Contacto local Contacto internacional

13,00%

Socialización

¿Has dado a conocer Medialab Prado en tu entorno?

19,00%

94,3% Sí

Ocio

5,70% No

5,00% Otro

Evaluación Medialab Prado 2019

Im-10

Índice de prototipos finalizados

Tipo de indicador

Índice

Herramienta

Análisis de datos primarios y secundarios Tipo: análisis experto y encuesta focalizada Aplicación: se analiza el grado de completitud, utilidad y documentación del prototipo y la posibilidad de acceso a la información de los productos generados. Se registra si hubo o no presentación del prototipo una vez finalizado. Envío de una encuesta a promotores y colaboradores de talleres de producción.

Momento de medición

Al finalizar la actividad

Aclaraciones

Prototipo: modelo de un nuevo proyecto, producto o servicio con un nivel de desarrollo suficiente como para ser probado por primera vez en un contexto concreto con condiciones reales o cercanas a la realidad del entorno. En el caso de estudio que nos ocupa, Medialab Prado, realizaremos la medición de datos relacionados con los prototipos desarrollados en talleres de producción, en los que el equipo de trabajo está conformado por una persona promotora y varias colaboradoras. • Promotor/a de un taller de producción: persona que propone (lidera) un proyecto para que éste se desarrolle dentro de un taller de producción. • Colaborador/a de un taller de producción: persona que se suma al equipo de trabajo y desarrollo de un proyecto en un taller de producción.

Recomendaciones

Se recomienda enviar la encuesta a promotores y colaboradores al finalizar la actividad desarrollada, consiguiendo un mayor número de respuestas. Así mismo, se recomienda sistematizar bien las respuestas, de forma que puedan segmentarse los datos por cada proyecto y por cada programa, y no solo medir de manera general el total de las respuestas.

Atributos relacionados

#experimentación #diseñoAbierto #transparencia

Testeo de la metodología

Im-10

0,72

Por falta de datos solo ha sido posible calcular el índice para el caso de cada respuesta recibida a la encuesta. El índice total (0,72) ha sido calculado como la media de todas las respuestas. Para obtener unos datos que permitieran una evaluación mucho más integral, deberían contarse con datos sistematizados por proyecto y programa, de forma que pueda reflejarse el índice en base a estas dos categorías de estudio.

1,0

Finalizado 0,5

En proceso de ﬁnalización

0,0

-0,5

No ﬁnalizado

-1,0

Además, este indicador se plantea útil de cara a medir y evaluar el progreso en el tiempo de los proyectos. Para ello, se debería definir de forma precisa la escala de valor del índice que determine cuando el proyecto se considera “No finalizado”, “En proceso de finalización” o “Finalizado”. En el total de 37 respuestas, solo una ha resultado negativa, con un valor de -0,20, además de considerar una de las respuestas nula por ausencia de datos.

En términos generales, ¿cómo valorarías tu nivel de satisfacción con el resultado del prototipo?

41,7%

Satisfactoria

55,5%

2,8% Poco satisfactoria

Muy satisfactoria

0,00% Nada satisfactoria

Evaluación Medialab Prado 2019

Im-11

Índice de proyectos consolidados

Tipo de indicador

Índice

Herramienta

Análisis de datos primarios Tipo: análisis experto Aplicación: se mide la continuidad de los proyectos más allá del primer prototipo desarrollado en el laboratorio ciudadano. CONTINUIDAD, REPLICABILIDAD e IMPULSO son los aspectos que influyen directamente en el cálculo del índice, cuyo valor puede oscilar entre entre 1 y -1. Para el cálculo se ha asignado una puntuación con un valor de 1, 0 o -1 para cada una de las respuestas de la encuesta (ver anexo V). Las preguntas 10.10 y 10.11 son las que definen el aspecto CONTINUIDAD.. La pregunta 11.1 es la que define el aspecto REPLICABILIDAD. Las preguntas 11.2 y 11.3 son las que definen el aspecto IMPULSO.

Momento de medición

Al finalizar el periodo a evaluar.

Aclaraciones

Proyecto consolidado: consideramos un proyecto consolidado cuando cuenta con un nivel de desarrollo más amplio al del primer modelo o prototipo planteado. El grado de consolidación se calcula en base al cumplimiento o no de las siguientes condiciones:

• • • • •

Haberse replicado al menos una vez por el equipo promotor o por terceros. Contar con una figura jurídica creada a raíz del desarrollo del primer modelo. Contar con una imagen de marca o identidad. Haber generado empleo de alguna manera. Contar con un modelo de negocio alrededor de la idea inicial del prototipo.

Recomendaciones

Atributos relacionados

#resiliencia #comunidad #diseñoAbierto

Testeo de la metodología

Im-11

-0,22

Por falta de datos solo ha sido posible calcular el índice para el caso de cada respuesta recibida a la encuesta. El índice total (-0,22) ha sido calculado como la media de todas las respuestas. Para obtener unos datos que permitieran una evaluación mucho más integral, deberían contarse con datos sistematizados por proyecto y programa, de forma que pueda reflejarse el índice en base a estas dos categorías de estudio.

1,0

Consolidado 0,5

En proceso de consolidación

0,0

-0,5

No consolidado

-1,0

Además, este indicador se plantea útil de cara a medir y evaluar el progreso en el tiempo de los proyectos. Para ello, se debería definir de forma precisa la escala de valor del índice que determine cuando el proyecto se considera “No finalizado”, “En proceso de finalización” o “Finalizado”. En el total de 37 respuestas, solo dos han resultado positivas, además de considerar 6 de las respuestas nulas por ausencia de datos.

Evaluación Medialab Prado 2019

Im-15

Número de colaboraciones

Tipo de indicador

Numero absoluto de colaboradores

Herramienta

Análisis de datos secundarios Tipo: análisis experto

Momento de medición

Al finalizar el periodo a evaluar

Aclaraciones

Entidad colaboradora: organización, institución o colectivo que ha apoyado, copromovido o colaborado en actividades de producción –residencias, talleres o programas de prototipado, grupos de trabajo, etc...

Recomendaciones

A fin de mostrar datos más detallados, los resultados de la medición pueden clasificarse según escala territorial –local, regional, nacional o internacional– y mostrarse según el número de veces que se ha colaborado –1, 2, 3 o en más de 3 ocasiones–

Atributos relacionados

#glocalidad #comunidad #inclusividad

Testeo de la metodología

Cantidad de entidades colaboradoras por taller de producción Los talleres de producción tienden a contar con una sola entidad colaboradora para cada una de sus ediciones, aunque hay excepciones que incorporan más entidades. La totalidad de las colaboraciones en talleres de producción ha sido con organizaciones locales (17), si bien varias de las organizaciones tienen sedes y actividad a nivel nacional e internacional.

entidades colaboradoras en 9 talleres de producción

colectivos locales en 9 talleres de producción

Rol de los colectivos locales en los talleres de producción Los colectivos tienen una tendencia mayor a asumir el rol de promotor en proyectos que los individuos. Una hipótesis es que esto sea por su mayor capacidad organizativa, tracción con los individuos y cantidad de iniciativas propias en marcha que pueden materializarse en proyectos con MLP.

Rol promotor 10

personas pertenecen a un colectivo

personas participan individualmente

Rol colaborador 7

personas pertenecen a un colectivo

303

personas participan individualmente

Evaluación Medialab Prado 2019

Im-16

Capacidad de colaboración del centro

Tipo de indicador

Índice

Herramienta

Análisis de datos primarios Tipo: encuesta focalizada Aplicación: Número de entidades colaboradoras que han colaborado en más de una ocasión con el Lab. Ciudadano y de entidades colaboradoras que quieren volver a colaborar en relación con el total de entidades colaboradoras. OPORTUNIDADES DE COLABORACIÓN es el aspecto que influye directamente en el cálculo del índice, cuyo valor puede oscilar entre 1 y -1. Para el cálculo se ha asignado una puntuación con un valor de 1, 0 y -1 por cada respuesta de la encuesta (ver anexo VI). Las preguntas 16.8 y 16.10 son las que definen el aspecto OPORTUNIDADES DE COLABORACIÓN.

Momento de medición

Al finalizar el periodo de evaluación

Aclaraciones

Recomendaciones

Atributos relacionados

#glocalidad #permeabilidad #comunidad #inclusividad

Testeo de la metodología

Im-16

0,50

Por falta de datos solo ha sido posible calcular el índice para el caso de cada respuesta recibida a la encuesta. El índice total (0,50) ha sido calculado como la media de todas las respuestas. Para obtener unos datos que permitieran una evaluación mucho más integral, deberían contarse con datos sistematizados por proyecto y programa, de forma que pueda reflejarse el índice en base a estas dos categorías de estudio. En el total de 10 respuestas, 7 han resultado positivas y 3 de ellas con un valor de 0.

1,0

Implementación oportunidades de colaboración

0,5

0,0

-0,5 Pérdida oportunidades de colaboración

-1,0

¿En cuántas ocasiones has colaborado con Medialab Prado?

20,0%

40,0%

20,0% en 3 ocasiones 20,0% en 4 ocasiones 20,0% en 5 ocasiones 40,0% en más de 5 ocasiones

¿Medialab Prado ha facilitado a tu organización entrar en una red de colaboración?

100,0% 100,0% Sí

¿En qué medida has sentido que tu organización se beneﬁciaba de esa red?

20,0%

30,0%

50,0%

30,0% no sabe/no contesta 20,0% Beneﬁcioso 50,0% Muy beneﬁcioso

En términos generales, ¿cómo valorarías tu nivel de satisfacción con la colaboración con Medialab Prado?

70,0%

Muy satisfactoria

20,0%

Satisfactoria

10,0% Poco satisfactoria 0,00% Nada satisfactoria

Evaluación Medialab Prado 2019

Im-21

Nivel de percepción de apertura

Tipo de indicador

Gradiente

Herramienta

Análisis de datos primarios Tipo: encuesta focalizada Aplicación: envío de una encuesta a participantes activos (ver anexo IV, pág 80) de los talleres de producción correspondientes al periodo del que se realiza la medición. Las preguntas 21.2 y 21.3 ofrecen una visión general de la percepción de apertura. Para el cálculo del nivel de apertura, consideramos que el 100% de respuestas afirmativas como 1 en cada una de la preguntas. Tras hacer la media de ambas preguntas, el nivel de apertura quedará definido así: - bajo si la media del porcentaje en base 1 es inferior a 0.6 - medio si la media del porcentaje en base 1 está entre 0.6 y 0.8 - alto si la media del porcentaje en base 1 es superior a 0.8 La pregunta 21.1 ofrece datos complementarios que facilitan al centro la mejora de procesos de apertura a la sociedad.

Momento de medición

En cualquier momento

Aclaraciones

Recomendaciones

Aplicar junto al indicador Im-22 “Aceptación de actividades externas” para tener una visión más completa sobre la apertura del centro.

Atributos relacionados

#permeabilidad #transparencia #diseñoAbierto

Testeo de la metodología

Im-21

0,91

Tras la medición y aplicando el indicador, obtenemos que:

• El 89.8% de las personas afirman que es sencillo participar en las actividades que tienen lugar en Medialab Prado. Esto supone un 0.90 en base 1.

• El 93.2% de las personas consideran a Medialab Prado como una entidad abierta. Esto supone un 0.93 en base 1.

La media de ambas respuestas (0.93 y 0.90) es de 0.91 y, por lo tanto, se concluye que el nivel de percepción de apertura de Medialab Prado por parte de los participantes activos es alto.

¿Crees que es sencillo participar en las actividades que tienen lugar en Medialab Prado?

¿Consideras que Medialab Prado es una entidad abierta a la sociedad?

Sí

0,90

¿Has propuesto alguna vez una actividad a Medialab Prado?

0,93 37,5% Sí 62,5% Nunca

Evaluación de la experiencia al elaborar una propuesta Cabe destacar que la gran mayoría de las personas que sí lo hicieron, consideran que el proceso fue claro, sencillo, de duración razonable y abierto a personas ajenas a Prado. Además, consideran que se aplicaron criterios de selección abiertos e imparciales. Para la proposición de nuevos formatos, los entrevistados muestran dudas respecto a la apertura de la entidad en este sentido.

Motivos por los que no se elaboran propuestas propias

el proceso es claro

87.9%

tiene una duración razonable

87.9%

está abierto a personas ajenas

87.9%

propias

es imparcial

87.9%

18,2% Tuvo propuestas pero no sabía cómo hacerlo

es un proceso sencillo

50,9% No tuvo propuestas

20,0% No sabía que Medialab Prado aceptara propuestas externas

72.7%

se fomentan ideas y puntos de vista diversos

100%

siento que está abierto 45.4% a nuevos formatos

48.5%

10,9% Otros motivos

Evaluación Medialab Prado 2019

Im-22

Grado de aceptación de actividades externas

Tipo de indicador

Gradiente

Herramienta

Análisis de datos secundarios Tipo: análisis experto Aplicación: análisis documental de los informes desarrollados por el laboratorio ciudadano en relación a las propuestas externas recibidas. Tras un análisis de las propuestas recibidas y de sus motivos de aceptación o rechazo, se determina si el grado de aceptación de actividades externa es alto, medio o bajo. Las propuestas recibidas, tanto las aceptadas como las rechazadas, deben estar clasificadas con el motivo. Se considera que: • el grado de aceptación es bajo si el dato es inferior al 60% • el grado de aceptación es medio si el dato está entre el 60%-80% • el grado de aceptación es alto si el dato es superior al 80%

Momento de medición

Al finalizar el periodo a evaluar

Aclaraciones Recomendaciones

Se aconseja el registro homogenizado y sistematizado de propuestas que puedan llegar desde canales formales o informales. Para la correcta evaluación posterior, se deben tener todas las propuestas clasificadas con sus motivos, aunque sean genéricos, de su aceptación o rechazo. Si el grado de aceptación de propuestas es bajo y, especialmente, si es inferior al 50% del total de propuestas, se recomienda analizar los motivos, pues puede que no se deba a cuestiones como la mala comunicación del centro o la dificultad a la hora de realizar propuestas. Aplicar este indicador junto al Im-21 Nivel de percepción de apertura para tener una evaluación más completa de la apertura del centro.

Atributos relacionados

#permeabilidad #adhocracia #transparencia

Grado de aceptación de propuestas externas Se procede al análisis documental de los informes proporcionados por Medialab Prado en relación a las propuestas recibidas.

16,9% aceptada 38,4% rechadas

Tras la clasificación de las propuestas externas registradas por Medialab Prado, se descarta la aplicación del indicador porque más del 40% de las propuestas no contaban con información relativa a su aceptación o rechazo.

44,6% sin info

Testeo de la metodologĂa

Imagen Patio exterior del edificio de la antigua SerrerĂa Belga, actualmente sede de Medialab Prado en Madrid. Fuente: http://hicarquitectura.com/2017/04/ langarita-navarro-arquitectos-centro-medialab-prado/

Evaluación Medialab Prado 2019

3.3 EVALUACIÓN Se exponen a continuación conclusiones extraídas tras la medición de los diferentes indicadores. Es importante insistir en las puntualizaciones hechas en el apartado de “limitaciones prácticas” de este capítulo, no debiendo considerar las siguientes conclusiones una evaluación integral de la actividad del centro ni de sus objetivos, sino una prueba piloto que permita comenzar a sistematizar datos e informaciones para la correcta evaluación del centro. Concluímos para cada uno de los objetivos estratégicos de Medialab Prado lo siguiente: OBJETIVO 1: AUMENTAR EL NÚMERO Y LA DIVERSIDAD DE PARTICIPANTES ACTIVOS E INCREMENTAR EL CONOCIMIENTO Y VALORACIÓN DEL CENTRO Este objetivo podemos dividirlo en 4 subobjetivos: aumentar el número de participantes activos, aumentar la diversidad de éstos, incrementar el conocimiento del centro y aumentar su valoración. Tras la definición conjunta de qué es ser “participante activo” y teniendo en cuenta que no existen datos anteriores, no se puede evaluar si el número de éstos o su diversidad ha aumentando. Centrándonos en la situación que nos muestra la medición, consideramos que el número de participantes activos, aun siendo considerablemente alto, podría ser mayor si se tuviera un conteo exhaustivo. Respecto a la diversidad de dichos participantes activos se aprecia un número considerable de mujeres adultas hasta 44 años. Por la falta de definición de una población de referencia, no se pueden extraer resultados concluyentes. En cuanto al incremento del conocimiento y la valoración de Medialab Prado, aunque no puedan compararse con otras mediciones para concluir que estos aspectos aumentan, sí podemos afirmar que la presencia de Medialab Prado en las redes sociales y en los medios de comunicación es notable. Además, las personas que han formado parte de actividades de producción afirman mayoritariamente dar a conocer el centro entre sus conocidos y reconocen el valor de la experiencia en el centro así como su valor diferencial respecto a otros centros culturales tradicionales. Conclusión: el objetivo 1 se considera que está en el camino correcto para cumplirse. En una próxima iteración del sistema de evaluación con datos mejor sistematizados podrá comprobarse de manera más determinante.

Testeo de la metodología

OBJETIVO 2: POTENCIAR LA CALIDAD Y EL IMPACTO DE LOS PROYECTOS DESARROLLADOS Para la evaluación de este objetivo se han definido dos indicadores. Por una parte, el Im-10 “Índice de prototipos finalizados” con el fin de medir la calidad de los proyectos que desarrollados en Medialab Prado y, por otra parte, el Im-11 “Índice de proyectos consolidados”, a través del cual medir la continuidad de los mismos. Se considera que este primer prototipo de la evaluación ha servido para plantear ambos indicadores y testar su utilidad para futuras mediciones. En las sucesivas iteraciones se deberán definir con mayor precisión las encuestas de recopilación de datos, pudiendo así contar con información segmentada por categorías (proyectos, programas e información general del centro), calculando ambos índices para las tres. Tras la aplicación de ambos indicadores, y según el nivel de satisfacción y utilidad percibido por la comunidad activa del centro, podemos concluir que los prototipos llevados a cabo en Medialab Prado tienen un grado de finalización alto. No obstante, y de acuerdo a los resultados del indicador Im-11, estos no han tenido continuidad o seguimiento tras su inicio en el centro. Para la medición del impacto de los proyectos queda pendiente evaluar con mayor profundidad, pues se debe definir con anterioridad qué tipo de impacto es el buscado y promovido por la institución. Conclusión: aún considerando la falta de datos y una mejor sistematización de los mismos, puede contemplarse una buena tendencia relativa a la calidad de los prototipos, de acuerdo a las experiencias de sus propios participantes. Por otro lado, y de nuevo, según tendencias mostradas por los cálculos y asumiendo la necesidad de mayor cantidad y calidad de los datos, aparece como sintomático la falta de continuidad de los proyectos. No obstante, deberían realizarse nuevas mediciones a futuro que permitan comparar con los datos de 2019.

Evaluación Medialab Prado 2019

OBJETIVO 3 y 4: CONTRIBUIR A LA CONSTRUCCIÓN DE REDES DE COLABORACIÓN LOCALES Y REGIONALES y CONSOLIDAR REDES INTERNACIONALES DE COLABORACIÓN Para la evaluación de ambos objetivos se ha considerado fundamental analizar por un lado el “Número de colaboraciones” (Im-15) y la naturaleza de las mismas y, por otra parte, la “Capacidad de colaboración del centro” (Im-16), estudiando qué papel juega Medialab Prado en ellas. Tras analizar los datos referidos a las actividades enmarcadas en programas de talleres de producción, destaca la situación local de todas las entidades colaboradoras, visibilizando la implicación de las organizaciones de la ciudad de Madrid con el centro. No obstante, y al igual que en anteriores objetivos, los datos obtenidos por parte de las entidades colaboradoras se consideran insuficientes. Por último, cabe destacar que, según la experiencia de las entidades colaboradoras, Medialab Prado es percibido como un agente clave en la facilitación de redes de colaboración y que acerca los beneficios de un ecosistema innovador a las diferentes organizaciones. Conclusión: de acuerdo a la experiencia de las entidades colaboradoras, Medialab Prado se reconoce y percibe como un agente que contribuye a la construcción de redes de colaboración a escala local y regional.

OBJETIVO 5: CONSOLIDAR MLP COMO ORGANIZACIÓN ABIERTA Y SOSTENIBLE. Este objetivo consta de dos subobjetivos diferenciables y evaluables de forma independiente. Medialab Prado es considerada, de forma considerablemente mayoritaria, como una organización abierta a la ciudadanía. Dicha apertura debe corroborarse en próximas iteraciones con el grado de aceptación de propuestas externas. La suma de ambos aspectos definirán si Medialab Prado, además de apreciarse claramente como una institución abierta, lo es también en su promoción de actividades. Respecto a la sostenibilidad de la organización, no ha sido posible extraer conclusiones en este prototipo de evaluación debido a los datos, tiempos y recursos acotados. Tras la definición del objetivo de sostenibilidad para Medialab Prado, se aconseja el empleo en próximas iteraciones del sistema de evaluación de indicadores que recojan las diferentes vertientes de sostenibilidad que sean clave para el centro. Conclusión: Medialab Prado es percibida, por su comunidad activa, como una organización abierta a la sociedad.

Testeo de la metodología

Evaluación Medialab Prado 2019

Durante tu participación en Medialab Prado, ¿has colaborado con personas con las que no lo habías hecho antes?

^ ver vídeo

(ver Im-5, pág. 40-41)

“Medialab Prado, esa fábrica de ideas que hace posible que las cosas ocurran.” ¿Medialab Prado ha facilitado a tu organización entrar en una red de colaboración?

53,5% 44,80 1 vez

>5 veces

25%

50%

¿En qué medida has sentido que tu organización se beneﬁciaba de esa red? (ver Im-16, pág. 48-49)

(ver Im-16, pág. 48-49)

100,0% 100,0% Sí

20,0%

30,0%

50,0%

30,0% no sabe/no contesta 20,0% Beneﬁcioso 50,0% Muy beneﬁcioso 58

75%

Sí No

100%

61,4%

participantes activos valoran como muy satisfactoria su experiencia en Medialab Prado. (ver Im-5, pág. 40-41)

70,0%

de las entidades colaboradoras valoran como muy satisfactoria su experiencia en Medialab Prado. (ver Im-16, pág. 48-49)

Testeo de la metodología

¿Crees que Medialab Prado aporta un tipo de valor a la sociedad distinto al de otros centros culturales?

¿Volverías a participar en una actividad de Medialab Prado?

¿Has dado a conocer Medialab Prado en tu entorno?

(ver Im-5, pág. 40-41)

92,0% Sí

94,3% Sí

5,70% No

4,50% No

5,70% No

2,30% ns/nc

1,20% ns/nc

Evaluación de la experiencia al elaborar una ¿Crees que es sencillo propuesta (ver Im-21, pág. 50-51) participar en las actividades que tienen lugar en Medialab Prado? el proceso es claro 87.9% (ver Im-21, pág. 50-51)

Sí No

0,90

tiene una duración razonable

87.9%

está abierto a personas ajenas

87.9%

es imparcial

87.9%

es un proceso sencillo

72.7%

se fomentan ideas y puntos de vista diversos

¿Consideras que Medialab Prado es una entidad abierta a la sociedad?

siento que está abierto 45.4% a nuevos formatos

(ver Im-21, pág. 50-51)

Sí No

0,93

100%

Acciones de mejora

Evaluación Medialab Prado 2019

AC. 1 DEFINICIÓN DE LOS GRUPOS DE ESTUDIO Muchos de los indicadores empleados para la medición dependen de la obtención de datos de personas, colectivos o entidades vinculadas de forma directa y activa con Medialab Prado. Se considera fundamental contar con información detallada que permita entender la composición de estos grupos, pudiendo así segmentarlos y analizarlos de forma clara para la posterior evaluación. De forma más específica se recomienda: • Disponer de un conteo y de datos relativos de todas las personas que participan de los grupos de trabajo. • Realizar un registro completo de participantes de talleres de producción y grupos de trabajo por aglutinar estos dos grupos a la mayoría de las personas consideradas como participantes activas. • Diferenciar el registro de colectivos y personas individuales. Al igual que los grupos de trabajo, se debe disponer de datos de las personas vinculadas a estos colectivos y sus perfiles (promotor, portavoz, colaborador…) para poder valorar desde una perspectiva de género. • Definir cuál es la población de referencia de Medialab Prado. Atendiendo a los datos analizados para este trabajo, se recomienda definir ésta por su condición territorial, acotándola en el área metropolitana de la ciudad de Madrid (ver resultados de la medición para el indicador Im-2). • Definir cuál es su objetivo de alcance entre la población que no pertenece a la población de referencia (ver resultados de la medición para el indicador Im-2). • Definir cuál es la escala a la que se quiere impactar (local, regional, estatal, internacional, etc.), para cada uno de los programas, actividades o proyectos así como de forma general para el centro y en qué medida en cada uno de ellos.

Introducción

AC. 2 RECOGIDA Y SISTEMATIZACIÓN DE DATOS Para que la medición y posterior evaluación no suponga una sobrecarga inasumible en el trabajo diario de Medialab Prado, se debe incidir en una recogida de datos precisa y sistematizada. La falta de información y datos o la mala calidad de los mismos invalida los análisis que se realizan y, por tanto, la posterior evaluación. Se aconseja incidir en la obtención de datos completos, principalmente en aquellos que hacen referencia a perfiles demográficos. En caso de que alguna de las actividades a evaluar (talleres de producción, grupos de trabajo o residencias) faltase más del 10% de la información requerida, se recomienda descartar el grupo completo y especificar en la evaluación final el motivo de la retirada de dicha información. Se recomienda el control de datos obtenidos para evitar duplicidades. Por ejemplo, si una persona ha participado en más de un taller de producción, y no se le tiene en cuenta en la medición, puede recibir el formulario online más de una vez; o puede contar por duplicado en el cálculo de la diversidad de participantes activas. Haber asistido en más de una ocasión a Medialab Prado en el mismo período de evaluación debe tenerse en cuenta para indicadores como el Im-5 “Valoración del centro por participantes activas” o Im-21 “Nivel de percepción de apertura” pero despreciar para otros como el Im-2 “Diversidad de participantes activas”. Finalmente, antes de recoger y sistematizar datos, se debe valorar la cantidad de información que se obtiene, la dificultad de obtenerlos y la utilidad final que se les quiere dar. No es suficiente con tener los datos necesarios para un buen análisis y la posterior evaluación. Se deberá planificar la finalidad de dichos datos ya que pueden acabar siendo una mera muestra cuantitativa sin causalidad alguna con las actividades llevadas a cabo, y que no aporte a un mejor entendimiento de Medialab Prado. Si se busca que la evaluación también ponga en valor aspectos más cualitativos del centro, se recomienda que los datos, aun siendo de carácter cuantitativo, se evalúen teniendo presentes qué atributos y valores son los que se busca promover (ver Im-4 “Impacto en redes sociales”).

Evaluación Medialab Prado 2019

AC. 3 FACTOR HUMANO Muchos de los indicadores planteados en la evaluación se basan en el análisis de datos extraídos de encuestas. Éstas suponen un punto de interacción con las personas que forman parte de la comunidad activa de Medialab Prado. Consideramos fundamental empatizar con estas personas y, por tanto, tener en consideración algunos aspectos en el proceso de recolección de estos datos. Tras la experiencia del prototipo de evaluación se recomienda: • Que las encuestas se hagan en un período breve tras la finalización de la actividad (una o dos semana como máximo). Para las participantes es mucho más sencillo evaluar sobre una actividad reciente, por lo que se podrá conseguir un mayor número de respuestas, alcanzando el máximo porcentaje posible de la muestra definida. • Mantener las opciones con campos de texto para que las participantes puedan expresarse y matizar sus respuestas en la encuesta supone una oportunidad para la obtención de información adicional muy personal. Esta opción puede actuar como buzón de sugerencias y ofrece a las personas encuestadas un espacio de expresión libre. • Supervisar que el tiempo necesario para completar las encuestas no sea excesivo para facilitar un mayor porcentaje de respuestas. En casos concretos, y debido a la naturaleza de las personas que participan en la actividad, puede que sea más eficaz la toma de datos de forma analógica. En este caso se recomienda seguir las mismas pautas propuestas para las encuestas online planificando previamente el sistema de digitalización posterior. Como acciones complementarias y con el fin de cuidar a la comunidad Medialab Prado y, en especial, a aquella que ha participado en la evaluación, se propone: • Comunicar los resultados de las mediciones, análisis y evaluaciones, en tiempo y forma, dando cuenta de que el tiempo dedicado por las participantes en su respuesta a las encuestas u otros formatos ha finalizado con éxito. • Promover actividades de evaluación cualitativa mediante jornadas de trabajo en grupo que permitan la recogida de una mayor cantidad de matices respecto a la información recopilada y favorezcan la construcción de comunidad activa en torno al centro.

Introducción

AC. 4 REDEFINICIÓN DE OBJETIVOS ESTRATÉGICOS Se considera muy importante atender a la forma en la que los objetivos se definen y plantean. Tras el prototipo de evaluación de los objetivos estratégicos de Medialab Prado se considera que la forma en que estos están planteados complejiza la evaluación ya que incluyen demasiados subobjetivos (como el objetivo 1, que contiene 4 subobjetivos) o hacen referencia a aspectos poco definidos (como el objetivo 5, en relación al concepto de sostenibilidad). Para próximas iteraciones de los mismos objetivos estratégicos se aconseja la separación de estos en subobjetivos que sean más sencillos de medir y evaluar. Se deben definir objetivos cortos y con la posibilidad de ser transformados en una pregunta de análisis sencilla a la que podamos responder con los efectos o resultados que se buscan. Se recomienda pensar previamente qué indicadores facilitarán la medición y posterior evaluación de los mismos, de forma que se agilice desde el comienzo la recogida y sistematización de datos (como se muestra en el apartado de “Medición” del cap. 2 de este documento). Se aconseja también seguir para la definición de futuros objetivos los criterios SMART definidos en el cap. 2 “Marco metodológico” del presente documento.

BIBLIOGRAFÍA

Evaluación Medialab Prado 2019

Sistemas de medición y evaluación de impacto AAVV. (s.f.). Guía para Diseño, Construcción e Interpretación de Indicadores. Departamento Administrativo Nacional de Estadística de Colombia. En https://www.dane.gov.co/files/ planificacion/fortalecimiento/cuadernillo/Guia_construccion_interpretacion_indicadores.pdf AAVV. (s.f.). Guía para la construcción y análisis de Indicadores de Gestión. Departamento Administrativo de la Función Pública. Bogotá, Colombia. En https://www.funcionpublica.gov.co/ documents/28587410/28587908/1450054776_b93eb12298e646b5dd4c5c2a3d3a8d23. pdf/d6c481cf-feee-d9e1-86b4-ed92c23dfe72 Better Evaluation - Sharing Information to Improve Evaluation. En https://www. betterevaluation.org/en Civicwise. CIVÍMETRO: metodología de evaluación para la medición de impacto de infraestructuras cívicas. Lab Meeting Iberoamericano 2018. medialab-prado.es/proyectos/ civimetro-metodologia-de-evaluacion-para-la-medicion-de-impacto-de-infraestructuras Global Family Research Project. Participatory Evaluation. https://medium.com/ familyengagementplaybook/gfrp-participatory-evaluation-5b2b1721ab33 GRI Standards. Global Reporting Initiative. https://www.globalreporting.org/standards/ Impact Management Project. AAVV. https://impactmanagementproject.com/ Leedy, P. (apud Ávila Baray, H. 2006. Introducción a la Metodología de Investigación. Instituto Tecnológico de Cd. Cuauhtémoc. En http://www.eumed.net/libros-gratis/2006c/203/1u.htm) Observatorio de Responsabilidad Social Corporativa. La Responsabilidad Social Corporativa en las Memorias Anuales de las Empresas del IBEX 35, 2017. https://observatoriorsc.org/laresponsabilidad-social-corporativa-en-las-memorias-anuales-de-las-empresas-del-ibex-35/ Peersman, G. (2014). Sinopsis: Métodos de Recolección y Análisis de Datos en la Evaluación de Impacto. Unicef. En https://www.unicef-irc.org/publications/764-sinopsis-m%C3%A9todos-derecolecci%C3%B3n-y-an%C3%A1lisis-de-datos-en-la-evaluaci%C3%B3n-de-impacto.html Rey, A. “La falacia de los indicadores que no miden lo que prometen”. Blog amaliorey.com. Publicado el 29 de marzo de 2016. Consultado el 30 de agosto de 2019, en https://www. amaliorey.com/2016/03/29/la-falacia-de-la-medicion-que-no-mide-lo-que-prometepost-496/

Bibliografía

Social & Human Capital Protocol. World Business Council for Sustainable Development. https:// cebds.org/publicacoes/social-capital-protocol/#.Xl2Q_qhKjIV TSNE MissionWorks. Process Evaluation vs Outcome Evaluation. https://www.tsne.org/blog/ process-evaluation-vs-outcome-evaluation University of Minnesota. Participatory Evaluation. https://cyfar.org/participatory-evaluation

Evaluación de acciones participativas Arida Cooperativa. (2018). Guía Evaluación - Herramientas Prácticas para la Evaluación de Políticas de Participación del Ayuntamiento de Pamplona. En https://www.berrituz.eus/es/ guia-evaluacion-herramientas-practicas-para-la-evaluacion-de-politicas-de-participaciondel-ayuntamiento-de-pamplona-ebaluazio-gida-iruneko-udalaren-partaidetza-politikakebaluatzeko-tresna-praktikoak/bi-545054/ Becedas, M.; et.al. (2018). Imetric: Indicadores de Calidad Democrática. Inteligencias Colectivas 2018, Medialab Prado https://www.medialab-prado.es/proyectos/indicadores-de-calidaddemocratica Evaluación Presupuestos Participativos Zaragoza, 2018. Cátedra de Participación e Innovación Democrática de Zaragoza. http://www.zaragoza.es/contenidos/gobierno-abierto/ presupuestos-participativos/evaluacion-presupuestos-18.pdf Modelo para la evaluación de Procesos Participativos en las Administraciones Públicas. Gobierno Vasco. https://www.gardena.euskadi.eus/contenidos/recurso_tecnico/evaluacion_ participacion/es_def/adjuntos/guia_2015-ES.pdf Red Cimas - Observatorio Internacional de la Democracia Participativa https://www.oidp.net/ es/ Guía Práctica para la Evaluación de procesos participativos. http://www.redcimas.org/wordpress/wp-content/uploads/2012/08/m_ OIDPespa%C3%B1ol_GUIA.pdf Scottish Government. Evaluation of Participatory Budgeting Activity in Scotland, 20162018. https://www.gov.scot/publications/evaluation-participatory-budgeting-activityscotland-2016-2018-2/

Evaluación Medialab Prado 2019

Laboratorios ciudadanos e innovación ciudadana Domínguez, R.; G. Sanz. L.; Guzmán, M.; et al. (2017). InnovaciónCívicayCultural - Desarrollo de una herramienta de evaluación para la implementación de políticas de activación territorial para el nuevo distrito cultural de l’hospitalet. AJUNTAMENT DE L’HOSPITALET DE LLOBREGAT (BARCELONA). CivicWise (civicwise.org). En https://drive.google.com/ open?id=1PcwwICeXb6Sw_1MpLvagUYmaajlzfsAg Estalella, A. “El derecho a la experimentación”. Blog prototyping.es. Publicado el 23 de noviembre de 2013. Consultado el 30 de agosto de 2019 en http://www.prototyping.es/ experimentation/el-derecho-a-la-experimentacion Fasebase, et al. (2019). Espacios Cívicos - Activación de Espacios Vecinales en Puerto del Rosario. Oficina de Innovación Cívica S. Coop. En https://issuu.com/oficinainnovacioncivica/ docs/190903_17014_informe_esp-civicos Freire, J. “Innovación Social vs Innovación Ciudadana”. Blog juanfreire.com. Publicado el 17 de febrero de 2017. Consultado el 29 de febrero de 2020 en http://juanfreire.com/innovacionsocial-vs-innovacion-ciudadana/ Keller, F. “Laboratorios de Innovación Ciudadana en Iberoamérica”. Minsait. Publicado el 26 de febrero de 2019. Consultado el 28 de febrero de 2020 en https://www.minsait.com/ ideasfordemocracy/es/laboratorios-innovacion-ciudadana Meléndez, A. “Laboratorios Ciudadanos: espacios abiertos para crear comunidad”. Periódico El Mundo. Publicado el 8 de septiembre de 2019. Consultado el 22 de septiembre de 2019 en https://www.elmundo.es/madrid/2019/09/08/5d691b9cfc6c8347058b4633.html Pellicer, Vicky. Lafuente, Antonio. Evaluar sin dar órdenes. En https://www.academia. edu/37369426/Evaluar_sin_dar_%C3%B3rdenes_taller_sobre_la_necesidad_de_hacer_ visible_el_trabajo_en_los_laboratorios_ciudadanos Rowan, J. (2016). Cultura Libre de Estado. Traficantes de Sueños, Madrid. En https://www. traficantes.net/libros/cultura-libre-de-estado Serra, A. (2010). Citilabs, ¿Qué pueden ser los laboratorios ciudadanos?. La Factoría, Revista Social. Consultado el 28 de febrero de 2020 en https://revistalafactoria.org/articulos/citilabslaboratorios-ciudadanos

Bibliografía

Políticas públicas, gobierno y democracia AEVAL. Guía metodológica para el desarrollo de procesos de planificación de políticas públicas en el ámbito sectorial http://www.aeval.es/export/sites/aeval/comun/pdf/evaluaciones/ Guia_Planificacion.pdf Arenilla Sáez, M. (2011). Legitimidad y eficacia de la Administración pública. Gestión Y Análisis De Políticas Públicas, (26-27). En https://doi.org/10.24965/gapp.vi26-27.350 Castells, M. “La crisis de la democracia liberal”. Congreso Puerto de Ideas, Valparaíso. Ponencia el 9 de noviembre de 2019. Consultado el 10 de febrero de 2020 en https://www.youtube.com/ watch?v=q9blcS9bxO0 Freire, J. “La crisis de las políticas públicas tradicionales”. Blog juanfreire.com. Publicado 15 de febrero de 2017. Consultado el 29 de febrero de 2020 en http://juanfreire.com/la-crisis-delas-politicas-publicas-tradicionales/ Gobierno de España. La función evaluadora. Principios orientadores y directrices de actuación en la evaluación de políticas y programas. Agencia de evaluación y calidad. http://www.aeval.es/es/productos_y_servicios/metodologias_y_guias/evaluacion/index. html http://www.aeval.es/export/sites/aeval/comun/pdf/actualidad/Funcion_evaluadora.pdf Guía de Evaluación de Políticas Públicas del Gobierno Vasco https://www.euskadi.eus/contenidos/informacion/evaluacion_coordinacion/es_def/ adjuntos/guia_evaluacion_gv_pip.pdf Objetivos de Desarrollo Sostenible, ONU. https://www.globalgoals.org/ Targets e Indicadores de los Objetivos de Desarrollo Sostenible, ONU. http://pkwapps.info/sdg/

ANEXOS

Evaluación Medialab Prado 2019

ANEXO I: ATRIBUTOS DE LA INNOVACIÓN CIUDADANA Se presenta aquí un listado de los atributos de la Innovación ciudadana. Características distintivas de esta forma de generación de conocimiento experimental con el que se busca definir y diseñar nuevas soluciones para problemas sociales a través de involucrar a las comunidades afectadas por los mismos. Para cada atributo se describen 3 aspectos. Hechos observables que facilitan su cuantificación en indicadores y, por tanto, su medición y evaluación. Este listado, sus definiciones y aspectos permanecen aún abiertos a discusión colectiva. El objetivo de plantearlos es, precisamente, contar con material de base sobre el que comenzar dicha discusión. ADHOCRACIA Forma de organización no jerárquica generada ad-hoc para el desarrollo de una acción o proyecto. Se basa en la desburocratización de los procesos, adecuándose a los escenarios y situaciones novedosas o cambiantes, sin intención de crear una norma. 1. Facilitar al máximo la eliminación de burocracia en los procesos de generación de propuestas y grupos de trabajo. 2. Permitir la organización de personas para la realización de proyectos sin necesidad de una figura jurídica específica. 3. Contemplar y admitir la disolución de grupos de trabajo generados para una actividad, acción o proyecto de tiempo reducido. GOBERNANZA DISTRIBUIDA Forma de organización con ausencia de un centro único o múltiple. Los nodos, las personas o las iniciativas que la forman se vinculan unas a otras de modo que ninguna de ellas, ni siquiera un grupo de ellas, puede capitalizar la toma de decisiones y el flujo de información. 1. Permitir que todas las personas participen en los procesos de toma de decisión en igualdad de condiciones, con independencia de su nivel de implicación. 2. Promover que los roles de trabajo definidos sean rotativos, asegurando la alternancia entre las tareas visibles/invisibles y productivas/reproductivas. 3. Permitir cambios en la implicación de las personas en un proyecto o proceso, facilitando la adaptación a sus necesidades vitales (por ejemplo, pasar de persona interesada a colaborador o coordinador). DISEÑO ABIERTO Desarrollo de productos, sistemas o procedimientos mediante el uso compartido de la información. Un diseño abierto implica que cualquier persona tiene acceso a toda la información necesaria para replicarlo, versionarlo o mejorarlo. 1. Contar con mecanismos de documentación colaborativa del proceso de trabajo. 2. Facilitar el compartir, modificar o replicar los resultados conseguidos. 3. Promover el uso de licencias libres en los contenidos desarrollados. 74

Anexos

DELIBERACIÓN Proceso de toma de decisiones basado en el diálogo y el intercambio de puntos de vista, de tal forma que se tengan en consideración todas las perspectivas, opiniones y entendimiento de los individuos implicados. 1. Disponer de dinámicas y/o herramientas de diseño colectivo que permitan recoger diferentes sensibilidades y sacar partido de competencias diversas. 2. Promover la toma de decisiones mediante el consenso y/o consentimiento evitando votaciones por mayoría. 3. Asegurar la participación y aportación de ideas de todas las personas participantes en igualdad de condiciones. GLOCALIDAD Condición que permitiera a un proceso, acción o proyecto un desarrollo supraterritorial. Ya sea en proyectos locales que se enriquecen gracias al conocimiento obtenido a través de su colaboración con personas, entidades o iniciativas globales, o viceversa, proyectos que, buscando generar una acción global, son capaces de vincularse con personas, entidades o iniciativas locales. 1. Intercambiar aprendizajes y resultados obtenidos con colectivos, iniciativas o proyectos similares desarrollados en otras ciudades o países. 2. Promover espacios de encuentro presencial con iniciativas, experiencias o proyectos similares para la creación de redes locales, nacionales o internacionales. 3. Facilitar la construcción de equipos de trabajo deslocalizados (p. ej. desarrollo telemático de un proyecto con personas que residen en ciudades o contextos diferentes). EXPERIMENTACIÓN Proceso basado en el “learning by doing” en el que se prueban soluciones temporales a la problemática planteada por un proyecto. Prioriza el aprendizaje durante el proceso, aunque se produzcan equivocaciones, frente al resultado. 1. Generar soluciones de bajo coste mediante su diseño aplicado y testeo en casos de estudio reales. 2. Permitir cambios en el enfoque del proyecto durante el proceso de trabajo del mismo, de forma que se consigan resultados inesperados con respecto al plan inicial establecido. 3. Promover el aprendizaje compartido y la creación de conocimiento mediante el análisis de aciertos y errores, por encima de la obtención de productos finales concretos.

Evaluación Medialab Prado 2019

HIBRIDACIÓN FÍSICO-DIGITAL Que lo físico encuentre en lo digital una extensión en el tiempo y una amplitud en su alcance, que permita generar otro nivel de comunidad. A su vez, lo digital encuentra en lo presencial la plenitud de una experiencia humana ligada al territorio. 1. Disponer de una plataforma digital que refleje el avance de la actividad presencial en el espacio, grupo de trabajo o proyecto. 2. Contar con canales de comunicación digital para la interacción de las personas de un grupo de trabajo, actividad o proyecto presencial. 3. Facilitar la producción de contenidos de forma telemática dentro de un grupo de trabajo, actividad o proyecto. MULTIPERTENENCIA Capacidad individual de pertenecer e identificarse con varios contextos o grupos sociales al mismo tiempo, pudiendo adoptar diferentes roles de implicación o perfiles profesionales en cada uno de ellos. 1. Permitir la implicación de personas en más de un grupo de trabajo o proyecto al mismo tiempo. 2. Promover la participación de las personas desde los intereses y conocimientos individuales, evitando lógicas de representatividad colectiva. (por ej, una persona que ostenta un cargo en el consejo rector de un colectivo social participa como vecina y no en representación de todo el colectivo al que pertenece). 3. Promover el intercambio de perfiles técnicos y amateurs en el desarrollo de proyectos. INCLUSIVIDAD Capacidad de un espacio, proyecto o proceso de acoger el mayor número de personas, con independencia de su género, origen cultural, formación académica, contexto socioeconómico, identidad sexual o diversidad funcional presente en la población de referencia. 1. Facilitar la inclusión de personas con diferente origen, edad, identidad sexual o género. 2. Facilitar el acceso a personas con diferente nivel socio-económico. 3. Facilitar la participación de personas con diversidad funcional física, psíquica y/o sensorial. TRANSPARENCIA Cualidad por la cual un proyecto o proceso documenta y difunde cada uno de los elementos que lo han hecho posible, incluso aquellos que puedan considerarse negativos, de una manera cierta, completa, accesible, clara y comprensible. 1. Documentar de forma regular los procesos de trabajo para su correcta trazabilidad. 2. Facilitar el acceso a la información de forma libre, gratuita y legible. 3. Promover y publicar una evaluación consciente y constante de los procesos, haciendo públicos los resultados y/o aprendizajes obtenidos.

Anexos

RESILIENCIA Capacidad de las personas o de los procesos comunitarios y culturales de adaptarse positivamente a situaciones adversas de forma no planificada. 1. Definir espacios y herramientas especรญficas para la resoluciรณn de conflictos. 2. Contar con protocolos de decisiรณn para afrontar posibles cambios en la vida del proyecto. 3. Promover la independencia del proyecto en relaciรณn al origen de sus recursos econรณmicos, materiales y/o humanos. PERMEABILIDAD Capacidad de una instituciรณn, grupo o proyecto de promover el intercambio con agentes externos, de tal forma que estos influyan y sean parte de aspectos como el funcionamiento, la programaciรณn o la gestiรณn interna. 1. Facilitar el desarrollo de actividades o acciones lideradas por agentes externos a la instituciรณn, espacio, grupo de trabajo, etc. 2. Permitir la incorporaciรณn de agentes externos en el proceso de toma de decisiones. 3. Tomar en consideraciรณn las propuestas de mejora provenientes de agentes externos. COMUNIDAD Grupo de individuos acotado que se reconocen como parte de una identidad colectiva por compartir valores, objetivos y/o intereses comunes. 1, Promover la creaciรณn de lazos y relaciones de proximidad entre las personas de un espacio, grupo de trabajo o proyecto. 2. Definir momentos para el encuentro informal entre personas participantes de un proceso o proyecto. 3. Mantener el capital humano y relacional generado en el desarrollo de proyectos o actividades tras su finalizaciรณn.

Evaluaciรณn Medialab Prado 2019

ANEXO II: LISTADO DE INDICADORES DE IMPACTO ANEXO III: LISTADO DE INDICADORES DE PROCESO

(siguiente pliego)

Anexos Objetivo MLP

Indicador Indicador - NOM COD

Tipo Indicador

Momento de medición

Herramienta de medición

Tipos de herramienta Datos a disposición s

Tipo de datos

Listado de participantes en talleres de producción Secundarios

Atributos recomendados Inclusividad

Im-1

Número de participantes activos

Número absoluto

Al finalizar el periodo Análisis de datos secundarios a evaluar

Análisis experto

Im-2

Índice de diversidad de participantes activos

Índice

Al finalizar la actividad

Análisis de datos secundarios

Análisis experto

Im-3

Número de apariciones en prensa -local, regional, nacional e internacional-

Número absoluto

En cualquier momento

Análisis de datos primarios

Análisis experto

Im-4

Impacto en redes sociales

Número absoluto

Al finalizar el periodo Análsis de datos primarios a evaluar

Análisis experto

Análisis de redes sociales

Secundarios

Valoración del centro por participantes activos

Grupo focal

Valoración cualitativa durante grupo focal

Primarios

Comunidad

Gradiente

Al finalizar la actividad

Grupo focal participantes activos

Im-5

Encuesta coordinadores y colaboradores

Encuesta focalizada

Primarios

Permeabilidad

Secundarios

Glocalidad

Im-6

Número de visitas institucionales

Número absoluto

Al finalizar la actividad

Análisis de datos secundarios

Análisis experto

Im-7

Número de invitaciones institucionales

Número absoluto

Al finalizar la actividad

Análisis de datos secundarios

Análisis experto

Im-8

Número de coworkers

Número absoluto

Al finalizar el periodo Análisis de datos secundarios a evaluar

Análisis experto

Im-9

Índice de participantes activos permanentes

Índice

Al finalizar el periodo Análisis de datos secundarios a evaluar

Análisis experto

Índice

Al finalizar la actividad

Listado de residentes

Secundarios

Conteo diario: participantes en grupos de trabajo

Secundarios

Multipertenencia

Inclusividad Glocalidad Transparencia Hibridación Físico-Digital Comunidad

Objetivo 1: Aumentar el número y la diversidad de participantes activos e incrementar el conocimiento y valoración del centro.

Listado a preparar por MediaLab

Permeabilidad Comunidad Listado a preparar por MediaLab

Secundarios

Comunidad Permeabilidad Glocalidad

Secundarios

Comunidad Permeabilidad Inclusividad

Secundarios

Comunidad Multipertenencia Adhocracia

Im-10

Índice de prototipos finalizados

Análisis de datos primarios: encuesta coordinadores y colaboradores

Encuesta focalizada

Análisis de datos secundarios

Análisis experto

Resultados encuesta

Primarios

Experimentación

Presentación de resultados

Documental

Diseño Abierto

Documentación de prototipos

Documental

Transparencia

Resultados encuesta

Primarios

Resiliencia

Objetivo 2: Potenciar la calidad y el impacto de los proyectos desarrollados.

Índice

Al finalizar el periodo Análisis de datos primarios: encuesta a evaluar coordinadores y colaboradores

Índice de generación de nuevos proyectos

Índice

Al finalizar el periodo a evaluar

Im-13

Ciclo de vida de proyectos

Gradiente

Im-14

Impacto (mediático, en otros proyectos, ?) de las iniciativas o prototipos desarrollados

Gradiente

Im-11

Índice de proyectos consolidados

Análisis experto

Comunidad Diseño Abierto

Im-12

Comunidad Al finalizar el periodo Análisis de datos primarios: encuesta a evaluar coordinadores y colaboradores

Encuesta focalizada

Resultado encuestas: apariciones en medios, premios o reconocimientos, etc.

Primarios

Diseño Abierto Glocalidad

Resultados enredómetro Im-15

Número de colaboraciones (locales y regionales)

Número absoluto

Al finalizar el periodo Enredómetro de agentes a evaluar

Encuesta focalizada

Datos proporcionados por MLP

Glocalidad Secundarios

Permeabilidad Comunidad Inclusividad Glocalidad

Im-16

Capacidad de colaboración del centro (local, regional y nacional)

Gradiente

Al finalizar el periodo Enredómetro de agentes a evaluar

Encuesta focalizada

Im-17

Índice de implicación en redes de colaboración (locales, regionales y nacionales)

Índice

En cualquier momento

Im-6

Número de visitas institucionales (locales, regionales y nacionales)

Número absoluto

Al finalizar el periodo Análisis de datos secundarios a evaluar

Análisis experto

Im-7

Número de invitaciones institucionales (locales, regionales y nacionales)

Número absoluto

Al finalizar el periodo Análisis de datos secundarios a evaluar

Análisis experto

Im-18

Índice de diversidad de organizaciones colaboradoras (locales, regionales y nacionales)

Índice

Resultados enredómetro: organizaciones que han colaborado en más de una ocasión + Secundarios organizaciones que les gustaría repetir colaboración.

Permeabilidad Comunidad Inclusividad

Objetivo 3: Contribuir a la construcción de redes de colaboración locales y regionales.

Glocalidad

Herramienta con ejes (nº de redes donde participa Encuesta vs nivel de implicación) focalizada

Primarios Comunidad Listado a preparar por MediaLab

Secundarios

Glocalidad Permeabilidad Comunidad

Listado a preparar por MediaLab

Secundarios

Comunidad Permeabilidad Glocalidad

Enredómetro de agentes Al finalizar el periodo Índice de diversidad de agentes a evaluar

Glocalidad

Encuesta focalizada

Resultados enredómetro: análisis tipo de organizaciones, según sector, temática, tamaño, etc.

Encuesta focalizada

Resultados enredómetro: organizaciones que han colaborado entre ellas a partir de o gracias a su colaboración con MediaLab-Prado.

Adhocracia

Resultados enredómetro

Glocalidad

Primarios

Inclusividad Primarios

Im-19

Nivel de activación de redes de colaboración (local, regional y nacional)

Gradiente

Al finalizar el periodo Enredómetro de agentes a evaluar

Comunidad

Glocalidad

Permeabilidad Comunidad

Im-15

Número de colaboraciones (internacionales)

Número absoluto

Al finalizar el periodo Enredómetro de agentes a evaluar

Análisis experto

Datos proporcionados por MLP

Secundarios

Permeabilidad Comunidad Inclusividad

Primarios Encuesta focalizada

Resultados enredómetro: organizaciones que han colaborado en más de una ocasión + organizaciones que les gustaría repetir colaboración.

Im-16

Capacidad de colaboración del centro (internacional)

Gradiente

Al finalizar el periodo Enredómetro de agentes a evaluar

Im-17

Índice de implicación en redes de colaboración (internacionales)

Índice

En cualquier momento

Im-6

Número de visitas institucionales (internacionales)

Número absoluto

Al finalizar el periodo Análisis de datos secundarios a evaluar

Análisis experto

Im-7

Número de invitaciones institucionales (internacionales)

Número absoluto

Al finalizar el periodo Análisis de datos secundarios a evaluar

Análisis experto

Im-18

Índice de diversidad de organizaciones colaboradoras (internacionales)

Índice

Al finalizar el periodo Enredómetro de agentes a evaluar Índice de diversidad de agentes

Encuesta focalizada

Resultados enredómetro: análisis tipo de organizaciones, según sector, temática, tamaño, etc.

Im-19

Índice de duración en redes de colaboración

Encuesta focalizada

Resultados enredómetro: organizaciones que han colaborado entre ellas a partir de o gracias a su colaboración con MediaLab-Prado.

Glocalidad Permeabilidad Comunidad Inclusividad

Objetivo 4: Consolidar redes internacionales de colaboración.

Herramienta con ejes (nº de redes donde participa Encuesta vs nivel de implicación) focalizada

Primarios Listado a preparar por MediaLab

Secundarios

Glocalidad Comunidad Glocalidad Permeabilidad Comunidad

Listado a preparar por MediaLab

Secundarios

Comunidad Permeabilidad Glocalidad

Primarios

Comunidad Primarios

Im-20

Nivel de activación de redes de colaboración (internacional)

Gradiente

Al finalizar el periodo Enredómetro de agentes a evaluar

Glocalidad Comunidad

Tiempo de implicación/Tiempo de vida de la red

Glocalidad Adhocracia Permeabilidad Comunidad

Secundarios Im-8

Número de coworkers

Número absoluto

Al finalizar el periodo Análisis de datos secundarios a evaluar

Análisis experto

Comunidad Permeabilidad Inclusividad

Grupo focal participantes activos Im-21

Nivel de percepción de apertura

Gradiente

En cualquier momento

Formulario a colaboradores y coordinadores

Grupo focal

Valoración cualitativa durante grupo focal

Primarios

Permeabilidad

Resultados encuesta

Primarios

Transparencia

Encuesta focalizada

Diseño Abierto Inclusividad

Objetivo 5: Consolidar MLP como organización abierta y sostenible.

Propuestas enviadas a través de formulario web a MediaLab. Número de propuestas aceptadas y desarrolladas

Secundarios

Permeabilidad

Gradiente

Al finalizar el periodo Análisis de datos secundarios a evaluar

Im-23

Índice de implementación de propuestas de mejora

Índice

Al finalizar el periodo a evaluar

Im-24

Índice de transparencia

Índice

En cualquier momento

Análsis de datos secundarios: existencia y acceso a determinados documentos e informaciones clave para el funcionamiento del proyecto, espacio Análisis experto o institución (plan de trabajo, presupuestos y su nivel de detalle, contratación, etc.) Encuesta a personas trabajadoras

Im-25

Bienestar de las personas trabajadoras

Gradiente

En cualquier momento

Grupo focal con personas trabajadoras

Im-26

Bienestar de las personas colaboradoras

Gradiente

En cualquier momento

Encuesta con personas colaboradoras al término de dicha colaboración

Encuesta focalizada

En cualquier momento

Encuesta a personas trabajadoras sobre la importancia de la política social y medioambiental a la hora de seleccionar a los distintos proveedores

Encuesta focalizada

Primarios

Resiliencia

Encuesta focalizada

Primarios

Inclusividad

Im-22

Grado de aceptación de actividades externas

Análisis experto

Adhocracia Transparencia Permeabilidad

Documental

Transparencia

Encuesta focalizada

Primarios

Inclusividad

Grupo focal

Primarios

Resiliencia Comunidad

Primarios

Inclusividad Comunidad Resiliencia

Im-27

Im-28

Sostenibilidad de las entidades proveedoras

Sostenibilidad ambiental del espacio de trabajo

Gradiente

En cualquier momento

Encuesta a participantes activos en el espacio de trabajo

Gradiente

Análisis de las fuentes de financiación e Al finalizar el periodo inversiones a evaluar Análisis y relación del presupuesto previsto y ejecutado

Resiliencia Comunidad

Im-29

Im-30

Sostenibilidad económica

Existencia de acciones de promoción de una sociedad y entorno sostenible

Gradiente

Análisis de datos primarios: existencia o no de Al finalizar el periodo políticas o acciones de promoción de la a evaluar sostenibilidad

Análisis experto

Documental

Transparencia

Encuesta focalizada

Primarios

Resiliencia

Análisis experto

Documental

Resiliencia

Encuesta focalizada

Primarios

Inclusividad Comunidad

Evaluación Medialab Prado 2019 ID

Atributo

Aspecto Aspecto - NOM COD

Atributo

Aspecto Aspecto - NOM COD

2 3

Adhocracia

4 6

Permitir la organización de personas para la realización de proyectos de manera adhocrática

Ad-4

Contemplar y admitir la disolución de grupos de trabajo generados para una actividad, acción o proyecto de tiempo reducido.

Ad-5

Facilitar el desarrollo de actividades o acciones lideradas por agentes externos a la institución, espacio, grupo de trabajo, etc. Permitir la incorporación de agentes externos en el proceso de toma de decisiones.

Permeabilidad

Índice de espa participación d adhocráticode en Valoración procesos

Pe-1

Existencia de u propuestas de

Pe-2

Existencia de m externos como

Pe-3

Existencia de m en la toma de d

Pe-4

Existencia de u sugerencias d

Pe-5

Valoración de procesos

Permitir que todas las personas participen en los procesos de toma de decisión en igualdad de condiciones, con independencia de su nivel de implicación.

Gd-1

Existencia de p descentralizac

Promover que los roles de trabajo definidos sean rotativos, asegurando la alternancia entre las tareas visibles/invisibles y productivas/reproductivas.

Gd-2

Existencia de p

Permitir cambios en la implicación de las personas en un proyecto o proceso, facilitando la adaptación a sus necesidades vitales (por ej, pasar de persona interesada a colaborador o coordinador).

Gd-3

Existencia de p

Gd-4

Valoración de proyectos y pr

Gobernanza Distribuida

Tomar en consideración las propuestas de mejora provenientes de agentes externos.

Valoración exp proceso de tra Volumen reque finalizar el pro

Tomar en consideración las propuestas de mejora provenientes de agentes externos.

Gobernanza Distribuida

Ad-3

Contemplar y admitir la disolución de grupos de trabajo generados para una actividad, acción o proyecto de tiempo reducido.

Nivel de dificul propuestas.

Ad-2

Permitir la organización de personas para la realización de proyectos de manera adhocrática

Facilitar al máximo la eliminación de burocracia en los procesos de generación de propuestas y grupos de trabajo.

Indicador -

Ad-1

Permeabilidad

Adhocracia

Facilitar al máximo la eliminación de burocracia en los procesos de generación de propuestas y grupos de trabajo.

Indicador COD

Contar con mecanismos de documentación colaborativa del proceso de trabajo.

Da-1

Existencia de g documentació

Facilitar el compartir, modificar o replicar los resultados conseguidos.

Da-2

Existencia de m compartan las

Promover el uso de licencias libres en los contenidos desarrollados.

Diseño Abierto

Da-3

Diseño Abierto

19 20

Disponer de dinámicas y/o herramientas de diseño colectivo que permitan recoger diferentes sensibilidades y sacar partido de competencias diversas.

Promover la toma de decisiones mediante el consenso y/o consentimiento evitando votaciones por mayoría.

Deliberación

Promover la toma de decisiones mediante el consenso y/o consentimiento evitando votaciones por mayoría.

Asegurar la participación y aportación de ideas de todas las personas participantes en igualdad de condiciones.

Existencia de m discusión y dec

De-5

Valoración de proyectos y pr

Gl-1

Existencia de i resultados obt desarrollados

Facilitar la construcción de equipos de trabajo deslocalizados (p. ej. desarrollo telemático de un proyecto con personas que residen en ciudades o contextos diferentes).

Gl-3

Existencia de g equipos de tra desarrollo tele ciudades o con

Gl-4

Valoración de y procesos

Ex-1

Existencia de p convocatorias

Ex-2

Disponibilidad actividades qu

Ex-3

Existencia de r los participant

Ex-4

Valoración del de los proyecto

Glocalidad

Generar soluciones de bajo coste mediante su diseño aplicado y testeo en casos de estudio reales. Permitir cambios en el enfoque del proyecto durante el proceso de trabajo del mismo, de forma que se consigan resultados inesperados con respecto al plan inicial establecido.

Permitir cambios en el enfoque del proyecto durante el proceso de trabajo del mismo, de forma que se consigan resultados inesperados con respecto al plan inicial establecido.

Promover el aprendizaje compartido y la creación de conocimiento mediante el análisis de aciertos y errores, por encima de la obtención de productos finales concretos.

Experimentación

Promover el aprendizaje compartido y la creación de conocimiento mediante el análisis de aciertos y errores, por encima de la obtención de productos finales concretos.

Generar soluciones de bajo coste mediante su diseño aplicado y testeo en casos de estudio reales.

Disponer de una plataforma digital que refleje el avance de la actividad presencial en el espacio, grupo de trabajo o proyecto.

Contar con canales de comunicación digital para la interacción de las personas de un grupo de trabajo, actividad o proyecto presencial.

Hibridación FísicoDigital

Contar con canales de comunicación digital para la interacción de las personas de un grupo de trabajo, actividad o proyecto presencial.

Facilitar la producción de contenidos de forma telemática dentro de un grupo de trabajo, actividad o proyecto.

Permitir la implicación de personas en más de un grupo de trabajo o proyecto al mismo tiempo.

Promover la participación de las personas desde los intereses y conocimientos individuales, evitando lógicas de representatividad colectiva. (por ej, una persona que ostenta un cargo en el consejo rector de un colectivo social participa como vecina y no en representación de todo el colectivo al que pertenece).

Promover el intercambio de perfiles técnicos y amateurs en el desarrollo de proyectos.

Facilitar la inclusión de personas con diferente origen, edad, sexo.

Facilitar el acceso a personas con diferente nivel socio-económico.

Facilitar la participación de personas con diversidad funcional física, psíquica y/o sensorial.

Documentar de forma regular los procesos de trabajo para su correcta trazabilidad.

Facilitar el acceso a la información de forma libre, gratuita y legible.

Promover y publicar una evaluación consciente y constante de los procesos, haciendo públicos los resultados y/o aprendizajes obtenidos.

Multipertenencia

Inclusividad

Da-2

Índice de inicia de otras geogr

Número de proye otras geografías

Nivel de apertu

Ex-5

Valoración de proyectos y pr

Hi-1

Tipos de meca verbales, en pa

Hi-2 Hi-3

Valoración de procesos de tr

Hi-4

Tipos de canal disponibles en

Hi-5 Hi-6

Valoración de

Hi-7

Tipos de canal disponibles en

Hi-8

Valoración de

Permitir la implicación de personas en más de un grupo de trabajo o proyecto al mismo tiempo.

Mu-1

Restricciones

Mu-2

Valoración de

Promover el intercambio de perfiles técnicos y amateurs en el desarrollo de proyectos.

Mu-3

Promoción exp

Facilitar la inclusión de personas con diferente origen, edad, sexo.

In-1

Existencia de m de personas co

Facilitar el acceso a personas con diferente nivel socio-económico.

In-2

Existencia de m de personas co

Facilitar la participación de personas con diversidad funcional física, psíquica y/o sensorial.

In-3

Existencia de m de personas co

Documentar de forma regular los procesos de trabajo para su correcta trazabilidad.

Tr-1

Existencia de g procesos de tr

Facilitar el acceso a la información de forma libre, gratuita y legible.

Tr-2

Existencia de g generada sobr consumir

Promover y publicar una evaluación consciente y constante de los procesos, haciendo públicos los resultados y/o aprendizajes obtenidos.

Inclusividad

De-4

Facilitar la construcción de equipos de trabajo deslocalizados (p. ej. desarrollo telemático de un proyecto con personas que residen en ciudades o contextos diferentes).

Multipertenencia

Existencia de m consentimiento

De-3

Gl-2

De-2

Promover espacios de encuentro presencial con iniciativas, experiencias o proyectos similares para la creación de redes locales, nacionales o internacionales.

Existencia de m thinking, servic

De-1

Promover espacios de encuentro presencial con iniciativas, experiencias o proyectos similares para la creación de redes locales, nacionales o internacionales.

Experimentación

Valoración de procesos

Hibridación FísicoDigital

Da-6

Incentivos a lo los grupos

Da-5

Intercambiar aprendizajes y resultados obtenidos con colectivos, iniciativas o proyectos similares desarrollados en otras ciudades o países.

Glocalidad

Asegurar la participación y aportación de ideas de todas las personas participantes en igualdad de condiciones.

Disponer de dinámicas y/o herramientas de diseño colectivo que permitan recoger diferentes sensibilidades y sacar partido de competencias diversas.

Existencia de r desarrolladas

Intercambiar aprendizajes y resultados obtenidos con colectivos, iniciativas o proyectos similares desarrollados en otras ciudades o países.

Deliberación

Da-4

Valoración de

Transparencia

48 49

Transparencia

Definir espacios y herramientas específicas para la resolución de conflictos.

Resiliencia 2

Contar con protocolos de decisión para afrontar posibles cambios en la vida del proyecto.

56 57 58 59

Resiliencia

Existencia de u propio centro Valoración de

Re-1

Existencia de e

Re-2

Valoración de conflictos

Re-3

Existencia de p

Re-4

Valoración de proyectos

Definir espacios y herramientas específicas para la resolución de conflictos.

51 52

Tr-3 Tr-4

Contar con protocolos de decisión para afrontar posibles cambios en la vida del proyecto.

Promover la independencia del proyecto en relación al origen de sus recursos económicos, materiales y/o humanos.

Re-5

Número y dive fuentes de fina

Promover la creación de lazos y relaciones de proximidad entre las personas de un espacio, grupo de trabajo o proyecto.

Co-1

Existencia de r la creación de

Definir momentos para el encuentro informal entre personas participantes de un proceso o proyecto.

Co-2

Existencia de e

Co-3

Valoración de

Mantener el capital humano y relacional generado en el desarrollo de proyectos o actividades tras su finalización.

Co-4

Existencia de c organización q

Co-5

Valoración de finalización de

Comunidad

Comunidad 3

Mantener el capital humano y relacional generado en el desarrollo de proyectos o actividades tras su finalización.

Anexos Tipo Indicador

Momento de medición

Herramienta de medición

Tipos de herramientas

Datos a disposición

Gradiente

Al finalizar la actividad

Trazabilidad en procesos de propuesta digital

Análisis experto

Propuestas enviadas a través de formulario web a MediaLab. Número de propuestas aceptadas y Secundarios desarrolladas

Gradiente

Al finalizar la actividad

Análisis de bases y especificaciones de convocatorias

Análisis experto

Gradiente

Al finalizar la actividad

Análisis de documentos entregados

Análisis experto

Índice

En cualquier momento

Análisis de bases y especificaciones de convocatorias

Análisis experto

Gradiente

Al finalizar la actividad

Encuesta a colaboradores y coordinadores.

Encuesta focalizada

un proceso de atención y respuesta a todas las e desarrollo de actividades por agentes externos

Gradiente

En cualquier momento

Análisis de normativas y protocolos de la institución

mecanismos para promover la participación de agentes o cuotas y otros incentivos

Gradiente

En cualquier momento

Análisis de políticas de incentivos de la institución

mecanismos para la incorporación de agentes externos decisiones de la institución

Gradiente

En cualquier momento

Índice

NOM

ltad de los procesos burocráticos en la generación de

perta de la dificultad para la documentación durante el abajo erido a los grupos de trabajo en la devolución al oyecto

Tipo de datos Tipo de evaluación Externa

Primarios

Externa

Secundarios

Externa

Secundarios

Externa

Análisis experto

Documental

Externa

Análisis experto

Documental

Externa

Análisis de normativas y protocolos de la institución

Análisis experto

Documental

Externa

En cualquier momento

Análisis de normativas y protocolos de la institución

Análisis experto

Documental

Externa

Gradiente

Al finalizar la actividad

Encuesta a colaboradores y coordinadores.

Encuesta focalizada

protocolos, herramientas y/o dinámicas de ción en los procesos de toma de decisión

Gradiente

En cualquier momento

Entrevista y/o encuesta a participantes activos

Encuesta focalizada

Primarios

Externa

protocolos de rotación de tareas y roles de cuidado

Gradiente

En cualquier momento

Entrevista y/o encuesta a participantes activos

Encuesta focalizada

Primarios

Externa

protocolos de rotación de tareas y roles productivos

Gradiente

En cualquier momento

Entrevista y/o encuesta a participantes activos

Encuesta focalizada

Primarios

Externa

los usuarios del nivel de gobernanza distribuida en rocesos

Gradiente

Al finalizar la actividad

Encuesta a colaboradores y coordinadores.

Encuesta focalizada

En cualquier momento

Análisis documental de de los medios que se ponen a disposición de los grupos de trabajo. Encuesta a participantes sobre el apoyo recibido?

Análisis experto

Secundarios

Externa

Gradiente

En cualquier momento

Análisis documental de de los medios que se ponen a disposición de los grupos de trabajo. Encuesta a participantes sobre el apoyo recibido?

Análisis experto

Secundarios

Externa

Gradiente

En cualquier momento

Análisis documental de requisitos establecidos

Análisis experto

Documental

Externa

Gradiente

En cualquier momento

Entrevista y/o encuesta a participantes activos

Encuesta focalizada

Primarios

Externa

Gradiente

Al finalizar la actividad

Encuesta a colaboradores y coordinadores

Encuesta focalizada Externa

acios de propuesta que en sus bases no restrinjen la de grupos adhocráticos, según la definición de proyecto nlos el usuarios documento de atributos deldefinición nivel de adhocracia en proyectos y

un proceso de atención y respuesta a todas las de mejora los usuarios del nivel de premeabilidad en proyectos y

guías o referencias para ayudar a los grupos a generar ón colaborativa de calidad

mecanismos o incentivos para que los grupos s ides y productos creados

requisitos para la licencia de proyectos o actividades

os grupos para que utilicen licencias libres por parte de los usuarios del nivel de diseño abierto en proyectos y

Gradiente

metodologías inclusivas de diseño colectivo: design ce design, etc.

Gradiente

mecanismos de decisión de consenso y/o o

Gradiente

En cualquier momento

Taller grupo focal

Grupo focal

Primarios

En cualquier momento

Análisis documental

Análisis experto

Documental

Taller grupo focal: análisis de los patrones (mecanismos, herramientas, dinámicas de toma de decisión durante los procesos de trabajo).

Grupo focal

Valoración cualitativa durante grupo focal

Primarios

En cualquier momento

Análisis datos primarios: encuesta coordinadores y colaboradores

Encuesta focalizada

Resultados encuesta

Primarios

Externa

Valoración cualitativa durante grupo focal

Primarios

Participada

Primarios

Interna

Primarios

Externa

Primarios

Externa

Documental

Externa

mecanismos o protocolos la existencia de espacios de cision igualitarios y seguros

Gradiente

Durante la actividad

Taller grupo focal taller

Encuesta focalizada

los usuarios de la calidad de la deliberación en rocesos

Gradiente

Al finalizar la actividad

Encuesta a colaboradores y coordinadores

Encuesta focalizada

incentivos del centro para Intercambiar aprendizajes y tenidos con colectivos, iniciativas o proyectos similares en otras ciudades o países.

Gradiente

En cualquier momento

Enredómetro de agentes

Análisis experto

Al finalizar el periodo a evaluar

Análisis de datos secundarios

Análisis experto

En cualquier momento

Análisis de datos secundarios

Análisis experto

ativas organizadas por el centro que invitan a proyectos Índice rafías.

Documentación recopilada en actividades

Listado de todas las actividades realizadas por MLP en 2019

Externa

ectos de MLP a los que se da soporte para acudir a encuentros en

guías e infraestructura para facilitar la construcción de abajo deslocalizados (p. ej. Índice emático de un proyecto con personas que residen en ntextos diferentes). los usuarios del apoyo para la Glocalidad en proyectos

Gradiente

Al finalizar la actividad

Encuesta a colaboradores y coordinadores

protocolos que fomenten la experimentación en s públicas a propuestas o proyectos

Gradiente

En cualquier momento

Análisis cualitativo de los medios. Datos secundarios

Análisis experto

inmediata de medios de prototipado para las ue lo requieran

Gradiente

En cualquier momento

Análisis de datos secundarios

Análisis experto

recursos informativos y asesoramiento disponibles para Gradiente tes de las actividades para pivotar y experimentar

En cualquier momento

Análisis de datos secundarios. Entrevistas colaboradores. Análisis convocatorias

Análisis experto

Resultados encuesta

Primarios

Externa

l aprendizaje en el proceso de trabajo en la evaluación os

Gradiente

En cualquier momento

entrevista a personal evaluador MLP

Entrevista

Valoración cualitativa durante grupo focal

Primarios

Participada

ura del diseño

Gradiente

En cualquier momento

Análisis documental de los contenidos desarrollados

Análisis experto

Documentación de proyectos en web y/o entregables en talleres de producción

Secundarios

Externa

los usuarios del apoyo para la experimentación en rocesos

Gradiente

Al finalizar la actividad

Encuesta a colaboradores y coordinadores

anismos de seguimiento de la actividad del centro: apel, por email, disponibles en una plataforma abierta

Gradiente

En cualquier momento

Análisis documental

Análisis experto

Documental

Gradiente

En cualquier momento

Análisis de datos secundarios

Análisis experto

Secundarios

los usuarios de los mecanismos de seguimiento de rabajo

Gradiente

Al finalizar la actividad

Análisis de datos primarios

Encuesta masiva

Primarios

les de comunicación:verbales, en papel, por email, n una plataforma abierta digital

Gradiente

En cualquier momento

Análisis documental

Análisis experto

Documental

Gradiente

En cualquier momento

Análisis de datos secundarios

Análisis experto

Documental

Gradiente

Al finalizar la actividad

Formulario

Encuesta masiva

Primarios

Índice

En cualquier momento

Análisis de datos primarios

Análisis experto

Secundarios

los usuarios de los canales de producción digital

Gradiente

En cualquier momento

Análisis de datos secundarios

Análisis experto

Secundarios

en bases con respecto a participar en varias iniciativas

Índice

En cualquier momento

Análisis de datos primarios, bases de convocatorias

Análisis experto

Secundarios

dinámicas de representación

Gradiente

Al finalizar la actividad

Análisis de datos primarios

Encuesta focalizada

Primarios

plícita del intercambio de perfiles

los usuarios de canales de comunicación digital

les de producción: verbales, en papel, por email, n una plataforma abierta digital

Publicación de convocatorias a proyectos

Primarios

Gradiente

Al finalizar la actividad

Formulario

Encuesta focalizada

Primarios

medidas (protocolos, plan de acción, ...) para la inclusión Gradiente on diferente origen, edad y sexo.

En cualquier momento

Formulario

Análisis experto

Documental

medidas (protocolos, plan de acción, ...) para la inclusión Gradiente on diferente nivel socio-económico

En cualquier momento

Formulario

Análisis experto

Documental

medidas (protocolos, plan de acción, ...) para la inclusión Gradiente on diversidad funcional física, psíquica y sensorial.

En cualquier momento

Formulario

Análisis experto

Documental

Gradiente

Al finalizar la actividad

Análisis documental de los contenidos desarrollados

Análisis experto

Documentación de proyectos en web y/o entregables en talleres de producción

Documental

Externa

Gradiente

Al finalizar la actividad

Análisis documental de los contenidos desarrollados

Análisis experto

Documentación de proyectos en web y/o entregables en talleres de producción

Documental

Externa

un calendario en el que se requiera a los proyectos y al que publiquen resultados y aprendizajes

Binario

Al finalizar el periodo a evaluar

Análisis documental de los contenidos desarrollados

Análisis experto

Documentación de proyectos en web y/o entregables en talleres de producción

Documental

Externa

los usuarios de la transparencia del centro

Gradiente

En cualquier momento

Encuesta a colaboradores y coordinadores

Encuesta focalizada

Primarios

Externa

espacios seguros para la resolución de conflictos

Gradiente

Al finalizar el periodo a evaluar

Análisis documental

Análisis experto

Documental

Externa

Gradiente

Al finalizar el periodo a evaluar

Análisis de datos primarios

Encuesta focalizada

Primarios

Externa

Gradiente

Al finalizar la actividad

Análisis documental

Análisis experto

Documental

Participada

Gradiente

Al finalizar la actividad

Análisis de datos primarios

Encuesta focalizada

Primarios

Externa

ersidad de contactos de la organización para buscar anciación y origen de recursos

Número absoluto

Al finalizar el periodo a evaluar

Análisis de datos primarios.

Análisis experto

Primarios

rituales habituales en los procesos que tienen como fin lazos entre participantes

Gradiente

Al finalizar la actividad

Formulario

Encuesta focalizada

Primarios

espacios de encuentro informal

Índice

En cualquier momento

Análisis de datos primarios

Encuesta masiva

Primarios

espacios de encuentro informal

Gradiente

Al finalizar la actividad

Formulario

Encuesta focalizada

Primarios

Binario

En cualquier momento

Análisis de datos primarios

Análisis experto

Gradiente

Al finalizar la actividad

encuesta a participantes

Encuesta masiva

los usuarios del nivel de inclusividad del centro

guías y facilidades para la documentación de los rabajo

guías, indicaciones y auditoría para que la información re proyectos y sobre el centro sea accesible y fácil de

los usuarios de los espacios para la resolución de

protocolos para la pervivencia de proyectos los usuarios de protocolos para la pervivencia de

canales de comunicación promovidos por la que están activos tras la finalización de las iniciativas

los usuarios de la calidad de la comunidad tras la e las iniciativas

Primarios

Evaluación Medialab Prado 2019

ANEXO IV: ENCUESTA PARTICIPANTES ACTIVOS Valoración del centro 5.1 - ¿En cuántas actividades de Medialab Prado has participado? [selector número: 1 - 5 o más] [no lo recuerdo] 5.2 - ¿En qué año participaste por primera vez? [selector años: 2007 - 2019] 5.3 - Durante tu participación en Medialab Prado, ¿has colaborado con personas con las que no lo habías hecho antes? [Sí]/[No] [Sí] ¿Esperas seguir en contacto con estas personas? [Sí]/[no]/[No lo sé] 5.4 - Considerando tu participación en Medialab Prado, ¿cómo valorarías tu experiencia? [Nada satisfactoria]; [Poco satisfactoria]; [Satisfactoria]; [Muy satisfactoria] 5.5 - En tu opinión, ¿qué aspectos fomenta Medialab Prado con su actividad? [Empleabilidad] / [Formación] / [Contacto con personas con intereses comunes a escala local] / [Contacto con personas con intereses comunes a escala internacional] / [Emprendimiento] / [Investigación y Desarrollo] / [Socialización con personas de tu barrio] / [Redes de apoyo mutuo] / [Espacio de ocio]/ Otra [campo de texto] / [Ninguno aplica] 5.6 - En base a tu experiencia personal, ¿qué aspectos te ha aportado Medialab Prado? [Empleabilidad] / [Formación] / [Contacto con personas con intereses comunes a escala local] / [Contacto con personas con intereses comunes a escala internacional] / [Emprendimiento] / [Investigación y Desarrollo] / [Socialización con personas de tu barrio] / [Redes de apoyo mutuo] / [Espacio de ocio]/ Otra [campo de texto] / [Ninguno aplica] 5.7 - ¿Crees que Medialab Prado aporta un tipo de valor a la sociedad distinto al de otros centros culturales, como museos, bibliotecas, etc.? [Sí]/[No]/[No lo sé] Comenta tu respuesta: [campo de texto] 5.7 - ¿Volverías a participar en una actividad de MLP? [Sí]/[no]/[No lo sé] Comenta tu respuesta: [campo de texto] 5.8 - ¿Has dado a conocer MLP en tu entorno? [Sí]/[no] [sí] ¿Hay alguien de tu entorno que se haya animado a venir a conocer MLP a raíz de tu recomendación? [Sí]/[no]/[No lo sé] 82

Anexos

Percepción de apertura 21.1 - ¿Has propuesto alguna vez una actividad a Medialab-Prado? [Sí]/[no] [Sí] Por favor evalúa tu experiencia al elaborar la propuesta: El proceso fue claro: [Sí]/[no] El proceso fue sencillo: [Sí]/[no] El proceso tuvo una duración razonable: [Sí]/[no] Siento que se fomentaba la diversidad de ideas y puntos de vista: [Sí]/[no] Siento que el proceso era abierto a personas ajenas a MLP: [Sí]/[no] Siento que el proceso era abierto a formatos diferentes a los habituales en MLP: [Sí]/ [no]/[No lo sé] Siento que aplicaron criterios de selección abiertos e imparciales: [Sí]/[no]/[No lo sé] [No] ¿Por qué no? [No he tenido propuestas propias] / [He tenido propuestas propias pero no sabía cómo hacerlo] / [No sabía que Medialab-Prado aceptara propuestas externas] / Otro motivo: [campo de texto] 21. 2 - ¿Crees que es sencillo participar de las actividades que tienen lugar en Medialab-Prado? [Sí]/[No] Comenta tu respuesta: [campo de texto] 21.3 - En términos generales, ¿consideras que Medialab Prado es una entidad abierta a la sociedad? [Sí]/[No] Comenta tu respuesta: [campo de texto]

Evaluación Medialab Prado 2019

ANEXO V: ENCUESTA PERSONAS PROMOTORAS Y COLABORADORAS EN TALLERES DE PRODUCCIÓN Calidad de los prototipos 10.1 - ¿Cuál es el nombre del último proyecto en el que participaste dentro de un programa finalizado? [campo de texto] 10.2 - ¿En qué programa lo desarrollaste? [selector: listado de programas] 10.3 - ¿Ha servido el prototipo para poner a prueba las hipótesis e ideas planteadas al inicio de la actividad? [Sí]/[No]/[No lo sé] 10.4 - ¿Ha servido el proyecto para extraer información útil para siguientes iteraciones del modelo? [Sí]/[No]/[No lo sé] 10.5 - ¿Ha servido el proyecto para permitir a terceros entender las ideas planteadas al inicio? [Sí]/[No]/[No lo sé] 10.6 - ¿Ha servido el proyecto para aplicar aprendizajes en otros proyectos? [Sí]/[No]/[No lo sé] 10.7 - ¿Se han presentado los resultados obtenidos en algún evento público? [Sí, en Medialab Prado]/[Sí, en otro lugar]/[No]/[No lo sé] 10.8 - ¿Consideras que existe documentación suficiente como para permitir su replicabilidad? [Sí] / [No] /[No lo sé] [Sí] - ¿Podrías facilitarla? [campo para subir archivos] 10.9 - ¿Consideras que la fase inicial del proyecto desarrollada junto a Medialab Prado está finalizada? [Sí]/[No] 10.10 - En términos generales, ¿cómo valorarías tu nivel de satisfacción con el resultado del prototipo? [Nada satisfactorio]/[Poco satisfactorio]/[Satisfactorio]/[Muy satisfactorio]

Anexos

Continuidad de los proyectos 11.1 -¿Sigues trabajando en el desarrollo del proyecto? [Sí, junto con personas que participaron en su inicio]/[Sí, junto con personas que se han involucrado a posteriori]/[No] 11.2 - ¿Dónde estáis continuando con su desarrollo? [En Medialab Prado]/[En otro lugar] [En otro lugar] Comenta tu respuesta [campo de texto] 11.3 - ¿Se ha probado el proyecto en otros contexto o lugares distintos a los planteados inicialmente? [Sí, por el equipo promotor]/[Sí, por terceros]/[No]/[No lo sé] 11.4 - ¿Se ha constituido algún tipo de organización o figura jurídica a raíz del desarrollo del primer prototipo? [Sí]/[No]/[No lo sé] [Sí] ¿Podrías adjuntar información al respecto –nombre, web, redes sociales, etc.–? Nombre: [campo de texto] Web: [campo de texto] Otros: [campo de texto] (permitir añadir varios campos de texto) 11.5 - ¿Se ha generado algún modelo de negocio alrededor de la idea de prototipo inicial? [Sí]/[No] [Sí] ¿Podrías añadir más información al respecto? Una descripción breve del modelo es suficiente. [campo de texto]

Evaluación Medialab Prado 2019

ANEXO VI: ENCUESTA A ENTIDADES COLABORADORAS 16.1 - ¿A qué sector o sectores dirías que pertenece la entidad u organización a la que perteneces? [Académico]/[Privado]/Institución pública/[Sociedad civil]/[ONG]/[Cuarto sector]/[Otro] [Otro] [Línea de texto] 16.2 - ¿Cuál es la antigüedad de la entidad u organización a la que perteneces? [0-2]/[3-5]/[6-10]/[Más de 10] 16.3 - ¿Cuál era el nombre de la actividad en la que colaboraste en 2019 vez con Medialab Prado? [campo de texto] 16.4 - ¿Cómo valorarías la colaboración con Medialab Prado? [Nada satisfactoria]; [Poco satisfactoria]; [Satisfactoria]; [Muy satisfactoria] 16.5 - ¿Has colaborado con Medialab Prado en más de una ocasión? [Sí]/[No] [Sí] ¿En cuántas ocasiones? [selector: 2, 3, 4, 5, más de 5] [Sí] ¿En qué año colaboraste por PRIMERA vez con Medialab Prado? [campo de texto: entre 2007 - 2019] [Sí] ¿Cuál era el nombre de la actividad en la que colaboraste por PRIMERA vez con Medialab Prado? [campo de texto] 16.6 - ¿Cómo valorarías la importancia de Medialab Prado en la construcción de una red de colaboraciones/ecosistema de innovación? [nada relevante]/[poco relevante]/[relevante]/[muy relevante] [comenta tu respuesta] 16.7 - ¿Crees que la colaboración con Medialab Prado ha facilitado a tu organización entrar y/o participar de la construcción de una red de colaboración/ecosistema de innovación? [Sí]/[No] [Sí] ¿En qué medida has sentido que tu organización se beneficiaba de esa red/ecosistema de innovación? [nada beneficioso]/[poco beneficioso]/[beneficioso]/[muy beneficioso] [comenta tu respuesta]

Anexos

16.9 - ¿Volverías a colaborar con Medialab Prado? [Sí, con mayor implicación o intensidad]/[Sí, de la misma manera que en veces anteriores]/[No] 16.10 - Comenta tus respuestas: [campo de texto] 16.11 - En tu opinión, ¿qué aspectos fomenta Medialab Prado con su actividad? [Empleabilidad] / [Formación] / [Contacto con personas con intereses comunes a escala local] / [Contacto con personas con intereses comunes a escala internacional] / [Emprendimiento] / [Investigación y Desarrollo] / [Socialización con personas de tu barrio] / [Redes de apoyo mutuo] / [Espacio de ocio]/ Otra [campo de texto] / [Ninguno aplica] 16.12 - ¿Crees que Medialab Prado aporta un tipo de valor a la sociedad distinto al de otros centros culturales, como museos, bibliotecas, etc.? [Sí]/[No]/[No lo sé] Comenta tu respuesta: [campo de texto] 16.13 - ¿Has dado a conocer MLP a otras organizaciones? [Sí]/[no] [Sí] ¿Hay alguna organización que se haya animado a venir a conocer MLP a raíz de tu recomendación? [Sí]/[no]/[No lo sé]

Oficina de InnovaciĂłn CĂvica

Civic Innovation f o r Te r r i t o r y M a k i n g