Le nuove guide robotiche

Per comprendere nel dettaglio questi progetti di grande attualità – come e quali siano stati i dati raccolti, come e quale sia il loro utilizzo finale – ho incontrato Luigi Ruggerone, director of trend analysis and applied research – Intesa Sanpaolo Innovation Center, che con Sonia D’Arcangelo, head of Neuroscience Lab Intesa Sanpaolo Innovation Center, e Christian Caldato, head of research presso TSW2 , che hanno realizzato entrambi i progetti. A loro va il mio ringraziamento per aver reso possibile la realizzazione di questo case study che qui di seguito vi propongo.

Il progetto ArtTech presso Intesa Sanpaolo – Gallerie d’Italia Piazza Scala, Milano, 20183

Nel 2018 Intesa Sanpaolo Innovation Center e Intesa Sanpaolo Gallerie d’Italia Piazza Scala – Milano, con la collaborazione della società TSW, hanno avviato un progetto per valutare e registrare, su un campione di trenta volontari – colleghi Intesa Sanpaolo e anche giornalisti –, l’impatto emotivo di quattro opere d’arte esposte a Milano presso le Gallerie di Italia nell’ambito della mostra L’ultimo Caravaggio. Eredi e nuovi maestri.

Le opere presentate in questo esperimento erano il Martirio di Sant’Orsola di Caravaggio, il Martirio di Sant’Orsola di Bernardo Strozzi, il Martirio di Sant’Orsola e l’Ultima Cena di Giulio Cesare Procaccini.

Ai trenta volontari4 è stato chiesto di indossare tre differenti device:

www.youtube.com/ watch?v=Wq7cE56xIkE&t=35s ArtTech, quando arte e innovazione si incontrano.

3 ▷ p. 174

• Eye tracking: per studiare i comportamenti oculari dei volontari verso le opere d’arte e comprendere le zone di maggiore interesse dei dipinti; • EEG 14 channel: per analizzare il coinvolgimento e la piacevolezza delle opere sulle persone; • Stress bracelet: per tracciare il cambiamento di conduttanza cutanea rilevato a causa della sudorazione involontaria determinata dal sistema simpatico. Martirio di Sant’Orsola

Caravaggio

Martirio di Sant’Orsola

Bernardo Strozzi

Martirio di Sant’Orsola

Giulio Cesare Procaccini

Ultima Cena

Giulio Cesare Procaccini

2. Le opere al centro del progetto ArtTech.

Sono stati rilevati e registrati i parametri fisiologici5 a riposo – la baseline dei partecipanti. Successivamente è stato chiesto loro di visionare le quattro opere d’arte secondo uno schema prestabilito: prima per trenta secondi da seduti, poi liberamente per un minuto, e sono state rilevate le loro risposte psicofisiologiche.

Vediamo i risultati: le risposte psicofisiologiche raccolte con lo stress bracelet permettono di monitorare l’aurosal, termine mutuato dalla neuroscienza, che definisce il livello di intensità emotiva di fronte a un’opera. Le opere maggiormente impattanti in termini di intensità emotiva, quindi più emozionanti per i partecipanti, sono state l’Ultima Cena di Giulio Cesare Procaccini e il Martirio di Sant’Orsola di Caravaggio.

Di notevole interesse sono i dati ottenuti tramite l’analisi del comportamento oculare che ha permesso di individuare le AOI – Area of Interest – e di creare le heatmaps ossia le mappe di calore in cui vengono indicati con i colori, dal rosso al giallo al verde, le figure o gli elementi oggetto di maggiore concentrazione dei partecipanti.

Vediamo nel dettaglio i dati raccolti relativamente al Martirio di Sant’Orsola di Caravaggio: nei primi trenta secondi le persone si sono soffermate a osservare i volti dei protagonisti, in particolare di Attila, e la ferita inflitta dalla freccia; meno impattanti da un punto di vista visivo sono stati i restanti volti e solo con il passare del tempo l’attenzione si è spostata verso gli altri personaggi del dipinto. Le indicazioni date dalle AOI relativamente all’ordine di

3. Strumentazione ArtTech: Emotiv Epoc +, 14 channel wearable EEG; SMIETG 2W, wearable eyetracker; Empatica E4, SCL bracelet.

5, 6 ▷ pp. 176, 177

4. L’Ultima cena di Giulio Cesare Procaccini si dimostra come l’opera in grado di generare il maggior livello di engagement – EEG (coinvolgimento).

5. Eye tracking: risultanza sul Martirio di Sant’Orsola del Caravaggio.

sequenza e al tempo dedicato per analizzare i dettagli dell’opera, hanno evidenziato che il primo volto visualizzato è stato quello di Attila seguito da quello di Sant’Orsola, e che solo successivamente l’attenzione si è spostata sulla visione della ferita.

Attraverso un confronto delle analisi raccolte con l’eye tracking su queste quattro opere, si nota che l’attenzione nell’osservare i diversi personaggi e la lettura dell’opera è cambiata da dipinto a dipinto – anche se tre delle opere, pur diverse, rappresentano lo stesso identico tema ossia il Martirio di Sant’Orsola. Di seguito il risultato:

• Il Martirio di Sant’Orsola di Caravaggio: in evidenza le tre componenti fondamentali: Sant’Orsola, Attila (con particolare attenzione) e il momento dell’uccisione. • Il Martirio di Sant’Orsola di Bernardo Strozzi: in evidenza la figura di Sant’Orsola nella sua interezza. Il ruolo di Attila e dell’uccisione risultano messi in secondo piano. • Il Martirio di Sant’Orsola di Giulio Cesare Procaccini: si rileva un’esperienza gerarchica che attribuisce un ruolo fondamentale a Sant’Orsola. L’attenzione si sposta successivamente sull’espressione di Attila e infine sul momento dell’uccisione. • L’Ultima Cena di Giulio Cesare Procaccini: si rileva un’esperienza oculare distribuita orizzontalmente partendo dal centro – interazione di Gesù. Gli elementi alla destra e alla sinistra nel quadro hanno generato comportamenti uniformi.

6. Eye tracking: risultanza sul Martirio di Sant’Orsola del Caravaggio.

A cosa possono servire tutti questi dati?

L’analisi psicofisiologica ha permesso di accedere a dati importanti e soprattutto non scontati: come vengono lette le opere, quali sono gli elementi o i personaggi più impattanti e che catturano più intensamente o più a lungo l’attenzione dei visitatori, e non ultimo, l’impatto emotivo di fronte a quattro diversi capolavori. Queste informazioni sono elementi utili e oggi imprescindibili per l’organizzatore di una esposizione che voglia realizzare un percorso di fruizione ottimale e tale da facilitare anche il processo di memorizzazione delle opere esposte, come viene ben sottolineato nel report di ArtTech all’interno dell’Innovation Trend Report6:

In generale si suggerisce di strutturare un’esperienza di fruizione che faciliti i processi di memorizzazione. Da questo punto di vista si consiglia di privilegiare l’uso di opere ad alto impatto emotivo, con elevato engagement e motivation nella parte iniziale (effetto primacy) e finale (effetto recency) del percorso.

In questo caso l’opera di Caravaggio e l’Ultima Cena di Leonardo, quali effetto primacy ed effetto recency nel percorso museale, potrebbero rispondere ai requisiti fondamentali per il successo di questa esperienza. Inoltre, le informazioni raccolte attraverso l’analisi del comportamento oculare, che indicano in quale ordine i personaggi e gli elementi visivi sono letti e per quanto tempo, sono i dati da tenere in considerazione per la creazione di contenuti e di audio-guide atti a costituire supporti informativi in linea con la naturale lettura del visitatore o per evidenziare quei punti di rilevanza nel dipinto che non sono stati colti come avrebbero dovuto.

Valorizzare l’esperienza di visita e di fruizione è una mission fondamentale per un museo – e oggi abbiamo a disposizione nuovi strumenti – come questi – che sicuramente offrono un grande contributo.

7. Leonardo da Vinci, Ultima cena, 1495-1498, dipinto murale a secco, 460 × 880 cm, refettorio di Santa Maria delle Grazie, Milano. Il progetto neuroscientifico presso il Cenacolo Vinciano7

Cosa si prova ammirando l’Ultima Cena di Leonardo da Vinci? Quali elementi di questo monumentale capolavoro colpiscono maggiormente il visitatore? Come viene percepito il percorso di visita del Museo Cenacolo Vinciano?

www.youtube.com/ watch?v=gU1ZvJ22roU Il progetto neuroscientifico presso il Cenacolo Vinciano.

Nel luglio 2019 Intesa Sanpaolo Innovation Center e TSW hanno realizzato un secondo esperimento di analisi dell’esperienza sensoriale presso il Cenacolo Vinciano su idea della direzione del museo che fa parte della Direzione regionale Musei della Lombardia del Ministero della Cultura.

L’obiettivo di questo progetto è stato l’analisi della dimensione esperienziale dei visitatori nel percorso di visita del museo e nella fruizione delle opere l’Ultima Cena di Leonardo da Vinci e la Crocifissione di Donato Montorfano.

Un gruppo di trentotto partecipanti – età media trentotto anni e di diverse nazionalità –, reclutati dal Museo con la supervisione di Intesa San Paolo Innovation Center / Neuroscience Lab, comprendeva sia persone che fruivano per la prima volta dell’opera d’arte sia persone già avvezze alla sua visione. Una volta posizionati i sensori e registrati i parametri psicofisiologici a riposo, la baseline, dal team di TSW, i partecipanti hanno iniziato l’esperimento seguendo un percorso di visita prestabilito ivi incluso il camminamento che conduce alle stanze dove sono esibite le opere e la lettura dei pannelli informativi.

Il test si è svolto sia a museo aperto sia a museo chiuso al pubblico, per una durata massima di trentacinque minuti.

L’esperienza di fruizione e di coinvolgimento è stata valutata attraverso la registrazione e l’analisi dei diversi elementi e indici psi-

cofisiologici che hanno permesso di rilevare queste informazioni: • l’impatto emotivo risultante dall’esposizione all’opera; • il livello di piacevolezza di fronte all’opera; • gli elementi che hanno catturato l’attenzione; • l’ordine di lettura degli elementi dell’opera e il tempo dedicato ad analizzarli.

8. Scan Path medio dei partecipanti a museo aperto. A museo chiuso non vi sono distinzioni sostanziali8 .

9. I risultati dello studio mostrano il livello di intensità emotiva di fronte alle due opere del Cenacolo.

I risultati raccolti sono certamente innovativi nel loro ambito. Vediamoli nel dettaglio.

Per quanto concerne l’arousal9, che definisce il livello di intensità emotiva di fronte alle due opere del Cenacolo, si è potuto rilevare una grande attivazione in termini di risposta all’esposizione dell’Ultima Cena di Leonardo: è un’esperienza impattante. Diversamente per l’opera della Crocifissione non sono stati rilevati significative attivazioni da parte dei partecipanti: l’impatto emotivo qui è stato registrato come debole. Anche il rilevamento del livello di piacevolezza10 ha evidenziato una netta differenza tra le due opere: l’Ultima Cena si è rilevata un’esperienza piacevole mentre la Crocifissione si è dimostrata un’esperienza di valore variabile. Le considerazioni sull’Ultima Cena riguardano i primi 5 minuti di osservazione. Da sottolinea-

re che dal punto di vista psicofisiologico mantenere un risultato di “piacevolezza” per oltre 5 minuti è un risultato decisamente positivo.

Passiamo ora alle AOI: le “aree d’interesse”, rilevate attraverso l’analisi del comportamento oculare, hanno fornito informazioni utili per comprendere l’ordine di lettura visuale dei personaggi dell’Ultima Cena e il rispettivo tempo dedicato ad analizzarli – il Dwell Time. Gesù, al centro del dipinto, è la figura che viene fissata per prima e per più tempo: 16,4 secondi, seguita dagli apostoli seduti a lato di Gesù. La lettura dell’opera prosegue mediamente con l’analisi degli elementi presenti nella parte sinistra e successivamente nella parte destra. La lettura si conclude con l’apostolo Tommaso che viene fissato per ben 9,8 secondi.

Dall’analisi del comportamento oculare sono stati invece evidenziati gli elementi dell’opera che hanno suscitato maggiore attenzione. Nella heatmap, la mappa del calore, si può osservare la rappresentazione del comportamento oculare dei visitatori e su quali elementi/figure questi si sono maggiormente concentrati. Nella foto possiamo osservare il confronto tra i partecipanti che si sono dichiarati esperti (X – heatmap in alto) con quelli non esperti (Y – heatmap in basso). Si evidenzia che gli esperti hanno esaminato più elementi e si sono soffermati più a lungo sui dettagli mentre i non esperti si sono soffermati principalmente sulla figura di Gesù per poi osservare l’opera senza ricercare dettagli specifici. Gli elementi informativi che sono posti in basso all’opera hanno catturato l’attenzione prevalentemente degli esperti mentre non sono state oggetto di analisi le tre lunette autografe che contengono gli stemmi degli Sforza.

Per questo progetto neuroscientifico presso il Cenacolo Vinciano, TSW ha potuto avvalersi di una strumentazione per la rilevazione psicofisiologica-comportamentale più avanzata rispetto al precedente progetto realizzato per Gallerie d’Italia, con device di ultimissima tecnologia atti a fornire una qualità delle informazioni cerebrali nettamente superiore.

10. Heatmap che aggregano i focus dell’attenzione dei partecipanti che si sono dichiarati esperti (X) e non esperti (Y).

Per curiosità ecco i nuovi device:

- Smi ETG 2W: eye-tracking glasses per il tracciamento oculare - Cognionics 2011 EEG a secco e portatile per il monitoraggio dell’attività cerebrale - Shimmer 3 GSR+: Galvanic skin response sensor per la rilevazione dell’attivazione del sistema nervoso riverberata dalla sudorazione della pelle12

Torniamo ora alla nostra Intelligenza Artificiale: tutti questi device utilizzano il machine learning – ossia gli algoritmi per la raccol-

ta dei dati, ma il dato elettroencefalografico è estremamente complesso da elaborare e la stessa elaborazione potrebbe comportarne una manipolazione. Inoltre, ottenere dati utili significa eliminare quelli che possono essere elementi di “disturbo”. Un esempio utile per comprendere questa specifica ce lo fornisce Christian Caldato parlandoci della pulizia dei Blinks: i battiti di ciglia. I blink sono un’attività muscolare, e per questo elettrica. L’analisi del segnale elettroencefalografico, quindi, può essere “sporcata” dalle contrazioni involontarie dettate dai battiti di ciglia. Non pulire il dato in modo adeguato significa rischiare di arrivare a conclusioni sbagliate. Oggi la nostra machine learning è addestrata a rimuoverli per offrire i dati “puliti”.

Altro punto da sottolineare è che questo esperimento comprendeva l’analisi sia della fruizione del percorso, sia delle opere e di una serie di elementi che andavano a influenzare l’esperienza di visita quali: l’illuminazione, le caratteristiche della pittura murale e la lettura dei pannelli illustrativi.

Uno degli obiettivi del Museo del Cenacolo era di andare a raccogliere e analizzare non solo i dati relativi alla percezione delle opere, ma anche esplorare l’esperienza di fruizione di tutti gli ambienti: dal primo corridoio di camminamento fino all’uscita. Di grande interesse i dati raccolti nelle sale antecedenti il Cenacolo che testimoniano come l’attesa per la visione di un’opera costituisca essa stessa un’esperienza. La raccolta di queste preziose informazioni è utile al Museo per apportare migliorie determinate e determinanti a supportare il visitatore e amplificare la user experience.

A conclusione di questo case study affrontiamo un ultimo tema importante. Questo lavoro è stato realizzato su richiesta del Museo del Cenacolo.

Attraverso l’innovativo progetto di analisi di Intesa Sanpaolo Innovation Center / Neuroscience Lab e TSW, il Museo ha voluto esplorare i risultati delle nuove ricerche nel campo della neuroestetica per rilevare dati utili alla fruizione delle opere, del percorso e altri elementi che abbiamo elencato. Questo dovrebbe essere a prospettiva di tutti i musei, custodi del nostro patrimonio, che guardano alle nuove tecnologie per migliorarsi. In questo caso l’esigenza di esplorare nuovi percorsi che possono portare a nuovi scenari innovativi legati alla fruizione è nata dal Museo che espone due capolavori della storia dell’arte di cui una è tra le opere più famose al mondo. Riprendiamo alcune considerazioni affrontate in questo libro nel capitolo Musei come l’appello del Direttore generale dell’International Council of Museums (ICOM), Peter Keller:

11. Le heatmap sulla base della presenza di elementi informativi in piantina a museo aperto (A) e a museo chiuso (C)13 .

[...] Museums keep reinventing themselves in their quest for becoming more interactive, audience focused, community oriented, adaptable and mobile. [...].

Peter Keller intervento all’International Museum Day 2019, Rabat, Marocco, 18 maggio 201914

In questo caso la necessità di esplorare nuove strade e nuovi scenari è partita da un museo e sottolineo che si tratta non di una realtà contemporanea, ma di un luogo d’arte la cui struttura è meravigliosamente antica: le due opere si trovano infatti nel refettorio del convento di Santa Maria delle Grazie, completata nel 1497. È importante che anche i musei più antichi, scrigni di straordinari capolavori, cerchino di rinnovarsi per offrire ai visitatori una fruizione al passo coi tempi.

Ecco, quindi, come l’uso dell’Intelligenza Artificiale nel campo delle Neuroscienze deve essere subordinata e sfruttata per offrire

una serie di accorgimenti atti a migliorare il percorso di visita con il fine di ottimizzare la user experience nel museo. Mi riferisco a quegli accorgimenti tecnici e pratici come l’uso della luce, il tempo medio di fruizione di un’opera d’arte per calcolare il tempo di visita di una mostra o lo studio del posizionamento delle opere in base al loro coinvolgimento emotivo. E ancora: raccontare al pubblico una storia – quella delle opere – in linea con la lettura che si fa naturalmente.

L’innovazione è il motore del cambiamento e le neuroscienze rappresentano un ambito di ricerca in cui l’innovazione progredisce inarrestabile15

Concludo rifacendomi a Semir Zeki, che con i suoi studi ha gettato le basi della neurologia dell’estetica – la neuroestetica – per sottolineare che la ricerca in questo settore è in continua evoluzione e bisognerà esplorare, studiare e sperimentare ancora molto per poter cogliere il funzionamento del cervello di fronte all’opera d’arte. Oggi la ricerca scientifica applicata al mondo delle arti sta seguendo un percorso molto rapido e ben definito che non mancherà di sorprenderci e questi progetti, per certi aspetti apripista, ne sono già un esempio. E l’Intelligenza Artificiale, nelle sue molteplici applicazioni è e continuerà a essere l’alleato primario nella creazione della strumentazione e nell’analisi dei dati.

In quest’ottica, già nel 2017 il Peabody Essex Museum16 (PEM) ha annunciato la nomina di Tedi Asher come neuroscience researcher. Per la prima volta un museo d’arte ha assunto una figura specializzata in Neuroscienze: Tedi Asher ha conseguito il dottorato di ricerca alla Harvard Medical School e ha trascorso gli ultimi dodici anni acquisendo esperienza in una vasta gamma di campi, tra cui neuroscienze e psicologia. Il suo lavoro al PEM è volto a studiare e creare soluzioni su come i musei possono migliorare e arricchire l’esperienza dei visitatori.

In un futuro prossimo vedremo sempre più figure specializzate in neuroestetica o neuroscienza lavorare all’interno dei musei e parallelamente assisteremo a una crescita di progetti come ArtTech e il progetto neuroscientifico presso il Cenacolo Vinciano: un connubio che porterà a innumerevoli migliorie nei luoghi d’arte, anche arricchendo la nostra esperienza estetica.

1. Mark Napier, Net.flag, 2002, codice di rete interattivo (applet Java con database del server), Solomon R. Guggenheim Museum, New York.

La conservazione di opere d’arte con AI

«L’opera d’arte non è eterna, nel tempo esiste l’uomo e la sua creazione, finito l’uomo continua l’infinito.» Lucio Fontana Manifesto tecnico dello spazialismo, Milano 19511

La conservazione delle opere d’arte realizzate con Intelligenza Artificiale è un tema estremamente attuale e altrettanto spinoso che ci è d’obbligo affrontare in queste pagine dedicate ai nuovi scenari, ai futuri possibili del mondo dell’arte.

Ora, quando un restauratore o un conservatore si trovano di fronte a una tela di Rembrandt o a una scultura di Michelangelo, sanno benissimo come intervenire avvalendosi sia di tecniche consolidate sia di tecniche innovative, quindi dalla semplice e classica pulitura dei dipinti di Rembrandt al bio-restauro dei capolavori di Michelangelo con l’uso di microrganismi2. Ma di fronte a un’opera in cui l’IA gioca un ruolo determinante, il tema della conservazione non è affatto scontato. Gli AI artists non usano pennello o scalpello ma si avvalgono di tecniche computazionali, algoritmi, hardware e software; da Anna Ridler a Jake Elwes, molte delle opere hanno forti connotazioni temporali, presentano variazioni attraverso gli algoritmi e si basano su apparecchiature che funzionano in un continuum infinito.

Altre opere create con IA condividono molto con l’arte digitale e in questo caso fanno scuola le metodologie e le pratiche di conservazione di quel settore. Altre ancora, pur create con IA o

computer-based, sono opere fisiche, materiali come un disegno, un dipinto o una scultura. Ma con quali tecniche procedere alla conservazione e al restauro di un’opera d’arte generata per esempio con un algoritmo e racchiusa in un software?

Nuovi strumenti per gli artisti e nuove sfide per i conservatori3

Sicuramente i musei – proprio per la loro missione primaria di tutela di un patrimonio –, sono sempre stati all’avanguardia nello studio e ricerca della conservazione delle opere d’arte, un tempo solo fisiche, poi digitali e ora generate con IA.

Facciamo un passo indietro nel tempo e consideriamo alcune metodologie di conservazione della New Media Art perché le ritroveremo attualizzate per opere create con IA. Nel 1999, infatti, il Guggenheim Museum4 crea Variable Media Initiative5, una nuova strategia di conservazione non tradizionale per opere mediabased:

www.youtube.com/ watch?v=ZUwN8zREn-8 Handling Digital Artworks: Acquisition, Registration, Preservation.

The idea to describe a work of art, not only as a list of components and materials, but by the way it behaves, is crucial to the Variable Media methodology.

L’idea di descrivere un’opera d’arte non solo come un elenco di componenti e materiali, ma anche per il modo in cui si comporta, è cruciale per la metodologia dei Variable Media6 .

Per preservare nel tempo le opere della New Media Art, alla fine degli anni ’90 si fa strada questo approccio conservativo focalizzato non solo sulle parti prettamente fisiche, ma anche sulla sua identità, sul metodo di funzionamento e sul suo messaggio: tre componenti fondamentali da considerare anche a fronte di una eventuale re-installazione dell’opera a distanza d’anni.

Nel 2005 nasce poi un progetto di collaborazione tra La Tate Gallery e il New Art Trust (NAT) con i suoi due musei partner – Museum of Modern Art di New York e San Francisco Museum of Modern Art – per aiutare i collezionisti nella conservazione di media art work quali video, film, audio e installazioni basate su

2. Douglas Davis, The World’s First Collaborative Sentence.

software, e vengono dettate le linee guida per la cura delle opere d’arte digitali: Guidelines for the care of media artworks, in Matters in Media Art7 .

Ed è qui che il tema si fa, come ho detto, un po’ spinoso: le opere che possiamo definire digitali, Net Art o New Media Art, ci fanno scontrare per la prima volta con il termine obsolescenza, termine che ritroveremo anche trattando le opere create con IA e che indica purtroppo la perdita progressiva di efficienza, di accessibilità o di funzionalità dell’opera in parte o in toto, resa appunto obsoleta dall’evoluzione della tecnologia che non può più renderla usufruibile, o fruibile.

Un esempio di obsolescenza di un’opera d’arte che ha portato a un’interessante riflessione sul tema della conservazione, riguarda The World’s First Collaborative Sentence8: un lavoro di Internet Art di Douglas Davis datato 1994, la cui copia è custodita al Whitney Museum of American Art. Quest’opera è quello che oggi definiremmo un blog, ossia un sito dove gli utenti sono invitati a contribuire con commenti, fotografie, video. Un progetto che allora ebbe un esito positivo poiché vi parteciparono molte persone da ogni parte del mondo che contribuirono commentando l’impianto testuale di base creato da Davis, a significare come l’interattività tramite Internet stesse crescendo fino a raggiungere il clamoroso successo che conosciamo.