Giorgio Rossano
MY SMART MAPPING
Tesi di laurea di Giorgio Rossano. Relatore Pier Luigi Capucci. Coorelatore Emanuele Lomello. A.A. 2013/2014
Font utilizzati per la stesura: Univers di Adrian Frutiger (1954). Lekton realizzato presso ISIA (Urbino)(2011).
PREMESSA
I dati e i riferimenti presenti all’interno di questo elaborato sono stati confutati tramite un metodo di contrapposizione e verifica di argomenti estratti da siti internet e libri, che riguardano quasi settant’anni di evoluzione artistica e tecnologica; pertanto la garanzia della sua veridicità è data dal fatto che le medesime informazioni siano presenti e verificate in più di una fonte. Le ricerche di questa tesi di laurea esaminano il tema della “video mappatura” dal punto di vista storico, tecnologico, artistico e personale, siano queste interne o esterne alla “new media Art”. Sebbene esista già un’accurata “storia del video mapping” ho sentito il bisogno di completare
quelle poche righe presenti sull’argomento, migliorando le inesattezze e aggiornando la linea temporale già esistente, ma datata 2006. Il mio progetto tesi è dunque intenzionato ad instaurare un contesto storico all’interno del quale il video mapping si è evoluto fino ad arrivare ai giorni nostri. In seguito ho concentrato l’attenzione su alcuni ambiti della NEW MEDIA ART, quali sono il rapporto uomointerfaccia, con accenni e citazioni inerenti all’arte tecnologica. Il progetto di tesi culmina con la simulazione di un’installazione multimediale interattiva; la mia personale interpretazione di un excursus tecnologico in continua evoluzione.
01
MY SMART MAPPING
¤¤ Logiche di funzionamento ¤¤ QR code ¤¤ Lo smartphone ¤¤ Periferica principale ¤¤ Il proiettore ¤¤ Il modello mappato ¤¤ Il contesto
03
IL VIDEO MAPPING ¤¤ Cos’è il video mapping? ¤¤ Storia del video mapping ¤¤ Diversificazioni e ramificazioni ¤¤ Realizzazione di una scultura aumentata
02 CONTRIBUTI ¤¤ Sitografia ¤¤ Bibliografia ¤¤ Software
01 IL VIDEO MAPPING
“Per me la tecnologia è parte integrante della performance, a volte addirittura il punto di partenza e non soltanto un oggetto aggiunto” (Ct. Klaus Obermaier)
IL VIDEO MAPPING 8
cos’è il video mapping È bene comprendere a pieno il significato di questo termine strettamente americano secondo le due parole che la compongono. La definizione di “video” secondo il dizionario italiano corrente, è: Tutto ciò che viene trasmesso o riprodotto da un dispositivo di output visivo, qual’è il televisore, il display, lo schermo o il proiettore.
Il significato di mappatura, risale alla radice storica del termine, ovvero il mappatore era colui che in antichità disegnava le mappe.
1. Localizzazione e descrizione di elementi, fatti, aspetti o fenomeni pertinenti a un’area circoscritta. 2. In genetica, l’individuazione della posizione di uno o più geni all’interno di un cromosoma.
In altre parole in qualsiasi ambito questa si presenti, la mappatura non è altro che l’interpretazione di una qualsiasi localizzazione, l’unica differenza sta nelle dimensioni in cui questo avviene. Se provassimo a cercare
con google la terminologia corrispondente (videomapping, mappatura di proiezione, o mappatura) non troveremmo nulla di risalente a più di 8 - 9 anni fa. La spiegazione è semplice: Il termine “projection-mapping o proiezione di una mappatura” è stato coniato dagli Stati Uniti per un ormai vasto uso comune, mentre in campo accademico questa pratica è riconosciuta ufficialmente come “realtà spaziale aumentata” o meglio “spatial augmented reality”.
STORIA COS’ÈDEL IL VIDEO VIDEOMAPPING? MAPPING 9
Proiezione di una mappatura, noto anche come “video mapping” o “realtà spaziale aumentata”, è una tecnologia di proiezione utilizzata per trasformare oggetti di forma irregolare, in una superficie di visualizzazione per proiezione video. Questi oggetti possono variare dalle forme più elementari come cubi o sfere, alle forme più complesse come edifici e navate ecclesiastiche. Il software può interagire con il proiettore per adattarsi a qualsiasi superficie di un oggetto. Questa tecnica è utilizzata da artisti performativi, VJ, scenografi, o architetti che possono aggiungere dimensioni extra, illusioni ottiche, e nozioni di movimento su oggetti precedentemente statici. Le ultime tendenze in quest’ambito (Vjing e performance audiovisive) tendono ad associare il movimento delle animazioni proiettate ad una reazione audio, assottigliando questa pratica all’audiovisivo in live.
IL VIDEO MAPPING 10
storia del video mapping 1960
Sons et Lumière show Giza
1952
Sons et Lumière show Château de Chambord
1969
Ghost grinning grim Haunted Mansion Disneyland
1994
1980
Michael Neimark Displacement
1991
General Electric Patent
Apparatus and method for projection upon a three-dimensional object Disney
STORIA DEL VIDEO MAPPING 11
2006
1998
Ping Pong Plus MIT research
1998 MIT
1999
Bulb I/0
2001
Ramesh Raskar Test su archivio
2001
Superimposing Pictorial Artwork with Projected Imagery Oliver Bimber
Smart projector concept Oliver Bimber
2013
Box Bot&Dolly
IL VIDEO MAPPING 12
1952
Sons et Lumière show Parlando di “videomapping” viene naturale pensare a qualcosa di molto recente, in stretta relazione alle nuove tecnologie di proiezione, ologrammi, software 3D, ed arte digitale; ma non è del tutto esatto. Per la verità la sua storia è molto più antica di quanto ci si possa immaginare, e per quanto già esista una dettagliata “storia delle proiezioni di mappatura” (The Illustrated History of Projection Mapping) è possibile trovare delle tracce interessanti sull’argomento fin dalla prima metà del 1900’. La rete in data odierna asserisce che l’invenzione del video mapping sia stata attribuita a Paul Robert-Houdin nipote del celebre Jean Eugène RobertHoudin, mentre all’interno della biografia dei fratelli Lumière compaiono delle sperimentazioni condotte dal fratello minore Louis-Jean Lumière già dal 1932. Paul Robert-Houdin architetto francese, ospita presso la Château de Chambord in qualità di curatore artistico il primo vero spettacolo al mondo basato sulla presenza di video mappature. Nel 1952 viene inaugurato il primo “Sons et Lumière show”, uno spettacolo composto da suoni e luci; una forma di intrattenimento notturno basato sulla drammatizzazione
in larga scala di un luogo storico. Effetti speciali e colorazioni vengono proiettati e sincronizzati con musica o narrazione della storia dell’edificio interessato. Enormi facciate di edifici ecclesiastici, navate, dimore storiche e rovine, vengono impiegate come superficie di proiezione. La drammatizzazione del contesto sta alla base della rappresentazione, e gli effetti sono aggiunti per spettacolarizzare l’evento. Lo show diventa popolare in tutta la Francia, scatenando l’attenzione da parte di più di 50 produzioni audiovisive, ma le sue rappresentazioni si concentrano soprattutto intorno alle cattedrali storiche della valle della Loira, e ai palazzi di Versailles. Nel 1960 lo spettacolo viene trasferito alle piramidi di Giza, per coronare quello che ormai è un successo artistico a livello internazionale. Lo show compie il giro del mondo fra i più importanti
luoghi storici, passando per il Partenone in Grecia, al Forum di Roma, a Gerusalemme in Israele, in Canada, in Australia, in India, in SudAmerica il più recente di questi si è svolto nel 2007 sulla Chateau de Septfontaines in Lussemburgo. Le versioni più recenti dello spettacolo hanno incorporato l’uso della musica elettronica, e di autentici dj-set, conservando le qualità commemorative del contesto, ma modernizzando le esecuzioni.
STORIA DEL VIDEO MAPPING 13
1960 - Sons et Lumière show (Piramidi di Giza)
IL VIDEO MAPPING 14
1969
Ghost grinning grim
Ma la storia di questo genere di proiezioni non si ferma a queste rappresentazioni così uniche, e comincia la sua ramificazione sotto una chiave più commerciale dopo il 1969. Il primo caso conosciuto di proiezione su una superficie non piana è diventato anche piuttosto noto; dopo l’apertura della Haunted Mansion a Disneyland, vengono mostrati al pubblico alcuni tipi di illusioni ottiche ad alto contenuto tecnologico, come l’uso di ologrammi, e animatronix accuratamente illuminati; ma verso la fine del giro, 5 busti di gesso cominceranno a cantare la canzone a tema del viaggio in coro; sono i “ghost grinning grim” realizzati filmando le teste dei cantanti e proiettate in 16 mm.
Il prodotto di questa semplice operazione sono 5 busti apparentemente di gesso, che prendendo vita sbalordiscono gli spettatori della Haunted Mansion a Disneyland.
1969 - Animatronix (Disneyland)
1969 - Ghost grinning grim (Disneyland)
STORIA DEL VIDEO MAPPING 15
1980 - 1984 Displacements
L’istanza successiva nella storia della mappatura arriva nel 1980, con una video-installazione di Michael Neimark. Sono state girate delle scene di vita quotidiana con una telecamera rotante, dove dei soggetti (apparentemente una famiglia) interagisce con l’ambiente del soggiorno. Dopodiché l’ambiente è stato completamente dipinto di bianco, per facilitare la forza di contrasto delle proiezioni, e la telecamera è stata sostituita con un proiettore. Il risultato è stato una maschera di proiezione, che volgendosi con la sua rotazione in determinati punti rivelava la presenza di persone alle prese con l’interazione di un semplice ambiente.
1980 / 1984 - Displacements: Painting fase (Michael Neimark)
1980 / 1984 - Displacements (Michael Neimark)
IL VIDEO MAPPING 16
1991
Apparatus and method for projection upon a three-dimensional object
Disney non ha solo aperto la strada alla tecnologia delle proiezioni, ma applica addirittura un brevetto molto dettagliato sull’argomento, intitolato: “Apparatus and method for projection upon a threedimensional object” “Apparato e metodo per la proiezione su un oggetto tridimensionale”. Esso descrive essenzialmente un sistema per la pittura digitale di un’immagine su un oggetto tridimensionale. Dunque Disney pianta saldamente i paletti del proprio operato, conquistando una tecnica innovativa per cui, un oggetto tridimensionale prende vita tramite un proiettore.
L’intero brevetto è disponibile per la lettura su “Google/patenti” oltre che sull’USPTO (United States Patent and Trademark Office) qui citata una sintesi:
“The present invention provides an apparatus and method for projecting images upon a three-dimensional object so as to impart a vivid and realistic appearance upon that object. The apparatus employs graphics processing equipment and a projection means for projecting an image upon the object in a manner which allows for user interaction with the projected image. Specific methods in accordance with the invention allow for an image to be created corresponding to the surface contour of the object, as well as the definition of regions within that contour which may be independently processed for projection upon the object. In this way, a user or guest may create and edit a complete artwork data file which contains all of the perspective, registration and optical keystoning corrections necessary for projecting a vivid and realistic image, and which accurately conveys depth when projected upon the object. The projected image also can be modified in real time, providing animation, interactivity, transformation and even translation.”
STORIA DEL VIDEO MAPPING 17
1991 - Projection upon a three-drimensional object (Disney)
IL VIDEO MAPPING 18
1994
A system and method for precisely superimposing images of computer models in three-dimensional space to a corresponding physical object in physical space Fra il 1991 e il 1994 Disney ottiene sia la registrazione che la pubblicazione del prodotto. A distanza di pochi anni la GEc (General Electric company) una potente multinazionale degli anni 90’ pubblica un brevetto molto affine intitolato: “A system and method for precisely superimposing images of computer models in three-dimensional space to a corresponding physical object in physical space.” “Sistema e metodo per sovrapporre precisamente immagini ottenute da un computer a un oggetto fisico nel suo corrispondente spazio fisico.” Il presente brevetto differisce di poco da quello di proprietà WaltDisney, (visto l’uso più sostenuto di software) dichiarando di poter mappare non solo un singolo oggetto irregolare, ma estendendo l’applicazione all’intero ambiente circostante.
L’intero brevetto è disponibile per la lettura su “Google/patenti” oltre che sull’USPTO (United States Patent and Trademark Office) qui citata una sintesi:
“In order to avoid the problems associated with the abovementioned devices, the present invention discloses a system that superimposes three-dimensional images from computer models or from a three-dimensional database to a corresponding physical object with a one-to-one correspondence. With the present invention, edges, contours, curves, points, assembly instructions, rulings, tooling marks, dimensions, and tolerances, can be superimposed accurately onto an existing physical object, without having to use a mechanical means. This system enables humans to see what could not be seen previously in applications such as engineering design, manufacturing processes, surgical operations, architectural/ interior design, and entertainment-like businesses. In engineering design applications, the present invention can be used to better visualize and understand the performance of designs as they function in the actual environment. For manufacturing processes, the visual enhancement associated with the present invention helps improve manufacturing efficiency and quality with in-process dimensional accuracy check. In assembly operations, the locations of components can be highlighted for complicated assembly jobs. For surgical procedures, the present invention can help doctors visualize humans “through-the-skin” as the image of internal organs is recreated and projected on a visible layer of skin or other tissue. As a result, surgical or other intervening procedures can be planned and performed more precisely and these plans may be projected directly onto the site of surgery. In entertainment-type applications, the present invention can help bring together computer generated virtual reality and the physical world.”
STORIA DEL VIDEO MAPPING 19
1994 - Physical object in physical space (General Electric company)
IL VIDEO MAPPING 20
1998
Paperless Office
Nel 1998 viene riesumata un’idea nata negli anni 40’; l’idea in questione era l’utopico “paperless office” letteralmente “ufficio senza carta”. Il termine viene in qualche modo screditato per fare spazio a “L’ufficio del futuro”. Uno sketch del 1945 iniziò effettivamente a concettualizzare le prime teorie presentate da Vannevar Bush pochi mesi prima, nella rivista “The Atlantic Monthly” dal titolo “As We May Think”. Lo sketch illustrava quale sarebbe effettivamente stato “l’ufficio del futuro” teorizzandone (forse con troppa audacia), la presenza di macchinari e tecnologie specifiche. Tra questi uno dei precursori del world wide web, un vero e proprio sistema operativo analogico, basato unicamente sulla condivisione di microfilm. Il MEMEX. Le informazioni sarebbero state dettate oralmente, trascritte da un macchinario dotato di microbobine, e successivamente condivise tramite collegamenti ipertestuali all’interno di una vera e propria biblioteca di microfilm; le teorie presentate da Vannevar Bush tendevano ad ignorare che si
parlasse di un vero e proprio “sistema” per il quale si sarebbe risparmiato un sacco di spazio cartaceo, per fare posto a dei macchinari altrettanto ingombranti; senza parlare del fatto che la condivisione di micro-bobine sarebbe stata un’operazione lunga, faticosa, e duratura. Teorie audaci ed ancora irrealizzabili, che vengono rispolverate quasi 60 anni dopo in ambito accademico, con lo stesso punto di partenza: Un ufficio privato dell’uso della carta. Partorito direttamente dalla UNC Chapell Hill (Università della Carolina del Nord) l’ufficio del futuro 2.0, è un mondo in cui i proiettori potrebbero coprire qualsiasi superficie. Invece di guardare un piccolo monitor del computer, saremmo stati in grado di provare la realtà aumentata direttamente dalla
nostra scrivania. Questo significa che potremmo usare Skype con le versioni a grandezza naturale dei nostri compagni di ufficio, e visualizzarne i loro modelli in 3D virtuali, e a grandezza naturale, beneficiando della telepresenza; Disporre di artifici per il quale poter comunicare o schematizzare operazioni complicate, tramite gli ologrammi, e poter interagire manualmente con essi. Finalmente la pratica attira l’attenzione degli accademici, e nominano ufficialmente con il termine di “realtà spaziale aumentata”.
STORIA DEL VIDEO MAPPING 21
1998 - Paperless Office (MIT)
IL VIDEO MAPPING 22
1998
PingPongPlus
Sempre nel 1998 la squadra del MIT composta da Craig Wisneski, Julian Orbanes, Ben Chun, il professor Hiroshi Ishii, e John Underkoffler decide di concentrare i propri studi in ambito ricreativo, inventando il PingPongPlus.
scaturite dall’impatto fra pallina, superficie di gioco e racchette.
PingPongPlus è una versione migliorata e digitale del classico ping-pong. Si gioca con ordinarie racchette e palline, e dispone di un “tavolo reattivo” che incorpora sensori, audio e tecnologie di proiezione. I proiettori mostrano modelli di luce e ombra sul tavolo; le palline rimbalzando, rilasciano immagini di increspature dell’acqua; il ritmo di gioco è accompagnato da musica, effetti sonori e immagini. Nel processo, questo progetto esplora nuovi modi per il momento ricreativo atletico e l’interazione sociale con miglioramenti digitali coinvolgenti. Per creare questo tipo di gioco sono stati impiegati otto microfoni posti all’interno del tavolo da gioco, due sensori di pressione (uno per racchetta) per monitorare l’intensità e la direzione con cui la pallina veniva colpita, un computer (da 300Mhz), e un’estensione o traking che calcolava tramite un algoritmo, la posizione e le animazioni
1. Dimostrare l’istanza di un’interfaccia atleticotangibile, sviluppata sulla cima di competenze preesistenti e protocolli di familiarità con il gioco competitivo / cooperativo.
Lo studio del PingPongPlus (o ping pong aumentato) si è posto dei parametri da raggiungere:
2. Sviluppare la tecnologia per una superficie architettonica interattiva, che permetta di monitorare le attività che accadono su di essa. 3. Studiare l’effetto dell’aumento digitale sulla natura competitiva/ cooperativa durante il gioco.
1998 - PingPongPlus (MIT)
STORIA DEL VIDEO MAPPING 23
1999
John Underkoffler Siamo ormai nel “vicino” 1999, l’era dell’avvento del digitale, la diffusione a livello commerciale, dei primi personal computer con conseguente evoluzione delle tecniche di animazione; alcuni di noi conosceranno bene il lavoro svolto da John Underkoffler, nella realizzazione delle interfacce grafiche presenti nel film “Minority report”. L’enorme contributo di questo
personaggio non è filmico, bensì scientifico dato che perfeziona la prima tecnica di proiezione interattiva, basata su un nuovo tipo di lampadina; il “bulb I/0” è di fatti una lampadina (un proiettore accoppiato ad una telecamera) in grado di leggere la superficie sul quale la sua luce viene proiettata, e di comportarsi come un’illuminazione indipendente. 2002 - Minority report (Steven Spielberg)
IL VIDEO MAPPING 24
1999 - Bulb I/0 sperimentation (John Underkoffler) Tramite questo speciale prototipo di lampadina viene realizzata la prima interfaccia interattiva di questo genere, chiamata URP. L’urp è uno strumento di pianificazione urbana, attraverso il quale è possibile compiere test di resistenza, in relazione al vento e alle intemperie. I gesti, le movenze, gli stessi movimenti, suggeriti dallo stesso Underkoffler, influenzeranno la realizzazione di tutte le successive tecnologie dotate di “Touch-screen”.
1999 - UrP (urban planning) (John Underkoffler)
“Il futuro della tecnologia sarà solo schermi, pixel e movimenti delle mani. Tastiere e mouse diventeranno oggetti del passato e anche l’avvento dei device mobili, l’elemento più dirompente dello scorso decennio, sarà un fenomeno superato: tutto si giocherà sulla capacità di manipolare i pixel che compongono le immagini nei display.” (Ct. John Underkoffler)
STORIA DEL VIDEO MAPPING 25
2001
Ramesh Raskar La tecnica è ormai soggetta a numerose sperimentazioni, soprattutto in campo interattivo. Il protagonista di vere e proprie ricerche tecnologiche in questo campo è il signor Ramesh Raskar, che sperimenta inizialmente alcune tecniche di illuminazione basate su singoli oggetti domestici. Ramesh dal 2001 al 2004 conduce degli esperimenti sulla velocità di propagazione della luce, e perfeziona l’interazione fra proiettori, trascinando la tecnica anche ad un campo differente qual è quello dell’industria, e nella ricerca di materiale in archivio; Le nuove tecniche di Ramesh basate su un nuovo tipo di sensore, lo portano a scoprire il riconoscimento e la tracciatura di oggetti in tempo reale, tramite dispositivi di puntamento. I dispositivi di proiezione diventano a tutti gli effetti dei dispositivi semoventi.
2001 - Sperimentazione su archivio (Remesh Raskar)
IL VIDEO MAPPING 26
2001
Oliver Bimber Sempre nel 2001 Oliver Bimber, facente parte dello stesso gruppo di ricerca, ipotizza, sperimenta, e concretizza un sistema di proiezione portatile, più piccolo e destinato all’uso domestico; il sistema in questione è in grado di adattarsi a qualsiasi superficie presente in un appartamento, poiché non è sempre disponibile una parete liscia o completamente bianca, esso è in grado di bilanciare i colori della proiezione a seconda del colore su cui questa avviene.
2001 - Smart projector concept (Oliver Bimber)
STORIA DEL VIDEO MAPPING 27
2006
Pictorial Artwork with Projected Imagery
2006 - Pictorial Artwork (Oliver Bimber)
Il 2006 conoscerà uno degli ultimi passaggi in quelle che ormai sono diventate “scienze delle videoproiezioni”. E’ il caso di Oliver Bimber che esplora il tema dell’arte aumentata per esaminare più attentamente alcuni dipinti ad olio. Oliver Bimber elabora un materiale trasparente e luminescente, in grado di proteggere le tele dei quadri famosi su cui avvengono le proiezioni, ma che allo stesso tempo riesce a raccogliere dati luminosi utili alla sovrapposizione sui quadri; l’utente è quindi portato dalle proiezioni, a scoprire dettagli tecnici interessanti, oltre alle tecniche realizzate per dipingere, l’uso del colore e dettagli ingranditi in tempo reale.
2006 - Pictorial Artwork (Oliver Bimber)
IL VIDEO MAPPING 28
2013
Bot & Dolly
Fra il 2006 e il 2014 assisteremo alla commercializzazione del prodotto “mapping” con conseguente capitalizzazione dell’elemento. Viene impiegato in ambiti così disparati che è impossibile stimare cosa sia stato più significativo di altro; certamente con l’introduzione della tecnologia “kinect” che consente di elaborare la profondità di un oggetto e il suo riconoscimento, la pratica inizia il suo percorso commerciale verso l’interattività. La storia del mapping conosce inoltre il connubio con la tecnologia Arduino, portando il mezzo ad un livello ancora più versatile di quello raggiunto in campo scientifico.
L’ultima sperimentazione rilevante, è stata compiuta nel 2013 da un team di videomaker altamente tecnologizzati; parliamo del team bot&dolly che associa questo genere di video proiezioni al movimento di autentici robot-dolly.
2013 - Robot-dolly (Bot & Dolly)
2013 - Box: behind the scene (Bot & Dolly)
STORIA DEL VIDEO MAPPING 29
E’ il primo caso di proiezione in movimento che non comprenda movimenti lineari come semplici rotazioni. I robot presenti nella sala hanno sincronizzato contemporaneamente il movimento di due proiettori molto potenti, delle superfici di proiezione, e della cinepresa con cui è stata registrata la performance, per un totale di sei robotdolly. Il team lavora circa un anno per realizzare un’animazione in bianco e nero, in cui due pannelli bianchi, sono mossi e sincronizzati tramite delle grosse braccia robotiche.
2013 - Robot-dolly camera (Bot & Dolly)
2013 - Box: projection-mapping on moving surfaces (Bot & Dolly)
IL VIDEO MAPPING 30
Il team s’impiegherà in seguito su questo genere di lavori, decisamente fuori dagli schemi, oltre ad essersi reso noto con un lavoro di esposizione lungo 20 giorni e con svariati mesi di preparazione. E’ il caso del tributo ad Halo, dove un
robot sincronizzato, posava un punto di esposizione su una scultura luminosa; i punti venivano aggiunti alla scultura ad ogni visita sul sito ufficiale di Halo Reach, tematizzando il ricordo dei caduti nella storia di questo videogioco.
2013 - Halo: behind the scene (Bot & Dolly)
STORIA DEL VIDEO MAPPING 31
EPILOGO Se vi chiedessero com’è nato il moderno video mapping, non sareste dunque in grado di fornire una spiegazione semplice e lineare; Il mapping nasce da un connubio complicato, fra magia, tecnologia, architettura, scienze, ed arti visive, senza contare le recenti commistioni con il design. Le tecnologie a riguardo oggi sono cambiate notevolmente, e le interfacce “user friendly” hanno sicuramente svelato buona parte del mistero che ha avvolto la pratica dagli anni 50’ ad oggi. Il video mapping è un argomento tanto vasto quanto complicato, e data la vastità dell’argomento, in quasi settanta anni si è diversificato e ramificato ulteriormente, portando ogni artista con questa nuova chiave d’espressione fra le mani, a fare di questo mezzo un proprio mezzo, personalizzando la pratica, sperimentando, e godendo di questo nuovo tipo di pennello, in grado di disegnare su qualsiasi tipo di tela.
IL VIDEO MAPPING 32
diversificazioni e ramificazioni Ignorare che il video mapping abbia dato una scossa a diverse branche dell’arte visiva, sarebbe un po come ignorare il contribuito di Brunelleschi alla pittura; così come quest’ultima, l’arte della video mappatura ha aperto nuove strade in ambiti artistici disparati, contribuendo a sviluppare, talvolta ad ampliare e migliorare pratiche già esistenti.
DIVERSIFICAZIONI E RAMIFICAZIONI 33
IL VIDEO MAPPING 34
DJ SET Mapping Festival 9th edition (Ginevra) Il compito del vj nella cultura dell’arte elettronica, è quella di accompagnare visivamente quanto svolge il dj. L’avvento del video mapping, ha cambiato profondamente questa professione, portando i visual jokey odierni a proiettare sopra superfici irregolari che all’interno dei più moderni dj set svolgono la funzione comune di “contorno musicale”. La commistione di questi due elementi (Visual e Mapping) ha dato origine ad una nuova professione qual è quella dello “stage mapping” o “visual mapping” talvolta in congruenza con la professione del light designer. Con il recente supporto del design il compito dello “stage-mapper” è quello di progettare una cornice tridimensionale, all’interno della quale il dj può svolgere il suo compito. Il vantaggio di questa pratica sta nell’immedesimazione musicale e visiva, oltre a concentrare ulteriormente l’attenzione verso il protagonista musicale di quest’ambiente. Potrebbe dirsi ambito “scenografico” se non fosse che anche la scenografia ha ricevuto un grosso sostentamento dalle video mappature.
Mapping Festival 9th edition (Ginevra)
DIVERSIFICAZIONI E RAMIFICAZIONI 35
REGIA TELEVISIVA L’ambito scenografico sino a questi anni, non aveva mai conosciuto l’aiuto del video proiettore, solo in alcuni contesti scenografici, quali sono quelli delle sfilate di moda, in cui i fondali da cui le modelle fuoriescono dovevano presentarsi come perfettamente omogenei agli occhi dei più critici; il vero cambiamento lo si può notare all’interno delle trasmissioni televisive, dove le scenografie fisiche sono state rimpiazzate da teli e pannelli bianchi, per fare
posto al mestiere del “light design” ovvero lo studio dell’illuminazione di un dato contesto artistico. Dunque Visual e Light design stanno gradualmente sostituendo gli scenografi nella realizzazione dei vari background, siano questi teatrali o televisivi.
“Abbiamo usato 40 Alpha Profile 1200 Clay Paky per proiettare dei rettangoli luminosi sulla parete di fondo, e costruire così una vera e propria scenografia intrecciando i fasci tra di loro.” (Ct. Franco Busi)
Le Iene’ Studio (Franco Busi)
IL VIDEO MAPPING 36
TEATRO Conoscere il teatro in maniera analitica significa saper apprezzare il livello espressivo degli attori in scena, poter beneficiare della narrazione è direttamente proporzionale all’immersività che questa propone nella migliore delle sue forme. Il teatro degli anni 80 conosce attraverso l’influenza Pollockiana, la sua forma performativa più estrema; Per “teatro interattivo” si intendono due tipi di pratiche, in cui la commistione fra attore/ sfondo/drammatizzazione/ spettatore cambiano il loro modo di interagire. Il teatro interattivo è una pratica molto recente, in cui gli spettatori in sala possono interagire con le proiezioni in live delle scenografie, e cambiare colore, intensità, chiarezza della scena; la bravura dell’attore sta nel seguire quello che il contesto dettato dallo spettatore propone. Per “teatro interattivo” si intende anche la medesima pratica in cui però lo spettatore non può interferire con la narrazione, ma gli stessi attori possono interagire tramite le loro movenze con gli sfondi, determinando una narrazione densa di effetti visivi e sorprese.
I movimenti degli attori vengono catturati da una camera a infrarossi, adatta a interpretarne le caratteristiche di profondità della drammatizzazione. L’elemento illusorio del video tende a confondere la fruizione dello spettatore. Il suo antenato più antico è il teatro cinese, o meglio teatro delle ombre cinesi; Fra gli esponenti più importanti di questa ramificazione troviamo Klaus Obermaier. Klaus Obermaier, musicista elettronico e artista digitale austriaco, ideatore di numerose opere multimediali e crossmediali (dalla video art ai progetti web, dalle installazioni interattive, alla computer music). Klaus Obermaier ha realizzato sin
dagli anni Ottanta opere innovative nei campi della danza, della musica, del teatro, dei nuovi media; ha partecipato ai maggiori festival internazionali (Ars Electronica di Linz, Intermedium/ZkM, Singapore Arts) e ha collaborato con i danzatori del Nederlands Dans Theatrer, Chris Haring, DV8, con gruppi musicali come i Kronos Quartet, l’Art Ensemble of Chicago, il Balanescu Quartet, e con musicisti del calibro di Ornette Coleman, John Scofield, Peter Erskine.
DIVERSIFICAZIONI E RAMIFICAZIONI 37
“Per me è assolutamente naturale l’uso delle tecnologie digitali nei miei progetti e nelle mie performance perché la componente tecnologica fa ormai parte della cultura di ogni giorno, non c’è nulla di straordinario in questo. Personalmente la uso semplicemente perché sono abituato a farlo, sono abituato a usare tecnologia per i miei lavori ormai da vent’anni e non mi domando più perché lo faccio. Come per la luce, nessuno si domanda più quale tipo di contributo possa dare alla narrazione teatrale, ma è evidente che sia così! Allo stesso modo per me la tecnologia è parte integrante della performance, a volte addirittura il punto di partenza e non soltanto un oggetto aggiunto”. (Ct. Klaus Obermaier)
Apparition performance (Klaus Obermaier)
IL VIDEO MAPPING 38
SPORT Quello che possiamo sostenere con certezza è che lo sport, qualsiasi al mondo è composto da momenti morti come il prepartita, dove gli spettatori prendono posto, o la pausa fra primo e secondo tempo calcistico, ben 15 minuti; o perché non citare il basket fra un quarto e l’altro passano fra i 10 e i 15 minuti dove gli spazientiti si alzano per andare a sbrigare i propri bisogni, o comprano un pacchetto di pop-corn e una bibita. I “momenti morti” all’interno di una sessione di gioco, vedono il protagonismo di uno sport “a se stante” qual è quello del cheerleading negli States, (praticamente inesistente in Europa). Questo appunto serve a comprendere meglio quali siano gli ambiti intaccati dalle videomappature, e
quanto i loro cambiamenti siano diffusi e profondi. Dunque negli USA soprattutto è ormai diffuso l’utilizzo di video mappature che tendono a coprire i momenti morti all’interno degli eventi sportivi. Celebre lo spettacolo di addio a Zydrunas Ilgauskas, dove per celebrare la fine della sua carriera sportiva vengono impiegati 16 proiettori in HD, occupando tutta la superficie del campo da basket.
Addio a Zydrunas Ilgauskas (Quince Imaging)
DIVERSIFICAZIONI E RAMIFICAZIONI 39
Video Mapping on the tennins ground (Fred Viktor) Anche il tennis ha recentemente risposto all’esigenza di coprire i tempi morti con uno spettacolo di grandi dimensioni, in quanto sport Anglosassone, è privo di intrattenimento in stile Cheerleading e vista la sua diffusione strettamente europea, lo si può cercare in internet (video mapping tennis court) e trovarne traccia ad ogni evento tennistico europeo.
IL VIDEO MAPPING 40
Pingtime: la sfida al ping pong in realtà aumentata (Rokolectiv 2013) Ma così come nel teatro, nasce l’esigenza della variante interattiva; E’ il caso di un team di videomaker di Melbourne che rivisita una vecchia idea degli anni 90’ (PingPongPlus o ping-pong aumentato) rispolverando il tema dell’interfaccia atletica tangibile. E’ difficile immaginare una partita di calcio che interagisca in fase di gioco con degli effetti visivi, potrebbe essere addirittura pericoloso; meno difficile invece parlare di interazione di uno sport da tavolo all’effetto visivo, e inoltre riflettere sul significato che un tale cambiamento potrebbe avere. OpenPool: The Super Billiard (OpenPool team)
DIVERSIFICAZIONI E RAMIFICAZIONI 41
Tron Legacy premiere (ENESS) Per quanto avvilente possa essere, probabilmente non assisteremo mai ad un evento sportivo che interagisce con il video mapping, almeno per quanto riguarda gli sport di squadra, dove la mappatura avrà sempre un ruolo marginale, mentre per quanto riguarda gli sport individuali il contesto è aperto a tutte le pratiche che presentano una superficie di gioco estesa e ben visibile. Il limite sta nel rendere possibile il gioco in questione, per poterne aumentare la percezione visiva degli spettatori, ed il divertimento dei giocatori, senza correre il pericolo di rendere il gioco impraticabile per scarsa visibilità. Un buon esempio lo si può trovare negli sport cosiddetti “da tavola” dove un team di Interaction Designer (ENESS da Melbourne), viene ingaggiato da Disney nella gigantesca operazione di marketing indetta per uscita del film TRON LEGACY, dove i tracking delle evoluzioni degli skater danno vita a forme generative proiettate sulla superfice della rampa. Lo stesso Team è stato ingaggiato dalla RedBull per elaborare sport ed eventi di sorta.
Red Bull Kronplatz Cross (ENESS)
IL VIDEO MAPPING 42
EVENTI DI INAUGURAZIONE (AUTOMOBILI)
Leggendo e documentandomi sugli argomenti che riguardano il video mapping, l’elemento che emerge chiaramente è che oggi questo genere di espressività, è spesso limitato agli eventi di grossa portata, siano questi sportivi, o sia che riguardino grosse S.p.a. come Audi o Porche.
Accent on the wall: behind the scene (Accent)
Insomma là dove sono presenti un certo numero di spettatori, e un evento da promuovere, si può pensare ad un adattamento; non c’è traccia di un “primo car mapping”, in rete è palesato il fatto che i primi siano stati i francesi della Peugeot a promuovere la presentazione della nuova 208 nel vicino 2010. Molto presto il video mapping diventa una consuetudine durante gli eventi di presentazione delle automobili, e in alcuni casi la fusione di questi due elementi si è rivelata vincente.
Accent on the wall: behind the scene (Accent)
DIVERSIFICAZIONI E RAMIFICAZIONI 43
Jaguar MY13 mapping (Auditoire)
IL VIDEO MAPPING 44
MODA Ogni giorno sentiamo parlare di moda come scelta mutevole di capi di abbigliamento, quando in realtà la moda è un sistema multidimensionale che non riguarda solo l’abbigliamento, ma comprende tutte le attività umane e che si basa sulla scelta di criteri sociali di gusto, di un modello di comportamento e di un’avanguardia costante, per tanto è la manifestazione più pura e reattiva dell’era presente. Recentemente le nuove tecnologie di proiezione, sono state letteralmente inglobate dagli stilisti, dirottando le tradizionali sfilate verso una via più altamente tecnologizzata; l’era del multimediale avanza a passo di gigante, irradiando il proprio prodotto in un sistema di ramificazione particolarmente efficace. Entro dieci anni le sfilate con modelle fisiche presenti sulla passerella non esisteranno più, e saranno rimpiazzate da modelle proiettate olograficamente ed effetti speciali; tramite il beneficio della telepresenza, presto tutti quelli che non saranno fisicamente indispensabili o al contrario indispensabili, ma non fisicamente disponibili potranno essere sostituiti dalla propria immagine virtuale.
Musion Eyeliner System: Hologram of Kate Moss (Dimensional Studios)
Empreinte l’Atelier: Lingerie Hologram (Animatik Studio&Carlin International)
DIVERSIFICAZIONI E RAMIFICAZIONI 45
INSTALLAZIONI MULTIMEDIALI & VIDEO INSTALLAZIONI In relazione alle esposizioni, alle mostre d’arte, ai grandi eventi come il salone del mobile, abbiamo visto nascere i metodi di esposizione ed interazione più disparati; non è un caso che qualcuno abbia usato il linguaggio completamente nuovo della video mappatura per mostrare al pubblico un concetto personale, rendendo pubblica la propria arte. Il contesto statico delle installazioni multimediali/ video installazioni si addice perfettamente alla presenza di video proiettori. Linguaggio nuovo, parole nuove, prodotti nuovi. Da notare come la proiezione mappata tende addirittura a cambiare profondamente alcune forme d’espressione. A questo proposito interviene un autentico precursore, Pablo Valbuena che con il suo progetto Augmented Sculptures è probabilmente lo sperimentatore più interessante in questo campo. Il suo lavoro con le strutture architettonica audiovisive è in costante evoluzione: celebrato alla
scorsa edizione di Ars Electronica, il progetto di “scultura aumentata” dell’artista spagnolo è stato esposto in diversi contesti e situazioni, assumendo di volta in volta nomi e forme differenti. Da EntramadoPlaza de luz,insallazione/ scultura audiovisiva urbana aumentata, all’ingresso del Medialab del Prado, a Conde Duque sviluppato invece per il festivl Interactivos 07 sempre di Madrid: in tutti questi casi, il lavoro di Valbuena si dimostra assolutamente efficace e spettacolare, nel giocare percettivamente con i canoni sconosciuti di suono, luce e spazialità Sincronia, sinestesia, ribaltamento dei pregiudizi
dello spettatore riguardo a bidimensionalità e tridimensionalità sono gli elementi chiave del lavoro di Valbuena, per il quale il design estremamente raffinato non è un fine (sterile) ma uno strumento per giocare con le nostre percezioni riguardo allo spazio ed al tempo.
IL VIDEO MAPPING 46
“Sono interessato alla ricerca sul tempo e lo spazio. Il mio retroterra è connesso a questo, ho studiato architettura a Madrid e,dopo, ho iniziato a sviluppare architetture digitali per film e videogiochi; la questione spaziale è fondamentale per me. Lo studio del tempo in relazione allo spazio è altrettanto importante: lo spazio e il tempo sono qualcosa che non può essere separabile.” (Ct. Pablo Valbuena)
Augmented Sculptures(scultura aumentata) (Pablo Valbuena)
DIVERSIFICAZIONI E RAMIFICAZIONI 47
Super Pop series (Tony Oursler) Restando negli stessi ambiti, un percorso espressivo più radicale e meno architettonico è quello di Tony Oursler, nato nel ‘57 a New York; le sue opere sono caratterizzate da un mixed media di scultura, performance e video che verso la fine degli anni ‘80 delineano la sua cifra stilistica costituita da volti surreali e deformi proiettati su solidi o oggetti comuni, che creano un dialogo straniante tra il visitatore e queste creature aliene, che riescono a suscitare sentimenti che passano facilmente dalla repulsione alla tenerezza. Installation: Face to Face (Tony Oursler)
IL VIDEO MAPPING 48
EPILOGO Dopo l’avvento di Valbuena, la ricerca in rete che corrisponde alla parola “videomapping” cominciò ad arricchirsi gradualmente di risultati, i primi dei quali dello stesso Valbuena; ma ancora più sconvolgente è il risultato delle sperimentazioni di utenti qualunque presenti sul tubo spesso videomaker dilettanti, persone semplicemente dotate di un proiettore o studenti che arrangiano una costruzione cuboidale simile alle sculture aumentate di Pablo Valbuena, un caso che potrebbe definirsi come “home-made mapping” talvolta con risultati sorprendenti.
DIVERSIFICAZIONI E RAMIFICAZIONI 49
IL VIDEO MAPPING 50
realizzazione di una scultura aumentata Bisogna puntualizzare che la situazione in cui la proiezione ha luogo è lo strumento più importante di cui si dispone, pertanto una volta scelto, bisogna studiare una planimetria per la disposizione della superficie e dei proiettori, e produrre delle animazioni in 3D o in 2D adatte alle superfici di proiezione e alla prospettiva da cui vengono osservate. La difficoltà di questa pratica compare ad ogni passo della sua realizzazione, non esistono proiezioni di mappature facili da realizzare, e non sono da meno le competenze che bisognerebbe avere per realizzarle. Il procedimento dunque è composto da diversi passi da seguire per realizzare un prodotto suggestivo, che inganni necessariamente l’occhio dello spettatore con una buona dose di illusioni ottiche.
REALIZZAZIONE DI UNA SCULTURA AUMENTATA 51
PRIMO PASSO: Contesto
E’ importante scegliere il contesto ed il luogo giusto motivi “tecnici”. L’inquinamento luminoso è il primo fattore con cui ci si scontra nella realizzazione di una mappatura, e le problematiche legate a questa caratteristica devono necessariamente essere risolte prima di procedere con eventuali prove e test; pena, drastici cambiamenti di programma e una gran perdita di tempo. Un luogo troppo luminoso non favorirà l’illusione ottica scaturita dalle animazioni, pertanto è bene oscurare possibili noie date dall’illuminazione esterna e interna e lavorare in un contesto più buio possibile. La scelta di contesto inoltre rifette molto sull’immedesimazione dello spettatore, sulle impressioni, sulle emozioni che un artista cerca di trasmettere.
IL VIDEO MAPPING 52
SECONDO PASSO: Planimetria
Il motivo per cui storicamente i lavori più accurati di questo genere nutrono la partecipazione di almeno un architetto, è proprio la fase in cui il mapper studia la planimetria per la disposizione della superficie e dei proiettori (e non solo). Potenzialmente un proiettore può lavorare su una superficie disposta a 45gradi rispetto ad esso, ma a discapito della
luminosità di proiezione. Dunque l’accorgimento principale della pratica è disporre i proiettori il più possibile frontalmente rispetto alle “facce” della forma da noi mappata. In questo modo viene coperta interamente la superficie di proiezione e vengono eliminati fastidiosi difetti di “stretching” dell’immagine, al solo scopo di conservate “l’integrità luminosa” del proprio lavoro.
La disposizione dei proiettori dunque dipende dalla complessità della superficie di proiezione, anche se in verità la scultura o superficie viene costruita a seconda le esigenze del contesto. A questo scopo viene spesso contattato un designer che costruisca una superficie in funzione della proiezione, e che possa raccogliere luce nella maniera più lineare possibile.
REALIZZAZIONE DI UNA SCULTURA AUMENTATA 53
TERZO PASSO: Modello di superficie
Il terzo passo di una mappatura è (se non si dispone di una superficie preesistente come una fabbrica dismessa o la facciata di un palazzo) la costruzione di una superficie adeguata alle proiezioni, questo significa che il mapper che dispone di una planimetria dovrà studiare la forma della propria superficie di proiezione (o viceversa studiare la disposizione se è già presente una superficie) tenendo conto di una serie di dati molto importanti.
Vj Video Mapping for Derrick May: Fase di progettazione (Giorgio Rossano)
IL VIDEO MAPPING 54
MATERIALI Potrebbe sembrare un dettaglio, ma la verità è che esiste una precisa gamma di materiali che conserva un’ottima risposta all’illuminazione nella realizzazione di una scultura aumentata. Per “ottima risposta” s’intende un materiale fotoluminescente che non completamente privo di riflessi, necessariamente più vicino al colore bianco, e che non assorba il dato luminoso inviatogli. In particolare il polistirolo e i suoi derivati: -
Vj Video Mapping for Derrick May (Giorgio Rossano - Teatro Ansaldo Milano)
polistirene poliplat poliuretano polietilene
Sono tutti materiali reperibili in qualsiasi negozio di “fai da te” e i loro costi solitamente sono molto ridotti a livello commerciale, l’unico difetto è che vanno resi perfettamente lisci con l’aiuto di appositi stucchi e vernici, e la stabilità di questi va studiata con estrema accuratezza,al fine di prevenire eventuali vibrazioni fra contesti più rumorosi.
Vj Video Mapping for Derrick May: Fase di test (Giorgio Rossano - Teatro Ansaldo Milano)
REALIZZAZIONE DI UNA SCULTURA AUMENTATA 55
GRANDEZZE Il modello deve essere proporzionato al contesto in cui viene presentato, e dunque visibile in ogni suo dettaglio dal punto più lontano in cui questo verrà osservato. Un modello troppo grande per il luogo in cui viene osservato potrebbe risultare obsoleto o “vuoto”, mentre al contrario un modello troppo piccolo potrebbe risultare troppo semplice o scarno.
LA PROSPETTIVA DI FRUIZIONE Bisogna sapere quali sono le possibilità di fruizione che vengono offerte allo spettatore, pertanto è bene conoscere la prospettiva e l’angolo da cui questa verrà osservata, cercando di mediare le distanze in fase di produzione.
IL VIDEO MAPPING 56
QUARTO PASSO: Animazioni
Una volta completate le prime fasi di posizionamento e disposizione degli elementi, la fase di produzione sembrerà l’unica fase mai esistita nella realizzazione di questo genere di pratica. Le animazioni utilizzate all’interno della propria mappatura possono essere in 3D o in 2D. Dunque per realizzarle è importante conoscere la tipologia di software utili a questo scopo. Il range di software utilizzati in questo tipo di
pratica deve necessariamente avere gli estremi del compositing, meglio se permette l’uso dei canali in 3D. Una volta replicata in 3D la superficie di proiezione, posso iniziare ad elaborarne le caratteristiche luminose, volumetriche, le dinamiche, i colori, le animazioni, i movimenti, ma tutto deve rimanere all’interno della superficie data.
Frammenti Reattivi: Ottavia (NewID Rahimi, Florian Moser, Florian Huchthausen)
REALIZZAZIONE DI UNA SCULTURA AUMENTATA 57
QUINTO PASSO: Atto della Mappatura
Il culmine del lavoro, viene raggiunto da quest’ultima azione. L’atto della mappatura è l’ultimo passo prima di iniziare a beneficiare della sua fruizione; a questo scopo servono gli appositi programmi di mappatura. I software in questione devono permettere di suddividere i video prodotti per quante sono le superfici da gestire, e di adattare ogni angolo di proiezione alla sua superficie in maniera estremamente rapida. che per il momento risultano essere in appena 3.
Nuit Blanche: Projection test (MadMapper Workshop)
Nuit Blanche: Projection test (MadMapper Workshop)
IL VIDEO MAPPING 58
EPILOGO Per quanto riguarda la mia fase di ricerca, penso che gli argomenti affrontati precedentemente possano rispondere in maniera abbastanza esaustiva alla domanda: Che cos’è il video mapping? Per epilogare con poche parole, è lo studio accurato del contesto in cui si proietta, è l’attenzione più spassionata ad una lunga serie di dettami tecnici, è un’attenta forma di riflessione del luogo in cui questo avviene, è la cornice del video che spezzando i propri confini, versa il proprio fluido visivo su qualsiasi forma lo consenta.
02 MY SMART MAPPING “La tecnologia non è importante, è solo uno strumento utile. Essenziale invece è avere la voglia e il coraggio di volare.” (Ct. Claudio Sinatti)
COME NASCE L’INSTALLAZIONE
L’idea è venuta parlando con un amico di argomenti affini, io gli spiegai che la tecnologia in commistione con l’arte era la vera chiave dello sviluppo culturale in Italia, e che in breve saremmo stati pervasi dalle interazioni urbane; lui mi raccontò della scuola accanto, che ha organizzato un concorso per il quale bisognava trovare un modo di convincere i passanti ad entrare, tramite la visione di una vetrina “multimediale” non necessariamente interattiva. Una volta tornato a casa cercai quel concorso, fra le varie decine indetti settimanalmente dalla DomusAccademy, ne trovai solo uno riguardante le “vetrine” fisiche come le conosciamo noi, e non era descritto come nel racconto del mio amico; ora non è importante che sia o non sia stato veritiero o preciso nel raccontarmelo, il punto è che quell’idea catturò la mia attenzione, indirizzando i miei studi verso una direzione precisa. Già da tempo interessato all’argomento delle video mappature, mi sono adoperato in un paio di occasione, al mestiere del Vj per cercare più confidenzialmente un approccio. L’idea principale dunque è quella di incorporare l’uso di video proiettori ad una vetrina interattiva, o meglio
agli oggetti presenti in vetrina, cercando di esporre i passanti all’interattività di quest’ultima. L’idea è stata sviluppata in maniera certamente prototipale, è quando questa ha catturato l’attenzione di una galleria d’arte di Milano, ho deciso di portarla avanti fino alla sua commercializzazione. L’idea dunque sarebbe quella di mettere a disposizione del pubblico e dei passanti, un’interfaccia con cui si possono controllare delle video proiezioni all’interno della vetrina, nella maniera più immediata possibile. La visione del prototipo iniziale suggeriva all’utente tramite un QR code di SCARICARE un’applicazione, il telecomando in remote per MAX/msp; una soluzione notevolmente macchinosa, che porterebbe l’utente ad aspettare anche diversi minuti, per un periodo limitato di intrattenimento. L’istanza successiva fu quella di creare un’interfaccia online, all’interno del quale è possibile accedere solo una persona per volta; l’interfaccia è studiata interamente in linguaggio di programmazione java script, anche se per accedervi il percorso è lo stesso (tramite QRcode scanner) la sua disposizione è decisamente più immediata.
MY SMART MAPPING 64
logiche di funzionamento Come già accennato, l’intenzione è quella di controllare il video-mapping di una scultura aumentata, tramite un’interfaccia di tipo MIDI, programmata dall’autore. Per accedere all’interfaccia, l’utente deve poter fotografare un QR code, e disporre di una connessione internet. La procedura in cui si intende letteralmente “guidare”
l’utente è composta di regole ferree, per far si che quest’ultimo venga condotto all’interno di un’esperienza multimediale totalmente pilotata dall’autore. L’intera esperienza rimane quindi un’esecuzione messa totalmente a disposizione dell’utente, che diviene così parte integrante dell’opera; Installazione (Giorgio Rossano)
LOGICHE DI FUNZIONAMENTO 65
Ogni riga rappresenta uno strumento virtualizzato, sviluppato per “suonare” lungo una scala di cinque note o pulsanti (scala pentatonica). Ma come entrano in relazione i pulsanti fra essi? E di quali regole logiche si compone l’uso di uno strumento multimediale simile?
Esempio di interfaccia
MY SMART MAPPING 66
Rispettando un ritmo basico di quattro battute l’utente potrà “suonare” i pulsanti dell’interfaccia; quindi l’uso di ogni pulsante viene limitato dalla durata dello stesso. Per ogni riga, può essere premuto un solo bottone contemporaneamente, per un totale di 4 bottoni (uno per riga). Premendo lo stesso bottone già in uso per un’esecuzione, si attiva il meccanismo di “coda” tramite il quale lo stesso bottone, viene “prenotato” per il turno di battute successivo. Ogni pulsante può essere messo in coda per non più di tre volte consecutive, dopodichè toccherà all’utente scegliere se mantenere l’esecuzione dello stesso pulsante ulteriormente, o cambiarlo. Lo status grafico del bottone messo “in coda” è riconoscibile tramite la presenza di un cerchio al suo interno; tanti più cerchi avrà al suo interno un bottone, quanti saranno i turni di esecuzione che l’interno strumento dovrà rispettare, prima poter suonare un’altra nota. Possono essere messi in coda per il turno di battute successivo, anche i bottoni che non sono attualmente in esecuzione, preservando l’aspetto di inconsapevolezza dell’utente, su ciò che sta realmente compiendo.
Esempio di bottone in coda
LOGICHE DI FUNZIONAMENTO 67
Per assurdo i tasti dell’interfaccia potrebbero essere premuti in maniera assolutamente randomatica, casuale, o del tutto inconsapevole; il compito dell’interfaccia e della sua programmazione sta nel riordinare quei contenuti, accodandoli ed incastrandoli adeguatamente, in un’armonica esecuzione dagli aspetti e contenuti audiovisivi. La presenza dei quattro strumenti è disponibile per i primi trenta secondi di utilizzo; in seguito a questo breve intervallo di tempo, essi cambiano, fornendo all’osservatore nuove possibilità di abbinamento, per nuovi strumenti; preservando l’attenzione da parte del fruitore, otteniamo una connotazione musicale differente, fatta di ritmi ed immagini differenti. Dunque la fruizione dei contenuti da noi proposti, è composta da tre momenti ritmici diversi, e sviluppata su ritmi sempre più sostenuti, fino al culmine del minuto e mezzo, dove i contenuti non potranno più essere controllabili, e guideranno l’utente al termine dell’utilizzo.
MY SMART MAPPING 68
QR code Un codice QR (in inglese QR Code, abbreviazione di Quick Response code, codice a risposta veloce) è un codice a barre bidimensionale (o codice 2D), ossia a matrice, composto da moduli neri disposti all’interno di uno schema di forma quadrata. È’ impiegato per memorizzare informazioni generalmente destinate a essere lette tramite un telefono cellulare o uno smartphone. In un solo crittogramma sono contenuti 7.089 caratteri numerici o 4.296 alfanumerici. Il nome QR è l’abbreviazione dell’inglese quick response (risposta rapida), in virtù del fatto che il codice fu sviluppato per permettere una rapida decodifica del suo contenuto.
QR CODE 69
Applicazione IKEA realtà aumentata (IKEA) Tutti gli smartphone del mondo, possono scaricare (o sono dotati in serie) un QR code scanner, per tanto è possibile visitare il sito internet di un prodotto, in qualsiasi momento della giornata, sia questo il tavolo della colazione, o una passeggiata al parco. Ma il codice QR è destinato a fare molto di più di quanto sia stato fatto in campo pubblicitario; questo genere di scambio di informazioni immediato, è ultimamente entrato in relazione con i contesti legati al controllo, o al pagamento, ad esempio per l’impiego di coupon, o sul treno, dove è possibile esibire il proprio biglietto elettronico, per fare la spesa al supermercato e tenere sotto controllo il proprio budget. Insomma un accomodamento, destinato a velocizzare operazioni talvolta lente e macchinose.
MY SMART MAPPING 70
Pasticcini animati (made in NY) Il codice QR è inoltre predisposto all’ambito creativo, tramite logaritmo di tracking è infatti possibile tracciare una situazione interamente ricostruita in 3D; una volta che il logo viene visualizzato tramite un supporto adeguato, esso ci mostrerà qualcosa in più ci un semplice codice crittografato, regalandoci un aumento della percettività visiva. Questo ha dato vita a numerosissime sperimentazioni, le più importanti delle quali in ambito turistico, viste le capacità ormai vastissime dei logaritmi di tracciatura è ormai possibile tracciare e riconoscere qualsiasi tipo di soggetto, sia questo un palazzo, o un oggetto di natura comune. Lo stesso logaritmo è stato impiegato da numerosissime applicazioni dal 2006 in poi, che tramite lo stesso calcolo, e un sistema di geo localizzazione (GPS) riescono a “mappare” intere città, fornendo informazioni dettagliate sui monumenti, e le località che si intende visitare. Riprendendo il Colosseo di Roma con il mio smartphone, posso visualizzarne il tracking della sua ricostruzione in 3D. Questo però riguarda la modalità più snodata, più dinamica di questa tecnologia;
QR CODE 71
EPILOGO Ma torniamo all’installazione multimediale dell’autore; nel nostro caso, il logo QR serve esclusivamente all’indirizzamento di un interfaccia online, potrebbe dirsi “web app”ma senza soffermarci sulle disambiguazioni di questi due termini (web app. e interfaccia online) vi dico subito che si tratta di un interfaccia in rete, capace di controllare un device output. L’indirizzamento è possibile tramite la creazione e registrazione di un codice QR, che una volta associato ai contenuti interessati, provvederà a mostrarceli nella maniera più immediata possibile. Questa nuova pratica, risponde alla domanda ormai crescente di “far uscire” liberare, i contenuti multimediali dalle cornici del monitor, o della televisione allargando il paesaggio tecnologico all’inverosimile.
MY SMART MAPPING 72
lo smartphone Senza elencare tutto ciò che è riuscito a combinare questo piccolo oggetto sovrastante, sappiamo tutti quali sono i settori intaccati dall’arrivo commerciale del mela fonino, o meglio: sappiamo tutti quali sono? La risposta completa probabilmente potrebbe darla solo il creatore in persona, dovrebbe essere una domanda da porre a Steve Jobs. Lo smartphone è un oggetto teso a cambiare profondamente il rapporto dell’utente alle interfacce, aprendo addirittura una parentesi indirizzata unicamente alle interfacce mobili. Ecco che i sogni di John Underkoffler iniziano a materializzarsi, se non con un interfaccia olografica, con un’interfaccia di tipo gestuale, dove alcuni piccoli movimenti delle dita iniziano a diventare un vero e proprio “codice” che l’utente deve seguire per fare operazioni comuni (ingrandire fotografie, viaggiare in internet, fotografare, filmare, registrare, interagire), il tempo in
cui le interfacce gestuali teorizzate da Underkoffler, diventa sempre più reale, vicino, possibile. L’odierno smartphone è la prova fisica che le interfacce, diventano sempre più tangibili, sempre più incarnate fra gli utenti, che ormai sono destinati a diventare degli autentici Cyborg, in grado di controllare sempre più strumenti attraverso dei singoli movimenti; l’uomo
è destinato ad incorporare nel vero senso della parole, questo genere di tecnologie di controllo, che si faranno man mano sempre più indossabili, fino all’incarnazione completa, dove indosseremo dei visori al posto delle lenti a contatto, dove basterà il movimento di una mano per controllare situazioni di grosse dimensioni, e responsabilità.
LO SMARTPHONE 73
Nel campo estetico, nell’ambito dell’arte tecnologica, da qualche tempo vengono sperimentate queste tematiche. Si può affermare che buona parte delle esperienze più interessanti di questi ultimi anni, realizzate con l’ausilio di strumenti tecnologici, vada nella direzione della trasformazione dell’opera da “oggetto materiale” a “processo di relazioni”, da forma immutabile e auto significante a forma metamorfica in perenne trasformazione, a seconda dell’interazione con l’osservatore, con l’ambiente, con il contesto nel quale è situata, e di come l’interazione con l’elemento umano si compia nel segno della multimedialità e della polisensorialità. La caratteristica fondamentale di questo tipo di espressione, che si articola in una varietà di scelte teoriche, tecniche, e performative, è che l’opera senza elementi di interazione (il fruitore e l’ambiente in cui è situata) è priva di senso, poiché necessita di uno stimolo esterno e di carattere fisico per esistere in quanto opera d’arte: dunque è aperta, dinamica, giacché le possibilità di interazione sono molteplici. Lo smartphone è l’elemento, o meglio lo strumento che meglio racchiude tutte le
funzioni e i significati di interattività degli ultimi anni, poiché particolarmente potente come dispositivo tecnologico, consente di incanalare informazioni e stimoli di carattere fisico, all’interno di un contesto puramente tecnologico, se dovessimo rapportarlo alla funzione di interfaccia tangibile, dovremmo dire che esso E’ l’interfaccia tangibile. Lo smartphone per la nostra video installazione ha lo scopo di indirizzare gli utenti, all’interfaccia tangibile, capace di controllare la scultura e le proiezioni di mappatura proiettate su di essa; un perfetto esempio
di stimolazione fisica, che agisce tramite la sua multimedialità sull’ambiente circostante l’opera, trasformandola in qualcosa di più ampio, qualcosa che il nostro sistema nervoso sta ancora imparando a comprendere. Ho già avuto modo di spiegare quanto sia importante il contesto in una situazione di interattività con un’opera d’arte, proprio perché l’opera presa singolarmente non avrebbe nessun tipo di funzione e ne significato senza il minimo stimolo fisico esterno, e senza l’ambiente circostante, essa si ridurrebbe ad una scultura cuboidale bianca. Scultura di polistirolo (Angela Ceravolo)
MY SMART MAPPING 74
periferica principale Il cervello della nostra installazione multimediale è un computer Macintosh. La peculiarità nell’uso di questo sistema operativo, piuttosto che l’ultraaffermato Windows, sta nella sua versatilità, e nella molteplicità di linguaggi che esso riesce letteralmente a parlare. Fin dai primi anni in cui l’avvento dei personal computer ha giocato un ruolo fondamentale per l’utente, i sistemi MAC hanno sempre svolto il lavoro singolare di competitor, senza mai riuscire a surclassare completamente l’avversario. Con l’arrivo dei computer portatili, intorno alla fine degli anni 90’ le potenzialità di questo sistema sono riuscite a superare di gran lunga la potenza di calcolo, l’utilità e lo scopo delle interfacce Windows; il commento più comune che un utente qualsiasi potrebbe fare è: “Windows è sensibile ai virus, alle infezioni virtuali, e pertanto necessita di continua manutenzione, senza contare l’assurda vicenda in cui per un problema di software talvolta
bisogna agire sull’hardware, cambiando pezzi talvolta costosi; i Mac invece sono autosufficienti, si auto puliscono, sono efficienti, raramente contraggono problemi di natura virale, e finché il loro uso si dimostra cosciente, non è necessaria manutenzione, pertanto un Imac, o meglio un Mac fisso, può durare fino a 10 anni in più di un sistema Windows”. Dunque la scelta nell’uso di questo sistema operativo sta nel fatto che non
saremmo dovuti incappare in fastidiosi problemi di virus, né in fastidiosi rallentamenti dovuto all’affaticamento della macchina, inoltre i sistemi Mac, possiedono una dinamicità di linguaggio molto più ampia, e tutti i software, gli hardware, e la tecnologia prodotta nell’ultimo decennio è molto più propensa alla compatibilità con Macintosh piuttosto che windows, ormai considerato macchinoso, lento, e poco affidabile.
PERIFERICA PRINCIPALE 75
PRE-PRODUZIONE per comprendere a pieno le modalità con cui viene svolto questo progetto di laurea, ho trovato fondamentale la descrizione di questo passo; ovvero in questa fase della mia video mappatura, è opportuno scegliere in che modo “avviare” i contenuti fruibili dall’osservatore, ed esistono due tipi di comunicazione creativa fra interfaccia, e dispositivi di output:
MY SMART MAPPING 76
PRE-PRODUZIONE Il linguaggio generativo
Questi avrebbe permesso alla video installazione, di generare dei contenuti automatici, partendo da una base di programmazione, o da un software dotato di parametri che lo permettono (oltre che da uno stimolo esterno). Tuttavia la produzione automatica di contenuti visivi è una tematica affrontata sin dagli anni 80’ con il pioniere della computer music Pietro Grossi, che dal 1986 produce computer grafica, scrivendo programmi che generano processi autonomi, che creano immagini sullo schermo, assolutamente imprevedibili e irrepetibili, elaborando il concetto di HomeArt “arte
Homeart (Pietro Grossi)
creata da e per se stessi, estemporanea effimera, oltre la sfera del giudizio altrui”. L’imprevedibilità del linguaggio generativo mi ha condotto verso una scelta differente, senza togliere che in passato sia stata una conquista, la generazione di contenuti assolutamente randomatici, ha affascinato e affascina tutt’oggi.
“Per la prima volta in assoluto viene presentata una pubblicazione reinventata graficamente al computer, da me istruito in ogni sua copia. Una sezione di questi unicum, che tratta di homeart, varia anche di contenuto.” (Ct. Pietro Grossi)
PERIFERICA PRINCIPALE 77
PRE-PRODUZIONE La pesca in archivio
Quella che io riconosco con questo nome, (pesca in archivio) probabilmente negli anni 80’ non sarebbe mai stato possibile, in quanto le proprietà di archiviazione dei contenuti era ancora piuttosto limitato, e la riproduzione di un video, così come il concetto stesso di “video” non era ancora affermato; è vero si che i processi generativi integrati ad una video installazione simile, sarebbero calzati a pennello, ma è anche vero che la sovrapposizione di due o più processi generativi, è un’operazione particolarmente difficoltosa se non si dispone di un processore particolarmente potente, e talvolta comprende anche delle estensioni a livello di hardware; a questo proposito possono essere un esempio i pacchetti di “pandora’s box” contenenti dei dispositivi in grado di allargare le capacità del proprio computer, ma fondamentalmente “a se stanti” nel senso che possiedono delle capacità incredibili, a prescindere dal computer che ne padroneggi il controllo, un mondo completamente nuovo ai miei occhi, in cui non ho ancora osato avventrarmi. Ho voluto scansare lo scoglio del linguaggio generativo, per avere più controllo sulla presenza dei miei contenuti; oltremodo con i
modelli di Mac conosciuti a livello commerciale, è possibile selezionare tramite interfaccia midi, diversi video presenti sul nostro archivio locale (lo storage interno del computer), più di quelli che mi avrebbe offerto l’opzione generativa. Dunque si parla di preproduzione grafica in relazione ai contenuti da me manualmente creati, e non in relazione ai contenuti creati da un logaritmo, o da una programmazione; E’ una scelta dettata dal mio volere, oltre che da un tecnicismo che non mi permette di agire altrimenti, in qualsiasi caso ritengo che questo sia il modo migliore per fare valere i contenuti creati con le mie capacità.
MY SMART MAPPING 78
I contenuti I contenuti in se’, sono stati creati a mia discrezione, e dettati dalla pura e semplice ispirazione, oltre che dalla conoscenza tecnica di alcuni tipi di software; come
citate precedentemente, le applicazioni in grado di creare questo tipo di contenuto, puramente grafico e creativo, devono necessariamente avere gli estremi del compositing,
in modo da poter gestire audiovisivi di piccolissima taglia, ma nella maniera più completa possibile (suono, qualità grafica, perfezionismo creativo).
Ma è compito del video artista, quello di trovare la relazione di processi giusta, anche fra programmi incompatibili esiste sempre una via d’accesso, anche mediante tre o più passaggi, di software
in software, preservando la forma. Il divertimento e la passione impiegata nel comporre questo processo di relazioni si esprime nella sua forma più viva, a partire da un modello in 3D della
scultura su cui la mappatura avrà luogo; per intenderci, è come dare un plico di carta bianca ad uno scrittore in preda all’ispirazione.
PERIFERICA PRINCIPALE 79
Svelato il mistero dei contenuti, e della loro creazione da parte dell’autore, ci apprestiamo a comprendere ancora meglio, in maniera più completa il ruolo, di una macchina complessa qual è il computer dotato di sistema Macintosh, e delle sue decine di compiti all’interno dell’installazione. Il compito del nostro machintosh per la video installazione non è una semplice mansione, come l’interpretazione di un dato o la rappresentazione grafica di un valore; esso gestisce un intero processo di relazioni fra software, catturando il dato inviato dal nostro smartphone, interpretandolo ed inviandolo ad un software di programmazione, conosciuto con il nome di MAX/msp.
MY SMART MAPPING 80
PROGRAMMAZIONE Max 6
Max è un ambiente di sviluppo grafico per la musica e la multimedialità ideato ed aggiornato dall’azienda di software Cycling ‘74, con base a San Francisco, California. È utilizzato da oltre quindici anni da compositori, esecutori, progettisti software, ricercatori e artisti interessati a creare software interattivo. Lo stesso applicativo Max è altamente modulare: la maggior parte delle sue routine esiste in forma di libreria condivisa. Una API permette a terze parti lo sviluppo di nuove routines (chiamate external objects, oggetti esterni). Come risultato, Max possiede un largo bacino d’utenza costituito da programmatori - non ricollegabili a Cycling ‘74 - che ne potenziano il software con estensioni (commerciali e non) al programma. Grazie appunto al suo progetto estensibile e alla sua interfaccia grafica, Max è comunemente considerato una sorta di lingua franca per lo sviluppo di software inerente alla musica interattiva.
PERIFERICA PRINCIPALE 81
Dunque Max parla esattamente la nostra lingua in questo contesto, e il ragionamento modulare che ne consegue ci ha permesso di sviluppare una cella (successivamente duplicata tante volte tquanti sono gli stimoli possibili) in grado di leggere l’input proveniente dall’esterno. Una volta catturato il dato con un Java router, esso provvede ad inviare lo stimolo al bottone assegnato, avviando l’esecuzione di un piccolo audiovisivo. La peculiarità del linguaggio
generativo, sta nel fatto che l’osservatore non è a conoscenza del risultato, non sa quello che succederà premendo quel preciso bottone, ma non è il nostro caso. Ho fatto questa precisa scelta, non perché io non conosca il linguaggio generativo; ho scelto di montare l’installazione in funzione di un archivio locale, o meglio i video avviati dagli stimoli esterni, sono stati accorpati nel cervello della video installazione. Lavorando invece con il
linguaggio generativo, il risultato sarebbe stato ugualmente sorprendente, ma avrebbe richiesto un tipo di approccio diverso, oltre che svariate specifiche tecniche che i normali Macintosh non possiedono.
Cella di programmazione per l’avvio dei singli contenuti (Max/MSP)
MY SMART MAPPING 82
Bisogna ugualmente puntualizzare che per come l’installazione è stata progettata, l’osservatore non è ugualmente a conoscenza del risultato finale. Il vantaggio di questa scelta, è quello di non appesantire il processore del Macintosh (già lievemente provato) ma sfruttare il più possibile la forza della mia scheda grafica. Per fare si che questo avvenga, l’esecuzione dei miei contenuti ha bisogno di essere ulteriormente spalmata nel passaggio successivo; il foto d’uscita dei miei dati da max/msp alle applicazioni successive, avviene per via di un “jitter” o meglio un oggetto esterno, che agisce ancora all’interno di Max/msp. L’oggetto in questione è la fase terminale della cellula creata per simulare un’interfaccia di tipo midi. L’uscita del dato dal programma, è dolcemente indirizzata verso “Shyphon”. Shyphon è un software molto leggero, in grado di dirottare un dato proveniente dal processore verso la scheda grafica, pertanto è utile nel campo del vjing e delle interazioni fra programmi, in quanto si identifica come un ponte, un passaggio, un canale, in grado di fuorviare il dato, e dirigerlo a nostro piacimento verso il programma che ci interessa utilizzare, una sorta di distributore virtuale.
PERIFERICA PRINCIPALE 83
Compatibile solamente con i sistemi Macintosh, Shyphon ha instaurato ormai la propria rete di programmi dediti alla compatibilità, a cominciare dal sistema operativo (citato poco fa) e a concludere con tutti i software attualmente conosciuti per produrre video performance, e live di tipo audio e video. Nella nostra situazione dunque, viene utilizzato un jitter, proveniente da max/msp che invia il dato a shyphon, che viene raccolto nello step successivo, dal software usato per l’atto finale della mappatura, MadMapper. Ma per spiegare l’uso di questo software, è opportuno procedere verso lo step successivo, in quanto Madmapper fa ancora parte della relazione fra processi virtuali, affrontati all’interno del cervello dell’intera operazione, ma è anche il metodo più diretto di comunicazione verso il video-proiettore, che è letteralmente l’estuario in grado di vomitare dati visivi, proiettando luce.
MY SMART MAPPING 84
il proiettore Per quanto possa sembrare ovvio, la video mappatura (qualsiasi) culmina con una superficie di proiezione, con una cornice, con qualcosa fatta per contenere i miei contenuti, l’oggetto, o superficie irregolare su cui l’artista brama, architetta, i propri minuziosi stratagemmi di comunicazione, su cui s’ingegna nel trovare accostamenti degni della superficie su cui vengono proiettati. Non è tutto così liscio come può sembrare, ovvero esistono delle specifiche tecniche che i proiettori devono rispettare, affinchè tutto il sistema funzioni nelle dovute maniere,
“è come l’ingranaggio di un orologio, basta una rondella più piccola di un centesimo di millimetro, e l’orologio diventa un oggetto inutile.” Le “rondelle” in questione sono metafisicamente comparabili alle specifiche tecniche del proiettore utilizzato; ogni buon mappatore che si rispetto,
è a conoscenza delle capacità, e di ogni singolo dato fornito dal libretto di istruzioni del video proiettore. Essi si presentano in diverse tipologie di prezzo, e variano dai 300€ ai 200.000€. Ma perché questa differenza abissale di prezzo? Oltre che per fasce di prezzo i proiettori si dividono nelle varie tipologie a seconda dello scopo per il quale vengono acquistati; esistono i piccoli proiettori da poche centinaia di euro, creati per le presentazioni aziendali, o per mostrare progetti, o pdf, o diapositive, per poi passare ai proiettori creati per l’intrattenimento domestico, in HD con un buon rapporto di contrasto, ma un raggio di proiezione molto corto;
ed infine esistono dei proiettori estremamente potenti, in grado di illuminare una strada buia “a giorno” (come se fosse giorno) dotati non solo di un raggio di proiezione molto lungo (decine di metri) ma anche di una potenza luminescente molto alta, espressa con l’unità di misura dei Lumen (mille Lumen = 1 Ansi Lumen). Alcuni dei dispositivi più potenti di questo genere, hanno recentemente sviluppato al loro interno un sensore, in grado di leggere la profondità di proiezione e di mettere a fuoco a seconda di quale sia la distanza di proiezione; bisogna immaginare di proiettare su una scultura aumentata, dove le forme più varie creano una superficie
IL PROIETTORE 85
impossibile da proiettare per intero e senza sbavature di fuoco. Non stiamo parlando delle vecchie sperimentazioni di Oliver Bimber, dopo del quale era possibile scannerizzare la foto di un oggetto, per contrastare in maniera corretta i colori su cui avviene la proiezione, si tratta di una tecnologia di correzione in relazione alla profondità. A questo proposito una scultura aumentata molto grande e molto irregolare ha bisogno di questo genere di proiettori, che nella stragrande maggior parte dei casi, è incorporata dai dispositivi stereoscopici. A questo proposito, a seconda di quanti e quali dispositivi di proiezione si possiedono, bisogna decidere la loro disposizione; la disposizione dei proiettori è la fase più critica, in quanto talvolta per questioni di spazio e dipendentemente dal contesto in cui si pratica, non è possibile posizionarli, portando la percentuale di riuscita della performance, al ribasso.
Tenendo conto del fatto che un proiettore può potenzialmente illuminare una superficie disposta a 45° rispetto al fascio di luce, viene presa la decisione di quanti proiettori adoperare, e la differenza è sostanziale; Illuminando una scultura aumentata, bisogna che un unico fascio di luce arrivi correttamente a coprire tutte le facce della struttura cuboidale, e nel caso in cui un solo dispositivo non riesca a coprire l’intera superficie, si possono impiegare due o più dispositivi, ma l’importante è ri-studiarne l’assetto, ed inoltre trovare un modo per cui i due fasci di luce non si sovrappongano. Per ovviare alla sovrapposizione, esistono essenzialmente due escamotage:
MY SMART MAPPING 86
Sovrapposizione Sovrapporre due piccolissime porzioni di video, sfumandole fra di esse. E’ un passo della video mappatura che non ha molto a che vedere con i software impiegati, semmai con il sistema di hardware che abbiamo usato per incrementare la forza grafica del nostro computer, al quale abbiamo connesso due diversi dispositivi di
ouput. L’estensione usata per leggere due proiettori contemporaneamente si chiama “matrox” ed è essenzialmente un allungamento della scheda video presente nel sistema Macintosh (che non avrebbe mai retto lo sforzo di uno schermo principale, e due altri output quali sono i videoproiettori).
IL PROIETTORE 87
Esclusione
L’altro procedimento per far si che i due fasci di luce non interferiscano fra di loro, sta nella pianificazione stessa della superficie di proiezione, ovvero; se la scultura aumentata lo consente, (come nel nostro caso) i due proiettori possono essere disposti a 45° verso di essa, in questo modo è la scultura stessa che non permette che i due fasci si interrompano, ricevendo luce da entrambe i lati, destra e sinistra.
MY SMART MAPPING 88
MADMAPPER MadMapper è un’autentica svolta nel campo del Vjing, e delle video mappature; Tramite il trascinamento dei vertici del rettangolo video, posso gestirne in maniera semplice e veloce, la disposizione lungo una superficie irregolare. La differenza nel nostro specifico caso, è l’elaborazione della profondità di proiezione; Proiettare sulla facciata di un palazzo, su un muro, o su qualsiasi altra cosa che possa essere considerato video-mappabile, è differente rispetto alla mappatura su forme irregolari, o sculture aumentate, la profondità su cui deve avvenire la proiezione potrebbe nuocere alle capacità di focalizzazione del proiettore e pertanto, è bene fotografare la superficie proiettabile, connettendo una video-camera, usata come input esterno. Dopodichè MadMapper provvederà ad una scansione spaziale, rispettando la forza di fuoco del dispositivo che ha scattato la fotografia, ed elaborerà un pixel alla volta, nella volontà di rendere la scultura irregolare più bianca ed omogenea possibile. Proprio come iniziarono le sperimentazioni di Oliver Bimber nel 2001, mad mapper possiede la funzione di “proiezione adattativa”.
IL PROIETTORE 89
Spacial Scanner (output Canon Eos 500D)
A noi effettivamente non serve, dato che ci siamo ingegnati per ottenere già da prima una scultura perfettamente bianca, ma dato che il procedimento è lo stesso, e la nostra scultura presenta delle irregolarità nel campo focale, una volta ottenuta la scannerizzazione spaziale della forma su cui intendiamo
proiettare, proveremo tramite una suddivisione in livelli la buona riuscita della “test card”, sovrapponendo alcuni dei nostri contenuti. La fase più divertente di MadMapper sta nel posizionamento dei vertici; I video raccolti da Shyphon, vengono inviati a mad mapper ed interpretati a nostro piacimento, tramite
dispositivo di puntamento (mouse). Il nostro proposito suggerisce che creando contenuti, questa fase venga facilitata il più possibile, con video che permettono la mappatura in pochissime mosse, eliminando la possibilità di perdere tempo mascherando parti o sporcature in fase di mappatura.
MY SMART MAPPING 90
il modello mappato Come già spiegato, la realizzazione di una scultura aumentata, comporta alcuni accorgimenti, tra i quali il materiale con cui viene realizzata, il contesto in cui andrà posizionata, e la forma stessa della scultura. A questo ultimo proposito, è stato domandato ad una designer dell’accademia NABA di Milano, se si potesse realizzare una scultura cuboidale, in grado di ricevere luce sia da destra che da sinistra in maniera indipendente, di modo che i raggi provenienti dai proiettori non si sovrappongano. In altre parole, è nato il bisogno di piegare le caratteristiche della scultura, al volere della mappatura; la scultura in questione è stata prodotta dopo vari tentativi, in modo che la luce proveniente da destra, non toccasse nessuna delle facce cuboidali sul lato sinistro, e viceversa. La richiesta è stata accolta dalla collaboratrice designer Angela Ceravolo, studentessa di design al secondo anno della nuova accademia di belle
arti. La scultura inoltre rispetta alcuni canoni secondo il quale, un proiettore debba fare uno sforzo minimo, di compensazione focale, in quanto non presenta grossi divari di profondità. Nonostante le mie continue e repentine correzioni, la studentessa è riuscita ad elaborare un prodotto tecnicamente utile al mio scopo, preservandone l’eleganza statica, peculiare di una scultura composta unicamente da cubi bianchi.
IL MODELLO MAPPATO 91
Proposte di modelli (Angela Ceravolo)
MY SMART MAPPING 92
il contesto Come già accennato, la scelta di contesto è una delle prime idee che s’insinua nella mente di un’artista; avere una valida idea dunque incorpora nella prime delle sue forme anche una scelta ipotetica di contesto o situazione in cui la performance può effettivamente avere luogo. Dopo una lunga riflessione tramite alcune letture di Georges Perec, “specie di spazi” negli ultimi mesi la lettura del contesto ha iniziato ad essere più mirata, oltre che ad aver assunto un significato differente; Che cos’è un luogo? Contestualizzare la propria installazione multimediale, può essere rischioso, in quanto talvolta il contesto, può essere talmente virato, talmente radicato in un dato ambiente, da averne un uso, uno scopo; Dichiarare apertamente che un’opera ha un utilizzo effettivo, può ucciderla, a volte. Se è vero che la pubblicità è un’arte, non possiamo ugualmente fraintendere e creare della pubblicità, volgare, sfrontata davanti all’osservatore; il mio parere
personale è che la pubblicità cessa di essere arte, dal momento in cui finisce il rispetto verso chi la fruisce. Quando un’azienda ti propina un prodotto tramite il mezzo televisivo, può scegliere di farlo offrendo anche qualcosa, magari un microfilm, uno sketch, un aneddoto divertente; La pubblicità che interrompe un film, per parlarti di uno yogurt, di un farmaco, che spalma il loro simbolo, tentando di imprimerlo nella nostra mente per più tempo possibile, nella possibilità che questo ci condizioni, questo è quello che può definirsi volgarità. Mc Luhan diceva che non siamo noi a guardare la televisione, è la televisione che ci guarda, perché è lei a creare i contenuti adatti a noi, si
adatta, si plasma sui nostri bisogni, e questo può dirla lunga sulla violenza con cui si è scagliata addosso a noi, fin dal principio del suo utilizzo. Il mezzo di cui ho cercato di spiegare il funzionamento, sviluppa e racconta i propri contenuti, raccontandosi praticamente su qualsiasi cosa; noi abbiamo scelto di raccontarli, e nel frattempo ucciderli spiegandone l’utilità, mentre vorrebbe
IL CONTESTO 93
essere un mezzo di interazione estrema verso l’ambiente, ammettendo che una vetrina, faccia parte dell’ambiente o sia definibile come “luogo”. A questo proposito George Perec teorizza numerosi tipi di interazione a livello sociale, fra diverse nazionalità; Secondo Perec che ricorda costantemente qual è la differenza fra un luogo domestico asiatico, e un luogo domestico tipico Nordoccidentale; ma riflettendoci le “vetrine” in cui vengono presentati i prodotti di uso comune, possono essere considerati dei luoghi? Che cos’è un luogo? Ho iniziato a concettualizzare l’uso della video installazione multimediale, intorno ad un contesto commerciale, come una forma di visual interattiva; Il primo negozio a cui è interessato un concetto simile è “combines XL” piccola galleria d’arte del centro di Milano, immagina di poter vedere un giorno la propria vetrina interagire con i passanti, un valido pretesto per farli entrare, un ottimo biglietto da visita per il negozio, più profondamente è una forma di interazione verso l’ambiente che ci circonda, nel fare una passeggiata o recarsi effettivamente da qualche parte; L’innervarsi della tecnologia, divenuta di minuto in minuto
sempre più interna, sempre più inglobata nei gesti quotidiani si manifesta nella sua forma più pura e ampia, nell’uso delle tecnologie mobili, gli smartphone, e ormai da qualche tempo gli swarwatch, ancora più ergonomici, indossabili, ed incorporati. Forse un giorno dovremo solo fare dei gesti per compiere azioni tecnologiche smodate, e le interfacce saremo noi, ad avere un computer installato accanto al cervello come un’estensione, ed impareremo il linguaggio gestuale per comunicare, e probabilmente l’oralità non avrà più un senso, tanto da involvere l’essere umano, privandolo della bocca. XL Combines (vetrina)
MY SMART MAPPING 94
EPILOGO Il tentativo di creare un luogo intero, come un quartiere o una via, completamente videomappato è decisamente fuori portata, ma potrebbe diventare interessante, passare davanti ad una vetrina, e trovarvi una scultura cuboidale, che colpisce nella sua staticità e semplicità frattalica; interagirci è facile, basta un gesto ormai, quello che si può considerare un gesto.
03 CONTRIBUTI
CONTRIBUTI 98
sitografia bibliografia ¤¤ ¤¤ ¤¤ ¤¤ ¤¤ ¤¤ ¤¤ ¤¤
projection-mapping.org urbanexperience.it www.digicult.it wikipedia.it http://patft.uspto.gov www.oginoknauss.org http://www.antivj.com http://hiwhim.com
¤¤ “Son et lumière”. Encyclopædia Britannica 2010. Retrieved 30 March 2010 ¤¤ “How to Build a Pyramid”. Archaeology Magazine. Maggio/Giugno 2007 ¤¤ “Illustrated history of projection mapping”. Brett Jones ¤¤ “Performing media”. 1.1 politica e poetica delle reti. Carlo Infante ¤¤ “L’avventura del cinematografo”. Marsilio Editori, Venezia 2007. Sandro Bernardi ¤¤ “Performing media”. La nuova spettacolarità della comunicazione interattiva. Carlo Infante
¤¤ “Imparare giocando”. Interattività fra teatro e ipermedia. Carlo Infante ¤¤ “Popular Science”. magazine online 2006 pag 56 ¤¤ “Realtà del virtuale”. Mappresentazioni tecnologiche, comunicazione, arte. Pier Luigi Capucci. ¤¤ “Arte e Tecnologie”. Comunicazione estetica e tecnoscienze. Pier Luigi Capucci. ¤¤ “Il corpo tecnologico”. L’influenza delle tecnologie sul corpo e sulle sue facoltà. Pier Luigi Capucci.
SITOGRAFIA - BIBLIOGRAFIA - SOFTWARE 99
software
¤¤ ¤¤ ¤¤ ¤¤ ¤¤ ¤¤ ¤¤ ¤¤ ¤¤ ¤¤ ¤¤ ¤¤ ¤¤ ¤¤ ¤¤ ¤¤
MadMapper Max/msp controller Max/msp Shyphone Adobe After Effect CS5/6 Trapcode form Trapcode sound Plexus Audio Waveform Photoshop AutodeskMaya¬¬ Modo Luxology 601 Isadora Blender Cinema 4D Unity