Augmented Frame by Alessandro Mimiola

Augmented Frame Archittetura effimera del Giovedi Grasso in Piazzetta San Marco a Venezia

Arch. Carlo Altremi Arch. Alessandro Mimiola Arch. Gary Di Silvio

278184 278464 278171

Master Universitario Annaule di Secondo Livello in”Architettura digitale” A.A. 2012/2013 RELATORI Arch. Caterina Balletti Arch. Francesco Guerra Arch. Fabio D’Agnano

INDEX CONCEPT APPLICAZIONI AUGMENTED REALITY

4 5-8

1.1 Street museum London 1.2 Augmented 3d printing 1.3 Arart 1.4 Jekyll and Hyde - Augmented reality book QUALE SOGGETTO ?

9 - 10

2.1 Il Canaletto CAMERA MAPPING 3D MODEL 3D PRINTING AUGMENTED REALITY

11 - 18 19 - 24 25 26 - 30

3.1 Importazione del modello 3D 3.2 Tracciamento 3.3 Creazione dello scenario finale BIBLIOGRAFIA

CONCEPT Attualmente, quasi tutti gli strumenti digitali portatili, dagli smartphone ai tablet, hanno raggiunto una potenza di calcolo paragonabile a quella di piccoli computer. Sono inoltre dotati di numerosi sensori come: camera ottica, accelerometro, giroscopio e GPS. Tali sensori vengono sfruttati quasi esclusivamente per l’utilizzo di applicazioni dedicate all’intrattenimento. L’idea, che diverrà poi il concept della tesi, è quella di sfruttare le potenzialità dei moderni dispositivi mobili anche per scopi culturali fornendo la possibilità di vivere gli spazi museali con modalità ed esperienze nuove che potrebbe essere definite “turismo storico”. L’obiettivo è quello di liberare quanto è stato nel tempo rinchiuso e conservato negli spazi fisici dei musei classici per diffonderlo nelle città e consentirne la visione e la fruizione sfruttando la c.d. “realtà aumentata”, una tecnologia tra le più originali prodotte dalla rivoluzione informatica moderna. L’utente potrà arricchire ciò che di reale vede coi proprio occhi mentre visita un particolare sito di una città con tutte le immagini e le informazioni del tempo passato mediante un semplice inquadramento del soggetto attraverso la camera ottica del proprio dispositivo portatile: inquadrando piazza S. Marco risulterà possibile, ad esempio, vedere con immagini 3D l”apparato effimero” in materiale ligneo che veniva eretto durante le celebrazioni del “giovedì grasso” in epoca barocca, percependone le dimensioni, l’ingombro e la sua collocazione nella piazza. La città in questo modo non viene solo guardata come essa si presente nel momento presente ma anche vissuta nelle sue varie epoche passate percependone i cambiamenti e le evoluzioni riferiti ai luoghi fisici e agli usi e costumi.

Concept

APPLICAZIONI AUGMENTED REALITY 01

www.museumoflondon.org.uk/london-wall

STREET MUSEUM LONDON Street museum London è un’applicazione per smartphone e tablet sviluppata dallo studio creativo “Brothers and sisters” per il museo di Londra. L’applicazione sfrutta la camera e il sistema di geolocalizzazione presenti in quasi tutti i moderni dispositivi portatili e permette agli utenti di sperimentare la visione della realtà inquadrata dal proprio telefono con sovrapposta l’immagine dello stesso luogo riferita al secolo scorso.

Applicazioni AR

inition.co.uk

AUGMENTED 3D PRINTING Lo studio inglese Inition ha sviluppato un’applicazione di realtà aumentata per iPad denominata augmented 3d printing che permette agli architetti di animare i propri modelli architettonici statici. Inquadrando il modello 3D fisico con il tablet, è possibile richiamare una varietà di informazioni che si sovrappongono in overlay a quest’ultimo. Come base per questa sperimentazione è stato usato un progetto di Zaha Hadid dove è possibile, per esempio, vedere per ogni piano le funzioni [01], i dati dei flussi dei venti [02] e il sistema distributivo dell’edificio [03].

Applicazioni AR

arart.info

ARART ARART è un’applicazione sviluppata da un team di artisti giapponesi che trasforma famosi quadri in veri e proprie animazioni in tempo reale. La telecamera dello smartphone inquadra e riconosce la tela facendo iniziare l’animazione, quindi è possibile vedere la Gioconda che fa l’occhiolino e che pian piano si sgretola lasciando intravedere dietro di se il ritratto di Leonardo. Oltre alla Gioconda anche altre importanti opere artisitche prendono vita grazie all’applicazione come ad esempio i Girasoli di Van Gogh, le illustrazioni del Bianconoglio di Alice nel Paese delle Meraviglie e perfino la copertina dell’album Kid A dei Radiohead.

Applicazioni AR

martinkovacovsky.ch

Jekyll and Hyde augmented reality book Il designer Martin Kovacovsky ha esplorato e dimostrato, con il progetto Jekyll and Hyde, come la realtà aumentata può essere utilizzata nelle pubblicazioni cartacee. Basato sul famoso racconto “Lo strano caso del Dr: Jekyll e di Mr. Hyde”, il designer realizza un libro che offre dei contenuti multimediali aggiuntivo se combinati con uno schermo. Il progetto cerca di fondere, in un nuovo formato, contenuti digitali e analogici utilizzando una vasta collezione di applicazioni sviluppate dallo stesso designer.

Applicazioni AR

QUALE SOGGETTO ? Data la connessione dei temi affrontati durante il Master con la città di Venezia, la scelta del soggetto non poteva che ricadere su quest’ultima. Da un primo studio della storia di Venezia, ci siamo soffermati sulle festività storiche in uso nel passato che ora non vengono più praticate. Alcune di questo erano molto suggestive e affascinanti come la festa dei pugni dove due fazioni rivali si fronteggiamo a suon di pugni sui ponti di Venezia. La più caratteristica celebrazione tra quelle da noi esaminate è senza dubbio quella del giovedì grasso che si teneva in Piazzetta San Marco, che seppur in forma diversa continua è presente ancora oggi . La festa del Giovedì Grasso celebrava un’ importante vittoria della Serenissima Repubblica, contro il patriarca Ulrico devoto dell’;imperatore, a causa di una bolla del Papa Adriano IV che assegnava tutta la Dalmazia al Patriarcato di Grado. Approfittando della guerra in corso tra Venezia e le città di Padova e Ferrara Ulrico aiutato da feudatari della Carinzia e del Friuli, assalì la città di Grado e costrinse alla fuga il patriarca Enrico Dandolo. Il Doge Vitale Michiel II non fece passare molto tempo per riparare l’oltraggio, puntò la potente flotta veneziana verso Grado, sconfiggendo il povero patriarca Ulrico e i dodici feudatari ribelli, annientando così tutto il loro orgoglio. Condotti a Venezia, per intercessione del Papa, furono rilasciati, ma Venezia chiese come risarcimento che ogni anno per il Giovedì Grasso il Patriarca di Aquileia mandasse ai veneziani un toro e dodici maiali ben pasciuti. Gli animali venivano accolti quindi come prigionieri in Palazzo Ducale, posti sopra a delle complesse ricostruzioni lignee (apparati effimeri) rappresentanti i castelli friulani . Tale onore era affidato alla Corporazione dei fabbri, assistiti da quella dei macellai (becheri) che poi li macellavano per tutto il popolo veneziano: dal nobile al condannato; da qui nasce il detto veneziano: “tagiar la testa al toro” (che significa togliere di mezzo gli ostacoli.. finire in maniera definitiva un problema), poiché con il taglio netto della testa del toro era posta la fine dello spettacolo. Quale soggetto ?

Nel 1420 questa usanza fu abolita quando il Friuli passò sotto la dominazione di Venezia in quanto la festa si era trasformata in gioco senza malizia che durò fino alla fine della Repubblica e della sua origine storica rimase solo la partecipazione del doge. La festa del Giovedì Grasso trovava il suo culmine nelle acrobatiche imprese di funanboli che eseguivano le loro imprese. Il famoso “volo del Turco” spettacolo che si tenne per la prima volta nel 1548 da un equilibrista turco (da qui il nome) che con bilanciere in mano salì camminando su una fune da una barca in mezzo al bacino S.Marco sino alla cella del campanile di S.Marco. Ed è proprio da una delle rappresentazioni di tale festività che abbiamo scelto il soggetto della nostra tesi, più precisamente la raffigurazione della festa da parte del Canaletto

Di tale quadro esistono diverse versioni, eseguite da grandi artisti come il Bella, il Brustolon, il Guardi che mantengono intatta la composizione di base del Canaletto e che si diversificano con riferimento all’ atmosfera del momento raffigurato attraverso l’impiego di tecniche differenti. All’interno di questo quadro si possono riconoscere tutti gli elementi che caratterizzavano la celebrazione e, soprattutto, l’apparato effimero posto al centro della scena. Esso è raffigurato con dovizia di dettagli: si tratta di una struttura lignea disposta su tre livelli sovrapposti di dimensione decrescente culminanti con una cupola dalla cui sommità si erge la statua di Atlantide che sorregge il mondo. Quale soggetto ?

CAMERA MAPPING Data la scarsità delle informazioni reperite per quanto riguarda l’”apparato effimero”, si è fatto ferimento al quadro del Canaletto sul quale è stato eseguito il camera mapping. Il processo di Camera mapping permette di trasformare l’immagine 2d in uno scenario tridimensionale, proiettando le varie texture dell’immagine su solidi semplificati che imitano le volumetrie rappresentate nel quadro. Tale processo ci ha permesso di identificare le principali proporzioni dell’apparato, necessarie per poter poi realizzare, con una certa aderenza all’originale, il modello 3d. Il primo problema che abbiamo riscontrato è stato individuare l’esatta posizione della camera. Il Canaletto, oltre ad essere un esperto nell’uso della camera ottica, dal punto di vista metodologico, era solito utilizzare due particolari sistemi di ripresa: mantenere fermo il punto di vista e disegnare due o più prospettive ruotando il quadro prospettico gradualmente. In questo caso si otteneva quindi un unico punto di vista e diversi punti principali, uno per ciascuna prospettiva di base. Il dipinto era il risultato, quindi, della composizione delle diverse prospettive. Un utilizzo particolarmente sofisticato e intelligente della camera ottica e delle tecniche della prospettiva gli permetteva di rappresentare le vedute utilizzando le porzioni meno scorciate e più descrittive di due o più prospettive. E’ molto probabile che questi trucchi prospettici derivino dall’esperienza che Canaletto fece in giovane età lavorando come scenografo di rappresentazioni teatrali; seguì ed aiutò, infatti, il padre Bernardo nel suo lavoro di pittore di scena prima a Venezia e successivamente a Roma. Con una tale tecnica compositiva l’osservatore del dipinto non riesce a percepire il corretto punto di vista venendo così parzialmente ingannato dalla rappresentazione prospettica della veduta. Individuata la posizione della camera, si è passati alla preparazione delle texture da proiettare sui solidi tridimensionali della scena, il quadro è stato scomposto in ogni suo elemento.

Per alcuni di questi è stato necessario ricostruire le texture come si può osservare nelle pagine seguenti utilizzando un software di elaborazione di fotografica. Una volta completato il processo, si è voluto realizzare un breve video di una decina di secondi animando la camera, per ricreare un effetto simile a quello ottenuto dallo studio creativo PLATIGE per il progetto d’interpretazione del quadro di Jan Matejko “La Battaglia di Grunwald”.

Camera Mapping

Canaletto - Festa del giovedi Grasso in piazzetta San marco

Camera Mapping

Individuazione mappe texture

12 01 02 07 14

13 03

04 10 08 11

Camera Mapping

01 Ricostruzione texture Palazzo Ducale

02 Ricostruzione texture Zecca

Camera Mapping

Modello FInale senza texture

Camera Mapping

Video finale

Camera Mapping

MODELLAZIONE 3D Ottenute le proporzioni generali con il metodo di camera mapping descritto nel precedente capitolo, si è passati alla modellazione utilizzando il software “Rhinoceros”. Il problema principale verificatosi in tale fase è stato quello di riuscire ad interpretare correttamente la rappresentazione che il Canaletto ha fatto dell’”apparato effimero”: anche se dal punto di vista architettonico quest’ultimo non risulta particolarmente complesso, d’altro canto è ricco di ornamenti difficilmente riproducibili con il livello di definizione dell’immagine a disposizione. Abbiamo scomposto il corpo principale dell’opera architettonica nei cinque elementi principali: basamento circolare, protetto da una balaustra e dotato di quattro rampe di scale; due livelli a base ottagonale; un livello a base circolare coronato da una cupola. L’ordine architettonico individuato è il medesimo per tutti i livelli ed è di chiara matrice barocca così come testimoniano le colonne in stile corinzio.

Livello 3

Livello 2

Livello 1

Modello 3D

Immagini Livello 1

Modello 3D

Immagini Livello 2

Modello 3D

Immagini Livello 3

Modello 3D

MODELLO 3D HIGH

POLIGONI

445.334 VERTICII

791.461 MODELLO 3D LOW

POLIGONI

288.362 VERTICII

323.701

Modello 3D

3D PRINTING Al completamento della modellazione dell’”apparato effimero” abbiamo voluto realizzare un piccolo prototipo del modello. Per la stampa 3d ci siamo serviti dell’attrezzatura messa a disposizione dal laboratorio di prototipazione rapida dell’università IUAV. Abbiamo utilizzato la stampante multi materiale “3d ULTRA” [01] della Envision TEC, il processo di stampa avviene attraverso la tecnica di stereolitografia. Tale tecnica è stata una delle prime ad essere sviluppata in questo ambito e si basa sulla polimerizzazione di una resina per effetto di un laser. Nella prima fase è necessario importare il modello 3d nel software dedicato della stampante. [02] Attraverso tale programma è possibile controllare il modello per individuare eventuali imperfezione generate durante la modellazione. Nella seconda fase si predispone il posizionamento finale del pezzo da realizzare ed eventualmente si generano i supporti per le parti a sbalzo, nel nostro caso è stato necessario predisporli per gli archi dei tre livelli che costituiscono il modello. Successivamente il laser, focalizzato sul piano di lavoro mediante sistemi ottici, provvede a polimerizzare la prima sezione del prototipo. Successivamente il piano si abbassa e il procedimento prosegue con la polimerizzazione dello strato successivo.[03] Per ridurre il tempo di costruzione la polimerizzazione avviene solo per i contorni esterni della superficie che saranno inseguito collegati da una struttura a nido d’ape, a conclusione del processo di stampa il prototipo è esposto a raggi UV emessi da apposite lampade per un tempo sufficiente a consolidare la polimerizzazione.

3D Printing

AUGMENTED REALITY La Realtà Aumentata - Augmented Reality – è un concetto nato negli ultimi quindici anni per suggerire l’interconnessione tra il mondo digitale e quello reale. Le nuove istanze della Realtà Aumentata, applicate all’architettura, mettono in discussione i processi tradizionali di percezione e uso degli spazi e quindi la loro progettazione. Grazie a invisibili sensori e interfacce interattive (da semplici proiezioni su supporti traslucidi a smartphone, tablets o computer portatili dotati di webcam) gli spazi del reale diventano degli sfondi da leggere in modo attivo con nuovi, impalpabili filtri digitali che ricreano ambienti, situazioni del passato, dati o scenari di visioni per il futuro. Per il nostro progetto abbiamo scelto di servirci di diversi software per la gestione della realtà aumentata tra i quali, il programma “D’Fusion studio”, sviluppato dall’azienda francese Total Immersion. Oltre ad essere un software gratuito, è uno dei più utilizzati e permette diverse opzioni di tracciamento con buoni risultati. Il programma è formato da tre diversi moduli: il video capture, il motore grafico in real-time e un modulo per lo script per la gestione di processi avanzati. Il primo modulo gestisce la computer vision, essenza della realtà aumentata, la proiezione dell’oggetto virtuale avviene, infatti, attraverso un continuo tracciamento di un elemento di riferimento, dal quale vengono estrapolate diverse informazioni come posizione e orientamento. Quasi tutti i software di AR sono in grado di riconoscere solo i marker: disegni stilizzati in bianco e nero, D’Fusion, invece, è in grado di riconoscere immagini complesse aumentando, quindi, le possibilità di proiezione. Il motore grafico del software è dotato di un motore grafico in tempo reale, in questo modo le proiezioni ottenute possono essere arricchite da texture ed effetti di luce, rendendo migliore l’esperienza di realtà aumentata. Il nostro workflow per la realizzazione della AR è stato suddiviso in tre step: importazione del modello 3d, tracciamento e scenario finale, che ora andremo a descrivere in dettaglio. Augmented Reality

IMPORTAZIONE MODELLO 3D Una volta completata la modellazione, ci siamo accorti che il numero di poligoni ottenuti risultava essere troppo grande, impossibile da gestire con la potenza di calcolo del tablet in uso. Per cui si è dovuto fare un downgrade del modello, ripulendolo da ogni faccia poligonale inutile e nel caso dei capitelli corinzi riducendone il numero. Tale processo è stato semplificato utilizzando il software MeshLab che permette appunto di gestire il numero di poligoni di una superficie Mesh. Un ulteriore controllo è stato fatto sulle normali di ogni superficie per ottenere una corretta visualizzazione in fase di AR sia del modello stesso che delle texture. L’importazione del modello 3d è stata semplificata dal fatto che l’azienda produttrice del software ha sviluppato un plug-in per 3d studio max che permette una migliore e corretta esportazione del modello tridimensionale. L’oggetto 3D al momento dell’operazione viene scomposto in singole mesh e lo stesso processo avviene per le texture e per i materiali.

Augmented reality

TRACCIAMENTO Lo step successivo è stato quello di eseguire il tracciamento cioè mappare l’elemento di riconoscimento del software sul quale avviene la proiezione del modello in real-time. Sono stati eseguiti diversi tipi di tracciamento: GPS, tracciamento di un’immagine 2D, tracciamento di un solido e tracciamento di marker. Nel primo caso vengono utilizzate delle coordinate di geo localizzazione che permettono, con una precisone di 10 metri, la proiezione del modello in un luogo prefissato, in questo caso la piazzetta di San Marco. La precisione del satellite non permette un posizionamento del tutto corretto ma comunque accettabile. Il secondo riconoscimento avviene attraverso un’immagine, in questo caso la pianta della piazza veneziana, il software D’Fusion riesce a riconoscere i colori permettendo appunto la proiezione. Il terzo riconoscimento è stato eseguito su un solido, abbiamo utilizzato la base del modello stampato come elemento di riferimento, su ogni uno dei sui lati è stata stampato un’immagine diversa per facilitare il tracciamento che è stato eseguito per ogni lato. L’ultima caso di tracciamento è stato eseguito attraverso un marker, simbolo stilizzato in bianco e nero, è il metodo più diffuso e che garantisce il migliore risultato.

Augmented reality

CREAZIONE DELLO SCENARIO FINALE L’ultimo step consiste nel caricare nello stesso scenario del software D’Fusion il modello tridimensionale compreso di texture e il file di tracciamento. Dei risultati finali ottenuti il migliori in termini di stabilità e qualità di proiezione rimane il Marker, per gli altri sistemi escluso quello con il GPS, che ovviamente dipende solamente dalla precisione del satellite, sono fortemente legati alla luce ambientale e alla tipologia di materiale posta in sottofondo, anche delle semplici ombre possono impedire la corretta proiezione, rendendo a volte difficoltoso il processo di visualizzazione.

Augmented reality

BIBLIOGRAFIA

Alessandro Bettagno, Canaletto, disegni, dipinti, incisioni, Venezia, 1982 AndrĂ¨ Corboz, Canaletto. Una Venezia immaginaria, Mondadori Electa, 1985 Alberto Cottino, Vedutisti, Arnoldo Mondadori Arte, 1991 Gloria Vallese, Canaletto, effetto realtĂ , Milano, 2005 Sansovino Francesco, Venetia cittĂ nobilissima et singolare, Venezia, 1581 Tafuri Manfredo, Venezia e il Rinascimento, Religione, scienza, architettura, Einaudi, Torino, 1985 Trincanato Egle Renata, Venezia minore, Milano 1948 Sarah Bonnemaison and Christine Macy, Festival Architect, London 2008 Alessandro Bettagno, Francesco Guardi: vedute, capricci, feste, Milano 1993 Vittore Branca, Barocco europeo e barocco veneziano , Firenze 1963 Tassini, Giuseppe, Feste, spettacoli, divertimenti e piaceri degli antichi veneziani, Venezia 1961 Tamassia Mazzarotto, Bianca, Le feste veneziane : i giochi popolari, le cerimonie religiose e di governo, Firenze 1980