SOUND FACES Applicazione interattiva per suoni e movimenti facciali
[ Š 2016 Luana Lunetta ] 1
SOUND FACES SOUND FACES è un'applicazione interattiva che utilizza i movimenti facciali rilevati da videocamera per modificare in tempo reale il suono nella sua frequenza ed intensità di volume. L'applicazione è stata creata con i software FaceOSC e Max7, interfacciati attraverso il protocollo di comunicazione dati Open Sound Control (OSC). OSC è un protocollo di comunicazione che invia messaggi tra due o più dispositivi; è veloce ed idoneo per le trasmissioni di messaggi legati al controllo dei parametri musicali, in quanto ha latenza praticamente nulla. OSC è una valida alternativa al protocollo MIDI, in quanto permette un più ampio range di valori , una migliore risoluzione dati e una maggiore flessibilità; i messaggi OSC infatti viaggiano su reti che possono essere di differenti tipologie (ethernet, usb, bluetooth, wireless e firewire). FaceOSC è un'applicazione creata da Kyle McDonald, realizzata a partire dal codice FaceTracker di Jason Saragih. FaceOSC si connette ad una videocamera interna o esterna (purchè collegata ad un computer), traccia le linee di un volto (sotto forma di maschera) ed invia informazioni per il monitoraggio (tracking) in tempo reale. Alcuni "gesti del volto" (movimenti facciali) sono più stabili di altri, come ad esempio la bocca e il sopracciglio. L'illuminazione può influenzare la stabilità dei valori riconosciuti da FaceOSC; illuminare la parte anteriore (frontale) insieme ad uno sfondo scuro può dare risultati migliori . Max7, della Cycling74, è un ambiente integrato di programmazione per la musica, l’audio e il multimedia orientato ad oggetti grafici, sviluppato presso l’IRCAM di Parigi; è diventato lo standard per la creatività tecnologicamente evoluta in ambito musicale e visivo. Si tratta, infatti, di un sistema completamente aperto che permette di risolvere la maggior parte dei problemi inerenti le esecuzioni live-electronics. Funziona attraverso oggetti grafici (objects) collegati tra loro da cavi (patch cords) per lo scambio di informazioni; è un approccio che ricorda molto gli strumenti elettronici del ventesimo secolo, in cui i suoni venivano creati e trasformati da oggetti elettronici collegati fra loro tramite patch cables. Un insieme di oggetti collegati, che svolge una determinata funzione, si chiama patcher. Con Max si possono eseguire dei calcoli, produrre od elaborare dei suoni, creare immagini, controllare strumenti o apparecchiature esterne, e fare tutto ciò che un 2
completo linguaggio di programmazione permette di fare. Si possono quindi creare sintetizzatori, campionatori, riverberi, effetti e molto altro, attraverso la metafora del synth modulare: ciascun modulo svolge una particolare funzione e passa le informazioni ai moduli a cui è connesso.
L' Applicazione SOUND FACES in Max7
In SOUND FACES vengono utilizzati 4 differenti suoni e modalitĂ d'interazione: 1.
Il suono di un Theremin, controllabile in frequenza dall'altezza della bocca, con volume variabile all'alzare ed abbassare delle sopracciglia
2.
Un filtro Wah-Wah, controllabile in frequenza dalla larghezza della bocca, con volume variabile all'alzare ed abbassare delle sopracciglia
3.
Il suono del vento (Wind), controllabile in frequenza dall'altezza della bocca, con volume variabile all'alzare ed abbassare delle sopracciglia
4.
Un Harmonizer, controllabile in frequenza dalla larghezza e dall'altezza della bocca, con volume variabile all'alzare ed abbassare delle sopracciglia
3
Tutti i parametri di SOUND FACES possono essere modificati ed adattati alle preferenze dei fruitori; è possibile aggiungere altri effetti sonori e visivi a piacimento per l'interazione coerente con i movimenti facciali. SOUND FACES può rivelarsi un utile strumento di lavoro sulla consapevolezza gestuale - espressiva del volto e, al tempo stesso, un intuitivo e divertente gioco musicale. Il rapporto tra i movimenti facciali e le espressioni del viso risultano coerenti col suono percepito, che viene modificato in tempo reale. SOUND FACES può rivelarsi utile ai docenti di musicoterapia, danzamovimentoterapia, canto e musica; i fruitori sono i bambini e i ragazzi preadolescenti, che attraverso l'ironia e il gioco possono aumentare la consapevolezza dei propri movimenti e delle proprie espressioni, percependo e dirigendo autonomamente le differenti intensità di volumi e frequenze del suono.
Materiale necessario per l'installazione: • 1 laptop Macbook Pro o Imac / MacPro con videocamera integrata, completo dei programmi FaceOSC e Max7 • 1 tavolo per posizionare computer, 1 lampadina da tavolo, 1 fondale/lenzuolo scuro • 1 stereo hi-fi con ingresso aux (connettori rca o trs) • prese elettriche e/o ciabatte multipresa, eventuali prolunghe di corrente
Ulteriori info e contatti: luana.lunetta@gmail.com Tel.340-3057728 http://luanalunetta.wix.com/luanalunetta
4