9 minute read
Spazializzazione Audio per mondi virtuali
CONNESSIONI84 SOLUZIONI SPAZIALIZZAZIONE AUDIO PER MONDI VIRTUALI
Non più solo una ipotesi
Concetta Cucchiarelli
L’importanza di creare spazi che favoriscano e migliorino l’ascolto e la comunicazione non è più percepita soltanto per quel che riguarda gli ambienti fisici, ma anche per quelli virtuali. Anche se riguardano modi diversi, i meccanismi cognitivo-percettivi coinvolti restano gli stessi
Non appena la necessità di incontrarsi online si è estesa dalla sfera personale (parenti ed amici) a quella lavorativa, durante questi due anni, una tendenza su tutte ha preso il sopravvento: eliminare lo sfondo dei nostri ambienti, “scontornare”, per utilizzare un termine tipografico, tutto quello che non fa parte direttamente della nostra persona (intesa come voce e immagine). Così abbiamo imparato a usare background immaginari oppure a sfocare lo sfondo in modo che la nostra stanza da letto, la nostra cucina sparissero, rimpiazzati da una morbida e indefinita texture. La stessa cosa è successa per l’audio. La maggior parte delle piattaforme di meeting online hanno sviluppato sistemi per filtrare il rumore di sottofondo per rimuoverlo come qualcosa di non voluto, in parte inutile e potenzialmente dannoso. Un esempio su tutti, Zoom consente di sopprimere il rumore di fondo, e si può addirittura scegliere il livello di cancellazione, basso in caso di deboli suoni di sottofondo, medio per suoni come le ventole del computer e rumori di oggetti vicini al microfono, alto per suoni come cani che abbaiano.
Si può scegliere anche di continuare a sentire la nostra musica preferita: l’algoritmo di soppressione viene bypassato dalla scheda audio che continua a funzionare e inviarci le nostre tracce.
L’ambiente che arricchisce
La possibilità di eliminare facilmente tutto ciò che non è voce ha contribuito a creare quelle immagini aliene fuori dal tempo e dallo spazio che ci siamo abituati a vedere dall’altra parte dello schermo. Tuttavia, qualcuno ha cominciato a capire l’importanza dell’ambiente non solo in termini di miglioramento dell’esperienza di ascolto, ma di arricchimento e completamento dell’esperienza dello stare insieme e del comunicare da remoto. Questo approccio ha portato a ridefinire cosa si intende per rumore nelle comunicazione online: è corretto definire rumore semplicemente tutto quello che non è voce? Oppure lo si può considerare qualcosa che non solo riesce a facilitare la comprensione, ma anche a definire una identità, un proprio essere nello spazio, a completare l’esperienza arricchendola anche degli elementi che ad una prima analisi non sembrano utili, o sembrano non costituire parte della scena con la quale si interagisce? Avere un’idea dello spazio in cui la persona parla non serve solo a migliorare la conversazione e a rendere i partecipanti più intellegibili, ma anche a far sentire i partecipanti più presenti e coinvolti, a creare conversazioni più naturali e, come abbiamo visto nel numero 54 di Connessioni, a ridurre la fatica cognitiva della comprensione (conosciuta ormai come Zoom Fatigue). A questi elementi alcune aziende lungimiranti hanno aggiunto la possibilità di migliorare aspetti tecnici ritenuti critici per
la qualità e l’intelligibilità della conversazione, come gli effetti di distorsione del segnale e di ducking (quell’effetto per cui la voce di una persona che parla provoca l’abbassamento del volume delle altre voci, rendendone impossibile la loro comprensione) a cui pian piano ci siamo abituati.
Nella comunicazione online è corretto definire rumore semplicemente tutto quello che non è voce? L’esperienza delle aziende
High Fidelity (www.highfidelity.com), per esempio, ha puntato a migliorare la qualità dell’audio con due soluzioni: la prima è il Local Spatializer, un codice in C++ che spazializza automaticamente ogni stream audio proveniente da qualsiasi applicazione in uso dall’utente, rendendolo indipendente dall'interfaccia utente della stessa. Questo codice permette di eliminare distorsioni e rendere il segnale più naturale e stabile. La seconda è lo Spatial Audio API e SDK, che permette di aggiungere una chat vocale immersiva, di alta qualità e in tempo reale, ad ogni web app. Le stesse soluzioni che Clubhouse (www. clubhouse.com), il primo social network basato sulla voce, ha deciso di integrare nella sua app. Per un social in cui l’audio è la componente fondamentale, era imprescindibile puntare a una esperienza di ascolto gratificante, realistica e naturale. Ma anche altri soggetti stanno cambiando prospettiva, attribuendo maggiore importanza alla qualità della dimensione acustica. Oltre a Clubhouse e High Fidelity, infatti, anche social media non esclusivamente audio hanno introdotto tool per spazializzare il suono: è nato così Facebook360 (www.facebook.com/Facebook360/), un software per produrre audio spazializzato per video a 360 gradi e VR. Fornisce plugin per le workstation audio più diffuse, un player sincronizzato per la riproduzione di video a 360 gradi, e una serie di strumenti per creare e pubblicare audio spazializzato in diversi formati.
Anche dal mondo dei servizi di streaming musicale arrivano segnali di attenzione alla spazializzazione: Apple ha lanciato Spatial Audio per tutti i sottoscrittori di Apple Music, in collaborazione con Dolby Atmos. Così tutti gli Air Pods, headphone Beatscon Chip H1 o W1 riprodurranno automaticamente le tracce Dolby Atmos senza dover cambiare abbonamento. In più Apple Music e Dolby hanno previsto sia di raddoppiare il numero di studi di produzione abilitati alla creazione di tracce in Dolby Atmos nei maggiori mercati, che di investire nella realizzazione di programmi educativi volti ad aiutare gli artisti indipendenti a creare la loro musica immersiva.
Insomma, dopo quasi due anni di comunicazioni online, le tendenze sembrano molto chiare: • sempre più aziende hanno riconosciuto l’importanza di investire per rendere l’ascolto un’esperienza più completa ed immersiva; • i mercati interessati da questa rivoluzione non sono più solo legati al gaming e VR, ma sempre di più e sempre più diversificati; • sempre più utenti saranno in grado di fruire ma anche di creare autonomamente contenuti audio spazializzati e che offrano un ascolto più ricco.
www.highfidelity.com www.clubhouse.com www.facebook.com/Facebook360/ support.apple.com/it-it/HT212182
AUDIO SPATIALISATION FOR VIRTUAL WORLDS
No longer just a hypothesis
Concetta Cucchiarelli The importance of creating spaces that encourage and improve listening and communication is no longer only relevant to physical environments, but also for virtual ones. Even if in different ways, the cognitive-perceptual mechanisms involved remain the same.
As soon as the need to meet online extended from the personal sphere (relatives and friends) to the work one, one trend has taken over all: eliminate the background of our environments, "cut out", to use a typographical term, everything that is not directly part of our person (understood as voice and image). So, we learned to use imaginary backgrounds or to blur the background so that our bedroom, our kitchen, disappeared, replaced by a soft and indefinite texture. The same thing happened for audio. Most online meeting platforms have developed systems for filtering background noise to remove it as something unwanted, partly useless and potentially harmful. An example above all, Zoom allows you to suppress background noise, and you can even choose the level of cancellation, low in case of faint background sounds, medium for sounds like computer fans and noises of objects close to the microphone, high for sounds like barking dogs. You can also choose to continue listening to your favourite music: the suppression algorithm is bypassed by the sound card which continues to work and sends tracks to us.
The environment that enriches
The ability to easily eliminate all that is not speech has helped to create those alien images out of time and space that we are used to seeing on the other side of the screen. However, someone has begun to understand the importance of the environment not only in terms of improving the listening experience, but of enriching and completing the experience of being together and communicating remotely. This approach has led to redefining what is meant by noise in online communication: is it correct to define noise simply as everything that is not voice? Or can it be considered something that not only manages to facilitate understanding, but also to define an identity, one's own being in space, to complete the experience by enriching it with elements that at first analysis do not seem useful, or do not seem to constitute part of the scene you interact with? Having an idea of the space in which the person is speaking not only serves to improve the conversation and make the participants more intelligible, but also to make the participants feel more present and engaged, to create more natural conversations and, as we have seen in issue 54 of Connessioni, to reduce cognitive fatigue (now known as Zoom Fatigue). To these elements some far-sighted companies have added the possibility of improving technical aspects considered critical for the quality and intelligibility of the conversation, such as the effects of signal distortion and ducking (that effect by which the voice of a person speaking causes the lowering of the volume of the other voices, making it impossible to understand them) to which we gradually got used to.
The experience of companies
High Fidelity (www.highfidelity.com), for example, aimed to improve the audio quality with two solutions: the first is the Local Spatialiser, a code in C ++ that automatically spatialises every audio stream coming from any application in use by the user, making it independent of the same user interface. This code allows you to eliminate distortions and make the signal more natural and stable. The second is the Spatial Audio API and SDK, which allows you to add immersive, high-quality, real-time voice chat to any web app. The same solutions that Clubhouse (www. clubhouse.com), the first voice-based social network, has decided to integrate into its app. For social media where audio is the fundamental component, it was essential to aim for a rewarding, realistic and natural listening experience. But other subjects are also changing perspective, giving greater importance to the quality of the acoustic dimension. In addition to Clubhouse and High Fidelity, in fact, social media (not exclusively audio) have also introduced tools to spatialise the sound: this is how Facebook360 (https:// www.facebook.com/Facebook360/) was born, a software for producing spatialised audio for video 360 degrees and VR. It provides plugins for popular audio workstations, a synchronised player for 360-degree video playback, and a set of tools for creating and publishing spatialised audio in various formats. Also from the world of musical streaming services, there are signs of attention to spatialisation: Apple has launched Spatial Audio for all Apple Music subscribers, in collaboration with Dolby Atmos. Thus all Air Pods, Beatscon Chip H1 or W1 headphones will automatically play Dolby Atmos tracks without having to change subscription. In addition, Apple Music and Dolby have both planned to double the number of production studios enabled to create Dolby Atmos tracks in major markets, and to invest in the creation of educational programmes aimed at helping independent artists to create their immersive music.
In short, after almost two years of online communications, the trends seem very clear: • more and more companies have recognised the importance of investing to make listening a more complete and immersive experience; • the markets affected by this revolution are no longer linked only to gaming and VR, but more and more and diversified; • more and more users will be able to enjoy but also to autonomously create spatialised audio content that offers richer listening.
www.highfidelity.com www.clubhouse.com https://www.facebook.com/Facebook360/ support.apple.com/it-it/HT212182
