Gestalt Im Traum by Bruno Mateos

Una Reflexi贸n sobre el ruido y los nuevos medios de comunicaci贸n Una instalaci贸n de Audio Multi-Canal en Tiempo Real Bruno Matos Gonz谩lez www.gestalt-im-traum.net Barcelona

Concepto Teórico: “La comunicación es la acción por la que se hace participe a un individuo –o a un organismo- situado en una época o punto dado, en las experiencias y estímulos del entorno de otro individuo –de otro sistema- situado en otra época, en otro lugar, utilizando los elementos de conocimiento que tienen en común” (A Moles. “Teoría de la información en la percepción estética”) Gestalt Im Traüm toma la forma de una instalación de audio multicanal en tiempo real para reflexionar sobre los nuevos protocolos de comunicación y la redefinición que estos han realizado sobre el concepto de ruido. La irrupción de Internet como canal definitivo de trasmisión ha propiciado un desarrollo paralelo de lo que podríamos definir como “Ingeniería de la comunicación”, es decir, estructuras de almacenamiento y transito de las enormes cantidades de datos que el ser humano es capaz de generar. Estos datos ya no se presentan en un formato físico como antaño (periódicos, discos, películas…) sino que han superado las restricciones propias de lo tangible para separar, de forma radical, significante y significado. Roland Barthes definía el significado en un mensaje acústico como “la representación psíquica de los símbolos contenidos en el propio mensaje”, mientras que el significante aparece como la propia “imagen acústica”. Esta dicotomía símbolo/imagen, se ha revelado clave en el desarrollo posterior de nuevos formatos para Internet, al permitir liberarse a la transmisión de datos de la pesada carga que suponía el contener, en una misma imagen, fondo y forma. Una vez asimilada esta separación, solo cabía el desarrollo y perfeccionamiento de protocolos que permitiesen un correcto uso de los nuevos lenguajes. De esta manera, la aparición del XML (eXtensible Markup Language) abrió las puertas para un nuevo concepto de Web (la llamada Web 2.0) donde la información comienza a reducir distancias sobre el lenguaje humano (habla) con la intención de facilitar a los protocolos el entendimiento entre emisor y receptor. Así, suprimido el significante, o más bien dejado a reinterpretación del receptor, la comunicación pasa de ser “interpersonal”, basada en la relación entre emisor y receptor, a ser “por difusión”, basada en el análisis del mensaje. Esta mutación en el ritual de la información, ya de por si en época de repetición, actúa transformando su objetivo final, que deja de ser “éxito = mensaje recibido” para convertirse en “éxito = mensaje difundido”, o deberíamos decir “mensaje ampliamente difundido”. Gestalt Im Traüm busca comprender el nuevo papel de la información. Su mutabilidad entorno a las nuevas posibilidades y los nuevos objetivos que plantean los protocolos de comunicación. En un escenario donde las herramientas ya no generan objetos de uso sino mas bien nuevas y especificas herramientas que aceleran el afán evolutivo, el fin ya no puede ser simplemente “hacerse oír”. Se ha de abandonar la época de la comunicación y entrar en la de la transmisión de información. Se ha de abandonar la búsqueda de la comprensión basada en un feedback y asumirla bajo la redundancia.

Este uso masivo de las herramientas para la difusión de la información es la que Gestalt Im Traüm postula como creadora de un nuevo concepto de ruido. Uno que no se define por su afectación sobre el mensaje sino más bien por la ausencia de intencionalidad en la transmisión. Un nuevo ruido que no viene a restar ni a interrumpir, más bien a sumar y saturar. Es la definitiva muerte del ritual, la multiplicación de la repetición, no solo se repite el mensaje sino que se multiplican los medios de transmisión. Vista atrás. Retomemos el ritual como formato. Pensemos en como la tecnología actual podría adaptarse a una vuelta a los viejos usos de los canales de comunicación. Las nuevas herramientas nos permiten apropiarnos de la información donde quiera que esté. Una vez a nuestra disposición, mutarla, darle forma y mostrarla a nuestro gusto. En un acto tan simbólico como la lectura de un periódico podemos representar esta parodia de lo que un día fue informarse. Un triste reflejo de lo que puede ser la comunicación en su afán por superar el mensaje en pos de la difusión. Gestalt Im Traüm trata de aprovecharse de la tensión existente entre los avances tecnológicos en materia de medios de información y la figura del receptor como elemento fundamental para completar la forma. Para ello nos sitúa en el ultimo de los eslabones de la cadena, donde ya solo nos resta por sentarnos y escuchar, tanto lo que tienen que decirnos como la forma en que lo hacen.

Funcionamiento de la Instalación: Gestalt im Traum se presenta como una instalación de audio para contemplación individual. Su formato es el siguiente: Una pequeña habitación totalmente a oscuras con un sillón barroco en el centro y a su lado una pequeña mesita con una lámpara. Estos elementos se encuentran rodeados por un sistema de 6 altavoces situados en forma de hexágono a su alrededor que serán los encargados de generar el espacio físico entorno al espectador.

Montaje de la instalación

La instalación se encuentra conectada a Internet mediante un ordenador portátil escondido a la vista. El ordenador ejecuta el programa que será el encargado de descargar las noticias de Internet, convertirlas a voz mediante un sintetizador en tiempo y real, y finalmente jugar con la voz generada aplicándole distintos efectos y movimientos, consiguiendo de esta forma generar una sensación envolvente entorno al espectador que provoca una mezcla entre tensión y abandono. Al mismo tiempo, el ordenador detecta el trafico de Internet existente en la red a la que este conectada, y cada vez que algún movimiento tenga lugar (acceso a una pagina Web, envío de un e-mail…) distorsiona la voz mediante síntesis granular y hace parpadear la lámpara provocando un feedback mas visual. Los espectadores que van pasando por la instalación se sitúan en lo que podría ser el ritual de lectura de un periódico en un futuro mas bien Orwelliano. El flujo constante de datos y el ruido provocado por el uso masivo de medios de información provocan una sensación que oscila entre el desasosiego por la (in)formación y un cierto abandono al sentido del oído. Es en esta lucha por la comprensión del mensaje donde Gestalt im Traum propone reflexionar sobre la forma en que llegan las noticias en un tiempo en el que las posibilidades se han multiplicado.

Requerimientos técnicos: Gestalt im Traum es una pieza finalizada y que ya ha sido presentada en vivo. Precisa para su montaje de los siguientes requisitos - Una estancia cerrada a la luz y aislada acústicamente en la medida de lo posible. (Área mínima 3m. x 3m.) - Ordenador Portátil con tarjeta de sonido externa multicanal. (mínimo 6 canales) - 6 altavoces. - 1 lámpara de diodos controlada mediante el microprocesador arduino. - 1 sillón y mesilla de noche como atrezzo. - Conexión a Internet.

Esquema del montaje

Perfil del Autor: Nombre: Bruno Mateos Fecha de Nacimiento: 07/09/1978, Gijón (Asturias) Lugar de Residencia: Barcelona Dirección: C/ Reina Amalia 41, 2º-4ª (08001) Teléfono: 625515904 E-mail: bruno.mateos@gmail.com Web: www.gestalt-im-traum.net

Estudios: • Ingeniería Técnica Informática por la Universidad de Oviedo • Master en Artes Digitales por la Universidad Pompeu Fabra (Barcelona)

Proyectos: • Video: • “Exitus” (Cortometraje Ficción. 2004) - Subvención del Ayto. De Gijón • “Raya” (Cortometraje Ficción. 2005) - Subvención del Ppdo. De Asturias - Concurso en el Festival Internacional de Cine de Gijón • “Sant Antoni” (Video Experimental. 2006) • “Ausente” (Video-Danza. 2007) - Festival “El rostro detrás del movimiento” (Barcelona, 2007) - Festival Efimer-Club (Barcelona, 2007) - Festival “Panorama Dança” (Río de Janeiro, 2007) - Muestra de Video Danza en el Espai Cultural Caja Madrid (Barcelona, 2008) • Audio: • “Cascando” (Pieza radiofónica en stereo. 2007) Basada en el texto de Samuel Beckett.

Base Técnica: Podemos dividir la estructura tecnológica del proyecto en 5 partes diferenciadas que componen el funcionamiento general de la instalación. -

Lectura de los rss de tres ediciones digitales de periódicos (www.elpais.com, www.lavanguardia.es y www.lne.es). Conversión de la información en tiempo real a formato de archivo legible por el sintetizador de voz utilizando php y expresiones regulares. Síntesis de voz mediante el uso de Max/MSP y el proyecto MBROLA. Utilización de librerías de fonemas en castellano. Sniffering de la red a la que esta conectada la instalación mediante la librería Carnivore para detectar el trafico de paquetes de información TCP/UDP. Mapeo de la información extraída. Modificación del stream de audio generado por el sintetizador de voz mediante Síntesis Granular para generar modelos de ruido. Espacialización del audio mediante un sistema de panning multicanal que nos permite gestionar la dirección, velocidad y ancho del cono de audio generado.

● RSS, PHP y Expresiones Regulares. La primera fase del proyecto se centra en la extracción de la información y su conversión entre canales. Se decidió obtener la información en tiempo real que nos ofrecen tres periódicos digitales mediante su servicio de rss. Se opto por el php como lenguaje de servidor dada su flexibilidad en distintas arquitecturas y su potente motor de expresiones regulares. El sistema de archivos se ha automatizado mediante la ejecución de un Cron en el servidor Linux donde se encuentran alojados los archivos php. Esto hace que cada 15 minutos se actualicen los contenidos de las noticias (si desde los propios periódicos las han actualizado).

Fig 1. Diagrama de funcionamiento del modelo de servidor.

Los archivos php se encargan de obtener la información de los rss, que les llega en formato xml. Una vez parseada, se aplica un proceso para su conversión final a un formato de archivo que pueda ser interpretado por el sintetizador de voz. Este proceso, en el que cada letra se convierte a su fonema correspondiente se hace utilizando expresiones regulares para buscar patrones de texto y sustituirlos.

● Síntesis de Voz El aspecto a nivel técnico mas complejo para el desarrollo del proyecto es la conversión entre un formato de texto, originalmente en xml, a una voz sintetizada en tiempo real. Para ello se ha utilizado el proyecto MBROLA (http://tcts.fpms.ac.be/synthesis/mbrola.html). MBROLA es un proyecto de TTS (Text-To-Speech) iniciado por el TCTS Lab de la Faculté Polytechnique de Mons. Consiste en un sintetizador de voz en tiempo real y una base de dífonos (segmento que abarca desde la mitad de un fonema a la mitad del siguiente) en distintos idiomas. La síntesis consiste en la concatenación de segmentos de señal en el tiempo, siendo los segmentos dífonos. Esta técnica de concatenación de dífonos se vino perfeccionando durante los años 80 y 90 hasta lograr una calidad excelente con la propuesta de Thierry Dutoit, de la Faculté Polytechnique de Mons en Bélgica, con la técnica llamada mbrola. Para respetar patrones de prosodia naturales, los segmentos de señal son alterados en su duración y en su frecuencia fundamental (f0) (entonación) con el procesamiento de la señal conocido como PSOLA (Pitch Synchronous Overlap and Add), qué logra estas transformaciones manteniendo otros aspectos del espectro de la señal sin desmejorar la calidad del sonido. Gestalt Im Traüm utiliza el objeto de MBROLA desarrollado para el lenguaje Max/MSP, el MaxMBROLA. Este nos permite generar voz a partir de un formato de archivo .pho en el que se contienen los distintos fonemas convertidos a notación SAMPA. Además de trabajar con parámetros como el tiempo, la frecuencia de muestreo o el pitch del audio generado, MaxMBROLA nos permite definir envolventes para trabajar con la frecuencia fundamental de la voz. De esta forma, desde el php se parsea el texto obtenido por medio de los rss y se va escribiendo, fonema a fonema, el archivo .pho, indicando para cada fonema la duración que ha de tener. Además, se hace un ligero análisis estructural del texto para aplicar una envolvente de pronunciación. Esta envolvente se aplica tanto a las frases como a las palabras y nos permite obtener una forma simple de ataque-sostenimiento-caída para cada frase y otra interna para cada palabra. Aunque esta entonación resulta ligeramente automática y no tiene en cuenta cuestiones semánticas como podría ser la pronunciación aplicada para una frase interrogativa, nos permite, en una primera instancia, no obtener un tono narrativo excesivamente monótono y en cierta manera humaniza la voz. MaxMBROLA utiliza librerías de fonemas distintas para cada idioma puestas a disposición de los usuarios por distintos grupos de trabajo. Para nuestro proyecto hemos utilizado unas de las dos librerías que existen para castellano. Trabajamos con un ratio de 16.000 samples/sec. aunque podríamos llegar a 24.000. La envolvente de pronunciación actúa mediante la función f(x)=Fo donde la x es el porcentaje de tiempo transcurrido del fonema y Fo es la frecuencia fundamental (entonación). De esta forma, mediante el php y analizando en que punto de una frase, y dentro de ella, en que punto de una palabra, vamos definiendo pares de valores para cada letra.

Fig. 2 formato de archivo .pho

Desde el cliente de Max, se automatiza la ejecución de los tres archivos .pho generados para que, una vez transcurridos dos segundos de silencio pase a leerse el siguiente. Esto, unido a la constante actualización de los archivos en el servidor mediante la ejecución del Cron, hace que el flujo de información sea variable con el tiempo, es decir, la instalación va leyéndonos la información a medida que esta es proporcionada por los medios.

Fig. 3 Diagrama de funcionamiento del objeto MaxMBROLA

● Sniffering del Trafico TCP/UDP de la red (Carnivore) Otro de los aspectos técnicos utilizados el sniffering realizado sobre la red local del espacio que aloja la instalación. El sniffering es la escucha que se realiza del trafico de paquetes TCP/UDP de una red concreta. Este tráfico incluye tanto peticiones Web como envíos de correo y otros movimientos de información a través de la red. Los paquetes detectados incluyen información de las direcciones IP del remitente y del receptor, además de los puertos y la codificación del contenido del paquete, bien en hexadecimal, bien en código ASCII. Para realizar este proceso existen multitud de programas conocidos como packet sniffers. Un packet sniffer es un programa de captura de las tramas de red. Generalmente se usa para gestionar la red con una finalidad docente, aunque también puede ser utilizado con fines maliciosos. Algunos ejemplos de packet sniffers pueden ser: Wireshark (anteriormente conocido como Ethereal ,WinPcap), Ettercap, TCPDump, WinDump, WinSniffer, Hunt, Darkstat, traffic-vis, KSniffer) y para Redes Inalámbricas (wireless):Kismet, Network Stumbler . Todos estos programas son software cerrado, que nos permiten acceder a la información pero no manejarla desde un lenguaje de programación como puede ser Max en nuestro caso. Para este caso en concreto se ha utilizado la librería Carnivore. Carnivore es un software usado por el FBI que tiene un fin, pero no un funcionamiento, muy similar a ECHELON. Este software se instala en los proveedores de acceso a Internet y, tras una petición proveniente de una instancia judicial, rastrea todo lo que un usuario hace durante su conexión a Internet. En teoría tiene capacidad para discernir comunicaciones legales de ilegales. E software Carnivore ha sido utilizado, manipulado y puesto ha disposición de los usuarios con fines artísticos por el grupo Radical Software Group (r-s-g.org). Son ya numerosos los proyectos que han utilizado Carnivore como generador de metáforas artísticas para sus obras. Instalar un cliente de Carnivore en un servidor concreto requiere de permisos expresos por parte de los dueños legales de la maquina y autorización expresa de los usuarios que albergan en ella su contenido, pero siempre se puede realizar la escucha sobre la red local a la que se encuentra conectada el desde un Terminal.

Fig 4. Cliente de Carnivore

Se ha utilizado el objeto external de max TCPClientReader, un objeto programado en java, que junto con el cliente de Carnivore proporcionado por r-s-g nos permite obtener todos los datos del trafico TCP/UDP. La información de la IP del receptor es formateada para dividirla en dígitos con los que mapear distintos efectos de audio que alteraran el stream de voz. De esta forma, cada vez que exista trafico en la red, la voz será destruida siguiendo distintos patrones marcados por la dirección ip a la que se ha enviado el paquete. Carnivore actúa de esta forma como una metáfora de cómo el trafico de información puede afectar a la propia información transmitida.

● Síntesis Granular La información recogida con la librería carnivore es utilizada para degradar la voz mediante el uso de síntesis granular. Para ello utilizamos el objeto mdeGranular, al que alimentamos con el stream de voz que el sintetizador genera. Cada vez que se detecta algún movimiento de tráfico en la red, se extrae la información para afectar a parámetros de la síntesis como pueden ser la longitud o densidad del grano.

Fig 5. Patch general de Max.

Cada paquete detectado se convierte así en el activador de un resorte que degrada el mensaje enviado, haciéndolo incomprensible para el espectador de la pieza. ● Panning Multicanal El resultado final de la instalación se oirá en un sistema multicanal de 6 altavoces. Se sitúa un sillón en el centro de la estancia para invitar al espectador a sentarse y abstraerse con la escucha, que genera un espacio físico a su alrededor mediante el sonido. Así, partiendo siempre de la voz generada, y utilizando diversas técnicas y filtros, se obtienen ambientes que acompañan al stream principal de noticias leídas, que predomina por encima del resto, puesto que es el objetivo principal de la pieza. El uso de filtros y efectos programados acompaña a la lectura de las noticias, consiguiendo una sensación de inmersión que dificulta en cierta forma la asimilación de la información, pero no la hace imposible. Esta estética del ruido actúa de distinta forma con el sistema multicanal. En algunos casos gira alrededor del espectador, en otros salta aleatoriamente

de canal en canal a distintas velocidades, provocando una granulación física de la audición.

Fig 6. Diagrama del sistema multicanal

Obtener un sistema de control de panning sobre los 6 canales ha sido otro de los problemas técnicos del proyecto. Para conseguirlo se ha desarrollado un algoritmo en Max que nos permite en todo momento controlar el giro del sonido o detenerlo, además de la velocidad y sentidos del giro y el ancho del cono de sonido, es decir, el ancho del sector de altavoces que suenan en cada momento.

Fig 7. Algoritmos de control del panning sobre 6 canales.

El objetivo perseguido con el audio es el de provocar un estado de tensión con la información. La puesta en escena de la instalación invita a un ritual de abandono, parodia de lo que supone la lectura dominical de un periódico. Un instante de asimilación máxima de un mensaje, donde todo se predispone para que podamos procesar la máxima cantidad de mensaje posible.

Referencias: Bibliografía: - Abraham Moles. “Teoría de la información en la percepción estética” (1958) - Curtis Roads “Microsounds” (2001) - Roland Barthes. “El grano y la voz” (1981) - Edmund Husserl. “Las conferencias de Paris” (1929) - Claudde E. Shannon. “Una teoria matematica de la comunicación” (1948) - Jaques Attali. “Ruidos. Ensayo sobre una economía política de la música” (1977) - Gilles Deleuze y Felix esquizofrenia” (1980)

Guattari.

“Mil

mesetas.

Capitalismo

- Michael Foucault “Diferencia y Repetición. Theatrum Philosophicum” (1969) Fonografía: -

“Kesto” Pan Sonic (2004) “Concret PH” Iannis Xenakis (1958) “Enter tinnitus” CoH (1998) “Transform” Alva Noto (2001) “Ende neu” Einsturzende Neubaten (1996) “Burner” Odd Nosdam (2005) “Raum” Pole (1998) “Hotel Paral.lel” Fennesz (1997)