Dispositivo de sustitución sensorial para la experiencia musical sorda

Dispositivo de sustitución sensorial para la experiencia musical sorda

aR. Ortega

a Ingeniera en Sonido con mención en Señales y Sistemas Sonoros, Universidad de Chile, Santiago, Chile, rocio.ortega@ug.uchile.cl

Abstract— En este artículo se describe el diseño, desarrollo y construcción de una prueba de concepto de un dispositivo de sustitución sensorial enfocado en enriquecer la experiencia musical en personas sordas, facilitando la entrada de información sensorial en los sentidos del tacto y la vista. El dispositivo cuenta con una interfaz de usuario manipulada desde el celular y cuatro módulos: tres corporales y vibrotáctiles y uno externo correspondiente a una visualización en pantalla. Para ello se realizó una revisión bibliográfica y de referentes, como también el estudio de caso de tres personas sordas con diferentes grados de sordera, por medio de herramientas como la entrevista semiestructurada y el diseño iterativo incremental del dispositivo. En base a esta investigación se corroboró que los estímulos musicales y sonoros son una experiencia multisensorial, que es accesible para todas las personas, independiente de su grado de sordera. Por otra parte, en cuanto a la experiencia musical de las personas sordas se concluye que además de ser táctil y visual es en gran medida rítmica, por lo que es pertinente utilizar métodos de transducción de estímulos musicales y/o sonoros a vibrotáctiles centrándose en el patrón rítmico de cada instrumento musical o estímulo sonoro.

Keywords—palabras claves; sustitución sensorial; experiencia musical sorda; estímulos vibrotáctiles; estímulos visuales

1. INTRODUCCIÓN

Una de las necesidades de la comunidad sorda es tener acceso de forma universal e inclusiva a las artes, puesto que el sonido y la música parecieran estar vetadas para quienes tienen algún grado de pérdida auditiva. No es que las propiedades acústicas de la música sean intrínsecamente prohibitivas para las personas sordas, más bien, es el valor atribuido a la forma propia de personas oyentes, en que se percibe el discurso de la música en relación con los otros sentidos, lo que ‘invalida’ las experiencias musicales en las personas sordas. Este fonocentrismo generalizado, infiere que las personas sordas deben adaptarse a que la música está ausente en sus vidas [1]. Sin embargo, la pérdida de audición existe en un espectro audiológico que va desde leve a profundo. Su grado, causa y edad de inicio varía de persona a persona [2] y puede diferir entre el oído derecho e izquierdo. Por lo tanto, los contornos sensoriales de la sordera varían considerablemente entre los individuos sordos convirtiéndolos en un grupo completamente heterogéneo [3]. Es por esto, que se decidió desarrollar un dispositivo que permitiese a personas sordas experimentar y percibir la música a través de la sustitución sensorial de la audición por los sentidos del tacto y la vista, dentro del contexto de una memoria de título, correspondiente a la primera etapa de esta investigación que está en proceso.

Este trabajo se realizó en el marco del proyecto Fondecyt Regular 1181182.

1.1. Experiencia musical en personas sordas

Por lo general, en ausencia de la entrada de una modalidad sensorial, el sistema nervioso tiene la capacidad de modificar su organización, lo cual se conoce como neuroplasticidad [4]. En el caso de las personas sordas, diversos estudios sustentan que ellos desarrollan habilidades en los sentidos del tacto y la vista [5] [4]. Lo que permite el uso de métodos de sustitución sensorial, la cual supone que la información recibida por una modalidad sensorial defectuosa puede ser reemplazada por otra modalidad sensorial [6]. Esto sugiere la utilización de vibraciones hasta los 300 Hz aproximadamente [7] [8] y los elementos visuales como figuras geométricas, colores, objetos en movimiento, entre otras [9], como estímulos ideales para la transducción de información musical y sonora, facilitando que personas con diferentes grados de sordera experimenten estímulos musicales y sonoros.

La importancia de facilitar la experiencia musical en personas sordas es que les permite aprender a interpretar los sonidos y atribuirles un significado, que posibilita tener un acercamiento más estrecho con el mundo que los rodea y así, ser un vehículo para la integración social [10], además de permitirles comprender conceptos como ritmo, altura o ejecución musical por medio de la vibración que genera cada instrumento musical [10] [11]. Es por esto, que la comunidad artística y científica se ha incentivado en desarrollar dispositivos como: (a) Sound shirt, el cual es un dispositivo de tecnología vestible que cuenta con 16 parches lumínicos y vibrotáctiles que responden a la amplitud de la señal de audio [12]. (b) Emoti-Chair, el cual consistió en una silla integrada con 16 altavoces, que utilizaban la piel del usuario/a como una membrana auditiva al experimentar las vibraciones producidas por los archivos de audio [13]. (c) MuSS-bits, el cual por medio de dos módulos independientes captaba el sonido y lo convertía en estímulos lumínicos y vibrotáctiles [14]. Sin embargo, en Chile estos dispositivos no se encuentran en el mercado y adquirirlos presenta un costo monetario muy elevado para la comunidad sorda, teniendo que recurrir a estrategias como el uso de parlantes o audífonos (de oyentes) a alto nivel de intensidad, lo que puede causar lesiones auditivas y físicas. Siendo que actualmente existe la tecnología para desarrollar dispositivos exclusivos para la experiencia musical sorda. Por lo que, en base a la necesidad presente de la comunidad sorda y las herramientas tecnológicas y científicas existentes, es que el objetivo general de esta investigación es el desarrollo de un dispositivo de sustitución sensorial enfocado en la experiencia musical sorda, por medio del uso de tecnología de asistencia vibrotáctil y visual. De lo anterior se desprenden tres objetivos específicos: (1) investigar en la relación entre los estímulos musicales y vibrotáctiles, (2) desarrollar y construir un dispositivo háptico de sustitución sensorial y (3) evaluar el desempeño de este dispositivo en cuanto a requerimientos propios de la experiencia musical sorda.

2. MÉTODOS

Dados los objetivos de esta investigación, se optó por un enfoque mixto, cualitativo y cuantitativo [15], con aportes de conocimientos de diversos campos del saber: música, sonido, dermatología, neurología y ciencias computacionales. Se diseñó una metodología que consideraba al inicio un estudio de caso, cuya muestra estuvo conformada por tres personas sordas con diferentes grados de sordera: sordera profunda congénita, sordera congénita y sordera profunda (ver tabla 1). Si bien no se trata de una muestra representativa de toda la comunidad sorda, la variedad de tipos de sordera

Tabla 1: Tabla de caracterización de participantes

Identificación Edad Ocupación Tipo de sordera

Participante A 34 años Artista Sordera profunda congénita

Participante B 22 años Estudiante universitaria Sordera profunda adquirida

Participante 31 años Monitora lengua de señas chilena Sordera congénita

Esta investigación se desarrolló en dos fases (ver fig. 1):

1) La primera consistió en el levantamiento de información, estableciendo contacto directo con las participantes a través de entrevistas semiestructuradas. Esto con el objetivo de conocer sus experiencias sociales, culturales, educacionales y artísticas como persona sorda en Chile. Además, se realizó una caracterización perceptual con respecto a las vibraciones producidas por un conjunto de transductores identificados en investigaciones enfocadas en el desarrollo de dispositivos para la experiencia musical de personas sordas (ver tabla 2).

Tabla 2: Tabla de transductores vibrotáctiles utilizados

Actuadores tipo moneda

Nombre Tipo

C10-100 Actuador de resonancia lineal

C08-00A Actuador de resonancia lineal

Actuador Samsung Actuador de resonancia lineal

310-122 Actuador de masa excéntrica rotatoria

Transductores electroacústicos

Bass shaker Dayton TT25-16 Transductor táctil

Parlante JBL Transductor electroacústico

2) La segunda fase consistió en el diseño, desarrollo y evaluación del dispositivo de sustitución sensorial, la cual se llevó a cabo por medio de dos iteraciones: (a) se construyó un primer prototipo en base a una tabla de muestra con tres actuadores diferentes y un transductor táctil. Con el objetivo de evaluar los parámetros de transducción de estímulos musicales a estímulos vibrotáctiles, los tipos de transductores vibratorios y las partes del cuerpo adecuadas para la percepción de vibraciones. (b) Considerando los resultados que se obtuvieron a lo largo de la investigación se realizó la segunda iteración, en la cual se desarrolló el prototipo final de la prueba de concepto de un dispositivo de sustitución sensorial. Fig.1: Diagrama de flujo de trabajo para el desarrollo del dispositivo de sustitución sensorial

3. RESULTADOS

3.1. Entrevistas semiestructuradas

Durante las entrevistas aparecieron aspectos que ayudaron a comprender la relación que las participantes tenían con los estímulos sonoros y musicales, tales como: (a) la distinción de estilos musicales como reggaetón y electrónica, debido a su predominante patrón rítmico. (b) La preferencia de los sonidos o frecuencias graves por sobre los sonidos o frecuencias agudas como la flauta o la voz de una mujer, lo cual está directamente relacionado a su sistema perceptivo y tipo de sordera, por lo que lo anterior podría sugerir que ciertos rangos de frecuencia no pueden ser percibidos como tal y que son relacionados con ruido.

Por otra parte, se identificaron los requerimientos para el diseño y construcción del dispositivo, considerando pertinente el uso de componentes visuales y vibrotáctiles que respondan al ritmo de la música, así como también un dispositivo de gran tamaño e intensidad que les permitiese percibir las vibraciones tanto dentro como fuera de su cuerpo. Además, se constató la preferencia por la madera como medio de propagación para las vibraciones debido a sus características acústicas.

3.2. Caracterización perceptual de transductores

La caracterización de transductores vibrotáctiles se realizó a través del método de medición directa y tenía como objetivo conocer dos tipos de parámetros perceptuales: 1) el primer momento en el que el sujeto logra percibir vibraciones significativas y 2) el momento en el que las vibraciones percibidas son incómodas o molestas para el sujeto. Para ello se trabajó con cuatro tipos de transductores obtenidos en base a la investigación bibliográfica [16] [17] [18]: (a) actuadores de resonancia lineal, (b) actuadores de masa excéntrica rotativa, (c) transductor táctil y (d) transductor electroacústico. También, se testearon los transductores ya mencionados en diferentes partes del cuerpo, con el objetivo de identificar qué zonas eran las más adecuadas para situarlos.

Los resultados concluyeron que la percepción de la relación entre frecuencia e intensidad presentan una relación directa que depende de: 1) las vibraciones significativas para el cuerpo humano, que están dentro de los 5 a 300 Hz aproximadamente [7] [8], 2) las capacidades perceptuales de los/as posibles usuarios/as, pues el umbral de percepción y el entrenamiento táctil varía entre cada persona y 3) que la señal que pueden reproducir los transductores está limitada por sus condiciones físicas. A partir de este estudio se consideró que los transductores más adecuados, para el diseño del dispositivo de sustitución sensorial eran los actuadores de resonancia lineal, el transductor táctil y el transductor electroacústico. A su vez, se concluyó que las partes del cuerpo que generaban mayor percepción vibrotáctil eran aquellas zonas óseas no articuladas, como esternón y cuello, entre otras.

3.3. Dispositivo de sustitución sensorial

potencia, interfaz de audio, conexión WIFI y computador) fue construido bajo las premisas de comodidad, portabilidad, uso intuitivo e instalación intuitiva. Consideró estímulos vibrotáctiles y estímulos visuales, y contó con cuatro módulos: tres módulos corporales y vibrotáctiles correspondientes a un arnés y dos brazaletes, a los cuales se les adhirió los transductores Bass shaker, Vibrador derecho y Vibrador izquierdo (ambos parlantes JBL reciclados y encapsulados) y un cuarto módulo opcional que reproducía estímulos relacionados a cada módulo corporal a través de una pantalla.

Fig.2: Dispositivo de sustitución sensorial, algunas posiciones de los módulos corporales

La transducción de estímulos musicales a estímulos vibrotáctiles se realizó en el ambiente de programación Max/MSP1 y contó con tres métodos diferentes para trabajar los archivos de audio (ver fig. 3): 1) división de bandas de frecuencias (graves, medias graves, medias agudas y agudas) utilizando la transformada rápida de Fourier, 2) división de bandas de frecuencias utilizando filtros pasa bajo, pasa alto y pasa banda y 3) división de pistas por instrumentos: bajo, batería, bajo más batería, voces y una pista con los instrumentos restantes2. En cuanto a la transducción de estímulos musicales a estímulos visuales, también se realizó en el programa Max/MSP y se decidió utilizar la variable de amplitud de la señal de audio correspondiente a cada módulo corporal, con el objetivo de generar una correlación con los estímulos visuales.

Fig.3: Interfaz del dispositivo en el ambiente de programación Max/MSP

Por último, la interfaz de usuario se realizó en la aplicación TouchOSC3 y permitía controlar parámetros de selección de módulos corporales, selección de pistas de instrumentos, ajustes de volumen, lista de reproducción, selección de visuales y filtros de frecuencia en caso de que alguna pista de instrumentos lo requiriera para generar vibraciones perceptualmente significativas, entregando mayor independencia al posible usuario/a (ver fig. 4).

Fig.4: Interfaz de usuario/a del dispositivo La experiencia musical es multisensorial tanto para oyentes como sordos/as, por lo que independiente del tipo o grado de sordera una persona sorda experimenta los estímulos musicales y sonoros principalmente por medio de la vista y el tacto, pero también através de estímulos vibratorios relacionados con el ritmo. Esto se debe a que la interacción que han tenido anteriormente con la música ha sido principalmente en fiestas, donde las frecuencias graves relacionadas con el ritmo de una canción es lo que más predomina en conjunto a las vibraciones que genera cuando se está en un espacio acústicamente adecuado. Por lo cual, el método que pareciera más pertinente para la transducción de estímulos musicales a vibrotáctiles es la división de pistas por instrumentos. Esto permite utilizar el patrón rítmico que produce la línea melódica de cada instrumento musical presente en el archivo de audio como medio para generar vibraciones significativas en los/as usuarios/as. La división por bandas de frecuencia, por el contrario generaba dos tipos de distorsión: 1) distorsión en la señal, ya que al dividir la señal se producían artefactos, que al incrementar la intensidad ‘ensuciaban’ la señal resultante y 2) al descender la altura de una determinada banda de frecuencia para ubicarla dentro del umbral perceptualmente significativo, ésta dejaba de ser la banda inicialmente configurada, por lo que la información que recibían las participantes correspondía a una banda distinta generando que conceptual y perceptualmente la información se distorsionara.

En relación a los aspectos técnicos, se considera que esta prueba de concepto al ser alámbrica y requerir de equipo externo, no cumple con las premisas de portabilidad y comodidad, pues el uso de cables y la magnitud de los equipos externos, hace que el movimiento de los/as usuarios/as se vea entorpecido o que dichos equipos sean difíciles de transportar junto al dispositivo de estimulación háptica y visual. Respecto a las premisas de uso e instalación intuitiva, se piensa que en base a la exploración por la autora éstas están acorde a los requerimientos planteados. Sin embargo, el tercer objetivo específico: evaluar el desempeño de este dispositivo en cuanto a requerimientos propios de la experiencia musical sorda, no pudo alcanzarse durante la segunda iteración del dispositivo, debido a la crisis sanitaria en la que se encuentra el país, pero se espera completarla en su totalidad cuando las condiciones sean apropiadas.

Finalmente, con esta prueba de concepto del dispositivo, se cree posible desarrollar y construir un dispositivo de sustitución sensorial operativo a costo razonable que, de producirse en escala, podría ser más accesible económicamente para la comunidad sorda en Chile, aportando sustancialmente en la inclusión de la población sorda dentro de diversas disciplinas artísticas que requieran el uso de música y sonidos, así como, promoviendo formas más universales e inclusivas para las expresiones musicales.

AGRADECIMIENTOS

Agradezco la colaboración del profesor Javier Jaimovich y el investigador y compositor Federico Schumacher en la redacción y corrección de este artículo. También, a la profesora Carolina Espinoza, por la orientación durante el proceso de caracterización de transductores.

[1] T. R. Morais de Paula y P. Lima Martins Pederiva, “Musical Experience in Deaf Culture”, Int. J. Technol. Incl. Educ., dic. 2017. [2] American Speech Language Hearing Association, “Type, Degree, and Configuration of Hearing Loss”, ASHA Website Search, 2015. https://www.asha.org/uploadedFiles/AIS-Hearing-Loss-TypesDegree-Configuration.pdf (accedido jun. 28, 2019). [3] L. Green, Music on Deaf Ears: Musical Meaning, Ideology, Education. Manchester University Press, 1990. [4] C. M. Karns, M. W. Dow, y H. J. Neville, “Altered Cross-Modal Processing in the Primary Auditory Cortex of Congenitally Deaf Adults: A Visual-Somatosensory fMRI Study with a Double-Flash Illusion”, J. Neurosci., vol. 32, no 28, pp. 9626–9638, jul. 2012. [5] S. Levänen y D. Hamdorf, “Feeling vibrations: enhanced tactile sensitivity in congenitally deaf humans”, Neurosci. Lett., vol. 301, no 1, pp. 75–77, mar. 2001. [6] P. Bach-y-Rita y S. W. Kercel, “Sensory substitution and the human–machine interface”, Trends Cogn. Sci., vol. 7, no 12, pp. 541–546, dic. 2003. [7] L. L. Wyse y S. Nanayakkara, “Perception of vibrotactile stimuli above 1 kHz by the hearing-impaired”, 2012. [8] J. W. Morley y M. J. Rowe, “Perceived pitch of vibrotactile stimuli: effects of vibration amplitude, and implications for vibration frequency coding.”, J. Physiol., vol. 431, no 1, pp. 403–416, dic. 1990. [9] M. Poast, “Color Music: Visual Color Notation for Musical Expression”, Leonardo, vol. 33, no 3, pp. 215–221, jun. 2000. [10] A.-A. Darrow, “Music for the Deaf”, Music Educ. J., vol. 71, no 6, pp. 33–35, feb. 1985. [11] S. E. Trehub, T. Vongpaisal, y T. Nakata, “Music in the Lives of Deaf Children with Cochlear Implants”, Ann. N. Y. Acad. Sci., vol. 1169, no 1, pp. 534–542, jul. 2009. [12] CuteCircuit, “The SoundShirt”, CUTECIRCUIT, 2016. https://cutecircuit.com/soundshirt/ (accedido jun. 28, 2020). [13] A. Baijal, J. Kim, C. Branje, F. Russo, y D. I. Fels, “Composing vibrotactile music: A multisensory experience with the Emoti-chair”, 2012 IEEE Haptics Symp. HAPTICS, pp. 509–515, mar. 2012. [14] B. Petry, T. Illandara, y S. Nanayakkara, “MuSS-bits: sensordisplay blocks for deaf people to explore musical sounds”, en Proceedings of the 28th Australian Conference on Computer-Human Interaction - OzCHI ’16, Launceston, Tasmania, Australia, 2016, pp. 72–80. [15] H. Sampieri, F. Collado, y B. Lucio, “METODOLOGÍA DE LA INVESTIGACIÓN”, p. 533, 2004. [16] B. J. P. Mortimer, G. A. Zets, y R. W. Cholewiak, “Vibrotactile transduction and transducers”, J. Acoust. Soc. Am., vol. 121, no 5, pp. 2970–2977, may 2007, doi: 10.1121/1.2715669. [17] M. Wiertlewski, Reproduction of tactual textures: transducers, mechanics and signal encoding, 1st ed. New York: Springer, 2013. [18] D. Z. Lee, “Bass shaker transducer”, US9282409B2, mar. 08, 2016.