el callejón del ruido
Creación, ideas y TEcnología Resonancias e impacto (1994-2019)
el callejón del ruido
Creación, ideas y TEcnología Resonancias e impacto (1994-2019)
Roberto morales Manzanares Cynthia p. Villagómez oviedo editores
universidad de guanajuato campus guanajuato 2022
UNIVERSIDAD DE GUANAJUATO
Dr. Luis Felipe Guerrero Agripino RECTOR GENERAL
Dra. Teresita de Jesús Rendón Huerta Barrera RECTORA DEL CAMPUS GUANAJUATO
Dra. Claudia Gutiérrez Padilla SECRETARIA ACADÉMICA
Mtro. Gabriel Alejandro Andreu de Riquer COORDINADOR GENERAL DE DESARROLLO ACADÉMICO
Mtra. Rocío Ávalos Gómez COORDINADORA GENERAL DE APOYO ADMINISTRATIVO
Manuel Rocha Iturbide Roberto Cabezas Hernández Edmar Olivares Soria COMITÉ EDITORIAL
Roberto Morales Manzanares Cynthia P. Villagómez Oviedo EDITORES
Callejón del Ruido. Creación, ideas y tecnología, resonancias e impacto (1994-2019) Primera edición, 2022. De esta edición D. R. © Universidad de Guanajuato Lascuráin de Retana 5, zona centro. Guanajuato, Gto. 36000. Campus Guanajuato. Fraccionamiento 1 s/n. Col. El Establo. Guanajuato, Gto.
D. R. © Ediciones de las Sibilas Francisco Contreras 114, Loma Verde León, Gto., CP 37295
Diseño de portada: Cynthia P. Villagómez Oviedo Imagen en portada: Roberto Morales Manzanares Diseño gráfico y corrección de estilo de textos en español Juan José De Giovannini
Esta publicación fue realizada con apoyo del Campus Guanajuato de la Universidad de Guanajuato.
Impreso y hecho en México Printed and Made in Mexico
ISBN: 978-607-99379-9-7
Prohibida la reproducción total o parcial por cualquier medio sin la autorización por escrito del editor.
Los editores desean agradecer a los autores de esta edición. A todos los y las artistas participantes en las diversas ediciones de Callejón del Ruido. Gracias especiales a la Dra. Teresita de Jesús Rendón Huerta Barrera, por darnos la encomienda de realizar la presente edición. Asimismo, expresamos nuestro agradeciemien to al Comité Editorial: Manuel Rocha Iturbide, Edmar Olivares Soria y Roberto Cabezas Hernández.
15
Prólogo
SECCIÓN I
Historia y testimonios
reflexiones y memorias 1994-2019 Roberto Morales Manzanares
Palabras a mano libre Antonio Russek
ColaboraCiones Profundas en berkeley, California, Con el dr. roberto morales Adrian Freed reflexiones sobre el iniCio de un viaje musiCal Víctor Manuel Rivas Dávalos
liber amiCorum [libro de amigos] Luc Houtkamp
mi relaCión Con el festival internaCional el Callejón del ruido Emmanuel Ontiveros
SECCIÓN II
Arte sonoro y electrónico arritmia, el naCimiento de una máquina biomeCániCa Peter Bosch y Simone Simons la vibraCión y la resonanCia en la músiCa eleCtroaCústiCa y el arte sonoro Manuel Rocha Iturbide traslaCiones y resonanCias en “la voz oCulta de los objetos ” Fernando Vigueras ater vulture. videomaPPing / instalaCión Karina Álvarez Castillo
ProCesos de CreaCión e induCCión de emoCiones en el arte eleCtróniCo y el arte sonoro relaCionados Cynthia P. Villagómez Oviedo
Diseño de instrumentos y composición algorítmica
don CuCo el guaPo: un robot Pianista en el Callejón del ruido Alejandro Pedroza Meléndez
la músiCa es teCnología Cort Lippe
ComPosiCión algorítmiCa mediante modelos de reCurrenCia ProbabilístiCa Roger B. Dannenberg
algoritmos genétiCos Para la generaCión de datos simbóliCos y su imPlementaCión en max for live Francisco Colasanto y Jorge Rodrigo Sigal Sefchovich
CooPeraCión humano-máquina Para la CreaCión teCnológiCa Roberto Cabezas Hernández
siCib: sistema interaCtivo de ComPosiCion e imProvisaCion musiCal Para bailarines Roberto Morales Manzanares y Eduardo Morales Manzanares
aPliCaCiones aCtuales de redes neuronales y músiCa Edmar Olivares Soria
Creación, análisis y teoría
ComPosiCión algorítmiCa, ilustrada Por mi ProPia obra: una revisión del Periodo 1971-2021 Clarence Barlow
sendas entre teCnología digital y esCritura instrumental y voCal: de eua’on (1980), voz digitalizada, a eua’on’ome (1995), orquesta. Julio Estrada Velasco difusión de obras estereofóniCas Trevor Wishart fire at ChurCh Miller Puckette entre lo analógiCo y lo digital Miguel Ángel Reyna Martínez disCissum: sonoridades de segundo orden en la notaCión de músiCa instrumental Mauricio Rodríguez re-ComPoniendo la radio mexiCana Leigh Landy ePílogo anexos gráfiCos aCerCa de los autores el Callejón del ruido. Creation, ideas and teChnology resonanCes and imPaCt (1994-2019)
Alo largo de los siglos, el arte ha sido una de las manifestaciones huma nas más nobles, porque muestra las preocupaciones ontológicas más genuinas. Es precisamente en el arte, que el ser humano se ha expresado con aquellos recursos que han sido característicos de su época, siempre a través de diversas tecnologías. Desde la curiosidad de Leonardo Da Vinci, cuya exploración con nuevos recursos y medios favoreció la evolución de otras áreas del conocimiento humano, hasta nuestros días con la experimentación que llevan a cabo cientos de artistas electrónicos por todo el orbe; como en el caso que nos ocupa en el presente libro conmemorativo del festival El Callejón del Ruido en sus ediciones de 1994 a 2019, donde primó la ex perimentación sonora, la exploración del sonido con recursos tecnológicos, como también el rescate de música que forma parte de nuestro folclor, atípi ca combinación que cobra sentido cuando estas formas de expresión se unen para formar nuevos paisajes sonoros.
Por lo anterior, con seguridad se puede afirmar que El Callejón del Ruido es parte de un largo ejercicio de libertad artística y de un entorno provisto por la Universidad de Guanajuato, bajo el auspicio también de diversas instituciones. Un marco contextual onírico no libre de vicisitudes, si se tiene en cuenta que nuevas formas de interpretación de un campo determinado generarán un cisma que, no obstante, a la postre se pueda contribuir a la evolución del mismo campo, en este caso, del arte sonoro y su cruce transdisciplinar con otras áreas.
Es así que, El Callejón del Ruido fue un refugio para la libertad creado ra de decenas de músicos y artistas visuales que se presentaron durante el festival. Por lo que, con esta publicación se conmemoran catorce festivales realizados del año 1994 al año 2019, así como el enfoque transdisciplinar del mismo, donde se establecieron diálogos entre la música y otras disci plinas, tales como, las matemáticas —como primer acercamiento—, los ambientes de programación, la ingeniería electrónica, la física y las artes visuales, entre otras.
Se celebra también la incidencia positiva del Callejón del Ruido en la comunidad estudiantil, ya que a partir de él estudiantes de la Universidad de Guanajuato iniciaron una amplia producción de arte con el uso de tec nología; es el caso de Marcela Armas, Gilberto Esparza, Iván Puig y Karina Álvarez, actualmente reconocidos artistas contemporáneos mexicanos. El festival contribuyó también, a la formación de estudiantes en la creación musical con el uso de tecnología; algunos de los más destacados exponentes son, Mauricio Valdés San Emeterio, Marcos Bringas, Héctor Carranco, Em manuel Ontiveros, Víctor Rivas y Paul León Morales, hoy en día abocados a la experimentación sonora.
El Callejón del Ruido contribuyó también a la actualización de diversos programas educativos, no solo en la Universidad de Guanajuato, en donde se innovó en el pe de la Licenciatura en Música con cuatro niveles de la asigna tura de Laboratorio de Informática Musical, así como con las asignaturas de Composición Algorítmica y Acústica. Por otra parte, a raíz de las activida des realizadas en el festival, se implementaron las materias de Procesamiento de Sonido en Tiempo Real, así como la materia de Composición Algorít mica en el Posgrado en Música y Tecnología de la Universidad Nacional Autónoma de México (unam); de dicho posgrado, dos tesis desarrolladas en estos campos de conocimiento estuvieron nominadas a la prestigiosa Meda lla Alfonso Caso. Cabe mencionar que los autores de ambas tesis, a saber, Roberto Cabezas Hernández y Edmar Olivares Soria, son autores de dos capítulos en la presente edición.
En las siguientes páginas el lector encontrará textos de algunas de las figuras más destacadas del escenario del arte sonoro internacional y nacional actual, quienes nos comparten sus experiencias dentro de El Callejón del Ruido, así como sus procesos y prácticas artísticas, lo cual será oro moli
do para los nóveles estudiantes ávidos de conocimiento en torno de nuevas tendencias dentro del arte sonoro y electrónico, así como para todo aquel interesado en el arte, el sonido y sus procesos de creación.
Sea pues que el propósito del presente libro de El Callejón del Ruido. Creación, ideas y tecnología. Resonancias e impacto (1994-2019) se re frende como un referente de la historia del arte sonoro contemporáneo, así como un instrumento de apoyo pedagógico, empero y sobre todo, como tes timonio de todos aquellos que dirigieron devotamente, apoyaron de manera irrestricta, organizaron y participaron de manera entusiasta en el festival, evento excepcional donde se abrió una gran ventana a la experimentación y exploración artística, ventana que auguramos y esperamos permanezca abierta para las generaciones de artistas sonoros por venir.
Guanajuato, Gto., agosto de 2022
Roberto Morales Manzanares Cynthia P. Villagómez Oviedo Editores
El Callejón del Ruido nace en 1994 en una cena en casa del Dr. José Ángel Canavatti. En ese momento, él era di rector del cimat. Hablamos de música, de matemáticas y de las posibles con vergencias y divergencias entre ambas disciplinas. Convenimos que sería una buena idea realizar un festival-congreso para fomentar el diálogo entre la música y las matemáticas, así como su vínculo con otras áreas del conocimiento. Los que conocimos a José Ángel sabemos de su intempestivo carácter, en ese mo mento (9:00 pm aproximadamente) lla mó por teléfono el entonces Rector de la Universidad de Guanajuato, Lic. Juan Carlos Romero Hicks, para agendar una cita al día siguiente.
El Rector de nuestra universidad se entusiasmó de inmediato con la idea y arrancamos el proyecto. El cimat se encargaría de ofrecer sus espacios para conferencias, hospedaje y la alimenta ción de los invitados. La Universidad de Guanajuato por su parte, pondría todos los espacios disponibles para la realiza ción y difusión del evento.
Una vez concretados estos apoyos (¡en 2 días!) viajé a cdmx (antes Distrito Fe
deral) hacia la Coordinación Nacional de Música y Ópera y a lo que fue la ahora extinta oficina de Descentralización, ac tualmente Secretaría de Cultura.
En la Coordinación Nacional de Música y Ópera estaba como director el Mtro. Manuel De Elías. Como ante cedente, cabe señalar que el Mtro. De Elías creó el festival La Computadora y la Música, y nos invitó al Mtro. Fran cisco Núñez y a mí para participar en su realización en 1991.
Conociendo De Elías mi desempeño como organizador, le propuse el pro yecto de El Callejón del Ruido y dados los apoyos estatales y la dimensión del mismo, accedió a apoyarlo con el mon to económico que se usó para el festival La Computadora y la Música, aunado a la participación de los solistas y grupos artísticos que pertenecen a la Coordina ción Nacional de Música y Ópera. Esto dio como resultado la realización de un convenio anual con la Universidad de Guanajuato y la Coordinación, que es tuvo vigente hasta el 2004.
Por otro lado, en la oficina de Des centralización estaba como coordinador del programa el escritor y poeta Eduar do Langagne con quien colaboré en el Centro para el Estudio del Folclor
el Callejón del Ruido
Latinoamericano (Cefol) años atrás. Descentralización en ese entonces pro porcionaba recursos a los institutos es tatales de cultura, por lo que el proyec to fue muy bien recibido y también se comprometió a proporcionar un recurso económico anual vía el Instituto Estatal de la Cultura de Guanajuato para el pro yecto El Callejón del Ruido.
El apoyo de estas cuatro institucio nes (la Universidad de Guanajuato, el cimat, la Coordinación Nacional de Música y Ópera del inba y el Instituto Estatal de la Cultura de Guanajuato, vía Descentralización) me permitió gestio nar otras fuentes de apoyo y colabora ción para el festival: la Fundación Gau demus, Centro Multimedia y la Escuela Superior de Música, ambas del Centro Nacional de las Artes, así como univer sidades de Estados Unidos y Canadá.
El festival funcionó siempre con la colaboración de maestros y artistas tanto de la Universidad de Guanajuato como de universidades nacionales y extranje ras. La rotación anual entre los grupos de colaboradores tales como: curadores, compositores, artistas visuales y grupos artísticos, fue clave para mantener al fes tival fresco y con una visión actualizada del arte contemporáneo en cada edición.
Sí quisiera destacar aquí el entusias mo y apoyo del entonces director de Mú sica Armando López Valdivia, el papel absolutamente determinante del Mtro. Héctor Quintanar, ya que con su iniciati va de incluir a la Orquesta Sinfónica de la Universidad de Guanajuato en el Festival El Callejón del Ruido como parte de sus actividades sustantivas fue fundamental y por supuesto, la voluntad del Mtro. José Luis Castillo para respetar el acuerdo y no escatimar en la programación de obras contemporáneas para orquesta en las fe chas del festival.
Cabe mencionar que El Callejón del Ruido fue el primer festival en México que incorporó arte electrónico y el pri mero a escala mundial en realizar un con curso de composición algorítmica (esto fue en la segunda edición, en 1995, y en donde el ganador fue Cort Lippe).
En el 2001 realicé la edición número 8 y, terminando el festival, me fui a rea lizar mi doctorado a la Universidad de California, en Berkeley, Estados Unidos. Entre el 2002 y el 2004 el Mtro. Héc tor Quintanar siguió con el Festival Ca llejón del Ruido con tres ediciones, pero por desgracia ya no se pudo realizar en el 2005 y se perdieron todos los apoyos conseguidos desde 1994.
Eso creó un problema para poder re tomar el festival al momento de mi rein corporación a la Universidad de Guana juato en el 2006. Las instituciones que antiguamente daban su respaldo, ya se encontraban con otros intereses y polí ticas de apoyo cultural, incluida la Uni versidad de Guanajuato.
En el 2009 pude reanudar el festival por medio de la División de Arquitec tura Arte y Diseño (daad) del Campus Guanajuato. Por desgracia solo pudimos mantenerlo por ese año dados los re cortes presupuestales y el poco tiempo para reanudar apoyos locales, a pesar de haber tenido la colaboración de las Uni versidades de Stanford, uc San Diego de Estados Unidos y York de Inglaterra.
En el 2018 lo retomé de nuevo para las ediciones 2018 y 2019, con un gran apoyo por parte de Rectoría de Campus Guanajuato, la daad y Extensión Cultu ral. Pienso que pudimos haber crecido más ya que en la edición del 2019 tu vimos también apoyo por parte de los programas de coinversiones del Fonca.
En el 2019 propuse institucionalizar el festival para garantizar su continuidad
y afianzar un presupuesto institucional de acuerdo con los estatutos que men ciono más adelante.
El Callejón del Ruido nunca fue un fes tival de música contemporánea, en rea lidad tampoco obedecía a las caracterís ticas de un congreso. Era un festival en donde se programaba música contempo ránea pero también música tradicional de los pueblos originarios de México, arte electrónico, se exponían artículos y seminarios de música y matemáticas, sistemas de cómputo orientados a la mú sica y al arte en general, instalaciones, danza, artes visuales, fotografía y cocina. Mantuvimos siempre de manera sosteni da foros y mesas redondas de creación, fenómenos multidisciplinarios y estrate gias en gestión cultural.
El Callejón era un festival para la co munidad universitaria y el mundo. En este festival germinaron muchas ideas para la creación de obras, proyectos y el desarrollo de lo que es hoy la oferta de programas orientados a la música: Pd, Maxmsp, Nyquist, Audacity, SuperCo llider (la sección de Pbind, Pdefs, etc), Open Sound Control (osc), sicib y Es camol, por dar ejemplos tangibles.
Fue un festival con características únicas y escasas vistas en otros festivales o congresos.
Callejón era una fiesta de ideas e ini ciativas con un formato académico que a veces aparentaba ser irreverente ante los estereotipos convencionales. Siempre con propuestas de cara al futuro, como queda demostrado en su programación, e impacto en otras partes del mundo.
Tal vez el hecho de no estar cien por ciento orientado a la música contempo ránea o académica tipo siglo xix y xx,
y tener una orientación transdisciplinar causaba más ruido que su nombre para algunas personas.
Es claro e inevitable que el futuro está en formar cuadros con equipos multi disciplinarios, que la música puede estar sorprendentemente relacionada con más disciplinas y que éstas a su vez enrique cen y retroalimentan de manera crucial el quehacer musical contemporáneo. Convivir con cosmovisiones y estéticas diversas que demanda la composición en tiempo real (e. g. improvisación) con o sin tecnología, nos nutren de nuevas ideas y técnicas virtuosas novedosas, dignas de tomarse en cuenta para la renovación de planes de estudio tanto en interpretación como en creación musical y visual.
La música es universal y demostrarlo era algo fundamental para la formación de alumnos. Siempre fue para mí muy importante fomentar y mantener un diá logo estrecho entre alumnos, artistas e inventores de otros países.
Programar a grupos de música y danza de los pueblos originarios de Mé xico (huaves, camperos de Valles, jarana mixe, canto cardenche, etc.) lo consideré indispensable para que los alumnos tam bién cobraran conciencia de la riqueza con la que cuenta este país al respecto. Cabe mencionar que oficialmente exis ten 68 lenguas indígenas, cada una con su cosmovisión y enfoque artístico.
Otro aspecto importante que busca ba con El Callejón del Ruido fue mos trarle al alumno la posibilidad de situar se también en campos emergentes del conocimiento con enfoques multidisci plinarios y ampliar su espectro profesio nal en áreas alternativas, una vez egre sados de la Universidad de Guanajuato.
historia y testimonios
sección
el Callejón del Ruido
2. memorias el Callejón del ruido 1994- 2019
A continuación, enumero lo que con sidero son los estatutos y que fueron la columna vertebral del festival para su realización en los años 1994-2001, 2009 y 2018-2019.
El Callejón del Ruido. Creación, Ideas y Tecnología Guanajuato, Gto.
La Universidad de Guanajuato, a través de la Rectoría del Campus Guanajuato, la Dirección de Extensión Cultural, la División de Arquitectura Arte y Diseño (daad), el Departamento de Música de la Universidad de Guanajuato y el Labo ratorio de Informática Musical (lim) se comprometen a producir anualmente el Festival Internacional de Música y Arte Contemporáneo El Callejón del Ruido. Creación, Ideas y Tecnología, que se lle vará a cabo en la ciudad de Guanajuato como sede principal.
Los objetivos y compromisos del fes tival para con la comunidad universitaria, el estado de Guanajuato y el país son:
1. Presentar un mosaico actual y con temporáneo de las diversas tendencias teóricas y artísticas de la composición contemporánea y arte interactivo tanto de nuestro país como del resto del mundo.
2. Contar con la participación de per sonalidades destacadas en el mundo del arte Estas incluyen la creación musical contemporánea, tanto en el campo de la música acústica, como en el de la música por computadora y medios electrónicos, arte electrónico, escultura, pintura, fo tografía, danza e instalaciones.
3. Actualizar y estimular al medio artístico y científico del país en la crea
ción de obras artísticas e investigación, enfatizando de manera inmediata la par ticipación del personal académico de nuestra Universidad.
4. Académicamente, estas activida des deben complementar las asignatu ras teóricas y creativas, incluidas en las áreas de: composición, pedagogía mu sical, musicología, instrumentista, dan za, arquitectura, diseño, matemáticas e ingenierías que actualmente ofrece el Campus Guanajuato de la Universidad de Guanajuato; ya que las ponencias, los talleres y seminarios deben repre sentar el trabajo más avanzado de los investigadores y creadores más reco nocidos a nivel mundial, en los campos mencionados.
5. Es obligatorio incluir en la pro gramación a artistas de comunidades indígenas dada su diversidad y cosmo visión del mundo tan necesarias para el enriquecimiento y formación de nuestra comunidad universitaria
6. Culturalmente es primordial man tenerse como un referente en expresión musical y artística multidisciplinaria que aúnan el arte, las matemáticas, la ciencia y la tecnología, en nuestro país
7. El festival consistirá en uno o dos conciertos diarios, seminarios, ponen cias, clases magistrales y talleres acerca de tópicos relacionados con el queha cer del artista contemporáneo, entre los cuales destacan:
a) Composición con modelos algo rítmicos b) Tecnología en la música y mode los interactivos c) Composición y análisis de obras d) Diseño de instrumentos por com putadora e)Técnicas instrumentales contem poráneas f) Realidad virtual
i)
j) Performance
k) Danza
l) Exposiciones museográficas
8. Los conciertos abarcarán obras para solistas, ensambles de cámara y or questa sinfónica.
9. Con respecto a la danza, perfor mance, videomapping, instalaciones, etc., estos se presentarán en diversos recintos Universitarios y del Estado de Guanajua to, como museos, salas de exposiciones y locaciones al aire libre.
Como se puede observar, en estos objetivos se integran de manera natu ral las estrategias y metas planteadas en lo académico por el plan de desa rrollo institucional de agosto 2016, que comprende las funciones de do cencia, investigación, vinculación y extensión
Si observamos el enfoque de este artícu lo, solo menciona a las personas que fue
ron fundamentales para su nacimiento y continuidad.
Destaco en los lineamientos lo que considero representa ser un artista com pleto y legítimamente contemporáneo.
Compartir mi visión académica y ar tística deja en claro mi pasión hacia lo sonoro y tomo prestado de la ciencia el cuestionar siempre el absolutismo que ha representado la cultura occidental como único camino hacia la creación contemporánea y la ciencia.
Finalmente, mi mayor satisfacción fue ron el impacto causado y la resonancia que tuvo el festival para el mundo, la comuni dad universitaria y el público en general.
Con esta memoria quiero agradecer a todos los participantes de este sueño y los invito a ver los anexos que cuentan parte de la historia de quienes me ayuda ron a realizar este gran proyecto.
El diálogo, el respeto a la diversi dad artística-académica y la constante actualización del conocimiento serán siempre la fortaleza para ser mejores ar tistas y académicos.
Tengo la esperanza y casi la certeza de que nuestra institución hará eco de este proyecto.
historia y testimonios
sección
Con algunas excepciones, fui invitado re gular del Festival Internacional de Mú sica y Arte Contemporáneo El Callejón del Ruido. Soy testigo de su desarrollo desde la primera edición y compartí muy de cerca las complejidades de su realiza ción. Tuve el privilegio de estrenar obras participando en una gran cantidad de conciertos, conferencias, conversatorios y exposiciones, así como otras actividades del festival, pero no quiero, ni considero relevante, hacer un recuento puntual de todas ellas; esto no pretende ser una pu blicación académica así que me ahorro la lista con nombres, fechas y detalles.
Lo que dejo aquí son algunas pala bras escritas a mano libre para señalar y reconocer al amigo y colega Roberto Morales quien ha sido creador, director y principal gestor de El Callejón del Ruido, reconociendo también la labor de muchos otros colaboradores e insti tuciones involucradas en esta larga tra yectoria del festival.
Aprecio las buenas experiencias re unidas durante mis estancias en Gua najuato, lo nutritivo que resultaron las sesiones de trabajo, los ensayos, las po nencias de los colegas, la oportunidad de escuchar obras nuevas en concierto, conocer el trabajo de otros composito res, intérpretes, investigadores, artistas plásticos, fotógrafos, etc., que estuvie
ron presentes en las diferentes emisio nes... cómo olvidar a Donald Buchla, diseñador de los icónicos sintetizadores que llevan su nombre o a Miller Puck ette autor de max y Pure Data, software utilizado mundialmente. El nivel de los eventos en general se mantuvo alto, por igual, la convivencia con los participan tes durante las comidas; mención espe cial merecen las largas reuniones noc turnas en casa de Roberto, beneficiadas con bastante mezcal, poniéndonos al tanto de nuestras vidas.
Cuando inició lo del festival ya nos conocíamos bien, cabalgamos juntos en anteriores proyectos, asistí a su boda, nuestras familias crecieron juntas; con Vicente Rojo Cama, amigo y aliado, configuramos un trío de electrónica “en vivo”, ofreciendo conciertos con cier ta frecuencia. Creo que fue alrededor de 1980 cuando nos encontramos, en tonces él componía la música para una obra de teatro, Rey Lear, dirigida por Salvador Garcini.
Roberto dejó la carrera en la Escue la Superior de Música del inba, pero siempre inquieto aprendió a tocar varios instrumentos con una destreza inusual para la improvisación. Fue invitado al conjunto jarocho del Negro Ojeda to cando el arpa, flautas y otras monerías; con su hermano Rodrigo, bajista, poe
el Callejón del Ruido
ta y luego consejero electoral forma el grupo Alacrán del Cántaro, interesante fusión “etnocontempofreejazzista” re velando mejor sus abstracciones sonoras que inevitablemente desembarcaron en este asunto de la música “electroasústi ca”, como suele decir.
Memorables sesiones en mi estudio de la Condesa, ensayos en casa de su fa milia en Guayacahuala, Morelos, rodea da de bosque, con su sintetizador arp 2600 y yo con mi modular ensamblado con partes Serge, preparando una pieza que me comisionó el primer Festival del Centro Histórico.
Durante la gestión de Francisco Núñez al frente de la Escuela Supe rior de Música, termina su licenciatu ra y desempeña un papel directivo en la creación del Laboratorio de Música Electrónica, cuando se adquieren los primeros equipos se organizan cursos y se inicia una tendencia pionera en el uso de la informática musical. Ahí empieza el desarrollo de sus primeros autómatas. Se incorpora como docente a la Uni versidad de Guanajuato, introducien do un nuevo programa de estudios que pronto se cristaliza en un laboratorio de informática y electrónica en la Escuela de Música... ¡Jesús mil veces! La empre sa no estuvo excenta de dificultades, sin embargo, varios de los exalumnos de Roberto son ahora exponentes desta cados y en su momento fueron colabo radores incondicionales en la operación del festival El Callejón del Ruido. Viaja a California para estudios de postgrado estableciendo amistad y vínculos acadé micos con personajes que serían luego convocados al emergente festival, ase gurando su perfil internacional. Es justo
afirmar que las alianzas privadas y públi cas necesarias para su realización fueron producto de una estrategia delicada y constante con los patrocinadores, tam poco fueron pocas las dificultades para mantenerlas activas.
Mente ágil, humor agudo, dinámico y extrovertido, Roberto cuenta en su catálogo con obra para orquesta y otras dotaciones instrumentales, pero nunca declinó su pasión por el uso de la tec nología en su práctica diaria, diseñando y construyendo dispositivos de control para sus procesos interactivos. Se con virtió en un experto programador en plataformas de síntesis y procesamiento de sonido con sus propios códigos como para otras aplicaciones (SperCollider, max, Pure Data, etc.), asistiendo a sim posios y festivales internacionales. Es catedrático y sinodal del área de post grado en Música y Tecnología de la Fa cultad de Música de la unam, beneficia rio del Sistema Nacional de Creadores de Arte.
Es obvio que el presente testimonio está focalizado, es parcial, está matiza do por los afectos, por las experiencias compartidas, la amistad, la música y el amor al cable. También es probable que no cumpla con el formato apropiado y que los acontecimientos aquí citados no sucedieron en el orden expuesto, tam poco pretende ser una semblanza por que es amplia la cantidad y diversidad de las acciones realizadas por Roberto, pero El Callejón del Ruido ¡es una de las mejores!
Felicidad a todos los involucrados en esta memoria.
Cuernavaca, Morelos, 2022
Mucho antes de que los términos “pro vocaciones” e “innovación disruptiva” se hicieran populares, Roberto Morales empleó de forma productiva estas estra tegias en sus colaboraciones con noso tros en California en el Centro de Nue vas Tecnologías de la Música y el Audio (cnmat). Muchas de nuestras contribu ciones más significativas y reconocidas surgieron de nuestras respuestas a sus ambiciones y nos beneficiamos enorme mente al ver que estas contribuciones se pusieron en práctica en conciertos y simposios memorables. El valor de in tegrar a los colaboradores extranjeros en una comunidad de investigación es considerable. Pero algo en lo que quie ro centrarme y que está infravalorado y subestimado es lo que llamaré “valida ción externa”.
Está comprobado que las nuevas ideas, y sobre todo la nueva música, a menudo tienen dificultades para pros perar más allá de un círculo local, y a menudo son personas ajenas las que ca talizan su eventual crecimiento. Ejem plos musicales bien conocidos son el jazz, el blues, el r&b, el reggae y el hi phop, todos ellos validados y revigori
zados en algunas partes de Europa. Con la intensa atención que se presta actual mente al aprendizaje automático y la ia para las aplicaciones musicales, puede sorprender que a finales de los años setenta había pocas exploraciones de este tipo en Estados Unidos. Las apli caciones musicales no cobraron fuerza hasta que instituciones europeas como el ircam respaldaron y difundieron la ia del mit y el aprendizaje automático de los cibernautas británicos. Los pri meros experimentos en el ircam con el jazz, sobre lo que ahora llamamos “transferencia de estilo”, llevados a cabo por David Wessel, eran promete dores, pero estaban limitados por estar en gran medida fuera del tiempo real. La experimentación en profundidad de los sistemas de improvisación en tiem po real acababa de empezar cuando se dispuso de máquinas lo suficientemen te pequeñas y asequibles como para producir resultados satisfactorios. Los intentos de David Wessel de centrar el ircam en sistemas de control de ml en tiempo real se vieron frustrados en gran medida por su enfoque en el dsp lineal, inadecuado para el aprendizaje auto
el Callejón del Ruido
mático y la ia. Esto era algo que David Wessel y yo queríamos abordar cuando iniciamos el programa de investigación en el cnmat. Uno de los sistemas y do cumentos que nos inspiró y que supuso un apoyo temprano a nuestras ambicio nes fue el sicib de 1997, de Roberto Morales y su hermano Eduardo. Ahora es el aniversario 25 de ese trabajo, uno de los sistemas más sólidos para la im provisación en vivo que evolucionó a partir de las exploraciones de autómatas que Roberto comenzó en 1992.
Conocí a Roberto en persona du rante su visita, en los primeros días del cnmat, en 1995 y nos pusimos a tra bajar en la configuración de nuestra infraestructura informática local para apoyar su trabajo. Esto implicaba com binar la única máquina que teníamos a mano que podía ejecutar Prolog (una estación de trabajo Sun) con la síntesis de sonido controlada por midi, media da por un Apple Macintosh. Aunque ya había trabajado en protocolos para este tipo de comunicaciones, ésta fue mi pri mera exploración de las comunicacio nes robustas en tiempo real utilizando Ethernet, algo que ya había sugerido en el ircam, que rechazó Ethernet en favor de una red de cable coaxial de fabrica ción propia. Elaboramos un protocolo sencillo que fue el precursor del trabajo posterior con Matt Wright y otros en lo que se convirtió en la codificación Open Sound Control (osc), la codificación re comendada de facto para la música en red y los controladores e instrumentos musicales digitales. Este protocolo cata lizó los primeros e influyentes grupos de interpretación en red, como The Hub.
El trabajo de aprendizaje automático influyó en muchos colegas del cnmat, incluido Georg Hajdu, que desarro lló Quintet.net. Nos alegramos mucho
cuando Roberto Morales regresó al cn mat para realizar sus estudios de doc torado. Sus compromisos con otros es tudiantes continuaron, como en 2003, cuando colaboró con Ali Momeni en un álbum de grabaciones. En 2005 retomamos otra vertiente de su traba jo, importante e influyente desde hace tiempo: la reintegración del movimiento y la música a través de la tecnología. La separación de la música, la danza y los rituales tradicionales en favor de formas concertantes estrechas y abstractas es una tendencia histórica clave de la músi ca artística y la danza contemporáneas (y no solo para la música occidental).
Roberto ya había trabajado en pie zas intermedias acoplando sistemas de medición inercial a los bailarines, así que, aprovechando la reciente miniatu rización de los sensores clave de la uc Berkeley (tecnología mems), construí un sistema de sensores ligero para acoplarlo a su flauta. Esto proporcionó dimensio nes adicionales de control mientras Ro berto actuaba y desarrolló sistemas de aprendizaje automático para utilizar flu jos integrados de información gestual y sonora. Con estos experimentos descu brimos que los acelerómetros son bue nos micrófonos de baja frecuencia, por lo que el filtrado de su salida producía un flujo de datos que marcaba los gestos de pulsación en el cuerpo de la flauta in dependientemente de los sonidos de la misma. Los primeros experimentos de Roberto con el sistema le llevaron a em plear el sensor como algo que se puede acoplar dinámicamente a los instrumen tos (mediante velcro) mientras se mueve entre sus instrumentos principales en la interpretación de una pieza.
Combinando este sistema con la sín tesis y el procesamiento de imágenes en tiempo real y fuera de línea, creó e in
terpretó Cenzontle, una pieza que ganó un premio en Bourges en 2005 y que representa una de las primeras piezas in termedias en vivo del cnmat, un ejemplo estimulante y evocador para futuras inves tigaciones, composiciones e interpreta ciones. Presenté un análisis musicológico visual de esta pieza en una conferencia en Montreal. La integración de la detección inercial en sus actuaciones ha evoluciona do considerablemente y ha sido reconoci da con regularidad en conferencias y even tos internacionales como la conferencia nime, donde vi una actuación memorable en la que se emplearon sensores inalámbri cos Wiimote, por ejemplo.
Estos experimentos han influido en muchas actividades relacionadas en el cnmat, donde se han empleado regu larmente dispositivos como teléfonos móviles que incluyen sensores inercia les. Otro proyecto notable de 2005 en Berkeley consistió en la composición y síntesis con datos de Space Weather proporcionados por la nasa. Roberto fue uno de los primeros en adoptar el sistema SuperCollider y recordaba re gularmente a nuestra comunidad que había herramientas fuera del espacio MaxMSP que debían explorarse.
Cerraré este necesariamente breve recorrido por las ricas colaboraciones que disfrutamos en Berkeley con un punto de conexión personal especial. Desde que escuché las grabaciones de Son Jarocho de la arpista La Negra Graciana (que se hizo famosa en una edición discográfica de un concierto grabado en París), he sentido curiosidad por la vivacidad rítmica y la compleji dad de esta música. Hace veinte años el Son Jarocho apenas era conocido o estaba representado en el área de la ba hía de San Francisco, por lo que fue una deliciosa sorpresa descubrir que Rober
to no solo conocía la música sino que la tocaba muy bien, en arpa, jarana y per cusión. Se convirtió en un guía inestima ble mientras yo reunía grabaciones, es tudios accesibles limitados y una jarana para aprender los rudimentos. Mi viaje personal hacia la tradición y las perso nalidades también tuvo una profunda influencia en mi comprensión del ritmo y en la necesidad de elevar el listón para modelar los aspectos rítmicos de la mú sica, muy por encima de los conocidos enfoques lingüísticos estructuralistas o cognitivistas.
El son jarocho en su contexto tradi cional (el fandango) encarna la polimetría, el groove, el swing, la danza, el contraste rítmico, los cambios de compás y la tex tura de la interpretación (especialmente los rasgueos y paradas de la jarana). En el programa de investigación del cnmat he mos avanzado en el modelado y la com prensión de algunos de estos aspectos de la música, sobre todo con el doctorado de Vijay Iyer y el trabajo del Dr. Rober to Morales. Aunque gran parte del tono y el timbre está bastante bien modelado matemáticamente y en simulaciones por ordenador, todavía queda mucho por ha cer en lo que respecta al ritmo. Gran par te de mis progresos en este campo solo han sido posibles gracias a las ideas de las exploraciones e investigaciones cataliza das por Roberto, y este trabajo, al igual que nuestras otras colaboraciones, sigue dando frutos e impulsando nuestras cu riosidades y descubrimientos.
cnmat. (2005). Calendar Past Events. https://cnmat.org/Calendar/Past_ Events_2005.html cnmat. (2002). Calendar Past Events. https://cnmat.org/Calendar/Past_ Events_2002.html
historia y testimonios
sección
el Callejón del Ruido
cnmat. (25 de junio 2009). Mineral de Cata, Roberto Morales-Manzanares. https://cnmat.berkeley.edu/con tent/mineral-de-cata-roberto-mo rales-manzanares cnmat. (10 de noviembre 2005). Paral lel Worlds in Music. https://cn mat.berkeley.edu/content/paral lel-worlds-music
Morales, Roberto, Eduardo F. Morales y David Wessel. (s.f.). Combining Au dio and Gestures for a Real-Time Improviser. Stanford University. https://opensoundcontrol.stanford. edu/files/icmc05fin.pdf
Morales, R., E. Morales y L. E. Sucar. (2000). Integrating Bayesian Net
works with Logic Programs for Music. International Comput er Music Asociation(2000), s/p. https://quod.lib.umich.edu/i/icmc/ bbp2372.2000.195/1/--integrat ing-bayesian-networks-with-lo gic-programs-for-music?view=im age#end-of-header
Peticolas, Laura, Roberto Morales Man zanares, David Bithell, Nahide Craig, Janet Luhmann, Suart Bale. (2005). Space Weather Sonification for Sci entists, Educators and Musicians. American Geophysical Union, Spring Meeting.
Fue en agosto de 1995 cuando por primera vez asistí a un concierto de El Callejón del Ruido. Fui porque estaba anunciado en las mamparas de la Es cuela de Música que recién empezaba su ciclo escolar y yo acababa de lle gar a vivir a la ciudad de Guanajuato y también comenzaban mis estudios en dicha escuela; quise asistir como una forma de integrarme al plantel y sus actividades.
Esperaba que se tratara de un con cierto de música clásica o académica, de autores estilo Mozart, Beethoven, Bach, etc. En esa época mi relación con la música se basaba en lo más po pular, rock, pop, lo que se promovía en la televisión y radio comerciales, así que esperaba que este concierto fuera mi introducción al mundo de la música seria o académica, como dije anteriormente, y que de esta manera comenzara mi educación y formación cultural de una manera seria.
La cita fue en el Teatro Principal de la Universidad de Guanajuato, que se ubica en el centro de la ciudad. Dieron tercera llamada y se abre el telón. Apa recen en escena un piano, en seguida aparece el pianista y el público aplaude. Todo parecía “normal”, digámoslo así,
estaba presenciando el inicio de un con cierto de música “clásica”.
Grande fue mi sorpresa cuando el pianista comenzó a tocar. Empezó con unos acordes y melodías que, para mi oído sonaban, muy extrañas, como de safinadas, como sin sentido. Conforme avanzaba el concierto, la música se po nía más intensa. En cada obra que toca ba el artista, sonaban ritmos muy raros, irregulares, los acordes y melodías cada vez más complejas, hasta que de pron to, el pianista en vez de tocar las teclas, comenzó a tocar las cuerdas y demás maquinaria del cuerpo del piano, es de cir, se levantó del banco donde estaba sentado y se recargó hacia adelante de manera que sus manos manipulaban el arpa y las clavijas; en otro momento se desplazó hacia un lado del piano para tener un mejor alcance en la caja del instrumento.
En otra pieza, el pianista de plano ya no tocaba las teclas, sino literalmente las golpeaba, con la mano abierta y también con el puño. En ese momento el con cierto ya era una locura para mí porque el pianista se daba de sentones en el te clado, además de tocar timbres o dispo sitivos sonoros que estaban pegados al cuerpo del piano.
el Callejón del Ruido
Este concierto marcó en mi vida un antes y un después en la manera de abor dar la música. Se trataba del pianista ale mán Moritz Eggert.
A partir de este evento, comencé un viaje musical y de aprendizaje intenso, al ser espectador de piezas musicales que solo en El Callejón del Ruido, or ganizado y curado por el Dr. Roberto Morales, se podía presenciar; junto con el Laboratorio de Informática Musical, también dirigido por el Dr. Morales fue el combo sónico que me fue formando en mi carrera como artista sonoro, al estar en contacto con artistas y su obra
de la talla de Cort Lippe, Mari Kimu ra, George E. Lewis, Zack Settel, Ake Parmerud, Manuel Rocha, Antonio Russek, y muchos más.
Es admirable que festivales como El Callejón del Ruido e instituciones como el Laboratorio de Informática Musical hayan sobrevivido en una so ciedad tan conservadora como la gua najuatense y que a pesar del rechazo y críticas de mala fe, provenientes tanto de la comunidad artística como de la académica, se hayan podido mante ner de pie demostrando que la música siempre salva.
Recuerdos de principios de junio de 1996.
De camino a México. Me invitaron a un festival, llamado El Callejón del Ruido. La información que recibí fue muy breve, ya que fue una invitación de última hora. Me reservaron un vuelo al aeropuerto de Ciudad de México y me dieron la instrucción de que debía ir a la oficina de otra compañía aérea y recoger un boleto para dirigirme en un vuelo a otra ciudad. En el segundo boleto figu raba León como destino final, así que supuse que el festival sería allí.
Después de un largo día, por fin lle gué al destino. En la sala de llegadas miré a mi alrededor para ver a alguien con un cartel con mi nombre, el proce dimiento habitual cuando nos recogen a los músicos en un aeropuerto, ¡pero no había ningún cartel ni nadie buscándo me! Todas las demás personas salieron de la terminal, que volvió a estar vacía, excepto unos cuantos chicos jóvenes y tímidos. Al cabo de un rato, uno de ellos se acercó a mí y me dijo mi nombre. Pa recía que estaban allí para recogerme. Ninguno de ellos hablaba inglés, pero parecían muy contentos de haberme en
contrado. Me sonrieron durante todo el trayecto en coche, que terminó en Gua najuato. Ese parecía ser el destino final. En el hotel, pronto me dormí, agotado por el largo viaje.
A la mañana siguiente, me recogie ron y me llevaron a la universidad. Me recibió Roberto Morales, que era el organizador del festival El Callejón del Ruido. Una persona alta y muy cálida, y pronto comprendí que tenía un conoci miento increíble de la música contem poránea. Unas horas más tarde, conocí a las otras personas que actuaban en El Callejón del Ruido. Algunos viejos ami gos, como George E. Lewis, Clarence Barlow y el oboísta mexicano Roberto Kolb, a quien conocía de cuando estu diaba en el Real Conservatorio de La Haya; pero también hice rápidamente otros nuevos amigos, como Cort Lippe y Zack Settel. Roberto parecía haber in vitado a la crème de la crème del mundo de la música electrónica.
Fue una semana preciosa, con mu chas experiencias nuevas, llena de en cuentros, conciertos y talleres. Tam bién hubo grandes cenas, recuerdo una estupenda en casa de Roberto, la primera vez que comí un pollo con mole, el famoso pollo mexicano en
salsa de chocolate; pero la experiencia más grande fue un concierto en solita rio que di en San Francisco del Rin cón, un sombrío pueblo de la provin cia; esta vez estaba un poco nervioso, ya que estaba lejos del mundo seguro de la burbuja académica amante de la vanguardia en Guanajuato. Cuan do miré al público a través del telón, vi que la sala estaba llena de familias mexicanas, y me pregunté cómo res ponderían a mi música. Pero desde la primera nota que toqué, se concentra ron completamente en mi música y se podía haber escuchado el ruido de una aguja al caer. Un aplauso ovacionado sonó cuando terminé.
Después de la actuación hubo un debate con el público. El Gobernador del Estado subió al escenario, me abra zó y dijo al público que yo les había abierto los oídos. Luego, un hombre del público me pidió que le tocara una escala para saber si yo era un músico de verdad. Más tarde supe que era pro fesor de música en la escuela de músi
ca local. Le dije que podía, pero que no lo haría, porque no tenía nada que probar. El público se rio y le abucheó, diciéndole que debía dejar de hacer sus estúpidos comentarios. En el camino de regreso a Guanajuato, en la parte tra sera del coche, me sentí casi mareado por todas las grandes palabras que se habían dicho. Y esa noche, me dormí más feliz que nunca.
Desgraciadamente, Roberto y yo, después de esto, solo nos hemos visto un puñado de veces. Volví a Guanajua to y al festival en 2000, con Ensemble loos, y nos encontramos una vez más en La Haya, cuando ambos actuamos en el mismo festival; sigo agradecido por la experiencia que me diste de tocar en El Callejón del Ruido.
Te deseo que lo pases muy bien des pués de tu jubilación y espero que ten gas más tiempo para dedicarte a tu pro pia música.
12 de junio de 2022 Birgu, Malta
Mi acercamiento con el Festival Inter nacional El Callejón de Ruido ocurrió en el año 2000, un año antes de llegar a estudiar a la escuela de música de la Universidad de Guanajuato. Tuve la oportunidad de venir a la ciudad de Guanajuato en fechas en las que se rea lizaba el festival y asistí a un par de con ciertos, aunque ya sabía de su existencia antes de asistir por primera ya que tenía amigos que eran estudiantes de música y me contaban del mismo.
Cuando ingresé como estudiante de música en la Universidad de Guanajuato tuve la oportunidad, en mi primer año, de asistir al total de los conciertos; era su octava edición en el año 2001 y se realizó del 4 al 9 de junio. En ese mo mento el festival era dirigido por Ro berto Morales Manzanares y los conte nidos del festival estaban enfocados en la composición contemporánea y el uso de la tecnología.
Una parte que me sorprendió fue que dentro de la programación del festival había presencia tanto de compositores y artistas internacionales, como nacio nales y locales, y dentro de estos últi
mos había maestros y estudiantes de la Escuela de Música, cosa que me parecía muy enriquecedora debido a que, si eras estudiante, había la oportunidad de co nocer de cerca a los otros participantes que generalmente eran artistas mucho más experimentados, cosa que nutre cualquier artista en formación.
Cuando Roberto Morales dejó Gua najuato para ir a estudiar un doctorado en Estados Unidos, El Callejón del Rui do quedó bajo la dirección de Héctor Quintanar durante las siguientes edicio nes (IX, X y XI), en las cuales me integré al equipo de la organización del festival, por invitación de Quintanar. Lamenta blemente no hubo más ediciones en años posteriores.
El festival resurgió hasta que regresó Roberto Morales a Guanajuato y reali zó la edición de El Callejón del Ruido Fénix (no recuerdo si fue el año 2010) pero fue una edición aislada ya que por motivos de recursos no fue posible te ner continuidad. No fue sino hasta el año 2018 que el Callejón tuvo su tercer aire y en esta edición por invitación de Roberto, también tuve la oportunidad
el Callejón del Ruido
de participar en la organización y como artista, con el ensamble rorschach_3.0, grupo de música experimental confir mado por Benjamín Sánchez Lengeling, Paúl León Morales y yo.
En la última edición en la cual par ticipé tanto como parte del comité or ganizador y como compositor fue en el año 2019.
El tener este acercamiento con El Callejón del Ruido fue de mucho aprendizaje y posteriormente me dio la pauta para trabajar en otros festi vales como es el caso del Ciclo de Música Contemporánea del Festival Internacional Cervantino, al que pude integrarme debido a que su organiza dor, Ramón Montes de Oca, me vio
trabajando en el Callejón y me invito a ser parte de su equipo en el fic , donde laboré por 15 años.
Debido a que El Callejón del Ruido tuvo algunos años de ausencia, decidi mos emprender, en el 2014, la creación del Festival Ex_nihilo en colaboración con mis colegas Paúl León Morales, Jo sué Zamora y Ricardo Durán Barney.
Considero importante hacer men ción aquí del Cervantino y del festival Ex_nihilo ya que de alguna manera fue en El Callejón del Ruido en donde tuve mi primer acercamiento a la gestión, or ganización, planeación y ejecución de un festival de música y en donde apren dí a realizar el trabajo que un festival de esta índole requiere para su realización.
En este artículo describimos un pro ceso de exploraciones con aparatos in dustriales en un contexto artístico. Una práctica que se encuentra en todas las “máquinas musicales” que hemos cons truido desde 1990. Después de utilizar motores eléctricos durante más de dos décadas, comenzamos a examinar una fuente de vibración diferente en un ta ller auspiciado por naisa (New Ad ventures in Sound Art), como parte del Sound Travels Festival of Sound Art, realizado en Toronto en el año 2015. La combinación de una gran variedad de objetos y la creatividad de los parti cipantes nos ayudó a considerar futuras exploraciones de las posibilidades artís ticas de los pequeños vibradores rotati vos neumáticos diseñados originalmente para aplicaciones industriales. Último Esfuerzo Rural III-V (2017) ha sido la primera serie de trabajos en la que con tinuamos los descubrimientos realizados en el taller de 2015. Resultó que el he cho de no fijar en absoluto un vibrador al objeto en el que se coloca le permite desplazarse dentro de su mismo obje to, impulsado por su propia vibración, creando diferentes timbres y volúme
nes sonoros. Con el proyecto Arritmia (una colaboración con Sergey Kostyrko, 2019) los vibradores neumáticos adqui rieron una importancia creciente. Hasta ahora los habíamos utilizado sobre todo en estructuras temporales con dura ciones relativamente largas. Los breves tiempos de disparo utilizados en Arrit mia dieron lugar a un lenguaje sonoro completamente diferente de carácter más percusivo y, al mismo tiempo, or gánico; la combinación única de sonidos de aire que recuerdan a la respiración y el sonido meramente industrial de una bola metálica giratoria encajaba per fectamente en el puente que queríamos construir entre los fenómenos biológicos y la mecánica.
En muchas de nuestras “máquinas mu sicales”, la vibración y la resonancia son las nociones centrales que conducen a la complejidad del comportamiento y del resultado sonoro que hemos buscado durante muchos años. Nuestra fuente de vibración favorita es un motor eléctrico oscilante diseñado para fines industriales. Este tipo de motor es extremadamente fiable; sus frecuencias de oscilación pue
el Callejón del Ruido
den controlarse con precisión y se fijan fácilmente a un objeto. La forma en que incorporamos estos motores a nuestras construcciones no difiere mucho de la práctica industrial. Sin embargo, nues tro enfoque y objetivos son muy dife rentes; en la industria, estos motores son puramente funcionales, repetitivos y se utilizan para mover materiales en una dirección determinada, por ejemplo, pol vos, granos o, en las industrias mineras, incluso trozos de roca. En nuestro caso, el objetivo es mucho más abstracto; tal vez se resuma mejor como la creación de un sistema complejo que pueda ser apre ciado como arte. Al principio de nuestra carrera, en algún momento de la década de 1990, encontramos otra fuente de vi bración industrial en una feria industrial de los Países Bajos que nos llamó la aten ción: un pequeño vibrador neumático ro tativo. Estos vibradores consisten en una bola metálica que gira en una carcasa cir cular con una entrada y una salida de aire, donde la bola empieza a girar cuando se insufla aire comprimido en la entrada.
FiguRa 1. Vibrador neumáti co rotativo, OLI S10. Véase https://www.olivibra.com/ products/s-rotary-pneuma tic-vibrators-ball/
Conservamos un vibrador neumáti co durante años sin hacer mucho con él. Teníamos claro que sus propiedades di ferían mucho de las de nuestros vibrado res eléctricos. Estos actúan a frecuencias inferiores a la gama de audio y con una energía tal que son capaces de poner en movimiento construcciones pesadas como el que se aprecia en la obra Kracht gever (1994-98). El vibrador neumático oscila a una frecuencia mucho más alta (alrededor de 500 Hz) y con una fuerza relativamente pequeña; por estas razo nes no ofrece ningún resultado artístico satisfactorio cuando se utiliza del mismo modo que nuestros motores eléctricos. Si se fija de forma estática con bridas y tuercas, como se utiliza en la industria, se oirá su propia frecuencia de rota ción, pero las frecuencias de resonancia del cuerpo al que está unido se amor tiguarán más que se amplificarán. Tras varios ensayos infructuosos, el vibrador neumático quedó en el olvido hasta que fuimos invitados a impartir un taller en el Sound Travels Festival of Sound Art,
naisa Space, Toronto, 2015. Ahí reto mamos las pruebas del dispositivo neu mático y finalmente descubrimos otras formas mucho más inspiradoras de dar un uso nuevo y poco convencional a este aparato industrial. En este artícu lo relataremos los desarrollos posterio res, hasta la realización de nuestra obra Arritmia (2019), una colaboración con Sergey Kostyrko, físico y artista sonoro ruso afincado en San Petersburgo (véase: https://soundcloud.com/sergey-kostyr ko y https://vimeo.com/kostyrko).
taller de vibraCión y resonanCia en naisa (2015)
En 2015 nos invitaron a mostrar la obra Mirlitones (2012-13) en el Sound Travels Festival of Sound Art de To ronto (Bosch y Simons 2016) y a im partir un taller como parte de la serie Sound Travels Soundhackers Intensi ve.1 El simple hecho de que nuestros Mirlitones utilicen aire comprimido fue la principal motivación para sacar un vibrador neumático de la estantería y empezar a experimentar de nuevo. Toda la infraestructura de un compre sor, tubos de aire, válvulas y una inter faz estaría presente en Toronto, por lo que solo tendríamos que pedir a naisa que recogiera objetos metálicos para el taller, y traer unos cuantos vibradores. Ya habíamos llegado a la conclusión, en nuestro estudio, acerca de que la com binación de un objeto metálico con un vibrador que no está unido de forma rígida, sino con cierto juego entre el vibrador y el cuerpo resonante, podría producir una amplia escala de sonidos dentro de la gama del orden, el caos y el medio; nuestra área favorita. En el taller todo confluyó, la combinación de una gran variedad de objetos y la creativi
dad de los participantes dio lugar a una nueva serie de trabajos y nos ayudó a considerar futuras exploraciones de las posibilidades artísticas de un vibrador semifijo.
último esfuerzo rural iii-v(2017) Último Esfuerzo Rural III-V (2017) ha sido la primera serie de trabajos en los que hemos utilizado los descubri mientos realizados en el taller de 2015 con otra sencilla pero sustancial mejo ra. Resultó que no fijar el vibrador en absoluto producía excitaciones aún más interesantes. Para aumentar la movilidad del vibrador fijamos uno o dos pequeños muelles en los agujeros destinados a una fijación rígida. Como resultado, el vibra dor es capaz de excitar diferentes reso nancias del objeto en el que se mueve.
Conceptualmente, Último Esfuerzo Rural III-V es el tercer proyecto de una serie de obras inspiradas en la zona en la que vivimos, en el interior rural de Valencia, España. “No nos referimos al mito romántico de la vida rural, sino a algo así como una mente rural: el indivi duo que busca soluciones sencillas, pero creativas y lúdicas, a los problemas que se dan en el mundo que le rodea; un es tado de ánimo que está desapareciendo en nuestro mundo globalizado”.2
Durante muchos años hemos esta do coleccionando objetos antiguos de nuestra zona. Los objetos de Último Es fuerzo Rural III incluyen grandes sar tenes para hervir cebollas y embudos de hojalata, utilizados ya en la producción de embutidos, y aguamaniles para me dir diferentes cantidades de aceite de oliva. Una vez puestos en resonancia, nuestros objetos recuperan su valor ol vidado produciendo sonidos misteriosos e hipnóticos: un proceso por el que la
sección Ii / arte sonoro y electrónico
energía potencial de objetos antes signi ficativos, pero ahora muertos, se trans forma en una experiencia espiritual, al estimular sus frecuencias resonantes de una manera inusualmente impredecible y vívida. Los oyentes pueden elegir su propia perspectiva en el entorno sono ro creado por la instalación moviéndose por debajo de los objetos. También en el interior de los objetos se produce un comportamiento imprevisible: normal
mente este tipo de vibradores se montan firmemente con pernos, mientras que nosotros fijamos uno o dos muelles me tálicos debajo de cada uno. Esto permi te que los vibradores se muevan dentro de su objeto, impulsados por su propia vibración, creando diferentes timbres y volúmenes sonoros.
Último Esfuerzo Rural III se estre nó en la Feria de Arte justMAD, Ma drid, dentro de la exposición “EX4”, en febrero de 2017. En septiembre de 2017 realizamos una nueva versión in situ para el DA Fest en la Academia Nacional de Arte, Sofía, Bulgaria. Para este evento los objetos que utilizamos fueron suministrados por Venelin Shu relov, el director artístico del festival, todos procedentes de su abuelo de Jas na Poljana, un pueblo del sureste de Bulgaria. Fue notable que los objetos tuvieran mucho en común con los de nuestro propio pueblo en España, a
FiguRa 4. Último Esfuerzo Rural IV, DA Fest, Academia Nacional de Arte, Sofía, Bulgaria, 2017. Video en https://youtu.be/tEgNHLCPkOY
unos 3,000 km de distancia, y aún más satisfactorio que su sonido resultara aún más convincente, extrarreforzado por la impresionante reverberación del espacio expositivo. último intento minero (2019)
La idea de realizar una obra in situ con vibradores neumáticos como excitado res se continuó examinando con el pro yecto Último Intento Minero, encargado por el festival El Callejón del Ruido, Guanajuato, 2019. La idea inicial era utilizar objetos de la industria minera ya que Guanajuato es una ciudad con una historia muy larga de la explotación mi nera de oro y plata. Una vez allí, revisa mos nuestros planes y buscamos objetos sonoros en un “tiradero” o “basurero”, una gran sugerencia del director del fes tival, Roberto Morales. El resultado fue la incorporación de una gran variedad de objetos cotidianos a la obra, como una gran sartén para hervir tamales, una carretilla, una silla, un buzón y otros re cipientes.
Estos objetos no solo eran más varia dos sino también más grandes que los uti lizados anteriormente en la serie Último Esfuerzo Rural, y sobre todo producían sonidos extremadamente potentes. arritmia (Con sergey kostyrko, 2019)
Peter Bosch y Sergey Kostyrko se cono cieron por primera vez en el Seminario de Arte y Ciencia 9 Evenings Revisited, Kun-stKraftWerk, Leipzig, Alemania, 2016, organizado por Artsci Nexus. En este evento impartieron juntos un taller para niños refugiados de 5 a 10 años.
Desde entonces, las ideas para un proyecto común, impulsado por datos científicos, se habían discutido por co rreo electrónico, y cristalizaron en Arrit mia, estrenada en “Finding Affinities”, una exposición organizada por la Global Young Academy como parte de su décima reunión anual en el Kunstmuseum Mo ritzburg, Halle (Saale), Alemania, 2019 (véase: https://globalyoungacademy.net/ wp-content/uploads/2018/12/Pro gramme-AGM19-Guest.pdf).
arte sonoro y electrónico
sección
En las últimas décadas la investiga ción científica ha hecho grandes progre sos en la visualización de los procesos biológicos a nivel celular y subcelular. Las imágenes de video creadas en el Ins tituto de Citología de San Petersburgo por el Dr. Danila Bobkov y sus colegas constituyen el punto de partida de este proyecto. Su investigación utiliza la mi croscopía confocal de barrido láser para investigar el comportamiento de corazo nes de rata vivos aislados. Sus investiga
FiguRa 6. Último Intento Minero en la inauguración. El Callejón del Ruido, Guanajuato, 2019. Video en https://www. boschsimons.com/ ultimo-intento-mine ro-2019/?lang=es
FiguRa 5. En el tiradero, Guanajuato, 2019.
ciones se centran en el comportamiento arrítmico de los corazones de rata: cómo surge y cómo es posible prevenirlo. Sus investigaciones han demostrado que los factores químicos hacen que las células individuales latan con frecuencias arrít micas. El ruido de estas células arrít micas puede aumentar hasta afectar la frecuencia fundamental, provocando un latido irregular.3 4
Nuestro principal interés radica en convertir el comportamiento de un sis
tema biológico en patrones de sonido. Medimos el desplazamiento relativo en tre fotogramas de los videos de micros copía proporcionados. Los cambios en la dirección del movimiento se transforman en energía (aire) entregada a un vibrador neumático. Aplicamos un enfoque algo rítmico para gestionar las secuencias de video, reorganizando el material fílmico de forma aleatoria en películas collage
Cada vibrador está acoplado indivi dualmente a un “canal de video” espe cífico. Los diferentes comportamientos temporales de estos videos dan lugar a estructuras polirrítmicas únicas produ cidas por los vibradores. Cada canal de video se crea en tiempo real y se proyec ta en su propia pantalla.
Era un paso lógico probar cómo re accionarían nuestros vibradores neumá ticos ante los disparos derivados de las imágenes de video. Resultó que la com binación única de sonidos de aire que recuerdan a la respiración y el sonido meramente industrial de una bola metá lica giratoria encajaba perfectamente en el puente que queríamos construir entre los fenómenos biológicos y la mecánica. Hasta ahora habíamos utilizado los vi bradores sobre todo en estructuras tem porales con duraciones relativamente largas. Ahora, con estos disparos cortos, acabamos con un lenguaje sonoro com
pletamente diferente, de carácter más percusivo y, al mismo tiempo, orgánico.
En el diseño de las partes visibles de la instalación seleccionamos cuidadosa mente los componentes: vibradores de un diseño más bien prosaico e industrial; se colocaron en una variedad vívida y poé tica de jaulas que originalmente alberga ban animales vivos. Un contraste que in vita al espectador a reflexionar sobre los aspectos éticos del uso de animales en la investigación médica. Un objeto mecáni co normalmente sin vida se convierte en una especie de reliquia de lo que una vez fue una criatura viva, como los corazones de rata aislados en el entorno del labora torio, creando una metáfora audiovisual de una máquina biomecánica.
Sergey Kostyrko desarrolló la apli cación para el proyecto utilizando el lenguaje de programación Python. La aplicación analiza las imágenes de video en tiempo real, detecta los latidos de las células y activa los vibradores industria les. Para rastrear el latido de las células se utiliza un algoritmo de correlación de fase de la biblioteca OpenCV, que per mite medir el movimiento en un video. https://opencv.org/5
Cada uno de los cuatro microorde nadores Raspberry Pi 3 reproducen su propia secuencia de video, seleccionada arbitrariamente de una matriz compues
arte sonoro y electrónico
sección
FiguRa 7. Células del corazón. Imagen microscópica de Da nila Bobkov.
el Callejón del Ruido
FiguRa 8. Arrythmia, “Finding Affinities”, Kunstmuseum Moritzburg, Halle (Saale), Alemania, 2019. Video en https://youtu.be/nzo6xo3I_WQ
ta por entre 8 y 9 piezas. Cada uno ana liza el movimiento en el video y envía disparos a uno de los cuatro vibradores industriales según la pulsación detecta da también en un video. notas
1 Peter Bosch y Simone Simons. (2016). Mirlitones, a Fragile and Complex Sonorous System, eContact! 18.2, Canadian Electroa coustic Community. https://www.boschsi mons.com/mirlitones-2012-2013/?lang=es 2 (2005). “Our Music Machines”. Organised Sound 10/2, 103-110.
3 I. V. Kubasov, A. Stepanov, D. Bo bkov, P. B. Radwanski, M. A. Terpi lowski, M. Dobretsov y S. Gyorke. (Fe bruary 2018). Sub-cellular Electrical
Heterogeneity Revealed by Loose Patch Recording Reflects Differential Locali zation of Sarcolemmal Ion Channels in Intact Rat Hearts. Frontiers in Physio logy, 9, 61. https://www.researchgate. net/publication/323144504_Subcellu lar_Electrical_Heterogeneity_Revealed_ by_Loose_Patch_Recording_Reflects_ Differential_Localization_of_Sarcolem mal_Ion_Channels_in_Intact_Rat_Hearts
4 Gary Tse. (2016). “Mechanisms of Car diac Arrhythmias”. Journal of Arrhythmia 32, 75–81. https://www.researchgate.net/ publication/288003095_Mechanisms_of_ Cardiac_Arrhy hmias
5 Miloslav Druckmuller. (2009). Phase Co rrelation Method for the Alignment of To tal Solar Eclipse Images. The Astrophysical Journal, 706, 1605-1608.
Bosch & Simons. (1994-98). Krachtgever [Archivo de video]. https://www.boschsi mons.com/krachtgever/?lang=es Bosch & Simons. (2012-13). Mirlitones [Archivo de video]. https://www.bosch simons.com/mirlitones-2012-2013/?lan g=es
Bosch & Simons. (2017). Último Esfuerzo Rural III-V. [Archivo de video]. https:// www.boschsimons.com/ultimo-esfuer zo-rural-iii-2017/?lang=es
Bosch & Simons. (2019). Arritmia. [Ar chivo de video]. https://www.boschsimons. com/arrhythmia-2019/?lang=es Bosch & Simons. (2019). Último Intento Minero. [Archivo de video]. https://www. boschsimons.com/ultimo-intento-mine ro-2019/?lang=es
Este artículo se adaptó de un texto escrito para eContact!, Montreal. Agradecemos a Sergey Kostyrko, nuesto coautor en Arrit mia y a Ben Toth por revisar nuestro inglés.
sección Ii / arte sonoro y electrónico
En este ensayo hago una reflexión artísti ca acerca del fenómeno de la resonancia en la música y en el arte sonoro a partir de sus efectos físico acústicos en instru mentos musicales u otros cuerpos sóli dos, así como de las distintas técnicas de la música electroacústica, e incluso desde un nivel poético metafórico y conceptual, desdoblado tanto en la música electroa cústica como en la escultura y en la ins talación sonora. Esta reflexión está basada en las distintas técnicas o procedimientos creativos aplicadas/os en distintas obras electroacústicas y de arte sonoro que he desarrollado desde la última década del si glo pasado hasta el día de hoy. Mi interés por este fenómeno físico ligado a la vibra ción y a la expansión y retroalimentación de frecuencias, es que va más allá de las reglas e ideas tradicionales en la música y toca otros dominios que se relacionan de manera más íntimas con el sonido.
Resonancia, música electroacústica, arte sonoro, estética, transdisciplina.
Antes de la resonancia hubo vibración, y antes de la vibración movimiento. Algunos musicólogos europeos del siglo xx como Edgar Willems, pensaron que existía una evolución lineal en la música (Willems, Edgar 1977: p. 70). Primero hubo movi miento, y por lo tanto el ritmo se manifes tó en el cuerpo de los danzantes Africanos. Después hubo frecuencia, y por lo tanto la melodía, el campo emocional desarrollado al máximo en las inflexiones microtonales de la música asiática. Finalmente vino la armonía, el dominio vertical del pensa miento y de la inteligencia desarrollado en la música occidental Europea, comen zando con el contrapunto de los cantos gregorianos, luego el Ars Antiqua, el Ars Nova, el clavicordio bien temperado de Bach, hasta llegar a la armonía cromática del romanticismo tardío, y finalmente a la armonía extendida del siglo xx. Aunque esta visión occidental podría parecer co herente, es euro centrista, colonialista, y muy limitada en cuanto a nuestras capaci dades perceptivas.
el Callejón del Ruido
Para el compositor italiano Giacin to Scelsi: “La música no puede existir sin sonidos, pero el sonido existe sin la música […] El sonido tiene una ter cera dimensión: la profundidad y sus cualidades lo hacen esférico […] El que no penetre en el interior, en el cora zón del sonido, puede ser un artesano perfecto, un buen técnico, pero nunca un artista verdadero” (Scelsi G, 1985: p. 83).
La música electroacústica ha sido para muchos compositores un refugio de la teoría musical tradicional, una ma nera para experimentar directamente con el sonido y para ahondar en nues tra percepción de sus muchas y varia das cualidades. La resonancia es una de ellas, y en este breve ensayo intentaré desarrollar distintas ideas acerca de la cualidad inmersiva del sonido en rela ción a ella, a partir de mis experiencias creativas personales tanto en la música electroacústica como en el arte sonoro.
La resonancia no puede existir sin vi braciones. Scelsi estuvo influenciado por las filosofías orientales, y pensaba que “el sonido fue el primer movimien to de lo inmóvil, el comienzo de la crea ción” (Scelsi G, 1985: p.85). Entonces, tenemos sonido que es la misma cosa que la vibración y el movimiento. Estos dos elementos no pueden separarse, son lo mismo. Cotidianamente experimen tamos cómo los sonidos pueden mover cosas. En el siglo diecisiete, el físico Ro bert Hooke y más tarde en el siglo die ciocho Ernst Chladni, observaron cómo la harina y las partículas de arena se mo vían sobre una superficie sólida cuando la hacemos vibrar. Las diferentes reso nancias de estos materiales afectaban a
las partículas y las disponían creando distintas figuras geométricas.
El arte sonoro es un campo transdisci plinario que se ha vuelto muy popular en las últimas cuatro décadas, pero muchos artistas han experimentado con la vibra ción y el movimiento hace ya más de un siglo. Algunos artistas de las vanguardias de los comienzos del siglo xx exploraron la relación sinestésica del movimiento y el sonido, y muchos otros artistas la si guen explorando hoy en día. Mi primera experiencia en este territorio fue con mi escultura Ping-Roll en 1997, en don de alrededor de sesenta pelotas de ping pong son distribuidas de manera homo génea sobre una plancha de aluminio que tiene varios altavoces debajo de ella, y que emiten frecuencias de ondas sinusoi dales calculadas para hacer vibrar la plan cha. El efecto de estas vibraciones sobre las pelotas es que algunas de ellas rebotan en puntos fijos, mientras que otras se sa len de su órbita de rebotes para moverse rodando sobre la superficie. Hay un pro ceso largo en el que las distintas frecuen cias son transmitidas por los altavoces, y hacen que las pelotas se muevan cada vez que estas suenan, haciendo que se vayan formando configuraciones muy intere santes entre ellas; con el tiempo, poco a poco las pelotas se dirigen a distintas zonas entrópicas de la plancha en donde ya no podrán moverse más. El proceso se vuelve a repetir, no sin antes volver a distribuir las pelotas sobre la plancha de aluminio de manera homogénea (Rocha Iturbide, Manuel 2013: p. 136).
la resonanCia Como una vibraCión Continua. la retroalimentaCión y la amPlifiCaCión
La resonancia acústica es la capacidad de un cuerpo que vibra para responder a un
impulso o banda ancha de excitación de ruido. En la construcción de instrumen tos, los cuerpos acústicos están diseñados para expandir las resonancias de los soni dos por medio de amplificación y retroa limentación. Lo mismo sucede en la mú sica electroacústica, pero aquí usamos la retroalimentación algorítmica con filtros y otras técnicas como la de la convolu ción. Pero podemos imaginar otros tipos de resonancias que no afectan solamen te el cuerpo de un instrumento acústico o de un sonido convolucionado. En mi composición electroacústica La rama del tamarindo (2013) para dos pistas digita les, experimenté estirando los sonidos de distintos tambores afro colombianos (de alrededor de un segundo de duración), por medio de granulaciones temporales que los alargaban de 20 a 30 veces (20 a 30 segundos), y utilizando ventanas de lectura macro granulares de 370 milé simas de segundo. El resultado fue que las pequeñas resonancias de los tambores que surgen poco después del golpe sobre las membranas, se expanden en el tiempo de una manera muy peculiar, en donde la textura granular ruidosa del ataque se puede encontrar en un momento muy corto del comienzo, y luego se va con virtiendo poco a poco en una resonancia que cambia y se transmuta. Entonces, a partir de la extensión granular de un so nido, descubrí una idea nueva, la de una resonancia prolongada que transita en un continuum que va desde el ruido (ataque del tambor) hasta la resonancia pura (la última parte de la resonancia del sonido).
la resonanCia y las vibraCiones simPátiCas en el esPaCio
Este es un campo muy interesante en el que todavía hay mucho que decir y descubrir. Todos conocemos como las
estructuras de las cúpulas de grandes iglesias resuenan, y de hecho lo difí cil que es a veces tocar música en esos edificios debido al alto grado de rever beración. Es sorprendente lo poco que han pensado los músicos a través de los años en maneras particulares de com poner música para estos espacios. Por ejemplo, en una obra sonora de Pauli ne Oliveros en la que toca el acordeón, colaborando con Stuart Dempster en el trombón y Panaiotis cantando, los tres músicos improvisan en una cisterna gi gantesca tomando en cuenta la reverbe ración de 45 segundos que se da en el espacio, haciendo resonar los sonidos de sus instrumentos y creando un estatismo inmersivo.1
A través de los años, yo he experi mentado mucho con las distintas reso nancias y reverberaciones del sonido en distintos espacios, tocando música electroacústica en los patios coloniales mexicanos, iglesias, etc, no obstante, la experiencia de experimentar y descubrir las cualidades particulares de un espacio solo la he tenido al crear instalaciones sonoras, y lo que probablemente me ins piró para moverme en esa dirección fue la obra sonora conceptual de Alvin Lu cier I am sitting in a room (1970).
En el año 2003 colaboré con el ar tista mexicano Luciano Matus para rea lizar una intervención en la iglesia de San Agustín de la ciudad de México, dada en comodato a la UNAM y clausurada desde hacía años en el momento en que realizamos nuestra instalación. En Reco nocimiento del espacio, Luciano colocó distintas líneas de cable de nickel (que tienen el grueso y ancho de una cinta de casete) a través del espacio de la Igle sia, mientras que yo intervine cuatro de las cúpulas periféricas de la nave central para hacerlas resonar mediante frecuen
arte sonoro y electrónico
sección
el Callejón del Ruido
cias simpáticas a sus estructuras. La ma nera de hacer esto fue grabando distintos aplausos en cada una de las cúpulas, y lue go haciendo convoluciones de cada una de las resonancias obtenidas, con ruidos blancos largos y de manera recursiva, una y otra vez, hasta obtener las frecuencias resonantes más importantes (una especie de síntesis substractiva o de concentrado de caldo de pollo sónico) de los sonidos ocasionados por cada aplauso al interac tuar con cada una de las cúpulas. Final mente, hice sonar los sonidos resultantes de cada cúpula con cuatro altavoces dis puestos cada uno debajo de ellas (en el piso y apuntando hacia arriba), haciéndo las resonar de nuevo pero de una manera completamente nueva, al utilizar sus mis mas resonancias concentradas, obtenidas por medio de las convoluciones.
la resonanCia y otros tiPos de vibraCiones simPátiCas en la músiCa eleCtroaCústiCa
El concepto de simpatía puede ser ex tendido a otros campos. En la música electroacústica por ejemplo, podemos encontrar similitudes entre dos sonidos diferentes y crear un tercero que será un hibrido de los dos precedentes. Esta técnica se llama síntesis cruzada, y para mí, el sonido resultante de la mezcla de los espectros de dos sonidos es de algu na manera una “resonancia” de ellos. Es como un padre y una madre, primero se gustan porque resuenan sus personali dades, se conocen, son novios, y luego es posible que sean procreadores de un nuevo individuo que sería una mezcla de la resonancia de sus padres y de sus de más antepasados.
Gracias a las distintas cualidades de la síntesis cruzada podemos crear hibri daciones muy interesantes para producir
sonidos que no existen en la realidad. Por ejemplo, con los algoritmos de un Super Phase Vocoder (svp), integrados en el programa Audio Sculpt que se de sarrolló en el ircam (Depalle, P & Poi rot, G. 1991) en los años noventa, exis ten dos técnicas de síntesis cruzada, la síntesis cruzada generalizada y la sínte sis cruzada de filtro fuente (source filter) que consiste en “multiplicar el espectro (fft Fast Fourier Transform) del soni do de la primera entrada (input), por un envolvente espectral resultado de un análisis predictivo lineal (lpc) del sonido de la segunda entrada” (Hanappeunder Peter, 1995: p. 62), es decir, el timbre del sonido de la entrada uno no se modi fica en su esencia, pero si su envolvente dinámico espectral afectado por el aná lisis lpc del sonido de la entrada dos. Un ejemplo puede ser una serie de sonidos que produje para mi composición Eco sistemas (2009) y que luego reutilicé en mi composición Casi nada (2011). Los sonidos a los que se les aplicó el análi sis predictivo lineal fueron de cigarras grabadas en una isla de Vietnam; luego esos análisis fueron multiplicados con los análisis espectrales (fft) de distintos sonidos de un güiro, un instrumento de percusión frotada. El resultado de esta síntesis cruzada fue que los sonidos del güiro se comportaran como las cigarras, debido a que el envolvente espectral de estos insectos van de piano a forte y de grave a agudo para luego volver a des cender a piano y a un registro más gra ve. De este modo, los sonidos del güiro obtuvieron las características dinámicas espectrales de los sonidos de las cigarras.
Trevor Wishart es uno de los com positores electroacústicos que más han hablado de las posibilidades poéticas y metafóricas meta musicales de este tipo de transformaciones:
Debemos articular el sonido tan to como la metáfora. Con la uti lización de metáforas concretas no contamos una historia en el sentido usual, sino que desplega mos estructuras y relaciones en el tiempo -idóneamente no debería mos de pensar en estos dos aspec tos (sonoro y metafórico) como dos cosas distintas sino como dos aspectos complementarios del despliegue de la estructura (Wi shart Trevor, 1985: p. 91).
Con las técnicas de síntesis cruzada pode mos obtener sonidos nuevos que se mue van entre mundos sónicos distintos, como por ejemplo los sonidos de instrumentos musicales y los sonidos de seres vivos como los insectos como ya vimos, u otros animales. Podemos por ejemplo imaginar una trompeta que ladra como un perro, un clarinete que aúlla como un lobo, etcétera.
tiré el rechinido de un automóvil con un Vocoder de Fase, creando ocho sonidos nuevos con diferentes duraciones; luego convolucioné estos ocho sonidos cada uno con sigo mismo para borrar el so nido del motor del coche. El resultado fueron sonidos resonantes puros quasi sinusoidales que no se parecían a los re chinidos originales. Gracias a esto y al uso de silencios de distintas duraciones, edité los rechinidos y los silencios usan do una idea de permutaciones cíclicas obteniendo una obra de 29:51 minutos de duración que se repetía una y otra vez. El resultado formal y estructural de esta obra sonora fue el de un esta tismo en el que nunca sabemos cómo se van a combinar los ocho rechinidos y que emula metafóricamente hablando ese momento particular en el que pode mos escuchar el rechinido de una llanta a través de nuestra ventana, y quedar de pronto suspendidos durante un instante temporal que podría parecer eterno has ta saber si hubo o no un accidente (Ro cha Iturbide Manuel, 2013: pp. 65-71).
Un sonido puede resonar consigo mismo, o más bien, podemos encontrar la reso nancia de un sonido dentro de sí mismo ¿Cómo sucede esto, si siempre necesita mos otro elemento, una impulsión sono ra, ruido blanco u otro sonido? En 1993 descubrí un método recursivo con el que he trabajado mucho desde entonces. Lo llamo auto convolución y funciona al convolucionar un sonido consigo mismo una y otra vez hasta que su parte ruidosa desaparece y nos quedamos tan solo con sus frecuencias características. Pero tam bién, esta convolución tiene la cualidad de reverberar los sonidos, de prolongar los un poco en el tiempo.2
En mi obra conceptual Ligne d’aban don (1993) hecha en colaboración con el artista mexicano Gabriel Orozco, es
Utilicé también esta técnica con otras obras de arte sonoro e incluso en mi música electroacústica. En even (2003), una composición con la estruc tura de una misa ritual católica, convo lucioné los textos litúrgicos del Agnus Dei, Sanctus y Kyrie Eleison con so nidos largos de ruido blanco3 de una manera recursiva, obteniendo la esencia espectral de las palabras. Aquí la palabra de Dios se convirtió en frecuencia, en una especie de resonancia nueva.
la resonanCia Como una extensión ConCePtual
Termino este ensayo con una idea me tafórica de la resonancia ¿Puede un ins trumento musical tener potencialmente
/ arte sonoro y electrónico
sección
el Callejón del Ruido
sonidos completamente desconocidos? ¿Podemos encontrarlos si modulamos su estructura haciéndola interactuar con otros sonidos o cuerpos vibratorios? En mi instalación sonora I Play the Drums with Frequency (2007) coloqué peque ños conos de bocinas sobre las membra nas de los tambores de una batería, que emitían ondas sinusoidales simpáticas a la afinación y resonancia de cada tambor con el que interactuaban, produciendo batimientos y modulaciones de frecuen cia que generaban timbres complejos. De este modo, la batería fue convertida en una especie de sintetizador, produ ciendo sonidos inarmónicos periódicos nuevos y complejos, gracias a la inte racción de las ondas sinusoidales produ cidas por una computadora y emitidas por los conos de bocina pegados a las membranas de los tambores.
Ya que los sonidos producidos eran siempre de una naturaleza continua, convertí a la batería con una personali dad aparentemente masculina (los golpes ruidosos y discontinuos rockeros) en un objeto femenino (sonidos frecuenciales y largos). De esta manera, exploré el lado receptivo de la batería, haciendo vibrar las pieles de los tambores de manera continua, cualidades que de manera po tencial ya existían antes, pero que no se habían manifestado. En este caso, la cua lidad Yin de la batería se manifestó en el sonido creado, mientras que la cualidad Yang se mantuvo solamente en la forma exterior de los tambores y como un lado conceptual de su representación. El Ying serían las características resonantes de los tambores, mientras que el Yang está re presentado por los golpes discontinuos de las baquetas, acción que se enfoca en el ritmo y no en la frecuencia.
Finalmente, en mi escultura La ten sión extendida (2011) extendí las cuer
das de una guitarra eléctrica. Introduje una sola cuerda de acero muy larga que entra y sale de ella por cada una de sus seis orificios (las guitarras eléctricas tie nen seis cuerdas) . El resultado es que la guitarra queda suspendida en medio del espacio, convirtiéndose en el corazón de un nuevo instrumento, una guitarra ex tendida. Las largas cuerdas son tensadas en distintos puntos del espacio arquitec tónico utilizado (galería, sala de museo, o un espacio público más grande), de jando a la guitarra quieta y en silencio junto con una partitura o instrucción conceptual para el público, invitándolo a tocar las cuerdas extendidas que produ cen sonidos más largos y graves, o bien a que deje a la guitarra sola y en silencio. Las nuevas cuerdas producen de algún modo resonancias nuevas y más largas que las de la guitarra original, y mi inte rés principal fue la de respetar esta cua lidad. Finalmente, si la gente decidiera tocar estas nuevas cuerdas extendidas, mi intención fue la de invitarlos a escu char sus resonancias de manera inmer siva, dándoles la instrucción de esperar hasta que el sonido de la cuerda tocada casi haya desaparecido para poder tocar de nuevo alguna de las cuerdas extendi das. Termino este ensayo con la partitura conceptual de esta obra:
La guitarra inerte en suspensión, espera. Encuentra la acción en la no ac ción. Mantiene una tensión irresuelta entre lo oculto y lo expuesto, en tre lo escondido y lo revelado. Sus fuerzas opuestas viven en ten sión constante. Si deseas romper su silencio ex puesto, sigue las siguientes indi caciones:
Puedes tocar tan solo sus cuerdas extendidas.
No toques una cuerda, a menos que creas que es absolutamente necesario hacerlo.
Espera a que la cuerda que tocaste (o la que otro participante tocó), casi haya dejado de sonar para po der accionar la siguiente cuerda.
Tu silencio interno, equiparable al silencio del objeto, es impor tante.
La no acción, puede ser mejor que la acción, ya que aquella te puede inducir a la contempla ción visual y auditiva del objeto extendido.
La resonancia es un concepto físico acústico íntimamente relacionado con la música instrumental y electroacús tica, pero también con distintos fenó menos físicos relacionados con distin tos tipos de objetos e incluso con el espacio. También propuse que la idea de resonancia puede aplicarse de ma nera poética, metafórica y conceptual a la creación de distintas obras electroa cústicas y de arte sonoro. Finalmen te propuse que la resonancia y otros fenómenos físicos a partir de ondas sonoras, como la vibración de objetos sólidos y de espacios arquitectónicos, nos permite explorar fenómenos sono ros más íntimamente ligados al sonido y que casi no se han desarrollado en las músicas tradicionales. Creo que el arte sonoro puede ser un campo idóneo para desarrollar estas ideas desde los efectos físicos cinéticos hasta las ideas estéticas y conceptuales relacionadas con las obras creadas.
1 Esta improvisación fue publicada en el disco Deep Listening publicado por New Albion records en 1989.
2 Esta técnica es muy parecida a la convolu ción recursiva con ruido blanco que utilicé en mi instalación Reconocimiento del espacio, se refuerzan los parciales más importantes en amplitud del espectro del sonido convo lucionado, pero en ese caso, no se crea una amplificación y una reverberación sino una substracción de los parciales que no son im portantes.
3 Esta es la misma técnica de convolución recursiva utilizada en Reconocimiento del Espacio. Son muy parecidas, salvo que en esta instalación la recursividad fue repetida muchas más veces produciendo la substrac ción, mientras que aquí la recursividad se hizo menos veces.
Depalle, P y G. Poirot. (1991). “svp: A modular system for analysis, proces sing and synthesis of sound signals”. Montreal. icmc proceedings. Hanappeunder, Peter. (1995). Audio Sculpt. User’s Manual. París: ircam. Rocha Iturbide, Manuel. (2013). El eco está en todas partes. Ciudad de México: Alias Antitesis. Scelsi, Giacinto. (1985). “Le regard de la nuit”. Silences. Musiques contempo raines. Num. 1. Editions de la diffe rence/silences.
Willems, Edgar. (1977). L’Oreille Musicale Tomo I. La preparation adutive d’el enfant. Suiza: Fribourg. Wishart, Trevor. (1985). On Sonic Art York: Imagineering Press.
/ arte sonoro y electrónico
sección
El presente texto retoma algunas ideas desarrolladas previamente en mi trabajo de tesis de maestría: “Urdimbre, la gui tarra como objeto, organismo sonoro y espacio de exploración”, recontextuali zadas en relación con las premisas con ceptuales y temáticas que intento abor dar en este artículo, de tal forma que será reincidente la idea del instrumento como cuerpo sonoro, objeto resonante y espacio concreto o simbólico.
Palabras Clave
Instalación sonora, guitarra, objeto, es pacio, escucha, interacción, macroins trumento.
En marzo de 2019 tuve oportunidad de participar en la exposición colectiva “La voz oculta de los objetos” que se llevó a cabo en la Sala Polivalente de la Uni versidad de Guanajuato, en el marco de la edición 14 de El Callejón del Ruido. Esta muestra desplegó un panorama diverso de instalaciones sonoras, reali zadas por artistas renombrados como Paul DeMarinis, Peter Bosch, Simone Simons, Karina Álvarez y quien suscri
be este escrito. En este contexto pude presentar una versión adaptada de mi pieza Traslaciones I, instalación sonora articulada mediante una serie de guita rras acústicas suspendidas e intervenidas con dispositivos electromecánicos que, al ser activados, generan sonoridades continuas a través de trémolos soste nidos regulados mediante un circuito electrónico que puede ser manipulado por el propio espectador.
La serie Traslaciones indaga sobre la dimensión objetual de ciertos ins trumentos de cuerda y objetos sonoros, trasladando recursos y técnicas deriva das de mi práctica como improvisador a formatos que pueden desplegarse en el espacio físico y acústico, recreando una experiencia de escucha que atien de fenómenos acusmáticos envolventes, posibilitando la creación de sonoridades continuas mediadas por la intuición y el imaginario del propio espectador.
Traslaciones I aborda una idea con tradictoria con relación al arquetipo instrumental que representa la guitarra en la tradición musical: un instrumento de cuerda punzada que ha tenido un re corrido histórico extenso, de pronto se transforma en un objeto suspendido que traza líneas de sonido que pueden ex
tenderse durante un tiempo indefinido, la ilusión de un espectro de resonancia infinita. Esta condición, tiende a dislo car la percepción que se tiene de una guitarra, al situarla fuera de su tradición instrumental, distanciada de cualquier andamiaje simbólico, la guitarra se di suelve en el rastro de su propia forma y sin embargo, alberga todavía una re sonancia de ese cuerpo-espacio, como una pulsión que se mantiene latente en la memoria.
¿Cuál es el límite de la noción que te nemos sobre un instrumento? ¿Qué suce de al interior de ese límite? ¿Qué otras na rrativas se pueden generar desde esa tabla rasa que implica despojar un instrumento de su contexto histórico?
Un instrumento también es un límite y ese límite define la dirección de cier tas búsquedas. Concentra un conjunto de elementos que generan distintas re laciones de orden conceptual las cuales conforman un cuerpo sonoro. Modificar
el Callejón del Ruido
ese cuerpo hasta convertirlo en un mero objeto resonante que, al emplearse de una manera distinta a la habitual, origina nuevas formas de enunciación del objeto o instrumento en cuestión, son algunas de las ideas sobre las cuales reflexiona este proyecto.
Al situar a la guitarra en un espacio donde la ausencia de un ejecutante per mite una interacción mucho más abierta con su forma y su resonancia, se plan tea una intersección que traslada el ins trumento a una zona incierta, donde su performatividad sucede a través de la tensión que produce el estar suspendida o distendida en un espacio determinado, conformando un conjunto mas o me nos homogéneo junto con otras guita rras-objetos, un cúmulo de cuerpos que al ser activados, revelan una dimensión más extensa y profunda del mismo espa
cio donde se despliegan. A partir de este nuevo encuentro con esa entidad instru mental, surgen zonas de contacto que por momentos nos sitúan en el borde de lo que reconocemos como un espacio, anteriormente habitado por los ecos de otras resonancias cercanas.
Al margen de la forma reconocible del instrumento-objeto, la pieza Trasla ciones I suscita un espacio de explora ción que sitúa la escucha a través de los recorridos que el espectador propone, recreando una cartografía sutil y parti cular en cada activación.
En el marco de la vigésimo cuarta edi ción del El Callejón del Ruido, se realizó una activación performática en la cual participaron Peter Bosch, el multinstru mentista Óscar Escalante, el trombonista Kunt Vargas y el compositor, creador y director del festival (hasta esa edición)
Roberto Morales Manzanares. Un frag mento de este performance puede verse en el siguiente enlace: https://youtu.be/ wQMPJLbknKM?t=239
Interactuar con una pieza de esta naturaleza pone en tensión distintos as pectos de la misma, por un lado su ins trumentalidad y las posibilidades que dentro de ese nuevo formato interactivo se pueden inferir, como otros modos de ejecución desde un instrumento exten dido, intervenido o alterado, en contra punto con esa nueva dimensión objetual, donde la materialidad y el despliegue de esta forma en el espacio, configuran un cuerpo sonoro resonante y expresivo en sí mismo.
Objetualizar el instrumento implica dotarlo de otro sentido, una nueva posi bilidad de articularlo y de proyectar su resonancia y su espacialidad, por otra par te, acercarse a este instrumento resignifi cado, incita a imaginar nuevas formas de materializarlo y abordarlo, generar nuevas técnicas de ejecución y repertorios pensa dos desde la complejidad que entraña, por tanto, ese abordaje también sugiere nuevas aproximaciones a su escucha.
En el caso de Traslaciones I, en la versión realizada para “La voz oculta de los objetos”, cabe advertir que se untili
zaron cuatro guitarras, dos de ellas sus pendidas y otras dos reclinadas con el cuerpo hacia arriba, en las esquinas de un pequeño pasillo, configurando una especie de cuadrafonía focalizada hacia el espectador, quien desde un circuito ubicado al centro de la pared que dividía el espacio, podría manipular la sonori dad de cada instrumento.
Este formato se estableció a partir de las condiciones del espacio y la conside ración con la sonoridad y la interacción con las otras piezas, un aspecto funda mental en lo que refiere a exposiciones donde confluyen más de una pieza con cualidades sonoras interactivas.
Cada instalación dentro de este es pacio expositivo proponía un ámbito tímbrico y visual que suscitaba una ex periencia de escucha particular y con centrada. A través de recorridos pun tuales, se podían apreciar los distintos entornos aurales de las piezas, además de poder aproximarse al grado de tener una experiencia performativa en la mayor parte de las piezas, siendo la audiencia y su escucha activa-creativa, un elemento esencial para la apreciación y el funcio namiento integral de cada instalación.
Finalmente, me interesa retomar la reflexión en relación con las cualidades
/ arte sonoro y electrónico
sección
el Callejón del Ruido
instumentales y objetuales de Trasla ciones I y cómo éstas se retroalimentan dentro de un ecosistema sonoro como el que se suscitó en “La voz oculta de los objetos”; en ese sentido, fue una expe riencia afortunada confluir con las so noridades de una pieza completamente percusiva y potente como la instalación de Simone Simons y Peter Bosch, donde cada cierto tiempo, una pieza automati zada para hacer sonar tambos, materiales metálicos y otros artilugios encontrados y suspendidos, hacía resonar la sala de exposición de tal forma que al terminar de sonar, la escucha podía concentrar se en otras piezas que desplegaban una propuesta más sutil o focalizada como es el caso de la pieza de Paul DeMarinis o la propia Traslaciones I.
Esta distribución en el espacio de cada una de las piezas, me hace pensar
en un macroinstrumento o en un orga nismo sonoro cuyo movimiento se puede apreciar solo en el transcurso del tiempo en el que acontece.
¿Cómo se revela el lenguaje de este instrumental complejo en el flujo de un imaginario mediado por la tecnología de las comunicaciones inmediatas que tienden a homogenizar el pensamien to? Un instrumento es su historia y su reinvención. La manera en la que lo tra duce el intérprete y el artista desde su imaginación. Es todos sus elementos y el rastro que deja en su transformación. Su resonancia y su silencio, el espacio que habita y el espacio que representa. Un instrumento es su propio lenguaje y los límites que desdibujan ese lenguaje. Un instrumento es al mismo tiempo la escucha que lo recrea.
Este artículo describe la realización téc nica y el concepto de la instalación Ater vulture presentada en la edición 14 del Festival Internacional El Callejón del Ruido. Creación, Ideas y Tecnología, en la Galería Polivalente de la Universidad de Guanajuato, en el año 2019.
Inspirada en el poema de Charles Baudelaire Une Charogne, Ater vulture da vida a una instalación que concierne al campo de la imagen, la creación so nora y la interacción. El argumento está conformado por dos proyecciones con videomapping donde la imagen y el audio
son controlados por el espectador con un interfaz digital y un dispositivo midi, su mergiendo al espectador en una atmosfera poética donde la metáfora del carro como cuerpo y contenedor de nuestra existen cia busca un diálogo entre la repulsión y la atracción, la seducción y el temor.
El espacio poético es un memento mori, donde la imagen y el sonido cap tan la esencia abstracta de ceder el esce nario de la vida.
Videomapping, arte interactivo, interfaz digital.
La instalación multimedia Ater vulture crea una escena de imágenes y sonidos tra tados digitalmente por una interfaz y pro yectados con videomapping en una escul tura y una pantalla. La instalación invita al espectador a involucrarse directamente en la generación del paisaje de la pieza.
Ater vulture se inspiró en el poema del escritor francés Charles Baudelaire Une charogne, buscando su concepto de belleza, donde la repulsión y la atracción se entremezclan con la tragedia, la pér dida y el amor.
El título hace referencia a algo os curo que nos destroza y nos desintegra. Proviene del latín āter , como adjeti vo: negro, oscuro, funesto, luto (Glare, 1983) y vultur que en latín significa destrozador y es el nombre común que se le da a los buitres (Mallory, 2006).
Mi práctica artística se ha encaminado a la exploración del paisaje en todas sus vertientes —como generador de proce sos temporales (memorias), como la no ción de una posición geográfica (ubica ción) y como umbrales que van más allá de los límites físicos y temporales vol cándonos a la puesta en escena poética, donde abordo la influencia que un con texto puede tener sobre el observador.
El paisaje en mi imaginario se ha enfocado en los últimos quince años en
contar historias en términos pragmáti cos. La utilización de diferentes lengua jes ha sido clave para este fin. El uso de distintas tecnologías me ha permitido involucrar mis dibujos en un universo más amplio, dando la posibilidad de en riquecer un plano bidimensional a un plano envolvente donde el espectador pueda tener una apreciación más pro funda del paisaje.
El uso de sensores de proximidad, sistema de sonido multicanal, realidad aumentada, etc., han sido algunos de los lenguajes o sistemas que han apoyado la gráfica.
Ater vulture presenta tres grupos de vi suales que podemos identificar como: Los buitres, la mujer y el carro.
En esta pieza el paisaje que se genera a partir de los parámetros enviados por el espectador desde el dispositivo midi son proyectados en la pantalla de la izquierda de la instalación y son encapsulados pos teriormente en un objeto-escultura de un automóvil, por medio de una proyección de videomapping programado desde el software Resolume Arena.1
Generando así la idea de un paisaje que termina solo sucediendo en el in terior de una carcasa, metáfora de un cuerpo que se desintegra, se deforma y agoniza.
Los buitres son una serie de dibujos realizados al carboncillo, tinta y pig
el Callejón del Ruido
Rappelez-vous l’objet que nous vîmes, mon âme, Ce beau matin d’été si doux:
Au détour d’un sentier une charogne infâme Sur un lit semé de cailloux, Le ventre en l’air, comme une femme lubrique, Brûlante et suant les poisons, Ouvrait d’une façon nonchalante et cynique Son ventre plein d’exhalaisons.
Le soleil rayonnait sur cette pourriture, Comme afin de la cuire à point, Et de rendre au centuple à la grande Nature Tout ce qu’ensemble elle avait joint; Et le ciel regardait la carcasse superbe Comme une fleur s’épanouir. La puanteur était si forte, que sur l’herbe Vous crûtes vous évanouir.
Les mouches bourdonnaient sur ce ventre putride, D’où sortaient de noirs bataillons De larves, qui coulaient comme un épais liquide Le long de ces vivants haillons. Tout cela descendait, montait comme une vague
Ou s’élançait en pétillant
On eût dit que le corps, enflé d’un souffle vague, Vivait en se multipliant.
Et ce monde rendait une étrange musique, Comme l’eau courante et le vent, Ou le grain qu’un vanneur d’un mouvement rythmique Agite et tourne dans son van.
Les formes s’effaçaient et n’étaient plus qu’un rêve, Une ébauche lente à venir Sur la toile oubliée, et que l’artiste achève Seulement par le souvenir.
Derrière les rochers une chienne inquiète Nous regardait d’un oeil fâché, Epiant le moment de reprendre au squelette Le morceau qu’elle avait lâché.
Et pourtant vous serez semblable à cette ordure, A cette horrible infection, Etoile de mes yeux, soleil de ma nature, Vous, mon ange et ma passion!
Oui! telle vous serez, ô la reine des grâces, Apres les derniers sacrements, Quand vous irez, sous l’herbe et les floraisons grasses, Moisir parmi les ossements.
Alors, ô ma beauté! dites à la vermine Qui vous mangera de baisers, Que j’ai gardé la forme et l’essence divine De mes amours décomposés!
Recuerdas el objeto que vimos, mi alma, Aquella hermosa mañana de estío tan apacible;
A la vuelta de un sendero, una carroña infame Sobre un lecho sembrado de guijarros, Las piernas al aire, como una hembra lúbrica, Ardiente y exudando los venenos, Abría de una manera despreocupada y cínica Su vientre lleno de exhalaciones.
El sol dardeaba sobre aquella podredumbre, Como si fuera a cocerla a punto, Y restituir centuplicado a la gran Natura, Todo cuanto ella había juntado;
Y el cielo contemplaba la osamenta soberbia Como una flor expandirse.
La pestilencia era tan fuerte, que sobre la hierba Tú creíste desvanecerte.
Las moscas bordoneaban sobre ese vientre podrido, Del que salían negros batallones De larvas, que corrían cual un espeso líquido
A lo largo de aquellos vivientes harapos. Todo aquello descendía, subía como una marea, O se volcaba centelleando; Hubiérase dicho que el cuerpo, inflado por un soplo indefinido, Vivía multiplicándose.
Y este mundo producía una extraña música, Como el agua corriente y el viento, O el grano que un aechador con movimiento rítmico, Agita y revuelve en su harnero.
Las formas se borraron y no fueron sino un sueño, Un esbozo lento en concretarse, Sobre la tela olvidada, y que el artista acaba Solamente para el recuerdo.
Detrás de las rocas una perra inquieta Nos vigilaba con mirada airada, Espiando el momento de recuperar del esqueleto El trozo que ella había aflojado.
Y sin embargo, tú serás semejante a esa basura, A esa horrible infección, Estrella de mis ojos, sol de mi natura, ¡Tú, mi ángel y mi pasión!
¡Sí! así estarás, oh reina de las gracias, Después de los últimos sacramentos, Cuando vayas, bajo la hierba y las floraciones crasas, A enmollecerte entre las osamentas.
¡Entonces, oh mi belleza, dile a la gusanera Que te consumirán los besos, Que yo he conservado la forma y la esencia divina De mis amores descompuestos!
/ arte sonoro y electrónico
sección
el Callejón del Ruido
mentos. Con los dibujos se generaron las diferentes animaciones de la pie za con el software After Effects.2 Los efectos, texturas y cromática para la gestualidad visual se realizaron con el software Processing3 (algunos de los efectos utilizados fueron: Blend Mode, Exposure, Strobe, Scope, Distortion, Static, Twitch-caos). Los buitres en la animación se ven al acecho del cuerpo, moviéndose cerca del mismo o volando sobre él.
Los visuales del automóvil se reali zaron con un proceso de fotogrametría4 con más de 100 fotografías desde dis tintos ángulos que fueron procesados posteriormente con un software de mo delado 3DS Max.5
Los visuales de la mujer se realiza ron a partir de un modelo 3D que fue trabajado con diferentes efectos con el software Processing. Al modelo se le dio un tratamiento de malla para hacer visi bles las aristas, vértices y caras, después se agrego un efecto de separación de las partes, una especie de desintegración de la forma.
Una vez que se procesó el set de datos visuales se realizaron las pues tas en escena de los posibles paisajes
a generar por medio del software de videomapping Resolume Arena. Con este programa se agregaron parámetros para controlar las diferentes texturas, efectos, así como la mezcla de las dos salidas de video.
En estas imágenes podemos ver la dis posición de los conjuntos de los diferentes paisajes proyectado en dos pantallas para trabajar en la parte estética de cada uno de ellos tanto individual como en conjunto.
Para ello se utilizó el dispositivo Ma trox TripleHead2Go6 para ejecutar tres monitores independientes y tener una expansión de los gráficos en dos salidas de proyección.
La interactividad de la pieza se pro gramó desde el software de Resolume Arena con un controlador midi akai lpd7 que cuenta con ocho mandos para el control de los diferentes parámetros que se envían desde el software, así como ocho mandos para los diferentes visuales y sonidos.
La creación sonora de la pieza se concibió desde los sonidos propios de un automóvil, en este caso un bmw 1988; se hizo el registro con una graba dora Zoom H68 utilizando el micrófono direccional. Se hicieron tomas del mo
el Callejón del Ruido
tor, acelerador, parabrisas, escape, etc., los registros se limpiaron y editaron para conformar pequeñas capsulas sonoras que se fusionarían en los comandos del controlador midi trabajando sobre el tono, ritmo, intensidad, resultando un paisaje sonoro cambiante que se esté creando en la sala de exhibición.
Se realizó un armazón de madera y tela elástica simulando un automóvil. El ob jeto se suspendió en la esquina superior de la galería y del lado izquierdo se co locó una pantalla doble vista.
Posteriormente se ajustó la resolu ción de los proyectores junto con la Ma trox para poder realizar el trazado del videomapping.
Una vez finalizado el montaje, se deja corriendo el interfaz para que los visitantes manejen el dispositivo seleccionando des de el controlador midi las imágenes que quieren ver proyectadas sobre la pantalla, posteriormente el dispositivo envía las imágenes a la escultura suspendida donde se mezclan generando paisajes caóticos. El sonido también es seleccionado y mezcla do por los visitantes utilizando cuatro de los diales del dispositivo midi; generando así siempre un paisaje nuevo y diferente.
Lo sublime de la belleza descrita por Baudelaire se encuentra en estos ob jetos abandonados a su suerte, donde el olvido y la descomposición nos re galan paisajes exquisitos fracturados desde su agonía.
La interacción propuesta por la pieza invita al visitante a explorar las posibili dades visuales que pueden hacer reso nancia o contraponerse con los ficheros
sonoros que vuelven a cada escena dra mática y angustiante.
El Festival Callejón del ruido es una plataforma ideal para presentar proyec tos multimedia que busquen explicar los límites infinitos de la imagen y el sonido.
1 Interfaz de interpretación audiovisual para proyecciones digitales e instalaciones inte ractivas utilizada por diseñadores para ma pping de videos en su mayoría formato .mov en tiempo real, con la posibilidad de super poner registros con cámaras web y sincroni zación de imagen junto al sonido
2 Según la definición de Wikipedia, Adobe After Effects es una aplicación que tiene forma de estudio destinado para la creación o aplicación en una composición, así como realización de gráficos profesionales en mo vimiento y efectos especiales, que desde sus raíces han consistido básicamente en la su perposición de capas.
3 “ Processing es un lenguaje de progra mación y entorno de desarrollo integrado de código abierto basado en Java, de fácil utilización, y que sirve como medio para la enseñanza y producción de proyectos mul timedia e interactivos de diseño digital.” (Processing, Wikipedia, 2022)
4 “Técnica para estudiar y definir con pre cisión la forma, dimensiones y posición de un objeto cualquiera, utilizando medidas realizadas sobre una o varias fotografías…” Definición de Henri Bonneval.
5 “Permite crear mundos expansivos y di seños de máxima calidad.” Véase: https:// www.autodesk.es/products/3ds-max
6 Véase: https://www.matrox.com/en/video/ products/gxm/triplehead2go-series/dp-edi tion
7
Véase: https://www.akaipro.com/lpd8
8 Ver “Grabadora de mano” en: https:// zoomcorp.com/es/us/grabadoras-de-mano/ handheld-recorders/h6-audio-recorder/
el Callejón del Ruido
Baudelaire, Charles. (1857). Spleen et ideal. Des Fleurs du mal. Les Grands Clas siques. Poesie Francaise. Disponible en https://www.bonjourpoesie.fr/ lesgrandsclassiques/Poemes/char les_baudelaire/une_charogne.
Glare, P. G. W. (1983). Oxford Latin Dic tionary. Oxford University Press. Mallory, J. P. & Adams, Douglas Q. (2006). The Oxford introduction to Proto-In do-European and the Proto-Indo-Eu ropean world. Oxford: Oxford Uni versity Press.
Roberts Edward, Pastor Barbara. (1996). Diccionario Etimológico Indoeuropeo de la Lengua Española. Alianza Dic cionarios.
En línea
Akai Professional. https://www.akaipro. com/lpd8 Autodesk. 3ds Max: mundos masivos y di seños de gran calidad. https://www. autodesk.es/products/3ds-max Matrox. TripleHead2Go DP Edition. ht tps://www.matrox.com/en/video/ products/gxm/triplehead2go-series/ dp-edition Processing. (septiembre 2022). En Wikipe dia. https://es.wikipedia.org/wiki/ Processing
Resolumne Arena. (2012). Proyecto Idis. https://proyectoidis.org/resolu me-arena/ Resolumne. Introducing Resolume Wire. https://resolume.com/software Pro cessing. https://processing.org/ Zoom h6 negro. La grabadora portátil más versátil de todos los tiempos. https://zoomcorp.com/es/us/gra badoras-de-mano/handheld-recor ders/h6-audio-recorder/
El análisis y estudio de los procesos de producción artística en el arte electró nico llevan a reflexionar sobre vertien tes que han sido poco exploradas en el campo del arte, donde incluso la cla sificación de obras de arte electrónico conlleva un arduo trabajo por parte de investigadores y expertos en la materia.
De ahí que el interés del presente capí tulo se encuentre en encontrar los hilos conductores de los procesos de creación y sus recursos, para de esta manera con tribuir a la comprensión del quehacer artístico en este campo de estudio, con particular interés en el sonido.
Es importante considerar el arte electrónico como una rama del arte que usa medios y herramientas contemporá neas, digitales o análogas, que como re sultado definen la era en la que vivimos.
El teórico Edward Shanken, al respecto comenta que históricamente los artistas han hecho uso de los materiales y técni cas más avanzados de su época y cuando
lo que necesitan no existe, lo inventan; en la actualidad, las tecnologías elec trónicas son omnipresentes, es difícil imaginar la música contemporánea sin instrumentos electrónicos o diversas ac tividades sin el uso de una computadora (Shanken, 2009, p. 11); lo mismo suce de con el arte, donde existe la participa ción tecnológica.
Además de lo anterior, el enfoque hacia el sonido como elemento rele vante dentro del trabajo artístico elec trónico, se considera especial debido a las emociones e involucramiento que es capaz de suscitar en el público. A su vez, se establecen algunos parámetros de análisis necesarios para la compren sión de las obras de arte electrónico, en el entendido que, en particular las fases del proceso de creación se aplican de manera general a cualquier proceso en cualquier ámbito; en este caso dichas fases se han concentrado al estudio del arte electrónico.
Dentro de la aproximación a la expe rimentación sonora, se tienen en cuenta
el Callejón del Ruido
aquellos sonidos que forman parte de la experiencia auditiva cotidiana y que las más de las veces escapan del lado consciente del cerebro. Es precisamente dentro del trabajo que algunos compo sitores han realizado, que los recursos para los procesos de producción creati va son perceptibles. Además de lo ante rior, se hace la observación que se con sidera el arte sonoro como un producto de la necesidad de ubicar todo lo que no tiene cabida en el concepto “música”; de acuerdo con la definición de música de John Cage como “sonidos organizados en el tiempo”, el arte sonoro sería músi ca (Rocha, 2008, p. 45).
Un proceso de creación está constituido por aquellas acciones que el artista lleva a cabo para la concreción de un produc to con cualidades como la originalidad y, de alguna forma, que aporte innova ción al ámbito; a su vez, el resultado del proceso de creación debe ser valorado por un grupo de personas, comunidades e incluso —en el caso de ciertas obras artísticas— por parte de la humanidad. Aspecto consubstancial de un pro ceso de creación es el que se gesta tem pranamente en el ambiente que rodea al artista desde su infancia, en donde ge neralmente se le provee de experiencias vinculadas al arte, la ciencia y la tecno logía; lo que despierta la curiosidad in nata del niño. Muestras de lo anterior, se encuentran en la información recopilada en investigación precedente en torno de artistas electrónicos (Villagómez, 2017), por ejemplo, en el caso del artista mexi cano Arcángel Constantini, cuando era llevado por sus padres a las ferias cientí ficas y tecnológicas en la Ciudad de Mé
xico; el caso de los experimentos de quí mica en el garaje de su casa en los que participaba junto con su abuelo el artista Rafael Lozano-Hemmer; las charlas que tenía el artista Iván Abreu con su padre sobre la distancia de la tierra a la luna; o la convivencia de la artista Leslie García en el mundo artístico y cultural en los ochentas en su natal Tijuana.
Respecto a lo anterior, es claro que un individuo sin las características ge néticas para un campo determinado, no desarrollará las cualidades necesarias para destacar dentro del mismo (Csikszentmi halyi, 1996). Por lo que son una serie de condiciones contextuales y personales las que coadyuvan en el desarrollo de las capacidades y habilidades necesarias, en este caso, para desempeñarse como artis ta electrónico. Cabe hacer la aclaración, que no necesariamente es condición in dispensable que los padres o tutores sean científicos o tecnólogos para llegar a ser artista electrónico, si bien es cierto, que en los casos de varios artistas es así, no es la norma, es decir, algunos artistas se ven atraídos por el arte electrónico por que han tenido contacto con este ámbi to como audiencia o debido a que están cerca de círculos sociales formados por artistas electrónicos; lo que lleva también a la conformación de grupos sociales de integrantes de este campo, que a su vez validan o dan reconocimiento a otros ar tistas nuevos. Así se tiene que el contexto y formar parte del ámbito es parte funda mental en el desarrollo de los procesos de creación dentro del mismo.
Además de lo anterior, se ha encon trado que el cerebro humano lleva a cabo ciertas fases para el desarrollo de un proceso de creación,1 estas fases no se llevan a cabo de forma ordenada e, incluso, pueden estarse llevando a cabo varios procesos de creación de mane
ra simultánea. Es de particular interés que las mismas fases se llevan a cabo si se crea una coreografía, una obra mu sical, una novela o el invento de la luz incandescente, es decir, en la creación de cualquier producto creativo de cual quier ámbito se llevan a cabo estas fases; veamos pues, en qué consisten.
Se tiene que, los artistas tienen inte reses particulares sobre distintos temas que les despiertan curiosidad, pueden ser sobre fenómenos científicos, sociales y culturales, situaciones particulares en política, derechos humanos, en torno al medioambiente, como el cambio climá tico, etc. El interés del artista lo lleva a buscar más información al respecto, bus cando artículos científicos, en libros, con expertos sobre el tema, toma notas al res pecto, entre otras formas de aumentar su conocimiento al respecto; de tal manera que llega a un punto en donde considera que está preparado y tiene la suficiente información; a esta etapa se le conoce como la fase de preparación.
Posteriormente, es sabido que el cerebro es un órgano con capacidades muy extendidas, de tal manera que, en el inconsciente sigue pensando sobre el tema de interés particular; a esta forma de resolución de problemas se le llama fase de incubación. La siguiente fase es la intuición, que es cuando de mane ra súbita emerge una idea, esta fase se ejemplifica típicamente con el episodio histórico donde el matemático griego Arquímedes de Siracusa gritó eureka (¡Lo he descubierto!), tras descubrir lo que hoy se conoce como el principio de Arquímedes que establece la rela ción entre el volumen de un cuerpo sumergido y la fuerza de flotación que experimenta.
Un hallazgo particular de la presente investigación es que un artista tiene de
manera regular varias ideas, es decir, el problema para los artistas experimen tados no es la generación de ideas, sino la evaluación de las mismas, lo que abre paso a la siguiente fase: la evaluación, que es cuando el artista se pregunta si vale la pena dedicarle tiempo a esa idea en particular. Varios artistas refirieron charlar con colegas como recurso para decidir si valía o no la pena dedicarle tiempo a una idea; por ejemplo, en el ámbito áulico el maestro es el mediador en la toma de decisiones del estudiante, lo que le facilita sus procesos de crea ción. Cabe decir que, en la fase de evalua ción, es donde el artista experimenta más incertidumbre.
Una vez que se ha decidido la idea que se llevará a cabo, se pasa a la fase de elaboración, donde se realiza la idea propiamente dicha. Es la fase que más horas de trabajo toma al artista, en el arte con el uso de tecnología, algunos artistas, como Marcela Armas, refieren en ocasiones dar por concluida una obra por agotamiento económico, como físi co también, lo que hace constar lo ardua que puede ser esta fase. Es importante mencionar que los artistas electrónicos las más de las veces trabajan en equipos de trabajo conformados por profesiona les de varias áreas, dependiendo de las necesidades en cada proyecto.
La fase de comunicación fue agre gada por Mauro Rodríguez Estrada,2 trata de —en este caso— la necesidad del artista de una vez habiendo conclui do su obra, exhibirla o mostrarla a una audiencia determinada. La necesidad de comunicar a otros los logros alcan zados tiene también que ver con la ne cesidad de reconocimiento del esfuerzo realizado, lo que es un factor esencial en la vida como seres sociales de las y los individuos.
arte sonoro y electrónico
sección
el Callejón del Ruido
Desde el campo del arte electrónico que nos ocupa, hemos agregado una fase más al proceso de creación y es la fase de participación. Las obras de arte electró nico, buscan de manera directa, las más de las veces, la participación del públi co. En el arte clásico o tradicional, cuyos medios eran la pintura, la escultura y el grabado principalmente, la contempla ción por parte del público a través de la vista era la práctica usual; si bien en el sentido estricto de la palabra una forma de interacción se establecía entre la obra y el espectador, esta no era tan visible y franca como en el arte electrónico, donde se pide a la audiencia3 que realice acciones específicas de participación e interacción.
Dentro de estas formas de interac ción en el arte electrónico, hemos detec tado las siguientes:
a) Uso de dispositivos especiales. Participación a través del uso de lentes de realidad virtual, table tas, joysticks, teclados, micrófonos,
FiguRa 1. Karina Álvarez, Ater Vulture. (2019). 14 Festival Inter nacional El Callejón del Ruido. Creación, Ideas y Tecnología.
aplicaciones o apps, telefonía mó vil, entre otros; en la obra Escritu ras, de Gilberto Esparza, hay uso de teléfonos celulares para interac tuar con la obra; en Kauyumari, el venado azul, de Arnold Abadie, los lentes rv son necesarios. Ater Vulture es otro ejemplo de esta ca tegoría. Esta instalación presentada en el 14 Festival Internacional Ca llejón del Ruido, por Karina Álva rez Castillo, es una obra inspirada por un poema de Charles Baude laire Une Charogne, que hace uso de dos proyecciones de videomap ping, en este caso, la imagen y el audio son controlados por el públi co asistente, a través de una interfaz digital y un dispositivo midi 4 b) Movimientos corporales. El ar tista o la propia obra induce a la audiencia a ejecutar movimientos corporales libres o específicos, ges tos faciales u otras acciones; como en Múltiple Vortex Tornado, de Iván Abreu, donde el potente so
nido de un tornado surge cada vez que alguien abre alguno de los li bros colocados con páginas en blanco sobre varios atriles.
c) Hablar a través de dispositivos específicos. Se pide al público su surrar, gritar, o simplemente ha blar para ejecutar determinados resultados en la obra; sucede en Less than Three, de Rafael Loza no-Hemmer, donde la pieza tiene la instrucción de susurrar un secre to en el extremo de un tubo, al lle var a cabo dicha acción después de unos segundos, de forma sorpresiva se escucha el mismo secreto en un altavoz en el otro extremo del mis mo tubo.
d) Uso de un teclado. Como en las obras de Net.art; obras de
Arcángel Constantini como uno sunosyunosceros , donde el sonido es muy diverso, puede reproducir la estática de un viejo televisor, el ruido en un mercado de pul gas a las 3 de la mañana, el sonido de una vieja máquina de escribir o de algunos juguetes infantiles recuperados de tiraderos, entre otros.
e) Vestir una prenda en específico. Las prendas pueden tener senso res para la detección de bioseña les; como la obra Mind Scape de Claudia Robles Ángel, la cual crea un paisaje sonoro y lumínico espe cífico creado a partir de las ondas que produce el cerebro de la propia artista que son detectadas por un software y equipo médico de egg
arte sonoro y electrónico
sección
el Callejón del Ruido
que mide la actividad eléctrica. Otro ejemplo es Wearable Sounds cape 0.2, de Amor Muñoz, que es un paisaje sonoro activado por los movimientos de la cabeza, donde por medio de un acelerómetro se activan diferentes sonidos e imáge nes en video.
f) Interacción en redes sociales. Como en Arma sonora telemática, de Astrovandalistas y Leslie Gar cía; esta instalación hizo uso de una estructura metálica preexistente afuera del Campo Marte en la Ciu dad de México, donde se emite una señal sonora cada vez que un inter nauta en Twitter escribe en el sitio dispuesto para la pieza. g) Interacción con otro ser vivien te. Como se observa en la obra Pul sum_Plantae, de Leslie García, la cual aborda el tema de las plantas como seres sintientes, donde a tra vés de un software se registran en señales sonoras la energía de las plantas al tener contacto con estí mulos como el tacto y voz humanas o con estímulos luminosos. h) Música y sonido. Generalmente in situ; como en Meridian de Iván Abreu, que es una especie de caja de música virtual dentro de un sitio web que registra la ubicación de los visitantes con un tono musical. Otro ejemplo es Traslaciones I, de Fer nando Vigueras, la cual se presentó en el 14 Festival Internacional El Callejón del Ruido, Creación, Ideas y Tecnología en marzo de 2019. Se trata de una instalación formada por una serie de guitarras acústicas suspendidas del techo de la Gale ría Polivalente de la Universidad de Guanajuato, las cuales contaban con dispositivos electromecánicos,
mismos que al ser activados creaban un paisaje sonoro continuo; dichos dispositivos podían ser manipula dos por el público. i) Realidad aumentada. Un conjun to de técnicas que hacen posible la aplicación de elementos virtuales sobre representaciones de la reali dad física; como en la obra Flatus Vocis, de Karina Álvarez, integrada por una serie de dibujos de diversas construcciones donde a través de un teléfono inteligente es posible visualizar gráficos superpuestos a esos dibujos.
Por supuesto, las formas anteriores de interacción se circunscriben al ámbito de lo corporal, acciones en las que el cuerpo ejecuta determinada actividad, movimiento o labor, empero la men te y el cerebro interactúan de manera más profunda frente a estos procesos de comunicación y participación con las obras electrónicas, de tal manera que las más de las veces se induce a la acción. A continuación, hablaremos de algunos de estos procesos.
la intervenCión de las emoCiones, interaCCión e intersubjetividad
Investigaciones apuntan hacia las emo ciones como mecanismos en el interior del cerebro humano y de la mente que llevan a la motivación y posteriormente a la acción; en el caso que nos ocupa, sin la intervención de las emociones no sería posible establecer relaciones o vínculos entre las obras y el público. La psico logía cognitiva que estudia la cognición o los procesos mentales involucrados en el conocimiento, considera que los pen samientos producen emociones y que las emociones crean comportamientos
esenciales para la toma de consciencia en torno de los diversos aspectos de la vida del ser humano. En este caso, los artistas electrónicos buscan sensibilizar a públicos específicos sobre temas de in terés ambiental, social o político, entre otros, con la finalidad de tener un mejor entorno y una mejor sociedad. De ahí la importancia de estudiar el proceso de interacción que se lleva a cabo entre el artista, su obra y el participante o usua rio de la misma.
Desde el punto de vista de la psico logía, las emociones son reacciones in natas al ser humano. Las funciones de las emociones son la propia preservación y protección de las especies, están es trechamente vinculadas a la motivación. Cada emoción tiene una función espe cífica, así que todas son valiosas. No hay un acuerdo general sobre cuántas emociones existen, y las características de las emociones que somos capaces de experimentar, porque existen muchos factores subjetivos en su identificación y en la habilidad de las personas en distin guirlas. Solo hay acuerdo general en que hay dos emociones básicas: el placer y el dolor. Otras emociones son derivadas de la forma en que las personas perciben su entorno y el modo en que se vinculan a este entorno(Zepeda, 2019, pp. 154158). De acuerdo con VandenVos, cita do por Zepeda, una emoción es definida como un patrón de reacción complejo, que involucra elementos experiencia les, conductuales y psicológicos, con los cuales un individuo intenta lidiar con la realidad (Zepeda, 2019).
Por otra parte, para el neurólogo An tonio Damasio, las emociones tienen las siguientes características: una emoción tal como la alegría, la tristeza, la ver güenza o la simpatía, son un conjunto complejo de respuestas neuronales que
forman un patrón distintivo. Las res puestas son producidas por el cerebro normal cuando detecta un Estímulo Emocional Competente (ecs), en otras palabras, un objeto o evento cuya pre sencia activa la emoción. Las respuestas son automáticas. El cerebro está prepa rado por la evolución para responder a ciertos ecs con repertorios específicos de acción. La lista de ecs no está limita da a repertorios prescritos por la evolu ción, pero incluye otros aprendidos por experiencias de vida. El resultado inme diato de estas respuestas es un cambio temporal en el estado del cuerpo en sí mismo y en el estado de las estructuras que mapean el cuerpo y sustentan el pensamiento. El resultado de las res puestas, directa o indirectamente, es co locar al organismo en circunstancias que conduzcan a su sobrevivencia o bienes tar (Damasio, 2019, p. 65). De acuerdo con Antonio Damasio, las emociones son bellas, sorpresivamente inteligentes y pueden resolver nuestros problemas de una manera muy poderosa (Damasio, 2019, p. 66).
La interacción es inducida por las emociones debido a la relación entre las emociones y la motivación. La interac ción es una tendencia en la creación del arte electrónico, sin embargo, no todo el arte electrónico tiene interacción. De acuerdo con Annick Bureaud, la inte ractividad tiene una relación particular entre los humanos y las máquinas, que ha sido analizada por el nivel de liber tad que se permite entre el público y el trabajo artístico. Ese es el nivel de au tonomía o la capacidad para controlarla. Brenda Laurel, citada por Bureaud, co menta que hay tres variables de la inte ractividad: la frecuencia, que se refiere a qué tan frecuente es posible interactuar; el rango, cuántas opciones de interac
/ arte sonoro y electrónico
sección
el Callejón del Ruido
ción existen, y el significado, hasta qué punto las elecciones para interactuar afectaron realmente los elementos de la obra (Bureaud, 1996).
Es bien sabido que las emociones juegan un papel en nuestras percepcio nes, actitudes, motivaciones y compor tamientos. Nuestro estado emocional puede afectar cómo enfocamos nues tra atención y nuestras expectativas, con obvias ramificaciones sobre cómo procesamos nuestra información e in teractuamos con los productos, siste mas u otras personas. En un sentido conductual, estamos preconfigurados para acercarnos a estímulos asociados con afectos positivos y a evitar aquellos asociados con afectos negativos. Los artistas electrónicos pueden manipular los estímulos, o inducirlos, como una dimensión fisiológica de la emoción. “Cuanto más nos estimulemos a actuar y evitar o acercarnos a la cosa, más nos estimulará” (Hanington, 2017, p. 165).
Parte de la novedad del arte electró nico es precisamente que puede involu crar todos los sentidos humanos, a esta característica se le llama polisensoria lidad, que es cuando el público puede escuchar, tocar, incluso oler y probar el trabajo artístico. El movimiento corpo ral es integrado y la vista no es el único sentido involucrado para percibir una obra de arte. La imagen puede estar in tegrada a otros dispositivos, visuales o no. En el arte tradicional, solo se podía ver y observar —probablemente esta es la razón por la que algunas personas es tán renuentes a considerar el arte elec trónico como una forma válida de arte, y consecuentemente a establecer nuevas relaciones con este. Así tenemos que, cuando el tacto y otros sentidos se usan como recursos de interacción artísticos, estos facilitan la inducción de emocio
nes. Federico Fros considera: “Lo que te motiva, usualmente produce emociones, y lo que te emociona es lo que te moti va” (Fros, 2018, p. 92).
Existen otros factores vinculados a las emociones y el funcionamiento de las es tructuras del cerebro humano, a pesar de que los neurocientíficos están de acuerdo en que todavía esta lejano el día en que se conozcan todas las intrincadas formas en que el cerebro opera, sí hay consenso en algunos aspectos, de los cuales se hablará brevemente a continuación.
La interocepción. Es un término definido por la psicóloga Lisa Feld man Barrett, como la representación del cerebro de todas las sensaciones de los órganos internos y tejidos. Esta ac tividad produce el espectro de los sen timientos básicos de placer y displacer, de la calma a la excitación, e incluso la completa neutralidad. Para Feldman, la interocepción es de hecho uno de los ingredientes esenciales de las emociones (Feldman, 2018, pp. 56-151).
Las predicciones. Wolpe y Rowe coinciden en que el cerebro aprende que un mismo indicio sensorial puede tener diferentes causas. Distingue cuál de es tas causas es la más relevante solo por su probabilidad en diferentes contextos. Es capaz de decidir qué combinación de experiencias pasadas es la que más se ajusta a los estímulos que está perci biendo. La meta principal de las predic ciones del cerebro (que son las mejores conjeturas de lo que ocurre en el mun do circundante) es ayudar a lidiar con el medio, así como mantener al individuo bien y con vida (Feldman, 2018, p. 78).
Modelo Mental. Mediante predic ciones y correcciones, el cerebro crea y revisa continuamente su modelo mental del mundo. Así comprende cómo fun ciona y cuál es su rol personal en él. Esto
hace que los individuos se sientan segu ros (Fros, 2018, pp. 27-36).
Conceptos y categorización. La ca tegoría se define como una colección de objetos, eventos o acciones que se agru pan como equivalentes para algún pro pósito. Por otro lado, la definición de un concepto es una representación mental de una categoría (Feldman, 2018, p. 91).
En lo que respecta al campo del arte electrónico, los conceptos y las catego rías son el núcleo del conocimiento para su comprensión. Si somos capaces de crear nuevos conceptos, somos capaces de entender y considerar el arte electró nico como una forma válida de arte. Esto es fundamental porque en la provincia mexicana hay museos que no consideran el arte electrónico como forma válida de arte; es importante desarrollar líneas de investigación futuras en este tema.
el sonido en la induCCión de emoCiones
Bradley y Lang consideran que las ca racterísticas específicas de los sonidos pueden impactar directamente el siste ma nervioso provocando cambios emo cionales en los escuchas (Fakhrhosseini, et al., 2017). Esta es una técnica de in ducción de emociones que ha sido usa da por científicos donde los individuos escuchan sonidos digitalizados a través de altavoces o audífonos. Los sonidos más frecuentemente usados para indu cir estados emocionales en este experi mento son los del International Affec tive Digitized Sounds o iads (Choi, et al., 2015, citado por Fakhrhosseini, et al., 2017), el cual contiene valoraciones para 167 sonidos que incluyen un muy amplio rango de contextos relacionados con animales (cachorros, perros durante robos, etc.); humanos (risas, bebes, pa
reja en situación erótica, hombre con sibilancias, niño riendo y abuso infantil); medios de transporte (helicóptero, tren, caída en bicicleta y accidente aéreo); ob jetos (caja de música, máquina de escri bir y un timbre de puerta); instrumentos musicales (arpa, guitarra, etc.); y escena rios (noche en el campo, selva tropical, restaurant, arroyo) (Soares, et al., 2013, citado por Fakhrhosseini, et al. 2017). El conjunto de sonidos iads ha sido utilizado internacionalmente para obte ner información sobre la capacidad de los sonidos para inducir emociones; así como el tono hedónico o valencia afec tiva y el eje de activación, que lleva a la acción,5 como su uso en desencade nar emociones específicas, tales como, felicidad, tristeza, miedo, asco y enojo (Stevenson y James, 2008, citado por Fakhrhosseini, et al., 2017).
Por otra parte, la música, si bien es otra rama del arte y no necesariamente arte sonoro, también ofrece otro méto do de inducción de emociones, se puede decir que es otro tipo específico de so nido que induce al afecto y a la emoción. Investigadores han encontrado que hay elementos en la música centrales en la percepción de la emoción, por ejem plo, el modo (mayor o menor), el tempo, el tono, el ritmo, la armonía y el volu men (Coan y Allen, 2007, citado por Fakhrhosseini, et al., 2017). Las formas en que estos elementos se combinan y complementan es distinto en cada estilo y género de música, de tal manera, que un estilo de música en particular puede estar relacionado de manera fuerte con un conjunto específico de emociones. (Terwogt y Van Grinsvan, 1991, cita do por Fakhrhosseini, et al., 2017). No obstante, como se vio anteriormente, los sonidos pueden tener este mismo efec to; finalmente no se debe perder de vis
sección Ii / arte sonoro y electrónico
el Callejón del Ruido
ta que el propósito de las emociones es brindar bienestar al ser humano y pre servar su integridad mental y física, por lo que la percepción de los sonidos jue ga un papel fundamental en el instinto de conservación.
Complementando lo anterior, las prue bas con música se llevan a cabo situando al participante en un medio propicio para la escucha o por el contrario dejando que sea el participante quien elija la música de acuerdo con la emoción que se inten ta experimentar. De particular interés se encuentra la lista de obras musicales que se han usado en varias investigaciones con los mismos resultados (Fakhrhosseini, et al., 2017), veamos pues:
a) Ira. Los planetas (Holst); Noche en la montaña calva (Mussorgsky); Totentanz (los primeros once com pases de apertura) (Liszt).
b) Miedo. Halloween (Ives); Noche en la montaña calva (Mussorgsky); El aprendiz de brujo (Dukas); Psi co (Hermann).
c) Alegría. Los conciertos de Bran denburgo Núm. 2 y 3 (Bach); Tren de Medio Oeste (CrusaderBeach); la mazurca de Copelia (Delibes); Copelia (Delibes); Carnaval de los animales (compases 10-26) (Saint Saens); Utrecht Te Deum (compa ses 7-17 del primer coro) (Handel). d) Neutral. Prelude I’apres Midi d’un Faune (Debussy); Pedro y el lobo (Prokofiev). e) Tristeza. Preludio en E menor op. 28 (Chopin); El cisne de Tuo nela (Sibelius); Novena sinfonía (Dvoiak); El lago de los cisnes (los primeros seis compases del final) (Tchaikovsky); Kol Nidrei (los primeros ocho compases) (Bruch); Alexander Nevsky (Prokofiev);
Preludios (Chopin); Adagio en G menor (Albinoni); En la oscuridad (Sebastian Larsson); En la puerta de la hiedra (Brian Crain). f) Ansiedad. El rito de la primave ra (Stravinsky).
g) Música de estado de ánimo ne gativo con extractos de alta exalta ción. El mandarin milagroso (Bar tok, pista 1). h) Música de estado de ánimo po sitivo con extractos de alta exal tación. La llegada de la Reina de Sheba (Handel pista 11).
i) Extractos de música de estado de ánimo neutro para lograr una baja.
Si bien el estudio de la inducción de emociones en la música, especialmente la clásica, se encuentra bien documenta do, valdría la pena dar inicio a una nueva línea de investigación en el estudio de obras icónicas del arte sonoro y las emo ciones que son capaces de inducir. Re lacionado con lo anterior, en entrevista para esta investigación, el artista sonoro Roberto Morales Manzanares[6] expre só que él ya no asistía a ver películas en las salas de cine comercial, debido a que siempre usaban los mismos acordes mu sicales para denotar miedo, ira, alegría, etc., y que ya estaba cansado de eso, es pecialmente habiendo un vasto acervo mundial musical con nuevas propuestas sonoras desde hace décadas (Villagó mez, 2017).
De ahí la importancia de estudiar obras tales como la de Peter Bosch y Simone Simons Último Intento Minero (2019), donde utilizan vibradores neu máticos como activadores de movimien to en objetos recuperados de tiraderos de basura, entre ellos una carretilla, una olla de tamales, un buzón o una silla. La obra fue realizada bajo encargo para el
FiguRa 3. Último Intento Minero, 14 Festival Internacional El Callejón del Ruido, Creación, Ideas y Tecnología. Marzo 2019. https://tinyurl.com/bdhpwdp6
14 Festival Internacional El Callejón del Ruido, Creación, Ideas y Tecnolo gía, en la ciudad de Guanajuato, México, por lo que los objetos fueron selecciona dos por los artistas en un tiradero local. El resultado fueron sonidos vibratorios en extremo potentes que se integraron como un sonido único que invadió la sala de exhibición.
Habiendo llegado hasta este punto, se hace hincapié en las posibilidades de am bos recursos: la música y el sonido, am pliamente explorados por artistas elec trónicos como estrategias para generar involucramiento en el público que inte ractúa con una obra, donde se puede lle var a cabo un proceso de interacción pro piamente dicho, entendiendo éste como la acción que se ejerce de manera recíproca entre dos o más objetos, personas agen tes, fuerzas o funciones (rae), así como la intersubjetividad, que se lleva a cabo en la comunicación intelectual o afectiva entre dos o más sujetos (rae); ambos as pectos se encuentran en las obras de arte electrónico que involucra el sonido como elemento consubstancial.
reCursos en los ProCesos de CreaCión y la intervenCión sonora
Así tenemos que se han observado cier tos recursos usados por los artistas elec trónicos de forma consciente o incons ciente, los cuales contribuyen a aportar novedad y originalidad a las obras ar tísticas; cabe mencionar que dichos re cursos de manera esencial no son de uso exclusivo del ámbito. Muchos de estos recursos se encuentran relacionados con la asociación de ideas, es decir, se esta blecen cadenas de relaciones entre dife rentes conceptos de inicio desconecta dos, para dar origen a nuevos procesos o resultados.
Ejemplo de lo anterior son las obras del compositor Pierre Schaeffer, quien en 1948 experimentó con gran variedad de sonidos producidos por los trenes y creó Etude aux chemins de fer; con ello surge la llamada música concreta o musique concrète. El trabajo de Schae ffer se vincula a los recursos de produc ción creativa, debido a que relaciona, por una parte, el sonido de un medio de
arte sonoro y electrónico
sección
el Callejón del Ruido
transporte como lo es el tren y lo lleva al terreno totalmente ajeno de la com posición musical. Esta asociación resul tó novedosa y original en ese momento, es decir, difícilmente alguien en aque lla época hubiera considerado un soni do cotidiano parte de una composición musical; sobre la técnica experimental desarrollada por Pierre Schaeffer se tie ne que:
El principio fundamental de la música concreta es el ensamblaje de varios so nidos naturales grabados en cinta (u ori ginalmente en discos) para producir un montaje sonoro. Durante la preparación de una composición de este tipo, los so nidos seleccionados y grabados pueden modificarse como se desee: reproducirse al revés, acortarse o ampliarse, someterse a efectos de cámara de eco, variar el tono y la intensidad, etc. Así la composición terminada representa la combinación de diversas experiencias auditivas en una unidad artística. (Britannica, 2022)
Lo anterior lleva a otros recursos de los procesos de creación: la combinatoria, la yuxtaposición, la analogía, entre otros. Todos, recursos de los procesos de crea ción de cualquier ámbito del conoci miento humano.
Las reflexiones que es posible desprender sobre la investigación del arte electrónico y su vínculo indisoluble: el sonido, dirigen la mirada hacia los creadores, el público, los vínculos y recursos que median la rela ción entre ambos; es así que en el presente capítulo hemos realizado una revisión del proceso de creación, la interacción como parte consubstancial del proceso, el soni do y los recursos del artista, así como las
emociones que las obras artísticas son ca paces de suscitar en el público. Los ele mentos anteriores establecen parámetros de análisis necesarios para la comprensión de las obras de arte electrónico.
Los artistas sonoros y electrónicos han sido claros ejemplos de innovación y originalidad en el campo del arte, to mando elementos de la cotidianeidad trasladándolos al ámbito artístico, para provocar la curiosidad e involucramien to del participante con la obra. Por otra parte, el proceso de creación en el arte electrónico está constituido por accio nes que el propio artista lleva a cabo, para de esta forma aportar elementos de innovación, produciendo la valoración del resultado de dicho proceso, aunque en ocasiones es el propio proceso el que constituye la obra en sí misma.
Ha sido indispensable mencionar aque llos elementos o fases que forman parte del proceso de creación, para abonar a la comprensión de la complejidad de muchas de las piezas. Así se tiene que el contexto en donde se forma el artista determina en cierta medida la perspectiva de su trabajo futuro, en especial cuando trabaja al frente de equipos de trabajo. Las fases del proce so no son lineales, pueden incluso llevarse a cabo varios procesos de creación de for ma simultánea.
De particular interés para este estudio ha sido la fase de participación del proce so de creación, toda vez que se considera un aspecto inherente a buena parte de las obras de arte electrónico y sonoro. Es de cir, el arte electrónico busca de manera abierta la participación del público.
La vía de conexión entre el público, el artista y su obra, es a través de la co municación y la inducción de emociones por parte de la obra, donde las emocio nes son mecanismos que se llevan a cabo en el interior del cerebro humano y de la
mente, llevando al individuo a la acción, es decir, las emociones crean comporta mientos esenciales para la toma de cons ciencia en torno de los diversos aspectos de la vida. En la presente investigación y en otras investigaciones de la autora so bre arte electrónico se ha advertido que los artistas electrónicos buscan sensibi lizar a públicos específicos sobre temas de interés ambiental, social o político, entre otros, con la finalidad de tener un mejor entorno y una mejor sociedad.
Se concluye también que el estudio de la música y las emociones ha sido investigado, no así las obras de arte so noro, de las que no hay estudios especí ficos entre el sonido, la interacción y la respuesta emocional del público, de tal forma que se pueda establecer una rela ción entre la participación del público con la obra, así como las emociones que le llevaron a realizar acciones vinculadas con la misma; lo anterior, con el pro pósito de comprender las obras de este ámbito, como también las formas en que es capaz de interactuar un público de terminado y las formas también en que un artista puede comunicar lo que desea a un público específico.
1 Ver: Csikszentmihalyi, Mihaly. (1996). Crea tividad, el fluir y la psicología del descubri miento y la invención. Paidos; Rodriguez, Mauro. (1985). Manual de Creatividad, los procesos psíquicos y el desarrollo. Trillas; y Romo, Manuela. (1997). Psicología de la crea tividad. Paidos.
2 Ver: Rodriguez, Mauro. (1985). Manual de creatividad, los procesos psíquicos y el desa rrollo. Trillas.
3 El término “audiencia” tiene relación con la percepción del sonido. Lo ideal en el arte electrónico es referirse al público como “par
ticipantes”, no obstante, por un propósito de comunicación usaremos “audiencia” o “pú blico”.
4 Ver: Karina Alvarez. Disponible en http:// www.tragiclandscape
5 “El eje de valencia afectiva, que va de lo agradable a lo desagradable placer al dis placer , y que permite diferenciar las emo ciones en función de que su tono hedónico sea positivo o negativo. […] El eje de activa ción, que va de la calma al entusiasmo, y que permite diferenciar las emociones por la in tensidad de los cambios fisiológicos entre las condiciones de tranquilidad o relajación, y el de extrema activación o pánico incontro lable”. uned, Psikipedia. https://psikipedia. com/libro/emocion/2728-tipos-de-emocio nes. 28 de julio de 2020.
6 Cynthia Villagómez. Entrevista a Roberto Morales Manzanares (videoconferencia), 4 de septiembre de 2012. Duración 00:36:52.
Bureaud, Annick, Nathalie Lafforgue, y Joel Boutteville. (1996). Art and Techno logy: The Monstration. París: Plastic Arts Delegation DAP of the French Ministry of Culture. Recuperado de: http://archive.olats.org/livresetudes/ etudes/monstration/presentationsite. php Csikszentmihalyi, Mihaly. (1996). Creativi dad, el fluir y la psicología del des cubrimiento y la invención. Barcelona: Paidós.
Damasio, Antonio. (2019). La sensación de lo que ocurre, cuerpo y emoción en la construcción de la conciencia. México: Booket Ciencia. Diccionario de la Real Academia Española. https://www.rae.es/ Encyclopedia Britannica. Musique Concrè te. https://www.britannica.com/art/ musique-concrete
sección Ii / arte sonoro y electrónico
el Callejón del Ruido
Feldman Barret, Lisa. (2018). How Emotions Are Made. The Secret Life of the Bra in, Nueva York: Mariner Books.
Fros Campello, Federico. (2018). Ciencia de las emociones, los secretos del cerebro y sus sentimientos. Penguin Random House.
Hanington, Bruce. (2017). Emotions and Affect in Human Factors and Hu man-Computer Interaction, Oxford: Elsevier, Academic Press.
Shanken, Edward. (2009). Art and Electronic Media. Phaidon.
Wolpe and Rowe. (2015). Illusion of the Free Will. Nueva York: Entertaining Books.
Villagomez, Cynthia. (2017). Análisis de procesos de producción artística digital
en México: artistas digitales mexica nos y su obra. ______. (4 de septiembre de 2012). En trevista a Roberto Morales Manza nares. [Videoconferencia]. Duración 00:36:52.
Rocha, Manuel. (Octubre-diciembre de 2008). ¿Qué es el arte sonoro? En Pauta. Cuadernos de teoría y crítica musical, (XXVII)108.
Rodríguez, Mauro. (1985). Manual de crea tividad. Los procesos psíquicos y el de sarrollo. México, Trillas. Romo, Manuela. (1997). Psicología de la creatividad. Barcelona, Paidós. Zepeda, Fernando. (2019). Introducción a la psicología. México, Pearson.
Don Cuco El Guapo es un robot pianis ta con inteligencia artificial que surgió como aplicación del microprocesador Ibe ro-Latinoamericano ila9200, producto de la colaboración de científicos de España, Colombia, Brasil, Argentina y México. El Departamento de Microelectrónica de la buap asumió la tarea de construir el robot humanoide, bajo la dirección de
Alejandro Pedroza Meléndez. Para su funcionamiento, el robot utiliza una cá mara ccd, mediante la cual puede leer y ejecutar partituras. Don Cuco El Guapo ha dado cientos de conciertos en Euro pa, Centroamérica, Sudamérica y Méxi co, a lo largo de casi treinta años, con la intención de difundir e incentivar el desarrollo de la ciencia y la tecnología. Uno de los eventos en los que se ha presentado el robot pianista es el Fes
el Callejón del Ruido
tival Internacional de Música y Arte El Callejón del Ruido, que es en sí una muestra de que la ciencia y el arte se pueden complementar para deleitar a la vez al gusto y el entendimiento.
Palabras Clave Inteligencia artificial, divulgación de la ciencia, música, arte, conciertos.
Don Cuco El Guapo fue el primer robot mexicano, y el segundo en todo el mun do, diseñado especialmente para tocar teclados. Creado en 1992 por un grupo de científicos mexicanos, encabezados por Alejandro Pedroza Meléndez, Don Cuco es uno de los máximos representantes tanto de las aplicaciones de la ciencia y la tecnología con relación al arte, como de la divulgación científica, dentro y fuera del país. A su vez, Don Cuco ha sido un pun to de partida para el desarrollo de tecno logías aplicadas a otras ciencias, como ha sido el caso de las prótesis mioeléctricas.
Don Cuco El Guapo nació como consecuencia de un proyecto iberoame ricano de principios de la década de los noventa, donde participaron Argenti na, Brasil, Colombia, España y México, cuyo fin fue la elaboración de un micro procesador llamado ila9200 (Ibero-La tinoamerica año 1992) el cual contiene cientos de miles de transistores en un área de 3 x 150 mm. Las tareas para el desarrollo del microprocesador se re partieron en tres equipos de trabajo: a España le tocó la unidad de control, a Colombia y Argentina la unidad de co municación, y México y Brasil compar tieron la unidad de lógica aritmética.
El entonces Departamento de Mi croelectrónica de la Benemérita Uni
versidad Autónoma de Puebla ( buap ) encargó parte del diseño al equipo in tegrado por los doctores Joaquín Re molina López, Elsa Chavira Martínez, Raúl Fournier Lomas y Alejandro Pedroza Meléndez. El ila9200 se di señó y construyó en un tiempo récord de diez meses. Cabe resaltar la im portancia del proyecto en la década, ya que los microprocesadores son la base fundamental de las computadoras modernas, basadas en la tecnología de la microelectrónica. Como resultado, el microprocesador didáctico micro programable ila9200 contaba con la flexibilidad de emular otras máquinas sencillas, así como la capacidad de permitir observaciones y modifica ciones de su estado interno, lo que lo convirtió en una gran herramienta para generar sistemas de aprendizaje.
En diciembre de 1991, en una reunión general, se decidió darle una aplicación tecnológica al microprocesador, con mo tivo de presentarlo en la Exposición Uni versal de Sevilla de 1992. El Departamen to de Microelectrónica de la buap asumió el liderazgo para desarrollar tal proyecto y allí nació la idea de diseñar, desarrollar y construir el primer robot pianista con for ma humanoide de América. Un robot con inteligencia artificial que además de inter pretar melodías es capaz de leer partituras. El robot se construyó con el apoyo finan ciero del Consejo Nacional de Ciencia y Tecnología (Conacyt) y el Gobierno del Estado de Puebla.
El diseño y construcción se realizó en un tiempo de seis meses. En su elabora ción teórica y experimental participaron diversos especialistas en el área de física, computación, electrónica, música y una escultora, bajo la dirección de Alejan dro Pedroza Meléndez. “Don Cuco El Guapo es un muñeco bello, de cuerpo
atlético y rostro sereno. Su cabeza, cara, tórax, espalda, brazos y piernas mues tran el delicado sentido estético que la escultora Erika Weimer logró dar a una pieza que, generalmente, imaginamos fría y mecánica. Su diseño exterior está realizado en resina poliéster cuyo acaba do transparente permite ver su sistema circulatorio. Su estructura interna se construyó en hierro y aluminio”.1
Su cabeza fue diseñada con rasgos humanos y de robot. El lado izquierdo robotizado posee una minicámara que actúa como ojo lector, y el lado dere cho se asemeja al rostro humano escul pido en resina. El lente de la cámara ccd se encarga de enviar señales a la computadora central mediante la con formación de imágenes computariza das, lo que permite el reconocimiento de patrones musicales y, por lo tanto, conforma una de las partes más im portantes del robot. Otra de las partes mecánicas esenciales de Don Cuco, y a los cuales se debe su popularidad, son los brazos. Cada uno se encuentra co nectado con un motor potente a la al tura de los hombros, con otro mediano en los codos para activar el movimien to del brazo y con uno más en las mu ñecas para permitir los giros de estas. Por otra parte, el movimiento de cada uno de los dedos se debe a la acción de pistones que permiten un grado de libertad. Sucede lo mismo con una de las piernas que genera movimiento al contar con pistones en la rodilla y en el pie. Los mecanismos complejos, así como sus sistemas operantes, se deben al esfuerzo arduo de sus fabricantes y colaboradores. “Si comparamos un manipulador universal, éste tiene seis grados de movimiento y Don Cuco posee veintiséis grados de libertad, por eso es más complejo que un robot
industrial”. 2 El sistema interno robótico está controlado por una computadora central, una consola de control y el mi croprocesador, que en conjunto progra man y ejecutan operaciones mecánicas para llevar a cabo una tarea. Las seña les del cerebro-computadora que Don Cuco obtiene a través de la cámara lec tora, ayudan a focalizar el movimiento dentro del campo visual, incentivando que el microprocesador mande señales al sistema general para el seguimiento de objetos y pistas sobre la extensión de una plataforma a distancia.
En el caso de Don Cuco, los semicon ductores se encuentran dentro de sus sis temas de integración, a grandes rasgos, son el material base de los dispositivos electrónicos en miniatura (dispositivos microelectrónicos) y sus aplicaciones están asociadas también a la producción de maquinaria más capaz y eficiente en la elaboración de tareas. Los instrumentos y equipos electrónicos que actualmente conocemos están constituidos por ele mentos y componentes pertenecientes al área de la electrónica y microelectrónica (diodos, transistores, resistencias, capaci tadores, circuitos integrados, etc.), la ma yoría de los cuales se han realizado sobre semiconductores con diversas técnicas de fabricación. Sin los semiconductores no podrían existir las calculadoras, los radios portátiles, las microcomputadoras, ni una gran cantidad de instrumentos elec trónicos que se utilizan tanto en el hogar como en la industria de la medicina, las telecomunicaciones, los satélites, la robó tica, etcétera.
Por otra parte, cabe repasar la inteli gencia artificial (ia) que compone a Don
sección iii / diseño de instrumentos y composición algorítmica 87
el Callejón del Ruido 88
Diagrama de flujo para el reconocimiento de partitura musical de Don Cuco.
Cuco, entendida ésta como una de las partes más avanzadas de las tecnologías de computación e informática, produ ciendo lo que se conoce como la inteli gencia de las máquinas, puesto que tiene como fin que la máquina o sistema per ciba su entorno y realice acciones que favorezcan las probabilidades de éxito de alguna tarea. En ese sentido, el robot Don Cuco es resultado y exponente de los alcances de la ia al decodificar parti turas físicas, procesarlas e interpretarlas mediante un instrumento musical casi instantáneamente. El desarrollo de la microelectrónica y sus aplicaciones se expresan en las habilidades y capacida des operativas del robot.
La cámara ccd instalada en el ojo biónico de Don Cuco El Guapo, tuvo aplicaciones en otras áreas científicas y en especial en la tecnología aeroespa cial del país. En 1994, cuando el Ins tituto Mexicano de Comunicaciones autorizó y financió el primer proyecto interinstitucional para la elaboración de un microsatélite mexicano de nue va generación, el Satex-1 (Satélites Experimentales), el Departamento de Microelectrónica de la buap colabo ró en su diseño y construcción, ela borando equipo de calidad espacial y utilizando el ojo de Don Cuco como cámara del microsatélite para ayudar a obtener imágenes de la tierra en per cepción remota, entre otras cosas. Se utilizó una cámara diferente, pero con el mismo concepto de compresión de imágenes para reforzar los análisis sa telitales.
Dentro del área médica y también parte de sus aplicaciones, se encuen tran las atribuciones al diseño de pró tesis mioeléctricas. Ya que los ante cedentes de diseño y fabricación de las prótesis de la mano se remontan
a 1983, cuando se diseñó, desarrolló y construyó la primera mano biónica hecha en México utilizando circuitos integrados diseñados y fabricados en el Departamento de Semiconductores de la buap ; en ese proyecto se elaboró parte de los microcircuitos, el diseño de control electrónico y la mecánica para mover cinco dedos simultáneos y posteriormente se colocó con éxito en tres pacientes. El mismo mecanismo se utilizaría más tarde como aplicación en el diseño y construcción de prótesis mioeléctricas de miembros superiores, tanto arriba del codo como abajo del codo, para pacientes amputados. Pos teriormente, con la construcción de las manos biónicas del robot Don Cuco, se pudo perfeccionar parte de los cir cuitos y semiconductores de la prime ra generación de prótesis tipo guante de látex fabricadas en el país.
la divulgaCión CientífiCa de don CuCo: festivales, giras y ConCiertos
Durante su trayectoria, Don Cuco ha ofrecido conciertos en más de cincuenta ciudades de México, tanto en escuelas públicas y privadas, centros de investi gación y auditorios estatales. El Guapo fue visto y escuchado por más de cien mil personas en la exposición de Sevilla 92, España, en la ciudad de Guatema la dio audiciones durante quince días a más de cincuenta mil personas, y en una ciudad de Perú durante una semana dio audiciones a más de cuarenta mil personas.
Uno de los eventos principales en los que participó Don Cuco, y que es memo rable, fue la Exposición Universal de Sevi lla en 1992, llamada también Expo 92, la cual duró seis meses y fue visitada por más de 15 millones de personas. Participaron
sección iii / diseño de instrumentos y composición algorítmica 89
el Callejón del Ruido
112 países, 23 organismos internacio nales, numerosas empresas privadas y las 17 comunidades autónomas españolas. Al mismo tiempo, se llevó a cabo La Cumbre Iberoamericana de la Ciencia y la Tecno logía que reunió a las autoridades de la po lítica científica de los 21 países, y los tres organismos internacionales participantes del programa Iberoamericano para el De sarrollo. En la ciudad de Sevilla, en el re cinto de la Expo 92, los reyes de España, Juan Carlos I y Sofía de Grecia, inaugura ron la cumbre científica. En tal exposición los reyes españoles pudieron escuchar las interpretaciones del robot pianista Don Cuco El Guapo quedando asombrados e interesados en su procedencia. Durante la misma exposición, varios personajes del medio artístico, científico y literario visita ron y escucharon las interpretaciones del famoso robot pianista mexicano, los cuales expresaron las siguientes opiniones:
Como crítico de música, declaro óptimas las facultades interpretativas de Don Cuco El Guapo, el Rubinstein, el Arrau del piano del siglo xxi. Solo un pero; le hace falta la Sinfónica Nacional. (Carlos Monsiváis)
En la historia de todas las exposiciones universales, Don Cuco El Guapo es el primer desarrollo tecnológico mexicano que se presenta en una exposición uni versal, es un orgullo que represente a México en una exposición internacional tan importante. (Arq. Pedro Ramírez Vázquez)
Me gustaría dirigir un concierto de Don Cuco El Guapo como una gran expe riencia científico-músical, ya que Don Cuco, es un orgullo mexicano. Don Cuco El Guapo es un desarrollo tecnológico convertido en arte. Eduardo Mata Asiain.
Don Cuco El Guapo es muy bueno to cando el piano, pero no es tan guapo como yo. (Alejandro Aura)
El maestro Joaquín Rodrigo (músico ciego) tuvo la oportunidad de escuchar una grabación del concierto de Aranjuez interpretada por Don Cuco El Guapo, al escucharla exclamó: “Quien interpreta esta pieza seguramente es un niño entre nueve y diez años de edad con un futuro prometedor como pianista”. Al terminar de escuchar la pieza se quedó impresio nado al saber que era un robot pianista mexicano el que había ejecutado el con cierto de Aranjuez.
Al término de la Expo 92 de Sevilla, en octubre de 1992, Don Cuco empe zó a recibir una gran cantidad de invita ciones para dar conciertos tanto a nivel nacional como internacional. La invita ción más importante fue la del Congreso Internacional de Computación en Porto Alegre, Brasil para el mes de noviembre, pero, lamentablemente, no pudo asistir debido al gran percance suscitado al regresar a México. Fue secuestrado du rante cuarenta días en Miami, Florida, confiscado por el gobierno de Estados Unidos sin previo aviso, por tratarse de lo que ellos estipularon como tecnolo gía desconocida.
Finalmente, cuando El Guapo lo gró regresar a México comenzó a reali zar conciertos con fines de divulgación científica y tecnológica. Viajó por todo el país dando una gran cantidad de espectáculos a beneficio de las per sonas con discapacidad, para ancianos, para niños de la calle y para la com pra de vehículos para el transporte de personas con capacidades especiales. Su recorrido a otros países ha inclui do Centroamérica (Guatemala) y Sud américa (Lima y Perú). Pero también
ha recibido invitaciones a Estados Unidos, Brasil, Colombia y Chile.
Cabe apreciar que ha sido uno de los desarrollos tecnológicos mexicano más importante del siglo xx, puesto que ha sido un divulgador del desarrollo científico-tecnológico-musical creando una sólida referencia de las capacida des tecnológicas de México, siendo a su vez ejemplo para la niñez e inspiración para los jóvenes estudiantes. Ha sido tan popular que lo han pintado en murales como en el Palacio Municipal de San Andrés Cholula, Puebla, así como en el restaurante El Mural de la misma ciu dad. En 2021 se inauguró su gran esta tua en el Teatro del Complejo Cultural Universitario de la buap y ha recibido cientos de homenajes, así como muchos reportajes en periódicos, revistas y pro gramas de radio y televisión, además ha sido mencionado en varios libros de tex to gratuito de primaria y secundaria. En palabras de algunos científicos, artistas e intelectuales mexicanos, “Don Cuco El Guapo es un orgullo de México”.
En marzo de 1994, Don Cuco El Guapo fue invitado a tocar en el Festival El Callejón del Ruido en Guanajuato. Invitación extendida por el Mtro. Ro berto Morales, organizador del festival. Don Cuco ofreció muchos conciertos durante el festival, acompañado por el grupo de rock Neos, donde El Guapo tocaba en calidad de solista y fue motivo de ovación de los miles de asistentes du rante el festival.
A treinta años de su construcción, millones de personas de distintas nacio nalidades han tenido contacto con Don Cuco, presenciando alguna de sus múlti ples presentaciones en vivo o por televi sión. Es un robot inspirador de jóvenes e infantes que mediante sus aplicaciones ha alentado al estudio de áreas científicas y
tecnológicas sin desentenderse de las ar tes y las humanidades, puesto que no hay compaginación más precisa que la exis tente entre los mecanismos microelectró nicos encargados de darle movimiento a Don Cuco cuando se trata de interpretar piezas de música barroca o la algarabía del popular mexicano.
1 Véase: Alejandro Pedroza M. (2021). Don Cuco El Guapo, orgullo de México. Anato mía y fisiología de un robot pianista, (p. 50). México: buap
2 Véase: Alejandro Pedroza M. (2021). Don Cuco El Guapo, orgullo de México. Ana tomía y fisiología de un robot pianista, (pp. 50-54). México: buap.
Academia Mexicana de Cirugía. (1997). Ci rugía y cirujanos, 65(6), 174-177. Universidad Autónoma de Puebla. (1985). Memorias de la XLI Semana Qui rúrgica Nacional. Academia Mexica na de Elementos, 1(2), 67-75. Pedroza Meléndez, A. (1982). Desarrollo de una unidad de semiconducto rescon tecnología nacional. Revista Mexicana de Física, 28(3), 409-427. ______. (2000). Desarrollo tecnológico y discapacidad. En Discapacidad hu mana, presente y futuro. El reto de la rehabilitación en México. Gobierno del Estado de Tlaxcala: SEP, Univer sidad del Valle de Tlaxcala. ______. (1999). Diseño y construcción de mi cro herramientas para cirugía y me dicina desarrolladas en México (pp. 45-49). Memorias de la XLI Sema na Quirúrgica Nacional, Academia Mexicana de Cirugía. Academia Mexi cana de Cirugía.
sección iii / diseño de instrumentos y composición algorítmica 91
______. (2002). Dispositivo artificial elec trónico para el control de incontinen cia urinaria. Revista Habilitas, 20, 5. ______. (1997). La microelectrónica en la medicina y la cirugía. Cirugía y Ci rujanos, 65(6), 174-7. ______. (2002). Microelectrónica: La de pendencia tecnológica de México. Revista Habilitas, 20(3), 5. ______. (1984). Semiconductores: un paso hacia la independencia tecnológica. Ciencia y Desarrollo, 56(10), 9-13.
Pedroza Meléndez A., Cubillo M. A., Gue vara J. (2000). Discapacidad huma
Don Cuco con doble teclado y luces es troboscópicas. Foto: Carlos Cano.
na presente y futuro: el reto de la rehabilitación en México. Secretaría de Educación Pública del Estado de Tlaxcala.
Pedroza Meléndez Alejandro, Monroy J., Ortega Luis A. (1984). Hacia una in dustria nacional de semiconductores. Ciencia y Desarrollo, 56(10), 15-25.
Reyes Lazalde Arturo, Méndez L., Moreno A., Rodríguez F. (1984). Diseño y construcción de instrumental electro médico. Ciencia y Desarrollo, 56(10), 52-63.
coRt lippe
La composición de obras para la elec trónica en vivo y para los músicos en vivo combina dos campos de conoci miento totalmente separados. Una cul tura musical y el conocimiento técnico son igualmente importantes para crear composiciones originales en este campo. Si se observan de cerca ciertos aspectos de la música y la tecnología, existe una convergencia importante y una interac ción cooperativa en la intersección de ambos ámbitos.
Palabras
ClaveAlgoritmo, diagrama de flujo, interac ción en tiempo real, música algorítmi ca, fft.
introduCCión
La composición de obras para la electró nica en vivo y músicos interpretando en instrumentos acústicos en tiempo real, combina dos campos de conocimiento totalmente separados. Se requiere una cultura musical que incluya el conoci miento de los instrumentos musicales, la experiencia en la composición de obras instrumentales y un gran interés por la creación de nuevos sonidos y estructuras
por medios electrónicos. Asimismo, un cierto nivel de conocimientos técnicos en informática, acústica, psicoacústica e ingeniería de audio es igualmente impor tante para crear composiciones origina les. Por lo general, la cultura musical es algo que se desarrolla desde la infancia mientras que la experiencia técnica con los ordenadores y la tecnología suele comenzar algo más tarde, en la adoles cencia o al principio de la edad adulta. A primera vista, se podría argumentar que la cultura musical y el conocimien to técnico en programación son áreas de conocimiento totalmente desvinculadas, pero si se observan con detenimiento ciertos aspectos de estos dos ámbitos, existe una convergencia importante y una interacción cooperativa en la inter sección de la música y la tecnología. De hecho, en ciertos círculos estéticos y fi losóficos se considera que technē (arte) y technik (tecnología) comparten muchos atributos.
La sinergia entre la música y las ma temáticas se menciona de manera fre cuente. Por lo general, se da por senta do que existen conexiones entre ambas disciplinas y estas generalizaciones no son necesariamente falsas, aunque lo
el Callejón del Ruido
que se entiende por música y matemáti cas suele quedar bastante indefinido en los debates sobre su proximidad como disciplinas. Ciertamente, en el nivel más básico, la música y la aritmética tienen mucho en común, pero si se tienen en cuenta las características de las matemá ticas, como ciencia aplicada y teórica, ¿cómo puede relacionarse y entenderse si se relaciona con la música?
Las conexiones entre el pensamien to de los compositores y el de los ma temáticos parecen estar enterradas en algunos de los aspectos más inefables y abstractos de ambas disciplinas, pero a medida que se pasa de los estratos más abstractos del pensamiento a otros más concretos, las similitudes entre ambas disciplinas se re vierten. El pensamiento musical y el matemático utilizan mo dos de pensamiento de resolución de problemas, en los que entran en juego procesos de pensamiento prácticos y lógicos. Cuando se necesitan solucio nes prácticas, tanto la música como las matemáticas empiezan a parecerse a las disciplinas de la ingeniería y la informá tica. Cuando un compositor decide que lo que está componiendo debe ser con siderado lógicamente, entra en un tipo de pensamiento que los no músicos po drían considerar antitético a la forma en que imaginan que un compositor piensa y trabaja.
Una noción romántica del artista ins pirado sigue ofuscando el proceso de composición, e incluso los compositores son culpables de cultivar esta mitología, en parte porque es un mito conveniente y en parte porque no siempre es fácil ex plicar el proceso de composición.
Sin embargo, no debería sorprender que los compositores utilicen habitual mente el pensamiento lógico. Dado que componer es una actividad que tiene
lugar en el tiempo y desarrolla formas basadas en el tiempo (a menos que la música sea lo que se llama música de proceso o conceptual), uno no puede ima ginar una pieza entera en un instante de inspiración. Incluso una pieza llama da conceptual no puede ser imaginada a detalle, sino solo de forma abstracta y general. Dado que la mayor parte de los esfuerzos humanos implican algún tipo de proceso (y aquí me refiero a algo diferente de la música procesada), hay que dar pasos claros que tengan un efecto teleológico si se quiere conseguir algun resultado determinado. Decidir simplemente que la música-A debe durar un tiempo determinado y lue go la música-B otro tiempo, requiere un cierto tipo de pensamiento lógico. (Sin mencionar lo que implica el razo namiento necesario para crear la músi ca-A y la música-B). La transición de A a B durante un tiempo (x) requiere de una planificación aún más detallada, ya que A y B se alteran con el tiempo con respecto a cada una. Puede que no parezca una forma emocionante e inspi radora de crear arte, pero para escribir música, este tipo de pensamiento es bas tante normal y necesario. Para una pieza musical, al igual que para escribir una novela, un poema, crear/resolver una fórmula matemática, o fabricar un chip de ordenador, un programa informático o construir una casa, todos son proble mas que hay que resolver. ¿Cómo resol vemos los problemas los seres humanos? A menudo, fragmentamos una tarea en pasos, y seguimos estos pasos de uno en uno hasta el final de la tarea. Aunque la mayoría de nosotros hemos tenido la experiencia de emprender algún tipo de tarea o problema sin ideas preconcebi das ni planificación y, afortunadamen te, llegar a una conclusión satisfactoria.
Con la experiencia, una de las cosas que aprendemos es a resolver problemas de forma eficiente. La inspiración y la im provisación pueden ofrecer resultados únicos e interesantes, pero no se puede confiar en que siempre produzcan resul tados acceptables.
Mediante la prueba y el error apren demos a pensar cuidadosamente en un problema de antemano y a crear un plan en el que un paso sigue a otro con algún tipo de lógica. (Utilizo el término lógica de forma imprecisa, ya que la lógica de una composición musical podría des cribirse mejor como una lógica interna que refleja el gusto del compositor). Una vez que tenemos éxito con esta forma de trabajar, se convierte casi en una segun da naturaleza como forma de resolver problemas. Componer no es diferente de cualquier otro tipo de actividad que requiera planificación y resolución de problemas, y tiene un componente aña dido que algunas actividades no tienen, incluidos ciertos problemas matemáti cos: lo que se crea existe en el tiempo y, por lo tanto, el parámetro del tiempo ha de incorporarse al método de resolu ción de problemas.
Los ingenieros mecánicos fueron los primeros en desarrollar la idea de codi ficar este proceso de resolución de pro blemas paso a paso con lo que se conoce como diagramas de flujo. Los informá ticos empezaron a utilizarlos poco des pués, durante los primeros días de los ordenadores.
Un diagrama de flujo puede definir se como una “representación diagramá tica de un algoritmo, un enfoque paso a paso para resolver una tarea” (Flow chart, Wikipedia). Y un algoritmo se
define como “un proceso o conjunto de reglas que se siguen en los cálculos u otras operaciones de resolución de problemas, especialmente por parte de un ordenador” (New Oxford American Dictionary). Aunque el diagrama de flujo es un desarrollo relativamente nuevo, los algoritmos han sido un aspecto estándar de las matemáticas desde la antigüedad. Los algoritmos, a lo largo de la historia, han sido una herramienta muy útil para la resolución de problemas en muchas áreas del conocimiento.
Una vez que los compositores em pezaron a utilizar los ordenadores para hacer música, adoptaron rápida y fácil mente el diagrama de flujo como una forma eficaz de describir los algoritmos, ya sea para hacer sonidos o para com poner estructuras musicales. Hiller, Xe nakis y Koenig utilizaron ampliamente los diagramas de flujo como parte de su proceso de composición hace más de 60 años para la música que ahora llamamos música algorítmica. La música algorít mica suele considerarse música produ cida con la ayuda de un ordenador, pero puede producirse con otras herramien tas, incluyendo simplemente un lápiz y papel. Las metodologías de los ingenie ros, los informáticos y los músicos para resolver problemas se fusionaron fácil mente, especialmente cuando las tres disciplinas empezaron a utilizar cada vez más el ordenador. Aunque a menudo se considera un desarrollo del siglo xx en la música, el pensamiento algorítmico ha existido en la música probablemente desde que esta se originó, al igual que en las matemáticas, probablemente desde que el concepto de cantidades se for mó por primera vez en nuestras mentes. Los antiguos griegos, Machaut, Mozart, Schoenberg y Cage crearon música al gorítmica. La obra musical de Bach se
sección iii / diseño de instrumentos y composición algorítmica 95
el Callejón del Ruido
considera un ejemplo superlativo de música algorítmica.
Dado que el ordenador es esencial mente una maáquina diseñada para crear y resolver algoritmos, el pensamiento al gorítmico está profundamente arraigado en la mayoría de las empresas que utili zan el ordenador como herramienta. Se podría sugerir que, al igual que el mar tillo es una mejora eficiente del puño, el ordenador podría considerarse una mejora eficiente del cerebro. Pero como hemos utilizado nuestro cerebro para desarrollar el martillo y el ordenador, quizá sea mejor pensar en el martillo y el ordenador como extensiones o “ayu dantes” de nuestros cuerpos y cerebros.
Como una extensión del cerebro de un compositor, el ordenador puede programarse para producir sonidos que tengan una calidad rica y variada en función de parámetros específicos. El algoritmo que produce un sonido puede modificarse fácilmente. Un ordenador también puede utilizarse para organizar y producir múltiples variantes de ideas/ estructuras compositivas. Los poderes del ordenador como herramienta de si mulación permiten a los compositores experimentar con ideas, refinarlas y pro ducir variantes musicales y sonidos que, de otro modo, llevarían demasiado tiem po. A medida que este proceso se vuelve iterativo, el compositor tiene la oportu nidad de explorar múltiples posibilida des de ideas compositivas de maneras inimaginables sin esta herramienta, algo que Koenig llamó “variantes” (Koenig, 1983).
Cuando el ordenador se utiliza en el contexto de tiempo real en un entor no interactivo junto con un intérprete
durante un concierto, las posibilidades algorítmicas se vuelven aún más atracti vas. La creación de estructuras sonoras y musicales en tiempo real implica la al teración de los parámetros de una idea básica de, por ejemplo, cómo se quiere llegar de A a B a lo largo del tiempo (x), de modo que, en un metanivel, la trayectoria de A a B puede ser alterada mientras la trayectoria está ocurriendo. Estos procesos pueden tener lugar en el nivel de creación del sonido y en niveles composicionales superiores, y los nive les micro y macro del tiempo pueden influirse mutuamente.
¿Qué tipo de información puede utilizarse para modificar un algoritmo en el contexto de tiempo real? Las po sibilidades son prácticamente infinitas. En nuestro ejemplo, el reto consiste en descubrir qué parámetros pueden al terarse para pasar de A a B mientras se produce la transición en el tiempo, y que tengan conexiones musicales significativas con lo que ha venido su cediendo antes, tanto en la parte de la informática como en la parte de un in térprete. De este modo, un programa de ordenador contribuye activamente al proceso global de composición y el resultado sonoro. En este contexto, uno de los tipos de información más útiles que puede utilizar un compositor es la información procedente de un ins trumentista para informar, influir y, a veces, controlar los algoritmos que se ejecutan en tiempo real. Un ejemplo sencillo sería medir la frecuencia de producción de notas por parte de un intérprete (la rapidez con la que toca): un mayor número de notas en un perio do de tiempo más corto podría alterar el tiempo (x) que se tarda en llegar de A a B. El número de notas acentuadas que toca un intérprete en una ventana
de tiempo definida podría alterar B durante la trayectoria de A a B, para convertirse de A a B1 (de este modo, B no es un destino fijo, sino que pue de modificarse durante la transición). Un determinado cambio espectral en el timbre de la interpretación del in térprete (pasar de sul tasto a sul pon ticello) podría provocar un cambio de trayectoria, pasando de A a C en lugar de A a B.
Clasificar las aportaciones de los in térpretes e interpretarlas de forma sig nificativa (permitiendo que estos datos influyan en e informen a los algoritmos que se utilizan) permite a un compo sitor establecer conexiones profundas entre una parte informática y una parte instrumental, musicalmente hablando. Basándose en la interpretación de una partitura de parte de un intérprete, los modelos algorítmicos se convierten en modelos interactivos en los que el dise ño sonoro y las estructuras compositivas de alto nivel, son maleables durante una interpretación (y no necesariamente en tidades separadas). La intersección coo perativa entre la música y la tecnología
es tan relevante e integral para el pro ceso como lo es la interacción entre un intérprete y un ordenador.
la transformada ráPida de fourier fft
Para hablar de asuntos más prácticos, en mi propio trabajo en el ámbito de la música interactiva por ordenador, com puesta para músicos que interactúan con un ordenador en directo en un concierto, gran parte de mi atención se ha centra do en el algoritmo de la transformada de Fourier. Con el aumento de la potencia informática en los últimos 30 años, la Transformada Rápida de Fourier (fft) en tiempo real se ha convertido en una herramienta esencial en muchos ámbitos, y su poderosa influencia en las áreas del sonido y la música es definitiva. En el ni vel más sencillo, la fft realiza un análisis del sonido y recoge información relativa a la energía distribuida en el sonido. En el caso concreto del sonido musical, la fft da cuenta del timbre de un sonido. Esta información es un análisis espectral (tímbrico) extremadamente detallado, de 0 hz--------------------------------------------------------------------------1/2 SR
FiguRa 1. Un ejemplo sencillo del espectro de un sonido armónico. El eje y representa la amplitud y el eje x representa la frecuencia de 0 Hz. a 1/2 la frecuencia de muestreo. (Con una frecuencia de muestreo de 48KHz la frecuencia máxima es 24000 Hertzios).
sección iii / diseño de instrumentos y composición algorítmica 97
el Callejón del Ruido
cómo un sonido cambia con el tiempo, y en dónde podemos localizar su energía en el espectro. Una herramienta importante desarrollada con la fft es el seguimiento preciso del tono de un instrumento mu sical en tiempo real. Pero la fft también puede utilizarse para alterar el timbre de formas muy potentes que eran imposi bles antes de su desarrollo. El sonido se puede pro- cesar en tiempo real con gran detalle, ya que la fft suele dividir un so nido en muchos componentes separados o rebanadas, que suelen oscilar entre 512 y 2,048 regiones separadas. El gran nú mero de regiones en que puede dividirse un sonido significa que hay que tener en cuenta una gran cantidad de datos que deben analizarse y manipularse. Un en foque algorítmico de la información ob tenida se vuelve más práctico a medida que aumenta la cantidad de datos y, por tanto, es ideal para utilizarlo con los da tos de la fft. (Figura 1) (Nota: la figura muestra solo un pequeño número de cor tes espectrales.)
A través de la fft se pueden emplear con mayor precisión diversas técnicas
preexistentes. Algunos ejemplos son: el filtrado, el retardo, la retroalimentación, la espacialización y el desplazamiento de frecuencia. Además, la vocodificación clásica y la detección de ruido también pueden realizarse con gran precisión. La forma más sencilla de tratar algo como 1,024 filtros es diseñar las formas de los filtros en tablas de referencia. Estas tablas sirven como funciones de transferencia, y modifican una entrada dada basándose en la función. Una función de transferencia puede describir un filtro complejo. Por ejemplo, una tabla de 1,024 valores que van de 0 a 2 produce una respuesta de filtro plana si todos los valores se fijan en 1, elimina varias bandas de frecuencia con valores de 0 y aumenta las bandas de frecuencia con valores entre 1 y 2 si los valores de la fft se multiplican simple mente por los valores de la tabla. (Figura 2) (Nota: a partir de la Figura 2, todos los diagramas son funciones de transfe rencia.) Del mismo modo, para el retardo temporal, se puede dar a cada una de las 1,024 bandas de frecuencia un valor en tre 0 y 1 como función de transferencia que escala un retardo en milisegundos. Un sonido puede separarse en el tiempo, de forma que, si tomamos un golpe de
FiguRa 2. Función de transferencia simple de una forma de filtrado. El eje “y” representa amplitud. El espectro tendría un gran pico en algún lugar en el medio de la de frecuencia, y otro pico más pequeño cerca de la parte superior de la gama de frecuencias.
platillo y retrasamos las frecuencias más bajas con un valor de 1 * tiempo de retar do, y nos movemos a través de los 1,024 valores gradualmente hasta un valor de 0, podemos crear una especie de arpe gio en el que solo los parciales altos son cabeza inicialmente y los componentes más bajos entran gradualmente. (Figura 3) También utilizando valores entre 0 y 1 se puede especificar la retroalimenta ción de estos retardos de manera que, por ejemplo, los parciales altos recirculen du rante un periodo de tiempo prolongado y los parciales bajos mueran rápidamente (Figura 4). La espacialización de los da tos de la fft permite distribuir todos los componentes de un sonido a través de un espacio, de modo que cada componente se sitúe espacialmente en un lugar dife rente, ya sea simplemente a través de un campo estéreo o en un mayor número de altavoces. (Figura 5) El desplazamiento de frecuencias puede lograrse estirando o comprimiendo un sonido, de modo que todos los componentes se distribuyan en un rango de frecuencias más amplio o se reduzcan a un rango más pequeño utili zando funciones de transferencia lineales, exponenciales o logarítmicas. (Figura 6) Se puede combinar todo este procesa miento para que un área potenciada del
rango de frecuencias (filtrado) se com prima ligeramente para convertirse, por ejemplo, en inarmónica (desplazamiento de frecuencia), y esta misma sección de sonido se puede dispersar en el tiempo (arpegiada ligeramente con retardo) con una cantidad de retroalimentación espe cificada que produzca una cierta cantidad de sustain, y luego se extienda a través de un campo estéreo (o de múltiples cana les). Cinco funciones de transferencia pueden proporcionar toda la informa ción necesaria en este ejemplo. Esencial mente, a través de estos procesos se pue de deconstruir un sonido por completo y reconstruirlo como algo completamente diferente al original.
La interpolación en el tiempo entre va rias funciones de transferencia ofrece una estrategia para pasar suavemente de una función a otra. Convertir las funciones de transferencia estáticas en funciones que evolucionan y cambian constantemente, convirtiendo las funciones de transfe rencia en osciladores de baja frecuencia (lfo), ofrece la posibilidad de modular estas diversas técnicas de procesamiento 0
FiguRa 3. Una función de transferencia simple de retardo de tiempo independiente de las partes del espectro. El eje “y” representa el tiempo, por lo que las partes inferiores del espectro son retrasadas sucesivamente en forma de arpegio, sin retardo en la parte más del espectro.
sección iii / diseño de instrumentos y composición algorítmica 99
FiguRa 4. Una función de transferencia simple de valores de retroalimentación independientes. El eje y representa un rango que va desde la ausencia de retroalimentación (0) hasta la retroalimentación infinita (1). Aquí un grupo de frecuencias más altas seguirían manteniéndose, mientras que las más bajas y altas frecuencias desaparecerían a su ritmo natural de decaimiento.
el Callejón del Ruido
0 hz--------------------------------------------------------------------------1/2 SR
FiguRa 5. Una función de transferencia simple de valores de espacialización independientes. El eje “y” representa un rango desde la izquierda hasta la derecha en un campo estéreo, con valores en el centro, lo que significa que la energía es igual en ambos canales. Aquí las frecuencias medias están situadas en el centro del campo estéreo, con las frecuencias bajas a la izquierda y las altas en el lado derecho.
en el tiempo. Si una función de trans ferencia oscila en sincronización con una fft y a la misma frecuencia que esta, es estática. Duplicando la fre cuencia de la función de transferencia, creará dos copias estáticas en sucesión a través del espectro. Si se cambia la fase o se varía ligeramente la frecuen cia de una función de transferencia en relación con la fft que está modi ficando, se creará una relación conti nuamente cambiante entre el espectro y la función de transferencia, creando así una especie de modulación , que puede ser muy lenta o alcanzar velo
cidades superiores a los 20 Hertz. Fi nalmente, el control de la profundidad de la modulación de una función de transferencia lfo permite aumentar o disminuir el efecto de procesamiento producido por la función. Las fun ciones de transferencia estáticas, las transiciones entre funciones de trans ferencia y las funciones de transferen cia como lfo s moduladores pueden ser influenciadas y/o controladas por la entrada del intérprete. Este mapeo es crucial para crear relaciones entre un intérprete, un sistema informático y el resultado musical. A medida que
0 hz--------------------------------------------------------------------------1/2 SR
FiguRa 6. Dos funciones de transferencia, una que comprime y otra que expande el índice de un espectro mediante una función logarítmica y otra exponencial. Estas transferencias de transferencia comprimen o amplían las frecuencias del espectro.
los ordenadores siguen aumentando su potencia, incrementando así el núme ro potencial de procesos que tienen lugar con múltiples flujos de sonido en tiempo real, este tipo de herramientas ofrece a los compositores e intérpretes poderosas formas de seguir creando nuevas transformaciones sonoras com plejas y ricas y resultados musicales que invitan a la reflexión.
Gracias a David Sánchez, Robert Rowe, Barry Moon, Zack Settel y Miller Puckette por sus orientaciones y sugerencias.
Flowchart. (s.f.). En Wikipedia . Recupe rado el 21 de junio de 2022 de ht tps://en.wikipedia.org/wiki/Flow chart Algoritmo. (s. f). En New Oxford American Dictionary. [Aplicación Apple, ver sión 2.3.0.].
G.M. Koenig. (1983). Aesthetic Integra tion of Computer-Composed Sco res. Computer Music Journal, 4(7), 27-32. Disponible en https://ro handrape.net/ut/rttcc-text/Koeni g1983a.pdf
sección iii / diseño de instrumentos y composición algorítmica 101
Se han descrito innumerables enfoques de la composición algorítmica, a menu do basados en intentos de formalizar la música o formalizar las técnicas de ia. Se presentan algunas ideas simples destiladas de la experiencia en forma de un esquema para organizar programas de composi ción algorítmica. El esquema utiliza reglas probabilísticas o tendencias, que pueden escribirse y combinarse modularmente, y planes que pueden crearse sobre la mar cha para guiar las elecciones futuras. Los planes no son más que una forma de in formación de estado o de contexto que puede generarse o renovarse junto con la creación de la música, lo que lo convierte en un modelo de recurrencia para la ge neración de secuencias. Se pueden utilizar múltiples pases para introducir estrategias de composición jerárquica descendente.
Composición algorítmica, música, pro babilística, reglas, tendencias, planifica ción, contexto, estado, jerarquía.
La composición algorítmica se ha ex plorado desde los primeros días de la informática (Simoni, 2013). Probable mente haya al menos una pieza musical que ejemplifique cada lenguaje y mar co de programación, por no hablar de cada enfoque para crear simulaciones, modelos computacionales y sistemas ar tificialmente inteligentes. De hecho, los compositores suelen inventar sus pro pios formalismos y técnicas, inspirados en sus intereses e intuiciones musicales.
Dado que mi participación en el Fes tival El Callejón del Ruido se tradujo en la interpretación de piezas con enfo ques muy diferentes de la composición y la interacción algorítmicas, me parece adecuado ofrecer algunas ideas actuales sobre la creación musical con ordenado res para este informe. Esta contribución se inspira en un trabajo reciente sobre la generación de canciones en un estilo de música popular, pero aquí presentaré una versión refinada del enfoque que creo que podría ser adecuada para una amplia variedad de exploraciones musicales.
el Callejón del Ruido
En la composición algorítmica sole mos querer cierta aleatoriedad en el cál culo. Crear una sola gran composición es maravilloso, pero en la práctica, la aleatoriedad tiene al menos tres buenas propiedades. En primer lugar, es difícil especificar la salida de forma tan com pleta que solo sea posible una salida. Encontrar la música “óptima” según al guna función objetivo podría producir un único resultado, pero la música es compleja, así que la optimización rara vez es factible, y a menudo la “mejor” música según algunas ideas simples es menos interesante que la música con elementos de aleatoriedad. En segundo lugar, la aleatoriedad nos permite gene rar muchos resultados, lo que nos per mite centrarnos más en un estilo o una “lógica” concreta que en una pieza es pecífica. Por último, en la interpretación en directo, introducir variaciones y lo inesperado es estéticamente interesante. Es una capacidad única que los ordena dores pueden aportar a la composición y la interpretación.
Otra cuestión práctica importante es la capacidad de refinar ideas y modelos. Normalmente, algunas ideas iniciales se convierten en código, se ejecutan y se evalúa el resultado. Si el resultado es estupendo, ya está hecho, pero lo más frecuente es que las deficiencias se ma nifiesten de inmediato. Necesitamos un enfoque flexible en el que los resultados sean fáciles de perfeccionar. A menu do, encontramos resultados no deseados que podrían evitarse añadiendo restric ciones, reglas o tendencias. Un enfoque que permita un refinamiento incremen tal suele ser mejor que un algoritmo mo nolítico difícil de cambiar.
La búsqueda es un aspecto impor tante de muchos sistemas de ia, pero con la música, la búsqueda no suele ser
muy productiva. Una de las razones es que muchos problemas de búsqueda son exponenciales. Una secuencia de 20 tonos seleccionados de una escala de 12 tonos tiene 1220 posibilidades. Eva luando 1,000,000 de secuencias por segundo, ¡no podríamos explorar todas las posibilidades en un millón de siglos! Un segundo problema es que la bús queda supone que se conoce una bue na solución cuando se ve una. Sin una buena función de evaluación, incluso una búsqueda exhaustiva puede encon trar una solución pobre. Por ello, suele ser más práctico crear música de forma incremental y minimizar la búsqueda, la iteración o el backtracking.
La siguiente sección presenta un sencillo enfoque probabilístico de la composición algorítmica que se ha utilizado con eficacia. La música sue le tener una estructura jerárquica, por lo que ampliamos nuestro enfoque para que admita la construcción de música de varias pasadas y de arriba hacia aba jo. Otra fuente de estructura en la músi ca es la existencia de planes que influyen en una secuencia de eventos musicales futuros. (Un ejemplo es la decisión de ini ciar un crescendo y un contorno de tono ascendente cuando se alcanza un tono su ficientemente bajo). Una vez más, amplia mos el enfoque para facilitar la generación de música basada en planes. Por último, consideraremos algunas variaciones y optimizaciones que pueden ser útiles en la práctica.
Consideremos una tarea de generación probabilística de melodías. Para simpli ficar, supondremos una escala diatónica de 15 tonos (dos octavas), sin descansos, con duraciones cuantificadas en 16 no
tasth y una duración máxima de la nota entera. Así, cada nota se selecciona de un espacio de 15 × 16 = 240 posibili dades. Calcularemos un peso para cada elección y generaremos las notas se cuencialmente haciendo elecciones se gún los pesos.
Inicialmente, considere establecer todos los pesos a 1. La salida será una secuencia completamente aleatoria en términos de tono y duración. No es muy interesante. Quizá queramos que nuestras melodías eviten los extremos del rango. Podríamos multiplicar cada peso por una curva gaussiana (de cam pana) centrada en 7 (suponiendo que los tonos están numerados de 0 a 14) con una varianza de 5, es decir, el peso para el tono p se convierte en N (7− p , 5). Esta regla no dice nada sobre la duración.
Aunque la “regla” del tono es conti nua y probabilística, también podemos incorporar reglas lógicas a este marco. Supongamos que decidimos que las du raciones impares superiores a 3 (dieci seisavos) no deben utilizarse. Podemos escribir una función que devuelva 0 o 1: f(d) = (1 si (d < 5 o iseven(d)) sino 0) para expresarlo. De nuevo, podemos multiplicar cada peso por esta función para eliminar algunas de las duraciones. Multiplicar un peso por cero elimina la posibilidad de hacer esa elección por completo.
Podríamos seguir, por ejemplo, aña diendo una tercera “regla” que prefiera las duraciones más cortas a las más lar gas. Con todo esto, podemos plantear el marco de trabajo de manera más formal como sigue: nuestro sistema de compo sición musical crea secuencias de fichas (las llamamos “fichas” porque pueden ser pares de tono/duración, acordes, tipos de sonido, articulaciones, etc.). El
sistema consta de un conjunto de fichas A = {ai} y un conjunto de reglas R = {rj }. Cada regla es una función que va de un token a un peso: rj : donde los pesos son números reales (preferiblemente expre sados como probabilidades en el rango de 0 a 1). Para seleccionar el siguiente elemento de la secuencia de salida, pri mero obtenemos un peso global para cada token (ai) multiplicando los pesos dados por cada regla: wi =∏ rk (ai) k
A continuación, seleccione y emita uni con probabilidad P(i)= wi⁄∑wk k
Desde el punto de vista computacio nal, parece un bucle (o un bucle anida do) para enumerar todas las fichas y la aplicación de todas las reglas. Para los tokens de tono/duración y las tres re glas, el código se parece a la Figura 1. Tenga en cuenta que podemos am pliar fácilmente el cálculo con nuevas reglas o eliminar temporalmente reglas individuales convirtiendo las líneas de código en comentarios. Puede parecer un poco engorroso considerar siem pre todos los tokens y todas las reglas. A continuación, consideraremos que el tono y la duración podrían calcularse por separado, ahorrando una gran can tidad de cálculos. Sin embargo, un ge nerador de melodías más realista tendría reglas relativas tanto al tono como a la duración, por ejemplo, “se favorecen los intervalos más pequeños cuando las du raciones son más cortas”.
sección iii / diseño de instrumentos y composición algorítmica 105
f unct i on calcular seguiente nota(): par a i en [0:240] w[i] = 1 construir pesos iniciales par a p en [0:15]: par a den [1:17]: i = p + (d 1) ´ 16 convertir a índice w[i] = w[i] ´ favorece rango medio(p) w[i] = w[i] ´ restringir durs impares(d) w[i] = w[i] ´ favorece durs más cortas(d) producir(selección ponderada(w))
Figure 1. Pseudocódigo para cálculo probabilístico. FiguRa 1. Pseudocódigo para cálculo probabilístico.
A veces, es útil crear una estructura de alto nivel antes de completar los detalles. Antes de construir una melodía, podría mos querer componer una progresión de acordes. A continuación, la melodía po dría guiarse por la armonía existente en cada compás. Un sistema de composición musical descendente como este puede crearse separando el proceso de compo sición en etapas. Empezando por el nivel superior, cada etapa crea el siguiente ni vel de la jerarquía. En mi compositor de canciones populares, basado en el trabajo de Elowsson y Friberg (Elowsson, 2012), la primera etapa diseña una estructura de frases, la segunda etapa diseña una estruc tura de acentos rítmicos, la tercera etapa compone una progresión de acordes y la última etapa escribe una melodía, como se muestra en la sección anterior (sin embar go, se utilizan muchas más reglas). Hemos experimentado con otro nivel de jerarquía, generando una “melodía básica” (Hiller, 1985) compuesta por medias notas antes de elaborarla para formar la melodía final (Dai, 2021).
En un esquema jerárquico de múlti ples pases, la salida de cada pase debe
guardarse en una estructura de datos a la que puedan acceder fácilmente los siguientes pases. No tengo una solución general para la representación de la música. Limitamos nuestras canciones pop a unidades de 16th notas y utiliza mos matrices que contienen datos para cada 16th notas (es decir, cada punto de tiempo posible) de la canción, pero incluso la música convencional que ad mite trillizos y subdivisiones más finas crea desafíos de representación. En general, la representación más sencilla que pueda expresar la música es la me jor opción. Otros esquemas pueden ser más expresivos, pero codificar y acce der a la música utilizando un sistema de representación muy general puede ser muy tedioso.
En la mayoría de los casos, las reglas necesitan consultar los tokens generados previamente. Por ejemplo, una regla que favorece los intervalos melódicos peque ños frente a los grandes debe conocer el tono anterior para calcular el intervalo desde ese tono hasta cada posible tono siguiente. Por tanto, las reglas no son simplemente funciones de un token. Sería más completo describir las reglas como dependientes tanto del token ai
como de los tokens de salida anteriores (una secuencia de tipo):
ri:A × A n → R
Si denotamos los niveles superiores de la jerarquía por los tipos B, C, etc., enton ces la forma completa de la regla es:
ri:A × A n × B × C × …→ R
En la práctica, estos parámetros adiciona les para rj podrían implementarse como variables globales a las que pueden acce der todas las reglas.
Además de hacer referencia a los datos en los niveles superiores de una construcción jerárquica, las reglas pue den hacer referencia a los datos de los sensores en tiempo real o a las aporta ciones humanas en situaciones de actua ción en directo, creando una vía para la composición algorítmica interactiva y la improvisación.
A veces, queremos decir algo sobre el futuro en lugar de crear una salida de un token a la vez. Esencialmente, deci dimos adoptar y llevar a cabo un plan en los próximos tokens que influirá o in cluso anulará el algoritmo probabilístico descrito hasta ahora. Un ejemplo de la música pop es la elección de una pro gresión de acordes cadencial que ter minará una frase en el acorde de tónica (I). Una vez decidido, no queremos des viarnos del plan.
Para expresar los planes, añadimos información adicional a la que pueden acceder las reglas. Lo que yo llamo pla nes también podría considerarse sim plemente como estado. La idea clave es que, además de calcular la siguiente fi
cha en una secuencia musical, también calculamos un nuevo plan o estado, que se convierte en contexto para el siguien te cálculo. En términos muy abstractos, podemos escribir:
(mk+1 , estadok+1 ) = f(m1…k , b, c, ..., estadok ), donde m es nuestra secuencia de salida de tokens musicales, f es nuestro sistema de reglas probabilísticas (combinando todas las rj ), b, c, ... son secuencias calculadas anteriormente en niveles superiores de la jerarquía musical, y cada regla rj tiene un estado como parámetro adicional. Se tra ta de una relación de recurrencia porque cada estadok+1 depende del estado anteriork .
En la práctica, los estados se utilizan principalmente para representar los pla nes y las condiciones que se deben tener en cuenta en las reglas, e implementa mos el estado como una estructura de datos sencilla que puede modificarse en cada iteración del cálculo de la secuen cia musical. El cómputo tiene ahora el aspecto de la Figura 2.
El principal cambio es la última línea en negrita. Ahora, cada vez que compu tamos un nuevo token de salida, pode mos hacer o modificar cualquier plan existente, como se representa en algunas variables del programa. También debe mos modificar o ampliar las reglas para considerar los planes. Tres enfoques son:
1) en cada regla, añadir pruebas se gún sea necesario para ver cómo se debe aplicar la regla en el contexto de cualquier plan. Esto sacrifica algo de modularidad, ya que aña dir nuevos tipos de planes puede requerir cambios en cada regla; (2) ampliar el conjunto de reglas para incluir reglas específicas de los planes. Este enfoque es bueno
sección iii / diseño de instrumentos y composición algorítmica 107
el Callejón del Ruido
f unct i on calcular seguiente nota (): par a i en [0:240]
w[i] = 1 construir pesos iniciales par a p en [0:15] par a den [1:17]
i = p + d´ 16 convertir a índice w[i] = w[i] ´ regla 1(p) w[i] = w[i] ´ regla 2(p)
… applicar todas las reglas a w producir(selección ponderada(w)) act ual i zar pl an()
Figure 2. Incorporando planes como estando recurrent.
FiguRa 2. Incorporando planes como estado recurrente.
cuando el plan es una tendencia general que simplemente sesga las probabilidades existentes; (3) anular las probabilidades cal culadas cuando un plan está en marcha. En el caso extremo, des pués de aplicar las reglas genera les, una nueva regla podría res tablecer wi y aplicar un conjunto de reglas completamente nuevo, pero solo cuando exista un deter minado plan.
Es probable que los planes tengan una duración finita. Cuando se añade un plan al estado, el plan debería incluir una du ración o un tiempo de espera, y la fun ción actualizar_plan() debería compro bar si hay planes caducados y eliminarlos.
Anteriormente, he presentado algunos inconvenientes de los algoritmos basa dos en la búsqueda. Sin embargo, hay un lugar interesante para la búsqueda en el enfoque descrito aquí. Principalmente, nos gustaría evitar algunos problemas que inevitablemente se producen con este enfoque probabilístico. En primer
lugar, aunque seleccionemos las fichas según pesos o probabilidades, es muy probable que al menos una ficha de una secuencia larga tenga una probabilidad muy baja. En segundo lugar, es posible que las elecciones de fichas anteriores no dejen ninguna opción buena después. Estos problemas pueden reducirse com poniendo varias fichas y seleccionando la que tenga la mayor probabilidad global.1
Por ejemplo, en mi trabajo sobre la creación de canciones populares, descu brí que, en ocasiones, las canciones te nían varios intervalos o ritmos extraños que simplemente parecían errores. Mo difiqué el programa para que generara 10 canciones y eligiera la más probable de las 10, y esto “filtró” las débiles.
Si es mejor utilizar las probabilida des, que reflejan la cantidad de sorpresa introducida en cada paso, o las ponde raciones originales, que pueden consi derarse una forma de evaluación de la calidad absoluta, es una cuestión intere sante en la que no he profundizado. Es probable que el mejor enfoque dependa de las reglas. Además, cuando las longi tudes de las salidas varían, uno podría querer utilizar la probabilidad media o el peso por token.2
Pero hay que tener cuidado, porque es poco probable que las reglas formen un sistema sofisticado de evaluación musical. Una búsqueda exhaustiva, como la de en contrar la más probable entre un millón de canciones, no producirá necesariamente el mejor resultado. Considere el enfoque si milar de la salida del token más probable en cada paso en lugar de hacer una elec ción ponderada. En la mayoría de los ca sos, esto creará una salida de “alta proba bilidad”, pero es posible que se estanque repitiendo tokens de alta probabilidad, y el resultado carecerá de variedad e interés.
Se ha encontrado una aplicación más de la búsqueda que resulta útil. Recor demos que las reglas pueden prohibir ciertas opciones devolviendo pesos cero. Pueden surgir situaciones en las que las reglas consiguen poner a cero los pesos de todas las fichas. Esto significa que, según las reglas, no se puede hacer nin guna elección aceptable. En mi sistema, detecto esto y simplemente empiezo de nuevo. Un enfoque más sofisticado de la ia podría ser retroceder uno o más tokens o incluso intentar encontrar la causa del impasse y corregirla. Sin em bargo, si estos problemas son comunes, se puede estudiar su causa y diseñar una solución (podría implicar la detección de situaciones problemáticas y la for mación de planes para guiar al sistema a través de ellas). Por otro lado, si los problemas son poco frecuentes, es muy probable que el reinicio tenga éxito. En cualquier caso, la búsqueda sofisticada parece ser innecesaria.
el tamaño de a
Un problema potencial de este enfoque es que el número de fichas diferentes puede ser grande. Por ejemplo, en el Programa de Música Estocástica (smp) de Xenakis
(Xenakis, 1992), los sonidos se describen por el tiempo de inicio, la duración, el tono, el instrumento, la tasa de glissando y la “forma de intensidad” (44 formas de variación dinámica como crescendo, di minuendo, más fuerte y luego más suave, etc.). Teniendo en cuenta todas las com binaciones, podría haber muchos millones de tipos de sonido.
Cuando el espacio de fichas es de masiado grande, tenemos dos méto dos básicos para simplificar el cálculo. En primer lugar, podemos separar las dimensiones de los tokens si son inde pendientes. Imaginemos que en nuestro ejemplo anterior el tono y la duración fueran independientes. Entonces, nues tro bucle anidado para considerar las 240 combinaciones:
para p en [0:15] –reiterar sobre todos los tonos para d en [1:17] –reiterar sobre todas las duraciones
podría separarse en dos bucles distintos con un total de solo 15 + 16 = 31 ite raciones:
para p en [0:15] –reiterar sobre todos los tonos pw[p] = pw[p]× pitch_rule_1(p) ... –más reglas para la ponderación de los tonos para d en [1:17] –reiterar sobre todas las duraciones dw[p] = dw[p]× duration_rule_1(p) ... –más reglas para la ponderación de la duración
Entonces, el token de salida se deter minaría haciendo dos elecciones pon deradas independientes utilizando las ponderaciones de tono pw y de dura ción dw .
La segunda posibilidad son las de pendencias unidireccionales.. Supon gamos que las ponderaciones del tono no tienen en cuenta la duración pro puesta, pero las ponderaciones de la duración varían con el tono propues
sección iii / diseño de instrumentos y composición algorítmica 109
el Callejón del Ruido
to. Si es así, podemos utilizar solo las reglas de ponderación del tono para calcular pw (como se muestra arriba) y hacer una elección ponderada del tono. Ahora, el tono es conocido, por lo que podemos utilizarlo dentro de las reglas de duración para calcular los pesos de duración.
También hay que mencionar que si un atributo como la duración pue de calcularse independientemente de otros atributos (pero posiblemente de pendiendo de ellos), entonces puede ser continuo en lugar de discreto. Por ejemplo, se puede calcular la duración en segundos en lugar de una elección de n dieciseisavos. Los valores conti nuos pueden calcularse eficazmente a partir de una única distribución aleato ria, como la gaussiana, pero no es tan sencillo combinar múltiples reglas que se relacionan con diferentes factores o influencias. La elección es suya.
En el smp de Xenakis, los paráme tros parecen ser muy independientes. Por ejemplo, la elección del instru mento se selecciona mediante pesos que dependen solo de la densidad, que es fija para la duración de cada sec ción. Sin embargo, tanto el tono como la duración dependen del instrumen to. Podemos calcularlos de forma in dependiente una vez seleccionado el instrumento.
El compositor decide cómo repre sentar las fichas musicales y si sus atri butos son independientes. Las depen dencias fuertes surgen de conceptos como “las duraciones de las notas cortas requieren intervalos de tono más peque ños”, pero muchos otros atributos están débilmente conectados, lo que nos per mite calcularlos por separado y de for ma más eficiente.
He presentado un enfoque general para la composición algorítmica que creo que tiene muchas buenas propiedades:
1. Es sencillo de aplicar, lo que signifi ca que uno puede dedicar más tiempo a ajustar las reglas y a pensar en los con ceptos musicales.
2. Es modular y permite añadir concep tos, tendencias y “pistas” en forma de reglas independientes.
3. Es probabilístico y no determinista. Se pueden utilizar múltiples ejecuciones para obtener una gran paleta de mate riales de composición, y los sistemas de ejecución en vivo pueden ofrecer varie dad y sorpresa.
4. Se pueden expresar tanto las tenden cias como las limitaciones absolutas.
5. Las reglas pueden basarse en simples estadísticas de la música existente, por lo que, en ese sentido, las reglas pueden “aprenderse” a partir de los datos.
6. El enfoque es eficiente porque evita grandes cantidades de búsqueda. Para compensar la falta de búsqueda y re troceso, se pueden generar planes que ofrezcan cierto grado de anticipación y orientación.
También hay algunas deficiencias:
1. La búsqueda y la optimización tienen poco apoyo, pero sostenemos que suele ser suficiente.
2. El enfoque funciona mejor para el cálculo de fichas discretas, aunque cual quier cálculo que compute un atributo continuo se puede incorporar fácilmente.
3. Esto es solo un marco conceptual: no hay un lenguaje, una biblioteca o un sof tware preparado. (Quizás esto también sea una “característica”).
Se han explorado innumerables enfo ques de la música algorítmica. A me nudo, el software se desarrolla para una sola composición. Sin embargo, muchos compositores desarrollan una forma de trabajar. Mi trabajo para el Festival El Callejón del Ruido fue formativo en mi pensamiento sobre la composición y, en particular, sobre la composición e inte racción algorítmica. No hay nada como un foro público y unas expectativas ele vadas para ponerlo a uno a prueba, y estoy profundamente agradecido por la experiencia y el aprendizaje que supuso esta gran oportunidad.
El marco descrito aquí destila y ge neraliza muchas ideas y enfoques que he encontrado útiles a lo largo de los años. Si los lectores lo encuentran demasiado simplista, consideren que esa puede ser su mayor ventaja. Si el diseño del software nos parece trivial y obvio, tenemos mu chas más posibilidades de conseguir una implementación correcta y eficiente, por no hablar de modificar y mejorar la pri mera versión. Es mucho mejor centrarse en la música que en complejas técnicas de ia, siempre que podamos seguir ex presando nuestras intenciones musicales.
En última instancia, los compositores (y quizá los oyentes) deben juzgar cual quier enfoque o metodología. Los len guajes de programación, los sistemas y las metodologías son notoriamente difíciles de medir, y no tiene sentido decir que un enfoque es mejor que otro. Sin em bargo, espero que pensar en la estructura de un sistema de composición algorít mica en contraposición a los algoritmos reales inspire a otros a hacer lo mismo y quizá se lleven algunas ideas útiles para su propio trabajo creativo.
Gracias a Roberto Morales por haberme in vitado a este trabajo y por su gran labor en el festival a lo largo de los años. Mi trabajo no habría sido posible sin el apoyo de la Univer sidad Carnegie Mellon.
¹ El enfoque más sencillo para estimar la probabilidad global de una secuencia es simplemente suponer que todas las fichas son independientes y multiplicar sus proba bilidades. Como el producto de cientos de pequeñas probabilidades puede ser excesiva mente pequeño, se suele formar la suma de logaritmos para evitar problemas numéricos, aprovechando la regla. Si queremos elegir el resultado con la mayor probabilidad, es equivalente a elegir el resultado con la mayor suma de logaritmos de las probabilidades de los tokens.
² Para hacerlo correctamente, hay que di vidir la suma de los logaritmos de las prob abilidades de los tokens entre la longitud de la secuencia de tokens.
Dai, Shuqi, Zeyu Jin, Celso Gomes y Roger B. Dannenberg. (2021). Controllable Deep Melody Generation via Hierar chi cal Music Structure Representa tion. En Proceedings of the 22nd Inter national Society for Music Information Retrieval Conference (pp. 143-150). Elowsson, Anders y Anders Friberg. (2012). Algorithmic Composition of Popu lar Music. En Proceedings of the 12th International Conference on Music Cognition and Perception and the 8th Triennial Conference of the European Society for the Cognitive Sciences of Music (pp. 276-285).
Hiller, Lejaren, Charles Ames y Robert Franki. (1985). Automated Compo
sección iii / diseño de instrumentos y composición algorítmica 111
el Callejón del Ruido
sition: An Installation at the 1985 International Exposition in Tsuku ba, Japan. En Perspectives of New Music, 2(23), 196-215.
Simoni, Mary y Roger B. Dannenberg. (2013). Algorithmic Composition: A
Guide to Composing Music with Ny quist. Ann Arbor: The University of Michigan Press. Xenakis, Iannis. (1992). Formalized Music: Thought and Mathematics in Music. Pendragon Press.
Este artículo describe algunas de las técnicas utilizadas para la generación de datos simbólicos (musicales) a partir de algoritmos genéticos. Dicha técnica permite crear perfiles de alturas con un alto grado de autosimilitud. La herramienta ami (Algori thmic Music Interface) será la encargada de implementar dicha técnica dentro del entorno Max for Live.
Palabras Clave
Algoritmos, genética, cromosomas, datos simbólicos, Max for Live, cálculo de aptitud. introduCCión
Esta publicación, que funge como una memoria de lo que nos ha dejado como acadé micos y músicos el festival El Callejón del Ruido, nos permite compartir algunas de las inquietudes estéticas y científicas que nos han interesado durante los últimos años. El entorno del festival por muchos años benefició una aproximación reflexiva con perspec tiva artística y académica del uso de herramientas computacionales para la música. El trabajo en música algorítmica y sus vertientes se convirtió en la oportunidad para parti cipar en este grupo de textos. Aquí presentamos un dosier acerca del uso de ciertos al goritmos genéticos y su implementación en Max for Live a través de la herramienta ami
Los algoritmos genéticos, como los define Nierhaus, son una clase particular de algoritmos evolutivos que implementan estrategias modeladas a partir de sistemas naturales y que utilizan técnicas de búsquedas estocásticas (Nierhaus, 2009). Estos
el Callejón del Ruido
algoritmos están diseñados para imitar el principio de Darwin de la “supervivencia del mas apto”, lo cuál se implementa a partir de la “competencia” entre un grupo de individuos, dentro de una población dada, por unos recursos específicos. Aquellos que resultan “vencedores” generarán descendientes al contrario de lo que sucede con los “perdedores” (Shukla, Pandey y Mehrotra, 2015).
En la utilización de algoritmos genéticos las soluciones a un problema dado se codifican en una serie de símbolos (cromosomas) generando así una población ini cial de soluciones (Vázquez y Oliver, 2008). Dice Mitchell Melanie en su libro An Introduction to Genetic Algorithms (Mitchell, 1996):
En los años cincuenta y sesenta, varios informáticos estudiaron independientemente sistemas evolutivos con la idea que la evolución podría usarse como una herramienta de optimización para problemas de ingeniería. La idea en todos estos sistemas era que se debía desarrollar una población de soluciones candidatas para un problema dado, utilizando operadores inspirados por variación genética y selección natural.
En este tipo de algoritmos, entonces, los conceptos de cromosoma, supervivencia del más apto, herencia genética, cruzamiento, combinación y mutación son importantes. Un cromosoma se representa aquí como una cadena de valores binarios. El proce dimiento es el siguiente: se crea una población de n cromosomas (01100, 11011, 01011… etc.), a partir de esta población, entonces, se calcula la aptitud de cada elemento y los más aptos son sometidos a cruzamientos y mutaciones. Este proceso se puede esquematizar de la manera que se observa en la Figura 1.
FiguRa 1. Proceso para implementar un algoritmo genético.
A continuación se ilustra este proceso con el ejemplo que propone David Goldberg en su libro Genetic Algorithms in Search, Optimization and Machine Learning (Goldberg, 1989) y que también utiliza Nierhaus (Nierhaus, 2009). Se comienza con una función que puede ser alimentada con valores de 5 bits, es decir, 32 valores posibles (0 ~ 31). Esa función es, para este ejemplo . Se toma un grupo de cromo somas generados al azar. Por ejemplo: (01101) (11000) (01000) (10011).
A continuación, se buscan cuáles de estos cromosomas son los más aptos. En este caso esa aptitud es completamente arbitraria ya que no se está lidiando aquí con las aptitudes de una determinada especie para sobrevivir en un entorno dado. En este caso, se ha medido la aptitud de cada cromosoma a partir del valor decimal que genera al atravesar la función .
tabla 1. Ranking, a partir de f (x) = x2, de los cromosomas generados. Luego cada cromosoma es distribuido en lo que Goldberg llama una “ruleta” (Fi gura 2) donde cada uno de ellos posee una probabilidad de ser escogido de acuerdo a su aptitud. Así, el cromosoma 2 tiene mayor probabilidad de ser escogido que los demás, mientras que el cromosoma 3 es el menos probable.
El proceso comienza entonces seleccionando el cromosoma de manera aleatoria, pero tomando en cuenta el “peso” de cada valor, es decir la probabilidad de ser seleccionado (en este caso el porcentaje de aptitud con respecto al total). Si, utili zando este procedimiento, se seleccionan cuatro cromosomas: una vez el número 1, dos veces el número 2 y una vez el número 4 (el 3 no sale seleccionado por su bajo porcentaje de aptitud), entonces quedará: 01101, 11000, 11000 y 10011.
Ahora los cromosomas seleccionados son “apareados” escogiéndolos de manera aleatoria, por ejemplo: 01101 → 11000. El proceso para el apareamiento es el siguien te: se escoge un valor de índice aleatorio entre 1 y el largo de la cadena menos 1. Es decir que, en este caso, como la cadena de números binarios tiene 5 valores, se esco gerá un valor entre 1 y 4. En el caso de que dicho valor sea 2, entonces el cruce se rea lizará intercambiado los valores de un cromosoma por el otro de la siguiente manera:
sección iii / diseño de instrumentos y composición algorítmica 115
FiguRa 3. Proceso de apareamiento.
Si este proceso se repitiera dos veces:
el Callejón del Ruido
tabla 2. Proceso de cruce.
Al calcular sus aptitudes: tabla 3. Tabla de aptitudes.
David Goldberg explica en el libro mencionado mas arriba que este proceso, aun que involucra el uso de selecciones aleatorias, es muy eficiente a la hora de encontrar soluciones de manera automática:
Las mecánicas de la reproducción y el crossover son sorprendentemente simples, im plican la generación de números aleatorios, copias de cadenas y algunos intercambios parciales de las mismas. No obstante, el énfasis combinado de la reproducción y el intercambio estructurado, aunque aleatorio, de información de cruce proporcionan a los algoritmos genéticos gran parte de su poder. Al principio esto parece sorpren dente. ¿Cómo pueden dos operadores tan simples (y triviales computacionalmente) resultar en algo útil, y mucho menos en un mecanismo de búsqueda rápido y robus to? Además, ¿no parece un poco extraño que la aleatoriedad juegue un papel tan fundamental en un proceso de búsqueda dirigida? (Goldberg, 1989)
A continuación de este procedimiento toma lugar el proceso de mutación donde algún valor de la cadena es modificado: 11[1]01 → 11[0]01. Entonces, el proceso descrito en la Figura 1 puede completarse así:
FiguRa 4. Extensión del proceso señalado en la Figura 1. téCniCas de seleCCión
Como se mencionó, en la fase de selección se determina qué individuos son es cogidos para aparearse. Esto se realiza a partir del concepto de aptitud, siendo esa aptitud el resultado de sopesar cada cromosoma al atravesar una función dada. Sin embargo, existen diferentes técnicas para realizar esta selección ba sadas en la aptitud y la probabilidad. Algunas de estas técnicas se detallan a continuación.
seleCCión tiPo ruleta
Esta es la técnica que se mostró en la Figura 2. Aquí la probabilidad de ser es cogido es proporcional al área asignada a cada cromosoma dentro de la rueda, y esa área estará dada por el porcentaje de aptitud obtenido por cada miembro al atravesar una función específica. En el caso de la Figura 2 la función es f (x) = x2 Así entonces la probabilidad de ser escogido es:
Ecuación 1
Siendo pi el cromosoma, f i el valor de aptitud del cromosoma ith y w el tamaño de la población.
Este sistema tiene la desventaja de que, si la diferencia entre los cromo somas más fuertes y los más débiles es muy grande, los cromosomas débiles tienen muy poca o ninguna chance de ser escogidos. Es decir que, al selec cionar un cromosoma de manera aleatoria, pero tomando en consideración
sección iii / diseño de instrumentos y composición algorítmica 117
el Callejón del Ruido
la probabilidad de selección de cada uno o el “peso”, se podría obtener una selección como la de la Figura 5.
FiguRa 5. Selección de tipo ruleta.
En ese tipo de selección puede darse el caso que después de ocho chances ninguna caiga sobre la porción más pequeña. Una manera de evitar esto es utilizar lo que Baker llama muestra estocástica universal (Baker, 1987) en la cual se selecciona al azar un punto de la rueda y luego los siguientes puntos se toman de manera equi distante con una proporción igual a 1/Nº de muestras (Figura 6).
FiguRa 6. Muestra estocástica universal.
Aquí los cromosomas son listados en un ranking en el cual el más débil tendrá un valor de 1 y el más fuerte un valor de N . Usando la población anterior esto quedaría:
tabla 4. Selección por ranking lineal.
La fórmula para calcular la probabilidad de que sea escogido es: Ecuación 2
Donde N es el total de la población, φ+ es la probabilidad del más apto de ser selec cionado comparado con la probabilidad promedio de selección de todos los indivi duos (este valor siempre está entre 1 y 2), y, por último, i es el puesto en el ranking de cada individuo. Por ejemplo, utilizando los cromosomas de la Tabla 4 (N = 4):
Así los valores obtenidos son: i1 = 0.1, i2 = 0.2, i3 = 0.3, i4 = 0.4. Al comparar la distribución utilizando la técnica de ruleta versus la de ranking lineal se observa que la segunda tiene una distribución más proporcional, haciendo que los cromosomas más débiles tengan mas oportunidad de ser seleccionados.
FiguRa 7. Resultados obtenidos a partir de la técnica de ruleta y la de ranking lineal.
sección iii / diseño de instrumentos y composición algorítmica 119
el Callejón del Ruido
Como su nombre lo indica, esta técnica es una variación de la selección por ranking lineal en la cual es posible distribuir las probabilidades de cada cromosoma de ma nera exponencial. La base del exponente es c, donde 0 < c < 1 (Shukla et al., 2015). La probabilidad de pi , entonces está dada por: Ecuación 3
Donde N es el total de la población y c es la base del exponente (con la que se con trola la curva deseada).
seleCCión tiPo torneo
FiguRa 8 Selección tipo torneo.
Este tipo de selección es una combinación de la aleatoria y por aptitud (Figura 8). De una población determinada se escogen una serie de individuos al azar que serán los competidores. Luego se selecciona de entre estos al más apto. Este procedi miento se repite cuantas veces sea necesario hasta escoger un cromosoma.
téCniCas
Como se vio en la Figura 4, una vez seleccionada la población a partir de alguna de las técnicas de selección vistas anteriormente, se procede a recombinar diferentes pares de cromosomas. Uno de los métodos más comunes para realizar esta tarea es el que se muestra en la Figura 3 llamado cruce de 1 punto (Umbarkar y Sheth,
2015), pero existen otras técnicas para llevar a cabo la misma tarea. A continuación, algunas de ellas.
Cruzamiento de k Puntos
Se seleccionan varios puntos al azar donde realizar la recombinación. Ver el siguien te ejemplo:
FiguRa 9. Cruzamiento de K puntos.
Este procedimiento se aplica, con frecuencia, con no más de dos grupos por cromo soma, aunque esto dependerá de cuán larga sea la cadena de valores binarios.
reCombinaCión barajando
Se toman dos cromosomas y se barajan sus elementos en el mismo orden como se ve, por ejemplo, en la Figura 10.
FiguRa 10. Recombinación barajando parte 1.
Luego se realiza un cruce de 1 punto:
FiguRa 11. Recombinación barajando parte 2.
sección iii / diseño de instrumentos y composición algorítmica 121
el Callejón del Ruido
Y por último se “des-barajan” de la misma manera que antes se barajaron:
FiguRa 12. Recombinación barajando parte 3.
Aquí se comparan los bits de cada cromosoma y los que son distintos se intercam bian con una probabilidad aleatoria dada. Si esa probabilidad es exactamente del 50% se lo denomina “recombinación uniforme media”.
FiguRa 13. Recombinación uniforme.
Además de estas técnicas es posible utilizar, entre otras, el cruzamiento enmascara do, el cruzamiento promedio, el cruzamiento heurístico (Umbarkar y Sheth, 2015).
La mutación se puede definir como un pequeño ajuste aleatorio en el cromosoma, para obtener una nueva solución. Se utiliza para mantener e introducir diversidad en la población genética. La mutación de un cromosoma implica la creación de una variación del mismo alterando, de manera aleatoria, una parte (seleccionada también de manera aleatoria) del parental (Poli, Langdon y McPhee, 2008). Algunas de las técnicas utilizadas para tal fin se detallan a continuación.
Aquí se selecciona al azar uno o mas bits del cromosoma y se los remplaza por el valor contrario:
FiguRa 14. Mutación por bit contrario.
Como lo indica su nombre, se intercambian dos bits de dos cromosomas escogidos aleatoriamente. En la codificación de los cromosomas en números binarios (como los vistos hasta aquí) no hay diferencia entre esta técnica y la anterior, pero si la codificación es diferente (como efectivamente sucede en el estudio del adn) esta técnica cobra mayor sentido:
FiguRa 15. Mutación por intercambio.
Se selecciona una porción del cromosoma al azar y dentro de esta región se mezclan las posiciones de sus bits de manera aleatoria:
FiguRa 16. Mutación barajando.
Como sucede con la recombinación, existen varias técnicas de mutación diferentes. Hacer una lista completa de ellas excede el propósito de este artículo.
Estos procedimientos genéticos fueron utilizados, entre muchas otras técnicas al gorítmicas, en la creación de la herramienta ami (Algorithmic Musical Interface), desarrollada en Max for Live como proyecto doctoral en la Facultad de Música de la unam, donde el Dr. Jorge Rodrigo Sigal Sefchovich fungió como tutor principal. Dicha herramienta puede descargarse desde https://www.drzoppa.com/ami-tool
A continuación, se expondrán brevemente algunos de los pormenores de cómo se implementaron estos algoritmos genéticos dentro de ami para generar alturas (midi).
Como ya se mencionó, el primer paso para generar datos a partir de un algoritmo genético consiste en la generación aleatoria de cromosomas (ver Figura 1). En este caso, estos cromosomas serán una combinación aleatoria de las notas escogidas a partir del módulo para seleccionar y modificar alturas (Figura 17). El tamaño del cromosoma dependerá del valor estipulado por el usuario (por defecto será de 8), como así también el ámbito que abarcará (Figura 18).
sección iii / diseño de instrumentos y composición algorítmica 123
el Callejón del Ruido
A continuación, se debe calcular la aptitud de cada cromosoma generado (el siste ma genera 300). Este cálculo se realiza utilizando las mitades cada lista. Para ello se divide a cada cromosoma en dos grupos con los que se calcula su aptitud a partir de la desviación estándar y la relación IcVSIM. La desviación estándar de una lista de valores es la medida de dispersión que posee dicha lista con respecto a la media y se calcula a partir de la raíz cuadrada de la varianza (Salazar y Castillo, 2018):
Ecuación 4
Donde x i es el valor iésimo de la variable que se está calculando, y μ es la media de la población:
Ecuación 5
A partir de este valor se pueden identificar cadenas de notas que posean perfiles más dispersos que otros.
Respecto a la relación IcVSIM, esta fue propuesta por Eric J. Isaacson como una manera de obtener el grado de similitud que poseen dos Pitch Class diferentes sin importar su cardinalidad (Isaacson, 1990). Este autor analiza propuestas de diferentes investigadores (Allen Forte, Charles Lord, Robert Morris, John Rahn, David Lewin y Richard Teitelbaum) y encuentra que ninguna de ella aporta las condiciones nece sarias para ofrecer una comparación satisfactoria. Como lo señalan Pablo Di Liscia y Pablo Cetta (Cetta y Di Liscia, 2010), estas condiciones son: proveer un valor distintivo para cada par de conjuntos de la misma clase a comparar, ser utilizable para clases de conjuntos de cualquier cardinalidad y proveer un rango amplio de valores discretos. La propuesta de Isaacson, entonces, satisface estas condiciones.
Para calcular el IcVSIM de dos conjuntos de notas se debe primero calcular el vector de intervalos de cada conjunto. A continuación, se debe calcular la diferencia entre ambos vectores restando cada miembro del primero menos el segundo y luego se calcula la desviación estándar de este vector resultante: Ecuación 6
Así entonces, si un cromosoma tiene los siguientes valores: [70 66 65 60 61 68 63 64], se calcula la desviación estándar y la relación IcVSIM de [70 66 65 60] con respecto a [61 68 63 64].
El resultado de estos dos cálculos se almacena en una base de datos de tipo SQLite a través del objeto dada.base de la librería Dada, de Max. En general ami utiliza gran cantidad de objetos de dicha librería, como así también de la librería Bach (las librerías Bach, Dada y Cage han sido desarrolladas por Andrea Agostini y Daniele Ghisi. https://www.bachproject.net) (Agostini y Ghisi, 2012). A partir de este cálculo de aptitud entonces, el sistema escogerá los primeros seis cromosomas.
Para la siguiente fase, se separa al primer cromosoma del resto. De esta manera este no será sometido a ningún ulterior proceso, conformando así siempre la primera lista de alturas generadas. Los otros cinco cromosomas (recordar que se están esco giendo los seis primeros) serán los que se cruzarán y mutarán. Suponiendo que los cromosomas escogidos resulten los siguientes (alturas midi):
A = [70 66 65 60 61 68 63 64]
B = [60 63 66 61 68 65 64 70]
C = [70 61 65 60 64 66 68 63]
D = [70 61 65 64 66 63 60 68]
E = [60 66 68 65 63 70 64 61]
F = [63 68 60 66 70 64 61 65]
sección iii / diseño de instrumentos y composición algorítmica 125
el Callejón del Ruido
Lo primero que se hace es combinar estas listas de a dos miembros de todas las maneras posibles (que serán combinaciones), siendo la cantidad de listas que se tengan (que en este caso serán siempre cinco). Es decir, si se tiene [b c d e f] (siendo cada letra una lista de alturas) se obtendría [b c] [b d] [b e] [b f] [c d] [c e] [c f] [d e] [d f] [e f]. De esta manera, por ejemplo, obtendríamos la combinación [b c], es decir [[60 63 66 61 68 65 64 70] [70 61 65 60 64 66 68 63]]. Estas dos listas se cruzan de la siguiente manera:
FiguRa 19. Cruzamiento.
FiguRa 20. Ordenados según su aptitud
Así se obtienen dos nuevas listas [[60 63 66 61 68] [70 61 65]] y [[65 64 70] [60 64 66 68 63]]. Lo mismo sucede con las diez combinaciones que se generan. Por último, como sistema de mutación, el patch escoge al azar una de las notas que el usuario seleccionó en la interfaz que se muestra en la Figura 17 y utiliza dicha nota para remplazar una (también al azar) de las que se encuentran en el cromosoma. segundo CálCulo de aPtitud
El segundo cálculo de aptitud que seleccionará las alturas que se van a mostrar al usuario se produce de una manera muy similar al primer cálculo de aptitud. Es decir que el sistema vuelve a analizar la desviación estándar y la relación icvsim, pero esta vez de los 45 grupos de alturas resultantes del proceso de cruzamiento y mutación. Este nuevo análisis se almacena en una segunda base de datos desde donde se selec cionarán las secuencias finales.
Luego se hará una selección de secuencias al azar con una probabilidad de tipo exponencial sin repetición donde el peso de la probabilidad de ser escogida es menor a
medida que aumenta la posición en la tabla. Entonces el primer cromosoma tendrá más probabilidad de aparecer que el que se encuentra en la posición 16. Como ya se mencio nó este peso de probabilidad esta distribuido de manera exponencial para acentuar aún más la tendencia a la aparición de los cromosomas de los primeros puestos.
El uso de algoritmos genéticos para generar alturas musicales resulta en un universo de secuencias que de alguna manera se asemejan entre ellas, es decir que se observa un alto grado de auto similitud con suficiente variedad como para darles un sentido musical interesante.
Las diversas técnicas utilizadas para el cálculo de aptitud, cruzamiento y muta ción brindan un sinnúmero de posibilidades que permiten al compositor controlar el nivel de variedad entre las secuencias de datos generadas.
La herramienta ami es, en este sentido, muy conveniente ya que es posible ge nerar este tipo de datos simbólicos de manera sencilla, sin que el usuario tenga que conocer los pormenores de la programación ni los rudimentos de la teoría que se encuentra detrás de esta herramienta.
Agostini, A., & Ghisi, D. (2012). Bach: An environment for computer-aided composition in max. Paper presented at the icmc Baker, J. E. (1987). Reducing bias and inefficiency in the selection algorithm. Paper pre sented at the Genetic Algorithms and their applications: Proceedings of the second International Conference on Genetic Algorithms.
Cetta, P. C., & Di Liscia, O. (2010). Elementos de contrapunto atonal: Educa, Editorial de la Universidad Católica Argentina.
Goldberg, D. (2010). Genetic Algorithms in Search, Optimization, and Machine Learning. Addison-Wesley Professional.
Isaacson, E. J. (1990). Similarity of interval-class content between pitch-class sets: the IcV SIM relation. Journal of Music Theory, 1-28.
Mitchell, M. (1996). Introduction to genetic algorithms. The mit Press. Nierhaus, G. (2009). Algorithmic Composition. Vienna: Springer Science & Business Media. Poli, R., Langdon, W. B., & McPhee, N. F. (2008). A Field Guide to Genetic Programing: Creative Commons.
Salazar, C., & Castillo, S. D. (2018). Fundamentos básicos de estadística. Editor no identi ficado.
Shukla, A., Pandey, H. M., & Mehrotra, D. (2015). Comparative review of selection techniques in genetic algorithm. Paper presented at the 1st International Conference on Futuristic Trends in Computational Analysis and Knowledge Management, Nodia, India.
Umbarkar, A. J., & Sheth, P. D. (2015). Crossover Operators in Genetic Algorithms: A Review. ICTACT Journal on Soft Computing, 06(01), 1083-1092. Doi:10.21917/ ijsc.2015.0150
Vázquez, J. I., & Oliver, J. (2008). Evolución de autómatas celulares utilizando algoritmos genéticos. Universidad de Deusto. Doi: papers3://publication/uuid/849A9D2892AA-4145-8E52-F3F12B177904
sección iii / diseño de instrumentos y composición algorítmica 127
El presente texto muestra una propuesta conceptual que transita a través de las posibilidades de interacción y cooperación entre humanos y máquinas, ofrecien do un punto de partida para la reconceptualización de los sistemas tecnológicos en función de los usos y roles que desempeñan en el proceso creativo individual o colectivo. Se propone la arquitectura de un sistema computacional a partir de la descripción del “modelo de creación digital híbrido”, en torno a dos vertientes principales: operatividad y autonomía; así también, se expone el uso de este sis tema computacional en la obra Cluster: el paraíso esfumado, para la creación del diseño de iluminación, sonoro y corporal. De este modo se propicia la exploración de modelos alternativos para la cognición extendida o aumentada por medio de la vinculación entre arte, diseño y tecnología.
Palabras ClaveArquitectura computacional, creación algorítmica, cooperación humano-máquina, inteligencia artificial, sistemas de creación.
Pese a las necesidades actuales de cambiar el enfoque que se tiene sobre la tecnolo gía, continúa prevaleciendo una visión separatista entre el ser humano y la máquina. Esto carece actualmente de sentido, ya que gracias a los avances actuales de la computación y la tecnología es posible que las máquinas sean mucho más que una mera herramienta y pasen a volverse colaboradores dentro de los procesos creativos. En este artículo se propone un nuevo enfoque sobre la relación humano-máquina en donde la tecnología se despoja del concepto servil para pasar al ámbito colabora tivo, mismo que se efectúa mediante procesos creativos que las máquinas hacen con cierto grado de autonomía y al que clasificamos como el binomio operador-ejecutante.
el Callejón del Ruido
Hacia el final, como evidencia de esta forma de trabajo, se presenta el procedi miento empleado para crear la obra dancística titulada Cluster: el paraíso esfumado, en la cuál se utilizan dichos sistemas para la creación del diseño de iluminación, sonoro y de movimiento.
Para establecer la arquitectura del sistema computacional híbrido, debemos co menzar por describir el “modelo de creación digital híbrido”. El uso de la com putadora en los procesos creativos tiene dos vertientes principales: operatividad y autonomía; por ello, el modelo híbrido propone el entendimiento de la máquina como una alternativa para expandir los procesos cognitivos e intuitivos.
La Figura 1 presenta el modelo de creación digital híbrido y a continuación se describe a detalle cada uno de sus componentes.
El modelo híbrido se basa en el uso de un espacio representacional para la manipu lación de la información, y un espacio conceptual para la generación de información. Los espacios se manipulan mediante la exploración (creatividad no-combinatoria, donde el juego con una premisa inicial innovadora puede llevar a construir nove dad) y transformación. La transformación es un poco más compleja de describir, ya que presenta dos problemáticas (Boden, Andersson y Sahlin, The Complexity of Creativity, 1997):
1. Transformación novedosa: el espacio conceptual recién transformado no es fácilmente navegable, porque es demasiado diferente del anterior, de modo que la idea puede no ser fácilmente inteligible.
2. Transformación topográfica: una transformación puede implicar tan tos cambios en la topografía local del espacio conceptual, que no cumple con ciertos criterios empíricos o estilísticos que habíamos dado por necesarios.
Es por lo anterior que la cooperación humano-máquina presenta una forma más ro busta de creación del Objeto Digital, ya que por medio del procesamiento y apren dizaje se puede abordar el cambio de topografía del espacio conceptual; además, la
única manera de evaluar los procesos de transformación es el conocimiento previo (aunque sea mínimo) del dominio de dicho espacio: en otras palabras, se trata de la percepción de la información para la creación del Objeto.
El espacio conceptual se define como la colección de ejemplos para transformar y generar nuevas aproximaciones a la solución de un problema, su dominio está limitado —de cierta manera— por las condiciones iniciales conceptuales con las que el humano aborda el proceso creativo. Dentro del modelo híbrido se establecen dos maneras para explorar el espacio conceptual: 1) La base de datos como forma simbólica de correlación narrativa para la entrada de la máquina. 2) El dominio epistémico para la entrada del humano. Una limitante del espacio conceptual —en su forma tradicional— es que está condicionado por el origen cultural del indivi duo, de modo que la apreciación del proceso de creación está —del mismo modo— condicionada por dichos aspectos; por ello, en el presente modelo se propone el uso de la máquina como mecanismo de expansión del espacio conceptual. El modelo busca maximizar las habilidades de cada una de las unidades que se encuentran en el espacio de representación, de modo que las máquinas ofrecen una multiplicidad de miradas jerárquicas en torno al espacio conceptual (sabiendo que las condiciones iniciales del espacio conceptual se construyen por el ser humano a partir de la experiencia sobre el dominio del mismo); por otro lado, el humano ofrece la percepción y la cuidadosa selección de lo que mejor representa el acto de creación. A partir de las nuevas soluciones propuestas por la máquina se da la expansión o el aumento de la percepción (la capacidad de ver nuevas soluciones a partir del aprendizaje de la máquina). Del mismo modo, decimos que la interacción humano-máquina procura la concienciación (del inglés awareness) hacia la máqui na (la comprensión del entorno por medio del humano), lo que a su vez lleva a la transformación (expansión o aumento) del espacio conceptual. La concienciación implica: experiencia subjetiva y fenomenológica de los mundos internos y externos, su importancia en el modelo híbrido radica en la “comprensión” del contexto del problema, de modo que aunque la máquina no sea capaz de mostrar —explícita mente— el proceso de concienciación, hace que el ser humano pueda identificar más fácilmente, por medio de la percepción y la curaduría, aspectos propios del espacio conceptual que la máquina ha logrado abstraer en su aprendizaje (de cierto modo, decimos que nos permite “ver más allá del común”).
La salida se vuelve la materialidad o experiencia, la cual está sujeta a las posibi lidades de los cuerpos en los medios digitales. arquiteCtura de los sistemas ComPutaCionales híbridos
La arquitectura propuesta en las siguientes líneas no tiene el enfoque de la máquina como entidad creativa autónoma, sino más bien como herramienta de expansión cog nitiva, en torno a las posibilidades del dominio epistémico y en función de las imá genes culturales o sociales que intervienen en los procesos creativos del ser humano.
A partir de la diferencia entre operación y autonomía, podríamos establecer cinco niveles para identificar dónde se puede colocar un sistema computacional híbrido. Esta categorización está inspirada en los cinco niveles de conducción autó noma de la Society of Automotive Engineers:
sección iii / diseño de instrumentos y composición algorítmica 131
el Callejón del Ruido
• Nivel 0: Máquinas de re-mediación.
• Nivel 1: Asistentes (corregir curvas de Bézier, normalizar un audio, corre gir afinación).
• Nivel 2: Diseño generativo (genera una salida a partir de condiciones ini ciales de manera semiautónoma).
• Nivel 3: Analiza su entorno y crea nuevas soluciones (autonomía adaptativa).
• Nivel 4: Analiza su entorno y establece jerarquías de cooperación.
Se propone entonces una aproximación a los sistemas computacionales híbridos, como una alternativa a la concepción tradicional de las funciones y roles de la compu tación en lo referente a los procesos de creación en el arte o diseño (Figura 2); consi deramos la arquitectura que se muestra en el siguiente esquema como perteneciente al nivel 4:
FiguRa 2. Arquitectura del sistema computacional híbrido para la creación.
Los sistemas computacionales híbridos buscan la reconciliación entre dos formas principales para la generación de datos: diseño por experiencia y diseño algorítmi co, los cuales se describen a continuación:
• Diseño por experiencia: comprende la creación de datos afectivos, me diante una serie de experiencias que pueden ser adaptadas dependiendo de la intención en la implementación final del sistema.
• Diseño algorítmico: comprende la creación de datos sintéticos mediante el uso de procesos estocásticos o una serie de reglas para la creación de los mismos.
La unión de ambos métodos de diseño genera el conjunto de datos híbridos. Dicho conjunto se considera como los ejemplos que dan forma al espacio conceptual que se utiliza para el proceso de aprendizaje automático.
El pre-procesamiento de datos involucra el proceso de percepción y curaduría, donde las propuestas de la máquina son evaluadas por un clasificador de computo natural: el humano.
El aprendizaje automático (machine learning, por su nombre en inglés) es la rama de la inteligencia artificial que tiene como objetivo desarrollar técnicas que permitan a las computadoras aprender por sí mismas. De forma más concreta, se trata de crear algoritmos capaces de generalizar comportamientos y reconocer pa trones a partir de una información suministrada en forma de ejemplos. “Es, por lo tanto, un proceso de inducción del conocimiento, es decir, un método que permite obtener por generalización un enunciado general a partir de enunciados que descri ben casos particulares” (Sancho Caparrini, 2017).
La intención del uso del aprendizaje automático en los sistemas computacionales híbridos es la creación de procesos recursivos para la producción de nuevos datos por parte de la máquina y el análisis mediante la percepción del humano, donde el dominio epistémico es expandido mediante la exploración de la propuesta de salida de la máquina con la intención de generar nuevos datos para el espacio conceptual. El uso del aprendizaje automático tiene una meta concreta, la cual es la expansión del dominio epistémico para la construcción de nuevos ejemplos en el conjunto de datos híbridos y la transformación del espacio conceptual.
El modelo anterior puede ser resumido de la siguiente manera (Figura 3):
sección iii / diseño de instrumentos y composición algorítmica 133
FiguRa 3. Arquitectura resumida de sistemas computacionales híbridos para la creación.el Callejón del Ruido
El proceso recursivo implica la constante expansión del dominio epistémico y el conjunto de datos híbridos, lo que expone de manera intrínseca la transformación del espacio conceptual.
Los sistemas computacionales híbridos son entonces una propuesta recursiva computacional, en la que la simbiosis ocurre cuando consideramos al ser humano un organismo capaz de realizar computación, en donde el tiempo de computación puede ser interrumpido para valorar mediante la percepción la inclusión de nuevos datos al espacio conceptual. Al final los humanos son los que encuentran la semán tica en la salida de las máquinas.
La realización de la obra busca la exploración de la creación de manera colectiva a partir de la transformación del espacio conceptual, lo cual —de manera prácti ca— se logra mediante la experimentación con la salida del sistema computacional híbrido y la continua evolución del conjunto de datos híbridos. La implementación del sistema comprende dos fases principales: creación (espacio conceptual) y proce samiento (espacio representacional) de los datos (Figura 4).
Particularmente en Cluster, el espacio conceptual colaborativo contiene ejem plos de dos tipos:
1. Creados a partir de las sensaciones y afecciones que provocan los elemen tos lumínicos y sonoros en el movimiento (diseño por experiencia).
2. Creados a partir de procesos estocásticos (diseño algorítmico).
A continuación se describen las herramientas tecnoestéticas utilizadas para la crea ción del espacio conceptual en la obra Cluster.
El entorno computacional de Cluster comprende herramientas para creación y ejecución del trabajo en cuestión (en un entorno real y virtual, como veremos posteriormente). Todas las herramientas están desarrolladas con una arquitec tura cliente/servidor lo que permite la interconexión y el paso de información entre cada una. Entre las herramientas de creación se encuentran: 1) Simulador de espacio lumínico-sonoro. 2) Gestor de creación manual y 3) Gestor de au mentación de datos.
El simulador del espacio lumínico-sonoro fue desarrollado en TouchDesigner y es operado desde los lenguajes de programación SuperCollider y Python Permi te la visualización previa de los comportamientos lumínico-sonoros (Figura 5), de manera que optimiza el tiempo de ensayo y preparación de la obra. El simulador se utiliza también para analizar (como experiencia virtual) los resultados de todo el sistema computacional tecno-estético.
FiguRa 4. Arquitectura de implementación para sistema computacional híbrido. Creación y procesamiento de datos híbridos en Cluster.
sección iii / diseño de instrumentos y composición algorítmica
FiguRa 5. Simulador de espacio lumínico-sonoro realizado en TouchDesigner
el Callejón del Ruido
El gestor de creación manual permite operar el simulador o el espacio real para la creación de datos, controlando cada uno de los parámetros de manera indepen diente (Figura 6) y la posición de los controles emula la posición de las lámparas en el espacio; el gestor permite, además, salvar los datos creados.
FiguRa 6. gui para gestor de creación manual de datos.
El gestor para aumentación de datos permite leer una colección de datos producida por diseño algorítmico, para determinar por elección manual si el diseño pertenecerá o no al conjunto colectivo de datos híbridos (Figura 7). El gestor de aumentación de datos permite revisar un archivo y salvar una etiqueta binaria a manera de clasificación, con lo que determina la pertenencia del conjunto colectivo de datos híbridos.
FiguRa 7. gui para gestor de aumentación de datos.
Las herramientas de ejecución derivan de las herramientas de creación, el diseño modular y el esquema cliente-servidor de cada pieza de software permite que una misma aplicación sea utilizada para el simulador virtual y para el control de la ilu minación real, mediante la implementación de un Broadcast osc (Figura 8).
El diseño algorítmico se realiza en el lenguaje de programación SuperCollider (Morales Manzanares, 2011) con énfasis en dos generadores principales: Pbrown y Ppoisson, los cuales determinan el comportamiento de los 80 parámetros; el re sultado se exporta como una colección de datos que pueden ser explorados con las herramientas que se mostraron anteriormente.
FiguRa 8. Configuración Broadcast osc.
Como ya se ha mencionado, el flujo de trabajo para la creación del espacio concep tual y datos híbridos en Cluster se realiza mediante dos métodos:
1. Diseño algorítmico: comprende la creación de datos sintéticos mediante el uso de procesos estocásticos (funciones Pbrown y Ppoisson en el lenguaje de programación SuperCollider).
2. Diseño por experiencia: comprende la creación de datos afectivos y se realiza (en el caso de Cluster) a través de dos tipos de experiencia: a. Virtual: mediante el uso de un simulador del espacio lumínico-sonoro. b. In situ: mediante la experimentación con el espacio lumínico-sonoro de forma real.
El proceso de creación de datos y el análisis semisupervisado se realiza por dos personas diferentes (así como la recursividad para la expansión del dominio epis témico): la primera, enfocada a la parte técnica y lumínico-sonora de la pieza y la segunda enfocada a la coreografía, el movimiento y su relación con los espacios lumínico-sonoros; puesto que el flujo de trabajo está enfocado en explorar y po
sección iii / diseño de instrumentos y composición algorítmica 137
CreaCión y ProCesamiento de datos híbridos Mensajeel Callejón del Ruido
tenciar la creación colectiva por medio del uso de la máquina; los datos creados son acumulados en una sola colección, para después aplicar un proceso de limpieza donde se remueven los duplicados (en caso de que existan) y se dejan solo ejemplos clasificados como pertenecientes al conjunto de datos híbridos colaborativos final.
Se muestra en la Figura 9 el conjunto de datos híbridos colaborativos en proceso de creación; es posible percibir en el agrupamiento la relación que existe entre la creación por los seres humanos y las propuestas realizadas por la máquina. Esta hi bridación en el proceso creativo es lo que permite de manera inmediata una primera transformación del espacio conceptual en el presente trabajo.
FiguRa 9. Conjunto de datos híbridos colaborativos en proceso de creación. Reducción de dimensionalidad realizada con t-sne
La implementación de la gan utilizada en Cluster se realizó con la librería Keras, como interfaz simplificada de Tensorflow; la arquitectura general (Mao, Li, Xie, Lau, Wang y Smolley, 2017) fue tomada de las llamadas Redes Adversarias Gene rativas de Mínimos Cuadrados (lsgan).
Las gan regulares plantean la hipótesis del discriminador como un clasificador con la función de pérdida sigmoide con entropía cruzada, la diferencia con las Redes Adversarias Generativas de Mínimos Cuadrados radica en el uso de la función de mínimos cuadrados como función de pérdida en el discriminador. Este cambio en la arquitectura trae dos beneficios en específico: 1) las lsgan generan imágenes de
mejor calidad y 2) tienen un desempeño más estable durante el proceso de aprendi zaje (Mao, Li, Xie, Lau, Wang y Smolley, 2017).
La arquitectura final de la lsgan en Cluster se muestra a continuación:
FiguRa 10. Arquitectura del modelo de red neuronal (lsgan) utilizado en Cluster: a) arquitectura del generador, b) arquitectura del discriminador.
El proceso de aprendizaje implica un preprocesamiento de datos para adecuarlos al formato de entrada de la lsgan. Como vimos anteriormente, el diseño lumínico-sono ro implica la manipulación de 80 parámetros, los cuales se ordenan en una matriz de 20 x 4 para conservar una analogía en torno al uso de la imagen para el procesamiento de datos (Figura 11); del mismo modo, esto permite utilizar las diferentes investi gaciones realizadas con el conjunto de datos mnist (Modified National Institute of Standards and Technology database) para la configuración y ajuste de los hiperpará metros de la red neuronal artificial. mnist es una base de datos de dígitos escritos a mano representados en una matriz de 28 x 28, y aunque varía el tamaño para los datos utilizados en Cluster, la arquitectura generaliza de manera adecuada para ser utilizada en la creación y expansión del espacio conceptual colectivo.
Con un conjunto de datos híbridos colaborativos de entre 2,500 y 5,000 ejem plos, la red se entrena con 30,000 epochs mediante el algoritmo de optimización Adam (Kingma y Ba, 2014), con una taza de aprendizaje del 0.0002 y beta1 de 0.5 obteniendo una precisión aproximada del 99.7%.
La Figura 12 muestra cómo el espacio conceptual colectivo creado por medio de la gan, generaliza y expande el espacio inicial y además transforma, de manera general, la topografía del espacio conceptual colectivo.
La red neuronal artificial “alucina” los espacios que definen los límites donde ocurre la obra, generando una relación directa entre la alucinación del espacio y la transformación del espacio conceptual. Una de las grandes diferencias sobre el uso de gan —y por lo que decimos que “alucinan”— es que los datos de salida para la transformación del espacio conceptual no son una subsección de los datos existen tes, sino nuevos datos generados a partir de la abstracción de los datos de entrada. Por lo tanto, la profundidad de la red no está solo en sus capas ocultas, sino también en la semántica de la salida a consideración del ser humano.
sección iii / diseño de instrumentos y composición algorítmica 139
el Callejón del Ruido
FiguRa 12. a) Espacio conceptual generado mediante gan. Reducción de dimensionalidad realizada con t-sne. b) Transformación topográfica del espacio conceptual.
El espacio conceptual colectivo final generado con la gan es analizado luego me diante el algoritmo de clustering difuso Fuzzy C-means, en el cual —dependiendo de las etapas de transición requeridas por la intención narrativa— es el número de clusters que se selecciona como parámetro para el algoritmo (Figura 13).
FiguRa 13. Espacio conceptual colectivo generado mediante gan y analizado por medio de cluste ring difuso Fuzzy C-means: a) 3 clusters. b) 5 clusters.
La siguiente figura muestra el espacio conceptual colectivo graficando solamente el cluster al que el ejemplo tiene mayor grado de membresía (Figura 14).
Para construir las transiciones se selecciona un ejemplo inicial, luego se seleccio nan n ejemplos que minimicen el grado de membresía al cluster, a partir del segundo cluster se busca maximizar el grado de membresía hasta llegar al tercer cluster y maximizar por completo el grado de membresía (Figura 15). Este mismo proceso se aplica para cualquier número de clusters
sección iii / diseño de instrumentos y composición algorítmica 141
FiguRa 14. Espacio conceptual colectivo en el que se muestra el cluster con mayor grado de membresía, los datos utilizados son los mismos que en la Figura 13.
FiguRa 15. Las líneas azul y roja muestran posibles caminos transitorios para la genera ción de narrativas lumínico-sonoras.
Al obtener las secuencias de transición, se utiliza la librería LightOSCollider que determina el comportamiento gestual para las mismas. Para Cluster se adaptó la librería de modo que pudiera funcionar con el escenario de iluminación propio del trabajo. El gesto está ensamblado con un reactivo sonoro con timbres texturizados y percutidos que sincronizan y refuerzan la idea de narrativa lumínico-sonora. La alucinación digital permite extender las fronteras para la creación colectiva del Objeto, muestra y expande la comunicación de un grupo de trabajo y unifica los criterios de creación para el espacio lumínico-sonoro en el caso de Cluster. El sistema se evalúa de manera empírica, el objetivo es maximizar la organicidad del movimiento corporal junto a los espacios lumínico-sonoros con especial interés en las partes de improvisación en la obra, de modo que la métrica está basada en la percepción de los performers. El trabajo se llevó a cabo con distintos elencos, con los cuales se realizó una prueba empírica de percepción entre los datos construidos de forma manual y los construidos mediante la alucinación digital: aquellos ejemplos que habían pasado por las distintas etapas de transformación del espacio conceptual fueron mejor compren didos y utilizados por los performers durante la realización de la obra.
El flujo de trabajo mostrado en el presente texto constituye la implementación de un sistema computacional híbrido para creación colectiva. El trabajo en equipo es una de las grandes necesidades del presente siglo, y una de las motivaciones detrás de esta investigación. Nos enfrentamos a un crecimiento sin precedentes de gene ración y acceso a datos (sin considerar disciplinas específicas), pero necesitamos nuevas maneras de abordar su análisis, comprensión y uso para generar alternativas que transformen el pensamiento común, además de vincular distintas herramientas computacionales y tecnoestéticas para crear un panorama que nos permita acercar nos más al material de creación: los números y nuestra imaginación.
Boden, M. A., Andersson, A. E., & Sahlin, N.-E. (1997). The Complexity of Creativity. Springer.
Kingma, D. P., & Ba, J. (2014). Adam: a method for stochastic optimization. arXiv. Doi: https://doi.org/10.48550/arXiv.1412.6980
Mao, X., Li, Q., Xie, H., Lau, R. Y., Wang, Z., & Smolley, S. P. (2017). Least Squares
Generative Adversarial Networks. arXiv. Doi: https://doi.org/10.48550/arXiv.1611.04076
Morales Manzanares, R. (2011). Donaji: una memoria decapitada.
Sancho Caparrini, F. (23 de septiembre de 2017). introducción al Aprendizaje Automático. Recuperado el 28 de febrero de 2018, de http://www.cs.us.es/~fsancho/?e=75
sección iii / diseño de instrumentos y composición algorítmica
Se presenta un sistema de composición e improvisación musical (sicib) con base en sensores adheridos a bailarines. sicib utiliza reglas de alto nivel que integran/acoplan coreografía y música permitiendo realizar obras musicales a través de movimientos corporales. Se definen los elementos de control de los bailarines (posición, velocidad y dirección de desplazamiento, curvatura y torsión, caídas, etc.) y los elementos musi cales a controlar (intensidad, inicio de secuencias y motivos musicales, ritmo, alturas, etc). Se describe un lenguaje de alto nivel que permite especificar la interacción mú sico-coreográfica de cada sensor, y se dan algunos ejemplos de posibles interacciones. sicib utiliza a Escamol, un sistema de composición musical basado en reglas gramati cales. Escamol recibe elementos musicales de las reglas músico-coreográficas y genera en tiempo real música en base a sus propias reglas de composición. Se presenta la arquitectura de sicib, la cual permite que la interacción se realice en tiempo real, y finalmente se describen algunos de los resultados obtenidos con el sistema.
Tradicionalmente, la música y la danza han sido manifestaciones artísticas comple mentarias y sujetas a una evolución paralela en todas las civilizaciones a través de su historia. Su integración e impacto en el ser humano se manifiestan desde bailes populares, festivos y religiosos, hasta bailes tradicionales y contemporáneos que cuentan con un alto grado de sofisticación y refinamiento. La evolución social y cultural en las distintas comunidades ha generado una gran diversidad de corrientes creativas y filosóficas con diferentes metodologías de trabajo. La música es un arte que puede existir sin la necesidad de la danza, sin embargo, la danza, aunque exis ten coreografías sin música, siempre se ha apoyado en aquella para manifestarse y reforzar ideas dramáticas contenidas en ambas.
La integración de estas dos disciplinas no es siempre del todo satisfactoria. La com posición de música exprofeso para una coreografía dada no siempre logra capturar to dos los aspectos coreográficos deseados. Por otro lado, la posible evolución coreográfica
el Callejón del Ruido
o de improvisación por parte del bailarín se ve limitada si esta se tiene que adaptar a música existente. Esto afecta al coreógrafo en dos aspectos fundamentales en su dis curso creativo, ya sea: (i) mutilando motivos coreográficos que se antojan para un de sarrollo más largo, o (ii) alargando tiempos de exposición que podrían haber aparecido en un tiempo más corto. La diferencia de tiempos de exposición de una misma idea en ambas expresiones artísticas es sin duda un problema común y no siempre resuelto favorablemente. En este trabajo se presentan los desarrollos de alto nivel del proyecto Sistema Interactivo de Composición e Improvisación para Bailarines (sicib). El obje tivo principal del proyecto es integrar/acoplar lo más posible la interacción existente entre coreografía y música, permitiendo inclusive la composición musical por medio de movimientos corporales. Para esto, el proyecto plantea el uso de sensores adheridos a los bailarines y cuyo movimiento permita controlar diversos aspectos musicales. Esta integración elimina en buena medida los problemas arriba descritos y abre nuevas posi bilidades coreograficas, de composición e interpretación musical. sicib permite que una coreografía no tenga que adecuarse a una pieza musical prestablecida y los bailarines pueden improvisar libremente sus movimientos, generando con ellos música y danza en tiempo real. sicib puede verse también como un instrumento virtual, en donde la música se genera a partir de movimientos corporales, abriendo nuevas posibilidades tanto en composición como en la interpretación musical.
En la sección 2, se listan los elementos coreográficos y musicales considerados por sicib. La sección 3 define el lenguaje de especificación de alto nivel para lo grar su integración. La sección 4 describe la arquitectura global del sistema. En la sección 5 se presentan los resultados preliminares de este proyecto y finalmente la sección 6 incluye las conclusiones y el trabajo futuro a realizar.
Para poder realizar la interacción planteada en este proyecto, partimos de algunos prin cipios análogos que existen entre la música y la danza para generar un discurso dramá tico homogéneo como son: exposición de ideas, enlaces entre secciones, variaciones y formas estructurales en general. En el caso de la danza podemos observar que la expo sición de ideas, en su mayoría, se realiza con movimientos que se repiten en diferentes puntos del espacio y se combinan con inflexiones, saltos, giros y caídas. Las variaciones incorporan nuevos elementos a movimientos ya expuestos y cada sección cuenta con criterios de expresión distintos caracterizándose normalmente por el cambio de veloci dad en los movimientos, contracciones, el uso de diferentes escenarios reforzados con luces y vestuarios, etc. Esto nos plantea varios problemas a resolver: (i) qué información capturar, (ii) cómo caracterizar esa información y (iii) cómo relacionar esa información de manera coherente con la música. Las soluciones propuestas por sicib para estos pro blemas se describen en las siguientes subsecciones y en la sección 3.
sicib obtiene información de los bailarines por medio de sensores adheridos a sus cuerpos. Los sensores, llamados Flock of Birds, transmiten, entre otras cosas, su
posición en el espacio con un tiempo de muestreo regulable que abarca desde 14 a 144 muestras por segundo. A partir de esta información, tenemos que obtener aspectos coreográficos que el bailarín va generando con sus movimientos y con los cuales se puedan controlar diferentes aspectos musicales. Establecimos un balance entre la cantidad mínima de datos que se necesitan considerar para capturar con suficiente detalle información coreográfica importante y la velocidad a la que po demos procesar dicha información.
El tiempo de muestreo que fijamos en los sensores fue de 38,400 bits por se gundo, produciendo aproximadamente 50 posiciones espaciales por segundo por cada sensor. Las consideraciones hechas para lograr respuestas en tiempo real se presentan en la sección 5, y otras posibilidades de capturar información por otros medios se discuten en la sección 6.
A partir de la información de los sensores, se obtienen los siguientes elementos coreográficos:
1. Curvatura y torsión de movimientos: un aspecto fundamental dentro de la coreografía es la curvatura y torsión de los movimientos. Para esto nos apoya mos en el teorema de Frenet-Serrett (Carmo, 1976) descrito en la sección 2.3.
2. Posición física del bailarín: La posición del bailarín se puede utilizar para caracterizar movimientos realizados en diferentes zonas. Por lo regular el dis curso dancístico de una coreografía se divide en regiones.
3. Posición de algún de algún elemento del cuerpo del bailarín: esto nos per mite determinar si el bailarín está en el suelo, con las manos arriba, agachado, etc., lo cual forma parte de la caracterización de la coreografía.
4. Velocidad y aceleración de desplazamiento: a partir de las posiciones del sen sor en un lapso de tiempo, es posible determinar la velocidad y aceleración de desplazamiento de este y obtener información acerca de la coreografía.
5. Cambios repentinos: a partir de la posición del sensor en el tiempo es posible establecer cambios repentinos del bailarín tales como giros, saltos y caídas.
Todos los elementos arriba descritos se usan para caracterizar las diferentes co reografías. Un bailarín, puede transitar y combinar cualquiera de los elementos arriba mencionados y usarlos para generar diferentes aspectos musicales. Por lo que podemos hablar de regiones que inician/terminan eventos musicales particu lares, regiones de intensidad y tono, regiones asociadas con notas o instrumentos particulares, regiones asociadas con ritmos, etc. De igual forma, la velocidad y/o aceleración en cierta dirección, la curvatura y torsión de movimientos, saltos y caídas, etc., pueden cambiar cualquiera de los aspectos musicales descritos en la sección 2.4.
sección iii / diseño de instrumentos y composición algorítmica 147
Para poder calcular la curvatura y torsión de los movimientos de los bailarines, nos apoyamos en el teorema de Frenet-Serrett (Carmo, 1976). El cálculo de estos paráme tros, nos permite caracterizar los movimientos de los bailarines independientemente de su orientación. Cada sensor reporta la posición en el espacio en un cierto tiempo ti. Como se mencionó anteriormente, la velocidad de muestreo es variable.
La curvatura es el cambio del vector tangente unitario a la curva por unidad de longitud de arco de un movimiento, y está definido por: Donde V(ti) es la velocidad de desplazamiento dada por: La expresión dentro de la raíz cuadrada es el determinante de los productos escala res (no punto) de y donde: y el producto punto denota el producto escalar en representa el cambio de posición o velocidad en la dirección X por uni dad de muestreo:
el Callejón del Ruido
De la misma manera representa el cambio en la velocidad (o aceleración en la dirección X) por unidad de muestreo. En forma similar podemos calcular las diferentes derivadas en las direcciones Y y Z.
La torsión es el cambio del vector binormal unitario a la curva por unidad de longitud de arco y se calcula de acuerdo con la siguiente fórmula:
Donde: y representa el cambio en la aceleración. Dado que tenemos hasta terceras derivadas (e.g., ) podemos realizar todos los cálculos a partir de cuatro muestras puntuales en el espacio separado por un lapso determinado de tiempo.
Para poder generar música, nos apoyamos en los desarrollos realizados por el pri mer autor en Escamol (Morales-Manzanares, 1992). Escamol es un sistema de com posición musical en donde se tienen definidos una serie de predicados con los cuales es posible generar música a partir de información musical básica, tal como notas, intervalos1 duraciones de notas en el tiempo e intensidad.
Escamol cuenta con una base de conocimiento, una máquina de inferencia y una interface en Tcl/Tk (Ousterhout, 1993) con Csound2 el cual permite escuchar la música generada por Escamol en tiempo real. Escamol genera también archivos para ser dibujados en partituras en caso de optar por interpretaciones en instrumen tos tradicionales por parte del usuario.
La base de conocimientos de Escamol puede ser actualizada en tiempo real con motivos musicales generadores, ritmos, relaciones entre objetos del tipo: actualiza (Mot1, Mot2,…. Motn), y nuevas reglas. Permitiendo movilidad y contraste entre las secciones de una misma pieza durante su producción en una interpretación en vivo.
Los criterios de composición musical (i.e., las reglas gramaticales) (Morales-Manza nares, 1992) pueden ser cambiadas por el compositor para satisfacer sus preferencias, arquetipos y modelos. Con esto es posible generar música en diferentes estilos, con la misma información de entrada, pero con diferentes reglas o criterios de composición.
Los elementos musicales que requiere Escamol y que pueden controlarse con la información de los sensores son los siguientes:
• El tiempo de duración de un evento musical.
• El grupo de intervalos y ritmos asociados a un evento.
• Volumen (intensidad) de la música a generar.
• El grupo de notas o el motivo musical que sirven de base para la generación de frases musicales y/o variaciones contenidas en una composición.
• Inicialización/terminación de eventos musicales predeterminados.
• Tipo de instrumento (alientos, cuerdas, percusión, etc.) a utilizar en la inter pretación de los motivos previamente generados por los elementos anteriores.
• Determinar los tiempos de interpretación empleados (rápido o lento) en los motivos previamente generados por los elementos anteriores.
1 Un intervalo es la distancia en altura (o frecuencia) entre una y otra nota.
2 Csound es un programa desarrollado por Barry Bercoe en mit que permite la creación de instrumen tos musicales virtuales utilizando diferentes modelos de síntesis s y procesamiento de señales en audio (Moore, 1990 y Schwananauer, 1993).
sección iii / diseño de instrumentos y composición algorítmica
el Callejón del Ruido
Escamol tiene varios predicados que se pueden usar para generar música. Por ejemplo, atasca ([Nl/VlKl. . . , Nn/Vn, Kn], Vars, Tempo/ST ) donde,
• Ni/ViKi indica la nota inicial (Ni) de referencia para la voz Vi generada y que lea en clave Ki, que puede ser clave de sol, fa y do del pentagrama.
• Vars indica el número de variaciones a considerar.
• Tempo/ST indica el tempo metronómico (40, 60, 120, etc.), y ST en el instante en el que debe empezar la secuencia una vez generada. atasca([c4/’2al’,e5/’4tr’],5,60/0)
e5/’4tr’
c4/’2al’
FiguRa 1. Ejemplo de resultado obtenido con Escamol.
Por ejemplo, atasca([c4/’2al’, e5/’4tr’], 5, 60/0)
significa que se van a generar dos voces (c4/’2al’, e5/’4tr’) con 5 variaciones, con 60 como tiempo en el metrónomo y el cuarto empezando inmediatamente (0 segundos). La nota inicial de la primera voz es c4 (do central en piano) y en el caso de optar por el dibujo en partitura, la voz quedará escrita en el cuarto sistema leyendo en clave de do en tercera línea (2al). La segunda voz, es un mi ubicado una octava arriba del do central del piano, y la voz quedará escrita en el cuarto sistema de la partitura leyendo en clave de sol (ver Figura 1). Como se muestra en la Figura 1, las flechas indican las variaciones, que además incorporan a los silencios como motivos también. Este pre dicado en particular, inserta más o menos silencios dependiendo del número de veces que el sistema llame a atasca(). Es decir, si nosotros llamamos 10 veces a este predi
cado, las primeras 3 o 4 iteraciones incluirán más silencios. En la medida que avanza, digamos por la 7a iteración, el número de silencios disminuye casi a 0 y dos antes del final volverá a incorporar a los silencios como parte de las variaciones.
Otros predicados incluyen la generación de música a partir de conjuntos de notas o acordes, con un número variable de voces. En el ejemplo de la Figura 2 el motivo original está en el primer pentagrama contando de arriba hacia abajo. La primera va riación se muestra en el pentagrama que sigue, y la segunda variación con un acompa ñamiento en formato de cuarteto de cuerdas, como se muestra en los últimos cuatro.
FiguRa 2. Ejemplo de resultado de varias voces obtenido con Escamol.
Las flechas indican la posición de las notas originales del motivo inicial.
Los predicados de Escamol pueden generar más de 20 voces simultáneamente e incluyen reglas de contrapunto modal (Morris, 1978), algoritmos que simulan bajos de Alberti, progresiones en armonía tradicional (e.g. círculo de quintas, etc.), técnicas contemporáneas, reglas con principios de gramáticas generativas (Balaban, M. K., 1992; Lucas, 1991; Morales-Manzanares, 1992; Slodoboda, 1985 y 1988) desarrolladas por el primer autor.
Escamol se ha utilizado ampliamente como herramienta para composición e in terpretación musical. Dentro de las obras escritas enteramente con Escamol están: “Una vaga promesa” para ensamble de camara, “Vientos alisios para piano”, “Qué cantidad de noche” pieza para piano y orquesta, entre otras.
En la sección anterior definimos los elementos coreográficos considerados y los elementos musicales a controlar. En esta sección definimos cómo interactúan estos dos elementos.
El control puede realizarse por uno o varios bailarines. Cada sensor puede estar asociado al control de algún o algunos aspectos musicales. La especifica ción sobre qué control se realiza por cada sensor puede cambiarse a lo largo de
sección iii / diseño de instrumentos y composición algorítmica 151
el Callejón del Ruido
una o varias coreografías. Un sensor puede controlar la activación y desactiva ción de otro sensor. Para poder especificar de manera sencilla esta interacción hemos diseñado un lenguaje coreográfico-musical de alto nivel, escrito en Pro log (Allen, 1987; O’Keefe, 1990; Schwananauer, 1993; Sterling, 1986), que nos permite definir:
1. Qué sensor controla qué aspecto musical.
2. Cómo está determinado ese control. Esto es, qué significa en términos musicales el desplazamiento del sensor (e.g., cómo dividir el espacio coreo gráfico, la altura de un sensor, etc.).
3. La producción de secuencias/eventos musicales predeterminados y sus tiempos de interpretación.
Cada sensor tiene asociado un nombre único. El escenario coreográfico se puede dividir en regiones. La especificación de cada región se hace de la siguiente forma: región( IDregión , (X1, Y1, Z1), (X2, Y2, Z2))
Para especificar como controla cada sensor a un determinado aspecto musical, se utilizan reglas[?] con la siguiente sintaxis:
Si IF <condición THEN <acción
Donde:
• Si es el nombre del i-ésimo sensor.
• <condicion>* es una conjunción de condiciones coreográficas a cumplir con la siguiente sintaxis: curvatura_y_torsion(S,Tl,DT,K,T): calcula la curvatura (K ) y torsión (T) seguida por un sensor (S) a partir de un tiempo (T1) y considerando mediciones cada DT . pos_en_región: prueba si la posición de algún sensor se encuentra dentro de alguna región. pos i op pos j/cte: prueba si la posición de algún sensor es >, = o < (op) que la posici,on de otro sensor o que alguna posición fija. vel i op vel j/cte: igual que la condici,on anterior pero con velocidad. salto(S,T,A): prueba si el bailarín(sensor) realizó un cambio de altura (A) en el tiempo T. caida(S,T,A): prueba si el bailarín realizó una caída. tiempo op cte: prueba si el tiempo de la coreografía es >, = o < (op) que algún tiempo fijo. Predicados arbitrarios en Prolog.
• <acción>* es un conjunto de acciones musicales a realizar que pueden in cluir:
Predicados arbitrarios de Escamol que pueden combinar cualquiera de los aspectos musicales descritos en la sección 2.4. Predicados arbitrarios en Prolog.
La información de los sensores se transmite con el siguiente predicado: pos( IDsensor , (X1, Y1, Z1), Tiempo)
A partir de la información de los sensores, SICIB calcula los aspectos coreográficos descritos en la sección 2.2 y evalúa que reglas satisfacen todas sus condiciones. Por ejemplo, un bailarín puede empezar una secuencia musical de dos voces con un salto. Esto se puede especificar con la siguiente regla:
s1 if salto(s1,T,4) then atasca([c4/’4tr’, e5/’5tr’], 5, 60/0).
El espacio coreográfico se puede dividir en cuatro regiones, cada una asociada a un evento musical en particular. Por ejemplo:
region(r1,(0,0,0),(6,4,0)). region(r2,(6,0,0),(12,4,0)). region(r3,(0,4,0),(6,8,0)). region(r4,(6,4,0),(12,8,0)).
s1 if (pos(s1,Pos,1), Pos en r1) then actualiza([h],[‘q.’])
donde el predicado actualiza([h], [‘q.’]), actualiza en la base de referencia para la generación de motivos bases gramaticales. Esto quiere decir, que si el bailarín se mueve dentro de la región comprendida entre las coordenadas (0, 0, 0) y (6, 4, 0) se va a disparar la regla arriba descrita.
En esta sección se describe la arquitectura de sicib (ver Figura 3). La interface y programa principal de sicib está escrito en Tcl/Tk (Ousterhout, 1993). Por medio de la interface, el usuario empieza un proceso de Csound (para producir música), un proceso de Prolog (para correr los programas de las reglas de integración y Esca mol) y un programa en “C”. Este último, programa el puerto serial de una compu tadora “ Silicon Graphics”, para especificar el número de sensores a utilizar, su ve locidad de muestreo (a 38,400 muestras por segundo), y la información a transmitir (posición en el espacio). El usuario puede especificar por cuanto tiempo quiere que los sensores transmitan la información. La información de los sensores tiene que ser descodificada y escalada para dar medidas de posición espacial adecuadas.
sección iii / diseño de instrumentos y composición algorítmica
el Callejón del Ruido
El programa en “C” también filtra la información producida por los sensores. Si una posición no cambia más allá de un cierto umbral (el cual puede variarse para cada sensor), entonces la señal es filtrada. La información de los sensores (filtrada) se manda a través de Tcl/Tk al proceso de Prolog, el cual contiene a Escamol y al interprete de reglas descritas en la sección 3. En Prolog se toma la información de los sensores, se calcula la información coreográfica (ver sección 2.2) y se evalúan las condiciones de las reglas. La regla cuyas condiciones se satisfacen es “disparada” y sus acciones musicales son ejecutadas por Escamol, produciendo finalmente música. En sicib se pueden utilizar diferentes reglas para diferentes coreografías e inclusive una misma coreografía puede tener aso ciada diferentes reglas. Esto significa que se le puede atribuir un significado coreográfico y musical diferente a cada sensor en diferentes instantes de tiempo. La información de los sensores se puede activar o desactivar en diferentes tiem pos durante una presentación.
La primera versión del sistema se probó con el estreno mundial de la obra Espacios virtuales II, del primer autor, en el mes de diciembre de 1996 en el Teatro de Las Artes del Centro Nacional de las Artes (cna). Para esta primera versión se usaron las siguientes restricciones:
• Únicamente se cambió un aspecto musical por sensor a la vez. Nuestra ex periencia inicial con el bailarín nos mostró que un bailarín puede saturarse de información, haciéndole difícil asimilar las consecuencias musicales de sus movimientos.
• Solo se utilizaron motivos musicales cortos (1-3 notas). Debe de existir un balance entre el número de notas que se generan con cambios coreográficos y la velocidad de esos cambios. Esto es, si el sistema no es capaz de producir la cantidad de notas que genera el bailarín al mismo tiempo que los movi mientos que provocan esas notas, la música va a empezar a desfasarse de los movimientos del bailarín.
• Solo se disparó una regla por sensor a la vez. A pesar de que el sistema permite disparar varias reglas al mismo tiempo, con esta restricción las reglas (y la información coreográfica asociada a ella) se puede priorizar. Por ejem plo[1] una caída (y sus implicaciones musicales) puede tener precedencia sobre las posiciones del bailarín en el espacio coreográfico.
Las reglas utilizadas en el concierto consideraron regiones en el espacio, saltos y caídas. Esto es, cada vez que el bailarín cambiaba de región, saltaba o caía se cam biaba el tipo de música generada. Por otro lado, al moverse dentro de una misma región, se producía música de un mismo tipo/estilo. Obviamente no se produce música si no hay movimiento del sensor, y en cualquier momento
Se podía parar la interacción de los sensores y empezar piezas musicales presta blecidas. Los retrasos musicales más largos con respecto a los movimientos corpo rales fueron de al redor de 0.5 segundos.
La música y la danza han sido tradicionalmente manifestaciones artísticas comple mentarias, sin embargo, su integración no ha resultado siempre satisfactoria. En este trabajo se también el desarrollo de un sistema, llamado sicib, que permite generar música a través de movimientos corporales. Esto permite, por un lado, que los bailarines no tengan que ajustarse a una pieza musical predeterminada y puedan improvisar sus movimientos más libremente. Por otro lado, permite crear un instrumento virtual el cual produce música al mover el cuerpo, dando nuevas posibilidades de composición e interpretación musical.
Se definió un conjunto de factores musicales y coreográficos y su relación a tra vés de reglas. La sintaxis de las reglas nos ofrece una herramienta poderosa y a la vez simple para especificar la interacción coreografía-música.
sección iii / diseño de instrumentos y composición algorítmica 155
el Callejón del Ruido
Como trabajo a futuro planeamos adquirir más experiencia en el uso de sicib con bailarines. En particular, no queremos que el bailarín piense demasiado acerca de sus movimientos para producir una pieza musical coherente. La idea es que los movimien tos del bailarín sean lo más “natural” posibles de acuerdo con la música generada. Tam bién estamos explorando la posibilidad de usar cámaras para capturar la posición global del bailarín. La más obtenida de los sensores juega un papel fundamental en la caracteri zación de los movimientos de un bailarín, sin embargo, el uso de cámaras nos podría dar una visión global del bailarín lo cual sería difícil obtener a partir de los sensores. Final mente, estamos considerando afectar también la iluminación a partir de movimientos.
Queremos agradecer a la Universidad de Guanajuato, al Centro Multimedia (cm) del Centro Nacional de las Artes (cna) por su entusiasmo y voluntad para con este proyecto así cómo, el apoyo personal y tecnológico del grupo de Realidad Virtual sin el cual hubiera sido imposible siquiera pensar en el proyecto. Al Grupo de Geometría Diferencial del cimat, por sus valiosas aportaciones al proyecto y en especial a Andrea Di Castro (Director del cm), Adolfo Sánchez Valenzuela (cimat), Alejandra Viana (bailarina) y Raúl Parrao (bailarín y coreógrafo).
Allen, J. (1987). Natural Language Understanding. The Benjamin/Cummings Publishing Company.
Balaban, M. K., Ebciglu1 and O. Laske. (1992). Understanding Music with AI. The aaai Press/The mit Press.
Carmo, M. Do. (1976). Differential Geometry of Curves and Surfaces. Prentice Hall. Clocksin, W. F., C. S. Mellish. (1987). Programming in Prolog. Springer-Verlag. Dodge, C., J. Jerse. (1987). Computer Music. Shirmer Books.
Lerahl, F. and R. Jackendoff. (1983). A Generative Theory of Tonal Music mit Press. Lucas, P. y L. van der Gaag. (1991). Principles of Expert Systems. Addison Wesley. Moore, F.R. (1990). Elements of Computer Music. Prentice Hall.
Morales-Manzanares, R. (1992). Non Deterministic Automata Controlled by Rules for Composition. Proceedings of the International Computer Music Conference (icmc), (pp. 4OO - 4O1).
Morris, R.O. (1978). Contrapuntal Technique in the Sixteenth Century. Oxford University Press.
O’Keefe, R. (1990). The Craft of Prolog. The mit Press.
Ousterhout, J.K. (1993). Tcl and Tk Toolkit. Addison-Wesley.
Schwananauer, S.M. y D.A. Levitt. (1993). Machine Models of Music mit Press.
Slodoboda, J.A. (1985). The Musical Mind. Oxford Psychology Series: No. 5. Clarendon Press, Oxford.
_______. (1988). Generative Processes in Music. Clarendon Press, Oxford.
Sterling, L. y E. Shapiro. (1986). The Art of Prolog: Advanced Programming Technics. The mit Press.
Welch, B. B. (1995). Practical Programming in Tcl and Tk. Prentice Hall.
Las aplicaciones de la inteligencia artifi cial al campo del sonido y la música han sido generalmente planteadas a partir del abordaje metodológico de lo que se conoce como ingeniería de descriptores (feature engineering). A partir de la in troducción de las técnicas de aprendiza je profundo a este contexto, se transita de la ingeniería de descriptores a lo que se denomina aprendizaje fin-a-fin (endto-end learning), en el sentido de que con el uso de las técnicas de aprendiza je profundo, no es necesario realizar la etapa del análisis de los descriptores a mano (feature engineering) sino que es la propia arquitectura del perceptrón multicapa la que va estableciendo/de velando los patrones descriptivos de la fuente de información; en este caso, el espectrograma. Bajo este planteamiento, todas las técnicas y algoritmos ya pro bados para el reconocimiento de imagen (desde el punto de vista del aprendizaje profundo) podrían ser aplicables para estos fines. Por otro lado, el aprendizaje profundo también está permitiendo de sarrollar modelos que pueden generar de manera automática, secuencias mu sicales (en algún estilo predefinido) con
un alto nivel de coherencia composicio nal no solo local (como se había logrado con anterioridad) sino para estructuras cada vez más macro. En este trabajo se hace un análisis de revisión de las técni cas actuales al respecto del aprendizaje profundo enfocado en aplicaciones mu sicales y de análisis de audio y se mues tran una serie de los últimos avances al respecto con el fin de establecer un pa norama del estado del arte al respecto de manera tal que el lector pueda co nocer y familiarizarse con el desarrollo tecnológico de aplicaciones potenciales para la composición-creación musical.
Análisis matemático del aprendizaje profundo, redes neuronales, teoría ma temática e inteligencia artificial, sonido y aprendizaje profundo, música e inteli gencia artificial.
Las aplicaciones de la inteligencia ar tificial al campo del sonido y la músi ca han sido generalmente planteadas a partir del abordaje metodológico de lo que se conoce como ingeniería de
el Callejón del Ruido
descriptores (feature engineering), a través del cual, las características o parámetros sonoros de bajo/alto ni vel asociados a la data de entrada (zcr, rmse, contraste espectral, mfcc, etc.), son calculados de manera manual por el usuario para después alimentar con esta información a algún algoritmo de clasificación supervisada/no supervi sada. Esta perspectiva, asociada a las técnicas de aprendizaje automático denominado “tradicional”, ha rendido bastantes buenos resultados y ha per mitido establecer metodologías alter nativas en pos de una mejor eficiencia tanto de cálculo computacional como de precisión de resultados.
Entre estas alternativas actuales, re saltan diversas técnicas de lo que se co noce como aprendizaje profundo (deep learning) tanto para aprendizaje no supervisado, aprendizaje supervisado y aprendizaje híbrido. Al día de hoy, las técnicas de aprendizaje profundo que han sido desarrolladas con mayor énfasis para aplicaciones diversas, incluyen (para modelos discriminativos profundos) las redes neuronales profundas (Deep Neu ral Networks, dnn), las redes neuronales de convolución (Convolutional Neural Networks, cnn) o las redes neuronales recurrentes (Recurrent Neural Networ ks, rnn). Por su parte, para el caso de los modelos generativos/no supervisados es posible destacar a las máquinas restrin gidas de Boltzmann (Restricted Boltz mann Machine, rbm), las redes neurona les de creencia profundas (Deep Belief Networks, dbn), las máquinas profundas de Boltzmann (Deep Boltzmann Machi nes, dbm), los autocodificadores en sus distintas versiones (Autoencoders) o los modelos ocultos/jerárquicos de Markov (Hierarchical/Hidden Markov Models, hmm/hhmm).
En este contexto además, en los úl timos años algunos autores han estado realizando diversos esfuerzos por esta blecer lo que se ha denominado análi sis matemático del aprendizaje profundo (Berner et al, 2021), la cual implica el uso de teoría matemática para formali zar resultados, definiciones y conceptos propios del aprendizaje profundo y de la denominada teoría del aprendizaje, a través de teoría matemática relacionada con la topología, la teoría de la medida, el análisis funcional y el análisis convexo. Además de lo anterior, destaca también en el mismo contexto del aprendizaje máquina en general, el reciente enlace interdisciplinar con la teoría matemática de categorías utilizada sobre todo como una propuesta de lenguaje unificador y de formalización.
aPliCaCiones de aPrendizaje Profundo en el audio y la músiCa
Para el caso particular de aplicaciones de análisis de audio, clasificación musical (o tagging) y reconocimiento de géneros, se han adoptado y adaptado con gran éxito, técnicas de aprendizaje profundo para reconocimiento de imagen utilizan do espectrogramas como data input y aplicando estructuras de redes neurona les recurrentes y lstm (Long-short term memory), sobre todo para resolver las dificultades de la coherencia/consisten cia musical en intervalos de tiempo con siderables (macroestructura y noción de forma, desde lo musical) para el tono, el ritmo y/o la dinámica. De este modo, el planteamiento metodológico transi ta de la ingeniería de descriptores a lo que se denomina aprendizaje fin-a-fin (end-to-end learning), en el sentido de que con el uso de las técnicas de apren dizaje profundo, no es necesario realizar
la etapa del análisis de los descriptores a mano (feature engineering) sino que es la propia arquitectura del perceptrón multicapa la que va estableciendo/de velando los patrones descriptivos de la fuente de información; en este caso, el espectrograma. Bajo este planteamiento, todas las técnicas y algoritmos ya pro bados para el reconocimiento de imagen (desde el punto de vista del aprendizaje profundo), pueden ser trasladados para el análisis del habla, el análisis de audio y por lo tanto, para aplicaciones de alto nivel asociadas a la clasificación musical en general a partir del análisis visual del espectrograma.
Pero no solo eso, bajo todo este cor pus teórico-práctico, se han desarro llado además, implementaciones par ticulares y específicas de composición musical asociadas a estilos específicos, tales como Magenta1 de Google Brain, WaveNet2 o los proyectos Jukedeck (re cientemente absorbida por la plataforma TikTok), Aiva,3 Amper4 y FlowMachi nes5 entre otros.
En este sentido, el aprendizaje pro fundo se ha posicionado desde hace al gunos años, como una alternativa mucho más eficiente y precisa para el análisis de audio (y por ende, para implementacio nes de clasificación, composición musi cal y procesamiento digital de audio con fines creativos) que el planteamiento feature engineering del aprendizaje au tomático “tradicional”.
anteCedentes de redes neuronales aPliCadas a la músiCa y sonido
Como menciona Mcdonald (2017), Peter Todd y Michael C. Mozer son reconoci dos como pioneros en realizar intentos por generar música con rnn (a finales de los noventa). Chen et al. (2001) plantean
también un modelo rnn para generar música que está restringido a una sola voz sin armonía. Lewandosky et al. (2012) proponen un modelo que es capaz de generar secuencias de alto nivel asocia das a la música polifónica. Por su parte, Liu et al. (2015) desarrollan otro mode lo rnn para analizar y generar música en el estilo de Bach, mientras que Huang y Wu (2016) plantean un modelo basado en redes neuronales profundas capaz de generar secuencias composicionales mu sicales coherentes en melodía y armonía a nivel local y para periodos temporales re lativamente cortos. Vaswani et al. (2018) proponen un modelo denominado Music Transformer, el cual es capaz de reducir los requerimientos de memoria asociados a la generación de secuencias musicales largas, a través de un mecanismo modifi cado de atención relativa.
Aparte de las plataformas y desarro llos ya mencionados en la introducción, es necesario también hacer referencia al sistema Watson Beat6 el cual es capaz de producir pistas completas en diferentes y específicos géneros musicales a partir de un motivo melódico. Gulrajani et al. (2017) proponen por su parte, un mo delo para generación incondicional de audio a partir de la combinación de per ceptrones multicapa autorregresivos y rnn dentro de una estructura jerárquica que es capaz de captar las fuentes sub yacentes de variación en secuencias mu sicales sobre periodos largos de tiempo. Wang et al. (2017) desarrollan como parte de Google Team, Tacotron, un sistema generativo que sintetiza el habla directamente a partir de caracteres in troducidos como texto.
Ulyanov (2016) propone síntesis de textura de audio y transferencia de es tilo musical a partir del análisis de es pectrogramas. Sobre la misma línea,
sección iii / diseño de instrumentos y composición algorítmica 159
el Callejón del Ruido
como bien plantea McDonald (2017), autores independientes como Leon Fe dden, Memo Akten y Max Frenzel, de sarrollan aportes de generación musical a partir del análisis visual de aprendi zaje profundo del espectrograma. Mi tal (2017) y Mor et al. (2018) también desarrollan implementaciones exitosas asociadas a la transferencia de estilo musical, al tiempo que en 2017 Deep Mind publica la Parallel WaveNet7 un método nuevo basado en Destilación de densidad de Probabilidad para entrenar redes paralelas feed-forward a partir de WaveNet.
Apenas en junio de este año, el equipo de Magenta, Cangea et al. (2022), lo graron desarrollar una arquitectura au toregresiva denominada Perceiver ar, la cual está basada en un trabajo previo de ellos mismos llamado Perceiver io y Perceiver; todos ellos basados en algo ritmos de tipo Transformer Este nue vo Perceiver AR permite una mejoría notable en la eficiencia computacional del algoritmo, lograda no solo por la im plementación de la arquitectura autore gresiva sino también por la flexibilidad establecida al respecto del tipo de data mixta que puede ser procesada de ma nera conjunta (texto e imagen) por toda la arquitectura, en vez de necesitar uti lizar tipos separados de redes neurona les como comunmente se había venido utilizando. De acuerdo con sus autores, este desarrollo “es capaz de generar muestras de alta calidad tan largas como 65k tokens; el equivalente a minutos de música o piezas enteras”.
Por la misma temporada, el equipo de Magenta encargado de la parte de dsp (Digital Signal Processing), libera
ron su vst denominado: ddsp-vst Neu ral Audio Synthesis for All, el cual su pone el desarrollo de una herramienta computacional específica para procesa miento de audio en tiempo real basa do en lo que se ha denominado síntesis neuronal. Este tipo de procesamiento fue denominada ddsp, el cual “combi na la eficiencia y la interpretabilidad de los elementos clásicos del dsp (filtros, osciladores, reverberadores, etc.) con la expresividad del aprendizaje profundo” (Jurek et al, 2022). El proceso general de esta técnica (la cual está optimiza da para audio en tiempo real y de baja latencia) está compuesta por tres fases generales las cuales corresponden: a) extracción de descriptores, b) controles de predicción dsp y c) síntesis. La pri mera etapa hace uso de dos parámetros básicos, el rsm (como representación del volumen) y la altura (obtenida a través de una red neuronal previa, en trenada específicamente para ello). La segunda etapa utiliza dos tipos de sin tetizador para cada altura y amplitud que recibe: del tipo aditivo armónico y del tipo sustractivo de ruido.
Por otro lado, otro avance notable en el campo del aprendizaje profundo que puede tener aplicaciones potenciales importantes en el campo de la música electroacústica multicanal, es el trabajo de Francl y Dermott (2022) al respec to de la localización espacial del sonido con el objetivo de estudiar los proce sos que inducen como la percepción se adapta a entornos y ambientes reales. En este trabajo, los autores desarrollaron si muladores virtuales acústicos mediante brir (binaural room impulse responses), con el fin de entrenar distintas arquitec turas de redes neuronales implementa das con características propias de hrtf, pero con una especificidad particular (al
respecto del entrenamiento de las redes) para cada uno de los aspectos genera les de la localización espacial del sonido como el preprocesamiento del estímulo mediante un modelo coclear, la integra ción de fuentes sonoras naturales con fuentes sonoras que corresponden a rui do de fondo, y la simulación de ambien tes no naturales a partir de característi cas como entornos anecoicos y fuentes sonoras no naturales.
En esta misma línea, Pujol et al. (2021) presentaron una arquitectura de aprendi zaje profundo denominada BeamLear ning, la cual es capaz de realizar locali zación espacial del sonido enfocada en lo angular (al respecto del azimuth), a partir de data de presión sonora acústica mul ticanal. De acuerdo con los autores, este trabajo es una perspectiva que permite codificar información relevante conteni da en las señales acústicas no procesadas captadas por arreglos de micrófonos y a partir de los resultados obtenidos, los beneficios más notables están orientados a tareas de localización de audio 2D en tiempo real para ambientes reverberantes y con ruido considerable.
Finalmente, aunque un poco más hacia atrás, resalta el trabajo de Gao y Grauman (2019), quienes desarrollaron un sistema de aprendizaje profundo (ba sado en redes de convolución), capaz de crear en el individuo, la sensación de tri dimensionalidad de un sonido que origi nalmente es monoaural, mediante el uso asistido de un video. De acuerdo con los autores, este sistema es capaz de apren der como decodificar una señal monoau ral en su contraparte binaural mediante la conjugación de la información visual del objeto y la información de la esce na auditiva. Esto permite (a partir de la información visual) que el sistema pue da deducir la dirección de los sonidos y
modificar las correspondientes diferen cias interaurales en tiempo y amplitud para generar el efecto final de audio 3D.
El campo de la inteligencia artificial ha significado en general para la música, una incubadora de posibilidades para la creación, concepción y producción de ejercicios y obras asociadas a los diver sos procesos computacionales respecti vos. Desde el aprendizaje profundo, se ha buscado lograr una mejor precisión y efi ciencia tanto en los procesos como en los resultados en general de los algoritmos, por lo que estas posibilidades incluyen el procesamiento de audio en tiempo real, la clasificación espectromorfológica (vía descriptores) y como ya hemos visto, la clasificación musical y composición de motivos (y en algunos casos, secuencias musicales más largas) con alta coherencia en cuanto a la forma y estilo. Si bien, desde el punto de vista computacional estos lo gros significan un avance realmente con siderable al respecto de la eficiencia y el contexto de la predicción, muchas veces, desde el contexto musical-composicional actual, no se le suele dar la importancia adecuada quizá porque no representan herramientas completamente finalizadas y con funcionalidades específicas que cu bran necesidades de exploración concre tas. Si bien muchas de estas herramientas ya pueden al día de hoy utilizarse como procesos tecnológicos de asistencia crea tiva en su presentación actual, la mayoría de ellos representan investigaciones en curso de alto nivel que requieren el es fuerzo de diversos grupos de investiga dores y expertos. En términos generales, parece ser que el panorama es bastante prometedor sobre todo con el desarrollo reciente de los denominados transfor
sección iii / diseño de instrumentos y composición algorítmica 161
el Callejón del Ruido
mers y las adaptaciones de los algoritmos para arquitecturas recursivas que están permitiendo una mejora considerable en la cantidad de procesamiento y memoria (por parte de las redes neuronales) reque ridos para las tareas asignadas, permitien do con ello, abrir las posibilidades para el desarrollo de herramientas computacio nales concretas de uso masivo (tales como el NeuroSynth por ejemplo).
1 Proyecto de investigación de código abierto que explora el papel del aprendizaje automá tico como herramienta en el proceso creati vo. https://magenta.tensorflow.org/
2 La arquitectura de red neuronal WaveNet genera directamente una forma de onda de audio sin procesar, mostrando excelentes re sultados en la generación de audio de texto a voz y en general. github.com/ibab/tensor flow-wavenet.
3 Véase: https://www.aiva.ai/ 4 Véase: https://www.ampermusic.com/ ⁵ Véase: http://www.flow-machines.com/ ⁶ Véase: https://www.ibm.com/watson/mu sic/uk-en/ 7 Google Team publica Tacotron II, y esto ge nera el desarrollo de ClariNet, WaveGlowy FlowWaveNet
Bastien, Frédéric, Pascal Lamblin, et. al. (2012). Theano: new features and speed improvements. Deep Learning and Unsupervised Feature Learning nips. Workshop. Bengio, Yoshua. (2009). Learning deep ar chitectures. Foundations and trends in Machine Learning, 2(1), 1–127. Berner, Julius, Philipp Grohs, Gitta Ku tyniok & Philipp Petersenz. (2021). The Modern Mathematics of Deep
Learning. Cambridge University Press.
Bertin-Mahieux, T., D. Eck, and M. Mandel. (2010). Automatic tagging of audio: The state-of-the-art. En W. Wang, editor. Machine Audition: Princi ples, Algorithms and Systems igi Publishing.
Cangea, Catalina, Charlie Chen, Drew Jae gle, Curtis Hawthorne & Ian Simon. (2022). Autoregressive long-context music generation with Perceiver ar. [Blog]. https://magenta.tensorf low. org/ddsp-vstblog
Choi, K., G. Fazekas, M. Sandler, and K. Cho. (2017). “Transfer learning for music classification and regression tasks. En Proc. Int. Society for Mu sic Information Retrieval Conf. (pp. 141–149), Suzhou, China. Collins, Nick. (2010). Computational analysis of musical influence: A mu sicological case study using mir tools. ISMIR. Université de Montréal, 177–182.
Dieleman, S. et al. (2016). Wavenet: a gene rative model for raw audio. Dimiduk, D. M., E. A. Holm, y S. R. Niez goda. (2018). Perspectives on the impact of machine learning, deep learning, and artificial intelligence on materials, processes, and structures engineering. Integrating Materials and Manufacturing Innovation, 3(7), 157–172.
E. J. Humphrey, J. P. Bello, and Y. LeCun. (2013). Feature learning and deep architectures: New directions for music informatics. Journal of In telligent Information Systems, 3(41), 461–481.
Francl, Andrew & Josh H. McDermott. (2022). Deep neural network mo dels of sound localization reveal how perception is adapted to real-world
environments. Nature Human Beha viour, (6).
Fu, G. Lu, K. M. Ting, and D. Zhang. (2011). A survey of audio-based mu sic classification and annotation. ieee Trans. Multimedia, 2(13), 303–319. Gao, Ruohan & Kristen Grauman. (2019). 2.5D Visual Sound. IEEE. Confe rence on Computer Vision and Pa ttern Recognition.
Gulrajani A. et al. (2017). Samplernn: an un conditional end-to-end neural audio generation model. ICLR. Jurek, Megan, Nikhil Bhanu, WilsonZhao, Søren Nielsen, Sehmon Burnam & Jesse Engel. (2022). ddsp-vst: Neu ral Audio Synthesis for All. [Blog]. https://magenta.tensorflow.org/ ddsp-vst-blog Kim, T., J. Lee, and J. Nam. (2018). Sam ple-level CNN architectures for mu sic autotagging using raw waveforms. En Proc. ieee Int. Conf. Acoustics, Speech, and Signal Processing, (pp. 366–370). Aalborg, Dinamarca. Krizhevsky, A., I. Sutskever, and G. E. Hin ton. (2012). ImageNet classification with deep convolutional neural ne tworks. En Proc. Advances in Neu ral Information Processing Systems, Lake Tahoe, (pp. 1097–1105). Lattner, S. et al. (2018). Imposing Hi gher-Level Structure in Polyphonic Music Generation using Convolutio nal Restricted Boltzmann Machines and Constraints. McDonald, K. (2017). Neural Nets for Generating Music. https://medium.
com/artists-and-machine-intelligen ce/neu-ral-nets-for-generating-mu sic-f46dff ac21c0 N. Boulanger-Lewandowski, Y. Bengio, and P. Vincent. (2013). Audio chord re cognition with recurrent neural ne tworks. ismir. Université de Montréal. Oramas, S., O. Nieto, F. Barbieri, and X. Se rra. (2017). Multi-label music genre classification from audio, text and images using deep features. Int. So ciety for Music Information Retrie val Conf., Suzhou, China, 23–30.
Pikrakis, A. (2013). A deep learning approach to rhythm modeling with applications. In Proc. Int. Workshop Machine Learning and Music. Pons, J., O. Slizovskaia, R. Gong, E. Gómez, and X. Serra. (2017). Timbre analysis of music audio signals with convo lutional neural networks. European Signal Processing Conf., Kos, Gree ce, 2744–2748. Simonyan, K. et al. (2017). Parallel Wave Net: Fast High-Fidelity Speech Syn thesis. Simovici, Dan. (2018). Mathematical Analy sis for Machine Learning and Data Mining. World Scientific. Ulyanov D. & Lebedev V. (2017). Au dio texture synthesis and style transfer. https://dmitryulyanov. github.io/audio-texture-synthe sis-and-style-transfer/
Vaswani, et al. (2018). Music Transformer. Wang X. et al. (2017). tacotron: towards end-to-end speech synthesis. Inters peech.
sección iii / diseño de instrumentos y composición algorítmica
1971-2021
claRence baRlowresumen
Desde 1971, cuando dejé atrás 14 años de composición espontánea, mi trabajo ha sido principalmente de naturaleza algorítmica. Parte de ella ha sido generada por conjuntos de algoritmos individuales desarrollados para su uso múltiple, deriván dose las propiedades de los resultados de la entrada. En otros casos, los algoritmos se utilizaron una sola vez, con el propósito específico de generar una sola obra. Los algoritmos iban desde instrucciones verbales hasta programas informáticos.
De las noventa y tantas piezas que he compuesto desde 1971, aproximadamente una cuarta parte surgió de tres partituras de texto, Textmusic (que convierte el tex to escrito en notas), ...until... (que trabaja sistemáticamente con las relaciones de intervalo) y Relationships (que trabajan con la complejidad variable de la armonía y la métrica). Otra cuarta parte de las piezas fueron generadas principalmente por dos programas informáticos de creación propia: txms y Autobusk (de los que ha blaré más adelante). Otra cuarta parte de mis composiciones desde 1971 han sido el resultado de conjuntos de algoritmos dedicados a un solo uso. Programas como Synthrumentator y Spectasizer (para convertir sonidos del habla en partituras ins trumentales) se utilizaron para generar partes y fragmentos de otras composiciones.
En este artículo me refiero a los programas informáticos txms, Autobusk y Syn thrumentator, así como a cinco composiciones generadas por programas informáticos dedicados, ...or a cherish’d bard... (1999), Approximating Pi (2007), Five Dode caphonic Pieces (2016- 2017), Coronialus (2020) y Evanescent Evidence (2021).
En 1970, la música “dependiente de la tradición” que escribí derivaba fuertemen te de las técnicas seriales de compositores desde Schoenberg hasta Stockhausen.
Mientras lo hacía, me detuve a considerar si podía hacer música utilizando con ceptos exclusivamente de la vida cotidiana. El resultado fue Textmusic de abril de 1971, instrucciones para hacer una pieza para piano. Basándome en la ortografía de un texto completamente arbitrario, estructuré los conceptos lingüísticos letras, sílabas, palabras, frases y oraciones, los colores de las teclas negro/blanco/mixto, así como los rasgos físicos alto/suave, corto/largo y (pedal derecho) pisado/suelto, todos ellos derivados de términos cotidianos:
Tome un texto compuesto por varias palabras, frases u oraciones. Prepara las teclas del piano de la siguiente manera: Se marca una tecla en el centro del teclado con la primera letra del texto elegido. Las siguientes teclas del mismo color, alternando a la izquierda y a la derecha (o viceversa), se tratan con las letras sucesivas del texto; si una determinada letra aparece por segunda vez, debe dejarse de lado, y en su lugar se toma la siguiente letra que aún no haya aparecido, hasta que todas las letras del texto estén representadas en el teclado.
A continuación se repite este procedimiento con las teclas del otro color, y luego una tercera vez, sin tener en cuenta el color de las teclas.
Ahora se puede “reproducir” el texto según los tres sistemas de colores y uno puede
1. reproducir las letras solas, o juntas en forma de sílabas, palabras, frases (en su orden de aparición en el texto) o incluso una frase entera; en todos los casos, el sonido debe repetirse tantas veces como el número de sílabas que contenga, 2. cambiar la posición del pedal derecho (entre presionado y liberado), la so noridad (entre fuerte y suave) y la longitud del sonido (entre corto y largo en el cambio de sílaba, y el color de la tecla en el cambio de palabra.
La Figura 1 ejemplifica la aplicación de estas reglas al texto Ping de Samuel Beckett, que comienza: “All known all white bare white body fixed one yard legs joined like sewn”. Las 25 letras diferentes del texto alknowhitebrdyfxgsjquvcmp (falta la z) se asignan sucesivamente a un número igual de teclas negras (pentatónicas), blancas (diatónicas) y de color mixto (cromáticas). La Figura 1 muestra, arriba a la izquier da y arriba a la derecha, cómo se asignan estas 25 letras cromáticamente, abarcando exactamente dos octavas; también se muestran las notas de apertura de la partitura hasta “unirse”. En la asignación diatónica, las 25 letras abarcan 3½ octavas, en la asignación pentatónica 5 octavas.
el Callejón del Ruido
FiguRa 1. La asignación cromática de las 25 letras diferentes de Ping, de Beckett, a las teclas del piano según las reglas descritas en Textmusic. También se muestra: la apertura de la versión 6 de Textmusic, basada en el texto de Beckett.
Poco después de elaborar las reglas de Textmusic, me di cuenta de que su natu raleza algorítmica se prestaba a ser incorporada a un programa informático para la generación automática de múltiples versiones de la pieza, incluso siguiendo diseños de personas distintas al mío. De hecho, de las 15 versiones que se realizaron entre 1971 y 1984, un programa informático generó seis, de las cuales tres fueron dise ñadas por otros.
El programa en cuestión, escrito entre 1971 y 1972 en Fortran, se llamaba txms (de Textmusic), y su entrada se introducía primero en un cuadro de formulario adjunto, que se muestra en la Figura 2.
FiguRa 2. Este gráfico muestra los campos para introducir los valores de los parámetros para generar por ordenador una versión de Textmusic. Las curvas aquí son para la versión 4, basada en el texto de la propia partitura verbal de instrucción.
txms es un programa estocástico que genera notas según probabilidades previamente in troducidas como transiciones en el cuadro anterior (aquí para la versión 4 de Textmusic), desde donde se leen los valores más destacados y se teclean como entrada. Tomé el campo superior para la distribución de letras, sílabas, palabras, frases y oraciones. A la izquierda,
creación, análisis y teoría
sección iv
lo que significa el comienzo de la pieza, la probabilidad de letras simples (nivel 1, notas simples) es de 100%. Una columna más adelante (la 1/20va parte de la pieza, numerada arriba de cinco en cinco), la probabilidad de las sílabas (nivel 2), inicialmente en el 0%, se empieza a incrementar, la de las letras disminuye, hasta que al final de la columna 4 se sitúan respectivamente entre el 70% y el 30%. Para entronces, la probabilidad de las pala bras (nivel 3) se fija instantáneamente en el 30%, la de las sílabas en el 40%, la de las letras permanece fija en el 30%, valores que son válidos hasta el final de la columna 8, donde la probabilidad de las palabras salta al 100% y se mantiene hasta el final de la columna 10. A todo esto, los números aleatorios —basados en la probabilidad respectiva— determinan si una una sola letra se convierte en una nota, o las letras que forman parte de una sílaba, palabra, frase u oración en un acorde.
El mismo sistema se utiliza para los demás parámetros: color, volumen, duración y pedal. Por ejemplo, al principio de la pieza, el color de la tonalidad es totalmente mixto (cromático), una mitad aleatoria de las notas es fuerte y la otra mitad suave, una mitad aleatoria de las notas es corta y la otra mitad es larga, y el 70% de los eventos se tocan con el pedal pisado y el 30% con él liberado.
A principios de la década de 1970 había una escasez de programas de notación disponibles. Entre 1972 y 1976 escribí el primero, ЖSC, con notas, repletas de pli cas y grupos (8vos, tresillos, etc.), dibujadas en un plotter y claramente legibles para un un intérprete, (el Ж es un comodín para las letras K, L y M en los tres módulos principales: “Keyboard reader”, “Lister” y “Music writer”, y el SC significa “parti tura”). La salida de TXMS era una especie de notación de pentagrama destinada a las impresoras de líneas regulares de la época, lo que hacía relativamente fácil copiar la música a mano una ves impresa la partitura resultante. Los caracteres utilizados eran [|] para las líneas de pentagrama (verticales) y las barras, [0] para las cabezas de nota, [-] para las plicas (horizontales), [#] para los sostenidos. Sobreimprimien do, conseguí resultados como los reconstruidos y mostrados en la Figura 3: un 8vo D5-sostenido seguido de un un 16avo D5-natural (cada accidente se aplica a la nota que precede), tal y como se leería de arriba a abajo en la clave de sol.
FiguRa 3. Un ejemplo reconstruido de la salida impresa de txms con pentagrama, cabezas de nota, plicas, grupos y accidentes.
En 1975, tras dejar atrás el serialismo en mi trabajo, me intrigó la idea de considerar la tonalidad y la métrica, rechazadas por los serialistas y abrazadas por los conserva dores, como fenómenos físicos que se manifiestan como campos de fuerza variable. Trabajé para que la música se moviera en un continuo que iba de lo atonal a lo to nal, de lo amétrico a lo métrico. Para ello, en 1978 encontré soluciones algebraicas
suficientemente satisfactorias y ejemplificadas en el campo de la tonalidad por las fórmulas de indigestibilidad numérica y de armonicidad interválica que se muestran en la Figura 4 y en las tablas de la Figura 5.
FiguRa 4. Fórmulas para la indigestibilidad de un número natural y la armonicidad de un cociente de intervalos.
FiguRa 5. Tablas para la indigestibilidad de un número natural y la armonicidad de un cociente de intervalos.
Basándome en una evaluación algebraica que determina la cualidad de los números naturales basada en su tamaño y divisibilidad, a lo que determiné cómo indigestibi lidad (según la cual los primos pequeños y sus productos son más “digeribles” que los productos que contienen primos más grandes), la fórmula de la armonicidad de una relación de intervalos arroja valores como +1.0 para la octava 1:2, +0,273 para
sección iv / creación, análisis y teoría
el Callejón del Ruido
la 5ª perfecta 2:3th , -0,214 para la relación 3:4th de la 4ª perfecta (el signo negativo indica una polaridad a la nota superior, aquí en este caso la raíz del intervalo; y el positivo, una polaridad hacia la nota inferior de la raíz), y +0.119 para la 3ª mayor 4:5 etc., como se ve en la figura 5.
Con estas fórmulas podía racionalizar las escalas conocidas por el tamaño del intervalo, por ejemplo, la escala cromática dada como múltiplos de 100 cents se racionalizaba a 1:1 15:16 8:9 5:6 4:5 45:32 2:3 5:8 3:5 5:9 8:15 1:2, una afinación conocida y aceptada desde hace siglos. Cualquier conjunto de tonos conocido en términos de cents puede ser racionalizado de forma similar por los algoritmos de armonicidad descritos anteriormente.
Pasando a la métrica, otro conjunto de fórmulas rige las propiedades métricas de la música que me propuse componer y están mostradas en la Figura 6. A con tinuación se explicarán los términos que he introducido (los más importantes son estratificación e indispensabilidad métrica), junto con los términos de uso general.
FiguRa 6. Fórmulas de indispensabilidad métrica de los pulsos en metros primos y en metros multiplicativos.
Una métrica de compás es un concepto primo, es decir, contiene un número primo de unidades de tiempo iguales (aquí llamadas pulsos), por ejemplo, 2, 3, 5, 7, 11, etc., o multiplicativo, es decir, contiene como cantidad de pulsos un producto de primos, por ejemplo, 4, 6, 8, 9, 10, etc. Las métricas aditivas (por ejemplo, 3+3+2 pulsos = 8) no se contemplan aquí. Las métricas de compás presentan una cierta estratifica ción, por ejemplo, la que se muestra en la Figura 7 de la izquierda. Una métrica de compás de 12 impulsos, por ejemplo, puede dividirse de tres maneras, en 3 grupos de 2 grupos de 2, es decir, 3x2x2, o en cambio 2x3x2, o 2x2x3. Esta última estra
tificación se ve en la Figura 7: el primer nivel métrico contiene una nota o unidad de tiempo, el segundo nivel, dos unidades, el tercero 4 y el cuarto 12. Las unidades de tiempo de los dos niveles métricos superiores pueden denominarse como beat o acento, y las de los niveles inferiores, pulsos, aunque cuanto más largo sea un compás primo, menos relevante será la distinción entre acento y pulso; aquí se utiliza “pulso” para ambos. Las métricas de compás primo tienen una estratificación de un nivel.
FiguRa 7. Ejemplos de estratificación y dilución rítmica.
Dicho esto, a continuación esbozo el método para evaluar la relevancia métrica relativa de cualquier pulso en una métrica de compás primo o multiestratificado, denominando su indispensabilidad métrica, calculable mediante las fórmulas de la Figura 6 (no expli cadas aquí). Mi punto de partida es la indispensabilidad prima Ψ (psi en mayúsculas, en la Figura 6, arriba) para las metricas de compás primos (por ejemplo, 1-0 para una métrica de compás de 2 pulsos, 2-0-1 para una métrica de compás de 3 pulsos, 4-0-31-2 para una mátrica de compás de 5 pulsos, etc. La siguiente es la indispensabilidad multiplicativa ψ, (psi en minúsculas, en la Figura 6, abajo), derivada de las indispensa bilidades del componente primo de la métrica de compases y pulsos. Cuanto mayor sea la indispensabilidad, más relevante será el pulso para el mantenimiento de la métrica.
Las indispensabilidades de una métrica de compás de 6 pulsos estratificado como 3x2 (por ejemplo, 3/4) son 5-0-3-1-4-2, como 2x3 (por ejemplo, 6/8) 5-02-4-1-3.
La Figura 7 muestra a la derecha un sistema de dilución rítmica para ilustrar la indispensabilidad. Eliminando los ataques en orden de indispensabilidad creciente, empezando por el 0, se ve que los ritmos anotados correspondientes conservan la sensación métrica hasta el final, tanto en 3/4 como en 6/8.
Las fórmulas de armonicidad interválica e indispensabilidad métrica —junto con varios otros algoritmos relevantes— se incorporaron al programa en tiempo real Autobusk, que escribí en Pascal entre 1986 y 2000 (desde 1987 en un orde nador Atari ST). Dos módulos auxiliares importantes son hrm (para Medidas de
sección iv / creación, análisis y teoría
el Callejón del Ruido
Racionalización Armónica), para la compilación de escalas introducidas como valo res con cents —en listas de armonicidades de grado de escala, y el idp (para Pro grama de Determinación de Indispensabilidad) para la compilación de métricas por compas introducidas como estratificación— en listas de indispensabilidad de pulso. Autobusk es un programa estocástico. Genera flujos simultáneos de arreglos de notas midi con rítmicas aleatorias controladas, basándose en las probabilida des calculadas a partir de las fórmulas de armonicidad e indispensabilidad como una consideración fundamental —en una intensidad de campo tonal cero (música atonal), todos los tonos de la(s) escala(s) utilizada(s) son igualmente probables, una propiedad compartida por la técnica de los doce tonos; a una intensidad de campo métrica cero (música amétrica), todos los pulsos del (los) metro(s) utilizado(s) son igualmente probables en cuanto a si son atacados o no. Pero para una intensidad de campo alta, la probabilidad de los tonos de mayor armonicidad relacionada con la tónica y la probabilidad de ataque a los pulsos de mayor indispensabilidad se elevan, y las de los tonos/pulsos de menor armonicidad/indispensabilidad se reducen. Con siderando colectivamente los tonos/pulsos como elementos, se puede afirmar que la fuerza del campo tonal/métrico es proporcional al gradiente de una línea recta que marca la probabilidad del elemento en el eje y frente a la prioridad dimensional contextual (armonicidad/indispensabilidad) en el eje x (véase la Figura 8). La modi ficación del gradiente da lugar a un cambio en la intensidad del campo.
FiguRa 8. Una línea recta que muestra la probabilidad en función de la prioridad, el gradiente en función de la intensidad de campo.
Además del gradiente de prioridad-probabilidad, se aplicó un mecanismo más, la coordinación intertemporal, que une el micro-tiempo (tono) con el macro-tiempo (pulso): el grado de tonalidad varía así según la indispensabilidad —los pulsos fuer tes tienen (para la fuerza distinta del campo 0) tonos más armónicos que los de los pulsos débiles. Esto permite las tonalidades estructurales y de prolongación de Schenker en los pulsos fuertes y débiles, respectivamente. Autobusk recibe como entrada una lista de escalas y métricas por compás (pre compiladas por hrm e idp, con extensiones .hrm e .idp), y más a menudo una par titura de parámetros (extensión .prk) que contiene valores etiquetados de tiempo para 12 parámetros, vistos como valores en la captura de pantalla de la Figura 9: “metriclarity” y “harmoniclarity” significan la métrica y la fuerza de campo tonal. Si
no hay un archivo .prk, se utilizan los valores de los parámetros predefinidos por el usuario (o por defecto).
FiguRa 9. Captura de pantalla de Autobusk.
Los parámetros pueden modificarse en tiempo real mediante la pulsación de teclas, el ratón, un dispositivo de entrada midi como un teclado y/o instrucciones etique tadas en el tiempo en un archivo .prk. La salida, normalmente notas midi, se envía al puerto midi y/o a un archivo. El programa se puede descargar gratuitamente en la Universidad de Mainz (http://www.musikwissenschaft.uni-mainz.de/Autobusk/), listo para ser ejecutado en un Atari, si se tiene uno, junto con un manual de usuario en pdf. Para ejecutarlo en Windows, se necesita un emulador de Atari como steem, como se indica en el sitio. Para Macintosh se recomienda el emulador Hatari.
En 1981, mientras planeaba una nueva obra para conjunto de cámara, tuve la idea de escribir una pieza espectral en la que el sonido general del conjunto reflejara los sonidos del habla. Para ello, decidí convertir un análisis espectral de palabras habla das en una partitura para tonos casi puros, por ejemplo, armónicos de cuerda. La interpretación de la partitura generaría la síntesis de espectros armónicos, para los que los mejores tipos de fonemas son las vocales, las aproximantes, las laterales y las nasales (excluyendo así las plosivas, las fricativas y los trinos).
Para la composición prevista, reuní nueve frases alemanas sin sentido, pero gra maticalmente correctas, basadas en palabras formadas únicamente por estos fone mas armónicamente sintetizables; de los idiomas que conocía en aquel momento, el alemán me pareció especialmente adecuado por su ortografía fonética sistemática como ayuda para buscar palabras utilizables. Estas frases —el título de la pieza, Im Januar am Nil, procede de una de ellas— se analizaron con Fourier y los resulta dos se convirtieron en algo parecido a un archivo midi (este trabajo es anterior al midi en tres años): cada conjunto de seis ventanas de tiempo de Fourier se fusionó en un acorde formado por sobretonos, cada uno con su amplitud pertinente, como posteriormente con el tono y la velocidad en un archivo midi.
sección iv / creación, análisis y teoría
el Callejón del Ruido
El seguimiento realmente significativo de este procedimiento fue el posterior reajuste de todas las amplitudes a múltiplos de una amplitud arbitraria, denominada tolerancia de amplitud: cualquier parcial de un acorde que tenga la misma amplitud alterada que el parcial idéntico del siguiente acorde no se repite sino que se man tiene. Más adelante se hablará de este procedimiento, que se denomina “calmar”
La Figura 10 muestra (arriba) las palabras en armenio, puntuadas para clarinete bajo que toca la fundamental y para siete cuerdas que tocan los parciales, y (abajo) una representación gráfica de las mismas, que se parece mucho al sonagrama de las pala bras habladas. Llamé a esta técnica Synthrumentation, de “síntesis por instrumenta ción”. Desde 1981 hasta la finalización de la obra en 1982, escribí todo el software, desde el análisis de Fourier hasta la generación de la partitura, un total de veinte programas en Fortran. El resultado se imprimió utilizando mi programa de notación ЖSC, mencionado anteriormente, en una impresora de matriz de puntos de 9 pines.
A lo largo de los años, utilicé Synthrumentation para varias piezas, lo que me llevó a combinar todos los módulos en un único programa Linux gnu Pascal lla mado Synthumentator. En principio, el procedimiento es el mismo: un análisis de Fourier de una onda sonora se convierte en un archivo midi de acordes compuestos por parciales de la frecuencia de análisis de la fundamental (mi favorita: 49 Hz, casi exactamente G1, y una subdivisión de números enteros de la frecuencia de mues treo 44.100 Hz). El programa asigna las frecuencias a las notas midi y las amplitu des a la velocidad.
FiguRa 10. Sintetización de las palabras en armenio en la obra de cámara Im Januar am Nil: partitura compacta (arriba) y representación gráfica de la partitura (abajo).
Finalmente el archivo midi se construye. Con una tolerancia (ahora llamada toleran cia de velocidad) de, por ejemplo, 4, todas las velocidades se reajustan a múltiplos
de 4, es decir, 0, 4, 8, 12, etc. Las notas con velocidad 0 se eliminan. Si una nota concreta de un acorde, por ejemplo G4, tiene la misma velocidad ajustada, por ejemplo 64, que el G4 del siguiente acorde, se elimina la nota de salida del primer acorde y la nota de entrada del segundo, prolongando la primera. Cuanto mayor sea la tolerancia de velocidad, más pequeño y escaso será el archivo de salida resultante. Una tolerancia de velocidad baja dará como resultado un archivo de salida denso, que quizás oscurezca el vínculo tímbrico deseado con la fuente de sonido. La tarea principal al utilizar este programa es encontrar la tolerancia de velocidad óptima. El programa ha sido portado a Mac y a Windows.
...or a Cherish’d bard... (1999)En 1998 decidí escribir una pieza para la pianista Deborah Richards con el fin de conmemorar su cumpleaños. Una forma habitual de homenajear a una persona en una partitura es tomar aquellas letras del nombre de la persona que están disponibles como nombres de notas (es decir, a-g en inglés, con la h y la s adicionales en alemán) y utilizar estas notas repetidamente. En casos afortuna dos como abegg y bach , los nombres completos están disponibles como notas. Sin embargo, antes de descartar la idea de utilizar el nombre de la Sra. Richards de esta manera, me di cuenta de que en su nombre, las letras deb y ah eran definitivamente utilizables como notas en alemán, y que las letras intermedias or denotan una operación lógica. Además, deb pertenece a una escala de tonos enteros ( b es b -bemol en alemán) y ah ( h es b -natural en alemán) pertenece a la otra escala de tonos enteros. También he observado que las letras deb y a son dígitos en el sistema numérico hexadecimal.
En consecuencia, establecí dos cadenas de tono en las dos escalas de tonos enteros, una encadenando transposiciones de deb y la otra transposiciones de ah —véase la Figura 11 (arriba). En teoría, cada cadena se mueve en tono y tiempo hacia y desde ± ∞ . A continuación, convertí los números hexadecimales deb y A en los binarios 1101 1110 1011 y 1010. Estos formaron el ciclo rítmico de la figura 11 (centro): 1 = ataque, 0 = silencio —la h de ah, que no es un número, se añadió como silencio 0000. Combinando las cadenas de tonos y los ritmos, obtuve las cadenas de tonos rítmicas que se muestran en la Figura 11 (abajo).
sección iv / creación, análisis y teoría
FiguRa 11. Cadenas de tono, ciclos rítmicos, ambos basados en deb y ah
el Callejón del Ruido
A continuación, establecí 120 cadenas rítmicas deb y, por separado, 120 ah de forma sucesiva y paralela, siendo todas las transecciones de D4 (Re central) equi distantes en el tiempo a intervalos de cuatro segundos, es decir, en el primer tiempo de cada compás de 1 a 120.
La figura 12 muestra un ejemplo de este procedimiento aplicado a la cadena deb infinita. El eje x marca las 120 barras de compás, el eje y un rango de 40 octavas desde 0.28 μHz hasta 308 MHz (!). La línea horizontal central marca D4 a 293.67 Hz. En lugar de cruzar esta línea cada compás, como en la pieza, el gráfico muestra por razones de espacio un cruce cada 10 compases. El motivo básico de deb , tanto en tono como en ritmo, se muestra en un pequeño recua dro en la parte superior izquierda —todo el gráfico consiste en cadenas de este motivo.
FiguRa 12. Cadenas paralelas de deb que cruzan D4 hacia abajo cada diez compases (en la pieza esto ocurre cada compás).
Para dinamizar este escenario estático, hice que el gradiente de las cadenas aumen tara sucesivamente con el tiempo, formando las puntuaciones deb primordiales (que se ven en la Figura 13) y ah
A continuación, la pieza está contenida dentro de un filtro de tono triangular, comenzando al principio (izquierda) con una anchura de cero medios pasos centra da en D4, que se expande gradualmente, con una anchura en cualquier compás en medios pasos igual al número de compás, alcanzando un rango de 10 octavas en el compás 120 (derecha). Obviamente, el rango trasciende el del piano alrededor del compás 88; la partitura impresa, sin embargo, contiene notas que se extienden más allá. El resultado de la partitura deb se muestra en forma de gráfico en la Figura 13. La partitura ah se realizó de forma similar.
FiguRa 13. La puntuación deb con gradientes de cadena crecientes y filtro de paso triangular.
El último paso fue una transición en el tiempo de la partitura deb filtrada a la par titura Ah también filtrada mediante una selección aleatoria: al principio de la pieza, la elección de una nota de la partitura deb tiene un 100% de probabilidad, de contener una nota de la partitura ah un 0%. Al final, las probabilidades se invierten, de modo que en el centro, en el compás 60, cada partitura tiene una probabilidad del 50%. Por lo tanto, cada nota de la pieza se toma de la partitura deb o de la ah: deb o ah, pasando de la primera a la segunda. Como consecuencia, la música de los primeros compases está en la escala de tonos enteros que contiene deb, la del compás 60 es altamente cromática con las doce notas en cada octava, y las notas finales están en la escala de tonos enteros que contiene ah. Toda la composición se ha realizado con un programa informático que se utilizó exprofeso para ello.
Debido a los gradientes crecientes, los valores de duración resultantes eran de naturaleza irracional. Racionalicé la partitura con mi programa Tupletizer, convir tiendo los valores de tiempo irracionales en grupos o tuplets mediante el redondeo con restricciones flexibles y con un error controlable. La Figura 14 de la página siguiente muestra los compases 92-94 tal y como están anotados en Sibelius: las cabezas de nota con forma de diamante y cruzadas están una octava más alta/baja que la escrita, la primera dentro del rango del piano y la segunda más allá.
El título ...or a cherish’d bard... es un anagrama del nombre Deborah Richards. Aquí está la dedicatoria:
Cincuenta años, la mayor parte de ellos bien gastados / Al servicio de la Musa, por lo que ruego / Que la Dama Fortuna añada tres veintenas y diez. / Sin embargo, yo, un payaso cerebral,* según dicen algunos, / incapacitado para las palabras, recurro a la vía de la música / para ayudar a presentar mi plegaria en este sentido - / Parece que un trovador, o un bardo apreciado / ejercería mejor en verso su digna pluma.
anagrama del nombre Clarence Barlow
En 2007, me llamó la atención cuando mi colega Curtis Roads me mostró la serie π = 4(1 – 1/3 + 1/5 – 1/7 + 1/9 ∙∙∙) algo en lo que no había pensado desde mi época escolar. Casi de inmediato, empezó a tomar forma en mi mente una instalación de música electrónica en la que las amplitudes de diez parciales de un tono complejo reflejarían los diez primeros dígitos de las etapas progresivas de convergencia —su mando componentes de la serie uno a uno— hacia el valor final. En mayo de 2008 se estrenó la instalación Approximating Pi, que realicé en Linux gnu Pascal.
Para cada convergencia, decidí un marco temporal de 5,040 muestras, a 8¾ cuadros por segundo. Todos los marcos temporales contienen un conjunto de diez parciales de una serie de sobretonos, múltiplos de la frecuencia 8¾ Hz, que resulta automáticamente de la anchura del marco, 5,040 muestras. La razón de este núme ro de muestras es que se puede dividir limpiamente en 2 a 10 segmentos exacta mente iguales, correspondientes a los parciales (la mitad de este valor, 2,520, que como mínimo común múltiplo de los números 1-10 es susceptible de si mismo, y corresponde a 17½ cuadros por segundo, demasiado rápido para mis propósitos).
sección iv / creación, análisis y teoría
FiguRa 14. “...o un bardo apreciado...” Partitura impresa de Sibelius (extracto). Aproximación a Pi (2007)
Los parciales son ondas cuadradas de amplitud 2 elevadas a la potencia del dígito nth en la representación decimal de la convergencia. En el caso de 3.14159..., por ejemplo, las amplitudes de los diez parciales son 23 , 21 , 24 , 21 ,25 , 29 etc. A con tinuación, las amplitudes se reescalan mediante una multiplicación por el factor arbitrario 2π/n , la envolvente de un espectro de diente de sierra, donde “n” sigue siendo el número parcial.
FiguRa 15. Los dígitos de las primeras 1000 aproximaciones de π, mostrados hasta el décimo dígito, como amplitudes de un espectro de 10 parciales.
La Figura 15 muestra gráficamente 1,000 convergencias (eje x) y las correspon dientes amplitudes de los diez dígitos (eje y). Véanse las protuberancias causadas por el sexto dígito.
Dado que las convergencias sucesivas hacen que los dígitos se asienten de iz quierda a derecha hasta un valor que se aproxima gradualmente al de π, cabe es perar que el timbre resultante pase de la turbulencia inicial a una casi-constante al final, que es como ocurre. Como ejemplo, con cuatro dígitos, las convergencias van desde un 4,000 inicial a través de 2.667, 3.467, 2.895, 3.340, 2.976 hasta 3.284, la septima convergencia. En este punto, el primer dígito se estabiliza en el valor 3. El segundo dígito se estabiliza igualmente en el valor 1 en la convergencia 25 , y el tercer dígito en el valor 4 en la convergencia 627 (estos tres son visibles en la Figura 15). Con diez dígitos se necesitan 8,000,000,000 de convergencias antes de que el último décimo dígito se estabilice y se alcance una constante real. A un ritmo de 8¾ convergencias por segundo, esto llevaría unos 29 años. Sin embargo, no es necesario esperar tanto tiempo. La instalación puede ser transpuesta y, por tanto, acortada por la caída regular de muestras; también puede ser truncada en el tiempo. En una versión presentada con frecuencia, ocho canales de sonido contienen transposiciones desde los 8¾ Hz originales a valores 9, 28, 50, 72, 96, 123, 149 y 175 veces superiores (desde el canal dos cerca de la serie arbi traria 9
, donde χ es el número de canal menos uno). Se han realizado versiones de distintas duraciones —5, 8, 15 y 76 minutos— y configuraciones de audio —2, 5 y 8 canales—. En la versión de 8 minutos (exactamente 7’ 371 /7”), la duración se ha truncado a 36,000 convergencias para la transposición más baja; la transposición más alta alcanza la convergencia número 800,000, momento en el que los seis primeros dígitos ya son estables.
CinCo Piezas dodeCafóniCas (2016-17)Five Dodecaphonic Pieces es una serie de piezas electrónicas de 12 canales realiza das entre 2016 y 2017. Todas ellas se basan en la misma permutación fija de 78 combinaciones de 2 de 13 pistas que duran 520” cada una, como puede verse en la Figura 16.
sección iv / creación, análisis y teoría
FiguRa 16. Una permutación fija de 78 combinaciones de 2 de 13 pistas.
el Callejón del Ruido
La tabla de la izquierda muestra 78 periodos igualmente largos, en cada uno de los cuales dos pistas de sonido suenan simultáneamente al máximo nivel: “0” denota una pista inexistente y “1” a “12” doce pistas existentes. Cada periodo tiene una pista de sonido específica en común con el periodo siguiente, indicada por un corchete. Los desvanecimientos mostrados a la derecha de la ilustración se ajustan a la fórmula y = (3x 2 -2x 3 ) 200 , donde 0<x<1.
La serie se generó al escuchar durante las calurosas noches de verano de agosto de 2016 en Barcelona los sobretonos de un ventilador eléctrico. Las dos primeras piezas se realizaron en Santa Bárbara, California, en septiembre de 2016, y las tres siguientes en Barcelona en septiembre/octubre del año siguiente.
La primera realización, 13C2~ (pronunciado “2 de 13 sine”), se hizo con tonos sinusoidales que forman doce armónicos de la frecuencia 210 Hz.
El material sonoro utilizado en 13C2=∫ヒφn (“2 de 13 Stephan”) fue producido por mi difunto amigo el compositor Stephan Kaske (1962-85) en los estudios del mit de Cambridge, Massachussets, Estados Unidos. Stephan perdió la vida en un trágico accidente de coche y dejó el material sin utilizar. Gracias a la mediación de nuestro amigo Curtis Roads, pude disponer de seis muestras estéreo, de apro ximadamente un minuto cada una de la colección, y estiré cada una de ellas hasta una duración de 8’40”, primero con mucha fuerza pero gradualmente con menos, para luego colocarlas en doce pistas mono. El estiramiento temporal decreciente convierte lentamente las doce pistas de sonido en el material original de Stephan.
La tercera pieza, 13C2≈0 (“2 de 13 casi cero”) se basa en grabaciones de campo realizadas por Luc Ferrari desde los años 70 y publicadas por Brunhild Ferrari para un premio bianual que lleva el nombre de sus legendarias piezas de cinta presque rien (“casi nada”, de ahí mi título). Las grabaciones disponibles tenían una duración total de 37 minutos, que fueron cuidadosamente montados para formar las doce pistas de la pieza.
13C2= Θ (“2 de 13 estridulantes”), se hacía con el sonido, que recuerda a las actividades de la cassolada catalana, de una sartén metálica golpeada, de 4 a 47 veces por segundo. “Estridulación” es un término que se aplica al frotamiento de las partes del cuerpo para producir un sonido, como hacen los grillos.
La quinta pieza de la serie, 13C2=[♄] (“2 de 13 cronometrías”) es una obra compuesta por doce timbres percusivos que tocan un perpetuum mobile en doce pistas en un total de 48 métricas diferentes de uno a doce pulsos a exactamente nueve por segundo. Cada pista comienza en una métrica de tantos pulsos como el número de la pista, la primera pista con un pulso, la segunda con dos, etc. Cada mé trica (excepto el de un pulso) es una permutación única de unidades de 2 o 3 pulsos, por ejemplo, tres métricas de 7 pulsos (2+2+3, 2+3+2 y 3+2+2). Hay hasta doce metricas de 12 pulsos. A los 6’ 13⅓” las metricas empiezan a crecer en longitud, una pista cada vez, hasta los 7’ 20”, cuando cada pista está en una métrica de 12 pulsos diferente, todos ellos sincronizados.
Coronialus (2020) conmemora el hecho de que el año 2020 de Beethoven se vio afectado por el coronavirus. Generada por una transformación electrónica de una
grabación sonora estirada en el tiempo de los dos primeros acordes de la obertura Coriolanus Op. 62 de Ludwig van Beethoven, las muestras individuales de la gra bación estéreo estirada —para tres versiones de la pieza (véase más abajo)— de 6 a 75, 91 y 112 segundos fueron manipuladas por la información contenida en el genoma del coronavirus. Este genoma contiene exactamente 29,903 nucleobases, identificadas como los nucleótidos adenina, guanina, citosina y uracilo. Además, las moléculas de estos cuatro nucleótidos están formadas cada una por un número y una disposición típicos de átomos de los cuatro elementos químicos hidrógeno, oxígeno, nitrógeno y carbono. La Figura 17 muestra estos cuatro nucleótidos dis puestos, a efectos de este artículo, como cadenas cíclicas de pares de moléculas de los cuatro elementos. Los enlaces moleculares monovalentes se representan con ‘ . ‘, los enlaces divalentes como ‘ : ‘ o ‘ ∙∙ ‘.
FiguRa 17. Los nucleótidos adenina, guanina, citosina y uracilo como cadenas cíclicas de átomos emparejados de los elementos hidrógeno, oxígeno, nitrógeno y carbono.
En Coronialus, la disposición molecular, así como la valencia y el número atómico en la tabla periódica de cada átomo individual en el genoma, forman la base de una transposición de frecuencia descendente que varía continuamente en el microtiem po a través de la repetición específica de la muestra. Esta técnica, a su vez, condujo a una segunda expansión temporal de la ya alargada grabación sonora. Se realizaron tres versiones de Coronialus; sus duraciones son 4’43”, 5’34” y 7’18”. El segundo acorde transformado de Beethoven comienza justo después de la mitad de la pieza. El título —un anagrama de “Coriolanus”— contiene la palabra “corona”, así como la abreviatura arn del ácido que contiene el genoma.
Evanescent Evidence , una película de video de 4’16” de duración realizada en julio de 2021, se basa por completo en 60 videos aleatorios descargados de internet en el año 2000, cuyas duraciones oscilan entre los 7 segundos y los 4 minutos. Ese año empecé a usar una pc y a utilizar internet de forma habitual. Los videos tienen un formato de 320 x 240 pixeles. Cada pixel de cada fotogra ma procede del correspondiente fotograma de una película elegida al azar entre los 60 videos: al principio, aproximadamente 1/60 de los pixeles proceden de una u otra de las 60 películas. La pista de audio que acompaña a cada fotograma está tomada de 8 de las 60 bandas sonoras al azar. Pero a medida que las pelí culas más cortas van llegando a su fin, se insertan pixeles de color azul oscuro y silencio como marcadores de posición. Como resultado, el número de pixeles y muestras descargadas en este video disminuye gradualmente con el tiempo.
sección iv / creación, análisis y teoría
el Callejón del Ruido
Desaparecen por completo al final, de ahí el título. La Figura 18 muestra foto gramas del principio y de la mitad del video.
Los algoritmos son un medio para conseguir un fin. Su elegancia no es garantía de musicalidad. En el caso de los ejemplos anteriores, los algoritmos fueron moldea dos por un resultado musical anticipado, al final a menudo conteniendo aspectos intrigantes, creando una nueva estética. Esto, tras el escrutinio, fue bien recibido... o rechazado, lo que llevó a una revisión del algoritmo.
Bakht, S., Barlow, C. (2009). Parametric-Algorithmic Patchbay-Accompanist. Generating Events by Improvisation: An extensible automatic accompaniment system for live instrumental improvisation. En Proceedings of the International Computer Music Conference, icmc, (pp. 521-523).
Barlow, C. (1987). Two Essays on Theory. Computer Music Journal, 1(11), mit Press, (pp. 44-60), Cambridge, Massachussets.
_____. (1980). Bus Journey to Parametron, Feedback Papers Vol. 21-23. Feedback Studio, Colonia, Alemania.
_____. (1998). Songs within Words: The Programme TXMS and the Performance of Ping on the Piano. En M. Bryden. Samuel Beckett and Music, (pp. 233-240). Clarendon Press, Oxford, Reino Unido.
_____. (2001). Autobusk: a Real-Time Pitch & Rhythm Generator. En Report 44, Musi kinformatik & Medientechnik, (pp. 1-54). Mainz, Alemania.
_____. (2001). On the Quantification of Harmony and Metre. En Barlow, C. The Ratio Book, (pp. 2-23). Feedback Papers 43, Colonia, Alemania.
_____. (2008). On the Derivation of Music from Language. En Dutta, A. K. et al., Proce edings of the International Symposium Frontiers of Research in Speech and Music. Nacional Institute of Technology Silchar, Calcuta, India.
_____. (2009). On Music Derived from Language. IIAS- Transactions on Systems Re search and Cybernetics, 1(9), (p. 29-33), Baden-Baden, Alemania.
_____. (2011). Composición algorítmica, ilustrada por mi propio trabajo: A review of the period 1971-2008. En Proceedings of Korean Electro-Acoustic Music Society’s 2011 Annual Conference (KEAMSAC2011), (pp. 9-16). Seul, Corea.
_____. (2014). Chorale Synthesis by the Multidimensional Scaling of Pitches in Procee dings of the 40th International Computer Music Conference/11th Sound and Music Computing Conference, (pp. 32-36). Atenas, Grecia.
_____. (2017). Sobre lo estructural y lo abstracto en mi trabajo de composición. En Pare yon, G. et al. The Music-Mathematical Mind. Actas del Congreso Internacional de Música y Matemáticas 2014 Puerto Vallarta. Springer International Publishing, (pp. 41-52). Cham, Suiza.
_____. (2021). Music Derived from Other Sources in Audible (Art): Las conexiones invi sibles entre el sonido, la música y el arte sonoro. Journal of Science and Technology of the Arts, 1(13), (p. 22-44). Universidade Católica Portuguesa, Lisboa, Portugal Poller, T. R. (2015) Clarence Barlow’s Technique of “Syntrumentation” and its use in Im Januar am Nil. Tempo, 271(69), (pp. 7-23).
sección iv / creación, análisis y teoría
de eua’on(1980), voz digitalizada, a eua’on’ome (1995), orquestada julio estRada Velasco
Antes de eua’on había incursionado de forma intuitiva en el continuo de altu ras con Luz y sombra del tiempo, para orquesta (1976), cuyo dibujo y con versión a partitura me iniciaron en un proceso consistente en lograr, mediante una analogía gráfica, su representación escrita. El dibujo, inspirado en el regis tro cronográfico de la fantasía de alguna música en ciernes, me dejaba emprender un camino más dúctil y, por ello, apro piado para registrar y dar legitimidad a las pulsiones del imaginario musical creativo. No obstante, el proceso era más interesante que el resultado, cuya instrumentación, demasiado limitada en lo que hace a los instrumentos de vien to, me llevó a desechar aquella búsque da. A pesar del fracaso, logré percibir cómo dibujar me daba la certeza de ac ceder a una nueva forma de concebir la música por fuera de la idea tradicional de composición, que comencé a contras tar desde entonces con otra idea más justa e integradora, creación musical, aquella que a mi entender requiere del ventajoso vínculo que procura la inves
tigación-creación, una modalidad a la base de mis inicios como profesor hacia 1970 en la Escuela Nacional de Mú sica, hoy Facultad, y fórmula que más tarde pude ejercer mejor al integrarme al Instituto de Investigaciones Estéticas, dos dependencias de la unam, esenciales para mí desde hace medio siglo. Lo que en aquella época se denominó “Taller de música experimental” devino años más tarde en Laboratorio de Creación Musi cal, LaCreMus, fértil semillero de futu ros creadores-investigadores.
Un segundo intento de aproximar me al continuo en música fue el Diario para 15 cuerdas (1980), obra concebida de improvisto en un plazo brevísimo, a contracorriente de la lentitud que me impone la búsqueda en el proceso crea tivo. En este caso ensayé acceder a un continuo en la articulación flexible de la materia, aunque a medias por el tímido inserto de los cuartos de tono entre las alturas de la escala cromática, algo que ataba al producto a la escritura tradicio nal y, más específicamente, a un método compositivo cuya idealización de lo es
crito simplifica o anula incluso la riqueza potencial de una creatividad auditiva; de liberarse, resultaría ser más satisfactoria.
Otra tentativa parecida a la anterior me ocurrió con un pasaje de Canto na ciente, octeto de metales (1975-78), cuyo intento de generar una catástrofe solo con el ascenso y descenso de las voces que recorren la escala cromática me enfren tó a un nuevo desengaño respecto del método. El error residía una vez más en adoptar un recurso precario, partiendo de la ilusa creencia de que escribir todo mediante la sola articulación melódica debía llevarme directo a la solución. La escucha del resultado en vivo de aquel pasaje transparentó la ingenuidad de mi magro mundo compositivo: suponer que los escalones de la escala contribuirían a la representación del movimiento pro pio de una caída precipitada y la de la lucha ante el apuro. La evidencia residía en ignorar el problema desde la percep ción detallada del fenómeno físico, una óptica que refuerza y deja emerger mejor
la pulsión creativa a través de su viven cia, aunada al ensayo de asimilar mental mente el hecho real o imaginario previo a cualquier intento de fijarlo por escrito. Al entrever la evolución del pasaje en tero mediante la visión cuidadosa de las imágenes que producía en la mente, me resultó más apropiado dibujar el movi miento observable en cada voz con el trazo que mejor describiera el curso de su trayectoria. En física es común recu rrir a este método en los intentos de cap turar un fenómeno desde un espacio tan simple como el bidimensional: el tiempo en la horizontal, x, mientras que la al tura en la vertical, y. La fórmula parece evidente: primero, por la mayor claridad para registrar y medir el movimiento en términos de velocidad y de espacio en cuanto a sus cambios de altura; segundo, por la exigencia de recordar, remitir o incluso optimizar la visión de la fantasía inicial del evento; y tercero, por su plena coincidencia con la escritura de la músi ca en lo que hace a lo temporal y su rela
ción con el escalonamiento de la altura. La transformación de un pasaje menor a un minuto, me dejaba considerar el resultado escrito bajo una perspectiva distinta, la partitura resultante, aquello a lo que se llega con el apoyo de la guía cronográfica para ser convertida en arti culaciones de tipo continuo glissandi y microintervalos y perfilar con mayor claridad el carácter o el gesto dinámico asignado a cada voz. Esta idea, al pasar por el tamiz de la escucha, refrescaba las relaciones temporales entre las voces, no necesariamente coordinadas por la sin cronía y más libres en sus cruzamientos, dispersiones o choques difusos, ajenos a la imperiosa necesidad de imponer la mecanicidad de las viejas inventivas. Una mayor afirmación de lo anterior fue el empleo de una articulación borrosa de los tonos mediante el flutterzung, in terferencia continua de la lengua en la embocadura de los instrumentos de me tal para producir una pulsación rápida, equivalente a la modulación de baja fre cuencia. La escucha en ensayo y en con cierto de aquel breve pasaje a los pocos meses consolidó mi percepción del vín culo estrecho entre el sentido dinámico y el dramático de la intención original (Ilustración 1).
La muerte de mi padre me llevó a naufragar aún con mayor profundidad en el ensayo de expresar la emoción me diante el conocimiento que hasta enton ces había asimilado y podido desarrollar a partir de la tradición. Sin embargo, cada resultado me decepcionaba res pecto de los capacidades y talentos que hasta entonces me fueron útiles, al ob servar cómo aquellos intentos caían en lo simbólico más que en la expresión di recta del duelo, algo que revelase al oído una verdad: la rabia frente a una pérdida irreversible. Al no lograrlo entré en un
prolongado silencio, una forma que rete nía en lo profundo mi dolencia. Sumer gido en aquella crisis, al final de 1980 viajé a Francia y, en una visita a Xena kis, a quien conocía desde mi época de estudiante, me sugirió hacer una estan cia en los primeros cursos públicos con su máquina, la upic (Unidad Poliagógica e Informática del Centro de Estudios de Matemática y Automática Musical, cemamu), flamante equipo y tema de su disertación en la unam un par de años antes.1 Aquel sistema demostraba su apertura a músicos, artistas plásticos, científicos o incluso público interesado en realizar libremente la experiencia; en mi caso, con una condición: aprender y a la vez enseñar a otros a emplearlo. La estancia durante cuatro semanas, un par en Lilas y otro par en Burdeos, me per mitió iniciar una obra al mismo tiempo que conocer a quienes se interesaban en la máquina. Cómo no recordar aquí con emoción al espléndido grupo de jóve nes invidentes bordeleses a quienes se me pidió explicar el funcionamiento del sistema: dibujar era para ellos represen tarse fronteras, ríos, carreteras o incluso inventar o revivir imágenes, dibujadas casi todas con una vivencia ávida, lo que les condujo a descubrir y reconocer con harta satisfacción la pronta escucha de sus trazos a través de sonoridades fluidas y entrecortadas (Ilustración 2).
A pesar de que el sonido electrónico o digital me parece hasta hoy insatisfacto rio al oído y, por lo tanto, para mi música, el sistema desveló de inmediato las venta jas de su interfaz: dibujar con una pluma sobre una mesa digital, para su conver sión casi inmediata, o luego de algunos minutos, a sonido electrónico. Con las pruebas que hice, la sonoridad obtenida solo confirmaba mi rechazo hacia aquella materia artificial, al punto de considerar
sección iv / creación, análisis y teoría
la un estorbo para alcanzar un resultado auditivo aprovechable, algo que, pudiese favorecer la empatía que encontré con la máquina desde el inicio por su flexibili dad para iniciar al usuario en el ámbito continuo. Dado que entre las opciones de empleo del material cada uno podía dibujar sus propias formas de onda o rea lizar los muestreos que más le convencie ran, opté por digitalizar mi voz entonan do un multifónico que simultáneamente modulaba con la interferencia carrasposa de los infra graves de garganta. El soni do en vivo era atractivo y el que ofrecía la reducción del muestreo a una nueva forma de onda retenía cierto parecido, de modo que acepté aquello con mayor pragmatismo que ilusión. No obstante, al remplazar las formas de onda puramente electrónicas de los primeros dibujos con la nueva forma de onda vocal, todo cobró sentido de inmediato: oía el libre fluir de una materia que, aun siendo rica o com pleja en información, dejaba muy bien
percibir su raíz en la voz. La experien cia facilitó mi tarea creativa al observar con mayor certidumbre aquel avance, lo que funcionó entonces y resistió luego la evolución completa de la obra para con vencerme de timbrarla, solamente, con la voz digital.
Desde el inicio de la exploración alia da a la máquina y manteniéndome por fuera de toda búsqueda gráfica abstrac ta, confirmé cuánto coincidía lo visual con lo auditivo, de modo que el estrecho vínculo que establecí día a día con la upic resultó pedagógico para mi intención artística: ver y escuchar cada trazo me hizo explorar otras iniciativas con mayor libertad y soltura que antes. Bastaron unas cuantas horas para entender cómo los dibujos y texturas evolucionaban de forma acorde con la representación pre cisa de los movimientos que fluían de respuestas renovadas por el imaginario, a cada paso más abierto a una búsqueda exploratoria capaz de revelarme cómo la
mente fusionaba con ductilidad su po tencial sensorial, perceptivo, mnemóni co, analítico y constructivo. La acción permanente a través del gesto manual daba mayor confianza en el sistema, pro piciando un mejor y más flexible diseño de mis gráficos. Aquel singular diálogo entre creación y máquina tendió a ba sarse en una imaginación entre espon tánea y deductiva, mediante el vínculo estrecho entre mano, oído y percepción, lo que en definitiva revolucionó mis mé todos de representar la música.
Imbuirse en un universo constitui do tan solo por una materia auditiva de orden continuo tiene un significado cognitivo irreversible: el abandono del carácter mnemónico propio de la com posición a partir de la iniciación en una búsqueda primordial: explorar con li
bertad el carácter de la fantasía creativa como un modo óptimo para poder luego entender, con su análisis detallado, los aspectos constructivos que llevan a re presentarla como una materia más cer cana a lo verosímil (Ilustración 3).
Desde mi perspectiva, la upic pedía tan solo dibujar una analogía de aquello que la mente escucha e incluso verifica o corrige, para así percibir casi de in mediato la relación oído-vista. Esen cialmente, el dibujo sobre aquel restira dor digital me incitaba a una apertura creativa que partía de la sinestesia que conlleva el vínculo audiovisual. En esta obra, que descubría con la vivacidad de un momento al siguiente gracias a la gestualidad manual, encontré el acceso directo a una música cuyo impulso fue para mí perfectamente relacionable con
sección iv / creación, análisis y teoría
el Callejón del Ruido
la intensidad de la vivencia ante la emo ción creativa.
Originalmente concebida como un continuo, eua’on es un prolongado grito compuesto por varias decenas de voces que conforman una densa masa coral, cuya frecuente movilidad entre la dis persión y la confluencia dejan asociarla a la sonoridad filamentosa del viento, voz libre y envolvente que fascina a mi oído desde niño. En ella, los cambios fí sicos son tan elásticos y dúctiles como la voz humana, dejando estirarla hacia cualquier registro y permitiendo la os cilación de su materia entre la suavidad de un canto sosegado y la aspereza de un rugido que tiende a saturarse, un con traste muy atractivo para explorar, con el mismo color, todo orden de evolucio nes colectivas de la materia.
La imposibilidad propia del sistema upic para manipular sobre la marcha de una trayectoria el contenido acús tico de la forma de onda, y así obtener variaciones continuas de su color, me hizo experimentar varias texturas con las cuales lograr una manipulación del inconfundible timbre que da el artificio electrónico: de ahí la necesidad de in crementar el número de voces, de crear batimientos para desfasar la altura a ni vel micro y, en especial, del diseño de recursos constructivos novedosos me diante la modulación de las frecuencias sonoras con bajas frecuencias y poder entonces obtener envolventes dinámicas que recorrieran de un modo continuo la frontera casi inexplorada entre el ritmo y el sonido. Dentro de esta se observa con claridad cómo la pulsación acelera da deviene retumbo, gruñido, estruen do o aúllo, tonalidades que, más allá de cualquier visión metafísica, vinculan al dramatismo de la voz con la física cro noacústica que los sostiene y con el oído
que los reconoce en aquellas profundi dades como partes propias de su unión inquebrantable con la voz humana.
El significado de la observación pre cedente dio mayor sustento a mi bús queda y a la idea de la voz, ya no como una materia fijada por el canto escrito sino liberada, aquí por el inicio de una exploración aliada al sistema digital, cuyo impacto fue fundamental para mi experimentación vocal posterior, con ducente al descubrimiento de un nuevo modo de entender y concebir el canto. Esta idea fue haciéndose más eviden te al observar desde la distancia actual cómo mi producción instrumental hace una transición progresiva hacia mi mú sica vocal lo evidencia el paso de los yuunohui, una suerte de laboratorio de búsquedas en torno a diversos instru mentos, y hum para 5 o 6 voces, don de la voz muestra tener mayor y mejor calidad articulatoria, ductilidad en las transiciones, variedad y fusión de sus resonadores, flexibilidad modulatoria y tantas otras ventajas que me hacen adoptarla desde años como la herra mienta más apropiada para verificar y vehicular la mayoría de mis iniciativas creativas, algo que iré exponiendo en los siguientes párrafos.
El carácter novedoso del proceso de creación en 1980 me había procurado las ventajas de operar y conocer mejor, incluso más rápidamente que con mis ex periencias previas, un universo continuo que a su vez exigía contrastarse con cada uno de los métodos que había utilizado hasta entonces, sin excluir mis incursio nes en procesos compositivos abiertos en busca de soluciones más relacionables con el tono privado de lo propio. La re percusión que tuvo esta aventura inven tiva en el campo instrumental y vocal me proporcionó una mejor herramienta
para suponer en 1983 la posibilidad de una conversión de eua’on a partitura or questal, eua’on’ome. La idea cobró mayor fuerza y sentido al enterarme por el CE MAMu de una noticia alarmante y con se rias consecuencias: las versiones digitales de todas las obras producidas con la upic, justo aquellas que tenían mayor calidad por la transparencia que le daban al oído, habían desaparecido o acaso sido destrui das sin siquiera comunicarse o dar a co nocer abiertamente la causa, un tema que con la distancia que darán otros tiempos se removerá y podrá emerger a futuro. En mi caso, lo único que conservaba eran la copia analógica de eua’on sonoridad que evocaba demasiado el parco ruido de las secadoras de manos y, por for tuna, el conjunto de mis dibujos hachos en papel calca sobre la mesa de la má quina, medida que tomé desde el primer día para retener el registro evolutivo de cada voz en la obra y poder estudiarlo, aun cuando perdí también el material completo de mi banco de datos, como la forma de onda con la voz y el conjunto de modulaciones de baja frecuencia para las singulares envolventes que empleé. La tarea que debía enfrentar sería ardua en demasía y no necesariamente breve ya que, comparada con la velocidad de producción de resultados mediante el sis tema digital, el trabajo manual era ahora ineludible. Aquello me enfrentó a una se vera crisis: convertir a partitura cada tra yectoria de aquellos dibujos y reinventar mediante el dibujo las distintas modula ciones que apliqué a las diversas textu ras que conformaban cada pasaje. Con el paso del tiempo, aquel problema tendió a disolverse a partir del refuerzo de mi re sistencia a recurrir a dichos medios como base de mi proceso musical creativo, y a servirme más de la búsqueda vocal como herramienta mucho más segura. De algún
modo, invertí la derrota en algo positivo por el impacto que tuvo, entonces y des pués, la tecnología digital en mi aprendi zaje e inventiva en los campos teórico y práctico, llevándome a desarrollar nuevas tecnologías, útiles en la pedagogía mu sical y en la investigación de los campos discontinuo y continuo, así como una obra musical más vinculada al universo continuo.
En el terreno de la práctica vocal e instrumental y su conversión a una es critura adecuada al caso, la fina reso lución de la materia de tipo continuo exige referir cada dato a la especifici dad de la escala que resulte más prác tica y eficiente para permitir el regis tro fino de cada uno de los cambios. El ejercicio de conversión de los trazos cronográficos a una partitura escrita de la materia musical continua pide una aproximación ajena a la óptica de la sincronicidad, encargada de articu lar la mecánica vertical característica de la escritura en la música tradicio nal. De ahí el interés que adquiere el diseño de una notación musical capaz de representar la flexibilidad propia del conjunto de variables de la materia de orden continuo, para la cual nociones como sincronía, armonía u otras que se imponen “una exactitud total” resultan bizantinas por su rigidez. Por ejemplo, al situarse frente a una corriente de aire, de fuego o de aire, la creatividad constructiva no aspira necesariamente al conocimiento exacto de la posición que ocupa cada punto dentro de ella sino que, ante el primer contacto, re quiere al menos captar o entender las formas propias del movimiento, mejor caracterizado por su fluidez a través de transiciones imperceptibles, como se observa al considerar sus estados de re poso o turbulencia, de convergencia o
sección iv / creación, análisis y teoría
el Callejón del Ruido
dispersión, también expresables como el decremento o el incremento de ener gía con la que varían sus distintos com ponentes. Al trasladar aquellos tipos de materia a un continuo hecho de ritmo y sonido, los datos físicos sobre sus respectivas formas de onda coinciden y dejan observar un tiempo-espacio musical de orden cronoacústico, cuya medición requiere del desglose de sus componentes rítmicos y sonoros.
La idea anterior se nutre del hallazgo teórico de Henry Cowell sobre las fre cuencias sonoras y su vínculo armónico con la duración de los pulsos rítmicos, como expresa en New Musical Resour ces y se aplica sistemáticamente des pués en los Estudios de Nancarrow ; al querer incursionar en lo cronoacús tico con la upic pude observar cómo esta, y en general la música digital o la electroacústica, omitían al ritmo como parte del continuo físico de frecuencias. De ahí que, con la libertad adquirida y con la experiencia previa de distribuir los metales en un cubo para la escucha en 3D de Canto naciente, emprendí al año siguiente de eua’on la creación de eolo’oolin para seis percusionistas (198183, revisada en 1998), donde exploré más a fondo el continuo físico entre rit mo y sonido, incluyendo además al espa cio de ejecución. Todo ello lleva a la no ción del continuo cronoacústico espacial, de donde derivo la idea del macrotimbre continuo, suma de los componentes de frecuencia, amplitud y contenido armó nico, tanto en el ritmo pulso, ataque y micro duraciones asimilables en la prác tica a un vibrato variable , como en el sonido altura, intensidad y color o en el espacio físico tridimensional al tura, profundidad, lateralidad , que esta nueva obra integra, ya sin la altura espacial, al desplazamiento constante de
los músicos en un hexágono. En los años inmediatos a eolo’oolin inicié dos obras para las cuerdas, la serie de los yuunohui (1983-1991) y el cuarteto ishini’ioni (1984-1990), lo que me exigió desa rrollar una vasta herramienta para regis trar con mayor precisión que antes los componentes del macrotimbre continuo, y con ello abordar mejor el proyecto or questal de eua’on’ome
La parte más inquietante y de mayor interés para iniciar la búsqueda de una nueva solución eran las maderas, ins trumentos en extremo limitados a causa de las dificultades que puede imponer les la articulación continua de la altura, lo mismo que los cambios continuos de color tímbrico. Una nueva empresa contribuyó a la creación del modelo de macrotimbre orquestal al que aspiraba, la búsqueda emprendida en mictlan, para voz femenina, ruidista y contra bajo (1992) de la multi-ópera Mur mullos del páramo (1992-2006) sobre Pedro Páramo de Juan Rulfo–, donde entre los cerca de diez componentes en cada voz o instrumento añaden la transi ción del sonido al ruido, parte de la cual es la presión, nivel de intensidad en la fuente de emisión sonora, noción próxi ma a la granulación del medio digital. En dicha ópera, la articulación de la presión adquiere un sentido eminente mente expresivo, dando acceso en todos los instrumentos al recurso de calidades próximas a las de la voz en el drama, mo delo esencial al que aludo páginas atrás, dado el interés que tienen las transicio nes continuas de la materia audible en evoluciones que pueden ir, desde la afo nía hasta un tono rugoso producto de la saturación.
En particular, el componente de la presión beneficia y enriquece de manera notable la fluidez de las articulaciones
en los instrumentos de viento, gracias a la posibilidad de aplicarla desde tres distintas modalidades: presión de aire, de labios o de dedos sobre las llaves. A su vez, la combinación de dichos mo dos propicia la generación de una nue va materia de carácter difuso abierta al ruido en unos instrumentos cuya voz era demasiado estable, incluso con su apertura a los multifónicos mediante catalogaciones modernas cuyos resul tados aspiran a fijarlos en la prácti ca resultan contradictorios al observar las discrepancias entre, por ejemplo, la misma digitación para un oboe francés y otro alemán o checo . El juego con el conjunto de tres modos de presión hace de los multifónicos en las maderas una
ilustRación 4. eua’on’ome, frag mento: macrotimbre en vientos y percusiones, Salabert.
materia que refrenda el carácter del ma crotimbre continuo a través de la fluidez que da la tri-transición entre las alturas iniciales de un multifónico dentro de un movimiento hecho de distintas presio nes, conducentes a una sonoridad cuyo contenido es inestable y aún distinto de lo anterior, producto de la unidad del método para generar sonoridades flexi bles, cercanas a las voces del viento. La exploración de esta modalidad es enfá tica en yuunohui’ehécatl para cualquier instrumento de aliento (2012).
La materia musical de eua’on’ome (1995), encargo que recibí del festival alemán de Donaueschingen, me dejó emprender el trabajo de generalizar el método de registro cronográfico del con
sección iv / creación, análisis y teoría
el Callejón del Ruido
junto de componentes del macrotimbre en su conversión a partitura para todos los instrumentos de la orquesta. La dis tribución poco ortodoxa del instrumen tal pone en un primer plano las sonorida des rugosas y estridentes: violonchelos y contrabajos al frente, violones y violas al centro-medio, mientras que los instru mentos de viento y las percusiones apa recen detrás, contribuyendo a dar mayor homogeneidad y a cerrar el círculo con las modulaciones instrumentales de baja frecuencia en las cuerdas graves. A am bos lados de la orquesta, dos pianos sin tapa y siempre con pedal dejan alargar las resonancias acústicas del conjunto instrumental. Añado varios minutos al final algo abrupto que presenta eua’on, con una expansión prolongada de las evoluciones terminales, más acordes con la catástrofe contenida dentro de la obra y mejor expresada en eua’on’ome. En contraste con la masa orquestal que produce la conversión directa de los dibujos iniciales, esta extensión libera de modo gradual el ahogo opresivo de la densidad casi total de la orquesta, lo cual da un contraste respecto del tono masivo anterior, que cede a la individua lidad que adquieren algunos grupos de instrumentos, dando un súbito relieve al último estertor.
El título en náhuatl de una y otra obras suena a la onomatopeya de su movimiento fluido, a la vez que contiene el designio de la obra eua, echarse al vuelo; on, dis tante; ome, dos: “aquel que emprende el vuelo a la distancia” . El nombre alude a la apertura y al duelo propio del conti nuo, que da fin al imperio de la memoria en música, a través de un viaje sin ningún retorno, siempre hacia algún otro tiempo.
No debería concluir este texto sin hacer referencia al proceso de prepa ración del estreno con la orquesta de la
Radio de Baden-Baden, que dispuso dos semanas de ensayo, diez días, cada uno con dos turnos de tres horas: un total de 60 horas para una duración de 11 minu tos. Los cuatro primeros días se destina ron al trabajo con cada grupo orquestal, otros cinco días con la orquesta entera y al final un día para la grabación in situ, la sala del estudio Hans Rosbaud de la Radio de Baden-Baden, que conserva la distribución espacial de la orquesta. Re querido para asistir a cada uno de los en sayos para explicar en detalle la notación y la idea, poco a poco me fui percatando de algo inesperado: durante los tres años de confección de la obra yo partía del supuesto de que la orquesta vinculada al festival musical de vanguardia, Donaues chingen, sería un conjunto favorable a la innovación. La realidad me mostraba lo opuesto, una mayoría de los instrumen tistas se quejaba por las exigencias de la partitura para cada grupo instrumental, lo cual daba a entender la influencia que ejercía en ellos cierta música contem poránea acoplada a los esquemas habi tuales y, por ende, su inexperiencia para abordar una aproximación demasiado distinta. La decepción fue mutua. Ellos habrían querido encontrar una escritu ra más acorde con su identificación de una música cuyas facilidades de ejecu ción y abordaje les ofrecía incluso algún disfrute. Mientras que yo planteaba con eua’on’ome un conjunto de nuevas arti culaciones que venían de la música de cámara, aquella de cuya experiencia me nutrí aspirando integrar la riqueza de las sonoridades del macrotimbre como voz unitaria de toda la orquesta. Acaso fue un error craso de mi parte, aunque habría sido peor mantenerme al margen para disfrazar la búsqueda con una es pecie de “minitimbre” de la sonoridad colectiva: mi proposición estaba basada
en el rechazo al artificio de la orques tación, como producto de una superpo sición de voces al igual que ocurre con las voces en la armonía para ge nerar timbres solo en apariencia nuevos. El director del festival, Armin Köhler, si bien estaba interesado y simpatizaba con la obra favoreciendo su creación, al observar aquel contraste me confesó muy cordialmente que preferiría encar garme a futuro obras de cámara. Así fue años después, pero para éste, dado que el encargo que me había hecho era ex presamente para la orquesta, mi aspira ción fue proponer un modelo del cual brotara una música en concordancia con la idea y el deseo creativo de escuchar otro ritmo y otro sonido instrumentales, un todo hecho de una misma forma de articular la diversidad de colores que in tegran la materia de la música orquestal (Ilustración 4).
Los ensayos fueron sin duda difíciles, tanto para los músicos como para mí, que debía afrontar además una segunda y bastante franca oposición: un director uniformado por la tradición musical de la ya antigua Alemania oriental, quien a contrapelo de mi instrucción de dirigir formando en círculo para dar la referen cia constante del avance de los segundos en la carátula de un reloj, impuso sin más la marca del compás de 5/4. La idea le vino a la mente a partir del formato de la partitura, dividida en segmentos de diez segundos por página, para mí una forma de facilitar los ensayos. El re curso del círculo fue ideado por Cage para dirigir su Concierto de piano, obra abierta a la posibilidad de tocarse o no y cuya duración total no existe desde su concepción, con lo cual dicho método era idóneo para evitar que los músicos tendieran a dar los acentos propios de la métrica propia del compás. En el caso
específico de eua’on’ome, la idea es lo grar una evolución ininterrumpida que, a menos que lo requiera expresamente cada pasaje de las voces grupales, no ar ticule ni incite gestualmente a ninguna acentuación, agógica ajena al modo di fuso de tratar la temporalidad del gran conjunto, cuya escritura evita cualquier tendencia a coordinar las distintas voces con el recurso útil a la orquestación, la sincronía.
La experiencia al límite del rompi miento con los músicos fue el discur so del primer trombón en uno de los ensayos iniciales de la segunda semana: “¡Esta música es una mierda…!”. Le su gerí que escribiera su crítica basada en esa percepción, pero añadió: “Es im posible ejecutarla”. Ahí respondí sin ambages: “No vine ni estoy aquí en bal de, señor: indíqueme el sitio exacto que sea para usted imposible de ejecutar porque conozco la obra desde dentro, no es algo meramente abstracto sino una música escrita para ser expresiva; por ello puedo cantarle todas las arti culaciones que pido en cualquier pasaje que le parezca imposible; si no puede o no quiere tocar solicitaré al festival remplazarlo de inmediato con alguien capaz de ejecutar la parte que ahora sostiene más con las manos que con el trombón”. Su respuesta volvió a la mis ma carga: “Eso que usted ha escrito no es música”. Varios le aplaudieron, aun que agregué: “Lo mismo digo para todo aquel a quien le resulte imposible tocar su parte, pero insisto: aquí me tienen para procurar disolver sus dudas”. Casi al límite de la anulación de la obra en el concierto, intervino el director para apaciguar el ambiente desde luego enmarañado por sus críticas y rebeldía hacia las instrucciones y poder con tinuar con los ensayos.
sección iv / creación, análisis y teoría
el Callejón del Ruido
La grabación en el último de los en sayos fue bastante más respetuosa, no sin la broma imborrable que dejaron los glissandi abruptos de un par de cornos con aires de taberna, aunque el resul tado en disco compacto representa un loable esfuerzo colectivo. El día del con cierto el público refrendó claramente su aceptación de la obra y su ejecución. Lo agradecí sin apartarme de mi sitio, no yendo al frente a saludar al director o a la orquesta, en parte para evitar su desaire y en parte, también, para quedar del lado de la percepción de los oyentes y no de un director inadecuado e impro
pio –como me lo confirmó años después Armin Köhler– ni de la rebeldía de al gunos músicos. A pesar de haber logra do una digna ejecución, aquella orquesta no volvió a tocar eua’on’ome 2
1 Proyecto Creación Musical y Futuro, Coordinación de Humanidades, unam, Mé xico, diciembre de 1978. 2 eua’on’ome, Orquesta Sinfónica de la Süd westfunk (swr), Baden-Baden, O. Henzold, dir, Donaueschinger Musiktage 1995, Col legno, wwe 3cd 31898; cuaderno en alemán e inglés, Munich y Salzburgo, Alemania, 3 cd.
La mayoría de las piezas descritas en Audible Designe son estéreo, pensadas para ser extendidas a un formato mul ticanal mediante difusión. Para la difu sión, la señal estéreo procedente de la fuente se envía a varios pares de boci nas estéreo colocados adecuadamente alrededor del auditorio. Por lo general, el canal izquierdo de cualquier par está a la izquierda del auditorio y el canal derecho a la derecha, pero algunos alta voces pueden estar colocados de forma diferente.
Cuando el espacio en el cual se in terpreta la obra es largo y estrecho, para
maximizar el número de miembros del público que reciben una imagen estéreo, y si las bocinas son del mismo tipo, se pueden intercambiar las bocinas trase ras, dando un conjunto de imágenes es téreo diferentes en la parte delantera del espacio y en los laterales.
Sin embargo, se trata de una situa ción excepcional y supondremos que las bocinas se asignan de forma normal: los canales izquierdos a la izquierda del au ditorio y los derechos a la derecha.
Durante la interpretación de la obra, el equilibrio de la señal entre estos dife rentes pares estéreo puede alterarse di
el Callejón del Ruido
námicamente, mediante el uso de faders en una mesa de mezclas que controlan el nivel en los (pares de) bocinas indi viduales. En algunas situaciones, este control puede ampliarse con formas de automatización de faders. Sin embargo, siempre se debe mantener algún tipo de control manual, ya que la presencia del público alterará la acústica del espacio de interpretación de la obra, por lo que una difusión ideal lograda en el ensayo puede sonar muy diferente una vez que el público haya llenado el espacio.
El objetivo de la difusión es subrayar o realzar los gestos de la música, o el ca rácter de las secciones contrastadas. Para
conseguirlo, hay que colocar las bocinas en el espacio para producir imágenes so noras contrastadas pero compatibles. La forma de hacerlo dependerá del número y tipo de bocinas disponibles y de la na turaleza del espacio. Como el objetivo de la difusión estéreo es anular los cambios en el material musical, no es necesario que los pares de bocinas sean del mismo tipo. Por lo general, las decisiones deben tomarse en función de las características de la sala y de los altavoces disponibles en el lugar, cortando la tela para adaptarse mejor a las circunstancias.
Los subwoofers (que transportan solo el contenido de frecuencias más
bajas de la señal) son, en cualquier caso, distintos, y su posicionamiento en el espacio no es tan crítico, ya que la localización espacial de la fuente de sonidos bajos es difícil de determinar para el oído humano. Las bocinas uti lizadas para una señal difusa o lejana (véase más adelante) no tienen por qué ser de tan alta calidad como los utili zados para la proyección principal en el escenario; para ello pueden utilizar se, por ejemplo, monitores plegables, si son lo suficientemente potentes. Como las frecuencias altas transmiten más in formación de localización espacial al oído, las rejillas de altavoces de agudos suspendidos por encima del público, pueden utilizarse para mejorar la infor mación espacial, si están disponibles.
La estructura y la acústica de la sala también son importantes. Los recintos en los cuales se interpretan las obras de ben ser acústicamente secos, en lugar de la acústica viva que prefieren los grupos
de cámara. Las cortinas o pantallas de material, las alfombras y el mobiliario blando (así como el propio público) contribuirán a amortiguar la acústica del espacio. Hay muchas posibilidades de colocar las bocinas y estas depende rán en cierta medida de la geometría del recinto. Solo hablaré de algunos posi cionamientos típicos: escenario, amplio, muy amplio, lejano, alto, difuso, cercano, punch y trasero.
La configuración mínima para la difu sión sería un par de bocinas de escenario que proporcionen una imagen sonora es téreo frontal, y un par de altavoces an chos colocados más anchos que el primer par. Si se añade el par ancho al par de escenario, se obtiene una difusión estéreo panorámica adecuada para un público en un auditorio de tamaño medio a grande. (Por escenario se entiende únicamente la zona situada frente al público y no impli ca necesariamente una zona de escenario elevada en el auditorio).
sección iv / creación, análisis y teoría 201
el Callejón del Ruido
Las bocinas deben estar a la misma altura, y cada par debe estar inclinado para dar una imagen estéreo cerca del centro del público, y hay que animar al público a sentarse en el centro del espa cio (en lugar de en las periferias).
Esta configuración básica puede am pliarse a posiciones más amplias y late rales, y a medida que se incorporan más altavoces a la mezcla, el público se ve envuelto en el sonido.
Con esta disposición, también es po sible realizar movimientos de difusión elaborados, por ejemplo, un fundido cruzado entre un emparejamiento de ancho-izquierda con escenario-derecha a un emparejamiento de ancho-izquierda con escenario-izquierda, a través de un emparejamiento de ancho-izquierda con ancho-derecha (véase el diagrama) que provoque la rotación de la imagen esté reo en el sentido de las agujas del reloj, pero tales movimientos tendrían que te ner alguna relación muy específica con la evolución del material musical que se presenta.
La profundidad o distancia frente al público (bocinas lejanas) se puede conse guir simplemente colocando las bocinas muy atrás de la parte delantera del es cenario, cuando la zona del escenario es suficientemente profunda. En situaciones más típicas, las bocinas lejanas pueden colocarse en la parte trasera de un esce nario poco profundo, y orientados en di rección contraria al público, en cortinas, si están orientados hacia una pared sóli da reflectante. Si es necesario, se puede aplicar un roll-off de alta frecuencia a los sends de estas bocinas para imitar la pér dida de alta frecuencia con la distancia de las fuentes en el mundo real.
Una posición alta puede utilizarse para proyectar el sonido por encima de las cabezas del público. Esto puede
subrayar determinados gestos sonoros o situar toda una sección de material en el plano superior. La mezcla entre el plano del escenario y el plano superior puede elevar gradualmente la imagen. Se pue den utilizar balcones para colocar boci nas altas, o se pueden colgar bocinas de una rejilla, pero estas bocinas altas deben proyectarse por encima de las cabezas del público, en lugar de estar inclinados hacia el público (la colocación habitual de las bocinas altas en clubes y otros lo cales, donde el objetivo es conseguir una proyección de sonido consistente, en lugar de la diversidad de posibilidades necesarias para una buena difusión). El posicionamiento alto no siempre tiene el efecto deseado, especialmente en espa cios muy reverberantes.
La proyección difusa tiene como obje tivo hacer rebotar el sonido desde las pa redes o el techo del espacio, para llenar a este de sonido para determinados gestos o, por ejemplo, para lanzar el sonido ha cia arriba donde pueda ser recogido por cualquier conjunto de altavoces de gran altura. Utilizo esta secuencia de difusión en la proyección de los eventos de Fu gu-Sea en Imago. Una opción difusa es siempre útil en cualquier configuración de difusión. Las bocinas difusas pueden colocarse junto a las paredes laterales del auditorio, con un ángulo de, por ejemplo, 45 grados, de modo que reproduzcan el sonido hacia las paredes, haciéndolo re botar hacia el techo (las paredes deben ser reflectantes). O se pueden colocar un par de altavoces en el escenario, apuntan do hacia los lados (en ángulo recto con la dirección en la que mira el público) y con un ángulo hacia arriba para que el sonido rebote hacia el techo.
La proyección a un nivel más bajo, pero más cerca del público, en bocinas cercanas, puede ayudar a diferenciar una
sección más íntima del material musical. El segundo movimiento de Two Women suele difundirse primero desde un con junto de altavoces cercanos, añadiendo gradualmente otros pares, incluidos los difusos, a medida que el material mu sical se vuelve más elaborado, de modo que la imagen sonora llena gradualmen te el espacio, volviendo a la proyección íntima para el final de este movimiento. Las bocinas cercanas pueden ser moni tores de estudio más pequeños colocados cerca del público, en un plano más bajo que los pares principales del escenario y, cuando se disponga de suficientes al tavoces pequeños a juego, posiblemente emparejados izquierda-derecha-izquier da-derecha-etc., alrededor del espacio para ofrecer una imagen estéreo clara al mayor número posible de miembros del público.
Se puede colocar un par de altavoces juntos en el centro del escenario para añadir punch a los ataques percusivos significativos de la música.
Las bocinas traseras también pueden colocarse detrás del público. Yo utilizo las bocinas traseras solo con modera ción cuando difundo piezas estéreo, ya que oír el sonido desde atrás es intrín secamente más molesto que oír los so nidos desde la dirección a la que se está mirando. En una situación de sonido envolvente multicanal, la perspectiva trasera se integra en el panorama total, pero en una pieza estéreo, tiene que ha ber alguna buena razón para proyectar la imagen estéreo desde detrás del público. Sin embargo, al final de la primera zona de Tongues of Fire, a los 10 minutos de la pieza, un silencioso tic-tac de reloj se desacelera lentamente, dando lugar a una pausa, seguida de una fuerte reafir mación del tema. A veces, este sonido de tic-tac se desplaza lentamente hacia las bocinas traseras y vuelve rápidamente a la configuración frontal normal (durante la pausa) para la reexpresión del tema. Así, en cierto modo, la imagen sonora se desplaza a otro lugar (que también po
sección iv / creación, análisis y teoría
el Callejón del Ruido
dría ser lejana) para potenciar el impac to del tema reexpresado.
En sistemas más grandes, puede ha ber conjuntos de bocinas adicionales. Por ejemplo, en el caso de difusión de Red Bird incluido en páginas posterio res se utilizó el sistema beast de la Uni versidad de Birmingham. En este caso, Desk se refiere a los altavoces colocados en la mesa de mezclas en el centro del público y orientados hacia el exterior.
Durante los ensayos, es importante escuchar desde distintas posiciones en el auditorio, prestando especial atención a los asientos más periféricos (los más alejados del centro ideal de la imagen estéreo). Una proyección puede sonar perfectamente desde una mesa de mez clas situada en el centro de la imagen estereofónica, pero no es tan buena si se está sentado en la periferia, por lo que
es posible que haya que hacer concesio nes para ofrecer una buena experiencia a la mayoría del público. La presencia del público alterará por sí misma la acústica del recinto, pero esto no debería alterar drásticamente las características princi pales de la difusión ensayada; en general, puede ser necesario aumentar ligera mente el nivel general, tal vez de forma diferente en las distintas bocinas.
Para cada pieza diseño una partitura de difusión gráfica rudimentaria con in formación clara sobre el tiempo. En esta partitura de difusión se pueden escribir las instrucciones particulares de difusión para la interpretación en un lugar con creto. Estas instrucciones se determinan durante el ensayo de la pieza en el espa cio en cuestión y sirven de recordatorio y de guía para la representación propia mente dicha.
En 2002, la cantante Juliana Snapper me propuso que colaboráramos para recuperar el ciclo de canciones de Phi lippe Manoury, en Echo. Ella estudiaba en el programa de posgrado de Estudios Críticos/Prácticas Experimentales de la ucsd, donde yo enseñaba lo que llamá bamos “música por ordenador”. Incluso hoy en día, sigue siendo raro encontrar una soprano que sea capaz y esté dis puesta a involucrarse tan profundamen te en la tecnología electrónica como se necesitaba entonces para revivir la pieza. Escrita en 1994 y revisada en 1995, en Echo no se había interpretado durante varios años. Fue realizada por Philippe Manoury y por mí en el ircam, utilizan do el maravilloso sistema ispw diseña do por Eric Lindemann, ejecutando la versión del ircam de Max/fts. Aunque el software pudo ejecutarse posterior mente en otras máquinas en un “puerto” que sigue siendo marginalmente utiliza ble, los investigadores del ircam toma ron una dirección diferente después de que yo me marchara en 1994 y el ircam había perdido, en la década de 2000, la capacidad de reproducir la pieza.
Mientras tanto, yo había estado traba jando desde 1996 en un sistema más nue vo (y creo que más limpio) similar a Max, Pure Data, que entre otras características,
permite importar libremente los antiguos parches ispw del ircam. Debido a las nu merosas diferencias entre Max/fts y Pure Data, se trata de un proceso tedioso y bas tante propenso a los errores, que requiere una estrecha colaboración por parte de los intérpretes en directo. Juliana estuvo dis puesta a trabajar pacientemente conmigo para conseguir los sonidos electrónicos de la pieza al mismo tiempo que dominaba la difícil parte del canto.
Todo esto se hizo antes de que nin guno de nosotros pudiera imaginar que el propio Philippe se uniría a nosotros en la ucsd en 2007. No solo quedó im presionado por la calidad técnica de nuestra interpretación de su pieza, que de otro modo habría desaparecido, sino que coincidió conmigo en que la voz y la personalidad particulares de Juliana eran realmente ideales para la música, como si diez años antes, Philippe la hu biera escrito expresamente para ella.
Así que Philippe escribió para Julia na una especie de secuela, Illud Etiam, que ella estrenó con Philippe y conmigo en San Diego en 2012. La nueva pieza comparte la eroticidad de en Echo pero aporta muchos elementos nuevos, uno de los cuales está íntimamente relacionado con el festival El Callejón del Ruido. Los tres habíamos sido invitados al festival
unos años antes para interpretar en Echo, que por entonces era una pieza de reper torio para nosotros. La actuación en sí fue bastante memorable, ya que se realizó en una cisterna subterránea que había sido reutilizada y acondicionada con un tosco escenario y asientos, conocida como “el aljibe”, y a la que los organizadores del festival consiguieron dotar de algún modo de un sistema de sonido multicanal.
Durante su estancia en Guanajuato, Philippe quedó fascinado al ver otro recinto que consistía en un graderío de madera y metal, al aire libre, situado frente al Templo de San Roque, una pe queña iglesia, sobre un patio de piedra. Aunque quizá no sea el lugar adecuado para una pieza erótica como en Echo, es perfecto para evocar un tipo de erotis mo diferente, que se mezcla adecuada mente con el fuego del infierno.
La pieza, tal y como la escribió Phi lippe, combina dos personajes conflic tivos en una sola voz interpretativa, con dos textos entrelazados. El primero, atribuido a la poeta medieval Louise Lab’e, habla del deseo ardiente e inci piente. El segundo, en latín, está extraí do de la denuncia de un inquisidor sobre la supuesta práctica de la brujería. Al fi nal de la pieza, el sonido del fuego funde limpiamente las dos narraciones en una boda impía y ardiente.
Es dudoso que el graderío que da al templo se haya destinado alguna vez para ver una quema de brujas, pero eso es lo que Philippe vio inmediatamente en el escenario. Acordamos que los tres volve ríamos en una ocasión posterior y estrena ríamos la obra en ese mismo espacio.
Las limitaciones prácticas nos impi dieron estrenar la nueva pieza en el espa cio para el que fue compuesta, y acabamos representándola primero en San Diego, California, en Space 4 Art. Pero siempre
tuvimos la esperanza de volver y dar vida a la pieza en su escenario original.
Pasaron los años. El Callejón del Ruido hizo un paréntesis y luego resurgió. Phili pe regresó a Francia y se instaló en Estras burgo. Pero como último acto creativo en San Diego, había organizado el rodaje de un video en la Casa Craftsman en la que se había alojado, protagonizado por Juliana, para ampliar la pieza de 9 minutos dentro de una historia de 15 minutos. En 2016 ya teníamos un video terminado.
Luego, en 2018, un revitalizado Ca llejón del Ruido nos invitó a Juliana y a mí a venir a interpretar Illud Etiam, en el lugar originalmente previsto. Planeamos que Juliana cantara la pieza mientras yo proyectaba en silencio partes del video en la iglesia. Pero un día antes de nuestro vuelo previsto, Juliana enfermó de gripe. Tuve que ir solo y sustituir a los dos.
Acabé haciendo un preludio de au dio ambiental para la pieza que, en el momento adecuado, dio paso al video que proyecté sobre la fachada de la igle sia. Como Juliana no pudo estar allí, fue apropiado, aunque quizás un poco com pensatorio, ver su cara proyectada sobre toda la fachada del edificio.
He estado en El Callejón del Ruido tres veces, de las cuales la primera fue la representación en “el aljibe” y la segun da la maravillosa proyección de la iglesia. En una tercera visita trabajé con el percu sionista Irwin, improvisando ritmos para acompañar sus latidos en directo, y con el compositor Kerry Hagan para estrenar una pieza que llamamos Your microphone appears to be noisy. También tuve el pla cer de improvisar con otros músicos parti cipantes, incluido el propio Roberto Mo rales. Me quito el sombrero ante Roberto por su apoyo constante a la música expe rimental durante décadas, especialmente durante los años de El Callejón del Ruido.
sección iv / creación, análisis y teoría
Al escuchar las palabras analógico y di gital, inmediatamente nos trasladamos a un enfrentamiento de dos dominios completamente diferentes entre sí y con una aversión eterna. Esta situación nos hace partícipes activos en esta batalla, posicionándonos en uno de esos dos bandos para su defensa. El argumento más común y utilizado por diferentes medios, como Hollywood, es la subleva ción de un mundo digital, los entes y las inteligencias que viven en él, conquis tando el mundo analógico, aniquilando todo de él y esclavizando a la humani dad. La conquista comienza progresi vamente a partir de la sustitución de la realidad por la virtualidad digital. Estas ideas son demasiado utilizadas, por no decir gastadas, e incrustan una idea tec nófoba en el público. Todos los que nos dedicamos a utilizar medios digitales como parte de nuestro trabajo y como medios de expresión artística, vemos en estos sistemas una gran posibilidad de argumentos, echando andar una gran cantidad de instrucciones para crear es tructuras tan complejas como se quiera.
Pero la situación es un poco más complicada, que solo estar a favor o en contra, y se podría percibir al plantear los mecanismos internos del ser huma
no para crear un modelo de realidad; el proceso por el cual la actividad cerebral realiza una transformación de informa ción a una experiencia sensible.1 En la teoría sintérgica expuesta por Jacobo Gringberg, se describe el ejemplo de la retina humana, en donde millones de receptores retinianos transforman los campos electromagnéticos de los fotones, en información codificada en impulsos eléctricos. Este código es dis continuo, constituido por potenciales eléctricos en fracciones pequeñísimas de tiempo, es decir, un código eléctri co digital. Esta información proveniente de millones de canales es concentrada por un proceso algorítmico, generando patrones temporales complejos, para decodificarse en una imagen visual; la transducción es nombrada por Gringberg neuroalgorítmica, los códigos neuroalgo ritmizados del sistema visual interactúan con códigos del sistema auditivo y de otros sistemas. La estructura cerebral y su actividad crea en conjunto una interacción con la información exter na llamada campo neuronal, que es un mecanismo de unificación de actividad cerebral de tipo analógico, interpretando la información codificada que procede de los sentidos como un continuo, que se convierte de cierta manera en una repre sentación de la realidad, otorgándonos una sensación de continuidad percep
el Callejón del Ruido
tual. Además, existen diversos niveles en los cuales podemos interactuar con la matriz de información; estos niveles de interacción dependen del campo neu ronal, mientras mayor sea la densidad de información que maneje un cerebro, más elevada debe ser la frecuencia de un campo neuronal. Por lo tanto, si a la de codificación de la información digital de nuestros sentidos añadimos la estructura y organización cerebral, se crea un mun do analógico perceptible, donde surgen cualidades como luz, sonido, texturas, sensaciones y emociones.
Con las ideas expuestas en la teoría sintérgica, podemos suponer subjetiva mente la alegoría de una naturaleza hu mana híbrida entre lo analógico y lo digi tal, revelando el velo de la percepción y la experiencia resultante de ella, caducando la idea básica y separatista entre las exis tencias digitales y analógicas; somos má quinas orgánicas que existimos, evolucio namos y creamos en estos dos dominios.
La rae define a la gnosis como el conoci miento absoluto, en este escrito no se ar gumenta objetivamente que el sintetiza dor es el camino al conocimiento divino, más bien, se hace referencia al sintetiza dor con un carácter metafórico como un dispositivo pilar que abrió la brecha hacia expresiones artísticas como el arte sonoro y la música electrónica. Así se descubre un camino hacia una nueva estética sono ra, en donde la experimentación fue parte esencial de la creación.
Ahora bien, tenemos que tener pre sente que los primeros sintetizadores comerciales fueron lanzados a finales de los sesenta y principios de los setenta. La principal particularidad es que estos dispositivos tienen la capacidad de for mar nuevos timbres, lo que es la piedra angular de una nueva sonoridad, timbres
que no son encontrados en la naturale za, por lo que, al ser escuchados en un performance, se concebía un ambiente místico y extático, convirtiendo la expe riencia auditiva en teúrgia. También es un hecho que en estos instrumentos re cae un carácter visual; incluso el mismo aspecto físico de un sintetizador analó gico brinda una imagen visual de una máquina fuera de comprensión, que ex trae sonidos inorgánicos y catatónicos al no ser relacionados por el cognitivo con una fuente natural. Otro aspecto dentro del carácter visual es el performático; observar a un músico interconectando módulos por medio de cable, creando una telaraña de conductores eléctricos, formando patches que alterarían la sono ridad en tiempo real.
Con este cuadro se viene a la mente la imagen de un alquimista persa en su taller con hornos, frascos y toda clase de objetos y herramientas, descifrando textos secre tos con símbolos misteriosos, mezclando sustancias que expulsan vapores de colo res y olores extraños. Se argumenta que en la alquimia se trataba de encontrar la ma teria primigenia del universo, para con ella perfeccionar las sustancias, de ahí la efigie del alquimista transformando el plomo en oro, que arquetípicamente es el más per fecto de los metales.
En el sintetizador se encuentra la materia primigenia del sonido, una onda senoide pura. El Músico-Alqui mista puede mezclar esta materia pri migenia con diferentes elementos y con ello crear una sustancia sonora nueva y perfecta, mediante una serie de pasos meticulosos, conectando aquí y allá, girando perillas, deslizando sliders, pulsando botones; tal cual pudiéramos imaginarnos un proceso alquímico, Sol ve et Coagula
Recordando que los sintetizadores analógicos son de principios de los se tenta, me aventuro a expresar que hoy
en día es igual de atrayente y fascinante asistir a un performance donde se utilice un sintetizador analógico. Pero volviendo al tema, estos dispositivos fueron instru mentos que crearon una revolución en el arte sonoro y en la música, dando lugar a la composición de piezas electrónicas y electroacústicas, fueron los instrumentos que establecieron un nuevo paradigma. Reformando una nueva estructura de es tudio en la tecnología musical, que la in geniería de audio llama síntesis, idea que sigue siendo vigente. Las actuales plata formas digitales y sintetizadores digitales siguen estructurados con los conceptos de los sintetizadores análogos.
En todas las plataformas daw (Digi tal Audio Workstation) encontramos ins trumentos nativos que son sintetizadores digitales, todos ellos con una estructura general; múltiples osciladores, envolven tes globales e individuales, filtros, lfo (Low Frequency Oscillator) y controles de afinación. Todo ello hace referencia a diferentes métodos de la síntesis analógi ca; síntesis aditiva y sustractiva, síntesis por modulación de frecuencia y ampli tud, solo por nombrar algunas. En otras plataformas es aún más alusivo, como el cableado, formando patches, tal cual se haría en físico en un sintetizador análogo.
La obtención del sonido en los sin tetizadores analógicos es mediante va riaciones de voltaje, más tarde y con la evolución de los sistemas digitales se pudo emular una señal analógica me diante pcm (Pulse Code Modulation), aunque durante esta transición se desa rrollaron una gran variedad de sintetiza dores. Hasta la época actual, donde se utiliza la tecnología vst (Virtual Studio Technology), paquetes que se agrupan en una computadora, condensando varias herramientas para la creación sonora.
Con todo lo dicho podemos concluir que los sistemas digitales de audio pro ceden de los sistemas analógicos. Co
nocer los sistemas análogos de audio es conocer los sistemas digitales actuales, como se manifiesta en el principio de correspondencia del hermetismo “como es arriba es abajo”
En este texto no se pretende hacer una comparación entre la concepción analógi ca o digital de un instrumento, sino resal tar la importancia que tuvo el sintetizador analógico para poder llegar al avance de ingeniería sonora actual, siendo el creador de bases conceptuales y técnicas a partir de su estudio y experimentación.
Como se manifestó en el preludio, sobre la máquina humana híbrida, que coexiste entre el dominio analógico y lo digital. Se propone un mismo argu mento sobre la puesta en marcha de sistemas heterogéneos de audio apro vechando las ventajas funcionales y es téticas de cada sistema; la versatilidad, ligereza y procesamiento de sistemas digitales en conjunto con la fidelidad de la señal auditiva y el performance visual de lo analógico.
Hace no mucho tiempo, tuve la oportunidad de ver internamente la cir cuitería de un sintetizador ARP2600 del año 1970; al examinar la tabla fenólica y el circuito electrónico, observé que uti liza componentes que en la actualidad se encuentran en cualquier tienda de elec trónica. Sumando otra opción, el poder construir módulos con electrónica o en su caso para quien posea un sintetizador antiguo, poder acoplar plataformas digi tales compactas al sintetizador, dándole una nueva vida. De esta manera exhibir un performance sonoro-visual, donde se expongan estas hibridaciones entre sis temas, permitiendo la exploración en un nuevo campo, con una estética y un dis curso sonoro enriquecido.
Para los neófitos, interesados en la mú sica electrónica y electroacústica, es difícil el acercamiento a sintetizadores análogos y el desarrollo de módulos mediante circui
sección iv / creación, análisis y teoría
el Callejón del Ruido
tos electrónicos puede llegar a ser comple jo si no se tiene un conocimiento en esta área. Existen alternativas en software como vcv Rack que es un sintetizador modular virtual, que puede emular módulos de un sintetizador; muchos de estos módulos son de código abierto y con la posibilidad de ser utilizados en un daw. Una herramienta digital que puede ayudar a reducir la curva de aprendizaje de sintetizadores sobre pla taformas de audio digitales.
En la producción musical se tie ne una recurrencia hacia la tecnología desde épocas posteriores hasta la época actual. Los compositores que integran la tecnología directamente en su obra, plasman en ella la naturaleza intrínseca del ser humano, una característica ho lística, en la cual el arte, la ciencia y la tecnología son partes de una totalidad cultural de la humanidad.
La presencia del hombre en las máqui nas es una invención perpetuada. Lo que reside en las máquinas es la realidad humana, el gesto humano fijado y crista lizado en estructuras que funcionan [..]
Gilbert Simondon1 Gringberg-Zylberbaum. (1991). La teoría Sintérgica. bibliografía
Gringberg-Zylberbaum, Jacobo. (1991). La teoría sintérgica. México: unam-inpec. Hall Manly, P. (2011). Las enseñanzas se cretas de todos los tiempos. Planeta. Hermann, Thomas, Andy Hunt, John Neuhoff. (2011). The Sonification Handbook. Alemania: citec, Bielefeld University.
Romero Costas, Matías. (2015). Música Generativa. Revista Invasión Gene rativa, 2(2), 51-60. Schaeffer, Pierre. (1996). Tratado de los ob jetos musicales. Alianza Editorial. Simondon, Gilbert. (2007). El modo de existencia de los objetos técnicos. Pro meteo Libros. vcv rack 2. [Sitio Web]. https://vcvrack. com
Xenakis, Iannis. (1992). Formalized Mu sic: thought and mathematics in com position. Pendragon.
Discissum es una obra para cuarteto de cuerdas cuya notación presenta una su perposición sistemática de estructuras acústicas de "escala variable", con el ob jetivo de producir sonoridades emergen tes o de "segundo orden". El concepto de sonoridades de segundo orden es una terminología que se utiliza a menudo para describir la organización del soni do, la textura y las cualidades tímbricas de la música electrónica. Este texto des cribe el uso sistemático de sonoridades de "escala variable" superpuestas (como las que se encuentran comúnmente en la música electrónica), para componer y anotar una obra instrumental. Los re cursos conceptuales y técnicos para rea lizar tal pieza instrumental implicaron el desarrollo de un sistema de notación musical automatizado y flexible que se describe más adelante.
Sonoridades de segundo orden, com posición musical, música instrumental,
notación musical automatizada, compo sición asistida por computadora.
Discissum es un cuarteto de cuerdas cuya escritura presenta un proceso sis temático de superposición de estructu ras acústicas de dimensiones variables con la intención de producir “sonori dades emergentes” o de “segundo or den” en el contexto de una obra ins trumental. El concepto de sonoridades de segundo orden es una terminología pertinente para describir procesos de organización sonora, de textura, y de timbre en la música electrónica. El pre sente texto describe el uso sistemático de técnicas de superposición de obje tos sonoros de dimensión variable para la composición y escritura de una obra instrumental. Los recursos conceptua les y técnicos para la realización de esta obra instrumental implican el desarro llo de un sistema automatizado y flexi ble de notación musical, descrito más adelante.
el Callejón del Ruido
Para describir las complejas sonoridades en la música electrónica de Iannis Xena kis y de Jean Claude Risset, el composi tor italiano Agostino DiScipio describe las sonoridades de segundo orden como “un problema en donde el modelado de los atributos del sonido (o del timbre) define las propiedades emergentes de una estructura sonora generalizada” (Di Scipio, 2001, 2002). La hipótesis de una relación entre las configuraciones y transformaciones micro-temporales del sonido con la estructura de un sistema emergente a gran escala o macro-tem poral, fue inicialmente formalizado por Iannis Xenakis a partir de lo que conci bió como quantum sonoros: “supóngase que cada punto (quantum) sonoro no solo representa una frecuencia pura [...] sino una estructura subyacente”, al evo lucionar tales estructuras en términos de tiempo, localización, densidad, etcétera, “sonoridades de segundo, tercero o de alto orden pueden ser así producidas” (Xenakis, 1992). Esta hipótesis supone que una estructura de gran orden o ma cro-temporal emerge del sonido mismo y de su organización interna o local (mi cro-nivel). Bajo este principio, Xenakis generaliza que “usando todo tipo de ma nipulaciones con estos puntos sonoros, se espera que no solo se pueda producir el sonido de los instrumentos musicales y de los cuerpos elásticos, [...] sino per turbaciones sónicas con evoluciones sin paralelos e inimaginables hasta ahora” (Xenakis, 1992). La producción sonora o el diseño del sonido se convierte en tonces en un asunto para modelar fenó menos globales emergentes, en donde la interrogante para el compositor (y para el teórico musical) es cuestionar cómo y qué tipo de relaciones micro-tempora
les entre los quantum acústicos permi tirán generar una macro-estructura es pecífica, un objeto/proceso audible con determinadas características acústicas. Cualquier respuesta a estas preguntas requieren del compositor una habilidad para implementar sus propias teorías de sonología emergente (Di Scipio, 2001), y es aquí en donde las características del desarrollo de una composición musical a partir del proceso de producción y trans formación sonora siguen un camino úni co e individual: desde la composición al gorítmica aplicada al nivel de la muestra digital para producir métodos de síntesis de audio de amplias magnitudes sonoras (supra-temporales) (Roads, 2002), has ta la composición sistematizada de mi cro-articulaciones para generar un ma cro-timbre instrumental (Estrada, 2001).
Discissum es un cuarteto de cuerdas compuesto en 2010 y estrenado por el Formalist Quartet en el Festival de Mú sica Latina de Los Angeles, California. Esta obra tuvo su estreno en México en el año 2019, ejecutada por el cuarteto Cromano durante la XIV edición del Festival Internacional El Callejón del Ruido, concebido y organizado por el compositor Roberto Morales desde la década de 1990. El principio estruc tural de Discissum extrapola en la es critura instrumental los principios de la modulación de frecuencia (frequency modulation) y de amplitud (amplitude modulation), técnicas comunes en la sín tesis digital de audio. Los fundamentos generales de tales técnicas de síntesis implican la modulación de un “sonido de base” (carrier) por otro, llamado so nido modulador (modulator). En el caso de la frecuencia modulada (fm), la razón
matemática (index ratio) entre el soni do de base y el modulador determinan frecuencias colaterales (sideband fre quencies) que pueden, si se desea, variar dinámicamente a través del tiempo. En el caso de la amplitud modulada (am), la razón dinámica entre el sonido de base y el modulador genera niveles variables de amplitud, produciendo una envolvente particular en el sonido resultante.
En cualquier caso, las frecuencias o amplitudes colaterales generan un pre cepto sonoro que no es el del sonido de base ni tampoco el del sonido modula dor, sino una distintiva entidad sonora que emerge de la relación entre los soni dos anteriores. Por lo tanto, sonoridades emergentes o de segundo orden subya cen de forma esencial en estas técnicas de síntesis.
Sin embargo, para que el precepto acústico emergente en la fm o en la am sea efectivo (y de hecho, posible), se re quiere que el sonido modulante interac túe con el sonido de base en el orden de velocidades de audio (audio rate), o más efectivamente, de control de audio (con
FiguRa 1. Funciones de modula ción y transformaciones.
trol rate). Sin embargo, en el terreno de la música instrumental conseguir veloci dades de interacción en tales órdenes es técnicamente imposible (aunque existan fenómenos acústicos que posibilitan pre ceptos psicoacústicos emergentes, como en el caso de los tonos de combinación o combination tones). Por lo tanto, en Dis cissum los modelos de fm y am son emu lados haciendo superposiciones multipa ramétricas de distintos estratos acústicos usando modulaciones de relativa baja ve locidad, como sucede con los osciladores de baja frecuencia (lfo o low-frequency oscillation). La complejidad de las articu laciones resultantes, las texturas de tim bre y las estructuras sonoras emergentes en Discissum son lo suficientemente sa tisfactorias para su autor, que la aplica ción de tales modelos para la escritura instrumental se presenta como una posi bilidad de exploración creativa singular, que, más allá de sus implicaciones estéti cas, es interesante como un problema de composición musical.
En el diseño inicial de la composi ción de Discissum se escribió un pro
sección iv / creación, análisis y teoría
el Callejón del Ruido
grama de cómputo que permite transfe rir diferentes funciones de modulación (en velocidades de audio o audio rate), transformadas en datos simbólicos que posteriormente son aplicados a la nota ción musical de diferentes parámetros instrumentales: alturas tonales, niveles de intensidad dinámica, cualidades de timbre, etc. Tales funciones de modula ción incluyen modelos que emulan com portamientos comúnmente encontra dos en la síntesis fm y am, mismos que simbólicamente pueden representarse a través de la composición matemática de distintas funciones (Figura 1).
Modelos de modulación por síntesis digital a través de procesos algorítmicos han sido anteriormente aplicados en la escritura instrumental; por ejemplo, el modelo de modulación por anillo (ring modulation) o de distorsión espectral (spectral distortion), son procesos comu nes para generar materiales simbólicos (e.g. escalas musicales, acordes y secuen cias armónicas) en la música espectral (Rose, 1996). Sin embargo, en el caso de la notación de Discissum, la repre sentación simbólica de modelos de mo dulación es directamente utilizada con la finalidad de acústicamente facilitar sono
FiguRa 2. Código de generación xml
FiguRa 3. Notación musical en Finale ® del código en Figura 2.
ridades emergentes o de segundo orden, presentes en el material musical per se Para transcribir los patrones de mo dulación en términos de una notación musical consistente, inicialmente se es cribió un programa de cómputo para ge nerar un archivo digital en formato xml (Extensible Markup Language); este ar chivo invoca explícitamente a la herra mienta custom line tool del programa de notación musical Finale® (MakeMusic), creando así formas de articulación diná micas (expressions), mismas que serían prácticamente imposible de recrear de manera manual (Figuras 2 y 3).
Teóricamente, el formato xml está habilitado para soportar curvas Bézier que hacen posible transiciones conti nuas (no lineales), sin embargo, Finale ® descarta en su protocolo xml tal infor mación. Por esta razón, posteriormente se decidió reescribr las rutinas de cóm puto anteriores utilizando el entorno enp (Expressive Notation Package) dentro de PWGL, programa automatizado para la composición asistida por computa dora. enp no solo permite generar ar ticulaciones dinámicas con variaciones continuas, sino crear cualquier símbo lo de notación musical que requiera de
transformaciones dinámicas. El siguien te ejemplo utiliza las herramientas Note Head y Expression Designer a través de una interfaz que evalúa código lisp en tiempo real (Figura 4).
Aunque enp es uno de los programas de composición asistida por computa dora más robustos para generar parti turas expresivas de forma algorítmica (Rodríguez, 2015, 2019), en el proceso final de la relativamente compleja nota ción musical de Discissum, se escribió el programa Xa-lan Scribe (Rodríguez 2012) que permite hacer conversiones automatizadas de formas de onda (wa veform) digitales (en velocidades de au
FiguRa 4. Variación del código de la Figura 2 en enp.
dio o audio rate) transferidas a los distin tos atributos simbólicos de la partitura.
Este programa transcribe las muestras digitales (samples) de la forma de onda de un sonido en puntos de coordenadas vectoriales para generar un texto en for mato eps (Encapsulated PostScript). Con este programa, cada atributo notacional se genera en distintos estratos por sepa rado; por ejemplo, las modulaciones de frecuencia o alturas tonales representan un eps independiente de, por ejemplo, el eps de las articulaciones rítmicas. Una vez generados por separado y conver tidos en eps cada uno de los atributos de la partitura, la superposición de cada
creación, análisis y teoría
sección iv
FiguRa 5. Equivalencia notacional: regu ladores de dinámica (arriba) y vibratos de alturas tonales (abajo).
el Callejón del Ruido
uno de los estratos independientes se realiza con la función graphics del pro grama cmn (Common Music Notation) (Schottstaedt, 2016).
La flexibilidad de Xa-lan Scribe per mite concebir y crear todo tipo de estra tegias de notación musical y de establecer equivalencias notacionales de, por ejem plo, alturas tonales, envolventes dinámi cas o articulaciones rítmicas (Figura 5).
Este sistema de equivalencias de distintos parámetros musicales es uno de los principios de organización musi cal en Discissum, ya que a través de la superposición o coalescencia de tales equivalencias de notación musical, pre sentadas frecuentemente con una evolu ción temporal independiente, es lo que permite crear una sonoridad de segundo orden en el contexto de esta pieza ins trumental.
En las siguientes imágenes puede observarse cómo una misma envolvente de modulación se presenta localmente como un regulador de intensidad y a ni vel de la frase musical, la misma envol vente modula las alturas tonales para fi nalmente describir el perfil meso-formal de una sección musical; por lo tanto, la misma tendencia modulatoria se refiere a sí misma en distintos niveles tempora les a manera de un proceso fractal (Figu ras 6 y 7).
Debido a la complejidad acústica que tal sistema de superposiciones frecuen temente genera, en algunas secciones del cuarteto se aplicó un proceso de filtrado dinámico para posibilitar una textura so nora que permitiese un balance más cla ro y estable. Este filtro dinámico utiliza funciones de probabilidad estadística que son evaluadas de manera porcentual (Figura 8).
Para facilitar la ejecución instru mental, la notación final de la partitura
FiguRa 8. Frase rítmica y de alturas tonales con procesos de filtrado.
utiliza consistentemente una notación prescriptiva que describe las acciones que el ejecutante ha de realizar en su instrumento para obtener el resultado sonoro deseado (Figuras 6 y 7). La eje cución de la obra, interpretada por el JACK Quartet, puede escucharse en el siguiente vínculo https://www.mau ricio-rodriguez.com/web-data/video/ discissum.mov
La posibilidad de obtener sonoridades de segundo orden está determinada a partir de cómo unidades sonoras son creadas y de cómo éstas son compuestas para fusionarse y crear un precepto acús tico global, holístico (Di Scipio, 2002).
Las sonoridades de segundo orden en Discissum son conseguidas a través de la superposición sistemática de distin tos patrones de modulación, mismos que son modelados a partir de prin cipios generales de síntesis digital de audio empleados en las sintetizaciones por frecuencia modulada y por ampli tud modulada. Para que tales modelos de modulación sean prácticos y trans feribles a un contexto instrumental, un sistema de notación musical ha sido desarrollado para registrar con flexibi
sección iv / creación, análisis y teoría
FiguRa 6. Notación prescriptiva en Discissum y análisis local de procesos fractales (fragmento de la partitura general).
FiguRa 7. Notación prescriptiva en Discissum y análisis local de procesos fractales (fragmento de la partitura general).
lidad y precisión los comportamientos dinámicos de tales modelos de síntesis.
Los preceptos psicoacústicos de se gundo orden son estrategias de organiza ción sonora que frecuentemente requie ren de velocidades de audio o de control de audio (audio control rate), y si bien este fenómeno acústico puede difícil mente recrearse con absoluta precisión en el terreno instrumental, usar tal mo delo para la organización musical de una pieza instrumental, se presenta como un problema singular e interesante de com posición musical.
Di Scipio, A. (2001). The problem of 2nd-order sonorities in Xenakis’ elec troacoustic music. Organised Sound, 2, 165-178. ______. (2002). A Story of Emergence and Dissolution: Analytical Sketches of Jean-Claude Risset’s Contours. Con tributions to the Study of Music and Dance, 63, 151-186. Estrada, J. (2002). Focusing on freedom and movement in music: Methods of trans cription inside a continuum of rhythm
and sound. Perspectives of New Music, 1(40), 70-91. Roads, C. (2002). Microsound. The mit Press. Rodriguez, M. (2012). “Xa-lan”: Algorith mic Generation of Expressive Music Scores Based on Signal Analysis and Graphical Transformations.En Eighth Artificial Intelligence and Interactive Digital Entertainment Conference (2015). Expressive quantization of complex rhythmic structures for automatic music transcription. In tenor 2015 International Conference on Technolo gies for Music Notation and Repre sentation, (pp. 18-22). (2019). Numeric Parser for Symbolic Re presentation of Rhythm. Korean Elec tro-Acoustic Music Society, 63, 39-42. Rose, F. (1996). Introduction to the Pitch Organization of French Spectral Mu sic. Perspectives of New Music, 2(34), 6-39. Schottstaedt, W. (2016). Common Music Notation. https://ccrma.stanford.edu/ software/cmn/ Xenakis, I (1992). Formalized music: thou ght and mathematics in composition. Pendragon Press.
sección iv / creación, análisis y teoría
En junio de 1997, tuve el placer de participar en el festival El Callejón del Ruido de ese año en el bello Guanajuato con mi compañero compositor-intér prete, Jos Zwaanenburg ofreciendo un concierto y una clase magistral. Era el primer concierto mexicano de mi mú sica al que asistía. Me impresionó el eclecticismo del festival y el tamaño de su público. Más recientemente, el cm mas, en asociación con la enes/unam de Morelia, otra hermosa ciudad, me ofre ció mi primer encargo mexicano. Este texto celebra mi modesta contribución a la innovación sonora mexicana hablan do de la comisión, el séptimo trabajo de mi serie de radio, Aplican Términos y Condiciones, en el que las emisiones de radio de todo México grabadas durante un breve período en 2021 proporcio naron el material fuente para un remix de medios que celebra elementos loca les, nacionales e incluso globales de (y) nuestra vida cotidiana.
Muestreo sonoro, radio, música innova dora y accesible, legalidad de las mues tras, cultura mexicana.
México es un país rico en cultura en to dos los sentidos. También es rico en su rrealismo. Como el surrealismo ha sido un ingrediente esencial en mi música, además de hacer accesible la creativi dad sonora innovadora a audiencias más allá de los especialistas, la invitación a crear una pieza para el festival Visio nes Sonoras de Morelia me pareció la oportunidad perfecta para combinar la riqueza cultural de México con mi deseo de recomponer nuestra vida cotidiana, en este caso utilizando grabaciones de radio captadas en todo el país durante un breve periodo de 2021. Este texto se centra en cuestiones importantes que son relevantes para el uso de muestras sonoras artísticamente, utilizando esta comisión como su caso de estudio.
Antes de centrarme en la rápida evolu ción del mundo del sampling sónico, es importante escribir brevemente sobre un tema que ha sido central en toda mi carrera, a saber, la búsqueda de medios para apoyar la aceptación de la música innovadora por un público más allá del
el Callejón del Ruido
de los especialistas. Lamentablemente, gran parte de la música innovadora nor malmente solo llega a un público limita do, aunque eso pueda ser aceptable para algunos músicos. En cambio, mi única visita al festival El Callejón del Ruido fue notable por el tamaño y la diversidad de su público, así como por su eclécti ca programación. El hecho es que, en la mayor parte del mundo, hay poco conocimiento de mucha música inno vadora contemporánea no comercial, lo que es una pena, ya que buena parte de ella podría ser atractiva para una varie dad de comunidades de interés. Como descubriremos más adelante, en el caso del sampling sónico, también puede ser de interés para las comunidades de práctica, un término tomado de Wenger (Wenger, 1998).
Gran parte de mis investigaciones y publicaciones relacionadas se centran en este importante tema; mis composi ciones tienen en cuenta la accesibilidad; y todas mis iniciativas educativas/de divulgación también están al servicio de este objetivo.
Cómo ha evolucionado esta extra ña situación ha sido una fascinación de toda la vida. En mi primer libro (Landy, 1999), se proponía que la razón de la marginación de la música innovadora se debía en gran medida a tres grandes categorías: los medios de comunicación (escritos, radio, televisión) que no ofre cen a esta música la suficiente atención; la educación, especialmente en el nivel preuniversitario, que rara vez ofrece re pertorio a los estudiantes; y de los pro pios músicos, que a menudo no conside ran que sea su responsabilidad dedicar tiempo al desarrollo del público. Treinta años después, el problema no ha mejora do significativamente. Aun así, internet ha desempeñado un papel enormemente
positivo en lo que respecta a la difusión de la música y la disponibilidad instan tánea de información relacionada. Sin detenernos demasiado en este tema, hay una reflexión que merece ser compartida. Como la época posmoder na llevó a muchos artistas a compartir sus “manuales de instrucciones” más a menudo que sus visiones estéticas, pa rece que los nuevos músicos prefieren dirigirse al intelecto por encima del co razón (para simplificar la cuestión). A menudo he hablado de la batalla entre el arte por el arte y el arte por la vida. En mi opinión, la capacidad de estable cer conexiones en el arte es una condi ción sine qua non. Al fin y al cabo, la música es una forma de arte comunica tiva. Por eso, la necesidad de optimizar la enorme variedad de herramientas y lenguajes para hacer nueva música con las oportunidades de conectar con la gente estéticamente parece esencial, no solo para los músicos, sino también para las salas y los festivales interesados en el desarrollo del público. El mues treo sónico ofrece el medio de presen tar a los oyentes para que conecten con su experiencia vivida. Por lo tanto, el tema del acceso se entrelazará dentro de la siguiente discusión. sobre el muestreo sonoro
Mucha gente asocia la palabra sampling en la música con el Hip Hop y lo que siguió. Antes, uno tomaba un trozo de la música de otro y lo colocaba (con o sin atribución) en su propia partitura. Se pueden encontrar varias formas de apropiación a través de la historia global de la música; sin embargo, aquí nuestro interés se centra en la reutilización de cualquier sonido, no solo de muestras tomadas de la música existente, ya sea en
la producción de estudio o en la inter pretación. Aunque el término sampling no se utilizaba en aquella época, para los creadores de la primera musique concrè te, gran parte, si no todo su material de partida, consistía en muestras sonoras. Por lo tanto, la historia del sampling es compleja y se remonta más al pasado de lo que se podría pensar.
Nuestro interés aquí, por tanto, es el uso de cualquier sonido, incluidos los tradicionales, lo que significa que se pueden utilizar materiales basados en el sonido junto con los basados en las no tas. Lo que me sorprende, como com positor que utiliza todo tipo de mues tras, es que los tipos de música basada en muestras que utilizan materiales a su vez basados en notas son más fáciles de clasificar que las variedades que utilizan cualquier sonido.
Una muestra puede ir desde los gru pos de granos de sonido individuales, posiblemente demasiado cortos para ser escuchados individualmente, hasta una grabación muy larga. Por ejemplo, la co nocida Presque rien Núm. 1 (1967-70, 20’45) de Luc Ferrari consiste en una larga grabación realizada en una playa de lo que hoy es Croacia. Mediante una cuidadosa edición, solo se incluyeron al gunos fundidos cruzados en este trabajo que llenaba una cara de un lp. Por su puesto, la mayoría de las muestras que vamos a analizar se encuentran en el ex tremo más corto del espectro.
Las muestras más largas se encuen tran a menudo en la composición de pai sajes sonoros. Los sonidos de cualquier longitud se encuentran a menudo en el mundo de la música electroacústica y el arte sonoro, por no mencionar que se combinan con material basado en no tas en una amplia variedad de formas de música popular.
En mi práctica personal, los enfo ques más comunes han sido 1) lo que he llamado música basada en muestras sonoras, es decir, obras que utilizan una colección de sonidos relacionados con un tema central como material de par tida para una obra determinada, y 2) lo que he llamado música basada en notas, es decir, obras que implican la recom posición de obras musicales basadas en notas utilizando técnicas de música electroacústica. Plunderphonics de John Oswald es un ejemplo de este último en foque.
La obra que se va a comentar a con tinuación pertenece principalmente a la primera categoría, ya que todo su material de origen procede de emisio nes de radio y gran parte de lo que se ha utilizado es voz, no música. La ma nipulación del sonido, el métier de los compositores de música electroacústi ca, se reduce al mínimo, principalmen te para “limpiar” las muestras que no son claras por cualquier motivo. De este modo, la identidad de las muestras está siempre disponible para el oyente. Esto contrasta con gran parte de la mú sica acústica, en la que la manipulación del sonido se utiliza para desplazar la atención del oyente desde la identifica ción de la fuente hasta el flujo de las cualidades del sonido en la obra que se está escuchando. Por lo tanto, el resto de este debate se centrará en las mues tras sonoras identificables.
He escrito extensamente sobre cues tiones relacionadas con el muestreo só nico, en particular (Landy, 1991) y un libro, On the Music of Sounds and the Music of Things (Sobre la música de los sonidos y la música de las cosas), que está siendo revisado en el momento de escribir este capítulo. Este libro, escri to con John Richards, investiga tanto el
sección iv / creación, análisis y teoría
el Callejón del Ruido
sampling como las culturas sonoras diy. A partir de ellos, se abordarán ahora dos tipos de cuestiones específicas, la acti tud del músico respecto al uso de mues tras y la legalidad del sampling. Volvere mos a tratar otras ideas de este libro en la sección final de este capítulo.
sobre la aCtitud de un músiCo Con resPeCto al uso artístiCo de las muestras elegidas
Como artistas, normalmente creemos que tenemos derecho a utilizar nuestros materiales de la forma que queramos como parte de nuestra libertad artística personal. Sin embargo, los dos temas que vamos a tratar sugieren que las cosas no son necesariamente tan sencillas.
Empezaremos con el tema de cómo un músico utiliza el material sonoro. En [3, pp. 132-133], sugiero tres categorías básicas para la elección de muestras: 1) relacionadas con su fuente, 2) relacio nadas con su función o significado y 3) relacionadas con su calidad sonora. Veá moslas individualmente.
Fuente: elegir una muestra por su ori gen suele ser sinónimo de ofrecer a los oyentes algo a qué aferrarse en cuanto a su experiencia con el sonido, ya sea una experiencia profunda o una más genéri ca. Cuando la identificación es posible para los oyentes, se establece un vínculo comunicativo a nivel sonoro. Sin embar go, cuando no es así, el compositor debe ser consciente del riesgo de que se pierda la intención dramatúrgica, lo que puede ser o no un problema para ese composi tor. Igualmente, los sonidos pueden ser elegidos por su sonido “exótico”. Aquí hay que tener cuidado, ya que el soni do apropiado puede tener un significa do dentro de su propia cultura (véase el
siguiente párrafo). Aplicar la manipula ción del sonido hasta el punto de perder el reconocimiento de la fuente o recon textualizar el sonido basándose en cómo se combina con otros sonidos, puede se parar a los oyentes de la fuente y llevarlos hacia las cualidades sonoras del sonido (véase el párrafo siguiente). Un último aspecto relacionado con la fuente es el tratamiento que se le da desde el punto de vista actitudinal en cuanto a su uso dentro de una pieza. Aquí me gusta ha blar de un parámetro que va del respeto a la crítica. Soy de la opinión de que las muestras deben ser tratadas con respeto —en el sentido de cómo son vistas por la gente dentro de la cultura en la que se encuentra el sonido o genéricamente si el sonido tiene que ver con un tema en particular— a menos que haya una causa debida para presentarlo dentro de un contexto crítico. Encontrará ejemplos en el debate sobre la composición que se realiza a continuación.
Función/sentido: esta segunda área podría considerarse simplemente como una versión más profunda de la anterior. Aunque se puede decir que la lluvia tie ne la función de añadir agua a nuestro suelo y a nuestros depósitos, hacer un comentario crítico musicalmente utili zando una grabación de lluvia es proba ble que sea bastante superficial. No se puede decir lo mismo de los sonidos que tienen un significado cultural, como los religiosos. Tratar los sonidos con respeto debería ser la norma. Tratarlos de for ma crítica debería tener, por tanto, una profunda razón dramatúrgica. Ignorar los puede ser la más peligrosa de las tres opciones. Se trata de un caso en el que algo percibido por el artista como exóti co puede tener un profundo significado para un grupo de oyentes potenciales que pueden sentirse heridos o incluso
enfadados debido a la recontextualiza ción del sonido. Esto debe evitarse y a menudo no se hace.
Calidad sonora: parece obvio elegir una muestra principalmente por su ca lidad sonora, es decir, musical. A menu do, cuando este es el caso, el origen del sonido es secundario o quizá no tiene importancia para el compositor. Como el objetivo de este capítulo es la capa cidad de conectar con un amplio grupo de oyentes a través de su conexión con el material muestreado, esta tercera cate goría, interesante pero menos relevante, no se discutirá más.
Resumiendo: la actitud de un com positor respecto a por qué y cómo se van a utilizar las muestras dentro de un contexto musical es de gran importancia tanto para crear un bucle de intención/ recepción con el público como para establecer vínculos con la experiencia vivida. Si se ignora la función o el sig nificado de una muestra, o se recontex tualiza en exceso, el bucle puede resul tar menos evidente o, en el caso de las muestras significativas, crear potencial mente una alienación. Por este motivo, se destaca la actitud como un aspecto importante del esfuerzo musical basado en muestras.
sobre la legalidad de las muestras sonoras
Uno de los aspectos más peculiares de la cultura del sampleo, en la música y en muchos otros ámbitos, es que la le gislación relativa a la reutilización (por ejemplo, de la música) está, en opinión de este autor, muy por detrás de nuestra actual realidad cultural digital. Cuando comenzó mi andadura en Radio Series en 2007, aprendí rápidamente que el uso de una gran variedad de muestras
podía ser potencialmente peligroso. Al hacer la obra original en francés, me advirtieron que nunca aparecería en la serie de cd del anfitrión (el Groupe de Recherches Musicales de París, grm) y cuando empecé su sucesor, To bbc or Not, fui informado por alguien del de partamento legal de la bbc de que una amplia variedad de muestras no podían ser utilizadas legalmente. Entre ellas se encontraban: el sonido del Big Ben (que anuncia los informativos británicos), las voces de los locutores, los logotipos de la bbc, piezas musicales identificables... ¡y mucho más! En resumen, práctica mente todas las muestras que utilicé en esa pieza eran ilegales, aparentemente.
Como soy un compositor experi mental que no se gana la vida únicamen te con su música, mi riesgo es bajo; sin embargo, de hecho, ningún sello disco gráfico (o equivalente en línea hoy en día) está dispuesto a aceptar una pieza de este tipo. Dado que estas delicadas cuestiones de legalidad también son re levantes para el sampling basado en no tas —basta pensar en los juicios a DJs, artistas de Hip Hop y similares por el uso de algunas de sus muestras apro piadas—, hay una lista cada vez mayor de publicaciones sobre la legislación que debería haberse modernizado hace tiempo.
Una de las reacciones a esta situación fue el nacimiento de Creative Commons, una organización responsable de añadir el término copyleft al copyright existente. Mis obras tienen una licencia Creative Commons (cc) para evitar estos proble mas. Además, siempre que puedo, utilizo muestras libres de derechos de autor que se ofrecen en archivos como Freesound (Freesound, s. f.); sin embargo, esto no es relevante en obras temáticas como la Serie Radio. El peligro continuará hasta
sección iv / creación, análisis y teoría
el Callejón del Ruido
que se modifiquen nuestras leyes de de rechos de autor. Quizá por esta razón es difícil agrupar o categorizar a los artistas del sampling sónico, ya que si se dan a conocer más, ¡podrían meterse en pro blemas! Es lo que podríamos llamar una rareza del siglo xxi
Una vez establecido el escenario, la sec ción principal de este capítulo tratará sobre la serie radiofónica y, dentro de ella, específicamente sobre su trabajo más reciente, a saber, una pieza radiofó nica basada únicamente en grabaciones de emisiones mexicanas. En primer lu gar, se presentará lo que sostiene la serie y, a continuación, la alegría de realizar la pieza y la forma en que responde a las cuestiones y los retos planteados ante riormente.
Las series radiofónicas nacieron cuan do el entonces director del grm, Daniel Teruggi, me ofreció un encargo en el que se me pedía “saquear un archivo”. Después de pensarlo y dado que el grm tiene su sede en Radio France, me pare ció obvio utilizar diversas emisiones de radio francesas y considerarlas parte de un archivo. De hecho, esa idea no era tan extraña como puede parecer. En primer lugar, el grm forma parte del Instituto Nacional Audiovisual francés, el ina, que se encarga de crear un archivo digi tal permanente de emisiones de radio y televisión que se encuentra en la Biblio teca Nacional de Francia. En segundo lugar, la idea de “saquear” la radio en caja plenamente con mi propio enfoque estético en lo que respecta a ofrecer a los diversos públicos cosas a las que afe
rrarse cuando se encuentran con obras sonoras innovadoras. Aunque se podría cuestionar la observación de que la tele visión y una amplia variedad de panta llas, incluidos los teléfonos móviles, son el principal modo de recepción dentro de nuestra cultura visual; sin embar go, la cantidad de consumo de música sin pantallas sigue siendo elevada y, de hecho, la radio sigue siendo un medio importante en la vida diaria de muchas personas. Después de haber disfrutado de la creación del primer trabajo de la serie, Oh là la radio (2007), se decidió volver a la fórmula de grabar de vez en cuando diversas emisiones de un país y ver lo que el material podía ofrecer al ser recompuesto.
Como ya se ha dicho, durante la rea lización del primer trabajo quedó claro que había monstruosos problemas de derechos en cuanto a la gran variedad de muestras que se iban a utilizar. Per sonalmente, en la mayoría de los casos, esas noticias me parecían perfectamente ridículas y decidí seguir adelante. Ese trabajo se estrenó en la serie del grm y se emitió más de una vez en su emisión ra diofónica habitual; por lo tanto, decidie ron compartir el riesgo por así decirlo.
De hecho, solo una obra de esta se rie es legal en el sentido de que la radio checa tiene los derechos de todas sus emisiones. Cuando me ofrecieron un encargo, años después, el presentador me dijo que estaba de suerte, ya que la obra que iba a crear estaba totalmente cubierta por la emisora nacional checa. Al día de hoy, es la única pieza que no tiene problemas de legalidad.
Una de las intenciones originales de la pieza radiofónica francesa era ofrecer un retrato de un día en la vida de una persona, empezando por la gran dinámi ca de la radio a primera hora de la ma
ñana, en la que muchas emisoras ofrecen una dinámica de “levántate y ponte en marcha”, sobre todo a través de sus fre cuentes llamadas horarias. Se trata de un fenómeno bastante universal y se eligió para contribuir a la variedad de mues tras o escenas que van de lo global a lo nacional y lo local. Otros universales son la presencia de logotipos y anuncios en algunas emisoras; sin embargo, estos tienden a ser solo conocidos a nivel na cional o local. De este modo, algunos aspectos universales de la radio pueden aplicarse con elementos nacionales o re gionales.
Como alguien que estudió músicas del mundo junto con la composición, soy consciente de cómo la música puede ser recibida de forma diferente por dis tintos públicos, ya sea por su ubicación, edad, intereses o cualquier otra cosa. Esto representa diferentes niveles de conexión o quizá de comprensión de las obras basadas en el conocimiento com partido. Se puede pensar en ello de esta manera: cuando uno asiste a una película de animación para niños, puede notar que los miembros del público se ríen en diferentes lugares. Algunos reaccionan, por ejemplo, ante los chistes hechos para niños. En esos casos, quizá todos se rían juntos. Luego hay ocasiones en las que solo reaccionan los mayores, ya que lo que ocurre en la pantalla no tie ne ninguna referencia para los niños, pero sí para los adultos. Más allá de esto, puede haber los llamados “chistes inter nos” destinados a los entendidos, quizás en relación con la industria del cine o cualquier otra cosa. En otras palabras, una película de este tipo permite una reacción personal a diferentes niveles de apreciación y comprensión.
Esta noción de apreciación y com prensión a varios niveles es un elemento
fundamental de la serie radiofónica. To memos, por ejemplo, la pieza británica, To bbc or Not. No todos los oyentes británicos podrán identificar las voces de los locutores y las personalidades entrevistadas, pero muchos sí. Los an glófonos de fuera de Gran Bretaña no lo harán. No obstante, esa identificación ofrece un nivel de recepción de “valor añadido”, pero no es en absoluto esen cial para conectar con la obra. Además, las obras están, en cierto modo, mar cadas por el tiempo, ya que todas sus emisiones tuvieron lugar en un periodo finito. Esto significa que algunas perso nalidades pueden ser menos conocidas en el tiempo o incluso en la actualidad. De nuevo, dado el enfoque multinivel de la apreciación, esto no es un peligro en términos de envejecimiento de las obras. También es importante señalar que todas las piezas radiofónicas que no es tán en inglés tienen videos de traduc ción que se pueden proyectar durante la interpretación para evitar el nivel más bajo, es decir, no entender nada en ab soluto. En definitiva, el oyente tendrá un viaje personal entre la escucha de los as pectos musicales de la pieza (cualidades sonoras, ritmos, sonidos en el espacio) y los referenciales (como el significado de los textos). Esta experiencia individual está pensada, ya que también es cier to que algunas muestras pueden tener un significado profundo para los indi viduos, pero no para todo un público. Esta capacidad de comunicar con una amplia audiencia a múltiples niveles es parte de la razón por la que estas obras son accesibles a públicos de diversa pro cedencia.
La elección consciente de una diver sidad de emisiones radiofónicas como material de partida es esencial para ga rantizar un contraste suficiente en estas
sección iv / creación, análisis y teoría
el Callejón del Ruido
obras, cuya duración oscila entre unos 6’ (un trabajo radiofónico chino realizado con dos estudiantes del Conservatorio de Música de Shenyang) y 18’ (a peti ción del programa radiofónico checo). El contraste es un universal musical en el sentido de que la música de todo el mundo ofrece contraste, aunque no to dos los géneros lo hagan necesariamente. Aunque mis obras ya no están escritas en partituras de cinco líneas, las nociones de tensión y liberación (o respiración), el contraste y otros elementos musicales típicos están presentes y son dispositi vos estructurales importantes.
Hablando de estructura, se podría considerar que las obras constan de es cenas y transiciones. Esto no es en ab soluto exclusivo de esta serie, ya que muchas de mis obras constan principal mente de secciones relativamente cortas —para evitar que la atención de la gente se desvíe— y puentes (inesperados).
A menudo he llamado a las piezas de radio “un teatro de sonido que incor pora una coreografía del espacio”. Esta expresión refleja mi trayectoria de años de teatro, danza, arte escénico y produc ciones de video en colaboración. Todas las piezas radiofónicas son inmersivas en sonido envolvente, de ahí la noción de “coreografía del espacio”. A diferencia de gran parte de la música electroacús tica, no hay un gran número de sonidos que se muevan en el espacio, ya que las radios son una de las llamadas fuentes puntuales. Por lo tanto, la determinación de qué muestras provienen de dónde, si se mueven y cómo lo hacen no es solo un aspecto de la composición sino, de he cho, una forma de coreografiar esos so nidos dentro del espacio bidimensional o tridimensional de 24 canales, 8 cana les 5.1 o incluso binaural (para la radio o la actuación virtual).
El vínculo con el teatro y la danza plantea otro aspecto interesante de es tas obras. Como gran parte del material emitido consiste en el habla, se podría pensar que estas obras pertenecen al gé nero composición textual-sonora. Esta afirmación es, de hecho, correcta. Sin embargo, la obra no solo incluye el ha bla, ya que se puede utilizar cualquier sonido, incluida la música de las emisio nes, así como los logotipos de las emiso ras, los anuncios y mucho más. Enton ces, ¿a qué lugar pertenecen estas obras? ¿Cómo se clasifican? Muchas personas que escuchan mis obras centradas en los textos, especialmente las que implican una actuación en directo, suelen pre guntarse si son obras dramáticas. Esta afirmación también es correcta. Gran parte del arte actual pertenece a más de una categoría y también puede formar un conglomerado de categorías propias. Las instalaciones sonoras ofrecen un buen ejemplo: normalmente pertenecen tanto a las bellas artes tridimensionales como al arte sonoro o, como yo lo llamo, a la música basada en el sonido.
Más allá de los elementos musicales mencionados anteriormente en las pie zas radiofónicas y otras composiciones basadas en muestras, al observar algunos de mis “ingredientes” encontrados en las obras radiofónicas, uno se da cuenta de cosas que no están únicamente arrai gadas en la música:
• El reciclaje (muestreo) con ob jetos encontrados.
• El 1% de inclinación (tomar algo de la vida cotidiana y recontex tualizarlo artísticamente, simi lar al objeto encontrado de Du champ).
• El surrealismo (combinar cosas que no van juntas).
• El discurso.
• Humor y sorpresa, incluyendo el “¡¿Qué?! Factor”.
• Algunas cosas a las que el públi co puede aferrarse sonoramente para ofrecer dispositivos de nave gación a los oyentes no especia lizados.
El humor suele estar ausente en buena parte de la música contemporánea; sin embargo, es una forma maravillosa de conectar con la gente. Como ya he com partido, México ofrece muchas cosas surrealistas y la gente que he conocido posee un gran sentido del humor; por lo tanto, incluir esos elementos no era ni un reto ni algo ilógico.
sobre esta séPtima Pieza de la serie
En esta sección nos centraremos en la forma de hacer estas piezas, en lo que es único en esta pieza y en lo que es com parable con las otras piezas de la serie. La obra surgió a raíz de una solicitud del Centro Mexicano para la Música y las Artes Sonoras (cmmas) de Morelia, que está asociado a la enes/unam de la mis ma ciudad. El cmmas conocía el ciclo de radio y se preguntaba si sería posible realizar una pieza mexicana. Yo había soñado con hacer una obra latinoame ricana en la serie, ya que estaba seguro de que sería muy diferente a las demás y aproveché la oportunidad. Afortuna damente, gracias a un programa de la enes/unam, pude trabajar con un estu diante que primero discutió el proyecto conmigo y posteriormente realizó todas las grabaciones de las emisiones, creó los archivos de traducción iniciales para las emisiones (una tarea enorme), ya que no domino el español, y creó el video de traducción para los no hispanohablantes. El ciclo de trabajo para todos los tra
bajos de radio es el siguiente: se intenta encontrar y grabar una amplia diversidad de emisiones durante un periodo finito, por ejemplo, dos semanas. Si, por casua lidad, no se encuentran ciertos tipos de emisiones, es posible que haya que aña dirlos más tarde o descubrir alternativas. En este caso, acabé recibiendo unas 25 grabaciones de todo México y, en dos fases, recibí otra docena más o menos para rellenar huecos de contenido.
En este punto tiene lugar la laboriosa fase de análisis de las emisiones. El ma terial dura unas 24 horas en total, por lo que esta fase puede durar semanas. Du rante este periodo se eligen las posibles muestras y se colocan en dos archivos distintos: el primero es cronológico den tro del archivo de emisiones y el segun do es la enumeración de estas muestras según su(s) tema(s). Un tema puede ser muy específico, como las llamadas de tiempo, el tiempo, el tráfico, los anun cios, etc. Pueden ser mucho más amplios, como políticos y culturales o por género; y pueden estar dentro de una categoría miscelánea, como palabras extrañas, fra ses, comentarios o incluso expresiones que pueden colocarse en cualquier lugar.
Una vez que se ha completado esta fase y se ha determinado que la amplitud del material fuente es satisfactoria, ha llegado el momento de empezar a componer. Para empezar, se elabora un storyboard (térmi no que no se asocia de forma inusual a la música) que ofrece una estructura global inicial de posibles escenas y transiciones. Una parte de esta visión general incluye elementos, como esas llamadas de tiempo de la madrugada, que se pueden encon trar en todas las obras. Otras escenas y focos se elegirán conscientemente para centrarse en los elementos nacionales y regionales que se han enumerado en las fichas mencionadas.
sección iv / creación, análisis y teoría
el Callejón del Ruido
Puede ser útil compartir en este pun to que, según mi experiencia, componer obras basadas en el sonido es diferente a componer muchas obras basadas en la nota en el siguiente sentido. Durante mi formación en composición, se esperaba que compartiera con mis profesores de composición los elementos relativos a lo que implica una pieza y cómo pienso crearla. (Rara vez me preguntaban por qué las hacía, lo que más tarde descu brí que era una oportunidad perdida). De este modo, a menudo me encontra ba haciendo piezas “de arriba abajo”, lo que significa que había unidades estruc turales predeterminadas y/o elementos estructurales que se colocaban juntos y luego se desarrollaban o refinaban como hace un escultor una vez que la forma básica de una escultura ha evolucionado. Sin embargo, cuando se trata de soni dos, incluyendo muestras de emisiones de radio, los materiales dictan lo que va a suceder, por lo tanto “de abajo hacia arriba”. De hecho, ese storyboard es lo más parecido a un top-down que he conseguido en esta serie, pero no pue de hacerse hasta después de la laboriosa fase de elección de las muestras. Se recibían transmisiones desde Oa xaca y Yucatán hasta Baja California, con muchas entre ellas. Una excepción, aunque transmitida en México, fue una vieja serie de comedia cubana, ya que ori ginalmente teníamos muy pocas trans misiones de humor. Por lo tanto, dada la dispersión geográfica de las grabaciones, necesitaba alguna explicación del uso del vocabulario local de vez en cuando, así como de cualquier material transmi tido que pudiera ser culturalmente sen sible. Este último punto era de extrema importancia, ya que yo, como no mexi cano, no me siento con derecho a abu sar de cualquier cosa relacionada con la
cultura mexicana, a menos que conozca bastante sobre ella y comparta un pun to de vista común con amigos y socios mexicanos. En los casos en los que se renunció al respeto, esto tuvo que ver con los aspectos controvertidos, quizá políticos, de ciertas muestras. Estos se presentaron en situaciones surrealistas, a menudo humorísticas.
Aplican Términos y Condiciones co mienza con música para representar lo que considero la poderosa dinámica de América Latina y va seguida inmedia tamente de la frase: “Queremos agrade certe que estés con nosotros al otro lado de la radio”. De hecho, la segunda mitad de esa frase fue la segunda en la elec ción del título de la pieza. Continúa con varios elementos más universales, como los buenos días, las palabras de agrade cimiento y esas llamadas de tiempo de la madrugada, pero atención: algunas de esas llamadas de tiempo se cantan en estilo ranchero, lo que sitúa inmediata mente la pieza en el plano cultural. En una de las llamadas de tiempo, se diri gen a los regios por lo que se incluye un elemento local. A continuación, una selección de logotipos de emisoras que subrayan igualmente la dinámica que se encuentra a menudo en los medios de comunicación mexicanos (y latinoame ricanos).
Un sonido aparentemente electróni co aparece como transición a la primera sección de contenido que es, de hecho, una secuencia de declaraciones total mente independientes que, recompues tas de esta manera, ofrecen una sucesión surrealista de declaraciones que parecen tener sentido... pero no lo tienen. A esto le sigue un anuncio sobre el tráfico (tam bién típico de la mañana), pero de alguna manera se cuela un comentario sobre “esa fabulosa e increíble vacuna” que nos re
cuerda cómo el covid ha estado dictando nuestras vidas en los últimos años.
A esto le sigue una secuencia aún más surrealista que incluye muestras relacionadas con una serie de tacos en Netflix y kfc (un anuncio inimagina ble en Europa a pesar de que kfc es tan omnipresente allí como en Méxi co). Volviendo a cosas más serias, hay un anuncio de la sección de bazar de un programa donde se puede com prar/vender/alquilar mercancía, algo que no se puede escuchar en muchos países, y un emparejamiento surrea lista de un anuncio de la emisión de un etnomusicólogo que hablará de los ritmos prehispánicos mexicanos in mediatamente seguido de un anuncio bastante banal de la música de Los Cardenales con una transición sonora de una voz inocente que dice: “¡Guau!” y “Vamos a continuar”. En este pun to pasamos poco a poco a una sección más política, ya sea por la combina ción de la celebración del cumpleaños de Barbie y una marcha feminista con tra el feminicidio en la que supuesta mente la policía había utilizado gases lacrimógenos, pero el portavoz del gobierno afirma que solo se utilizaron extintores y que los gases lacrimóge nos procedían de los manifestantes. Cuando este político acaba saliendo de la entrevista, queda claro que estas muestras merecen ser tratadas con el respeto que se merecen.
Sigue una sección de publicidad que incluye material que consideraba inimagi nable antes de recibir el material difundi do. Los medicamentos bastante inusuales que se ofrecen fueron un poco chocantes, pero los anuncios políticos que siguen, que con la misma frecuencia elogian al propio partido que atacan a los demás, fueron un fenómeno muy mexicano que
dejó a este compositor con la oportunidad de dejar que Morena hablara por sí misma, dado el actual estado de cosas políticas en México. Es aquí donde se remezclan las muestras de los términos y condiciones del título. Como estamos en la mitad de la pieza, parecía apropiada la combinación de transición “Este proyecto es pésimo en todos los sentidos” y un sonido vocal per fectamente extraño.
A continuación, hay una secuencia meteorológica que acaba presentando huracanes y tormentas tropicales en un país que, para los forasteros como yo, es un paraíso de buen tiempo. A esto le sigue el anuncio de “una hora de recreo musical” que rápidamente se combina con el sonido más musical que se puede encontrar en Latinoamérica, “¡Goooooooooooooooool!”.
Una transición centrada en la infi delidad y el incesto (una telenovela en 15”) sirve de puente a una sección mu sical introducida con el siguiente anun cio: “Vamos a hacer una pausa comer cial”. Como me interesan las músicas del mundo, lo que resultó inesperado en las grabaciones recibidas fue la notable cantidad de rancheras y canciones mas culinas de desamor en la radio mexicana. Escuchar cómo el mariachi actual puede incluir sonidos de sintetizador y descu brir la omnipresencia de las tubas (simi lares al oom-pa-pa alemán) fue notable y, por tanto, la secuencia musical de la “pausa comercial” acabó centrándose en uno o dos corazones rotos. El final de la secuencia musical es notable ya que muchas de estas grabaciones estaban en el mismo tono y en el mismo tempo. Un politono a lo Charles Ives es la coda de este pasaje.
Es aquí donde hay que mencionar que la coreografía de la espacialización de estas muestras no es fácil de discu
sección iv / creación, análisis y teoría
el Callejón del Ruido
tir; sin embargo, como la pieza se ofre ce en la página web de este libro, basta con coger unos auriculares y se puede experimentar una aproximación a la ex periencia espacial inmersiva de la obra.
Uno se merece un poco de calma des pués de las recientes secuencias, y una historia proporcionada por el Instituto Nacional de Bellas Artes y Educación Radiofónica se reduce a poco más de 1’. Se trata, para esta pieza, de una secuencia larga, pero la calma requiere tiempo. Tras cerrar la secuencia, la siguiente es un co llage de números de teléfono en el que se puede perder cualquier sentido de la es cucha referencial y simplemente disfrutar de los sonidos en el espacio (como es, por supuesto, posible en cualquier secuencia).
A continuación viene una sección po lítica centrada en las noticias falsas y en las controvertidas declaraciones del gobierno en relación con el covid. Se incluye una de mis líneas favoritas de la pieza: “Estoy seguro y convencido de que tres personas están a cargo de la pandemia en este país... El Padre, el hijo y el espíritu santo”. No hacía falta añadir ningún surrealismo.
Como esta sección es una de las más controvertidas, de nuevo algo de calma y alivio cómico es el antídoto o contraste y es aquí donde se escucha un segmento de aquel viejo programa de humor cu bano. Seguido de un puente en el que los miembros de la familia parecen tener problemas para comunicarse entre sí en línea (todo el mundo ha experimenta do eso), la secuencia final se lanza con textos de muestra separados, incluyendo llamadas a la hora de la tarde y despedi das, lo que lleva al comentario final que simboliza el papel de lo inesperado a lo largo de toda esta pieza, “¡Oh, deja de pisar ese pato!”, la única muestra que tiene algo de reverberación añadida. La duración de la obra es de 13’.
Por supuesto, no se pueden incluir todos los tipos de emisión; aun así, la pieza atraviesa generaciones, regiones, nuestra vida cotidiana y temas políticos candentes. Se trata de una pieza musi cal compuesta únicamente por muestras recompuestas de emisiones mexicanas y que trata de nuestras vidas y de esa parte única que es la radio.
hasta el final: el muestreo sonoro innovador es Para Cualquiera
Esta pieza y todas las piezas de la se rie radiofónica son para que cualquie ra las disfrute y están relacionadas con el aumento de nuestras comunidades de interés (apreciación). Espero since ramente que también sea innovadora. Cada pieza es para mí como un expe rimento. En On the Music of Sounds and the Music of Things , Richards y yo sugerimos que el muestreo sónico y la electrónica de bricolaje pueden convertirse en formas de música po pular del siglo xxi , en el sentido de que son para cualquiera, independien temente de su formación o nivel, y no implican equipos caros. Además, sue len implicar la colaboración, algo que los compositores formados normal mente evitan entre sí, lo que significa que cualquier músico puede utilizar las muestras de otros, compartir las suyas, trabajar juntos en talleres y en piezas e interpretaciones. Gracias a esta colaboración, estos enfoques so noros deberían aumentar también las comunidades de práctica. ¿Por qué no lo intentas tú mismo alguna vez?
Freesound (s. f.) [Sitio Web]. https://free sound.org./ Landy, Leigh. (1991). What’s the Matter with Today’s Experimental Music?
Organized Sound too Rarely Heard. Chur: Harwood Academic. _______. (2019). Recomposing Sounds and Other Things. Organised Sound, 2 (24), 130-138.
Wenger, Etienne. (1998). Communities of Practice: Learning, Meaning and Identity. Cambridge: Cambridge University Press.
sección iv / creación, análisis y teoría
ElCallejón del Ruido surge del imaginario personal y profesional del doctor Roberto Morales Manzanares, quien desde temprana edad mostró interés en la música folclórica, posteriormente en su periodo de formación como concertista de música clásica, un evento marcó su trayectoria profesional y de vida, la asistencia al festival de música contemporánea El Otoño de Varsovia, pues si bien no todas las piezas presentadas fueron de su agrado, cinco obras fueron suficientemente fuertes para determinar su camino profesional a seguir; el festival de El Callejón del Ruido sin duda da cuenta de estas influencias y de su dedicada labor como profesor inves tigador dentro de la Universidad de Guanajuato.
Es de conocimiento general que la evolución de una disciplina depende de la experimentación, lo que se traducirá en la innovación dentro del campo y por tanto en su evolución. Es así como El Callejón del Ruido se conformó como un espacio para los artistas internacionales y nacionales que trabajan con la música y el sonido o que lo incorporan en sus obras. Este festival facilitó y promovió la libertad crea dora dentro del ámbito de las artes. El presente libro es una muestra de los alcances de dicho evento y es un ejemplo también de la diáspora de ideas que precedieron y emergieron de dicho espacio.
Muestra de lo anterior es que dentro del festival El Callejón del Ruido, como lo muestra esta publicación, han participado algunas de las figuras más prominentes dentro del ámbito del arte sonoro nacional e internacional, tales como Clarence Barlow, uno de los pioneros de la informática musical, quien escribe para instru mentos tradicionales y hace uso de las computadoras para generar estructuras en sus trabajos, además de que ha sido director y profesor del Instituto de Sonología en el Real Conservatorio de la Haya; Adrian Freed, quien es pionero de nuevas aplicaciones de las matemáticas, la electrónica y la informática a las herramientas de producción, audio, música y medios de comunicación, además de que fue director de investigación del Centro de Nuevas Tecnologías de la Música y el Audio (cn mat) de la Universidad de Berkeley; Cort Lippe, compositor y profesor en el ir cam (Institut de Recherche et Coordination Acoustique/Musique), donde impartió cursos de nuevas tecnologías en composición y desarrolló aplicaciones musicales en
tiempo real, además, ha publicado numerosos artículos sobre música interactiva, muestreo granular, seguimiento de partituras, procesamiento espectral, mapeo de parámetros de instrumentos acústicos y diseño de instrumentos; Roger Dannen berg, pionero de la informática musical, profesor emérito de informática, arte y música de la Universidad Carnegie Mellon, cocreador de Audacity un software para la grabación y edición de audio; Trevor Wishart, compositor independiente, reconocido por su contribución al campo de la composición con medios sonoros digitales, así como al diseño e implementación de herramientas de software para la creación de música digital; Miller Puckette, matemático y programador, integrante del claustro de la Universidad de California, fue director asociado del crsa (Cen ter for Research in Computing and the Arts), conocido por haber desarrollado el software Max/MSP y anteriormente el software Pure Data; Leigh Landy, musicó logo y compositor, director del Centro de Investigación en Música, Tecnología e Innovación de la Universidad de Montford; Antonio Russek, compositor de música electroacústica mexicano, quien ha introducido recursos electrónicos a la música y colaborado con artistas como Vicente Rojo Almazán, entre otros, además de ser pionero del arte sonoro en México, cuyo catálogo comprende más de 100 obras; Manuel Rocha Iturbide, compositor mexicano, pionero de la música electroacús tica en México, reconocido artista creador de instalaciones y esculturas sonoras, su trabajo se ha expuesto en importantes espacios nacionales e internacionales y fue acreedor a dos premios en el Concurso Internacional Luigi Russolo de Italia y dos menciones honoríficas en el Concurso Internacional de Música Electroacústica de Bourges y el primer premio en ese mismo festival en 2006; Rodrigo Sigal Sefcho vich, compositor y gestor cultural, profesor en la Escuela Nacional de Estudios Superiores, Morelia, de la unam, interesado en la música electroacústica y nuevas tecnologías, es director del Centro Mexicano para la Música y las Artes Sonoras; Julio Estrada, formador de creadores-musicólogos en la unam, ha sido profesor en Alemania, Francia (Sorbona, con la Cátedra Alfonso Reyes), Italia y Estados Unidos, fue director del Centre d’Études de Mathématiques et Automatique Musi cales, de París, recibió la Orden de las Artes y las Letras de Francia (1980, 1988), el Premio Universidad Nacional 2001, la Medalla de Bellas Artes (2016) y la Medalla Mozart (2018).
A poco más de veinticinco años del primer festival de El Callejón del Ruido, se hace la reflexión acerca del leitmotiv del festival, a saber, el cruce de disciplinas artísticas y no artísticas, con la posibilidad de que en cada festival fuera posible el intercambio entre áreas de conocimiento que no habían sido consideradas en otras ediciones del propio festival. Es decir, el espíritu de El Callejón del Ruido fue desde un inicio ampliar los lindes de la propia música, donde incluso, existiera la posibili dad de crear nuevas áreas de conocimiento —lo que el filósofo Edgar Morin llama la transdisciplinariedad, es decir, hacer uso de conceptos y métodos que de origen fueron desarrollados para otras disciplinas, para que ahora sean usados, en este caso, en la música y el sonido—. Lo anteriormente estipulado es el origen de la evolución del propio conocimiento, sin este cruce de fronteras disciplinares, Pierre Schaeffer no hubiera creado la música concreta, mezcla de sonidos cotidianos y música, o Iannis Xenakis no hubiera generado la música estocástica que combina las matemá
ticas con la música o sus obras donde mezcla los principios arquitectónicos con los musicales; esto hablando desde el campo de la música, empero este es un principio evolutivo que se extiende a cualquier área del conocimiento humano.
Por lo que, un futuro congruente con los principios que vieron nacer al Callejón del Ruido sería pasar la estafeta a otras disciplinas, de tal manera que cada festival tenga la posibilidad de contar con un curador que le imprima un sello característico que pueda romper con el statu quo del festival que le antecedió y así sucesivamente. Finalmente, es debido a la trascendencia que el festival cobró a lo largo de los años que la respuesta conducente por parte de la Universidad de Guanajuato y del Cam pus Guanajuato hacia el festival ha sido la presente publicación, la cual constituye una memoria del evento en sí misma, de tal manera que acertado también sería preservar el festival desde su propia naturaleza experimental e inclusiva, aspecto posible de ser alcanzado solamente a través de la dirección del mismo en manos de diversos profesionales interesados en el carácter adaptativo de la música y de los seres que la componen.
el Callejón del Ruido
danna Reason y bRuce pennHycook, 2018
el Callejón del Ruido
danna Reason, RobeRto MoRales, tReVoR wisHaRt e ignacio bacalobeRa, en el se MinaRio tReVoR wisHaRt, 2018
Vicente Rojo alMazán, edición de el callejón del Ruido 2019.
tReVoR wisHaRt en concieRto, 2018
el Callejón del Ruido
el Callejón del Ruido
Karina Álvarez es doc tora en Artes (2015) por la Universidad de Guanajua to. Cuenta con un Diplome National Supérieur d´ex pressión Plastique, (Ecole Superieur d´Art de Greno ble, Francia). Ha realizado numerosas instalaciones sonoras, conciertos au dio-visuales y exposicio nes individuales y colec tivas en México, España, Francia, Estados Unidos y Brasil. Actualmente cuenta con la Beca ArtsAccelera tor Grant 2020 (condado Shelby Tennessee, Estados Unidos). Es profesora en la Universidad de Mem phis. Fue seleccionada en la Residencia Artística en Crosstown Arts Memphis (2018). En 2015 obtu vo la Beca Nacional de Creación Jóvenes Creado res 2015-2016 otorgada por el Fondo Nacional para la Cultura y las Artes (Fonca). En 2013 obtuvo la mención honorífica en el Premio Nacional L. A. Cetto de Arte Contem poráneo. Ha trabajado al lado del doctor Roberto Morales Manzanares en la creación visual de la ópe ra Dunaxhii, una memo ria decapitada (2013) y en numerosas intervenciones artísticas.
Clarence Barlow es Pro fesor emérito del Departa mento de Música de la Uni versidad de California Santa Bárbara, Estados Unidos. Presidió la Cátedra Corwin y estuvo al frente de la asig natura en Composición en el Departamento de Músi ca de ucsb de 2006 a 2019.
Los anteriores puestos do centes de Barlow incluyeron doce años como profesor de composición y música por ordenador en los renombra dos cursos de verano bienales del Instituto Internacional de Música de Darmstadt (19821994); más de veinte años en la Universidad de Música de Colonia (Musikhochschu le) como profesor de música por ordenador (1984-2005); cuatro años como director artístico del Instituto de So nología del Real Conservato rio de La Haya (1990-1994) y doce años como profesor de composición y sonología en el Real Conservatorio (19942006). Otros puestos fueron el de profesor visitante de composición y arte acústico en la Universidad Folkwang de Essen, Alemania (19901991), el de profesor visi
tante de composición en la Escuela Superior de Música y Arte Dramático (ESMAE) de Oporto, Portugal (20052006) y, más recientemente, el de profesor visitante de composición en la Escuela Superior de Música de Ca taluña (esmuc) de Barcelona, España (2018-20). Barlow, estudió composición con Bernd Alois Zimmermann (1968-1970) y Karlheinz Stockhausen (1971-1973), es un pionero universalmen te reconocido y un célebre compositor en el campo de la música electroacústica y por ordenador. Ha realizado avances pioneros en la com posición interdisciplinar que unen las matemáticas, la in formática, las artes visuales y la literatura. Aunque ha sido una fuerza impulsora de los avances interdisciplinarios y tecnológicos, su música está firmemente arraigada en la tradición y, por tan to, incorpora gran parte de la herencia del pasado. Sus obras, principalmente para instrumentos tradicionales, presentan un vocabulario que va desde los modismos preto nales a los tonales, no tonales o microtonales y, además, pueden incorporar elemen tos derivados de culturas no occidentales. La música de Barlow se ha programado en numerosos conciertos. De 1968 a 2019, 53 conciertos en Alemania, Países Bajos, California y otros lugares se dedicaron por completo a su música. Su música ha sido grabada en 27 cd y un lp, cinco de ellos dedicados ínte gramente a su obra. Además
de su fama como compositor, Barlow también ha alcanzado una gran distinción como in vestigador interdisciplinario, autor y desarrollador de sof tware
Bosch & Simons han creado, desde 1987, instalaciones en museos, en simposios inter nacionales y en salas de con ciertos de todo el mundo. El Krachtgever es su pieza más conocida y por la que recibie ron el premio Golden Nica en el Prix Ars Electronica de Linz en 1998. Otros proyec tos son Cantan un Huevo, premiado en el 29º Concours International de Bourges, 2002, y Aguas Vivas, que obtuvo una mención en vida 6.0, Madrid, 2003. En 2009 se celebró una retrospectiva de su obra en La Tour du Pin, Francia, comisariada por gra me, Lyon. Mirlitones se mos tró en el icmc 2013 en Per th/Fremantle y en el Sound Travels Festival of Sound Art (Toronto, 2015). Último Es fuerzo Rural III-V se estrenó en la feria de arte justMAD, Madrid (2017). En 2019 es trenaron Arrhythmia en el Kunstmuseum Moritzburg, Halle, Alemania (en colabora ción con Sergey Kostyrko) y Último Intento Minero en el festival El Callejón del Ruido, 2019, Guanajuato, México.
Roberto Cabezas Her nández es un desarrollador de software transmedia, in vestigador y educador, es el director de Tecnología y Computación Creativa en el centro de Diseño, Cine y Televisión. Su trabajo se cen tra en el uso de inteligencia artificial aplicada, visualiza ción de datos, computación afectiva y cognitiva, creación algorítmica, diseño y anima ción procedural, simulación computacional y filosofía de la tecnología. Ha desarrolla do experiencias interactivas y educativas en colaboración con empresas e institucio nes como Microsoft, Meta, Centro de Cultura Digi tal, entre otras. Obtuvo su doctorado en Tecnología Musical y se graduó con honores en la Universidad Nacional Autónoma de Mé xico (unam); como parte de su trabajo, crea y desarrolla herramientas de software enfocadas a la composición musical, la animación, el di seño multimedia inmersivo y el performance audiovisual interactivo que exploran nuevas ideas sobre modelos computacionales híbridos para la cooperación huma no-máquina.
Francisco Colasanto na ció en Argentina en 1971. Reside en Morelia, Méxi co desde 2006. Es doctor (con mención honorífica) en Tecnología Musical por la Universidad Nacional Autónoma de México y li cenciado en Composición Electroacústica por la Uni versidad Nacional de Quil mes, Argentina. Ha recibido los siguientes premios: Beca del Ministerio de Cultura de España (2000); Subsidio a la Creación de la Fundación Antorchas (2004); Premio Juan Carlos Paz otorgado por el Fondo Nacional de las Artes (2005); Encargo del liem, Museo Reina So fía, Madrid (2006); “Live Electronic Music Competi tion 2006” del Harvard Uni versity. Giga-Hertz Award 2009; zkm, Karlsruhe. Ale mania. Premio Ibermúsicas 2013; Programa de Fo mento a Proyectos y Coin versiones Culturales 2018. Es Técnico Académico de tiempo completo nivel A de la enes-Morelia. unam. Ha publicado el libro Max/ MSP: guía de programación para artistas. Es subdirector del Centro Mexicano para la Música y las Artes Sonoras (cmmas).
el Callejón del Ruido 259
el Callejón del Ruido
Roger B. Dannenberg es profesor de Informática, Arte y Música en la Univer sidad Carnegie Mellon, de Estados Unidos, es pionero en el campo de la música por ordenador. Su trabajo en el ámbito del acompa ñamiento por ordenador ha dado lugar a tres patentes y al sistema SmartMusic, uti lizado actualmente por más de cien mil estudiantes de música. También desempeñó un papel fundamental en el desarrollo de Piano Tutor y Rock Prodigy, ambos sis temas educativos musicales interactivos y multimedia, y de Audacity, el editor de audio utilizado por millones de personas. Dannenberg también es conocido por in troducir conceptos de pro gramación funcional para describir el comportamiento en tiempo real, un enfoque que constituye la base de Nyquist, un lenguaje de sín tesis de sonido ampliamente utilizado. Como composi tor, las obras de Dannenberg han sido interpretadas por el Pittsburgh New Music En semble, la Pittsburgh Sym phony y en numerosos festi vales internacionales. Como trompetista, ha colaborado con músicos como Anthony
Braxton, Eric Kloss y Roger Humphries, y ha actuado en salas de conciertos que van desde el histórico Apollo Theater de Harlem hasta el Espace de Projection del ircam. Dannenberg se dedi ca a interpretar jazz, música clásica y nuevas obras
Julio Estrada Velasco (México, 1943). Editor de La música de México, autor de El sonido en Rulfo, el ruido ese, de Canto roto: Silvestre Revueltas (2012) y de Reali dad e imaginación continuas (en prensa). Editor de La mú sica de Conlon Nancarrow, de Kyle Gann. Director de la revista Perspectiva Inter disciplinaria del Laboratorio de Creación Musical. Autor de más de un centenar de ar tículos, capítulos en libros y prólogos en México y el ex tranjero. Coordina el Semina rio Universitario de Investi gación en Creación Artística (suicrea), dedicado a la bús queda de nuevas soluciones académicas para las Artes en la unam, donde propone la figura del Investigador-Crea dor y la necesidad de crear a futuro una Coordinación
de la Investigación en Artes. Doctor en música y musico logía, Universidad de Estras burgo. Miembro del Instituto de Investigaciones Estéticas desde 1976, titular del La boratorio de Creación Musi cal en la Facultad de Música. Profesor visitante en Alema nia, Francia, Italia, Estados Unidos. Director del Centre d’Études de Mathématiques et Automatique Musicales, Paris (2000-2001). Entre sus obras figura la multi-ópe ra Murmullos del páramo, basada en Pedro Páramo de Juan Rulfo, representada bajo su dirección en 2006 en España, Alemania, Italia, México y, en 2011, en Japón con su propia puesta en es cena
Adrian Freed. Tiene una gran experiencia como líder de investigación y pionero en tecnología de música y audio. Se centra en aplicaciones in ventivas de computación y electrónica. Inventó la esta ción de trabajo de audio di gital (daw) en 1985, el com plemento de audio en 1986 y coinventó Open Sound Con trol (osc) en 1997. Fue el Di
rector de Investigación fun dador del Centro de Nuevas Tecnologías de Música y Au dio (cnmat) de UC Berkeley y participó activamente en la innovación de instrumentos musicales, proyectos de ia, pnl y ml, audio espacial, pro cesamiento de señales musi cales, interfaces de usuario y experiencia de usuario.
ca. El principal interés en sus piezas es la forma en que los músicos tocan juntos y cómo la música puede ser dirigida mediante la composición y el uso de ordenadores. Tras una larga carrera como músi co improvisador, Houtkamp creó su propio pow Ensem ble en 2002. Al ser una uni dad flexible de músicos con antecedentes musicales en el jazz, el rock, la música elec trónica y la contemporánea, pronto se convirtió en el orga nismo ideal para la interpre tación de su propia compo sición. En 2014, Houtkamp se trasladó a la isla de Malta, donde pronto se integró a la nueva escena musical local. Ahora se concentra princi palmente en la composición.
residente del Teatro Nacional de Holanda. Sus publicacio nes se centran principalmente en el acceso y la innovación musical. Es editor de Orga nised Sound (Cambridge), autor de ocho libros, entre ellos: What’s the Matter with Today’s Experimental Mu sic?, Understanding the Art of Sound Organization y The Music of Sounds. Actualmen te está terminando dos libros, On the Music of Sounds and the Music of Things con John Richards y Experiencing Or ganised Sounds. Dirige los proyectos del Sitio de Recur sos Electroacústicos (ears) y es codirector fundador de la Red de Estudios de Música Electroacústica (ems). (llandy. dmu.ac.uk)
Luc Houtkamp nace en 1953 en La Haya, Países Ba jos; compositor e intérprete para saxofones alto y tenor, ordenadores y electrónica. Con una formación en jazz y música improvisada como saxofonista, su objetivo mu sical es establecer un conti nuo entre la improvisación y la composición en el que la diferencia entre ambas se disuelva. Con la ayuda de ordenadores y electrónica en vivo, así como de diversas formas de notación musical, sus composiciones son muy personales tanto en sonido como en concepto. Su tra bajo se basa en la visión de que la libertad estilística no es un cliché posmoderno y de que el estilo musical tiene una importancia secundaria y está al servicio de la calidad expresiva de la propia músi
Leigh Landy dirige el Ins tituto de Música, Tecnología e Innovación para la Crea tividad Sonora (mti2) de la Universidad De Montfort (Leicester, Reino Unido). Sus composiciones —muchas de las cuales se basan en mues tras—, incluyen varias para video, danza y teatro, y han sido interpretadas en todo el mundo. Ha colaborado am pliamente con el dramaturgo Heiner Müller y el artista de los nuevos medios Michel Ja ffrennou. Ha sido compositor
Cort Lippe estudió compo sición y música por ordena dor con Larry Austin; cursó seminarios de composición con varios compositores, como Boulez, Donatoni, K. Huber, Messiaen, Penderec ki, Stockhausen y Xenakis; pasó tres años en el Instituto de Sonología trabajando con G.M. Koenig y Paul Berg; tres años en el estudio cema mu de Xenakis; y nueve años en el ircam, donde impartió
el Callejón del Ruido
el Callejón del Ruido
cursos sobre nuevas tecnolo gías de composición, desarro lló aplicaciones de música por ordenador en tiempo real y formó parte del equipo de de sarrollo original del software Max. Ha recibido numerosos premios internacionales; su música se ha interpretado en importantes festivales de todo el mundo y ha sido amplia mente grabada. Cuenta con numerosas publicaciones so bre música interactiva, mues treo granular, seguimiento de partituras, procesamiento espectral, distribución espa cial y retardo basados en fft, mapeo de parámetros de ins trumentos acústicos y diseño de instrumentos. Ha sido pro fesor visitante en universida des y conservatorios de Japón, Dinamarca, Grecia y Estados Unidos. En la actualidad, for ma parte del profesorado del Departamento de Estudio de los Medios de Comunicación de la Universidad de Búfalo. (www.cortlippe.com)
Edimburgo y un doctorado en Computación del Tu ring Institute-Universidad de Strathclyde, en Escocia. Es miembro del Sistema Nacional de Investigadores nivel 3, miembro de la Aca demia Mexicana de Ciencias y Egresado Distinguido de la Universidad Autónoma Metropolitana. Es investi gador Titular C del Institu to Nacional de Astrofísica, Óptica y Electrónica (inaoe) en Puebla en donde realiza investigación en aprendizaje computacional y robótica.
Eduardo Morales Man zanares. Egresado de Inge niería Física de la uam-Az capotzalco, cuenta con una maestría en Inteligencia Ar tificial de la Universidad de
Roberto Morales Manza nares. Doctor en Composi ción por parte de la Univer sidad de California Berkeley, sus intereses están centrados en la composición en tiempo real, composición generada a partir de modelos matemáti cos para la creación de nue vos arquetipos composicio nales, sistemas de aprendizaje aplicados en computación para audio y video, captura de gestos, procesamiento en tiempo real de imagen y soni do, divulgación y docencia en composición y arte electróni co. En 1992 funda el Labora torio de Informática Musical (lim) en la Escuela de Música de la Universidad de Guana
juato. Como compositor ha ganado varios premios na cionales internacionales y su música se toca regularmente en México, Estados Unidos y Europa . Como investigador, Morales cuenta con publi caciones en revistas arbitra das, ha sido invitado como compositor-investigador en residencia en varias univer sidades como: Stanford, UC Berkeley, McGill, nyu, Co lumbia, entre otras. Ha or ganizado fundado y dirigido los festivales Internacionales La Computadora y la Mú sica, por medio del inba, El Callejón del Ruido. Compo sición, Ideas y Tecnología, por medio de la Universidad de Guanajuato y Transito_ MX04 por medio del Ce nart. Es Tinker Profesor por parte de la Universidad de Stanford y actualmente for ma parte del Sistema Nacio nal de Creadores, coordina y organiza los cursos y semina rios de composición, música y matemáticas y arte digital.
Edmar Olivares Soria es profesor de la Universidad Autónoma Metropolitana, uam Lerma, en la licencia tura de arte digital, y jefe del área de investigación Prác tica como Investigación en el Arte, Transdisciplina y Sonido (piats). Es licencia
do en matemáticas por el Instituto Politécnico Na cional y maestro en tecno logía musical por la unam Actualmente es becario del Programa Creadores Es cénicos del Fonca (2019). Sus obras se han presenta do en varios festivales de renombre en Norteamérica, Europa, Sudamérica y Asia. Su trabajo incluye músi ca acusmática multicanal, música mixta, arte sonoro, música para danza contem poránea y performance mul timedia. Como investigador, sus intereses abarcan temas relacionados con sistemas dinámicos, teorías de grafos y tópicos de inteligencia ar tificial aplicados al arte di gital, así como audio 3D y localización espacial del so nido. Obtuvo su doctorado en Tecnología Musical en la Universidad Nacional Au tónoma de México (unam).
piezas para instrumento solista, acusmática, ensam ble, orquesta, medios elec trónicos y obras mixtas, hasta música para teatro y danza haciendo uso de la tecnología. Su música se ha presentado en paí ses como Suecia, Estados Unidos, Alemania, Chile, Colombia, España, Ar gentina, Taiwán y México, por intérpretes como The Giant Chinese Chamber Orchestra, Orquesta Sin fónica de la Universidad de Guanajuato, Ensamble cepromusic , BroadBand Soloists, Camerata de las Américas, Cuarteto Ar ditti, Sequenza Sur, En samble 3, Túumben Paax, Irvin Arditti, Alex Bruck, Iván Manzanilla y Héctor Purata.
Fundó el Departamento de Ingeniería Biomédica del cree-dif Puebla para la fabricación de próte sis bioeléctricas. Fundó la empresa Tecnología Mé dica de Puebla, donde se diseñaron y construyeron simuladores de laparosco pia. Ha publicado más de un centenar de artículos científicos, tecnológicos y de divulgación de la cien cia, así como ha sido autor y coautor de diversos li bros. Es creador del robot pianista Don Cuco “El Guapo”.
Emmanuel Ontiveros nació en 1978, en León, Guanajua to, México. Es compositor, saxofonista e improvisador. Su producción se desarrolla en los ámbitos de la músi ca de concierto, acústica y electroacústica. Dentro de su obra recorre desde
Alejandro Pedroza Melén dez es investigador científico en las áreas de microelec trónica, tecnología espacial y robótica. Doctor en inge niería Biomédica y fundador de laboratorios en las áreas de Semiconductores y Mi croelectrónica en la Bene mérita Universidad Autó noma de Puebla. Pertenece a la Academia Mexicana de Cirugía y a la Academia de Ingeniería de México.
Miguel Angel Reyna Martínez. Ingeniero en Electricidad y Automatiza ción egresado de la uaslp, maestro en Artes egresado de la Universidad de Gua najuato. Se ha desarrollado en trabajos artísticos en di ferentes disciplinas, entre mezclando las tecnologías con las artes escénicas, arte sonoro e instalaciones. Las Líneas de trabajo e investiga ción están enfocadas en el de sarrollo de plataformas para
el Callejón del Ruido
el Callejón del Ruido
la medición de variables en fenómenos físicos, como so porte para la gestación de in terfaces electrónicas en piezas artísticas, así como procesos algorítmicos para sistemas au togenerativos. Procesamiento en tiempo real de sonido por medio de lecturas de datos ex ternos al sistema e ingeniería sonora. Becario del Programa de Estímulo a la Creación y al Desarrollo Artístico San Luis Potosí, emisión 2014, en la disciplina de Danza, interdis ciplina. Becario del Programa Jóvenes Creadores 2016 de Fonca en la disciplina de Me dios Audiovisuales, Multi media. Becario del Programa de Estímulo a la Creación y al Desarrollo Artístico Gua najuato emisión 2020, en la disciplina de Artes Visuales, Multimedia.
cipado en numerosos eventos artísticos tanto estatales como nacionales, por ejemplo, el Festival Arte Sonoro de San Miguel de Allende, Festival del Callejón del Ruido, Há bitat Sónico, Music and Me dia Fest, Plataforma C (ug), Festival Radar (XIX Festi val de México en el Centro Histórico), Habitación del Ruido (en la Universidad del Claustro de Sor Juana), en tre muchos otros. Entre sus grabaciones se encuentran: en el año 2005 una produc ción del Centro de Creación Experimental de la Facultad de Bellas Artes de la Univer sidad de Castilla-La Mancha; en el 2006, la producciónIns trumenta Oaxaca con el disco tituladoPersonae. En el 2009, producción de la Fonoteca Nacional, cuyo disco fue titu lado Reconstrucciones sonoras de la Revolución Mexicana Ha sido becario del Fondo Nacional para la Cultura y las Artes, además, ha ganado di versos premios en las distintas ediciones de la Bienal Inter nacional de Radio.
Víctor Manuel Rivas Dáva los es considerado uno de los músicos contemporáneos más sobresalientes, su brillante trayectoria lo ha consolida do como referencia obliga da en el escenario artístico guanajuatense. Estudió con el doctor Roberto Morales Manzanares en el Laboratorio de Informática Musical (lim) del Departamento de Música de la Universidad de Guana juato (ug), en la cual labora desde el año 1996. Ha parti
Manuel Rocha Iturbide es artista, compositor, inves tigador y curador de arte y música contemporánea con énfasis en la transdisciplina. Estudió la licenciatura en composición en la unam
(1981-1988) , cuenta con una maestría en música electrónica en Mills Co llege (1989-1991), y un doctorado en el área de Estética, Ciencia y Tec nología de la Música en la Universidad de París VIII (1991-1999). Su música ha sido ejecutada en varios continentes recibiendo en cargos del Instituto imeb de Bourges, grm de París, del Cuarteto Arditti , en samble Liminar , etc. Ha realizado obra artística en importantes espacios de arte a nivel nacional e in ternacional como la Bie nal de Sydney 1998, arco (España, 1999), Kyoto Art Center (2001), Forum Universal de las Culturas (Monterrey, 2007), Fun dación Prada (Venecia, 2014), Kunstraum, Kreuz berg Bethanien (Berlín, 2016), etc. Ha sido bene ficiado con las becas del snca de México, del Banff Center for the Arts, de la Fundación Japón, etc. Asi mismo, ha ganado diversos premios de composición en los concursos Luigi Rus solo de Italia y de Música Electroacústica de Bour ges , y el premio Cuervo 1800 de adquisición en arte, entre otros. Tiene dos libros publicados. Actual mente es profesor de asig natura de composición en la Facultad de Música de la unam y de tiempo comple to en la uam Unidad Ler ma en el departamento de Artes y Humanidades. Su página web es: www.arte sonoro.net
Mauricio Rodríguez. La música de Mauricio Rodrí guez encuentra su expresión a través de una transición fluida entre sonoridades ar quetípicas y el arte acústico más experimental. Sus com posiciones invitan al oyente a sumergirse en un espacio multimodal, a veces intrinca do y abstracto, sin embargo, vívido y experiencial. Mau ricio Rodríguez obtuvo el doctorado en artes musicales por la Universidad de Stan ford, la maestría en sonología por el Real Conservatorio de la Haya en los Países Bajos, y la licenciatura de composi ción por la Facultad de Mú sica de la unam. Su música se ejecuta frecuentemente en Europa y las Américas. Ha realizado residencias ar tísticas en el centro Arteles (Finlandia), la Universidad de California Santa Cruz (wacm), el Centro Interna cional de Compositores en Visby (Suecia), Centro Xe nakis (Francia), Fundación Royaumont (Francia) y el Instituto Superior de Arte de la Habana, Cuba. Durante 2016-2019 fue miembro del Sistema Nacional de Crea dores de Arte.
Antonio Russek (Torreón, Coahuila, 1954) Composi tor, catedrático y produc tor enfocado en la música electroacústica con una notable trayectoria, Russek es pionero del arte sonoro en México y colabora de manera permanente con ar tistas fuera del ámbito mu sical. En 1974 instaló en cdmx su propio estudio, en el que construyó parte del equipo; destaca el ensam blaje de dos sintetizadores modulares analógicos de laboratorio. En 1982 fun da el Centro Independiente de Investigación Musical y Multimedia (ciimm) donde desarrolla una importante tarea en producción disco gráfica, publicaciones, con ferencias, talleres, asesoría, organización, difusión y curaduría para conciertos de música electrónica y medios alternativos. Su la bor en la exploración de la tecnología en el arte está reflejada en su propia obra con la creación de entornos sonoros inmersivos en espa cios cerrados, así como en la proyección de sonido en espacios públicos utilizan do sistemas multicanal. En 45 años de vida profesional ha recibido becas, premios
y distinciones, su obra se ha presentado en festivales nacionales e internacionales en 17 países. Pertenece al Sistema Nacional de Crea dores de Arte.
Foto: Jesús Cornejo Jorge Rodrigo Sigal Sef chovich (Ciudad de Méxi co, 1971). Es compositor y gestor cultural. Profesor de tiempo completo en la enes, unam, Morelia y Candidato a Investigadro del sni. Trabaja con nuevas tecnologías en el ámbito de la música elec troacústica. Desde 2006 es el director del Centro Mexi cano para la Música y las Artes Sonoras (www.cnmas. org) desde donde coordina diversas iniciativas de crea ción, educación, investigación y gestión cultural relaciona das con el sonido y la música. Obtuvo un doctorado de la City University de Londres y un posdoctorado en la unam, así como un diploma en ges tión cultural de la uam bid y ha continuado sus estudios y proyectos creativos con di versas becas y apoyo de insti tuciones como Fonca (miem bro del snca) y la Fundación
el Callejón del Ruidoel Callejón del Ruido
DeVos de gestión cultural, entre otros. Desde hace más de 10 años es parte del pro yecto Lumínico (www.lumi nico.org), director del festival Visiones Sonoras (www.visio nessonoras.org) y editor de la revista Ideas Sónicas (www. sonicideas.org). Sus proyectos artísticos, discos compactos e información completa esta disponible en www.rodrigo sigal.com.
Miller Smith Puckette nació en Chattanooga, Ten nessee, Estados Unidos, el 26 de marzo de 1959. Es mate mático, programador y profe sor de músicaestadounidense, director asociado del Center for Research in Computing and the Arts (crsa), así como miembro del claustro de la facultad de la Universidad de California en San Diego donde trabaja desde 1994. Puc kette es conocido por haber desarrollado el programa de computación Max/msp, un entorno de desarrollo gráfi co para la interacción entre música y los recursos multi media, desarrollado durante su estancia en el ircam en los años 80. Obtuvo un postdoc
torado en Matemáticas por la Universidad de Harvard en 1986 después de graduarse enel miten 1980. Fue miem bro del mit Media Lab desde su apertura en 1985 hasta 1987 antes de continuar su estancia en el ircam y desde 1997 es parte del movimien to denominado Global Vi sual Music Project. Pucke tte también es autor de Pure Data (pd), un lenguaje gráfico de programación para la in teracción de música y traba jos multimedia, elaborado en los años 1990 con la co laboración de muchos otros miembros de las comunida des desoftware libre. También es un Putnam Fellow, honor que recibió en el año 1979. Puckette publicó en 2006 el libro Theory and Techniques of Electronic Music (Teoría y técnicas de música electróni ca). Viaja con frecuencia dan do cursos y conferencias so brePure Data, especialmente aMéxicoyAmérica Latina.
Fernando Vigueras (Ciu dad de México, 1981). Ar tista sonoro y músico es pecializado en prácticas y lenguajes experimentales. En su trabajo indaga sobre el uso objetual de instrumentos musicales para recrear mo dos concretos de producción sonora, a través de interven
ciones en sitio específico, conciertos e instalaciones interactivas. Es maestro en interpretación musical con especialidad en guitarra, por el programa de Posgra do en Música de la unam Su serie de instalaciones sonoras Traslaciones fue presentada en la muestra homónima en el Centro Multimedia del cna (2019). Participó en las exposi ciones La voz oculta de los objetos Callejón del ruido / Universidad de Guanajua to (2019) y Modos de oír, Laboratorio Arte Alameda / Ex Teresa Arte Actual (2018 / 2019). Ha sido be cario del programa Jóvenes Creadores del Fonca en dos ocasiones en los rubros de música (2013) y multime dia (2016). Además de su labor artística, realiza pro gramas curatoriales y pro yectos expositivos para dis tintas instituciones como el Centro Cultural de España en México, Ex Teresa Arte Actual, Museo Universitario del Chopo y Casa del Lago. En 2021 fue cocurador de la serie de encuentros per formáticos Dunkelkammer Sessions en colaboración con la artista Gabriela Gor dillo y de la serie de con ciertos edges en el Centro Multimedia del Cenart. Actualmente realiza la cura duría del ciclo de acciones sonoras formante, en el Centro Cultural de España en México. Web y Redes: www.fvigueras.tumblr. com, www.desbordamientos.com; Instagram / Twitter: @ efeuves
Cynthia P. Villagómez Oviedo. Doctora en Artes Visuales e Intermedia por la Universidad Politécnica de Valencia, España, en 2016 ganó el “Premio Extraordi nario de Tesis Doctorales” en la upv por su trabajo de Tesis sobre arte digital mexicano y sus procesos de producción. Es autora de siete libros sobre arte electrónico, creatividad, diseño y procesos de crea ción, ha escrito más de veinte capítulos de libro y más de cuarenta artículos en revistas nacionales e internaciona les. Ha realizado estancias de investigación en España, así como ha expuesto los resul tados de sus investigaciones en arte electrónico en even tos como International Sym posium on Electronic Art, isea2017, en Manizales, Co lombia; isea2018 en Durban, Sudáfrica; isea2019 Gwang ju, Corea del Sur; isea2022, Barcelona, España; Centro de Investigación y Desarro llo Ecuador, entre otros. Es integrante de la Society for Phenomenology and Media. Es Profesor Investigador de tiempo completo en la Divi sión de Artes de la Univer sidad de Guanajuato, en el
Departamento de Diseño y la Maestría y Doctorado en Ar tes. Es miembro del Sistema Nacional de Investigadores con el nivel I desde 2017 y nivel II desde 2020 a la fecha. Ha sido integrante del Comi té de pares académicos para la Evaluación de Programas de Posgrado en la Convoca toria del Programa Nacional de Posgrados de Calidad y de la Convocatoria de Ingreso y Permanencia del Sistema Nacional de Investigadores del Conacyt.
digital. Estudió enOxford(ba 1968), laUniversidad de No ttingham (ma 1969) y la Uni versidad de York (phd 1973). Tiene un puesto honorario en la Universidad de York, pero es sobre todo un compositor independiente. Los intereses composicionales de Wisha rt se relacionan sobre todo con la voz humana. Esto es bastante evidente en su vox Cycle, Tongues of Fire, Globa lalia, Two Women y American Triptych. También es muy conocido como investigador en técnicas vocales extendi das. En 2005 participó en el proyecto de arte público Iti nerarios del sonido, para el que compuso la piezaMadrid Memories, que se presentaba en una parada de autobús de lacalle Fuencarral, enMadrid.
Trevor Wishart na ció en Leeds, Inglaterra, el 11 de octubre de 1946. Es un compositor inglés residen te en York quien es amplia mente reconocido por su contribución en el campo de la composición con medios sonoros digitales, tanto mez clados como interactivos. No sólo ha compuesto muchas obras significativas, sino que también ha escrito sobre el tema que él llama“sonic art”, y ha contribuido al diseño e implementación de muchas herramientas de software para la creación de música
Note: For the reader, it is suggested that the graphs and illustrations of each article be consulted in the spanish versions.
el Callejón del Ruido | creation, ideas and technology
Callejón del Ruido was born in 1994 during a dinner at Dr. Jose Angel Canavatti’s house. At that time he was the director of cimat. We talked about music, mathematics and the possible convergences and divergences in both disciplines.
We agreed that it would be a good idea to hold a festival-congress to promote the dia logue between music and mathematics, as well as its link with other areas of knowledge.
Those of us who knew José Angel, know of his intemperate character and at that mo ment (approximately 9 pm) the then Rector of the University of Guanajuato, Mr. Juan Carlos Romero Hicks, called him to schedule an appointment for the following day.
The Rector of our University was immediately enthusiastic about the idea and we star ted the project. cimat would be in charge of offering its space for conferences, lodging and food for the guests. The University of Guanajuato, for its part, would provide all the spaces available for the realization and dissemination of the event.
Once this support was secured (in 2 days!) I traveled to cdmx (formerly Mexico City) to the “Coordinación Nacional de Música y Ópera” and to what was the now extinct office of Decentralization, of what is now the Ministry of Culture.
Mtro. Manuel De Elías was the director of the “Coordinación Nacional de Música y Ópera”. As a background, Mtro. De Elías created the festival “La Computadora y la Músi ca”, and invited Mtro. Francisco Núñez and myself to participate in its realization in 1991. Knowing my performance as part of the team of “La Computadora y la Música”, I proposed the project of “Callejón del Ruido” and given the state support and the dimen sion of the project, he agreed to support it with the economic amount that was used for the festival “La Computadora y la Música» together with the participation of soloists and artistic groups that belong to the Coordinación Nacional de Música y Ópera. This became in an annual agreement with the University of Guanajuato and the Coordination that was in effect until 2004.
On the other hand, in the office of Decentralization, the program coordinator was the writer and poet Eduardo Langagne with whom I collaborated in the Center for the Study of Latin American Folklore (Cefol) years ago. Decentralization at that time provided re sources to the State Institutes of Culture, so the project was also very well received and they also committed to provide an annual economic resource via the State Institute of Culture of Guanajuato for the Callejón del Ruido project.
The support of these 4 institutions (The University of Guanajuato, CIMAT, National Coordination of Music and Opera of inba and the State Institute of Culture of Guanajuato
via Decentralization), allowed me to manage other sources of support and collaboration for the festival such as: the Gaudemus Foundation of The Netherlands, “Centro Mltimedia” and the “Escuela Superior de Música” both of the National Center for the Arts, as well as universities in the United States and Canada.
The festival always worked with the collaboration of teachers and artists from the Uni versity of Guanajuato as well as from national and foreign universities. The annual rotation among the groups of collaborators such as curators, composers, visual artists and artistic groups was key to keep the festival fresh and with an updated vision of contemporary art in each edition.
I would like to highlight the enthusiasm and support of the then Director of the school of Music at the University Armando López Valdivia, the absolutely decisive role of Maestro Héctor Quintanar, whose initiative to include the “Orquesta Sinfónica de la Universidad de Guanajuato” in the Callejón del Ruido Festival as part of its substantive activities was pivotal, and of course, the willingness of Maestro José Luis Castillo to respect the agree ment and not skimp on the programming of contemporary works for orchestra on the dates of the Festival.
It is worth mentioning that Callejón del Ruido was the first festival in Mexico to incor porate electronic art and the first festival worldwide to hold an algorithmic composition contest (this was in the 2nd edition (1995) and the winner was Cort Lippe).
In 2001 I did the 8th edition and after finishing the festival, I went to do my doctorate at the University of California Berkeley in the United States. Between 2002 and 2004 Maestro Héctor Quintanar continued with the Callejón del Ruido Festival with 3 editions, but unfortunately it could no longer be held in 2005 and all the support obtained since 1994 was lost.
This created a problem to be able to resume the festival when I returned to the Uni versity of Guanajuato in 2006. The institutions that used to support the festival had other interests and cultural support policies, including the University of Guanajuato.
In 2009 I was able to resume the Festival through the Department of Architecture, Art and Design (daad) Campus Guanajuato. Unfortunately, we were only able to maintain it for that year given the budget cuts and the short time to resume local support, despite having had the collaboration of the Universities of Stanford, UC San Diego in the United States and York in England.
In 2018 I took it up again for the 2018 and 2019 editions, where we had great support from the Rector’s Office of Campus Guanajuato, the DAAD, and Cultural Extension.
I think we could have grown more since in the 2019 edition we also had support from FONCA’s co-investment programs.
In 2019, I proposed to institutionalize the Festival to guarantee its continuity and secu re an institutional budget according to the statutes that I mention below.
Callejón del Ruido was never really a festival of Contemporary Music, nor did it obey the characteristics of a congress. It was a festival where contemporary music was programmed, but also traditional music of the native peoples of Mexico, electronic art, articles and se minars on music and mathematics, computer systems oriented to music and art in general,
el Callejón del Ruido | creation, ideas and technology
el Callejón del Ruido | creation, ideas and technology
installations, dance, visual arts, photography and cooking. We always held forums and round tables on creation, multidisciplinary phenomena and cultural management strategies.
Callejón was a festival for the University community and the world. In this festival many ideas germinated for the creation of works, projects and the development of what is today the offer of programs oriented to music: Pd, MaxMSP, Nyquist, Audacity, SuperCollider (the section of Pbind, Pdefs, etc), Open Sound Control (OSC), SICIB and Escamol, to give tangible examples.
It was a festival with unique characteristics and rarely seen in other festivals and / or congresses.
Callejón was a feast of ideas and initiatives with an academic format that sometimes appeared to be irreverent to conventional stereotypes. Always with forward-looking pro posals, as demonstrated in its programming (see annexes) and impact in other parts of the world.
Perhaps the fact of not being 100% oriented to contemporary and/or academic music of the xix and xx century type, and having a transdisciplinary orientation caused more noise than its name for some people.
It is clear and inevitable that the future lies in forming cadres with multidisciplinary teams, that music can be surprisingly related to more disciplines and that these in turn en rich and feed back in a crucial way to the contemporary musical endeavor. Coexisting with diverse cosmovisions and aesthetics that demand composition in real time (e.g. improvisa tion) with or without technology, nourish us with new ideas and new virtuoso techniques, worthy of being taken into account for the renewal of curricula in both interpretation and musical and visual creation.
Music is universal and demonstrating this was fundamental to the training of students. It was always very important to me to encourage and maintain a close dialogue between stu dents, artists and inventors from other countries.
I considered it essential to program music and dance groups from Mexico’s native peo ples (huaves, camperos de Valle, jarana Mixe, Canto Cardenche, etc.), so that the students would also become aware of the richness of this country in this respect. It is worth men tioning that officially there are 68 indigenous languages, each with its own worldview and artistic approach.
Another important aspect that I was looking for with Callejón del Ruido is to show the students the possibility of being in emerging fields of knowledge with multidisciplinary approaches and to broaden their professional spectrum in alternative areas once they gra duate from the University of Guanajuato.
Below, I list what I consider to be the statutes that were the backbone of the Festival for its realization in the years 1994-2001, 2009 and 2018-2019.
International Festival El Callejón del Ruido
Creation Ideas and Technology Guanajuato, Gto.
The University of Guanajuato, through the Rector’s Office of Campus Guanajuato, the Directorate of Cultural Extension, the Division of Architecture, Art and Design (DAAD), the Department of Music of the University of Guanajuato and the Laboratory of Musical Informatics (lim) are committed to produce annually the International Festival of Music and Contemporary Art Callejón del Ruido Creation, Ideas and Technology, which will be held in the City of Guanajuato as the main venue.
The objectives and commitments of the festival for the University community, the state of Guanajuato, and the country, are:
1 To present a current and contemporary mosaic of the diverse theoretical and artistic tendencies of contemporary composition and interactive art from our country as well as from the rest of the world.
2 To count on the participation of outstanding personalities in the art world. These include contemporary musical creation, both in the field of acoustic music, computer music and electronic media, electronic art, sculpture, painting, photography, dance and installa tions.
3 To update and stimulate the artistic and scientific environment of the country in the creation of artistic works and research, immediately emphasizing the participation of the academic personnel of our University.
4 Academically, these activities should complement the theoretical and creative subjects included in the areas of composition, musical pedagogy, musicology, instrumentalist, dan ce, architecture, design, mathematics and engineering currently offered at the Guanajuato Campus of the University of Guanajuato; since the lectures, workshops and seminars should represent the most advanced work of the most recognized researchers and creators world wide in the aforementioned fields.
5 It is mandatory to include artists from indigenous communities in the programming, given their diversity and worldview, so necessary for the enrichment and formation of our university community.
6 Culturally, it is essential to remain as a reference in multidisciplinary musical and artistic expression that combines art, mathematics, science and technology in our country.
7 The Festival will consist of one or two daily concerts, seminars, lectures, master clas ses and workshops on topics related to the work of the contemporary artist, among which stand out:
a) Composition with algorithmic models.
b) Technology in music and interactive models
c) Composition and analysis of works
d) Computer instrument design
e) Contemporary instrumental techniques
f) Virtual Reality
g) Installations
h) Video-mapping
i) Exhibitions
el Callejón del Ruido | creation, ideas and technology
el Callejón del Ruido | creation, ideas and technology
l)
8 Concerts will include works for soloists, chamber ensembles and symphony orchestra.
9 With respect to dance, performance, video-mapping, installations, etc., these will be presented in various University and Guanajuato State venues, such as museums, exhibition halls and open-air locations.
As can be seen in these objectives, the strategies and goals set out in the academic area by the institutional development plan of August 2016, which includes the functions of tea ching, research, outreach and extension, are integrated in a natural way.
If we observe the focus of this article, it only mentions the people who were fundamental for its birth and continuity.
I highlight in the guidelines what I consider represents being a complete and legitima tely contemporary artist.
Sharing my academic and artistic vision makes clear my passion for sound and I borrow from science to always question the absolutism that has represented Western culture as the only path to contemporary creation and science.
Finally, my greatest satisfaction was the impact caused and the resonance that the festi val had for the world, the university community and in general.
With this proceedings I would like to thank all the participants of this dream and I invite you to see the annexes that tell part of the story of those who helped me to realize this great project.
Dialogue, respect for artistic-academic diversity and the constant updating of knowle dge will always be the strength to be better artists and academics.
I am hopeful and almost certain that our institution will echo this project.
With few exceptions I was a regular guest of the International Festival of Music and Con temporary Art El Callejón del Ruido, I have witnessed its development since the first edi tion and shared very closely the complexities of its realization. I had the privilege of pre miering works, participating in a number of concerts, conferences, talks, exhibitions and other activities within the framework of the festival, but I do not want nor do I consider it relevant to make a detailed account of all of them, it is not intended to be an academic publication, so I will spare the list with names, dates and details.
These are just a few words written in free hand to point out and acknowledge my friend and colleague Roberto Morales who has been the creator, director and main manager of El Callejón del Ruido, also recognizing the work of many other collaborators and institutions involved in this long trajectory.
I appreciate the good experiences gathered during my stays in Guanajuato, how nour ishing were the work sessions, the rehearsals, the presentations of colleagues, the opportu nity to listen to new works in concert, to know the work of other composers, performers, researchers, plastic artists, photographers, etc. who were present in their different editions... how to forget Donald Buchla, designer of the iconic synthesizers that bear his name or Miller Puckett, author of MAX and Pure Data, software used worldwide. The level of the events in general remained high, as well as the conviviality with the participants during the meals, special mention should be made of the long nightly meetings at Roberto’s house, which benefited from generous amounts of mezcal, updating us on our lives.
When the festival started we already knew each other well, we rode together in previous projects, I attended his wedding, our families grew up together, with Vicente Rojo Cama, friend and ally, we formed a trio of ‘live’ electronica offering concerts with some frequency. I think it was around 1980 when he was composing the music for a play we met, it was “Rey Lear” directed by Salvador Garcini.
Roberto dropped out of the Escuela Superior de Música del INBA, but always restless, he learned to play several instruments with an unusual dexterity for improvisation. He was invited to join Negro Ojeda’s jarocho ensemble playing harp, flutes and other stuff, with his brother Rodrigo, bassist, poet and then electoral advisor, he formed the group “Alacrán del Cántaro”, an interesting ‘ethnocontempofreejazz’ fusion that revealed his sound abstrac tions that inevitably disembarked in this ‘electroasustic’ music, as he usually says.
Memorable sessions in my studio in La Condesa, rehearsals at his family’s house in Cayaca huala surrounded by forest, with his ARP 2600 synthesizer and me with my modular assembled with Serge parts preparing a piece commissioned by the first Festival del Centro Histórico.
During Francisco Núñez’s tenure as head of the Escuela Superior de Música, he fin ishes his degree playing a leading role in the creation of the Electronic Music Laboratory, acquires the first equipment, organizes courses and initiates a pioneering trend in the use of musical informatics, and begins the development of his first musical automata.
He joins the University of Guanajuato as a teacher, introducing a new study program that soon crystallizes in a computer and electronics laboratory at the School of Music... Jesus a thousand times! The venture was not without its difficulties, however, several of Roberto’s former students are now outstanding performers and were at the time uncon
el Callejón del Ruido | creation, ideas and technology
el Callejón del Ruido | creation, ideas and technology
ditional collaborators in the operation of El Callejón del Ruido festival. He travels to California for graduate studies, establishing friendships and academic ties with people who would later be invited to the emerging festival, ensuring its international profile. It is fair to say that the private and public alliances necessary for its realization were the product of a delicate and constant strategy with sponsors, nor were there few difficulties to keep them active.
Agile mind, sharp humor, dynamic and extroverted Roberto has in his catalog works for orchestra and other instrumental ensembles but he never declined his passion for the use of technology in his daily practice, designing and building control devices for his interactive processes. He became an expert programmer in sound synthesis and processing platforms with his own codes (‘Escamol’ one of the first) as well as for other applications, attending symposiums and festivals in other countries. He is a professor and synodal of the postgrad uate area in Music and Technology of the Faculty of Music of the UNAM, beneficiary of the National System of Creators of Art.
It is obvious that this testimony is focused, partial and tinged by affections, shared experiences, friendship, music and love for cables. It is also likely that it does not com ply with the appropriate format and that the events mentioned here did not happen in the order presented, nor does it pretend to be a semblance because the quantity and diversity of the actions carried out by Roberto is ample, but El Callejón del Ruido is one of the best!
Congratulations to all those involved in this memory.
Cuernavaca, Morelos, 2022
Well before the terms “provocations” and “disruptive innovation” became popular, Ro berto Morales productively employed these strategies in his collaborations with us in Cal ifornia at the Center for New Music and Audio Technologies (cnmat). Many of our most significant and recognized contributions grew from our responses to his ambitions and we benefited enormously from seeing these contributions put to artistic use in memorable concerts and symposia.
The value of embedding expatriated collaborators in a research community are consid erable. One I want to focus on that is underrated and understated is what I will call “out side validation”. It’s been well established that new ideas and especially new music often struggles to thrive beyond a local circle and it is often outsiders that catalyze its eventual growth. Well-known musical examples include Jazz, Blues, R&B, Reggae and Hip Hopall validated and reinvigorated in parts of Europe.
With the current, intense focus on machine learning and AI for musical applications, it may be surprising to learn that in the late 1970’s there were few such explorations in the usa. Musical applications didn’t really pick up until European institutions such as ircam
endorsed and circulated AI from mit and Machine Learning from the British cyberneti cians. Early experiments at ircam with jazz on what we now call “style transfer” conducted by David Wessel were promising but were constrained by being largely out of real time. Deep experimentation in real-time improvisation systems had just started as machines be came available that were small enough and affordable to produce satisfactory results. David Wessel’s attempts to focus ircam on real-time ML control systems were largely thwarted with their focus on linear dsp, unsuitable for machine learning and AI. This was something David Wessel and I were keen to address when we started the research program at cnmat One of the inspiring systems and papers and an early endorsement of our ambitions was SICIB in1997 from Roberto Morales and his brother Eduardo. It is now the 25th anni versary of that work, one of the soundest systems for live improvisation that evolved from explorations of automata Roberto started in 1992.
I first met Roberto in person during his visit in the early days of cnmat in 1995 and we set to work configuring our local computing infrastructure to support his work. This involved combining the only machine we had on hand that could run Prolog (a Sun work station) with MIDI controlled sound synthesis mediated by an Apple Macintosh. Although I had already worked on protocols for such communications, this was my first exploration of robust real-time communications using the Ethernet; it was something I had already suggested at ircam who rejected Ethernet in favor of a home-grown coaxial cable network. We produced a simple protocol that was the precursor to later work with Matt Wright and others on what became the Open Sound Control (osc) encoding, the de facto recom mended encoding for networked music and experimental controllers and digital musical instruments. This protocol catalyzed early influential network performance groups such The Hub.
The machine learning work influenced many cnmat colleagues including Georg Hajdu who developed Quintet.net.
We were delighted when Roberto Morales returned to cnmat to pursue Ph. D. studies. His engagements with other students continued such as in 2003 when he collaborated with Ali Momeni on an album of recordings.
In 2005 we took up another long-standing, important and influential strand of his work: technology-mediated re-integration of movement and music. The separation of mu sic, dance and traditional rituals in favor of narrow, abstract concertizable forms is a key historical trend of contemporary art music and dance (and not just for Western music). Ro berto had already worked on intermedia pieces by attaching inertial measurement systems to dancers so, taking advantage of UC Berkeley’s recent miniaturization of the key sensors (mems technology), I built a lightweight sensor system to attach to his flute. This provid ed extra dimensions of control as Roberto performed and he developed machine learning systems to use integrated streams of gesture and sound information. We discovered with these experiments that accelerometers are good low-frequency microphones so filtering their output produced a stream of data that marked keying gestures on the flute body inde pendently of voiced sounds of the flute.
Roberto’s early experiments with the system lead him to employ the sensor as dynami cally attachable to instruments (via velcro) as he moved between his core instruments in the performance of a piece. Combining this system with off-line and real-time image synthesis and processing, he created and performed “Cenzontle”, a piece which won a 2005 Bourges prize and represents one of the earliest live intermedia pieces at cnmat, a stimulating and evocative example for future research, compositions and performances. I presented a visual musicological analysis of this piece in a conference in Montreal.
The integration of inertial sensing into his performances has evolved considerably and has regularly been recognized at international conferences and events such as the nime
el Callejón del Ruido | creation, ideas and technology
el Callejón del Ruido | creation, ideas and technology
conference where I saw a memorable performance employing Wiimote wireless sensors, for example. These experiments have influenced many related activities at cnmat where devices such as cell phones that include inertial sensors have been regularly employed.
Another notable 2005 project in Berkeley involved composition and synthesis using data from Space Weather provided by nasa
Roberto was an early adopter of the SuperCollider system and regularly reminded our community that there were tools outside the MaxMSP space to be explored.
I will close this necessarily brief tour of the rich collaborations we in Berkeley enjoyed with a special personal point of connection. Ever since I heard the harpist La Negra Gra ciana’s recordings of Son Jarocho (made famous in a record release of a concert recorded in Paris), I have been curious about the rhythmic liveliness and complexity of this music. Twenty years ago Son Jarocho was barely known or represented in the San Francisco Bay Area so it was a delightful surprise to discover that Roberto not only knew the music but played it very well —on harp, jarana, and percussion. He became an invaluable guide as I gathered recordings, limited accessible scholarship and a Jarana to learn the rudiments on. My personal journey into the tradition and personalities also had a profound influ ence of my understandings of rhythm and how much higher the bar needed to be raised to model rhythmic aspects of music - far above the well-known linguistic structuralist or cognitivist approaches. Son Jarocho in its traditional context (the fandango) embodies polymeter, groove, swing, dance, rhythmic contrast, meter shifts, and textured playing (especially the strums and stops of the Jarana). We made some progress on modeling and understanding some of these aspects of music in CNMAT’s research program - notably with the Ph. D. of Vijay Iyer and Dr. Roberto Morales’s work. While much in pitch and timbre is quite well modeled mathematcially and in computer simulations there is still much to do when it comes to rhythm. Much of my own progress in this area has only been possible because of insights from the explorations and investigations Roberto catalyzed and this work–as with our other collaborations–continues to bear fruit and propel our curiosities and discoveries.
referenCes
https://cnmat.org/Calendar/Past_Events_2005.html
https://cnmat.org/Calendar/Past_Events_2002.html
Concierto de Roberto Morales Manzanares https://cnmat.org/concert1.html https://cnmat.berkeley.edu/content/mineral-de-cata-roberto-morales-manzanares https://cnmat.berkeley.edu/content/parallel-worlds-music
Morales, Roberto, Eduardo F. Morales y David Wessel, “Combining Audio and Gestures for a Real-Time Improviser”.
Morales, R., E. Morales y L. E. Sucar, “Integrating Bayesian Networks with Logic Pro grams for Music”, en International Computer Music Asociation, Volumen 2000, 2000, https://quod.lib.umich.edu/i/icmc/bbp2372.2000.195/1/--integrating-bayesian-net works-with-logic-programs-for-music?view=image#end-of-header
Peticolas, Laura, Roberto Morales Manzanares, David Bithell, Nahide Craig, Janet Luh mann, Suart Bale, “Space Weather Sonification for Scientists, Educators and Musicians”, en American Geophysical Union, Spring Meeting, 2005
It was in August 1995 when for the first time I attended a concert of the Callejón del Ruido Festival. I went because it was advertised on the screens of the music school that was just starting its school year and I had just arrived to live in the city of Guanajuato and my studies at the school were also beginning, and I wanted to attend as a way of integrating myself to the music school and its activities.
I expected it to be a concert of classical or academic music, of authors such as Mozart, Beethoven, Bach, etc. At that time my relationship with music was to listen to popular music, rock, pop, what was promoted on commercial television and radio, so I hoped that this concert would be my introduction to the world of serious or academic music, as I said before, and that in this way I would begin my education and cultural formation in a serious way.
The appointment was at the Teatro Principal of the University of Guanajuato, which is located in the center of the city. The third call was given and the curtain opened. A pi ano appeared on stage, then the pianist appeared and the audience applauded. Everything seemed “normal”, let’s put it this way, I was witnessing the beginning of a “classical” music concert.
Great was my surprise when the pianist began to play. He started with some chords and melodies that sounded very strange to my ear, as if they were out of tune, as if they made no sense. As the concert progressed, the music became more intense. Each piece the artist played, the rhythms sounded very strange, irregular, the chords and melodies more and more complex, until suddenly, the pianist instead of playing the keys, began to play the strings and other machinery of the piano body, that is, he got up from his bench where he was sitting and leaned forward so that his hands manipulated the harp and the pegs; at another moment he moved to one side of the piano to have a better reach on the instrument’s case.
In another piece, the pianist flatly no longer played the keys, but literally struck them, with his open hand and also with his fist. At that moment the concert was already a madness for me because the pianist was sitting on the keyboard, besides playing timbres or sound devices that were glued to the body of the piano.
This concert marked a before and after in my life in the way of approaching music. It was the German pianist Moritz Eggert.
From this event, I began an intense musical and learning journey, listening and watch ing music that only in the Callejón del Ruido, organized and curated by Dr. Roberto Mo rales, could be witnessed; and that together with the Laboratorio de Informática Musical, also directed by Dr. Roberto Morales, was the sonic combo that formed me in my career as a sound artist, being in contact with artists and their work such as Cort Lippe, Mari Kimura, George E. Lewis, Zack Settel, Ake Parmerud, Manuel Rocha, Antonio Russek, and many more.
It is admirable that festivals like Callejón del Ruido and institutions like the Laboratorio de Informática Musical have survived in a society as conservative as the one in Guanajuato, and that despite rejection and bad faith criticism from both the artistic and academic com munities, they have been able to stand up and prove that music always saves.
creation, ideas and technology
el Callejón del Ruido
el Callejón del Ruido | creation, ideas and technology
Memories from early June 1996.
On my way to Mexico. I was invited for a festival, called El Callejón del Ruido. The information that I got was very brief, as it was a last-minute invitation. They booked a flight to Mexico City Airport and gave the information that I should go to the office of another air company and pick up a ticket, for a flight to another town. The second ticket said Leon as the final destiny, so I reckoned that the festival would be there.
After a long day, I finally arrived at the destination. In the arrival hall I looked around to see someone with a notice board with my name on it, the usual procedure, when we musicians are picked up from an airport. But no sign or people looking for me! All the other people left the terminal, and was empty again, except a few shy young kids. After a while, one of them came to me and says my name. it appeared that they were there to pick me up. No one of them spoke English, but they looked very happy that they had found me. They smiled at me all the way during the car ride, that ended in Guanajuato. That seemed to be the final destination. In the hotel there, I soon fell asleep, exhausted from the long trip.
The next morning, I was picked up and brought to the university. I was welcomed by Roberto Morales, who was the organiser of El Callejón del Ruido festival. A tall, very warm person, and I soon understood that he had an incredible knowledge of contemporary music. Some hours later, I met the other people who were performing at Callejón del Ruido. Some old friends, like George E. Lewis, Clarence Barlow, and Mexican oboist Roberto Kolb, who I knew from when he was studying at the Royal Conservatory in The Hague. But I also quickly made new ones, like Cort Lippe and Zack Settel. Roberto seemed to have invited the crème de la crème of the electronic music world.
It was a beautiful week, with lots of new experiences, filled with meetings, concerts and workshops. Great dinners too, I remember a great one at Roberto’s house, the first time that I had a Polllo con Mole, the famous Mexican chicken in chocolate sauce.
But the biggest experience was a solo concert that I gave in San Francisco del Rincón, a sleepy provincial town in the province.
I was a little nervous this time, as it was far away from the safe world of the avant-gar de loving academic bubble at Guanajuato. When I looked through the curtain at the audience, I saw that the hall was filled with Mexican families, and I wondered how they would respond to my music. But from the first note that I played, they were complete ly focused on my music, and you could hear a needle dropping. An ovational applause sounded when I finished.
After the performance there was a discussion with the audience. The Guvnor of the state came up to the stage, hugged me, and told the audience how I had opened their ears.
Then, a man in the public asked if could play a scale for him, so that he could hear if I was a real musician. I later heard that he was a music teacher at the local music school. I told
him that I could, but that I won’t, because I had nothing to proof. The audience laughed and booed at him, telling he should stop with his stupid remarks.
On the way back to Guanajuato in the back of the car, I felt almost dizzy from all the great words that had been said. And that night, I fell asleep happier than ever.
Unfortunately, Roberto, after this we have only met a handful of times. I returned to Guanajuato and the festival in 2000, with Ensemble LOOS, and we met once more in The Hague, when we both performed on the same festival. But I’m still grateful for the experi ence you gave me for playing at El Callejón del Ruido.
I wish you a great time after your retirement and I hope that you will have more time to spend on your own music.
With warm greetings.
June 12, 2022. Birgu, Malta
My relationship with the International Festival El Callejón del Ruido eMManuel ontiVeRos
My approach with the Festival El Callejón de Ruido happened in the year 2000, a year before I came to study at the music school of the University of Guanajuato. I had the opportunity to come to the city of Guanajuato on dates when the festival was held and I attended a couple of concerts, although I already knew about the existence of the Callejón before attending for the first time because I had friends who were music students and they told me about it.
When I entered as a music student at the University I had the opportunity, in my first year of college, to attend the total of the concerts, it was its eighth edition in 2001 and it was held from June 4 to 9. At that time the festival was directed by Roberto Morales Man zanares and the contents of the festival were focused on contemporary composition and the use of technology.
One part that surprised me was that within the festival program there was the presence of international, national and local composers and artists, and within the latter there were teachers and students of the School of Music, which I found very enlightening because, if you were a student, you had the opportunity to get to know closely the other participants who were generally much more experienced artists, which I think is enriching for any artist in training.
When Roberto Morales left Guanajuato to study for a doctorate in the United States, the Callejón del Ruido was under the direction of Héctor Quintanar during the following editions IX, X and XI, in which I joined the festival organization team, at Quintanar’s invi tation. Unfortunately, there were no more editions in subsequent years.
The festival resurfaced until Roberto Morales returned to Guanajuato and made the edition of El Callejón del Ruido Fénix (I do not remember if it was year (2010) but it was an isolated edition since for reasons of resources it was not possible to have continuity. It
el Callejón del Ruido | creation, ideas and technology
el Callejón del Ruido | creation, ideas and technology
was until 2018 that Callejón del Ruido had its third air and in this edition by invitation of Roberto, I also had the opportunity to participate both in the organization and as an artist as part of the ensemble rorschach_3.0, experimental music group confirmed by Benjamín Sánchez Lengeling, Paúl León Morales and me.
The last edition in which I participated both as part of the organizing committee and as a composer was in 2019.
Having this approach with the Callejón del Ruido was a great learning experience and later gave me the guidelines to work in other festivals such as the “Ciclo de Música Con temporánea” from Festival Internacional Cervantino, by its organizer, Ramón Montes de Oca. He saw me working in the Callejón del Ruido and invited me to be part of his team in the fic, where I worked for 15 years.
Due to the fact that the Callejón del Ruido had some years of absence, we decided to undertake in 2014, the creation of the Ex_Nihilo Festival in collaboration with my col leagues; Paúl León Morales, Josué Zamora and Ricardo Durán Barney.
I consider it important to mention the Cervantino and Ex_nihilo festivals because in some way it was in the Callejón del Ruido where I had my first approach to the manage ment, organization, planning and execution of a music festival and where I learned to do the work that a festival of this nature requires for its realization.
In this article we describe a process of explorations with industrial apparatus in an artistic con text. A practice that can be found in all the “music machines” we have built since 1990. After using electric motors for more than two decades we started to examine a different vibration source in a workshop at naisa, as part of the Sound Travels Festival of Sound Art in Toron to, 2015. The combination of a great variety of objects and the creativity of the participants helped us consider future explorations of the artistic possibilities of small pneumatic rotary vibrators originally designed for industrial applications. Último Esfuerzo Rural III-V(2017) has been the first series of works in which we continued the discoveries made in the workshop of 2015. It turned out that not fixing a vibrator at all to the object it is placed in enables it to move around inside its object, propelled by its own vibration, creating different timbres and sound volumes. With the project Arrhythmia (a collaboration with Sergey Kostyrko, 2019) the pneumatic vibrators gained increasing significance. So far we had been using them mostly in temporal structures with relatively long durations. The short trigger times used in Arrhyth mia resulted in a completely different sonic language of a more percussive and, at the same time, organic character; the unique combination of air sounds that remind of breathing and the merely industrial sound of a rotating metal ball fitted perfectly in the bridge we wanted to build between biological phenomena and mechanics.
In many of our “music machines” vibration and resonance are the central notions that lead to the complexity of behavior and sonic outcome that we have been looking for over many years. Our favorite source of vibration is an oscillating electric motor designed for industrial pur poses. This type of motor is extremely reliable; their oscillating frequencies can be controlled precisely and they are easily fixed to an object. The way we incorporate these motors into our constructions does not differ much from industrial practice. Our approach and goals are very different however; in industry these motors are purely functional and repetitive, being used to move materials into a certain direction, for instance powders, grains, or in mining industries even pieces of rocks. In our case the aim is much more abstract, maybe best summarized as the creation of a complex system that may be appreciated as art. At the beginning of our career, somewhere in the 1990s, we encountered another industrial vibration source at an industrial fair in the Netherlands that caught our attention: a small pneumatic rotary vibrator. These vibrators consist of a metal ball that rotates in a circular housing with an air inlet and outlet. The ball starts to rotate when compressed air is blown into the inlet.
We kept a pneumatic vibrator for years without doing much with it. It was clear to us that its properties differed a lot from our electric vibrators. These act at frequencies be low the audio range and with such an energy that they are able to put into motion heavy
creation, ideas and technology
el Callejón del Ruido
el Callejón del Ruido | creation, ideas and technology
constructions like the Krachtgever (1994-98). The pneumatic vibrator oscillates at a much higher frequency (around 500 Hz) and with a relatively small force; for these reasons itdoes not deliver any satisfying artistic result when used the same way as our electric motors. When fixed in a static manner with bolds and nuts, the way they are used in industry, you will hear its own rotational frequency, but resonant frequencies of the body to which it is attached will more likely be damped than amplified. After various unsuccessful trials the pneumatic vibrator was forgotten until we were invited to give a workshop at the Sound Travels Festival of Sound Art, naisa Space, Toronto, 2015. We resumed trials of the pneu matic device and eventually discovered other much more inspiring ways of giving a new and unconventional use to this industrial apparatus. In this article we will relate subsequent developments, up to the realization of our work Arrhythmia (2019), a collaboration with Sergey Kostyrko, a Russian physicist and sound artist based in St Petersburg. < https:// soundcloud.com/sergey-kostyrko> and < https://vimeo.com/kostyrko>
In 2015 we were invited to show the work Mirlitones (2012-13) at the Sound Travels Fes tival of Sound Art in Toronto (Bosch and Simons, 2016) and to give a workshop as part of the Sound Travels Soundhackers Intensive series. [1] The simple fact that our Mirlitones use compressed air was the main motivation for getting a pneumatic vibrator off the shelf and to begin experimenting again. The whole infrastructure of a compressor, air tubes, valves and an interface would be present in Toronto, so we would only have to ask naisa to collect metal objects for the workshop, and bring a few vibrators with us. We had already come to the conclusion in our studio that the combination of a metal object with a vibrator which is not attached in a rigid manner, but with some play between vibrator and resonant body, could produce a wide scale of sounds within the range of order, chaos and in between; our favorite area. At the workshop everything came together; the combination of a great variety of objects and the creativity of the participants gave birth to a new series of works, and helped us consider future explorations of the artistic possibilities of a semi fixed vibrator.
último
Último Esfuerzo Rural III-V (2017) has been the first series of works in which we used the discoveries made in the workshop of 2015 with another simple but substantial im provement. It turned out that not fixing the vibrator at all produced even more interesting excitations. In order to increase the vibrator’s mobility we fixed one or two little springs in the holes that are meant for a rigid fixation. As a result the vibrator is able to excite different resonances of the object in which it moves around.
Conceptually Último Esfuerzo Rural III-V is the third project in a series of works in spired by the area we live in, the rural interior of Valencia. “We do not refer to the romantic myth of rural life but to something like a rural mind: the individual who looks for simple, but creative and playful solutions to the problems that occur in the world surrounding him; a state of mind which is disappearing in our globalized world.” [2]
For many years we have been collecting antiquated objects from our area. The objects of Último Esfuerzo Rural III include large pans for boiling onions and funnels made of tin plate, used way back in the production of sausages, and ewers made for measuring quanti ties of olive oil. Once brought into resonance our objects recover their forgotten value by producing mysterious, hypnotic sounds: a process whereby the potential energy of once meaningful, but now dead objects, is transformed into a spiritual experience, by stimulating
their resonant frequencies in an unusually unpredictable and vivid manner. Listeners can choose their own perspective in the sonic environment created by the installation by mov ing around below the objects. Also inside of the objects unpredictable behavior takes place: normally this type of vibrator is firmly mounted with bolts, whereas we attach one or two metal springs below each. This enables the vibrators to move around inside their object, propelled by their own vibration, creating different timbres and sound volumes.
Último Esfuerzo Rural III premiered at the just MAD Art Fair, Madrid, as part of the exhibition EX4, February 2017. In September 2017 we made a new onsite version for the DA_Festival at the National Academy of Art, Sofia, Bulgaria. For this event the objects we used were supplied by Venelin Shurelov, the artistic director of the festival, all coming from his grandfather of Jasna Poljana, a village in the southeast of Bulgaria. It was remarkable that the objects had a lot in common with the ones from our own village in Spain, some 3000 km away, and even more satisfying that their sound turned out to be even more con vincing, extra reinforced by the impressive reverb of the exhibition space.
The idea of making an onsite work with pneumatic vibrators as exciters was further ex amined with the project Último Intento Minero, commissioned by the Callejón del Ruido festival, Guanajuato, 2019. The initial idea was to use objects from the mining industry as Guanajuato is a town with a very long history of the exploitation of its gold and silver min ing. Once we were there we revised our plans and searched for sound objects at a “tiradero” (scrap dealer), a great suggestion from festival director Roberto Morales. This resulted in the incorporation of a wide variety of everyday objects into the work, including a big pan for boiling tamales, a wheelbarrow, a chair, a mailbox and other vessels. These objects were not only more varied but also bigger than the ones used previously in the series Último Esfuerzo Rural, and above all they produced extremely powerful sounds.
Peter Bosch and Sergey Kostyrko met each other for the first time at the Art Science Semi nar “9 Evenings Revisited”, KunstKraftWerk, Leipzig, Germany, 2016, organized by Artsci Nexus. At this event they gave a workshop together for refugee kids of 5-10 years old.
Since then ideas for a common project, driven by scientific data, had been discussed by email, and crystallized in Arrhythmia, premiered at “Finding Affinities”, an exhibition organized by the Global Young Academy as part of their 10th annual meeting in the Kun stmuseum Moritzburg, Halle (Saale), Germany, 2019. <https://globalyoungacademy.net/ finding-affinities-at-the-nexus-of-art-and-science/>
In recent decades scientific research has made great progress in visualizing biological processes at the cellular and subcellular level. Video images created at the Institute of Cy tology in St Petersburg by Dr. Danila Bobkov and his colleagues form the starting point of this project. Their research uses laser scanning confocal microscopy to investigate the behavior of live isolated rat hearts. The main focus of their research is on the arrhythmic behavior of rat hearts - how it arises and how it is possible to prevent it. Their research has demonstrated that chemical factors cause individual cells to beat with arrhythmic frequen cies. The noise from these arrhythmic cells may increase until they affect the fundamental frequency, causing an irregular heartbeat. [3] [4]
Our main interest lies in converting the behavior of a biological system into sound pat terns. We measure the relative displacement between frames of the provided microscopy videos. The changes in movement direction are being transformed into energy (air) de
el Callejón del Ruido | creation, ideas and technology
el Callejón del Ruido | creation, ideas and technology
livered to a pneumatic vibrator. We apply an algorithmic approach to manage the video footage, reorganizing the film material randomly into collage movies.
Each vibrator is coupled individually to a specific “video channel”. The different tem poral behaviors of these videos result in unique polyrhythmic structures produced by the vibrators. Each video channel is being created in real time and projected on its own screen.
It was a logical step to try how our pneumatic vibrators would react on triggers derived from the video images. It turned out that the unique combination of air sounds that remind of breathing and the merely industrial sound of a rotating metal ball fitted perfectly in the bridge we wanted to build between biological phenomena and mechanics. So far we had been using the vibrators mostly in temporal structures with relatively long durations. Now with these short triggers we ended up with a completely different sonic language of a more percussive and, at the same time, organic character.
In the design of the visible parts of the installation we carefully selected the compo nents: vibrators of a rather prosaic industrial design are placed in a vivid, poetical variety of cages that originally housed living animals. A contrast that invites viewers to muse about the ethical aspects of the use of animals in medical research. A normally lifeless, mechanical object becomes a kind of relic of what once was a living creature, like the isolated rat hearts in the laboratory setting, creating an audio-visual metaphor of a biomechanical machine.
Sergey Kostyrko developed the application for the project using the Python program ming language. The application analyses the video images in real-time, detects the cells beating, and triggers the industrial vibrators. To track the beating of the cells we use a phase correlation algorithm from the OpenCV library, which allows us to measure the movement in a video. < https://opencv.org/> [5]
Each of the 4 Raspberry Pi 3 microcomputers plays its own video footage, selected arbi trarily from an array consisting of 8-9 pieces. Each analyses the movement in the video and sends triggers to one of the 4 industrial vibrators according to the detected pulsation in a video.
[1] Bosch, Peter and Simone Simons. “Mirlitones”, aFragile and Complex Sonorous System, eContact! 18.2, Canadian Electroacoustic Community (2016). https://econtact.ca/18_2/ bosch-simons_mirlitones.html
[2] “Our Music Machines.” Organised Sound 10/2 (2005), 103-110
[3] Kubasov, I. V., Stepanov, A., Bobkov, D., Radwanski, P. B.,Terpilowski, M. A., Do bretsov, M., & Gyorke, S. Sub-cellular electrical heterogeneity revealed by loose patch recording reflects differential localization of sarcolemmal ion channels in intact rat hearts. Frontiers in physiology, 9, 61 (February 2018). https://www.researchgate.net/publica tion/323144504_Sub-cellular_Electrical_Heterogeneity_Revealed_by_Loose_Patch_ Recording_Reflects_Differential_Localization_of_Sarcolemmal_Ion_Channels_in_In tact_Rat_Hearts
[4] Tse, Gary. Mechanisms of cardiac arrhythmias. Journal of Arrhythmia 32 (2016), pp 75–81 https://www.researchgate.net/publication/288003095_Mechanisms_of_Cardi ac_Arrhythmias
[5] Druckmüller, Miloslav. Phase correlation method for the alignment of total solar eclipse images. The Astrophysical Journal, 706, (2009), pp 1605–1608
This article is an adapted version of a text written for eContact!, Montréal. Special thanks to Sergey Kostyrko, co-author of our work “Arrhythmia” and to Ben Toth for revising our english.
In this essay I reflect aesthetically about the phenomenon of resonance in music and sound art, starting off from the physical acoustic effects in music instruments and other solid bodies, as well as from the different electroacoustic music techniques, but even from a metaphorical, conceptual and poetic level, unfolding these ideas both in electroacoustic music and in sound sculpture and sound installation. These considerations are based in the different techniques and creative procedures applied in different electroacoustic and sound art works that I have developed since the last decade of last century to the present day. My interest in this physical phenomenon linked to vibration and to the expansion and feedback of frequencies, goes beyond the rules and traditional ideas in music, approaching other fields that are related in a more intimate way with sound.
key Words: Resonance, electroacoustic music, sound art, esthetics, transdiscipline.
Before resonance there was vibration, and before vibration movement. Some European musicologists in the twentieth century like Edgar Willems thought that there was a lineal evolution in music (Willems, Edgar 1977: p. 70). First, there was movement, and therefore rhythm came through the body of the African dancers, second there was frequency, and therefore melody, the emotional realm developed into its maximal sophistication in the Asian microtonal inflections. Finally, harmony came, the verti cal realm of thought and intelligence developed in occidental music starting up with the Gregorian counterpoint, then the Ars Antiqua, the Ars Nova, the well-tempered clavichord, until our sophisticated days of complex harmony. Although this view could be helpful, the truth is that it is a Eurocentric and very limited view of our cultural perception capabilities.
Giacinto Scelsi said, “music cannot exist without sound, but sound exists without music […] Sound has a third dimension: depth, and this quality makes it spherical […] that one who does not penetrate in the interior, in the heart of sound, could be a perfect artisan, a good technician, but never be a truthful artist (Scelsi G, 1985: p. 83).
Electroacoustic music has been for most of us a refuge from traditional theoretical music, a way to experiment directly with sound and to enhance our perception of its many and varied complex qualities. Resonance is one of them, and this essay has giv en me the excuse to reflect on different ideas around this immersive quality of sound, starting from my personal creative experiences both in electroacoustic music and in sound art.
creation, ideas and technology
el Callejón del Ruido
el Callejón del Ruido | creation, ideas and technology
Resonance cannot exist without vibration. Scelsi was influenced by the eastern philoso phies, and he believed that “sound was the first movement of the immobile, the beginning of creation” (Scelsi G, 1985: p.85). So, we have sound which is the same thing as vibration and movement. These two elements can’t be separated, they are the same. We daily experi ence how sounds can move things, and since the seventeenth century, the physicist Robert Hooke and later on in the eighteen century Ernst Chladni, observed how flower and sand particles moved along a surface when put to vibration. The different resonances of these materials were causing the particles to create different kinds of geometric patterns. Sound art is an interdisciplinary field that has been very popular the last four decades, but many artists have been experimenting with vibration and movement for more than a century. The different early vanguard painters explored the synesthetic relationship of movement and sound, and many artists still today explore this. My first experience within this realm was with my sound sculpture Ping roll in 1997, where I had ping-pong balls well distributed over an aluminum plate and some speakers beneath it. Sinusoidal frequencies diffused through the speakers were calculated in order to be sympathetic to the natural tuning of the sculpture’s aluminum plate, so that they made it vibrate and resonate. The effect of the vibrating plate over the ping-pong balls was that some of them bounced in a fixed point, while others got out of their bouncing orbit and moved through the surface of the plate. A long process with different frequencies made the balls to move every time cre ating interesting patterns and finding a way through two entropic zones where they almost stopped moving. This process was repeated again and again but not before redistributing the balls in the plate in a homogeneous way (Rocha Iturbide, Manuel 2013: p. 136)
as Continuous vibration. feedbaCk and amPlifiCationAcoustic resonance is the capability of a vibrating body to respond to an impulse or wide band of noise excitation. In instrument building, the acoustic bodies are designed to extend the res onances of the sounds through amplification and feedback. The same thing happens in elec troacoustic music, but instead, we use algorithmic feedback with filters or other techniques such as convolution. Nonetheless, I can imagine other types of resonances that do not affect only the body of an acoustic instrument or a convoluted sound. In my composition La rama del tamarindo (The tamarind tree 2013), I experimented stretching the sounds of Afro Co lombian drums (with a duration of 1 second) with temporal granulation that lengthened them 20 to 30 times (20 to 30 seconds), using macro envelopes of 370 milliseconds to read the grains from the samples. The result was that the very short resonance of the drum was expand ed in time in a very peculiar way, where granular texture was shortly found at the beginning, but little by little was converted into a beautiful resonance that changes and is transmuted in time. So, starting with this granular extension, I discovered a new idea, a prolonged resonance that transits in a continuum that goes from noise (attack of the drum) to pure resonance.
resonanCe and symPathetiC vibrations
Here we find a much more interesting field, where there is still allot to say and to discover. We all know how a big church resonates, and in fact, how difficult it is sometimes to play music in such buildings. It is amazing how little have musicians thought through the years about composing particular music for particular spaces. I recall for example an old compo sition by Pauline Oliveros where she plays the accordion, collaborating with Stuart Demp
ster in the trombone and Panaiotis singing, improvising in a huge cistern water tank, taking into consideration the 45 seconds of reverberation of that space, and making the sound of their instruments to resonate in it creating and immersive statism1.
I have experimented with sound and space while playing electroacoustic music in differ ent acoustic spaces like the Mexican colonial courtyards, churches, etc, but the experience of experimenting and discovering the particular qualities of a space, I have only found it while creating sound installations.
Alvin Lucier´s conceptual sound work I am sitting in a room created in 1970 is per haps what inspired me to move in that direction. In 2003 I collaborated with the Mexican Artist Luciano Matus to do an intervention in the San Agustín Church of Mexico City, an abandoned building. We named it Recognition of Space. He placed several long nickel cables (that have the width and thickness of a cassette tape) along the space, while I used four of the domes and tried to make them resonate with their own sympathetic frequencies. The way of doing this was by recording clapping sounds in each of the domes, and then I convoluted them with long white noise sounds in a recursive way, obtaining at the end the essential resonant frequencies of the domes (a kind of subtractive synthesis or sonic chicken broth). Finally, I played those sounds through speakers below each one of the domes (in the floor and looking upwards), making them to resonate again but now in a completely new way, by using their same concentrated resonances obtained by means of these convolutions.
The concept of sympathy can be extended to other realms. In electroacoustic music for example, we can find the similitudes of two different sounds and create a third one that will be a hybrid of the precedent ones. This is called cross synthesis, and this concept is clearly related with sympathy, the new sound in this case would be the “resonance” of the two other ones. It is like a father and a mother, first they like each other, they resonate and make out, and then they might live together and procreate a new human being that would be a mixture of the resonance of his parents and ancestors.
Due to the different qualities of cross synthesis, we can create very interesting hibrida tions and produce sounds that do not exist in the real world. For example, with the Super Phase Vocoder (svp) algorithms integrated in the Audio Sculpt program developed in ircam (Depalle, P., Poirot, G. 1991) in the nineties, there are two techniques of cross synthesis, generalized crossed synthesis, and source filter cross synthesis that consists in “multiplying the specter (fft Fast Fourier Transform) of the sound at the first input, by the result of the spectral envelope of a predictive linear analysis (lpc) of the sound at the second input (Hanappeunder Peter, 1995: p. 62), namely, the timbre of the sound of the first input is not modified in its essence, but its spectral dynamic envelope is affected by the lpc analysis of the second input. An example can be a series of sounds that I produced for my composition Ecosistemas (2009) and that later I used it again in my composition Casi Nada (2011). The sounds I applied the linear predictive analysis to, were cicadas recorded in an island in Viet nam; then, these analyses were multiplied by the spectral fft of different güiro sounds, a rubbed percussion instrument. The result of this cross synthesis was that the sounds of this percussion instrument behaved like cicadas, due to the spectral envelope of these insects that go from piano to forte, and from low to high frequencies and then redescend again to the low range of frequencies and to the dynamic of piano. This way, the güiro sounds ob tained the dynamic spectral characteristics of the cicada’s sounds.
1 This improvisation was recorded on the CD Deep Listening published by New Albion records in 1989.
el Callejón del Ruido | creation, ideas and technology
el Callejón del Ruido | creation, ideas and technology
Trevor Wishart is one of the electroacoustic composers that have written largely about the metaphorical and poetic meta musical possibilities of this type of transformations:
We must be both sonically and metaphorically articulate. Using concrete metaphors (rather than text) we are not telling a story in the usual sense, but unfolding structures and relation ships in time – ideally, we should not think of the two aspects of the sound-landscape (the sonic and the metaphorical) as different things but as complementary aspects of the unfolding structure (Wishart Trevor, 1985: p. 91).
With the cross-synthesis techniques we can obtain new sounds that transit between differ ent sonic worlds, as for example the sounds of musical instruments and the sounds of living beings like insects as we have already seen, or other animal sounds. For example, we can imagine a trumpet that barks like a dog, or a clarinet that howls like a wolf, etc.
the internal resonanCe of a sound.
A sound can resonate with its self, or better, we can find the resonance of a sound within itself ¿How can these happen if we always need another element, a nosey impulsion or an other sound? In 1993 I discovered a recursive method which I have used allot through the years. I call it auto-convolution, and it works by convoluting a sound with itself over and over again until all the noisy part of it disappears and we end up only with its frequency characteristics. But also, this convolution has the characteristic of reverberating sounds, of prolonging them a little bit in time2
In my conceptual sound work Ligne d’abandon (1993), made in collaboration with the artist Gabriel Orozco, I first stretched the screeching sound of a car wheel creating eight new sounds with different durations, and then convoluted them with themselves in order to erase the noise of the motor, I ended up with long resonant sounds that did not resemble any more the screeching sounds of a car wheel. Thanks to this, and to the use of silence, I edited the screeching sounds and silences using a cyclic permutation idea and obtaining a sound work of 29:51 minutes of duration that was repeated all the time. The formal and structural result of this sound work is that of stasis and that we never know how the eight different sounds will be combined within each other, and metaphorically speaking, about that particular moment when we can hear the screeching sound of a car wheel through our home window and stay suspended during a temporal instant that could seem eternal, until knowing if there was or not an accident (Rocha Iturbide Manuel, 2013: pp. 65-71).
I experienced this technique with other sound works. In my electroacoustic wedding mass called. …EVEN… (2003), a composition with the structure of a catholic ritual wed ding mass, I convoluted the liturgy texts of the Agnus Dei, Sanctus and Kyrie Eleison with white noise3 in a recursive way, obtaining the spectral essence of their words. God’s word here was converted into frequency, into a kind of a new resonance.
Resonance as a conceptual extension.
I will finish this essay with the metaphorical idea of resonance ¿can a musical instrument have sounds completely unknown to us? ¿could we find them if we modulate them? In my
2 This technique is very similar to recursive convolution with white noise, the one that I used in my installation Reconocimiento del Espacio, where the more important partials of the amplitude of the convoluted sounds are reinforced, but in this case, there is not an amplification and a reverberation, but a subtraction of the partials that are not important.
3 This is the same recursive convolution technique used in Reconocimiento del Espacio. They are very similar, except that in this installation the recursive technique was repeated many times more.
sound installation I play the drums with frequency (2007) I placed small speaker cones over the different drums of a drum set and played two sinusoidal waves tuned with each drum that interacted with them and produced beatings, and probably frequency modulations that gave up complex timbres. In this way, the drum set was converted into a kind of synthesizer, an electroacoustic instrument in this case, that produced complex and innovative periodic inharmonic sounds, thanks to the interaction of the sinus waves coming out from the speak er cones attached to the drums.
Since the produced sounds were always of a continuous character, I converted the drum set with an apparent masculine personality (the discontinuous and rocker noisy sounds) into a feminine object (long frequency sounds). I was here exploring the receptive side, making vibrate their skin continuously, qualities that existed before but couldn’t be manifested clearly. So, in this case the Ying quality of the drum set is manifested in the created sound, while the Yang remains only in the formal exterior and as a conceptual part of its repre sentation. The Ying quality would be the resonant characteristics of the drums, while the Yang quality has to do with striking the drums in discontinuous ways, action that focuses in rhythm instead of frequency.
Finally, in my sound sculpture The extended tension (2011), I extended the six strings of an electric guitar, coming in and out from it with long extensions. The result was the guitar being suspended in the middle of the space becoming the heart of a new instrument, an extended guitar. The long strings were tensed in different points of the architectonic space used (a gallery, a museum room or a bigger public space), and I left the guitar in silence, giving the public a conceptual score where I questioned them about the possibility of playing the extended strings that produce lower and longer sounds, or leaving the guitar alone in silence. The new strings are in a way a new and longer resonance of the original guitar, and I was interested in respecting their quality. If people decided to play these new extended strings, my intention was to make them at least listen and be immersed in their resonance, giving them the instruction to wait until the sound of the string played had almost disappeared until they can play again another extended string. Here is the score of this conceptual work:
the inert guitar in suspension, awaits. it founds action in non action. it mantains an unsolved tension between the ocult and the exposed, be tween the hidden and the revealed its opposed forces exist in a constant tension if you wish to break its exposed silence, follow these indications: you can only play the extended strings. dont play a string, unless you think that it is absolutly necessary to do it. wait until the string that you played (or that other participant played), has allmost finished vibrating before you play the next string. your inner silence, equivalent to the guitar silence, is important. non action can be better than action, because it could induce you into the visual and aural contemplation of the extended object.
In this essay I analyzed how resonance is a physical acoustic concept related intimately with instrumental and electroacoustic music, but also with different physical phenomena related with different types of objects and even with space, and I also discussed that the
creation, ideas and technology
el Callejón del Ruido
idea of resonance can be applied in a conceptual, metaphoric and poetic way to the creation of different electroacoustic and sound art works. I also talked about how resonance and other physic phenomena created by sound waves, like the vibration of solid objects and architectonic spaces, lets us explore sound phenomena more intimately related to sound, and that these phenomena have not been much developed in traditional music. Finally, I conclude that sound art can be the idoneous field to develop these ideas, starting from the Cinetic physical effects all the way up to the aesthetic and conceptual ideas related to the created works.
bibliogrPhieDepalle, P & Poirot, G (1991), SVP: A modular system for analysis, processing and syn thesis of sound signals, ICMC proceedings, Montreal. Hanappeunder, Peter (1995), Audio Sculpt. User’s Manual, Paris: Ircam. Rocha Iturbide, Manuel (2013), El eco está en todas partes, Ciudad de México: Alias Antítesis, p. Scelsi, Giacinto (1985), “Le regard de la nuit”, en SILENCES. Musiques contemporaines. No 1. Editions de la différence/silences. Willems, Edgar (1977), L’Oreille Musicale Tomo I. La preparation adutive d’elenfant, Fribourg: Suiza. Wishart, Trevor (1985), On Sonic Art, York: Imagineering Press Translations and resonances in “La voz oculta de los objetos”
FeRnando VigueRas
el Callejón del Ruido | creation, ideas and technology
abstraCt
The present text takes up some ideas previously developed in my master thesis work: “Urdimbre, la guitarra como objeto, organismo sonoro y espacio de exploración”, recontex tualized in relation to the conceptual and thematic premises that I intend to address in this article, in such a way that the idea of the instrument as sound body, resonant object and concrete or symbolic space will be recurrent.
keyWords
Sound installation, guitar, sound object, space, listening, interaction, macro-instrument.
In March 2019 I had the opportunity to participate in the group exhibition “La voz oculta de los objetos” that took place at the Sala Polivalente of the University of Guanajuato, as part of the 14th edition of the Callejón del Ruido. This exhibition displayed a diverse pan orama of sound installations by renowned artists such as Paul DeMarinis, Peter Bosch, Sim one Simons, Karina Álvarez and I. In this context I was able to present an adapted version of my piece Traslaciones I, a sound installation articulated by means of a series of suspended acoustic guitars intervened with electromechanical devices that, when activated, generate
continuous sonorities through sustained tremolos regulated by an electronic circuit that can be manipulated by the spectator himself.
The Traslaciones series explores the objectual dimension of certain stringed instru ments and sound objects, transferring resources and techniques derived from my practice as an improviser to formats that can be deployed in physical and acoustic space, recre ating a listening experience that attends to enveloping acousmatic phenomena, enabling the creation of continuous sonorities mediated by the intuition and the imaginary of the viewer himself.
Traslaciones I approaches a contradictory idea in relation to the instrumental archetype represented by the guitar in the musical tradition: a plucked string instrument that has had an extensive historical journey, suddenly transformed into a suspended object that traces lines of sound that can extend for an indefinite time, the illusion of a spectrum of infinite resonance. This condition tends to dislocate the perception of a guitar, by placing it outside its instrumental tradition, distanced from any symbolic scaffolding, the guitar dissolves in the trace of its own form and yet still harbors a resonance of that body-space, like a pulsa tion that remains latent in memory.
What is the limit of the notion we have of an instrument? What happens within that limit? What other narratives can be generated from that tabula rasa that implies stripping an instrument of its historical context?
An instrument is also a limit and that limit defines the direction of certain searches. It concentrates a set of elements that generate different relationships of conceptual order which form a sonorous body. Modifying this body until it becomes a mere resonant object that, when used in a different way than usual, originates new forms of enunciation of the object or instrument in question, are some of the ideas on which this project reflects.
By placing the guitar in a space where the absence of a performer allows a much more open interaction with its form and resonance, an intersection is proposed that moves the instrument to an uncertain zone, where its performativity happens through the tension pro duced by being suspended or distended in a given space, forming a more or less homoge neous set along with other guitars - objects, an accumulation of bodies that when activated, reveal a more extensive and profound dimension of the same space where they are deployed. From this new encounter with this instrumental entity, contact zones emerge that at times place us on the edge of what we recognize as a space, previously inhabited by the echoes of other nearby resonances.
Beyond the recognizable form of the instrument/object, the piece Traslaciones I pro vokes a space of exploration that situates listening through the routes proposed by the spectator, recreating a subtle and particular cartography in each activation.
Within the framework of the twenty-fourth edition of the festival El callejón del ruido, a performative activation took place with the participation of Peter Bosch, the multi-in strumentalist Oscar Escalante, the trombonist Kunt Vargas and the composer, creator and director of the festival (until that edition) Roberto Morales Manzanares. A fragment of this performance can be seen in the following link: https://youtu.be/wQMPJLbknKM?t=239
Interacting with a piece of this nature puts in tension different aspects of it, on the one hand its instrumentality and the possibilities that within this new interactive format can be inferred, as other modes of execution from an extended, intervened or altered instrument, in counterpoint with this new objectual dimension, where the materiality and the deployment of this form in space, configure a resonant and expressive sound body in itself.
Objectualizing the instrument implies giving it another meaning, a new possibility of articulating it and projecting its resonance and its spatiality, on the other hand, approaching this re-signified instrument, incites to imagine new ways of materializing and approaching it, generating new techniques of execution and repertoires thought from the complexi
creation, ideas and technology
el Callejón del Ruido
el Callejón del Ruido | creation, ideas and technology
ty that it entails, therefore, this approach also suggests new approaches to its listening. In the case of Traslaciones I, in the version made for ‘La voz oculta de los objetos’, it should be noted that four guitars were set up, two of them suspended and the other two reclined with their bodies upwards, in the corners of a small corridor, configuring a kind of quadra phony focused on the spectator, who, from a circuit located in the center of the wall that divided the space, could manipulate the sonority of each instrument.
This format was established based on the conditions of the space and the consideration with the sonority and the interaction with the other pieces, a fundamental aspect in what refers to exhibitions where more than one piece with interactive sonorous qualities converge.
Each installation within this exhibition space, proposed a timbre and visual environment that provoked a particular and concentrated listening experience. Through specific tours, the different aural environments of the pieces could be appreciated, in addition to being able to approach the degree of having a performative experience in most of the pieces, be ing the audience and its active - creative listening, an essential element for the appreciation and the integral functioning of each installation.
Finally, I am interested in taking up again the reflection in relation to the instumental and objectual qualities of Translations I and how these feed back into a sound ecosystem such as the one that arose in ‘The hidden voice of the objects’, in that sense, it was a for tunate experience to converge with the sonorities of a completely percussive and powerful piece such as the installation of Simone Simons and Peter Bosch, where every so often, an automated piece to make drums, metallic materials and other found and suspended contraptions sound, made the exhibition hall resonate in such a way that when it finished sounding, the listener could concentrate on other pieces that deployed a more subtle or focused proposal as in the case of the piece by Paul DeMarínis or Traslaciones I itself.
This distribution in the space of each of tha pieces makes me think of a macro-instru ment or a sonorous organism whose movement can only be appreciated in the course of the time in which it takes place. How is the language of this complex instrument revealed in the flow of an imaginary mediated by the technology of immediate communications that tend to homogenize thought? An instrument is its history and its reinvention. The way it is translated by the interpreter and the artist from his imagination. It is all its elements and the trace it leaves in its transformation. Its resonance and its silence, the space it inhabits and the space it represents. An instrument is its own language and the limits that blur that language. An instrument is, at the same time, the listening that recreates it.
This article describes the technical realization and the concept of the installation Ater vul ture presented at the 14th edition of the International Festival Callejón del Ruido.
Inspired by Charles Baudelaire’s poem Une Charogne, Ater vulture gives life to an installation that concerns the field of image, sound creation and interaction. The argument run up two projections with videomapping where the image and the audio are controlled by the viewer with a digital interface and a midi device, immersing the spectator in a poetic
atmosphere where the metaphor of the automobile as a body and container of our existence seeks a dialogue between repulsion and attraction, seduction and fear.
The poetic space is a memento mori, where image and sound capture the abstract es sence of yielding the stage of life.
Videomapping, interactive art, digital interface.
The multimedia installation Ater vulture creates a scene of images and sounds that are digitally processed by an interface and projected with videomapping onto a sculpture and screen. The installation invites the viewer to become directly involved in the generation of the landscapes.
Ater vulture was inspired by French writer Charles Baudelaire’s poem Une charogne, looking for his concept of beauty, where repulsion and attraction intertwine with tragedy, loss and love.
The title refers to something dark that destroys and disintegrates us. It comes from the Latin āter-as an adjective: black, dark, fatal, mourning, ... (Glare, 1983) and vultur which in Latin means shatterer and is the common name given to vultures (Mallory, 2006).
My artistic practice has been aimed at exploring the landscape in all its aspects –as a gen erator of temporal processes (memories), as the notion of a geographical position (location) and as thresholds that go beyond physical and temporal limits turning us to the poetic stag ing, where I address the influence that a context can have on the observer.
Landscape in my imaginary has focused in the last fifteen years on telling stories in prag matic terms. The use of different technologies has allowed me to involve my drawings in a wider universe, giving the possibility of enriching a two-dimensional plane to an enveloping plane where the viewer can have a deeper appreciation of the landscape.
The use of proximity sensors, multichannel sound system, augmented reality... have been some of the languages or systems that have supported the graphics.
Ater vulture is composed for three groups of visuals that we can identify as: The vultures, the woman, and the automobile.
In this piece the landscape that is generated from the parameters sent by the viewer from the midi device is projected on the screen on the left side of the installation and is later encapsulated in an object (a car sculpture) by means of a videomapping projection programmed from the Resolume Arena software1
Thus generating the idea of a landscape that ends up only happening inside a casing, metaphor of a body that disintegrates, deforms and agonizes.
The vultures are a series of drawings made with charcoal, ink, and pigments. With
1 Audiovisual interpretation interface for digital projections and interactive installations used by de signers for video mapping , mostly in . mov in real time, with the possibility of superimposing recor dings with webcams and image synchronization with sound. https://projectidis.org/resolume-arena/ https://resolume.com/software
el Callejón del Ruido | creation, ideas and technology
el Callejón del Ruido | creation, ideas and technology
Rappelez-vous l’objet que nous vîmes, mon âme, Ce beau matin d’été si doux: Au détour d’un sentier une charogne infâme Sur un lit semé de cailloux, Le ventre en l’air, comme une femme lubrique, Brûlante et suant les poisons, Ouvrait d’une façon nonchalante et cynique
Son ventre plein d’exhalaisons.
Le soleil rayonnait sur cette pourriture, Comme afin de la cuire à point, Et de rendre au centuple à la grande Nature Tout ce qu’ensemble elle avait joint; Et le ciel regardait la carcasse superbe Comme une fleur s’épanouir.
La puanteur était si forte, que sur l’herbe Vous crûtes vous évanouir.
Les mouches bourdonnaient sur ce ventre putride, D’où sortaient de noirs bataillons De larves, qui coulaient comme un épais liquide Le long de ces vivants haillons.
Tout cela descendait, montait comme une vague Ou s’élançait en pétillant
On eût dit que le corps, enflé d’un souffle vague, Vivait en se multipliant.
Et ce monde rendait une étrange musique, Comme l’eau courante et le vent, Ou le grain qu’un vanneur d’un mouvement rythmique Agite et tourne dans son van.
Les formes s’effaçaient et n’étaient plus qu’un rêve, Une ébauche lente à venir Sur la toile oubliée, et que l’artiste achève Seulement par le souvenir. Derrière les rochers une chienne inquiète Nous regardait d’un oeil fâché, Epiant le moment de reprendre au squelette Le morceau qu’elle avait lâché. - Et pourtant vous serez semblable à cette ordure, A cette horrible infection, Etoile de mes yeux, soleil de ma nature, Vous, mon ange et ma passion!
Oui! telle vous serez, ô la reine des grâces, Apres les derniers sacrements, Quand vous irez, sous l’herbe et les floraisons grasses, Moisir parmi les ossements.
Alors, ô ma beauté! dites à la vermine Qui vous mangera de baisers, Que j’ai gardé la forme et l’essence divine De mes amours décomposés!
Recall to mind the sight we saw, my soul, That soft, sweet summer day: Upon a bed of flints a carrion foul, Just as we turn’d the way, Its legs erected, wanton-like, in air, Burning and sweating pest, In unconcern’d and cynic sort laid bare To view its noisome breast. The sun lit up the rottenness with gold, To bake it well inclined, And give great Nature back a hundredfold All she together join’d. The sky regarded as the carcass proud Oped flower-like to the day; So strong the odour, on the grass you vow’d You thought to faint away. The flies the putrid belly buzz’d about, Whence black battalions throng Of maggots, like thick liquid flowing out The living rags along. And as a wave they mounted and went down, Or darted sparkling wide; As if the body, by a wild breath blown, Lived as it multiplied.
From all this life a music strange there ran, Like wind and running burns; Or like the wheat a winnower in his fan With rhythmic movement turns. The forms wore off, and as a dream grew faint, An outline dimly shown, And which the artist finishes to paint From memory alone.
Behind the rocks watch’d us with angry eye A bitch disturb’d in theft, Waiting to take, till we had pass’d her by, The morsel she had left. Yet you will be like that corruption too, Like that infection prove — Star of my eyes, sun of my nature, you, My angel and my love!
Queen of the graces, you will even be so, When, the last ritual said, Beneath the grass and the fat flowers you go, To mould among the dead. Then, O my beauty, tell the insatiate worm Who wastes you with his kiss, I have kept the godlike essence and the form Of perishable bliss!
the drawings, the different animations of the piece were generated with the After Effects 2software. The effects, textures and chromatics for the visual gestures were made with Pro cessing software 3(some of the effects used were: Blend Mode, Exposure, Strobe, Scope, Distortion, Static, Twitch-caos). The vultures in the animation are seen stalking the body, moving close to it or flying over it.
The visuals of the automobile were made with a photogrammetry process 4 with more than 100 photographs from different angles that were later processed with 3DS Max mod eling software 5
The visuals of the woman were made from a 3D model that was worked with different effects using Processing software. The model was given a mesh treatment to make the edg es, vertices and faces visible, then an effect of separation of the parts was added, a kind of disintegration of the shape.
Once the visual data set was processed, the staging of the possible landscapes to be generated by means of the videomapping software Resolume Arena, was performed. With this software parameters were added to control the different textures, effects, as well as the mixing of the two video outputs.
In these images we can see the arrangement of the sets of different landscapes projected on two screens.
This was done using the Matrox TripleHead2Go device 6to run three independent mon itors and have graphics expansion across two projection outputs.
The interactivity of the piece was programmed from the Resolume Arena software with an AKAI LPD8 7midi controller that has eight knobs to control the different parameters sent from the software, as well as eight knobs for the different visuals and sounds.
The sound creation of the piece was conceived from the sounds of a car, in this case a 1988 BMW; the recording was made with a Zoom H6 recorder 8 using the directional microphone. The recordings were taken from the engine, accelerator, windshield, exhaust, ... the sound records were edited and written in small sound capsules that would be merged into the midi controller commands working on the tone, rhythm, intensity, ... resulting in a changing soundscape that is being created in the space of the installation.
A wooden frame and elastic fabric simulating an automobile is the support of the video mapping projection in the upper corner of the gallery and a double-sided screen was placed on the left side.
2 Adobe After Effects is an application that has the form of a studio intended for the creation or appli cation in a composition, as well as the realization of professional motion graphics and special effects, which since its roots have basically consisted of layer superposition. Wikipedia definition.
3 Processing is an easy-to-use, open source Java-based integrated development environment and pro gramming language for teaching and producing multimedia and interactive digital design projects. Wikipedia definition. https://processing.org/
4 Def : “… technique to study and precisely define the shape, dimensions and position of any object, using measurements made on one or several photographs…” Definition by Henri Bonneval
5 3ds Max®, the professional 3D modeling, rendering, and animation software, lets you create expan sive worlds and top-quality designs. https://www.autodesk.es/products/3ds-max
6 https://www.matrox.com/en/video/products/gxm/triplehead2go-series/dp-edition
7 https://www.akaipro.com/lpd8
8 https://zoomcorp.com/en/us/handheld-recorders/handheld-recorders/h6-audio-recorder/
el Callejón del Ruido | creation, ideas and technology
el Callejón del Ruido | creation, ideas and technology
The resolution of the projectors was adjusted together with the Matrox in order to make the layout of the videomapping.
Once the assembly is finished, the interface is left running for visitors to operate the device by selecting from the midi controller the images they want to see projected on the screen, then the device sends the images to the suspended sculpture where they are mixed generating chaotic landscapes. The sound is also selected and mixed by the visitors using four of the dials of the midi device; thus always generating a new and different landscape.
The sublime beauty described by Baudelaire is found in these objects abandoned to their fate, where oblivion and decomposition give us exquisite landscapes fractured from their agony.
The interaction proposed by the piece invites the visitor to explore the visual possibil ities that can resonate or contrast with the sound files that make each scene dramatic and distressing.
The Callejos del Ruido Festival is an ideal platform to present multimedia projects that seek to explain the infinite limits of image and sound.
Baudelaire Charles, des Fleurs du mal « Spleen et ideal. 1857. Les Grands Classiques. Poésie Francaise: 1er site francais de poésie. 1996 – 2022. https://www.bonjour poesie.fr/lesgrandsclassiques/Poemes/charles_baudelaire/une_charogne. Consultado 05/23/2022
Glare, P. G. W. Oxford Latin Dictionary. Oxford: Oxford University Press. 1983 Mallory, J. P. & Adams, Douglas Q. (2006) The Oxford introduction to Proto-Indo-Euro pean and the Proto-Indo-European world. Oxford: Oxford University Press, p. 145. ISBN 9780199287918
Roberts Edward, Pastor Bárbara. Diccionario Etimológico Indoeuropeo de la Lengua Es pañola. Primera edición, Alianza Diccionarios. 1996, pp15 https://proyectoidis.org/resolume-arena/ https://processing.org/ https://resolume.com/software https://www.autodesk.es/products/3ds-max https://www.matrox.com/en/video/products/gxm/triplehead2go-series/dp-edition https://www.akaipro.com/lpd8 https://zoomcorp.com/es/us/grabadoras-de-mano/handheld-recorders/h6-audio-recorder/
The analysis and study of the processes of artistic production in electronic art lead us to reflect on aspects that have been little explored in the art field, where even the classification of works involves hard work by researchers and experts in the field. Hence, the interest of this chapter lies in finding the threads of the processes of creation and its resources, in order to contribute to the understanding of the artistic work in this field of study, with particu larly in sound.
It is important to consider electronic art as a branch of art that uses contemporary media and tools, both digital and analog, which as a result define the era in which we live. The theorist Edward Shanken comments in this regard that historically artists have made use of the most advanced materials and techniques of their time. Currently, electronic technolo gies are omnipresent and it is difficult to imagine contemporary music without electronic instruments or various activities without the use of a computer (Shanken, 2009, 11); the same happens with technological art that requires participation from the audience.
In addition to the above, the focus on sound as an important element within electronic artwork is considered special due to the emotions and involvement it is capable of arousing in the audience. At the same time, some parameters of analysis necessary for the under standing of electronic art works are established, in the understanding that, in particular, the phases of the creation process apply in a general way to any process in any field; in this case these phases have been concentrated on in the study of electronic art.
Within the approach to sound experimentation, we take into account those sounds that are part of the daily auditory experience and that most of the time escape the conscious side of the brain. It is precisely within the work that some composers have done that these resources for creative production processes are perceptible. In addition to the above, the observation is made that sound art is considered as a product of the need to locate every thing that has no place in the concept of “music”, according to John Cage’s definition of music as “sounds organized in time”, sound art would be music (Rocha, 2008, 45).
A creation process is constituted by those actions that the artist carries out for the realiza tion of a product with qualities such as originality and, in some way, that brings innovation to the field, in turn, the result of the creation process must be valued by a group of people, communities and even -in the case of certain artistic works- by just a part of humanity.
A consubstantial aspect of a creative process is the one that is gestated early in the envi ronment that surrounds the artist since childhood, where he/she is generally provided with experiences related to art, science and technology which awaken the innate curiosity of the child. Samples of the above, can be found in the information gathered in previous research around electronic artists [Villagómez, 2017). For example, in the case of the Mexican artist Arcangel Constantini, when he was taken by his parents to science and technology fairs in Mexico City; the case of the chemistry experiments in the garage of his house in which he participated together with his grandfather the artist Rafael Lozano-Hemmer; the talks that the artist Iván Abreu had with his father about the distance from the earth to the moon; or
creation, ideas and technology
el Callejón del Ruido
el Callejón del Ruido | creation, ideas and technology
the coexistence of the artist Leslie García in the artistic and cultural world in the eighties in her native Tijuana.
Regarding the above, it is clear that an individual without the genetic characteristics for a given field will not develop the necessary qualities to excel in it (Csikszentmihalyi, 1996). Therefore, it is a series of contextual and personal conditions that contribute to the development of the abilities and skills necessary, in this case, to perform as an electronic artist. It is worth clarifying that it is not necessarily an indispensable condition for parents or tutors to be scientists or technologists to become an electronic artist. Although it is true that in the experience of several artists this is the case, it is not the norm. That is, some artists are attracted to electronic art because they have had contact with this field as an audience or because they are close to social circles formed by electronic artists, which also leads to the formation of social groups of members of this field, and which in turn validate or give recognition to other new artists. Thus, the context and membership of the field is a fundamental part in the development of the creative processes within it.
In addition to the above, it has been found that the human brain goes through certain phases in the development of a creative process [1]. These phases do not develop in an or derly manner, and may even be carrying out several creative processes simultaneously. It is of particular interest that the same phases occur when a choreography, a musical work, a novel or the invention of the incandescent light is created. That is, in the creation of any cre ative product in any field these phases are passed through. Let us see then, over the course of this chapter, what they consist of.
Artists have particular interests in different topics that arouse their curiosity, such as scientific, social and cultural phenomena, particular situations in politics, human rights, environmental issues such as climate change, and so on. Artists’ interest leads them to seek more information on the subject, looking for scientific articles, in books, from experts on the subject, their own notes on the subject, among other ways to further increase their knowledge about it. Thus, it reaches a point where they considers that they are sufficiently prepared and possess enough information. This stage is known as the preparation phase.
Consequently, it is known that the brain is an organ with very extended capacities in such a way that, in the unconscious, it continues to think about the subject of particular interest; this form of problem solving is called the incubation phase. The next phase is intu ition, which is when an idea suddenly emerges. This phase is famously exemplified by the historical episode where the Greek mathematician Archimedes of Syracuse shouted “Eure ka!” (or I have found it!), after discovering what is known today as Archimedes’ Principle, which establishes the relationship between the volume of a submerged body and the and its relationship to its buoyancy.
A finding of the present author’s previous research is that an artist regularly has several ideas at a time. That is, the problem for experienced artists is not the generation of ideas, but whether there is any value in pursuing them. This opens the way to the next phase, that of evaluation, which is when the artist wonders if it is worth spending time on that particu lar idea. Several artists mentioned talking with colleagues as a resource for deciding whether or not it was worth dedicating time to an idea. One example of this is the situation in the classroom, where the teacher is the mediator in the students’ decision making, and thereby facilitates their creative processes. It must be said that it is in the evaluation phase that the artist experiences the most uncertainty.
Once the idea to be put into practice has been decided, the next phase is the elaboration phase, in which the idea itself is realized. It is the phase that takes the artist the most hours of work. In art that makes use of technology, some artists such as Marcela Armas, some times refers to concluding a work due to economic exhaustion, as well as physical exhaus
tion, which shows how arduous this phase can be. It is important to mention that electronic artists often work in teams made up of professionals from various areas, depending on the needs of each project.
The communication phase, added to the list by Mauro Rodríguez Estrada [2], deals with -in this case- the artist’s need to exhibit or show their work to a specific audience once it has been completed. The need to communicate their achievements to others also has to do with the need for recognition of the effort made, which is an essential factor in the life of individuals as social beings.
From the field of electronic art that concerns us, we have added one more phase to the creation process and that is the participation phase. Works of electronic art, more often than not, directly seek the participation of the public. In classical or traditional art, whose media were mainly painting, sculpture and engraving, contemplation by the public through sight was the usual practice, although in the strict sense of the word a form of interaction was established between the work and the viewer. This was not as visible and frank as in electronic art, where the audience [3] is asked to perform specific actions of participation and interaction.
Within these forms of interaction in electronic art, we have detected the following, a) Use of special devices. Participation through the use of Virtual Reality glasses, tablets, joysticks, keyboards, microphones, applications or apps, mobile telephony, among others; in the work “Escrituras” by Gilberto Esparza, there is use of cell phones to interact with the work. In “Kauyumari, el venado azul” by Arnold Abadie, and “Ater Vulture” by Karina Álvarez are examples of this category. An installation presented at the 14th International Festival Callejón del Ruido by Karina Álvarez Castillo, Ater Vulture is a work inspired by a poem by Charles Baudelaire “Une Charogne”. It is an installation that makes use of two videomapping projections, and the image and audio are controlled by the audience, through a digital interface and a midi device. [4]
b) Body movements. The artist or the work itself induces the audience to execute free or specific body movements, facial gestures or other specific actions; as in “Multiple Vortex Tornado” by Iván Abreu where the powerful sound of a tornado arises every time someone opens one of the books placed with blank pages on several lecterns.
c) Speaking through specific devices. The audience is asked to whisper, shout, or simply talk to execute certain results in the work; it happens in “Less than Three” by Rafael Lozano-Hemmer, where the piece has the instruction to whisper a secret at the end of a tube. After doing this for a few seconds, surprisingly the same secret is heard in a loudspeaker at the other end of the same tube.
d) Use of a keyboard. As in the works of Net.art; works of Arcangel Constantini as “unosunosyunosceros”, where the sound is very diverse, reproducing the static of an old television, the noise in a flea market at 3 o’clock in the morning, the sound of an old typewriter, or some children’s toys recovered from dumps, among others.
e) Wearing a specific garment. The garments can have sensors for the detection of biosignals, such as in the work Mind Scape by Claudia Robles Angel, which cre ates a specific soundscape and lightscape created from the waves produced by the artist’s own brain that are detected by EGG’s software and medical equipment that measures the electrical activity. Another example is “Wearable Soundscape 0.2” by Amor Muñoz, a soundscape activated by head movements, using an accelerometer to activate different sounds and video images.
f) Interaction in social networks; as in “Arma Sonora Telemática” by Astrovandalis tas and Leslie García. This installation made use of a pre-existing metallic structure
el Callejón del Ruido | creation, ideas and technology
el Callejón del Ruido | creation, ideas and technology
outside the Campo Marte in Mexico City, where a sound signal is emitted every time a Twitter user writes on the site set up for the piece.
g) Interaction with another living being; as seen in the work “Pulsum_Plantae” by Leslie Garcia, which addresses the theme of plants as sentient beings, where through software the energy of plants is recorded in sound signals when in contact with stim uli such as human touch and voice or with light stimuli.
h) Music and sound. Generally in situ, as in Ivan Abreu’s Meridian, among others, a kind of virtual music box within a website that records the location of visitors with a musical tone. Another example is “Traslaciones I” by Fernando Vigueras, which was presented at the 14th International Festival El Callejón del Ruido, Creación, Ideas y Tecnologia in March 2019, an installation formed by a series of acoustic guitars sus pended from the ceiling of the Galería Polivalente of the University of Guanajuato, with built-in electromechanical devices, which when activated created a continuous soundscape; these devices could be manipulated by the public.
i) Augmented Reality; a set of techniques that make possible the application of virtual elements to representations of physical reality; as in the work “Flatus Vocis” by Karina Alvarez, composed of a series of drawings of various constructions where through a smartphone it is possible to visualize graphics superimposed on those drawings.
Of course, the foregoing forms of interaction are circumscribed by the corporeal sphere: actions in which the body executes certain activity, movement or labor, but the mind and the brain interact in a deeper way with these processes of communication and participation with the electronic works, in such a way that, most of the time, action is induced. In the following sections, we will address some of these processes. the intervention of emotions, interaCtion and intersubjeCtivity
Research points to emotions as mechanisms within the human brain and mind that lead to motivation and subsequently to action. In the case at hand, without the intervention of emotions it would not be possible to establish relationships or links between the works and the public. Cognitive psychology, which studies cognition or the mental processes involved in knowledge, considers that thoughts produce emotions and that emotions create essential behaviors for awareness of the various aspects of human life. In this case, electronic artists seek to sensitize specific audiences to issues of environmental, social or political interest, among others, in order to create a better environment and a better society. Hence the im portance of studying the interaction process that takes place between artists, their work and the participant in or user of it.
From the point of view of psychology, emotions are innate reactions to human beings. The functions of emotions are the very preservation and protection of the species and are closely linked to motivation. Each emotion has a specific function, so they are all valuable. There is no general agreement on how many emotions there are, nor the characteristics of the emotions we are able to experience, because there are many subjective factors in their identification and in the ability of people to distinguish them. There is only general agree ment that there are two basic emotions, pleasure and pain. Other emotions are derived from the way people perceive their environment and the way they attach to this environment (Zepeda, 2019, pp. 154-158). According to VandenVos cited by Zepeda, an emotion is defined as a complex reaction pattern, involving experiential, behavioral and psychological elements, with which an individual tries to deal with reality (Zepeda, 2019).
On the other hand, for the neurologist Antonio Damasio, emotions have the following characteristics: an emotion such as joy, sadness, shame or sympathy, are a complex set of
neural responses that form a distinctive pattern. The responses are produced by the normal brain when it detects an Emotionally Competent Stimulus (ECS), in other words, the ob ject or event whose presence triggers the emotion. The responses are automatic. The brain is primed by evolution to respond to certain ECS with specific repertoires of action. The list of ECS is not limited to repertoires prescribed by evolution, but includes others learned from life experiences. The immediate result of these responses is a temporary change in the state of the body itself, and in the state of the structures that map the body and support thought. The result of the responses, directly or indirectly, is to place the organism in cir cumstances conducive to its survival or well-being (Damasio, 2019, p.65). According to Antonio Damasio, emotions are beautiful, surprisingly intelligent and can solve our prob lems in a very powerful way (Damasio, 2019, p. 66).
Interaction is induced by emotions because of the relationship between emotions and motivation. Interaction is a trend in the creation of electronic art, however, not all elec tronic art involves interaction. According to Annick Bureaud, interactivity is based on a particular relationship between humans and machines, which has been analyzed by the level of freedom that is allowed between the audience and the artwork. That is the level of autonomy or the ability to control it. Brenda Laurel, quoted by Bureaud, comments, there are three variables of interactivity: frequency, which refers to how often it is possible to interact; range, how many options for interaction exist; and significance, to what extent the choices to interact actually affected the elements of the work (Bureaud, 1996).
It is well known that emotions play a role in our perceptions, attitudes, motivations and behaviors. Our emotional state can affect how we focus our attention and our expectations, with obvious ramifications for how we process our information and interact with products, systems or other people. In a behavioral sense, we are hardwired to approach stimuli asso ciated with positive affect, and to avoid those associated with negative affect. Designers can manipulate stimuli, or induce them, as a physiological dimension of emotion. “The more we are stimulated to act and avoid or approach the thing, the more it will stimulate us.” (Hanington, 2017, pp. 165).
Part of the novelty of electronic art is precisely that it can involve all human senses. This characteristic is called polysensoriality, which is when the audience can hear, touch, even smell and taste the artwork. Body movement is integrated and sight is not the only sense involved in perceiving a work of art. The image can be integrated with other devices, visual or otherwise. In traditional art, one could only see and observe, and probably this is why some people are reluctant to consider electronic art as a valid art form, and consequently establish new relationships with it. Thus, when touch and other senses are used as resources for artistic interaction, they facilitate the inducement of emotions. Federico Fros considers, “What motivates you, usually produces emotions, and what excites you is what motivates you.” (Fros, 2018, p. 92).
There are other factors linked to emotions and the functioning of the structures of the human brain, although neuroscientists agree that the day is still far off when all the intricate ways in which the brain operates will be known, there is consensus on some aspects, which will be briefly discussed below.
Interoception. It is a term defined by psychologist Lisa Feldman Barrett as the brain’s representation of all sensations of internal organs and tissues. This activity produces the spectrum of basic feelings of pleasure and displeasure, from calm to excitement, and even complete neutrality. For Feldman, interoception is in fact one of the essential ingredients of emotions (Feldman, 2018, pp. 56-151).
Predictions. Wolpe and Rowe agree that the brain learns that the same sensory cue can have different causes. It distinguishes which of these causes is the most relevant just by its likelihood in different contexts. It is able to decide which combination of past experiences
el Callejón del Ruido | creation, ideas and technology
el Callejón del Ruido | creation, ideas and technology
best fits the stimuli it is perceiving. The main goal of the brain’s predictions (which are best guesses of what is happening in the surrounding world) is to help cope with the environ ment, as well as to keep the individual well and alive. (Feldman, 2018, p. 78).
Mental Model. Through predictions and corrections, the brain creates and continuously revises its mental model of the world. It thus understands how it works and what its person al role in it is. This makes individuals feel secure (Fros, 2018, p.27-36).
Concepts and categorization. A category is defined as a collection of objects, events, or actions that are grouped together as equivalent for some purpose. On the other hand, the definition of a concept is a mental representation of a category (Feldman, 2018, p.91).
As far as the field of electronic art is concerned, concepts and categories are the core of knowledge for understanding. If we are able to create new concepts, we are able to un derstand and consider electronic art as a valid form of art. This is fundamental because in provincial Mexico there are museums that do not consider electronic art as a valid form of art. It is thus important to develop future lines of research on this subject.
Bradley and Lang believe that specific characteristics of sounds can directly impact the ner vous system, thereby causing emotional changes in listeners (Fakhrhosseini, et al., 2017). This is an emotion induction technique that has been used by scientists where individuals are asked to listen to digitized sounds through speakers or headphones. The most frequently used sounds to induce emotional states in this experiment are from the archives of International Affective Digitized Sounds or IADS (Choi, et al., 2015, cited by Fakhrhosseini, et al., 2017), which contains ratings for 167 sounds that include a very wide range of contexts related to animals (puppies, dogs during thefts, etc.), humans (laughter, babies, couple in erotic situa tion, wheezing man, laughing child, and child abuse), means of transportation (helicopter, train, bicycle fall, and plane crash), objects (music box, typewriter, and a doorbell), musical instruments (harp, guitar, etc.), and settings (night in the field, rainforest, restaurant, stream). (Soares, et al., 2013, cited by Fakhrhosseini, et al. 2017). The IADS sound set has been used internationally to obtain information on the ability of sounds to induce emotions, as well as the hedonic tone or affective valence and activational axis, which leads to action [5], such as its use in triggering specific emotions, such as, happiness, sadness, fear, disgust and anger (Stevenson and James, 2008, cited by Fakhrhosseini, et al., 2017).
On the other hand, music, while being another branch of art and not necessarily sound art, also offers another method of inducing emotions, being another specific type of sound that induces affect and emotion. Researchers have found that there are elements in music central to the perception of emotion; e.g., mode (major or minor), tempo, pitch, rhythm, harmony and volume (Coan and Allen, 2007, cited by Fakhrhosseini, et al., 2017). The ways in which these elements combine and complement each other is different in each style and genre of music, such that a particular style of music may be strongly related to a specific set of emotions (Terwogt and Van Grinsvan, 1991, cited by Fakhrhosseini, et al., 2017). However, as seen above, sounds can have this same effect. Finally, one should not lose sight of the fact that the purpose of emotions is to provide well-being to human beings and pre serve their mental and physical integrity, so the perception of sounds plays a fundamental role in the conservation instinct.
Complementing the above, the tests with music are carried out by placing the partic ipant in an environment conducive to listening or, on the contrary, leaving the participant to choose the music according to the emotion he/she is trying to experience. Of particular interest is the list of musical works that have been used in several investigations with the same results (Fakhrhosseini, et al., 2017), let us see then,
a) Anger. The Planets (Holst); Night on Bald Mountain (Mussorgsky); Totentanz (the first 11 opening bars) (Liszt).
b) Fear. Halloween (Ives); Night on Bald Mountain (Mussorgsky); The Sorcerer’s Apprentice (Dukas); Psycho (Hermann).
c) Joy. Brandenburg Concertos No.2 and 3 (Bach); Midwest Train (CrusaderBeach); Copelia Mazurka (Delibes); Copelia (Delibes); Carnival of the Animals (measures 10-26) (Saint Saens); Utrecht Te Deum (measures 7-17 of the first chorus) (Handel).
d) Neutral. Prelude I’apres Midi d’un Faune (Debussy); Peter and the Wolf (Proko fiev).
e) Sadness. Prelude in E minor op.28 (Chopin); The Swan of Tuonela (Sibelius); Ninth Symphony (Dvoiak); Swan Lake (the first six bars of the finale) (Tchaikovsky); Kol Nidrei (the first eight bars) (Bruch); Alexander Nevsky (Prokofiev); Preludes (Chopin); Adagio in G minor (Albinoni); In the dark (Sebastian Larsson); At the ivy door (Brian Crain).
f) Anxiety. The Rite of Spring (Stravinsky).
g) Negative mood music with excerpts of high exaltation. The Miraculous Mandarin (Bartok, track 1).
h) Positive mood music with high exaltation excerpts. The Arrival of the Queen of Sheba (Handel track 11).
i) Excerpts of neutral mood music to achieve a low.
Although the study of the induction of emotions in music, especially classical music, is well doc umented, it would be worthwhile to initiate a new line of research in the study of iconic works of sound art and the emotions they are capable of inducing. Related to the above, in an interview for this research with the sound artist Roberto Morales Manzanares [6], he expressed that he no longer went to see movies in commercial cinemas, because they always used the same musical chords to denote fear, anger, joy, etc. and that he was tired of that, especially when there has been a vast world musical heritage with new sound proposals going back decades. Hence the importance of studying works such as Peter Bosch and Simone Simons “Último Intento Minero” (2019), where they use pneumatic vibrators as activators of movement in ob jects recovered from garbage dumps, such as a wheelbarrow, a tamale pot, a mailbox, a chair, among others. The work was commissioned for the 14th International Festival El Callejón del Ruido. Creation, Ideas and Technology, in the city of Guanajuato, Mexico; therefore, the objects were selected by the artists in a local garbage dump. The result was extremely powerful vibrat ing sounds that were integrated as a unique sound that invaded the exhibition hall.
Having reached this point, emphasis is placed on the possibilities of both resources: music and sound, widely explored by electronic artists as strategies to generate public involvement in interacting with a work, where a process of interaction itself can be carried out, understand ing this as the action that is exercised in a reciprocal manner between two or more objects, persons, agents, forces or functions (RAE), as well as intersubjectivity, which is carried out in the intellectual or affective communication between two or more subjects (RAE). Both aspects are found in electronic art works that involve sound as a consubstantial element.
Thus, we have observed certain resources used by electronic artists consciously or uncon sciously, which contribute to bringing novelty and originality to the artistic works, and it is worth mentioning that these resources are not essentially of exclusive use by the field. Many of these resources are related to the association of ideas, that is to say, chains of relationships
el Callejón del Ruido | creation, ideas and technology
el Callejón del Ruido | creation, ideas and technology
that are established between different concepts that were initially disconnected, to give rise to new processes or results.
An example of this is the work of the composer Pierre Schaeffer, who in 1948 experi mented with a great variety of sounds produced by trains and created “Etude aux chemins de fer”; this gave rise to the so-called musique concrète or concrete music. Schaeffer’s work is linked to the resources of creative production, because it relates, on the one hand, the sound of a means of transport such as the train and takes it to the totally foreign field of musical composition. This association was novel and original at that time, that is to say, hardly anyone at that time would have considered an everyday sound as part of a musical composition; about the experimental technique developed by Pierre Schaeffer we have that,
The fundamental principle of concrete music is the assembly of several natural sounds recorded on tape (or originally on records) to produce a sound montage. During the prepa ration of such a composition, the selected and recorded sounds can be modified as desired: played backwards, shortened or lengthened, subjected to echo chamber effects, varied in pitch and intensity, and so on. Thus the finished composition represents the combination of diverse aural experiences into an artistic unity (Britannica, 2022).
The above leads to other resources for the processes of creation: combinatorics, juxta position, and analogy, among others. All resources of the processes of creation in any field of human knowledge.
The reflections that it is possible to draw from the investigation of electronic art and its indissoluble bond, direct the gaze towards the creators, the public, the links and resources that mediate the relationship between both. Thus, in this chapter we have made a review of the creation process, the interaction as a consubstantial part of the process, the sound and resources of the artist, as well as the emotions that the artistic works are capable of arousing in the public. The above elements establish parameters of analysis necessary for the under standing of electronic artworks.
Sound and electronic artists have been clear examples of innovation and originality in the field of art, taking elements from everyday life and transferring them to the artistic field, in order to provoke curiosity about and the involvement of the participant with the work. On the other hand, the process of creation in electronic art is constituted by actions that artists themselves carry out in order to contribute elements of innovation, producing the valuation of the result of such a process, although sometimes, it is the very process that constitutes the work in itself.
It has been essential to mention those elements or phases that are part of the creative process in order to contribute to the understanding of the complexity of many of the pieces. Thus, the context in which the artist is formed determines to a certain extent the perspec tive of his future work, especially when he works at the head of work teams. The phases of the process though are not linear and several creative processes can even be carried out simultaneously.
Of particular interest for this study has been the participation phase of the creation pro cess, since it is considered an inherent aspect of most of the electronic and sound art works. However, that is to say that all electronic art openly seeks the participation of the public.
The means of connection between the public, the artist and his work, is through com munication and the induction of emotions by the work, where emotions are mechanisms that take place inside the human brain and mind, leading the individual to action, i.e., emo tions create essential behaviors for awareness of the various aspects of life. In this research and in other investigations by the present author on electronic art, it has been noticed that
electronic artists seek to sensitize specific audiences to issues of environmental, social or political interest, among others, in order to achieve a better environment and a better so ciety.
It is also concluded that the study of music and emotions has indeed been investigated, but not the works of sound art, about which there are no specific studies between sound, in teraction and the emotional response of the public, so that a relationship can be established between the participation of the public with the work, as well as the emotions that led them to take actions related to the work. The foregoing demonstrates a means of understanding the works in this field, as well as the ways in which a specific public is able to interact and the ways in which an artist can also communicate what he wants to a specific audience.
index of quotations
[1] Csikszentmihalyi, Mihaly. Creativity, flow and the psychology of discovery and inven tion (Barcelona, Paidós, 1996). Rodríguez, Mauro. Manual de Creatividad, los procesos psíquicos y el desarrollo (Mexico, Trillas, 1985). Romo, Manuela. Psicología de la creativ idad (Barcelona, Paidós, 1997).
[2] Rodríguez, Mauro. Manual de Creatividad, los procesos psíquicos y el desarrollo (Mexico, Trillas, 1985).
[3] The term “audience” is related to the perception of sound. The ideal in electronic art is to refer to the public as “participants”, however, for communication purposes we will use “audience” or “public”.
[4] Karina Álvarez. http://www.tragiclandscape.com/gallery.html Consultation: May 17, 2022.
[5] “The affective valence axis, which goes from pleasant to unpleasant -pleasure to dis pleasure-, and which allows differentiating emotions according to their hedonic tone be ing positive or negative. [...] The activation axis, which goes from calm to enthusiasm, and which allows differentiating emotions by the intensity of physiological changes between conditions of calmness or relaxation, and that of extreme activation or uncontrollable panic.” UNED, Psikipedia. https://psikipedia.com/libro/emocion/2728-tipos-de-emo ciones. July 28, g2020.
[6] Villagómez, Cynthia. Interview with Roberto Morales Manzanares (video conference), September 4, 2012. Duration 00:36:52.
Bureaud, Annick, Lafforgue, Nathalie, Boutteville, Joel, Art and Technology: The Mon stration (Paris: Plastic Arts Delegation DAP of the French Ministry of Culture, 1996). Available on OLATS Archive: http://archive.olats.org/livresetudes/etudes/monstration/ presentationsite.php
Csikszentmihalyi, Mihaly. Creativity, flow and the psychology of discovery and invention (Barcelona, Paidós, 1996).
Damasio, Antonio. La sensación de lo que ocurre, cuerpo y emoción en la construcción de la conciencia (Mexico, Booket ciencia, 2019).
Diccionario de la Real Academia Española. https://www.rae.es/ Encyclopedia Britannica. Musique Concrète. https://www.britannica.com/art/mu sique-concrete
Feldman Barret, Lisa, How Emotions Are Made. The Secret Life of the Brain, (New York: Mariner Books, 2018).
Fros Campello, Federico, Ciencia de las emociones, los secretos del cerebro y sus sen
el Callejón del Ruido | creation, ideas and technology
el Callejón del Ruido | creation, ideas and technology
timientos, (Mexico, Penguin Random House, 2018).
Hanington, Bruce, Emotions and Affect in Human Factors and Human - Computer In teraction, (Oxford: Elsevier, Academic Press, 2017.).
Rocha, Manuel. What is sound art? In Pauta, cuadernos de teoría y crítica musical (Mexi co, Consejo Nacional para la Cultura y las Artes / INBA, Vol. XXVII, No.108, October - December 2008).
Shanken, Edward, Art and electronic media (London: Phaidon, 2009).
Rodríguez, Mauro. Manual de Creatividad, los procesos psíquicos y el desarrollo (Mexico, Trillas, 1985).
Romo, Manuela. Psicología de la creatividad (Barcelona, Paidós, 1997).
Villagómez Cynthia. Análisis de procesos de producción artística digital en Mexico: artis tas digitales mexicanos y su obra (2017). https://www.lalibreria.upv.es/portalEd/UpvGE Store/control/product.
___________. Interview with Roberto Morales Manzanares (video conference), Septem ber 4, 2012. Duration 00:36:52.
Wolpe and Rowe, Illusion of the free will (Entertaining Books: NY, 2015).
Zepeda, Fernando. Introducción a la psicología (Mexico, Pearson, 2019).
instrument design and algorithmic composition
Don Cuco ElGuapo : a piano-playing robot in noise alley alejandRo pedRoza Meléndez
Don Cuco El Guapo is a piano-playing robot with artificial intelligence that emerged as an application of the Ibero-Latin American ILA9200 microprocessor, a product of the col laboration of scientists from Spain, Colombia, Brazil, Argentina and Mexico. The BUAP’s Microelectronics Department took on the task of building the humanoid robot, under the direction of Alejandro Pedroza Meléndez. For its operation, the robot uses a CCD camera, through which it can read and execute scores. Don Cuco El Guapo has given hundreds of concerts in Europe, Central America, South America and Mexico, over almost 30 years, with the intention of disseminating and encouraging the development of science and tech nology.
One of the events in which the robot pianist has performed is the International Festival of Music and Art El Callejón del Ruido, showing that science and art can complement each other to delight both taste and understanding.
key Words
Artificial intelligence, science popularization, music, art, concerts.
Don Cuco El Guapo was the first Mexican robot -and the second in the world- specially de signed to play keyboards. Created in 1992 by a group of Mexican scientists, led by Alejandro Pedroza Meléndez, Don Cuco is one of the best representatives of the applications of science and technology in relation to art, as well as of scientific dissemination, both inside and outside the country. At the same time, Don Cuco has been a starting point for the development of technologies applied to other sciences, as has been the case of myoelectric prostheses.
Don Cuco El Guapo was born as a consequence of an Ibero-American project in the early nineties, where the countries of Argentina, Brazil, Colombia, Spain and Mexico participated in the development of a microprocessor called ILA9200 (Ibero-Latinoamerica year 1992) which contains hundreds of thousands of transistors in an area of 3 x 150 mm. The tasks for the development of the microprocessor were divided into three work teams: Spain was responsible for the control unit, Colombia and Argentina for the communication unit, and Mexico and Brazil shared the arithmetic logic unit.
el Callejón del Ruido | creation, ideas and technology
el Callejón del Ruido | creation, ideas and technology
The then Microelectronics Department of the Universidad Autónoma de Puebla (UAP) commissioned part of the design to a team composed of Dr. Joaquín remolina López, Dr. Elsa Chavira Martínez, Dr. Raúl fournier Lomas and Dr. Alejandro Pedroza Meléndez. The ILA9200 was designed and built in a record time of 10 months. It is worth noting the importance of the project in the decade, since microprocessors are the fundamental basis of modern computers, based on microelectronics technology. As a result, the ILA9200 microprogrammable educational microprocessor had the flexibility to emulate other simple machines, as well as the ability to allow observations and modifications of its internal state, which made it a great tool for generating learning systems.
In December 1991, in a general meeting, it was decided to give a technological appli cation to the microprocessor, in order to present it at the Universal Exposition of Seville in 1992. The Microelectronics Department of the UAP assumed the leadership to develop such a project and there was born the idea of designing, developing and building the first humanoid-shaped piano robot in America. A robot with artificial intelligence that in addi tion to playing melodies is able to read sheet music. The robot was built with the financial support of the National Council of Science and Technology (CONACyT) and the Govern ment of the State of Puebla.
The design and construction took six months. Several specialists in the areas of physics, computing, electronics, music and sculpture participated in its theoretical and experimen tal elaboration, under the direction of Alejandro Pedroza Meléndez. “Don Cuco El guapo is a beautiful doll, with an athletic body and a serene face. His head, face, thorax, back, arms and legs show the delicate aesthetic sense that sculptor Erika Weimer managed to give to a piece that we usually imagine cold and mechanical. Its external design is made of polyester resin whose transparent finish allows us to see its circulatory system. Its internal structure is made of iron and aluminum” [1].
Its head was designed with human and robot features. The robotic left side has a mini-cam era that acts as a reading eye, and the right side resembles a human face sculpted in resin. The CCD camera lens is responsible for sending signals to the central computer by forming computerized images, which enables musical pattern recognition, and thus forms one of the most important parts of the robot. Another of Don Cuco’s essential mechanical parts, and to which it owes its popularity, are the arms. Each one is connected to a powerful motor at the shoulders; another medium-sized one at the elbows to activate the arm movement; and one more at the wrists to allow the wrists to turn. On the other hand, the movement of each of the fingers is due to the action of pistons that allow a degree of freedom. The same happens with one of the legs that generates movement by having pistons in the knee and foot. The complex mechanisms, as well as their operating systems, are due to the hard work of their manufacturers and collaborators. “If we compare a universal manipulator, it has six degrees of movement and Don Cuco has twenty-six degrees of freedom, so it is more complex than an industrial robot” [2].
The internal robotic system is controlled by a central computer, a control console and the microprocessor, which together program and execute mechanical operations to carry out a task. The brain-computer signals that Don Cuco obtains through the camera reader help to focus the movement within the visual field, encouraging the microprocessor to send signals to the general system for object tracking and clues about the extension of a platform at a distance.
In the case of Don Cuco, semiconductors are found within its integration systems, broadly speaking, they are the base material of miniature electronic devices (microelectronic de vices), and their applications are also associated with the production of more capable and efficient machinery in the elaboration of tasks. The electronic instruments and equipment we know today are made up of elements and components belonging to the area of electron ics and microelectronics (diodes, transistors, resistors, capacitors, integrated circuits, etc.), most of which have been made on semiconductors with various manufacturing techniques. Without semiconductors, there would be no calculators, portable radios, microcomputers, or a large number of electronic instruments used both in the home and in the medical, tele communications, satellite, robotics, etc. industries.
On the other hand, it is worth reviewing the artificial intelligence (AI) that composes Don cuckoo, understood as one of the most advanced parts of computer and information technologies, producing what is known as machine intelligence, since its purpose is that the machine or system perceives its environment and performs actions that favor the probability of success of any task. In this sense, the Don cuckoo robot is the result and exponent of the reach of AI by decoding physical scores, processing them and interpreting them through a musical instrument almost instantaneously. The development of microelectronics and its applications are expressed in the robot’s skills and operational capabilities.
The CCD camera installed in the bionic eye of Don cuco El Guapo, had applications in other scientific areas and especially in the country’s aerospace technology. In 1994, when the Mexican Institute of Communications authorized and financed the first inter-in stitutional project for the development of a new generation Mexican microsatellite, the SATEX-1 (Experimental Satellites), the Microelectronics Department of the UAP collab orated in its design and construction, developing space-quality equipment and using Don Cuco’s eye as the microsatellite’s camera to help obtain images of the earth in remote sens ing, among other things. A different camera was used, but with the same concept of image compression to reinforce satellite analysis.
Within the medical area and also part of its applications, are the attributions to the design of myoelectric prostheses. Since the background of design and manufacture of hand prosthesis dates back to 1983, where the first bionic hand made in Mexico was designed, developed and built using integrated circuits designed and manufactured in the Department of Semi conductors of the UAP, in that project was developed part of the microcircuits, the design of electronic control and mechanics to move five fingers simultaneously and then was success fully placed in three patients. The same mechanism would later be used as an application in the design and construction of myoelectric upper limb prostheses, both above the elbow and below the elbow, for amputee patients. Later, with the construction of the bionic hands of the Don Cuco robot, it was possible to perfect part of the circuits and semiconductors of the first generation of latex glove-type prostheses manufactured in the country.
creation, ideas and technology
el Callejón del Ruido
During his career, Don Cuco has offered concerts in more than fifty cities in Mexico, both in public and private schools, research centers and state auditoriums. El Guapo was
el Callejón del Ruido | creation, ideas and technology
seen and heard by more than one hundred thousand people in the exhibition of Sevilla 92, Spain, in the city of Guatemala he gave auditions for fifteen days to more than fifty thousand people, and in a city of Peru for a week he gave auditions to more than forty thousand people.
One of the main events in which Don Cuco participated and it is memorable to re member, was the Universal Exposition of Seville in 1992, also called Expo 92, which lasted six months and was visited by more than 15 million people. It was attended by 112 countries, 23 international organizations, numerous private companies and the 17 Spanish autonomous communities. At the same time, the Ibero-American Summit on Science and Technology was held, bringing together the science policy authorities of the 21 countries and the 3 international organizations participating in the Ibero-American Development Program. It was held in the city of Seville at the Expo 92 site, where the Spanish King Juan Carlos I and Queen Sofia of Greece inaugurated the scientific summit. In this exhibition, the Spanish King and Queen were able to listen to the interpretations of the robot pianist Don Cuco El Guapo, being amazed and interested in its origin. During the same exhibition, several personalities from the artistic, scientific and literary circles visited and listened to the interpretations of the famous Mexican robot pianist, who expressed the following opinions: As a music critic, I declare Don Cuco El guapo, the Rubinstein, the Arrau of the piano of the 21st century, to have excellent interpretative faculties. Only one but; he lacks the National Symphony Orchestra. Carlos Monsiváis
In the history of all universal expositions, Don Cuco El Guapo is the first Mexican tech nological development to be presented at a universal exposition; it is a source of pride to represent Mexico at such an important international exposition. Architect Pedro Ramírez Vázquez.
I would like to conduct a concert of Don Cuco El Guapo as a great scientific-musical experi ence, since Don Cuco is a Mexican pride. Don Cuco El guapo is a technological development turned into art. Eduardo Mata Asiain.
Don Cuco El Guapo is very good at playing the piano, but he’s not as handsome as I am Alejandro Aura.
Maestro Joaquin Rodrigo (a blind musician) had the opportunity to listen to a recording of the Aranjuez concerto played by Don Cuco El Guapo, when he heard it he exclaimed: “Whoever plays this piece is surely a child between 9 and 10 years old with a promising future as a pianist. When he finished listening to the piece he was impressed to learn that it was a Mexican robot pianist who had played the Aranjuez concerto.
At the end of Expo 92 in Seville, in October 1992, Don Cuco began to receive a large number of invitations to give concerts both nationally and internationally. The biggest invitation was to the International Computer Congress in Porto Alegre, Brazil for the month of November, but unfortunately he was unable to attend due to a major mishap when he returned to Mexico. He was sequestered for 40 days in Miami, Florida, confis cated by the U.S. government without prior notice, for what they stipulated as unknown technology.
Finally, when El Guapo was able to return to Mexico, he began to perform concerts for scientific and technological dissemination purposes. He traveled throughout the Mexican Re public giving a large number of philanthropic shows. He has also raised funds for the benefit of people with disabilities, the elderly, street children and for the purchase of vehicles for the transportation of people with special needs. His travels to other countries have included Central America (Guatemala) and South America (Lima and Peru). But he has also received invitations to the United States, Brazil, Colombia and Chile.
It is worth noting that it has been one of the most important Mexican technological developments of the 20th century, since it has spread science for decades through scientif ic-technological-musical development, creating a solid reference of Mexico’s technological capabilities, while being an example for children and an inspiration for young students. He has been so popular that he has been painted in murals such as in the Municipal Palace of San Andrés Cholula, Puebla, as well as in the restaurant El mural in the same city. In 2021 his large statue was inaugurated in the BUAP University Cultural Complex Theater, and he has received hundreds of tributes, as well as many reports in newspapers, magazines, radio and television programs, and he has also been mentioned in several free primary and sec ondary school textbooks. In the words of some Mexican scientists, artists and intellectuals, “Don Cuco El Guapo is the pride of Mexico”.
In March 1994, Don Cuco El Guapo was invited to play at the Callejón del Ruido Festival in Guanajuato. The invitation was offered by Maestro Roberto Morales, organizer of the festival. Don Cuco offered many concerts during the festival, accompanied by the rock band Neos, where El Guapo played as a soloist. He received a standing ovation from the thousands of attendees during the festival.
Thirty years after its construction, millions of people of different nationalities have had contact with Don Cuco, witnessing one of his many live or televised presentations. An inspiring robot for young people and children that through its applications has encouraged the study of scientific and technological areas without neglecting the arts and humanities, since there is no more precise combination than the one made by the microelectronic mech anisms responsible for giving movement to Don Cuco when it comes to interpreting pieces of baroque music or the Mexican folk music.
referenCes books
[1] Alejandro Pedroza M. Don Cuco El Guapo, pride of Mexico. Anatomy and physiology of a piano-playing robot (Mexico: buap, 2021), 50.
[2] Alejandro Pedroza M. Don Cuco El Guapo, pride of Mexico. Anatomy and physiology of a pianist robot (Mexico: BUAP, 2021), 50 - 54.
Academia Mexicana de Cirugía, issn 0009-7411, Vol. 65, No. 6, Nov-Dic, Méxi co, 1997 pp. 174-177.
Memorias de la XLI Semana Quirúrgica Nacional, Academia Mexicana de Ele
el Callejón del Ruido | creation, ideas and technology
el Callejón del Ruido | creation, ideas and technology
mentos No. 2, Año I, Vol. 1, Universidad Autónoma de Puebla, Enero-Marzo de 1985. pp. 67-75.
Pedroza Meléndez, Alejandro, “Desarrollo de una unidad de semiconductores con tecnología na-cional”, Revista Mexicana de Física, Mayo 1982, Núm. 3, Volumen 28, pp 409-427
Pedroza Meléndez Alejandro, “Desarrollo tecno-lógico y discapacidad”, Discapaci dad humana presente
Pedroza Meléndez Alejandro, “Diseño y construcción de micro herramientas para cirugía y medicina”.
Pedroza Meléndez Alejandro, “Dispositivo artificial electrónico para el control de incontinencia urinaria”.
Pedroza Meléndez Alejandro, “La microelectrónica en la medicina y la cirugía”, Cirugía y Cirujanos.
Pedroza Meléndez Alejandro, “Microelectrónica: La dependencia tecnológica de México”, Revista Habilitas, Año III, No. 20, p.5, México, 2002
Pedroza Meléndez Alejandro, “Semiconductores: un paso hacia la independencia tec nológica”, Ciencia y Desarrollo, mayo-junio 1984, Núm. 56, año X, México, pp. 9-13.
Pedroza Meléndez Alejandro, Cubillo M. A., Guevara J., “Discapacidad humana pre sente y futuro: el reto de la rehabilitación en México”, isbn: 968-7507-55-1, Secretaría de Educación Pública del Estado.
Pedroza Meléndez Alejandro, Monroy J., Ortega Luis A., “Hacia una industria nacional de semi-conductores”, Ciencia y Desarrollo, mayo-junio 1984, Núm. 56, año X, México, pp. 15-25.
Reyes Lazalde Arturo, Méndez L., Moreno A., Rodríguez F., “Diseño y construcción de instru-mental electro médico”, Ciencia y Desarrollo, mayo-junio 1984, Núm. 56, año X, México, pp. 52-63.
coRt lippe
abstraCt
Composing works for live electronics and live musicians combines two entirely separate bodies of knowledge. A musical culture and technical knowledge are equally important in order to create original compositions in this field. If one looks closely at certain aspects of music and technology, there is significant overlap and a cooperative interaction to the intersection of the two domains.
keyWords
Algorithm, flowchart, real-time interaction, algorithmic music, fft
Composing works for live electronics and musicians performing on acoustic instru ments combines two entirely separate bodies of knowledge. A musical culture, includ ing a knowledge of musical instruments, experience composing instrumental works, and a strong interest in creating new sounds and structures by electronic means is required. A certain level of technical knowledge in computer science, acoustics, psychoacoustics, and audio engineering is equally important in order to create original compositions. Typically, musical culture is something developed from childhood, while technical experience with computers and technology usually begins somewhat later in adolescence or early adulthood. On the surface, one could argue that musical culture and technical proficiency are entirely unrelated knowledge areas, but if one looks closely at certain aspects of these two domains, there is significant overlap and a cooperative interaction to the intersection of music and technology. In fact, Technē (art) andTechnik (technology) are viewed in certain aesthetic and philosophic circles as sharing many attributes.
The synergy between music and mathematics is often mentioned. Generally, it is assumed that connections exist between the two disciplines, and these generalizations are not nec essarily untrue, although what is meant by music and mathematics is usually left rather undefined in discussions about their proximity as disciplines. Certainly, on the most basic level, music and arithmetic have much in common, but if one considers the characteristics of mathematics, as both an applied and theoretical science, just how can it and does it relate to music?
Connections between how composers and mathematicians think seem to be buried in some of the more ineffable and abstract aspects of both disciplines, but as one moves from the most abstract layers of thought to more concrete layers, similarities between the two disciplines are revealed. Musical and mathematical thought make use of problem-solving modes of thinking, where practical and logical thought processes come into in play. When practical solutions are needed, both music and mathematics start to resemble the disci plines of engineering and computer science. When a composer decides that what they are composing needs to be considered logically, they step into a kind of thinking that non-mu sicians might consider antithetical to the way they imagine a composer thinks and works.
A romantic notion of the inspired artist continues to obfuscate the composing process, and even composers are guilty of cultivating this mythology, partially because it is a conve nient myth and partially because it is not always easy to explain the process of composing. But it should be no surprise to hear that logical thinking is regularly employed by compos ers. Since composing is an activity that takes place in time and develops time-based forms (unless the music is what is called process music or conceptual), one cannot imagine an entire piece in a flash of inspiration. Even a so-called conceptual piece cannot be imagined in any real detail, but only in an abstract and general fashion. Since most of human endeavor in volves some kind of process (and here I mean something different from process music), there are clear steps that need to be taken that have a teleological aspect to them if one wants to achieve a certain result. Simply deciding that music A should last for a certain amount of time, and then music B for another amount of time requires a certain kind of logical thinking. (Not to mention the thinking required to create music-A and music-B in the first place). Transitioning from A to B over (x) amount of time requires even more detailed thinking and planning, since A and B alter over time in respect to each other. It may not sound like an exciting and inspirational way to create art, but to actually write music, this
creation, ideas and technology
el Callejón del Ruido
el Callejón del Ruido | creation, ideas and technology
kind of thinking is quite normal and necessary. For a piece of music, like writing a novel, a poem, creating/solving a mathematical formula, or making a computer chip, a computer program, or constructing a house, are all problems to be solved. How do we, as humans, solve problems? Often, in advance, we break down a task into steps, and follow these steps one at a time to the end of the task. And while most of us have had the experience of en gaging in some sort of task or problem without preconceptions or planning and fortunately reaching a satisfactory conclusion, with experience one of the things that we learn is how to efficiently solve problems. Inspiration and improvisation can offer unique and interesting outcomes, but cannot be depended upon to always produce acceptable results.
We learn through trial and error to think about a problem carefully beforehand and to create a plan where one step follows another with some kind of logic. (I use the term logic loosely here, since the logic of a musical composition could probably be best described as an inner logic, reflecting a composer’s taste). Once we have success with this manner of working, it becomes almost second nature as a way of solving problems. Composing is no different from any other kind of activity that requires planning and problem-solving, and it has an added component that some activities do not have, including certain mathematical problems: what is being created exists in time and therefore the parameter of time is has to be built into the problem-solving method.
Mechanical engineers first developed the idea of codifying this step-by-step problem-solving process with what are known as flowcharts. Computer scientists began using flowcharts soon afterwards, during the early days of computers. A flowchart can be defined as a diagrammatic representation of an algorithm, a step-by-step approach to solving a task. [1]. And an algorithm is defined as a process or set of rules to be followed in calculations or other problem-solving op erations, especially by a computer. [2]. While the flowchart is a relatively new development, algorithms have been a standard aspect of mathematics, for example, since antiquity. And algo rithms, throughout history, have been a useful tool for problem-solving tasks in many domains.
Once composers began using computers to make music, they quickly and easily took up the flowchart as an efficient way to describe algorithms, either for making sounds, or com posing musical structures. Hiller, Xenakis, and Koenig made extensive use of flowcharts as part of their compositional process over 60 years ago for music that we now call algorithmic music. Algorithmic music is usually considered music produced with the aid of a computer, but can be produced with other tools, including simply a pencil and paper. The methodol ogies of engineers, computer scientists, and musicians for solving problems easily merged, especially as all three disciplines began to make increased use of the computer. And while often thought of as a 20th century development in music, algorithmic thinking has existed in music probably as long as music has existed, just as it has in mathematics, most likely since the concept of quantities was first formed in our minds. The ancient Greeks, Machaut, Mozart, Schoenberg, and Cage all created algorithmic music. Bach’s Musical Offering is considered a superlative example of algorithmic music.
Since the computer is essentially a generalized machine for creating and solving algo rithms, algorithmic thinking is deeply embedded in most endeavors that use the computer as a tool. One might suggest that just as the hammer is an efficient improvement on the fist, the computer might be considered an efficient improvement on the brain. But since we used our brains to develop the hammer and the computer, perhaps it is better to think of the hammer and the computer as extensions or “helpers” for our bodies and brains.
As an extension of a composer’s brain, the computer can be programmed to make sounds that have a rich and varied quality based on specific parameters. An algorithm that
produces a sound can be modified easily. A computer can also be used to organize and pro duce multiple variants of compositional ideas/structures. The computer’s powers as a tool for simulation allow composers to experiment with ideas, refine them, and produce musical variants and sounds that it would be too time consuming to create otherwise. As this pro cess becomes iterative, a composer has the opportunity to explore multiple possibilities for compositional ideas in ways that were not possible beforehand, something Koenig called “variants”. [3]
When the computer is used in a real-time context in an interactive environment in con junction with a performer during a concert, the algorithmic possibilities become even more engaging. Creating sound and musical structures in real-time involves altering parameters of a basic idea of, for instance, how one wants to get from A to B over time (x), so that on a meta-level, the trajectory from A to B can be altered while the trajectory is happening. These processes can take place at the level of sound creation and/or at higher compositional levels, and micro- and macro-levels of time can influence each other.
What kinds of information can be used to alter an algorithm in a real-time context? The possibilities are practically endless. In our example, the challenge is to discover which parameters can be altered getting from A to B while the transition over time is taking place, that have meaningful musical connections to what has come before, both in a computer part and an instrumental part. In this way, a computer program contributes actively to the over all compositional process and the sounding output. Operating in this context, one of the most useful kinds of information that a composer can utilize is input from a performer to inform, influence and sometimes control algorithms running in real-time. A simple example would be to measure the frequency of note production by a performer (how fast a perform er is playing): more notes in a shorter amount of time might alter the time (x) that it takes to get from A to B. The number of accented notes played by a performer in a defined time window might alter B during the trajectory from A to B, to become A to B1 (in this way B is not a fixed destination, but can be modified during the transition). A certain spectral change in the timbre of the player’s performance (switching from sul tasto to sul ponticello) could cause a trajectory to change direction, moving from A to C instead of to B
Measuring performer input and interpreting this information in a meaningful way (al lowing this data to influence and inform the algorithms that are being used) enables a com poser to make deep connections between a computer part and instrumental part, musically speaking. Based on a performer’s interpretation of a score, algorithmic models become interactive models where sound design and higher-level compositional structures are mal leable during a performance (and not necessarily separate entities). The cooperative inter section between music and technology is as highly significant and integral to the process as is the interaction between a performer and a computer.
the fft
To speak of more practical matters, in my own work in the domain of interactive computer music, composed for musicians interacting with a live computer in a concert performance, much of my focus has been on the Fourier Transform algorithm. With increases in comput ing power over the past 30 years, the real-time Fast Fourier Transform (fft) has become an essential tool in many domains, and its powerful influence in the areas of sound and music are definitive. On the simplest level, the fft does an analysis of sound and gathers informa tion relating to the energy distributed across the sound. Specifically with musical sound,
creation, ideas and technology
el Callejón del Ruido
el Callejón del Ruido | creation, ideas and technology
the fft gives an account of the timbre of a sound. This information is an extremely detailed spectral (timbral) analysis of how a sound changes over time, and where its energy lies in the spectrum. One important tool developed using the fft is accurate pitch-tracking of a mu sical instrument in real-time. But, the fft can also be used to alter timbre in powerful ways that were impossible before its development. Sound can be processed in real-time in great detail since the fft typically divides up a sound into many separate components or slices, ranging typically from 512 to 2048 separate regions. The large number of regions that a sound can be divided into means that one must account for a large amount of data that needs to be analyzed and manipulated. An algorithmic approach to information becomes more practical as the amount of data increases, and is therefore ideal for use with fft data. (Figure 1.) (Note: figure displays only a small number of spectral slices.)
Various pre-existing techniques can be employed with greater precision via the fft. Some examples are: filtering, delay, feedback, spatialization, and frequency shifting. In addition, classic vocoding and noise detection can also be done with great precision. The simplest way to deal with something like 1024 filters is to design filter shapes in tables. These tables serve as transfer functions, and modify a given input based on the function. A transfer func tion can describe a complex filter. For instance, a table of 1024 values ranging from 0 to 2 produces for a flat filter response if all values are set at 1, notches out various frequency bands with values of 0, and boosts frequency bands with values between 1 and 2 if the fft values are simply multiplied by the table values. (Figure 2.) (Note: starting with Figure 2, all diagrams are transfer functions.) Likewise for time delay, each of 1024 frequency bands can be given a value between 0 and 1 as a transfer function that scales a delay in milliseconds. A sound can be pulled apart in time, such that, if we take a cymbal strike and delay the lower frequencies with a value of 1 * delay-time, and move across the 1024 values gradually to a value of 0, we can create a kind of arpeggio where only the high partials are head initially and the lower components enter gradually. (Figure 3.) Also using values between 0 and 1, feedback of these delays can be specified such that, for instance, high partials recirculate for an extended period of time and low partials die away quickly. (Figure 4.) Spatialization of fft data allows one to spread all the components of a sound across a space so that each component is situated spatially in a different location, either simply across a stereo field or over a larger number of speakers. (Figure 5.) Frequency shifting can be accomplished by stretching or compressing a sound, so that all the components are spread across a larg er frequency range, or squeezed down into a smaller range using linear, exponential, or logarithmic transfer functions. (Figure 6.) One can combine all this processing so that a boosted area of the frequency range (filtering) is compressed slightly to become, for in stance, inharmonic, (frequency shifting), and this same section of sound can be dispersed in time (arpeggiated slightly with delay) with a specified feedback amount that produces a certain amount of sustain, and then spread across a stereo field (or multiple channels). Five transfer functions can supply all the necessary information needed in this example. Essen tially through these processes one can deconstruct a sound completely and reconstruct it as something entirely different from the original.
Interpolation over time between various transfer functions offers one strategy for moving smoothly from one function to another. Turning static transfer functions into evolving, constantly changing functions, by converting the transfer functions into low frequency os
cillators (lfo), offers the possibility of modulating these various processing techniques over time. If a transfer function is oscillating in synchronization with an fft and at the same frequency as an fft, it is static. Doubling the frequency of the transfer function will create two static copies in succession across the spectrum. Changing the phase or varying the fre quency of a transfer function just slightly in relationship to the fft it is modifying will cre ate a continuously changing relationship between the spectrum and the transfer function, thus creating a kind of modulation, which can be very slow moving or attain speeds above 20 Hertz. Finally, controlling the depth of modulation of an lfo transfer function enables an increase or decrease in the processing effect produced by the function. Static transfer functions, transitions between transfer functions, and transfer functions as modulating lfo can all be influenced and/or controlled by performer input. This mapping is crucial for creating relationships between a performer, a computer system, and the musical outcome. As computers continue to increase in power, thereby increasing the potential number of processes taking place with multiple streams of sound in real-time, these kinds of tools offer composers and performers powerful ways to continue creating complex and rich new sound transformations and thought-provoking musical results.
Thanks to David Sanchez, Robert Rowe, Barry Moon, Zack Settel, and Miller Puckette for their guidance and suggestions.
referenCes
[1] “Flowchart” Wikipedia, Wikipedia Foundation, June 21, 2022. https://en.wikipedia.org/wiki/Flowchart
[2] “algorithm” New Oxford American Dictionary, Dictionary.app, Apple, online, version 2.3.0.
[3] G.M. Koenig, “Aesthetic Integration of Computer-Composed Scores” Computer Mu sic Journal Vol. 7, No. 4, (Winter, 1983), pp. 27-32, MIT Press. https://rohandrape.net/ ut/rttcc-text/Koenig1983a.pdf
RogeR b dannenbeRg
Innumerable approaches to algorithmic composition have been described, often based on attempts to formalize music or formalize AI techniques. A few simple ideas distilled from experience are presented in the form of a schema for organizing algorithmic composition programs. The schema uses probabilistic rules or tendencies, which can be written and combined modularly, and plans that can be created on-the-fly to guide future choices. Plans are just a form of state or context information that can be generated or renewed along with
el Callejón del Ruido | creation, ideas and technology
el Callejón del Ruido | creation, ideas and technology
music creation, making this a recurrence model for sequence generation. Multiple passes can be used to introduce top-down hierarchical composition strategies.
Algorithmic Composition, Music, Probabilistic, Rules, Tendencies, Planning, Context, State, Hierarchy introduCtion
Algorithmic composition has been explored since the earliest days of computing. [1] There is probably at least one piece of music to exemplify every programming language and pro gramming framework, not to mention every approach to creating simulations, computa tional models, and artificially intelligent systems. In fact, composers often invent their own formalisms and techniques, inspired by their musical interests and intuition.
Since my participation in Callejón del Ruido Festival resulted in performances of pieces with very different approaches to algorithmic composition and interaction, it seems fitting to offer some current ideas about music creation with computers for this report. This con tribution is inspired by recent work on generating songs in a popular music style, but here, I will present a refined version of the approach that I believe could be suitable for a wide variety of musical explorations.
In algorithmic composition, we usually want some randomness in the computation. Creating just one great composition is wonderful, but in practice, randomness has at least three nice properties. First, it is hard to specify output so completely that only one output is possible. Finding the “optimal” music according to some objective function might pro duce a single result, but music is complex, so optimization is rarely feasible, and often the “best” music according to some simple ideas is less interesting than music with elements of randomness. Second, randomness lets us generate many outputs, allowing us to focus more on a particular style or “logic” as opposed to a specific piece. Finally, in live performance, introducing variation and the unexpected is esthetically interesting. It is a unique capability that computers can bring to composition and performance.
Another important practical matter is the ability to refine ideas and models. Typically, some initial ideas are turned into code, executed, and the output is evaluated. If the result is great, you are done, but more often, shortcomings are immediately apparent. We need a flexible approach where results are easy to refine. Often, we find undesirable output that could be avoided by the addition of constraints, rules or tendencies. An approach that sup ports incremental refinement is generally better than a monolithic algorithm that is hard to change.
Search is an important aspect of many AI systems, but with music, search is often not very productive. One reason is that many search problems are exponential. A sequence of 20 pitches selected from a scale of 12 pitches has 1220 possibilities. Evaluating 1,000,000 sequences per second, we could not explore all possibilities in a million centuries! A second problem is that search assumes that you know a good solution when you see one. Without a good evaluation function, even an exhaustive search may find a poor solution. Therefore, it is usually more practical to create music incrementally and minimize search, iteration or backtracking.
The next section presents a simple probabilistic approach to algorithmic composition that has been used effectively. Music often has a hierarchical structure, so we extend our approach to support multi-pass, top-down music construction. Another source of structure
in music is the existence of plans that influence a sequence of future music events. (An example is a decision to start a crescendo and rising pitch contour whenever a sufficiently low pitch is reached.) Once again, we extend the approach to facilitate plan-based music generation. Finally, we will consider some variations and optimizations that may be useful in practice.
Consider a probabilistic melody generation task. For simplicity, we will assume a diatonic scale of 15 pitches (two octaves), no rests, durations quantized to 16th notes, and a maxi mum duration of the whole note. Each note is thus selected from a space of 15×16 = 240 possibilities. We will compute a weight for each choice and generate notes sequentially by making choices according to weights.
Initially, consider setting all weights to 1. The output will be a completely random sequence in terms of both pitch and duration. Not very interesting. Perhaps we want our melodies to avoid extremes of range. We could multiply each weight by a Gaussian (bell) curve centered around 7 (assuming pitches are numbered 0 through 14) with a variance of 5, i.e. the weight for pitch p becomes N(7−p, 5). This rule says nothing about duration.
While the pitch “rule” is continuous and probabilistic, we can also incorporate logic rules into this framework. Suppose we decide that odd durations longer than 3 (sixteenths) should not be used. We can write a function returning 0 or 1: f(d) = (1 if (d < 5 or iseven(d)) else 0) to express this. Again, we can multiply each weight by this function to eliminate some of the durations. Multiplying a weight by zero eliminates the possibility of making that choice entirely.
We could go on, for example, by adding a third “rule” that prefers shorter durations to longer ones. Putting this together, we can state the framework more formally as follows: Our music composition system creates sequences of tokens (we call them “tokens” because they could be pitch/duration pairs, chords, sound types, articulations, etc.). The system consists of a set of tokens A = {ai} and a set of rules R = {rj}. Each rule is a function from a token to a weight: rj: , where weights are real numbers (preferably expressed as probabilities in the range 0 to 1). To select the next element of the output sequence, we first obtain an overall weight for each token (ai) by multiplying the weights given by each rule:
wi =∏ rk (ai) k
Then select and output ai with probability
P(i)= wi⁄∑wk k
Computationally, this looks like a loop (or nested loop) to enumerate all tokens and the application of all rules. For the pitch/duration tokens and three rules, the code looks like Figure 1.
Note that we can easily extend the computation with new rules or temporarily remove individual rules by turning lines of code into comments. It may seem a bit cumbersome to always consider all tokens and all rules. Below, we will consider that pitch and duration
creation, ideas and technology
el Callejón del Ruido
el Callejón del Ruido | creation, ideas and technology
f unct i on compute next note(): f or i i n [0:240] w[i] = 1 construct initial weights f or pi n [0:15]: f or di n [1:17]: i = p+ (d 1) ´ 16 combine to form index w[i] = w[i] ´ favor middle register(p) w[i] = w[i] ´ restrict odd durations(d) w[i] = w[i] ´ favor shorter durations(d) output(weighted selection(w))
Figure 1. Psuedo code for probabilistic composition.
could be computed separately, saving a great deal of computation. However, a more real istic melody generator would have rules concerning both pitch and duration, e.g., “smaller intervals are favored when durations are shorter.”
Sometimes, it is useful to create a high-level structure before filling in details. Before con structing a melody, we might wish to compose a chord progression. Melody could then be guided by the harmony in place at each beat. A top-down music composition system like this can be created by separating the composition process into stages. Starting at the top level, each stage creates the next level of the hierarchy. In my popular song writer, based on work by Elowsson and Friberg [2], the first stage designs a phrase structure, the second stage designs a rhythmic accent structure, the third stage composes a chord progression, and the last stage writes a melody as shown in the previous section (however, many more rules are used). We have experimented with yet another level of hierarchy, generating a “ba sic melody” [3] consisting of half notes before elaborating this to form the final melody. [4]
In a multi-pass hierarchical scheme, the output of each pass must be saved in a data structure that can be easily accessed by the next passes. I have no general solution for music representation. We limit our pop songs to units of 16th notes and use arrays containing data for every 16th note (i.e., every possible time point) of the song, but even conventional music that admits triplets and finer subdivisions creates representational challenges. In general, the simplest representation that can express your music is the best choice: Other schemes can be more expressive, but encoding and accessing music using a very general representa tion system can be very tedious.
In most cases, rules need to consult previously generated tokens. For example, a rule that favors small melodic intervals over large ones must know the previous pitch to compute the interval from that pitch to each possible next pitch. Thus, rules are not simply functions of one token. It would be more complete to describe rules as dependent upon both the token ai and previously output tokens (a sequence of type ):
ri:A × A n → R
If we denote higher levels of the hierarchy by types B, C, etc., then the full form of the rule is: ri:A × A n × B × C × …→ R
In practice, these additional parameters for rj might be implemented as global variables that all rules can access.
In addition to referencing data at higher levels of a hierarchical construction, rules can reference real-time sensor data or human input in live performance situations, creating a path for interactive algorithmic composition and improvisation.
Sometimes, we want to say something about the future rather than create output one-to ken-at-a-time. Essentially, we decide to adopt and carry out a plan over the next several tokens that will influence or even override the probabilistic algorithm described so far. An example from pop music is choosing a cadential chord progression that will end a phrase on the tonic (I) chord. Once decided, we do not want to deviate from the plan.
To express plans, we add yet additional information that rules can access. What I call plans could also be viewed simply as state. The key idea is that, in addition to computing the next token in a music sequence, we also compute a new plan or state, which becomes context for the next computation. In very abstract terms, we can write:
(mk+1, statek+1) = f(m1…k, b, c, …, statek),
where m is our output sequence of music tokens, f is our probabilistic rule system (combining all of the rj), b, c, … are sequences computed earlier at higher levels of the music hierarchy, and each rule rj has state as an additional parameter. This is a recurrence relation because each statek+1 depends on the previous statek
In practice, states are mainly used to represent plans and conditions to be consid ered in the rules, and we implement state as a simple data structure that can be modified at each iteration of the music sequence computation. The computation now looks like Figure 2.
f unct i on compute next note(): f or i i n [0:240] w[i] = 1 construct initial weights f or pi n [0:15] f or di n [1:17] i = p+ d´ 16 “flatten” pand dto index w[i] = w[i] ´ rule 1(p) w[i] = w[i] ´ rule 2(p) … apply all rules to w output(weighted selection(w)) updat e pl an()
Figure 2 Incorporating plans as recurrent state
The main change is the last line in bold. Now, each time we compute a new output token, we can make or modify any existing plans, as represented in some program variables. We must also modify or extend rules to consider plans. Three approaches are: (1) in each rule, add tests as necessary to see how the rule should be applied in the context of any plans. This sacrifices some modularity, since adding new types of plans may require changes to every rule; (2) extend the set of rules to include plan-specific rules. This approach is good when the plan is a general tendency that simply biases the existing probabilities; (3) override com puted probabilities when a plan is in place. In the extreme case, after the general rules are applied, a new rule could reset wi and apply a completely new set of rules, but only when a certain plan is in place.
Plans are likely to have a finite duration. When a plan is added to the state, the plan should include a duration or timeout, and the update_plan() function should check for and remove expired plans.
creation, ideas and technology
el Callejón del Ruido
el Callejón del Ruido | creation, ideas and technology
Earlier, I presented some drawbacks of search-based algorithms. However, there is an inter esting place for search in the approach described here. Mainly, we would like to avoid some problems that inevitably occur with this probabilistic approach. First, even if we select tokens according to weights or probabilities, it is very likely that at least one token in a long sequence will have very low probability. Secondly, it is possible for earlier token choices to leave no good options later. These problems can be reduced by composing multiple pieces and selecting the one with the highest overall probability.1
For example, in my work on popular song creation, I found that occasionally, songs had several strange intervals or rhythms that simply sounded like mistakes. I modified the program to generate 10 songs and pick the most probable of 10, and this “filtered out” the weak ones.
Whether it is better to use probabilities, which reflect the amount of surprise intro duced at each step, or original weights, which can be considered a form of absolute quality assessment, is an interesting question which I have not pursued. The best approach is likely to depend on the rules. Also, when output lengths vary, one might want to use the average probability or weight per token.2
We should be careful though, because rules are unlikely to form a sophisticated music evaluation system. Extensive search, such as finding the most likely of 1 million songs will not necessarily produce the best outcome. Consider the similar approach of outputting the most likely token at every step rather than making a weighted choice. In most cases, this will create a “high probability” output, but it is likely to get stuck repeating high probability tokens, and the result will lack variety and interest.
One more application of search has been found to be useful. Recall that rules are allowed to forbid certain choices by returning zero weights. Situations can arise where rules manage to zero the weights of all tokens. This means that, according to the rules, no acceptable choice can be made. In my system, I detect this and simply start over. A more sophisticated AI approach might be to back up one or more tokens or even try to find the cause of the impasse and correct it. However, if these problems are common, one can study their cause and design a solution (it might involve spotting problematic situations and forming plans to guide the system past them). Alternatively, if problems are rare, then restarting is very likely to succeed. Either way, sophisticated search seems to be unnecessary.
One potential problem with this approach is that the number of different tokens can be large. For example, in Xenakis’ Stochastic Music Programme (smp) [5], sounds are described by onset time, duration, pitch, instrument, glissando rate and “intensity form” (44 forms of dynamic variation such as crescendo, diminuendo, louder then softer, etc.). Considering all combinations, there could be many millions of sound types.
1 The simplest approach to estimating overall probability of a sequence is to simply assume that all to kens are independent and multiply their probabilities. Since the product of hundreds of small probabil ities can be exceedingly small, one typically forms the sum of logarithms to avoid numerical problems, taking advantage of the rule . If we want to pick the result with the highest probability, it is equivalent to picking the result with the highest sum of logs of token probabilities.
2 To do this properly, divide the sum of the logs of token probabilities by the length of the token se quence.
When the token space becomes too large, we have two basic methods to simplify the computation. First, we can separate the dimensions of the tokens if they are independent. Imagine in our previous example if pitch and duration were independent. Then, our nested loop to consider all 240 combinations:
for p in [0:15] –iterate over all pitches for d in [1:17] –iterate over all durations could be separated into two separate loops with a total of only 15 + 16 = 31 iterations:
for p in [0:15] –iterate over all pitches pw[p] = pw[p] × pitch_rule_1(p) … – more rules for pitch weightings for d in [1:17] –iterate over all durations dw[p] = dw[p] × duration_rule_1(p) … – more rules for duration weightings
Then the output token would be determined by making two independent weighted choices using pitch weights pw and duration weights dw
The second possibility is one-way dependencies.. Suppose that pitch weights do not consider the proposed duration, but duration weights vary with the proposed pitch. If so, we can use only the pitch-weighting rules to compute pw (as shown above) and make a weighted choice of pitch. Now, pitch is known, so we can use it within duration rules to compute duration weights.
It should also be mentioned that if an attribute such as duration can be computed inde pendently of other attributes (but possibly depending on them), then it can be continuous rather than discrete. For example, one can compute duration in seconds rather than a choice of n sixteenths. Continuous values can be efficiently computed from a single random distri bution such as the Gaussian, but it is not so simple to combine multiple rules that relate to different factors or influences. The choice is yours.
In Xenakis’ smp, parameters appear to be highly independent. E.g., the instrument choice is selected using weights that depend only on the density, which is fixed for the du ration of each section. However, pitch and duration are both based on the instrument. We can compute them independently after the instrument has been selected.
It is the composer’s choice as to how musical tokens are represented and whether their attributes are independent. Strong dependencies arise from concepts such as “short note durations require smaller pitch intervals,” but many other attributes are weakly connected, allowing us to compute them separately and more efficiently.
I have presented a general approach to algorithmic composition that I believe has many good properties:
1. It is simple to implement, which means one can spend more time adjusting rules and thinking about musical concepts.
2. It is modular, allowing concepts, tendencies and “hints” to be added in the form of independent rules.
3. It is probabilistic and non-deterministic. Multiple runs can be used to obtain a large pallet of compositional materials, and live performance systems can offer variety and surprise.
creation, ideas and technology
el Callejón del Ruido
el Callejón del Ruido | creation, ideas and technology
4. One can express tendencies as well as absolute constraints.
5. Rules can be based on simple statistics of existing music, so in that sense, rules can be “learned” from data.
6. The approach is efficient because it avoids large amounts of search. To make up for the lack of search and backtracking, plans can be generated to offer a degree of look-ahead and guidance.
There are also some shortcomings:
1. Search and optimization are weakly supported, but we argue this is usually suffi cient.
2. The approach works best for computing discrete tokens, although any computa tion that computes a continuous attribute is easily incorporated.
3. This is only a conceptual framework: There is no language, library, or ready-made software. (Perhaps this is also a “feature.”)
Innumerable approaches to algorithmic music have been explored. Often, software is devel oped for just one composition. Still, many composers develop a way of working. My work for the Callejón del Ruido Festival was formative in my thinking about composition and particularly algorithmic composition and interaction. There is nothing like a public forum and high expectations to put one to the test, and I am deeply grateful for the experience and learning that resulted from this great opportunity.
The framework described here distills and generalizes many ideas and approaches that I have found useful over the years. If readers find it overly simplistic, consider that that may be its greatest advantage! If we find the design of software to be trivial and obvious, then we stand a much better chance of a correct and efficient implementation, not to mention modifying and improving the first version. It is much better to focus on music than complex AI techniques, provided we can still express our musical intentions.
Ultimately, composers (and perhaps listeners) must be the judge of any approach or methodology. Programming languages, systems and methodologies are notoriously difficult to measure, and it does not make sense to say one approach is better than another. However, I hope that thinking about the structure of an algorithmic composition system as opposed to the actual algorithms will inspire others to do the same and perhaps take away some use ful ideas for their own creative work.
Thanks to Roberto Morales for inviting this paper and for so much work on the Festival over the years. My work would not have been possible without the support of Carnegie Mellon University.
[1] Mary Simoni and Roger B. Dannenberg, Algorithmic Composition: A Guide to Compos ing Music with Nyquist (Ann Arbor: The University of Michigan Press, 2013).
[2] Anders Elowsson and Anders Friberg, “Algorithmic Composition of Popular Music,” Proceedings of the 12th International Conference on Music Cognition and Perception and the 8th Triennial Conference of the European Society for the Cognitive Sciences of Music, 2012, 276-285.
[3] Lejaren Hiller, Charles Ames and Robert Franki, “Automated Composition: An Instal lation at the 1985 International Exposition in Tsukuba, Japan,” Perspectives of New Music, Vol. 23, No. 2, Spring – Summer, 1985, 196-215.
[4] Shuqi Dai, Zeyu Jin, Celso Gomes, and Roger B. Dannenberg, “Controllable Deep Melody Generation via Hierarchical Music Structure Representation,” Proceedings of the 22nd International Society for Music Information Retrieval Conference, 2021, 143-150.
[5] Iannis Xenakis, Formalized Music: Thought and Mathematics in Music (Hillsdale, NY) Pendragon Press, 1992.
This paper describes some of the techniques used for the generation of symbolic (musical) data from genetic algorithms. This technique allows the creation of pitch profiles with a high degree of self-similarity. The ami (Algorithmic Music Interface) tool will be used to implement this technique within the Max for Live environment.
Algorithms, Genetics, Chromosomes, Symbolic data, Max for Live, Fitness Calculation
introduCtion
This publication, which serves as a memory of what the Callejón del Ruido Festival has left us as academics and musicians, allows us to share some of the aesthetic and scientific con cerns that have interested us during the last years. The environment of the festival for many years benefited a reflexive approach with an artistic and academic perspective of the use of computational tools for music. The work on algorithmic music and its aspects became the opportunity to participate in this group of texts. Here we present a dossier about the use of certain genetic algorithms and their implementation in Max for Live through the ami tool.
Genetic algorithms, as defined by Nierhaus, are a particular class of evolutionary algorithms that implement strategies modeled after natural systems and use stochastic search tech niques (Nierhaus, 2009). These algorithms are designed to mimic Darwin’s principle of “survival of the fittest”, which is implemented based on the “competition” between a group of individuals, within a given population, for specific resources. Those who are “winners” will generate offspring as opposed to “losers” (Shukla, Pandey, & Mehrotra, 2015).
In the use of genetic algorithms, the solutions to a given problem are encoded in a series of symbols (chromosomes) thus generating an initial population of solutions (Vázquez &
el Callejón del Ruido | creation, ideas and technology
el Callejón del Ruido | creation, ideas and technology
Oliver, 2008). Mitchell Melanie says in his book An Introduction to Genetic Algorithms (Mitchell, 1996):
In the 1950s and the 1960s several computer scientists independently studied evolutionary systems with the idea that evolution could be used as an optimization tool for engineering problems. The idea in all these systems was to evolve a population of candidate solutions to a given problem, using operators inspired by natural genetic variation and natural selection.
In such algorithms, then, the concepts of chromosome, survival of the fittest, genetic inher itance, crossover, combination and mutation are important. A chromosome is represented here as a string of binary values. The procedure is as follows: a population of n chromosomes (01100, 11011, 01011... etc.) is created, from this population, then, the fitness of each el ement is calculated and the fittest are subjected to crossovers and mutations. This process can be schematized as shown in Figure 1.
This process is illustrated below with the example proposed by David Goldberg in his book Genetic algorithms in search, optimization, and machine learning (Goldberg, 1989) and also used by Nierhaus (Nierhaus, 2009). One starts with a function that can be fed with 5-bit values, i.e., 32 possible values (0 ~ 31). That function is, for this example . A set of ran domly generated chromosomes is taken. For example: (01101) (11000) (01000) (10011).
Then you look for which of these chromosomes are the fittest. In this case that fitness is completely arbitrary since we are not dealing here with the fitness of a given species to survive in a given environment. In this case, the fitness of each chromosome has been measured from the decimal value it generates when passing through the function .
Then each chromosome is distributed in what Goldberg calls a “roulette” (Figure 2) where each of them has a probability of being chosen according to its fitness. Thus, chromo some 2 is more likely to be chosen than the others, while chromosome 3 is the least likely.
The process then begins by selecting the chromosome randomly, but taking into ac count the “weight” of each value, i.e., the probability of being selected (in this case the percentage of fitness with respect to the total). If, using this procedure, four chromosomes are selected: once number 1, twice number 2 and once number 4 (number 3 is not selected because of its low fitness percentage), then it will be: 01101, 11000, 11000 and 10011.
Now the selected chromosomes are “paired” by choosing them randomly, for example: 01101 → 11000. The process for pairing is as follows: a random index value is chosen between 1 and the length of the string minus 1. That is, in this case, since the string of binary numbers has 5 values, a value between 1 and 4 will be chosen. In case that value is 2, then the crossover will be performed by exchanging the values of one chromosome for the other.
David Goldberg explains in the above-mentioned book that this process, although it involves the use of random selections, is very efficient at finding solutions automatically:
The mechanics of reproduction and crossover are surprisingly simple, involving random number generation, string copies, and some partial string exchanges. Nonetheless, the combined emphasis of reproduction and the structured, though randomized, information exchange of crossover give genetic algorithms much of their power. At first this seems surprising. How can two such simple (and computationally trivial) operators result in any thing useful, let alone a rapid and robust search mechanism? Furthermore, doesn’t it seem a little strange that chance should play such a fundamental role in a directed search process? (Goldberg, 1989).
Following this procedure takes place the mutation process where some value of the string
is modified: 11[1]01 → 11[0]01. Then, the process described in Figure 1 can be completed as follows:
As mentioned, the selection phase determines which individuals are chosen for mating. This is done based on the concept of fitness, that fitness being the result of weighing each chromosome as it passes through a given function. However, there are different techniques to perform this selection based on fitness and probability. Some of these techniques are detailed below.
This is the technique shown in Figure 2. Here the probability of being chosen is propor tional to the area assigned to each chromosome within the wheel, and that area will be given by the percentage of fitness obtained by each member when traversing a specific function. In the case of Figure 2 the function is f (x) = x2 So, then the probability of being chosen is:
Where pi is the chromosome, f i is the fitness value of the ith chromosome and w is the popula tion size.
This system has the disadvantage that, if the difference between the strongest and weakest chromosomes is very large, the weak chromosomes have little or no chance of being chosen. That is, by selecting a chromosome randomly, but taking into consideration the probability of selection of each chromosome or the “weight”, one could obtain a se lection like the one in Figure 5.
In that type of selection, it may be the case that after eight chances none fall on the smallest portion. One way to avoid this is to use what Baker calls universal stochastic sam pling (Baker, 1987) in which a point on the wheel is selected at random and then the following points are taken equidistantly with a ratio equal to 1/No of samples (Figure 6).
Here the chromosomes are listed in a ranking in which the weakest will have a value of 1 and the strongest a value of N. Using the above population this would be:
The formula for calculating the probability that is chosen is:
Where N is the total population, φ+ is the probability of the fittest being selected com pared to the average probability of selection of all individuals (this value is always between 1 and 2), and, finally, is the ranking position of each individual. For example, using the chromosomes in Table 4 (N = 4):
creation, ideas and technology
el Callejón del Ruido
el Callejón del Ruido | creation, ideas and technology
Then Thus, the values obtained are:. i1 = 0.1, i2 = 0.2, i3 = 0.3, i4 = 0.4. When comparing the distribution using the roulette technique versus the linear ranking technique, it is observed that the latter has a more proportional distribution, making the weaker chromosomes more likely to be selected.
As the name implies, this technique is a variation of linear ranking selection in which it is possible to distribute the probabilities of each chromosome exponentially. The base of the exponent is c, where 0 < c < 1 (Shukla et al., 2015). The probability of pi, then is given by: Equation 3
Where N is the total population and c is the base of the exponent (with which the desired curve is controlled).
This type of selection is a combination of random and fitness selection (Figure 8). From a given population, a number of individuals are chosen at random to be the competitors. Then the fittest is selected from among them. This procedure is repeated as many times as necessary until a chromosome is selected.
As shown in Figure 4, once the population has been selected using one of the selection techniques described above, different pairs of chromosomes are recombined. One of the most common methods to perform this task is the one shown in Figure 3 called 1-point crossover (Umbarkar & Sheth, 2015), but there are other techniques to perform the same task. Below are some of them.
Several points are selected at random where to perform the recombination. See the follow ing example (Figure 9):
This procedure is often applied with no more than two groups per chromosome, al though this will depend on how long the string of binary values is.
Two chromosomes are taken and their elements are shuffled in the same order as seen, for example, in Figure 10. Then a crossing of 1 stitch is made (Figure 11). And lastly, they are “de-shuffled” in the same way as they were previously shuffled (Figure 12).
Here the bits of each chromosome are compared and those that are different are exchanged with a given random probability. If that probability is exactly 50%, it is called “average uniform recombination”.
In addition to these techniques, it is possible to use, among others, masked crossing, average crossing, heuristic crossing (Umbarkar & Sheth, 2015).
Mutation can be defined as a small random adjustment in the chromosome to obtain a new solution. It is used to maintain and introduce diversity in the genetic population. Mutation of a chromosome involves the creation of a variation of the chromosome by randomly alter ing a part (also randomly selected) of the parental (Poli, Langdon, & McPhee, 2008). Some of the techniques used for this purpose are detailed below.
Here one or more bits of the chromosome are randomly selected and replaced by the op posite value (Figure 14).
As its name indicates, two bits of two randomly chosen chromosomes are exchanged. In the coding of chromosomes in binary numbers (as seen so far) there is no difference between this technique and the previous one, but if the coding is different (as indeed happens in the study of dna) this technique makes more sense:
A portion of the chromosome is selected at random and within this region the positions of its bits are randomly shuffled (Figure 16).
As with recombination, there are several different mutation techniques. A complete list of them is beyond the scope of this article.
These genetic procedures were used, among many other algorithmic techniques, in the creation of the ami (Algorithmic Musical Interface) tool, developed in Max for Live as a doctoral project at the Faculty of Music of the unam, where Dr. Jorge Rodrigo Sigal Sefchovich was the main tutor. This tool can be downloaded from https://www.drzoppa. com/ami-tool.
creation, ideas and technology
el Callejón del Ruido
el Callejón del Ruido | creation, ideas and technology
Next, we will briefly explain some of the details of how these genetic algorithms were implemented within ami to generate pitches (midi).
As already mentioned, the first step in generating data from a genetic algorithm is the random generation of chromosomes (see Figure 1). In this case, these chromosomes will be a random combination of the notes chosen from the module for selecting and modifying pitches (Figure 17). The size of the chromosome will depend on the value stipulated by the user (by default it will be 8), as well as the area it will cover (Figure 18).
Next, the fitness of each generated chromosome must be calculated (the system generates 300). This calculation is performed using the halves of each list. For this purpose, each chromosome is divided into two groups and its fitness is calculated from the standard de viation and the IcVSIM ratio. The standard deviation of a list of values is the measure of dispersion that this list has with respect to the mean and is calculated from the square root of the variance (Salazar & Castillo, 2018):
Where x i is the ith value of the variable being calculated, and mu is the population mean: Equation 5
From this value it is possible to identify chains of notes that have more dispersed profiles than others.
The IcVSIM relationship was proposed by Eric J. Isaacson as a way of obtaining the degree of similarity between two different Pitch Classes regardless of their cardinality (Isaa cson, 1990). This author analyzes proposals by different researchers (Allen Forte, Charles Lord, Robert Morris, John Rahn, David Lewin and Richard Teitelbaum) and finds that none of them provides the necessary conditions to offer a satisfactory comparison. As point ed out by Pablo Di Liscia and Pablo Cetta (Cetta & Di Liscia, 2010), these conditions are: to provide a distinct value for each pair of sets of the same class to be compared, to be usable for classes of sets of any cardinality, and to provide a wide range of discrete values. Isaacson’s proposal, then, satisfies these conditions.
To compute the IcVSIM of two sets of notes, one must first compute the vector of in tervals for each set. Next, the difference between the two vectors must be calculated by subtracting each member of the first minus the second, and then the standard deviation of this resulting vector is calculated:
So then, if a chromosome has the following values: [70 66 65 60 61 68 63 64], the stan dard deviation and the IcVSIM ratio of [70 66 65 60] with respect to [61 68 63 64] are calculated.
The result of these two calculations is stored in a SQLite type database through the dada. base object of the Max library “Dada”. In general ami uses a large number of objects from that library, as well as from the “Bach” library (the Bach, Dada and Cage libraries have been devel oped by Andrea Agostini and Daniele Ghisi. https://www.bachproject.net) (Agostini & Ghi si, 2012). From this fitness calculation then, the system will choose the first six chromosomes.
For the next phase, the first chromosome is separated from the rest. In this way it will not be subjected to any further processing, thus always conforming the first list of generated heights. The other five chromosomes (remember that the first six are being chosen) will be the ones to be crossed and mutated. Assuming that the chromosomes chosen result in the following (midi pitches):
A = [70 66 65 60 61 68 63 64]
B = [60 63 66 61 68 65 64 70]
C = [70 61 65 60 64 66 68 63]
D = [70 61 65 64 66 63 60 68]
E = [60 66 68 65 63 70 64 61]
F = [63 68 60 66 70 64 61 65]
The first thing to do is to combine these lists by two members in all possible ways (which will be combinations), being the number of lists you have (which in this case will always be five). That is, if you have [B C D E F] (each letter being a list of heights) you would get [B C] [B D] [B E] [B F] [C D] [C E] [C F] [D E] [D F] [D F] [D F] [E F]. In this way, for example, we would obtain the combination [B C], that is [[60 63 66 61 68 65 64 64 70] [70 61 65 60 64 66 68 68 63]]. These two lists intersect as seen in Figure 19. This results in two new lists [[60 63 66 61 68] [70 61 61 65]] and [[65 64 70] [60 64 66 68 68 63]], The same happens with the ten combinations that are generated.
Finally, as a mutation system, the patch randomly chooses one of the notes selected by the user in the interface shown in Figure 17 and uses this note to replace one (also random) of those found in the chromosome.
The second fitness calculation that will select the heights to be displayed to the user oc curs in a very similar way to the first fitness calculation. That is, the system reanalyzes the standard deviation and the IcVSIM ratio, but this time for the 45 groups of heights resulting from the crossing and mutation process. This new analysis is stored in a second database from which the final sequences will be selected.
creation, ideas and technology
el Callejón del Ruido
el Callejón del Ruido | creation, ideas and technology
Then a random selection of sequences will be made with an exponential type probabil ity without repetition where the weight of the probability of being chosen is lower as the position in the table increases. Then the first chromosome will be more likely to appear than the one in position 16. As already mentioned, this probability weight is exponentially distributed to further accentuate the tendency for the chromosomes in the first positions to appear (Figure 20).
The use of genetic algorithms to generate musical pitches results in a universe of sequenc es that in some way resemble each other, i.e., there is a high degree of self-similarity with enough variety to give them an interesting musical meaning.
The various techniques used for fitness, crossover and mutation calculations provide a myriad of possibilities that allow the composer to control the level of variety among the generated data sequences.
The ami tool is, in this sense, very convenient since it is possible to generate this type of symbolic data in a simple way, without the user having to know the ins and outs of pro gramming or the rudiments of the theory behind this tool.
Agostini, A., & Ghisi, D. 2012. Bach: An environment for computer-aided composition in max. Paper presented at the icmc Baker, J. E. 1987, 1987. Reducing bias and inefficiency in the selection algorithm. Paper presented at the Genetic Algorithms and their applications: Proceedings of the second International Conference on Genetic Algorithms. Cetta, P. C., & Di Liscia, O. 2010. Elementos de contrapunto atonal: Educa. Goldberg, D. E. 1989. Genetic Algorithms in Search, Optimization, and Machine Learning Alabama, USA: Addison-Wesley Professional.
Isaacson, E. J. 1990. Similarity of interval-class content between pitch-class sets: the IcV SIM relation. Journal of Music Theory, 1-28.
Mitchell, M. 1996. Introduction to genetic algorithms. Cambridge, Massachusetts: The MIT Press.
Nierhaus, G. 2009. Algorithmic Composition. Vienna: Springer Science & Business Media. Poli, R., Langdon, W. B., & McPhee, N. F. 2008. A Field Guide to Genetic Programing: Creative Commons.
Salazar, C., & Castillo, S. d. 2018. Fundamentos básicos de estadística. In: Editor no iden tificado.
Shukla, A., Pandey, H. M., & Mehrotra, D. 2015. Comparative review of selection techniques in genetic algorithm. Paper presented at the 1st International Conference on Futuristic Trends in Computational Analysis and Knowledge Management, Nodia, India. Umbarkar, A. J., & Sheth, P. D. 2015. Crossover Operators in Genetic Algorithms: A Re view. ictact Journal on Soft Computing, 06(01), 1083-1092. doi:10.21917/ijsc.2015.0150 Vázquez, J. I., & Oliver, J. 2008. Evolución de autómatas celulares utilizando algoritmos genéticos. Universidad de Deusto. doi:papers3://publication/uuid/849A9D28-92AA4145-8E52-F3F12B177904
This paper presents a conceptual proposal that goes through the possibilities of interaction and cooperation between humans and machines, offering a starting point for the reconcep tualization of technological systems according to the uses and roles they play in the individ ual or collective creative process. The architecture of a computational system is proposed through the description of the “hybrid digital creation model”, based on two main aspects: operativeness and autonomy; also, the use of this computational system in the work cluster: el paraíso esfumado, for the creation of the lighting, sound and movement design. In this way, we explore alternative models for extended or augmented cognition through the link between art, design and technology.
Computational architecture, algorithmic creation, human-machine cooperation, artificial intelligence, creation systems.
introduCtion
Despite the current need to change the approach to technology, a separatist vision be tween human beings and machines continues to prevail. This currently makes no sense, since thanks to current advances in computing and technology it is possible for machines to be much more than a mere tool and become collaborators in creative processes.
This paper proposes a new approach to the human-machine relationship in which tech nology is stripped of the servile concept to move to the collaborative field, which is carried out through creative processes that machines do with a certain degree of autonomy and which we classify as the operator-executor binomial.
Towards the end, as evidence of this way of working, we present the procedure used to create the dance piece entitled Cluster: e paraíso esfumado, in which these systems are used to create the lighting, sound and movement design.
To establish the architecture of the hybrid computational system, we must begin by de scribing the “hybrid digital creation model”. The use of the computer in creative processes has two main aspects: operability and autonomy; therefore, the hybrid model proposes the understanding of the machine as an alternative to expand cognitive and intuitive processes.
Figure 1 presents the hybrid digital creation model and each of its components is de scribed in detail below.
The hybrid model is based on the use of a representational space for the manipulation of information, and a conceptual space for the generation of information. The spaces are ma nipulated through exploration (non-combinatorial creativity, where playing with an innova tive initial premise can lead to constructing novelty) and transformation. Transformation is a bit more complex to describe, as it presents two issues (Boden, Andersson, & Sahlin, The complexity of creativity, 1997):
1. Novel transformation: the newly transformed conceptual space is not easily nav igable, because it is too different from the previous one, so that the idea may not be easily intelligible.
el Callejón del Ruido
el Callejón del Ruido | creation, ideas and technology
2. Topographic transformation: a transformation may involve so many changes in the local topography of the conceptual space that it does not meet certain empirical or stylistic criteria that we had taken for granted.
Therefore, human-machine cooperation presents a more robust way for the creation of the Digital Object, since by means of processing and learning the change of topography of the conceptual space can be addressed; moreover, the only way to evaluate the transformation processes is the previous knowledge (even if minimal) on the domain of such space: in other words, it is about the perception from the information in the creation of the Object.
The conceptual space is defined as the collection of examples to transform and generate new approaches to the solution of a problem, its domain is limited -in a certain way- by the conceptual initial conditions with which the human approaches the creative process. Within the hybrid model two ways to explore the conceptual space are established: 1) the database as a symbolic form of narrative correlation for machine input. 2) The epistemic domain for human input. A limitation of the conceptual space -in its traditional form- is that it is conditioned by the cultural origin of the individual, so that the appreciation of the creation process is -in the same way- conditioned by such aspects; therefore, in the present model the use of the machine as a mechanism for the expansion of the conceptual space is proposed.
The model seeks to maximize the abilities of each of the elements in the representa tion space, so that the machines offer a multiplicity of hierarchical views of the concep tual space (knowing that the initial conditions of the conceptual space are constructed by the human being based on the expertise of the domain); on the other hand, the human offers the perception and the careful selection of what best represents the act of creation. From the new solutions proposed by the machine comes the expansion or increase of perception (the ability to see new solutions from machine learning). Similarly, we say that human-machine interaction leads to awareness of the machine (the understanding of the environment by the human), which in turn leads to the transformation (expansion or increase) of the conceptual space. Awareness implies: subjective and phenomenological experience of the internal and external worlds, its importance in the hybrid model lies in the “understanding” of the context of the problem, so that although the machine is not able to show -explicitly- the process of awareness, it makes it easier for the human being to identify, through perception and curation, aspects of the conceptual space that the machine has managed to abstract in its learning (in a way, we say that it allows us to “see beyond the common”)
The output becomes the materiality or experience, which is subject to the possibilities of bodies in digital media.
The architecture proposed in the following section does not focus on the machine as an autonomous creative entity, but rather as a tool for cognitive expansion, focusing on the possibilities of the epistemic domain and on the cultural or social images that intervene in the creative processes of human beings.
On the basis of the difference between operation and autonomy, we could establish five levels to identify where a hybrid computational system can be placed. This categorization is inspired by the five levels of autonomous driving of the Society of Automotive Engineers:
• Level 0: Re-mediation machines.
• Level 1: Assistants (correct Bézier curves, normalize audio, correct pitch).
• Level 2: Generative design (generates an output from initial conditions in a semi-au tonomous way).
• Level 3: Analyzes its environment and creates new solutions (adaptive autonomy).
• Level 4: Analyzes its environment and establishes cooperative hierarchies.
An approach to hybrid computational systems is then proposed, as an alternative to the traditional conception of the functions and roles of computation in relation to the processes of creation in art or design (Figure 2); we consider the architecture shown in the Figure 2 scheme as belonging to level 4:
Hybrid computational systems strive to reconcile two main ways of generating data: design by experience and algorithmic design, which are described below:
• Design by experience: involves the creation of affective data, through a series of experiences that can be adapted depending on the intention in the final implemen tation of the system.
• Algorithmic design: includes the creation of synthetic data through the use of stochastic processes or a series of rules for their creation.
The combination of both design methods generates the hybrid dataset. This set is consid ered as the main data to provide the conceptual space that is used for the machine learning process. Data pre-processing involves the process of perception and curation, where ma chine proposals are evaluated by a natural computational classifier: the human.
Machine learning is the branch of artificial intelligence that aims to develop techniques that enable computers to learn by themselves. More specifically, it is about creating algo rithms capable of generalizing behaviors and recognizing patterns from information provid ed in the form of examples: “It is, therefore, a process of knowledge induction, i.e. a method that allows to obtain by generalization a general statement from statements describing par ticular cases” (Sancho Caparrini, 2017).
The intent of the use of machine learning in hybrid computational systems is the cre ation of recursive processes for the production of new data by the machine and analysis by human perception, where the epistemic domain is expanded by exploring the proposed output of the machine with the intention of generating new data for the conceptual space. The use of machine learning has a concrete goal, which is the expansion of the epistemic domain for the construction of new examples in the hybrid dataset and the transformation of the conceptual space.
The above model can be summarized as follows in Figure 3.
The recursive process shown in Figure 3 involves the constant expansion of the epis temic domain and the hybrid data set, which intrinsically exposes the transformation of the conceptual space.
Hybrid computational systems are then a computational recursive proposal, in which symbiosis occurs when we consider the human being as an organism capable of performing computation, where computation time can be interrupted to assess through perception the inclusion of new data to the conceptual space. In the end, humans are the ones who find the semantics in the output of machines.
The realization of the work seeks the exploration of creation in a collective way from the transformation of the conceptual space, which -in a practical way- is achieved through ex perimentation with the output of the hybrid computational system and the continuous evo lution of the hybrid data set. The implementation of the system comprises two main phases: creation (conceptual space) and processing (representational space) of the data (Figure 4). Particularly in cluster, the collaborative conceptual space contains examples of two types (Cabezas, 2019):
1. Created from the sensations and affections caused by light and sound elements in movement (Design by experience)
2. Created from stochastic processes (Algorithmic design)
creation, ideas and technology
el Callejón del Ruido
el Callejón del Ruido | creation, ideas and technology
The following is a description of the techno-aesthetic tools used for the creation of the conceptual space in the cluster work.
The cluster computational environment comprises tools for the creation and execution of the work in question (in a real and virtual environment, as we will see later). All the tools are developed with a client/server architecture, which allows the interconnection and the passing of information between each one. Among the creation tools are: 1) Light-sound space simulator. 2) Manual creation manager, and 3) Data augmentation manager.
The light-sound space simulator was developed in TouchDesigner and is operated from the SuperCollider and Python programming languages. It allows the preview of the lightsound behavior (Figure 5), thus optimizing the testing and preparation time of the work. The simulator is also used to analyze (as a virtual experience) the results of the whole tech no-aesthetic computational system.
The manual creation manager allows to operate the simulator or the real space for data cre ation, controlling each of the parameters independently (Figure 6) and the position of the controls emulates the position of the lamps in the space; the manager also allows to save the created data.
The data augmentation manager allows reading a collection of data produced by al gorithmic design to determine by manual choice whether or not the design will belong to the collective hybrid data set (Figure 7). The data augmentation manager allows reviewing a file and saving a binary label as a classification, thus determining the membership of the collective hybrid data set.
The execution tools derive from the creation tools, the modular design and the cli ent-server scheme of each piece of software allows the same application to be used for the virtual simulator and for the control of the real lighting, through the implementation of a Broadcast OSC (Figure 8).
The algorithmic design is performed in the SuperCollider programming language (Morales Manzanares, 2011) with emphasis on two main generators: Pbrown and Ppoisson, which determine the behavior of the 80 parameters, the result is exported as a collection of data that can be explored with the tools shown above.
As mentioned above, the workflow for the creation of the conceptual space and hybrid cluster data is performed using two methods:
1. Algorithmic design: includes the creation of synthetic data through the use of sto chastic processes (Pbrown and Ppoisson functions in the SuperCollider program ming language).
2. Design by experience: involves the creation of affective data and is realized (in the case of cluster) through two types of experience: a. Virtual: through the use of a light-sound space simulator b. In situ: by experimenting with the light-sound system in the physical space
The process of data creation and semi-supervised analysis is performed by two different people (as well as the recursion for the expansion of the epistemic domain): the first focused on the tech nical and light-sound part of the piece and the second focused on the choreography, movement and its relationship with light-sound spaces; since the workflow is focused on exploring and enhancing collective creation through the use of the machine, the data created are accumulated in a single collection, to later apply a cleaning process where duplicates are removed (in case they exist) and only examples classified as belonging to the final collaborative hybrid dataset are left.
Figure 9 shows the set of hybrid collaborative hybrid data in the process of creation; it is possible to perceive in the grouping the relationship that exists in the creation by humans and the proposals made by the machine. This hybridization in the creative process is what immediately allows a first transformation of the conceptual space in the present work.
The implementation of the GAN used in cluster was performed with the Keras library, as a simplified Tensorflow interface; the general architecture (Mao, Li, Xie, Lau, Wang, & Smolley, 2017) was taken from the so-called Least Squares Generative Adversarial Net works (LSGAN’s).
Regular GANs hypothesize the discriminator as a classifier with sigmoid loss function with cross-entropy, the difference with Least Squares Generative Adversarial Networks lies in the use of the least squares function as the loss function in the discriminator. This change in architecture brings two benefits specifically: 1) LSGAN’s generate better quality images and 2) They have a more stable performance during the learning process (Mao, Li, Xie, Lau, Wang, & Smolley, 2017).
The final LSGAN cluster architecture is shown in the following page (Figure 10).
The learning process involves pre-processing data to fit the LSGAN input format. As we saw earlier, the light-sound design involves the manipulation of 80 parameters, which are arranged in a 20x4 matrix to preserve an analogy around the use of the image for data processing (Figure 11); similarly, this allows using the different investigations performed with the MNIST (Modified National Institute of Standards and Technology database) dataset for the configuration and adjustment of the hyperparameters of the artificial neural network. MNIST is a database of handwritten digits represented in a 28x28 matrix, and although the size varies for the data used in cluster, the architecture generalizes adequately to be used in the creation and expansion of the collective conceptual space.
With a collaborative hybrid dataset of between 2,500 and 5,000 examples, the network is trained with 30,000 epochs using the Adam optimization algorithm (Kingma & Ba, 2014), with a learning rate of 0.0002 and beta1 of 0.5 obtaining an approximate accuracy of 99.7%.
Figure 12 shows how the collective conceptual space created through the GAN gener alizes and expands the initial space and also transforms, in a general way, the topography of the collective conceptual space.
The artificial neural network “hallucinates” the spaces that define the boundaries where the work occurs, generating a direct relationship between the hallucination of the space and the transformation of the conceptual space. One of the big differences about the use of GAN’s - and why we say that they “hallucinate” - is that the output data for the transforma tion of the conceptual space is not a subsection of the existing data, but new data generated from the abstraction of the input data. Therefore, the depth of the network is not only in its hidden layers, but also in the semantics of the output for human consideration.
The final collective conceptual space generated with the GAN is then analyzed using the Fuzzy C-means fuzzy clustering algorithm, in which -depending on the transition stages required by the narrative intent- is the number of clusters that is selected as a parameter for the algorithm (Figure 13).
The following figure shows the collective conceptual space plotting only the cluster to which the example has the highest degree of membership (Figure 14).
To build the transitions, an initial example is selected, then N examples are selected that minimize the degree of cluster membership, from the second cluster onwards the degree of membership is maximized until the third cluster is reached and the degree of membership is completely maximized (Figure 15). This same process is applied for any number of clusters.
creation, ideas and technology
el Callejón del Ruido
el Callejón del Ruido | creation, ideas and technology
When obtaining the transition sequences, the LightOSCollider library is used to deter mine the gestural behavior for them. For clustering, the library was adapted so that it could work with the lighting scenario of the work. The gesture is assembled with a sound reactive with textured and percussive timbres that synchronize and reinforce the idea of light-sound narrative.
The digital hallucination allows to extend the frontiers for the collective creation of the Object, shows and expands the communication of a work group and unifies the creation criteria for the sound-light space in the case of cluster. The system is evaluated empirically, the aim is to maximize the organicity of the body movement together with the light-sound spaces with special interest in the improvisation parts of the work, so that the metric is based on the perception of the performers. The work was carried out with different casts, with which an empirical test of perception was carried out between the data constructed manually and those constructed through digital hallucination: those examples that had gone through the different stages of transformation of the conceptual space were better under stood and used by the performers during the realization of the work.
The workflow shown in this text constitutes the implementation of a hybrid computational system for collective creation. Teamwork is one of the great needs of the present century, and one of the motivations behind this research. We are facing an unprecedented growth of data generation and access (regardless of specific disciplines), but we need new ways of approaching its analysis, understanding and use to generate alternatives that transform common thinking, as well as linking different computational and techno-aesthetic tools to create a panorama that allows us to get closer to the material of creation: numbers and our imagination.
Boden, M. A., Andersson, A. E., & Sahlin, N.-E. (1997). The complexity of creativity. Holanda: Springer. Cabezas Hernández, R. (2019). Desde lo intangible: sistemas computacionales para la creación audiovisual y transmedia. Mexico Kingma, D. P., & Ba, J. (2014). Adam: a method for stochastic optimization . arXiv. Mao, X., Li, Q., Xie, H., Lau, R. Y., Wang, Z., & Smolley, S. P. (2017). Least Squares Generative Adversarial Networks. arXiv. Morales Manzanares, R. (2011). Donají: una memoria decapitada. Sancho Caparrini, F. (23 de Septiembre de 2017). Recuperado el 28 de Febrero de 2018, de Introducción al Aprendizaje Automático: http://www.cs.us.es/~fsancho/?e=75
The music and technology festival Callejón del Ruido has been a very active forum for presenting original technological solutions aimed to create innovative music compositions. This paper describes a system, called sicib, which was originally presented at the 1st. edi tion of Callejón del Ruido, and which represents an example of the type of systems that has been promoted in the festival throughout its existence. sicib can create music through body movements, promoting improvisation for dancers and dialogues with musicians. sicib captures choreographic features through sensors which can affect musical elements using a rule-based system. sicib allows real-time performance and was integrated into two different music composition systems, and used by three musicians/composers and one dancer/cho reographer, with very encouraging results.
keyWords
Integrating dance and music, choreographic elements, music generation.
The integration of music and dance has not been always satisfactory, specially for dancers that need to conform their movements to a pre-defined piece of music, as it limits their movements and constraints the possibility for improvisation. Several technologies have been developed to map movements of dancers to music. They can be classified into:
• Sensors/detectors attached to the body of the dancer.
• Sensors/detectors placed external to the dancer’s body.
• Sensors/markers attached to the body and detectors placed strategically elsewhere.
In this paper, we describe a system, called sicib,1 capable of generating music in re al-time through body movements. sicib receives space coordinates from sensors attached to dancers and translates them to choreographic information, which is used to satisfy condi tions of If-Then rules, whose actions produce musical elements.
The idea was to provide an environment where a dancer could freely improvise her/ his movements, which in turn produce music in real-time. In this sense, sicib can also be considered as a virtual instrument that is played with movements and offers the possibility to interact and improvise dialogues with musicians during live performances.
SICIB has been previously described in [1,2,3]. Here we will provide a general overview of the system and emphasize more on our motivation, design decisions, and reflections on our experiences with the development and live performances with the system.
The rest of the document is organized as follows. The following section, describes the main development decisions and technological restrictions at the time when sicib was developed. The paper then describes the choreographic and musical elements considered in the system and how they were integrated into sicib. In the following section some of the pieces developed with sicib are introduced along with our experiences with its use. The next section takes a look at current technologies, opportunities, and challenges for
1 Sistema Interactivo de Composición e Improvisación Musical para Bailarines.
el Callejón del Ruido | creation, ideas and technology
el Callejón del Ruido | creation, ideas and technology
developing modern versions of sicib-like systems. Finally, we provide some conclusions in the last section.
The sensors, over which sicib was developed, is called Flock of Birds [4]. These sensors were acquired by the Centro Nacional de las Artes in Mexico City. The second author applied for a grant to use them, with the idea to produce music from the information cap ture by the sensors, and invited the first author to participate in the project. Each sensor or Flock is a magnetic tracker that provides information about its position and orientation at an adjustable sample rate, with a maximum of 144 measurements per second within a 10-foot radius around a central transmitter. The sensors need to be attached to a dancer through wires, which limits her/his movements.
Given a particular set of sensors, several decisions need to be taken to develop a system, including: (i) What information should be captured, (ii) how to characterize this informa tion, and (iii) how to relate this information in a way that is coherent with the music. These decisions are described in the next section.
Our first mayor decision was to decide what information to capture. We wanted to have enough information to resemble continuous monitoring, but at the same time, produce re al-time performance. As a good compromise, we decided to only capture information about position at a baud rate of 38,400 bits per second, which corresponds roughly to 50 space positions per second per sensor.
The next decisions involved what to do with that information. With the position of the sensors, we were able to follow the positions of the sensors attached to the dancer, so we needed to decide what to do with this information and where to place the sensors. The obvious places for the sensors were the wrists, but we also consider ankles, waist and neck/ head. With this data, we could define regions, capture velocities and acceleration, etc. At the end we decided to capture the following choreographic information: (i) the physical position of the dancer, which can be associated with different choreographic elements and spaces, (ii) the displacement velocity and acceleration, (iii) the curvature and torsion of the movements, using the Frenet-Serrett theorem, and (iv) ways to identify sudden changes, like jumps or falls by the dancer.
We were able to define spatial regions that could: initialize/terminate particular musical events, regions of intensity and pitch, regions associated with particular notes or instru ments, regions associated with specific rhythms, etc.
Similarly the velocity and/or acceleration in a particular space direction of a sensor, the curvature and torsion of body movements, and jumps or falls could change any musical information. We define a syntax where it was fairly easy to create virtual regions of different geometrical shapes, virtual walls, hallways, and doors.
The next decision was how to generate sounds using a flexible and powerful music composition system. This was easy, since the second author has been developing such sys tem, called Escamol. Due to the flexibility of sicib, we were able to incorporate other com position system, called Aura, developed by Roger Dannenberg. Escamol [5] has a set of predicates from which music can be generated from simple musical elements, such as pitch, rhythm, and loudness. The musical information required by Escamol, and controlled by the sensors include the following: (i) duration time of a musical event, (ii) group of musical inter vals and rhythms associated with the musical event, (iii) loudness (volume) of the generated music, (iv) musical notes or motives to use as a basis for the generation of musical phrases and/or variations considered in a composition, (v) initialization/termination of predeter
mined musical events, (vi) instrument type (e.g., wind, strings, percussion, etc.) to use in the interpretation of the music generated, (vii) tempo control to an un-interpreted sequence.
Escamol generates music with the above information in real-time following composi tional grammar rules. Such rules determine the criteria (style) for music composition. The rules can be changed by a composer to satisfy his/her compositional preferences and can be changed from one piece to another. With different grammatical rules, Escamol generates music in different styles with the same input information.
Aura [6] can be seen as an object-oriented platform to construct and control synthesizers. A goal of Aura is to provide flexible real-time, low-latency sound synthesis, so Aura was a natural choice for this work. Objects in Aura correspond to particular musical instruments, and their attributes are used to specify pitch, attack, envelopes, vibratos, loudness, duration, etc. Aura of fers great flexibility to the user, as it allows a musician to create new attributes. Objects send and receive information using timed asynchronous messages, which supports real-time execution.
Sound is produced in Aura by creating and “patching” together various objects. For ex ample, an oscillator can be created and patched to the Audio Output object to play a tone.
The next mayor decision was how to integrate the choreographic information, obtain in real-time from the sensors, with the real-time generation of music that Escamol and Aura produced. We design a simple, yet quite powerful, syntax for a rule-based system.
The information from the sensors was transmitted with the following predicate:
pos(IDsensor, (X,Y,Z), Time)
where, IDsensor is a unique name associated with each sensor, (X,Y,Z) its space coordi nates, and Time, a time tag indicating when the data was produced.
We define a simple syntax to specify rectangular, spherical and cylindrical choreograph ic regions:
re_region(IDregion,(X1,Y1,Z1), (X2,Y2,Z2)) sp_region(IDregion,radius1,radius2) cy_region(IDregion,radius1,radius2)
where, IDregion is a unique name associated with each region. The X,Y,Z coordinates (defining opposite corners) and the radius (inner and outer radius), delimit the size of the regions. An entire sphere or cylinder would have the inner radius set to zero.
The definition of regions allows us to define virtual walls (thin regions) and create dif ferent scenarios. A user can define as many regions as he/she likes and used them in the rule-based sytem.
Rules in sicib have the following syntax:
Seni IF <condition>* THEN <action>*
where:
• Seni is the name of the ith. sensor.
• <condition>* is a conjunction of choreographic conditions that need to be satisfied. Each of them can take one of the following forms:
• curve_&_torsion(S,T,DT,K,R): evaluates the curvature (K) and torsion (R) fol lowed by a sensor (S) starting from cycle (T) and considering measurements back in time every DT cycles.
• pos(S,P,T) in region: tests if the position of the sensor is within a specific region.
• jump(S,T,H): tests for a change above a particular height (H) of sensor (S) at cycle T.
el Callejón del Ruido | creation, ideas and technology
el Callejón del Ruido | creation, ideas and technology
• fall(S,T,H): tests for a change below a particular height (H) of sensor (S) at cycle T.
• arbitrary Prolog predicates.
Other predicates for comparing positions of sensors have been defined but were never used in the experiments.
In the above conditions if a cycle T is not specified, the most recent cycle is considered (i.e., the most recent data from the sensors). This parameter allows us to specify delayed reactions to particular choreographic events.
• <action>* is a conjunctive set of musical actions to perform. They can include arbitrary: (i) Escamol predicates, (ii) Aura commands and (iii) Prolog predicates
The rules can change graphical displays as well. Although a rudimentary interaction has been implemented, any of the choreographic elements can change graphical displays, such as color, rotation and/or displacement of graphical figures, etc., using any of the capabilities of Performer2 through Escamol predicates.
To define a piece, the user specifies regions and a set of rules. From the information of the sensors, sicib evaluates which rules can be fired given the choreographic information considered in its current set of rules. All the rules, which satisfy their set of conditions, can be fired at the same time, which allows us to mix several choreographic elements simulta neously. Alternatively, the first rule (in the set of rules), which satisfies its conditions is fired. This option imposes a rule order, which allows us to specify precedence criteria among rules (the first rules have higher precedence over the later rules).
A graphical interface was developed to specify the number of sensors to use, their baud rate, the file with the rules to use, etc. There was no development tools for this type of systems at that the time of development, so we specified our own, mixing code in Tcl/Tk, C and Prolog.
In SICIB different rule files can be used for different choreographic pieces and even during the same piece. Which means that different musical and choreographic meaning can be attributed to the same sensor at different instances in time (within a choreography or be tween choreographies). The user and the dancer can change at any time the rule set through SICIB’s interface or through body movements, respectively. Additionally, the information from the sensors can be activated/deactivated at different times during a particular perfor mance through the interface.
The first time sicib was used in a live performance was at the Centro Nacional de las Artes in Mexico City. The system was still very fragile, so we incorporated several backups (live mu sicians, an experimented dancer, recorded music, and graphics) in case of a failure, which in fact happened at the middle of the performance. At Callejón del Ruido, the system was de scribed in a technical talk and demonstrated with a live performance, where we were better prepared. Other live-performance were given in the United States and different versions of the system were presented at international venues. At the end, we had a very robust system that was used without any extra elements. Some of the regions used by different composers are illustrated in Figure 1. 2 Graphical tool that runs on Silicon Graphics
At the time sicib was developed we have access to a group of sensors called Flock of Birds, with the inconvenience that dancers were wired, which limit their movements. Since the development of sicib, several sensors and technologies have been developed to use wireless sensors.
One of the first clear possible replacement for the Flock of Birds was the commercial ization of the Kinect sensor. The Kinect was able to identify the skeleton of a person, but initially, it was not suitable for dancers, as it was unable to determine the skeleton when unexpected moves were performed (going to the floor, raising a leg above certain height, etc.). Future releases are much more robust and accurate although they are still limited to an area of certain size.
Other sensors like Vicon, can give very precise 3D positions, but requires the attach ment of markers in the dancer and very expensive.
The most obvious choice are cameras, which applications have been boosted with the development of deep learning networks, and which can be used to accurately identify dif ferent gestures, however, cameras are still affected by lighting conditions.
Artificial Intelligence ( ai ) techniques have always been used in music. Despite the recent impressive developments of ai , there are still several challenges that need to tackle for a more coherent integration between dance and music. Here, we mention some of them:
• Anticipate (predict) the movements of a dancer in order to produce suitable sounds without noticeable delays
• Have systems that can work properly, are independent of the lighting conditions, and can cover all the stage area
• Under the proposed framework in this work, each dancer can be seen as a potential new instrument, and new developments are needed to work with multiple dancers in order to produce coherent music while dealing with possible occlusions
• Another challenging task is to create an adaptive music generator that figures out the intensions of the dancer and produces music accordingly
The music and technology festival Callejon del Ruido has been a national and international reference to bring together different composers, ideas, and technological advances for mu sic generation. In this paper, we provide an overview of sicib, one of the first systems to integrate dance and music and that was presented at Callejón del Ruido. From the descrip tion of the system, it is clear that a designer of this type of systems, needs to take several decisions in order to…
We would like to thanks to the University of Guanajuato, Centro Multimedia (cm) from Centro Nacional de las Artes (cna) for their enthusiasm and support, and to the Virtual Reality department. The Diferencial Geometry group from cimat, for their valuable advices and support for the project and, Andrea Di Castro (cm Director), Adolfo Sán chez Valenzuela (cimat), Alejandra Viana (Dancer) and Raúl Parrao (choreographer and dancer).
el Callejón del Ruido | creation, ideas and technology
el Callejón del Ruido | creation, ideas and technology
[1] W.F. Clocksin, C.S. Mellish, Programming inProlog, third edition, Springer-Verlag, 1987.
[2] M. Do Carmo, Differential Geometry of Curves and Surfaces, Prentice Hall, 1976.
[3] R. Dannenberg, E. Brandt, A Flexible Real-Time Software Synthesis System, in Pro ceedings of the 1996 International Computer Music Conference (icmc-96), International Computer Music Association, (August 1996), pp. 270-273.
[4] Flock of Birds, Ascention Technologies, Engineering Systems Technologies, EST, Postfach 1650, 67605, Kaiserslautern, Germany, URL: www.est-kl.com. http://www.estkl.com/flock.htm (consulted June, 1999).
[5] R. Morales-Manzanares. No Deterministic Automatons Controlled by Rules for Com position. In Proceedings of the International Computer Music Conference (ICMC), pp. 400-401, International Computer Music Association, San Francisco CA, 1992.
[6] R. Morales-Manzanares, E. Morales. Music Composition, Improvisation, and Perfor mance Through Body Movements, AIMI International Workshop; KANSEI: The tech nology of emotions, pp. 92-98, 1997.
[7] R. O’Keefe, The Craft of Prolog, The MIT Press, 1990. [8] L. Sterling and E. Shapiro, The Art of Prolog: Advanced Programming Technics, The MIT Press, 1986, [9] B. Welch, Practical Programming in Tcl and Tk, Prentice Hall, 1995.
The applications of artificial intelligence to the field of sound and music have generally been based on the methodological approach of what is usually known as feature engineering. With the recent introduction of deep learning techniques in this context, there has been a shift from descriptor engineering to what is called end-to-end learning. With the use of deep learning techniques, it is not necessary to perform the feature engineering stage of the analysis of the descriptors by hand (feature engineering), but rather the architecture of the multilayer perceptron itself establishes/develops the descriptive patterns of the information source; in this case, the spectrogram. Under this approach, all the techniques and algorithms already tested for image recognition (from the deep learning point of view) could be appli cable for these purposes. On the other hand, deep learning is also allowing the development of models that can automatically generate musical sequences (in some predefined style) with a high level of compositional coherence not only locally (as previously achieved) but for more and more macro structures. In this paper, a review analysis of the current deep learning techniques focused on musical and audio analysis applications is made and a series of the latest advances are shown in order to establish an overview of the state of the art in this regard so that the reader can know and become familiar with the technological devel opment of potential applications for musical composition-creation.
The applications of artificial intelligence to the field of sound and music have generally been based on the methodological approach of what is known as feature engineering, through which the low/high level sound characteristics or parameters associated with the input data (zcr, rmse, spectral contrast, mfcc, etc.) are calculated manually by the user and then fed with this information to a supervised/unsupervised classification algorithm. This perspective, associated with the so-called “traditional” machine learning techniques, has yielded quite good results and has made it possible to establish alternative methodologies in pursuit of better efficiency in terms of both computational calculation and accuracy of results.
Among these current alternatives, there are several techniques known as deep learning for unsupervised learning, supervised learning and hybrid learning. To date, the deep learning techniques that have been developed with greater emphasis for various applica tions include (for deep discriminative models) deep neural networks (Deep Neural Net works, dnn), convolutional neural networks (Convolutional Neural Networks, cnn) or recurrent neural networks (Recurrent Neural Networks, rnn). In the case of generative/ unsupervised models, it is possible to highlight Restricted Boltzmann Machine (rbm), Deep Belief Neural Networks (DBN), Deep Boltzmann Machines (dbm), Autoencod ers in their different versions (Autoencoders) or Hierarchical/Hidden Markov Models (hmm/hhmm).
Also, in recent years some authors have been making various efforts to establish what has been called mathematical analysis of deep learning (Berner et al, 2021), which in volves the use of mathematical theory to formalize results, definitions and concepts of deep learning and the so-called learning theory, through mathematical theory related to topol ogy, measure theory, functional analysis and convex analysis. In addition to the above, in the same context of machine learning in general, the recent interdisciplinary link with the mathematical theory of categories, used mainly as a proposal for a unifying and formalizing language, is also noteworthy.
For the particular case of audio analysis applications, musical classification (or tagging) and genre recognition, deep learning techniques have been adopted and adapted with great suc cess for image recognition using spectrograms as data input and applying recurrent neural network structures and lstm (long-short term memory), especially to solve the difficulties of musical coherence/consistency in considerable time intervals (macrostructure and notion of form, from the musical point of view) for pitch, rhythm and/or dynamics. Thus, the methodological approach moves from descriptor engineering to what is called end-to-end learning, in the sense that with the use of deep learning techniques, it is not necessary to perform the feature engineering stage of the analysis of the descriptors by hand, but rather the architecture of the multilayer perceptron itself establishes/develops the descriptive pat terns of the source of information; in this case, the spectrogram. Under this approach, all the techniques and algorithms already tested for image recognition (from a deep learning point of view), could be potentially transferred to speech analysis, audio analysis and therefore, to high-level applications associated with music classification and audio analysis.
Furthermore, under all this theoretical-practical corpus, particular and specific imple mentations of musical composition associated to specific styles have been developed, such as Magenta1 by Google Brain, WaveNet2 or the Jukedeck projects (recently absorbed by
1 Open source research project exploring the role of machine learning as a tool in the creative process. https://magenta.tensorflow.org/
2 The WaveNet neural network architecture directly generates a raw audio waveform, showing excellent results in text-to-speech and general audio generation. github.com/ibab/tensorflow-wavenet
el Callejón del Ruido | creation, ideas and technology
el Callejón del Ruido | creation, ideas and technology
the TikTok platform), Aiva3, Amper4 and FlowMachines5, among others. In this sense, deep learning has been positioned for some years as a much more efficient and accurate alterna tive for audio analysis (and therefore, for classification, music composition and digital audio processing implementations for creative purposes) than the feature engineering approach of “traditional” machine learning.
As mentioned by Mcdonald (2017), Peter Todd and Michael C. Mozer are recognized as pioneers in making attempts to generate music with rnn (late 1990’s). Chen et al (2001) also propose an rnn model for generating music that is restricted to a single voice without harmony. Lewandosky et al (2012) propose a model that is capable of generating high-level sequences associated with polyphonic music. Meanwhile, Liu et al (2015) develop another rnn model to analyze and generate music in the style of Bach, while Huang & Wu (2016) propose a model based on deep neural networks capable of generating coherent musical compositional sequences in melody and harmony at the local level and for relatively short temporal periods. Vaswani et al (2018) propose a model called Music Transformer, which is able to reduce the memory requirements associated with the generation of long musical sequences through a modified relative attention mechanism.
It is also necessary to appoint to the Watson Beat system6 which is capable of producing complete tracks in different and specific musical genres from a melodic motif. Gulrajani et al (2017) propose a model for unconditional audio generation from the combination of au toregressive multilayer perceptrons and RNN’s within a hierarchical structure that is able to capture the underlying sources of variation in musical sequences over long periods of time. Wang et al (2017) developed, as part of Google Team, Tacotron, a generative system that synthesizes speech directly from characters entered as text.
Ulyanov (2016) proposes audio texture synthesis and musical style transfer from spec trogram analysis. Similarly as McDonald (2017) rightly states, independent authors such as Leon Fedden, Memo Akten and Max Frenzel, developed music generation contributions from spectrogram deep learning visual analysis. Mital (2017) and Mor et al. (2018) also developed successful implementations associated with musical style transfer, while in 2017 DeepMind publishes the Parallel WaveNet7, a New method based on Probability Density Distillation to train parallel feed-forward networks from WaveNet.
Recently in June of this year, Magenta’s team, Cangea et al (2022), managed to develop an autoregressive architecture called Perceiver ar, which is based on their previous work called Perceiver io and Perceiver; all of them based on Transformer type algorithms. This new Perceiver ar allows a remarkable improvement in the computational efficiency of the algorithm, achieved not only by the implementation of the autoregressive architecture but also by the flexibility established regarding the type of mixed data that can be processed jointly (text and image) by the whole architecture, instead of needing to use separate types of neural networks as had been commonly used. According to its authors, this development
3 https://www.aiva.ai/ 4 https://www.ampermusic.com/ 5 http://www.flow-machines.com/ 6 https://www.ibm.com/watson/music/uk-en/
7 Google Team releases Tacotron II, and this generates the development of ClariNet, WaveGlow and FlowWaveNet.
is capable of generating high quality samples as long as 65k tokens; the equivalent of minutes of music or entire pieces.
During the same season, the Magenta team in charge of the DSP (Digital Signal Process ing) part, released their vst called: ddsp vst: Neural Audio Synthesis for All, which involves the development of a specific computational tool for real-time audio processing based on what has been called neural synthesis. This type of processing was named ddsp, which com bines the efficiency and interpretability of classical dsp elements (filters, oscillators, reverbera tors, etc.) with the expressiveness of deep learning (Jurek et al, 2022). The general process of this technique (which is optimized for real-time and low-latency audio) is composed of three general phases which correspond to: a) descriptor extraction, b) dsp prediction controls and c) synthesis. The first stage makes use of two basic parameters, the rsm (as a representation of the volume) and the pitch (obtained through a previous neural network, specifically trained for this purpose). The second stage uses two types of synthesizer for each height and amplitude it receives: the harmonic additive type and the noise subtractive type.
On the other hand, another notable advance in the field of deep learning that may have important potential applications in the field of multichannel electroacoustic music, is the work of Francl & Dermott (2022) regarding the spatial localization of sound with the aim of studying the processes that induce how perception adapts to real environments and set tings. In this work, the authors developed acoustic virtual simulators using brir (binaural room impulse responses), in order to train different neural network architectures imple mented with hrtf’s own characteristics, but with a particular specificity (with respect to the training of the networks) for each one of the general aspects of spatial sound localization such as stimulus preprocessing using a cochlear model, integration of natural sound sources with sound sources corresponding to background noise, and simulation of unnatural envi ronments using features such as anechoic environments and unnatural sound sources.
Among the same lines, Pujol et al. (2021) presented a deep learning architecture called BeamLearning, which is capable of performing angularly focused spatial localization of sound (with respect to azimuth) from multichannel acoustic sound pressure data. Accord ing to the authors, this work is a perspective that allows encoding relevant information contained in the unprocessed acoustic signals captured by microphone arrays and from the results obtained, the most notable benefits are oriented to 2D audio localization tasks in real time for reverberant environments and with considerable noise.
Finally, although a little further back, Gao & Grauman (2019) developed a deep learn ing system (based on convolutional networks), capable of creating in the individual, the sensation of three-dimensionality of a sound that is originally monaural, through the assisted use of a video. According to the author, this system is able to learn how to decode a monau ral signal into its binaural counterpart by combining the visual information of the object and the information of the auditory scene. This allows (from the visual information) the system to deduce the direction of the sounds and modify the corresponding interaural differences in time and amplitude to generate the final 3D audio effect.
The field of artificial intelligence has meant in general for music, an incubator of possibil ities for the creation, conception and production of exercises and works associated with the various respective computational processes. From deep learning, it has been sought to achieve better accuracy and efficiency in both the processes and the overall results of the algorithms, so that these possibilities include real-time audio processing, spectro morphological classification (via descriptors) and as we have already seen, the musical classification and composition of motifs (and in some cases, longer musical sequences) with high coherence in terms of form and style. Although, from a computational point of view, these achievements represent a really considerable advance in terms of prediction efficiency and context, many times, from the current musical-compositional context, they are not usually given the adequate importance, perhaps because they do not represent
el Callejón del Ruido | creation, ideas and technology
el Callejón del Ruido | creation, ideas and technology
completely finalized tools with specific functionalities that cover concrete exploration needs. Although many of these tools can already be used today as technological process es of creative assistance in their current presentation, most of them represent ongoing research at a high level that requires the efforts of various groups of researchers and ex perts. In general terms, it seems that the outlook is quite promising, especially with the recent development of so-called transformers and adaptations of algorithms for recursive architectures that are allowing a considerable improvement in the amount of processing and memory (by neural networks) required for the assigned tasks, thus opening up the possibilities for the development of concrete computational tools for mass use (such as NeuroSynth for example).
K. Choi, G. Fazekas, M. Sandler, and K. Cho, “Transfer learning for music classification and regression tasks,” in Proc. Int. Society for Music Information Retrieval Conf., Suzhou, China, 2017, pp. 141-149.
T. Kim, J. Lee, and J. Nam, “Sample-level CNN architectures for music autotagging using raw waveforms,” in Proc. IEEE Int. Conf. Acoustics, Speech, and Signal Processing, Aal borg, Denmark, 2018, pp. 366-370.
Vaswani et al (2018). Music Transformer.
Gulrajani A. et al (2017). Samplernn: an unconditional end-to-end neural audio generation model. ICLR 2017.
Wang X. et al (2017). TACOTRON: towards end-to-end speech synthesis. Interspeech 2017.
Ulyanov D. & Lebedev V. (2017). Audio texture synthesis and style. transfer.
https://dmitryulyanov.github.io/audio-texture-synthesis-and-style-transfer/ McDonald K. (2017). Neural Nets for Generating Music.
https://medium.com/artists-and-machine-intelligence/neural-nets-for-generating-mu sic-f46dff ac21c0
Dieleman S. et al (2016). Wavenet: a generative model for raw audio.
Simonyan K. et al (2017). Parallel WaveNet: Fast High-Fidelity Speech Synthesis. Lattner S. et al (2018). Imposing Higher-Level Structure in Polyphonic Music Generation using Convolutional Restricted Boltzmann Machines and Constraints.
D. M. Dimiduk, E. A. Holm, and S. R. Niezgoda, “Perspectives on the impact of machine learning, deep learning, and artificial intelligence on materials, processes, and structures engineering,” Integrating Materials and Manufacturing Innovation, vol. 7, no. 3, pp. 157172, 2018.
Fu, G. Lu, K. M. Ting, and D. Zhang, “A survey of audio-based music classification and annotation,” IEEE Trans. Multimedia, vol. 13, no. 2, pp. 303-319, Apr. 2011.
A. Krizhevsky, I. Sutskever, and G. E. Hinton, “ImageNet classification with deep convo lutional neural networks,” in Proc. Advances in Neural Information Processing Systems, Lake Tahoe, NV, 2012, pp. 1097-1105.
E. J. Humphrey, J. P. Bello, and Y. LeCun, “Feature learning and deep architectures: New directions for music informatics,” J. Intell. Inform. Syst. vol. 41, no. 3, pp. 461-481, 2013. Fr’ed’eric Bastien, Pascal Lamblin, Razvan Pascanu, James Bergstra, Ian J. Goodfellow, Arnaud Bergeron, Nicolas Bouchard, and Yoshua Bengio. Theano: new features and speed improvements. Deep Learning and Unsupervised Feature Learning NIPS 2012 Work shop, 2012. Yoshua Bengio. Learning deep architectures for AI. Foundations and trends in Machine Learning, 2(1):1-127, 2009.
T. Bertin-Mahieux, D. Eck, and M. Mandel. Automatic tagging of audio: The state-ofthe-art. In W. Wang, editor, Machine Audition: Principles, Algorithms and Systems. IGI Publishing, 2010.
N. Boulanger-Lewandowski, Y. Bengio, and P. Vincent. Audio chord recognition with
recurrent neural networks. In Proc. ISMIR, 2013. Nick Collins. Computational analysis of musical influence: A musicological case study us ing mir tools. In ISMIR, pages 177-182, 2010.
A. Pikrakis. A deep learning approach to rhythm modeling with applications. In Proc. Int. Workshop Machine Learning and Music, 2013.
J. Pons, O. Slizovskaia, R. Gong, E. Gómez, and X. Serra, “Timbre analysis of music audio signals with convolutional neural networks,” in Proc. European Signal Processing Conf., Kos, Greece, 2017, pp. 2744-2748.
S. Oramas, O. Nieto, F. Barbieri, and X. Serra, “Multi-label music genre classification from audio, text and images using deep features,” in Proc. Int. Society for Music Information Retrieval Conf., Suzhou, China, 2017, pp. 23-30.
Simovici Dan (2018). Mathematical Analysis for Machine Learning and Data Mining. World Scientific.
Julius Berner, Philipp Grohs, Gitta Kutyniok & Philipp Petersenz (2021). The Modern Mathematics of Deep Learning. Cambridge University Press. Catalina Cangea, Charlie Chen, Drew Jaegle, Curtis Hawthorne & Ian Simon (2022). Au toregressive long-context music generation with Perceiver AR. https://magenta.tensorflow. org/ddsp-vst-blog
Megan Jurek, Nikhil Bhanu, Wilson Zhao, Søren Nielsen, Sehmon Burnam & Jesse En gel (2022). DDSP-VST: Neural Audio Synthesis for All. https://magenta.tensorflow.org/ ddsp-vst-blog Andrew Francl & Josh H. McDermott (2022). Deep neural network models of sound lo calization reveal how perception is adapted to real-world environments. Nature Human Behaviour, VOL 6. Ruohan Gao & Kristen Grauman (2019). 2.5D Visual Sound. IEEE Conference on Com puter Vision and Pattern Recognition.
el Callejón del Ruido | creation, ideas and technology
el Callejón del Ruido | creation, ideas and technology
Since 1971, when I first departed from 14 years of spontaneous composition, my work has been mainly algorithmic in nature. Some of it was generated by single algorithm sets devel oped for multiple use, the properties of the results deriving from the input. In other cases, the algorithms were used once only, with the dedicated purpose of generating a single work. The algorithms ranged from verbal instructions to computer programs.
Of the ninety-odd pieces I have composed since 1971, about a quarter stemmed from three text scores, Textmusic (converting written text into notes), ...until... (working sys tematically with interval ratios) and Relationships (working with variable complexity of harmony and meter). Another quarter of the pieces were mainly generated by two self-writ ten computer programs —txms and Autobusk (see below) . Yet another quarter of my compositions since 1971 have resulted from dedicated sets of algorithms for one-time use. Programs such as Synthrumentator and Spectasizer (for converting speech sounds into in strumental scores) were used to generate parts of other compositions.
In this paper I refer to the software txms, Autobusk and Synthrumentator as well as to five compositions generated by dedicated software, ...or a cherish’d bard... (1999), Ap proximating Pi (2007), Five Dodecaphonic Pieces (2016- 2017), Coronialus (2020) and Evanescent Evidence (2021).
In 1970, the tradition-dependent music I wrote derived strongly from serial tech niques of composers from Schoenberg to Stockhausen. While doing so, I paused to consider whether I could make music using concepts exclusively from everyday life. The result was Textmusic of April 1971, instructions for making a piano piece. Based on the orthography of a completely arbitrary text, I structured the linguistic concepts letters, syllables, words, phrases and sentences, the key-colors black/white/mixed as well as the physical traits loud/soft, short/long and (right pedal-) depressed/released, all everyday terms: Take a text consisting of a number of words, phrases, or sentences. Prepare the keys of the piano in the following way: A key somewhere in the middle of the keyboard is marked with the first letter of the chosen text. The next keys of the same color,
(or vice versa) are treated with the succeeding letters in the text; if a certain letter occurs a second time, it should be dropped, and instead the next letter which has not yet occurred taken, until every letter of the text is represented on the keyboard.
This procedure is then repeated with the keys of the other color, and then yet a third time, without taking the color of the keys into consideration.
The text can now be ‘played’ according to the three key-color- systems - and one can 1. play the letters singly, or together as syllables, words, phrases (in their order of ap pearance in the text) or even an entire sentence – in all cases, the sound should be repeated as often as the number of syllables it contains, 2. change the position of the right pedal (between depressed and released), the loudness (between loud and soft), and the length of the sound (between short and long) at best only at change of syllable, and the key-color at best only at change of word.
Figure 1 exemplifies of the application of these rules to the text Ping by Samuel Beckett, which begins with “All known all white bare white body fixed one yard legs joined like sewn”. The 25 different letters of the text ALKNOWHITEBRDYFXGSJQUVCMP (Z is missing) are assigned in turn to an equal number of black (pentatonic), white (diatonic) and mixed-color keys (chromatic). Figure 1 shows at top left and top right how these 25 letters are allocated chromatically, spanning exactly two octaves; the score’s opening notes up to “joined” are also shown. In diatonic allocation, the 25 letters span 3½ octaves, in pentatonic allocation 5 octaves.
Soon after drawing up the rules of Textmusic, I realized that their algorithmic nature lent itself to incorporation into a computer program for the automatic generation of mul tiple versions of the piece, even following designs by persons other than myself. Indeed, of the 15 versions that were realized from 1971 to 1984, a computer program generated six, of which three were designed by others.
The program in question, written in 1971-72 in Fortran, was named TXMS (from Textmusic), its input first entered into an accompanying form chart, shown in Figure 2.
txms is a stochastic program, generating notes according to probabilities, previously entered as transitions into the above chart (here for Textmusic Version 4), from where the salient values are read and typed as input. Take the uppermost field for the distribution of letters, syllables, words, phrases and sentences. At left, signifying the start of the piece, the probability of single letters (level 1, single notes) is 100%. One column later (1/20th of the piece, numbered above in fives), the probability of syllables (level 2), initially at 0%, first increases, that of letters decreases, until at the end of column 4 they respectively stand at 70% to 30%. At this point, the probability of words (level 3) is instantaneously set at 30%, that of syllables at 40%, that of letters remains fixed at 30%, values which are valid till the end of column 8, where the probability of words jumps to 100% and stays there till the end of column 10. Through all of this, random numbers – based on the respective probability –determine whether a single letter is to be converted to a note, or letters as part of a syllable, word, phrase or sentence to a chord.
The same system is used for the other parameters color, loudness, duration and pedal. For instance, at the start of the piece, the key-color is totally mixed (chromatic), a random half of the notes is loud and the other half soft, a random half of the notes is short and the other half is long, and 70% of the events are played with the pedal depressed and 30% with it released.
el Callejón del Ruido | creation, ideas and technology
el Callejón del Ruido | creation, ideas and technology
There was a dearth of available notation programs in the early 1970s. From 1972-76 I wrote my first one, ЖSC, with notes, replete with stems and beams, drawn on a plotter and directly readable by a performer, (the Ж is a wildcard for the letters K, L and M in the three main modules “Keyboard reader”, “Lister” and “Music writer”, and the SC stands for “score”). txms ' s output was a kind of staff notation intended instead for regular line printers of the time, making it relatively easy to copy the music by hand from the output into a score. The characters used were [|] for (vertical) staff lines and beams, [0] for note- heads, [-] for (horizontal) stems, [#] for sharps. By overprinting, I achieved results like those reconstruct ed and shown in Figure 3: an 8th-note D5-sharp followed by a 16th-note D5-natural (every accidental applies to the note it precedes), as read from top to bottom in the treble clef.
In 1975, having left serialism far behind in my work, I became intrigued by the idea of regarding tonality and meter, eschewed by serialists, embraced by conservatives, as physical phenomena manifest as fields of variable strength: I worked towards music moving in a con tinuum ranging from atonal to tonal, from ametric to metric. To this end, in 1978 I found sufficiently satisfactory algebraic solutions, exemplified in the field of tonality by formulas for numerical indigestibility and intervallic harmonicity as shown in Figure 4 and as tables in Figure 5.
Based on an algebraic evaluation of a quality of natural numbers based on their size and divisibility, which I call indigestibility (whereby small primes and their products are more ‘digestible’ than products containing larger primes), the formula for the harmonicity of an interval ratio yields values such as +1.0 for the 1:2 octave, +0.273 for the 2:3 perfect 5th, -0.214 for the 3:4 perfect 4th (the negative sign indicates a polarity to the upper note, here the root of the interval; a positive polarity signifies a lower-pitched root), and +0.119 for the major 3rd 4:5 etc., as seen in Figure 5.
With these formulas I could rationalize scales known by interval size, e.g. the chromatic scale given as multiples of 100 cents was rationalized to 1:1 15:16 8:9 5:6 4:5 45:32
2:3 5:8 3:5 5:9 8:15 1:2, a tuning that has been known and accepted for centuries. Any pitch-set known in terms of cents can be similarly rationalized by the harmonicity algo rithms described above.
Moving on to meter, another set of formulas governs the metric properties of the music I set out to compose, shown in Figure 6. Terms I introduced will next be explained (the most important of which are Stratification and Metric Indispensability), along with terms of general usage.
Figure 6. Formulas for Metric Indispensability of pulses in Prime and in Multiplicative Meters.
A meter is prime, i.e. containing a prime number of equal time-units (here called pulses) e.g. 2, 3, 5, 7, 11, etc., or multiplicative, i.e. containing as pulse quantity a product of primes, e.g. 4, 6, 8, 9, 10, etc. Additive meters (e.g. 3+3+2 pulses = 8) are not covered here. Meters exhibit a certain stratification, e.g. that shown in Figure 7 at left. A meter of 12 pulses, for instance, can be broken up in three ways, into 3 groups of 2 groups of 2, i.e. 3x2x2, or instead 2x3x2, or 2x2x3. This last stratification is seen in Figure 7: the first metric level contains
one note or time-unit, the second level two units, the third 4 and the fourth 12. Time- units on the top two metric levels can be called beats, on lower levels, pulses, though the longer a prime meter, the less relevant the beat/pulse distinction – here, ‘pulse’ is used for both. Prime meters have one-level stratifications.
That said, I now outline the method to evaluate the relative metric relevance of any pulse in a prime or multi-stratified meter, called its Metric Indispensability, calculable by the for mulas in Figure 6 (not explained here). My point of departure is the Prime Indispensability Ψ (upper-case psi, in Figure 6, top) for prime meters (e.g. 1-0 for a 2-pulse meter, 2-0-1 for a 3-pulse meter, 4-0-3-1-2 for a 5-pulse meter etc. Next is Multiplicative Indispensability ψ, (lower-case psi, in Figure 6, bottom), derived from the indispensabilities of the compo nent prime meters’ pulses. The higher the indispensability, the more relevant the pulse for maintaining the meter.
The indispensabilities of a 6-pulse meter stratified as 3x2 (e.g. 3/4) are 5-0-3-1-4-2, as 2x3 (e.g. 6/8) 5-0-2-4-1-3.
Figure 7 shows at right a system of rhythmic dilution for illustrating indispensability. Removing attacks in order of increasing indispensability starting with 0, one sees that the corresponding notated rhythms preserve the metric feel all the way through, in 3/4 as well as in 6/8.
The Intervallic Harmonicity and Metric Indispensability formulas – along with several other relevant algorithms – were incorporated into the real-time program Autobusk, which I wrote in Pascal between 1986 and 2000 (from 1987 on an Atari ST computer). Two important auxiliary modules are hrm (for Harmonic Rationalization Measures), for the compilation of scales entered as cent values – into lists of scale-degree harmonicities, and idp (for Indispensability Determination Program) for the compilation of meters entered as stratification – into pulse indispensability lists.
Autobusk is a stochastic program. It generates time- concurrent streams of controlled random rhythmicized midi notes based on probabilities calculated from the Harmonicity and Indispensability formulas in the light of a fundamental consideration – at zero tonal field-strength (atonal music), all pitches of the scale(s) used are equally probable, a property shared by the twelve-tone technique; at zero metric field-strength (ametric music), all pulses of the meter(s) used are equally probable in whether they are attacked or not. But for a high field-strength, the probability of pitches of higher tonic-related harmonicity and the prob ability of attack on pulses of higher indispensability are raised, and those of pitches/pulses of lower harmonicity/indispensability are lowered. Collectively regarding pitches/pulses as elements, one can state that tonal/metric field strength is proportional to the gradient of a straight line marking element probability on the y-axis as against dimensionally contextual priority (harmonicity/indispensability) on the x-axis – see Figure 8. Changing the gradient results in a change in field- strength.
In addition to the priority-probability gradient, a further mechanism was applied, in ter-temporal coordination, locking the micro-temporal (pitch) to the macro-temporal (pulse): the tonality degree is thereby varied according to indispensability – strong pulses have (for non-zero-field- strength) pitches more harmonic than those on weak pulses. This allows for Schenker’s structural and prolonging tones on strong and weak pulses, respectively.
Autobusk receives as input a list of scales and meters (pre- compiled by hrm and idp, ex tensions .hrm and .idp), and most often a parameter score (extension .prk) containing time-
el Callejón del Ruido | creation, ideas and technology
el Callejón del Ruido | creation, ideas and technology
tagged values for 12 parameters, seen as values in the screen shot in Figure 9: “metriclarity” and “harmoniclarity” mean the metric and tonal field-strength. If the event of the absence of a .prk file, user-defined preset (or else default) parameter values are used.
Parameters can be changed in real-time by key-typing, the mouse, a midi input device like a keyboard and/or time- tagged instructions in a .prk file. The output, usually midi notes, is sent to the midi port and/or to a file. The program is freely downloadable at Mainz University http://www.musikwissenschaft.uni-mainz.de/Autobusk/, ready to be run on an Atari, should one have one, together with a pdf user manual. To run it in Windows, one needs an Atari emulator like steem, as indicated by the site. For a Macintosh the emulator Hatari is recommended.
In 1981, while planning a new work for chamber ensemble, I had the idea of writing a spectral piece in which the overall sound of the ensemble would reflect the sounds of speech. For this I decided to convert a spectral analysis of spoken words into a playable score for near- pure tones, e.g. string harmonics. Playing the score would engender the synthesis of harmonic spectra, for which the best phoneme types are vowels, approximants, laterals and nasals (thus excluding plosives, fricatives and trills).
For the envisaged composition, I put together nine nonsensical but grammatically correct German sentences based on words consisting solely of these harmonically synthesizable pho nemes of the languages I was familiar with at that time, German seemed especially suitable due to its systematic phonetic spelling as an aid in looking for usable words. These sentences the title of the piece, Im Januar am Nil, is from one of them were Fourier- analyzed and the results converted into something like a midi file (this work predated midi by three years): every set of six Fourier time-windows was merged into a chord consisting of overtones, each with its pertinent amplitude, as later with pitch and velocity in a midi file.
The really significant follow-up to this procedure was the subsequent re-setting of all amplitudes to multiples of an arbitrary amplitude, termed the amplitude tolerance: any par tial in one chord having the same altered amplitude as the identical partial in the following chord is not repeated but held. More on this procedure – termed calming – later.
Figure 10 shows (above) the words in Armenien scored for bass clarinet playing the fun damental and for seven strings playing the partials and (below) a graphic representation of the same, which strongly resembles the sonagram of the spoken words. I called this technique Synthrumentation, from “synthesis by instrumentation”. From 1981 till the completion of the piece in 1982, I wrote all the software, from the Fourier analysis to the generation of the score, a total of twenty programs in Fortran. The output was printed using my notation program ЖSC, mentioned above, on a 9-pin dot-matrix printer.
In the course of the years, I used synthrumentation for a number of pieces, prompt ing me to combine all modules into a single Linux gnu Pascal program for repeated use named Synthumentator. In principle, the procedure is the same: a Fourier analysis of a sound wave is converted to a midi file of chords comprising partials of the analysis fre quency of the fundamental (my favorite: 49 Hz, almost exactly G1, and a whole-number subdivision of the sampling rate 44,100 Hz). The program maps frequencies to midi notes and amplitudes to velocity.
Finally the midi file is calmed. With a tolerance (now called velocity tolerance) of e.g. 4, all velocities are re-set to multiples of 4, i.e. 0, 4, 8, 12 etc. Notes now of velocity 0 are removed. If a particular note in any one chord, say G4, has the same adjusted velocity, say 64, as the G4 in the next chord, the note-off of the first chord and the note-on of the second are removed, prolonging the former. The higher the velocity tolerance, the smaller and sparser the resulting output file. A low velocity tolerance will result in a dense output file, perhaps obscuring the desired timbral link to the sound source. The main task in using this program is to find the optimal velocity tolerance. The program has been ported to the Mac and to Windows.
...or a Cherish’d bard... (1999)
In 1998 I decided to write a solo piece for the pianist Deborah Richards in order to commemorate a round birthday. A common means of honoring a person in a music score is to take those letters of the person’s name which are available as note names (i.e. A-G in English, with the additional h and s in German) and to use these notes repeatedly. In fortunate cases like abegg and bach, the complete names are available as notes. However, before discarding the idea of using Ms Richards’ name in this way, I noticed that in her first name, the letters deb and ah were definitely usable as notes in German, and that the intervening letters or denote a logical operation. Further, deb belong to a whole-tone scale (B is German for B-flat) and ah (h is German for b-natural) belong to the other whole-tone scale. I also noticed that the letters deb and a are digits in the hexadecimal number system.
I accordingly set up two pitch-chains in the two whole- tone scales, one chaining trans positions of DEB and the other transpositions of ah – see Figure 11 (top). In theory, each chain moves in pitch and time to and from ±∞. I next converted the hex numbers DEB and A to the binary 1101 1110 1011 and 1010. These formed the rhythmic cycle in Figure 11 (center): 1 = attack, 0 = silence – the h in ah, not a number, was added as a silence 0000. Combining the pitch chains and the rhythms, I obtained the rhythmicized pitch chains shown in Figure 11 (bottom).
After this I set up 120 deb and, separately, 120 ah rhythmic chains successively and parallel to each other, all transections of D4 (Middle D) being time-equidistant at intervals of four seconds, i.e. on the first beat of every bar from 1 to 120.
Figure 12 shows an example of this procedure as applied to the infinite deb chain. The x-axis marks the 120 bars, the y-axis a range of 40 octaves from 0.28 μHz to 308 MHz (!). The central horizontal line marks D4 at 293.67 Hz. Instead of crossing this line every bar, as in the piece, the graph shows for space reasons a crossing every 10 bars. The basic DEB motif, both in pitch and rhythm, is displayed in a small box at upper left – the entire graph consists of chains of this motif.
To make this static scenario dynamic, I then made the chains’ gradient successively in crease with time, forming primordial deb (seen in Figure 13) and ah scores.
Next followed the containment of the piece within a triangular pitch filter, starting at the beginning (left) at a width of zero half-steps centered on D4, gradually expanding, the width at any bar in half-steps equalling the bar number, reaching a range of 10 octaves at bar 120 (right). Obviously the range transcends that of the piano at around bar 88; the printed score nonetheless contains notes extending beyond. The result for the DEB score is displayed as a graph in Figure 13. The ah score was made similarly.
creation, ideas and technology
el Callejón del Ruido
el Callejón del Ruido | creation, ideas and technology
The final step was a transition in time from the filtered deb score to the filtered ah score by means of random selection – at the start of the piece, the choice of a note from the deb score is 100% probable, that of a note from the AH score 0%. At the end, the probabilities are reversed, so that in the middle, at bar 60, each score has a probability of 50%. Thus every note of the piece is taken either from the deb score or from the AH score: deb or ah, moving from the former to the latter. As a consequence, the music of the opening bars is in the whole-tone scale containing deb, that in bar 60 is highly chromatic with all twelve notes in every octave, and the final notes are in the whole-tone scale containing AH. The whole composition was made by once-used software.
Due to the rising gradients, the resulting durational values were of an irrational nature. I rationalized the score with my program Tupletizer, converting irrational time-values to no tatable tuplets by rounding within flexible constraints and with controllable error. Figure 14 on the next page shows bars 92-94 as notated in Sibelius: the diamond- shaped and crossed note-heads are an octave higher/lower than written, the former within the piano range and the latter beyond.
The title “...or a cherish’d bard...” is an anagram of the name Deborah Richards. Here is the dedication:
Full fifty years, the most whereof well spent / In service of the Muse, wherefore I pray / That Lady Fortune add three score and ten. / Yet I, a clown cerebral*, so some say, / Unfit in words, resort to music’s way / To help submit my prayer in this regard – / Meseems a minstrel, or a cherish’d bard / Would better wield in verse his worthy pen.
*an anagram of the name Clarence Barlow aPProximating Pi (2007)
In 2007 my attention was drawn by my colleague Curtis Roads to the series π = 4(1 – 1/3 + 1/5 – 1/7 + 1/9 ∙∙∙), something I had not thought about since my school days. Almost immediately, an electronic music installation began to shape in my mind, in which the am plitudes of ten partials of a complex tone would reflect the first ten digits of the progressive stages of convergence adding components of the series one by one toward the final value. In May 2008, the installation, Approximating Pi, which I realized in Linux gnu Pascal, was premiered.
For each convergence, I decided on a time frame of 5040 samples, 8¾ frames per second. All time frames contain a set of ten partials of an overtone series, multiples of the frequency 8¾ Hz, which automatically results from the width of the frame, 5040 samples. The reason for this number of samples is that is can be neatly divided into 2 to 10 exactly equal segments, corre sponding to the partials (half this value, 2520, which as least common multiple of the numbers 1-10 is amenable to the same, corresponds to 17½ frames per second, too fast for my purposes).
The partials are square waves of amplitude 2 raised to the power of the nth digit in the decimal representation of the convergence. In the case 3.14159..., for instance, the ampli tudes of the ten partials are 23, 21, 24, 21 ,25, 29 etc. The amplitudes are then rescaled by a multiplication by the arbitrary factor 2π/n, the envelope of a sawtooth spectrum, where ‘n’ is still the partial number.
Figure 15. The digits of the first 1000 approximations of π, shown to the tenth digit, as amplitudes of a 10-partial spectrum.
Figure 15 graphically displays 1000 convergences (x- axis) and the corresponding am plitudes of the ten digits (y-axis). See the bulges caused by the 6th digit.
Since successive convergences cause the digits to settle down from left to right to a value gradually approaching that of π, one can expect the resultant timbre to move from initial turbulence to a final near-constancy, which it does. As an example, with four digits, the convergences go from an initial 4.000 through 2.667, 3.467, 2.895, 3.340, 2.976 to 3.284, the 7th convergence. At this point, the first digit stabilizes at the value 3. The second digit similarly stabilizes at the value 1 at the 25th convergence, the third digit at the value 4 at the 627th (these three are visible in Figure 15). With ten digits it takes 8,000,000,000 convergences before the final 10th digit stabilizes and real constancy is attained. At a rate of 8¾ convergences per second, this would take about 29 years.
There is no need for one to wait that long, however. The installation can be pitch-trans posed and thus shortened by regular sample dropping; it can also be time-truncated. In a frequently presented rendition, eight sound channels contain transpositions from the orig inal 8¾ Hz to values 9, 28, 50, 72, 96, 123, 149 and 175 times higher (from channel two close to the arbitrary series 9
), where χ is the channel number minus one). Ver sions of various durations – 5, 8, 15 and 76 minutes – and audio configurations – 2, 5 and 8 channels – have been realized. In the 8-minute version (exactly 7’ 371/7”), the duration was truncated to 36,000 convergences for the lowest transposition; the highest transposition reaches the 800,000th convergence, at which point the first six digits are already stable.
Five Dodecaphonic Pieces is a series of 12-channel electronic pieces realized in 2016 and 2017. All of them are based on the same fixed permutation of 78 combinations of 2 out of 13 tracks each lasting 520”, as can be seen in Figure 16 on the next page.
The table on the left shows 78 equally long periods of time, in each of which two sound tracks simultaneously sound at the maximum level: “0” denotes a non-existent track and “1” to “12” twelve existent tracks. Each time period has a specific sound track in common with the following time period, indicated by a bracket. The fades shown on the right of the illustration are according to the formula y = (3x2-2x3)200, where 0<x<1.
The series was triggered by listening during hot summer nights in August 2016 in Bar celona to the overtones of an electric fan. The first two pieces were realised in Santa Barbara, California, in September 2016, the next three in Barcelona in September/October of the following year.
The first realization, 13C2~ (pronounced “2 of 13 sine”), was made with sine tones form ing twelve harmonics of the frequency 210 Hz.
The sound material used in 13C2= ∫ ヒ φ n (“2 of 13 Stephan”) was produced by my late friend the composer Stephan Kaske (1962-85) in the studios of MIT Cambridge, MA, USA. He lost his life in a tragic car accident and left the material unused. Through the mediation of our friend Curtis Roads, I was able to avail of six stereo samples of about a minute each from the collection, and stretched each of them to a duration of 8’40”, first very strongly but gradually less so, then placing them in twelve mono tracks. The decreasing time-stretch slowly turns the twelve sound tracks into Stephan’s original material.
creation, ideas and technology
el Callejón del Ruido
el Callejón del Ruido | creation, ideas and technology
The third piece, 13C2≈0 (“2 of 13 almost zero”) is based on field recordings made by Luc Ferrari since the 1970s and released by Brunhild Ferrari for a biannual prize named after his legendary tape pieces presque rien (“almost nothing” – hence my title). The available recordings totalled 37 minutes in duration, all of which were carefully mounted to form the twelve tracks of the piece.
13C2=Θ (“2 of 13 stridulant”), was made with the sound, reminiscent of Catalan “casso lada” activities, of a metal pan being struck, from 4 to 47 times per second. “Stridulation” is a term applied to the rubbing together of body parts in order to produce sound, as done by crickets.
The fifth piece of the series, 13C2=[♄] (“2 of 13 chronometry”) is a work comprising twelve percussive timbres playing a perpetuum mobile in twelve tracks in a total of 48 different meters of one to twelve pulses at exactly nine per second. Each track starts in a meter of as many pulses as the number of the track, the first track with one pulse, the second with two, etc. Every meter (except that with one pulse) is a unique permutation of 2- and/ or 3-pulse units, e.g. three 7-pulse meters (2+2+3, 2+3+2 and 3+2+2). There are as many as twelve 12-pulse meters. At 6’ 13⅓” the meters begin to grow in length, one track at a time, until 7’ 20”, when every track is in a different 12- pulse meter, all of them synchronized.
Coronialus (2020) commemorates the fact that the Beethoven year 2020 was ridden with the coronavirus. Generated by an electronic transformation of a time- stretched sound re cording of the first two chords of Ludwig van Beethoven’s Coriolanus Overture Op.62, the individual samples of the stereo recording stretched for three versions of the piece (see below) from 6 to 75, 91 and 112 seconds were manipulated by information contained in the genome of the coronavirus. This genome contains exactly 29,903 nucleobases, identi fied as the nucleotides adenine, guanine, cytosine and uracil. Further, the molecules of these four nucleotides each consist of a typical number and arrangement of atoms of the four chemical elements hydrogen, oxygen, nitrogen and carbon. Figure 17 shows these four nu cleotides arranged for the purposes of this piece as cyclic chains of pairs of molecules of the four elements. Monovalent molecular bonds are depicted by ‘ . ‘, divalent bonds as ‘ : ‘ or ‘ ∙∙ ‘.
In Coronialus, the molecular arrangement as well as the valency and atomic number in the periodic table of each individual atom in the genome form the basis of a continuously micro-time-varying downwards frequency transposition through specific sample repetition. This technique in turn led to a second temporal expansion of the already elongated sound recording. Three versions of Coronialus have been made; their durations are 4’43”, 5’34” and 7’18”. The transformed second Beethoven chord begins just after the middle of the piece. The title - an anagram of ‘Coriolanus’ - contains the word ‘corona’ as well as the abbreviation rna of the acid containing the genome.
Evanescent Evidence, a video film of duration 4’16” made in July 2021, is entirely based on 60 random videos downloaded from the internet in 2000, their durations ranging from 7 seconds to 4 minutes. That year I began to use a PC and to use the internet on a regular
basis. The videos are in 320 x 240 pixel format. Every pixel in every frame derives from the corresponding frame of a film randomly chosen from the 60 videos: at the start about 1/60th of the pixels derive from one or other of the 60 films. The audio track accompa nying each frame is taken from a random 8 of the 60 soundtracks. But as the shorter films come to an end one by one, dark blue pixels and silence are inserted as placeholders. As a result the number of downloaded pixels and samples in this video gradually decreases with time. They vanish completely at the end, hence the title. Figure 18 shows frames from the beginning and middle of the video.
Algorithms are a means to an end. Their elegance is no guarantee of musicality. In the case of the examples above, algorithms were shaped by an anticipated musical result, in the end often containing intriguing aspects, creating a new aesthetic. This after scrutiny was either welcomed... or rejected, leading to a revision of the algorithm.
Barlow, C. (1980). Bus Journey to Parametron, 133 pages, Feeback Studio 21-23, Co logne, Germany.
Barlow, C. (1987). Two Essays on Theory in ComputerMusic Journal, Vol. 11 No. 1, mit Press, pp. 44-60, Cambridge, ma, usa Barlow, C. (1998). Songs within Words: The Programme txms and the Performance of Ping on the Piano in Samuel Beckett and Music, Ed. M. Bryden, pp. 233-240, isbn 0-19818427-1, Clarendon Press, Oxford, uk Barlow, C. (2001). On the Quantification of Harmony and Metre in the ratio Book, Ed. C. Barlow, Feedback Papers 43, pp. 2-23, Feeback Studio, Cologne, Germany. Barlow, C. (2001). Autobusk: a Real-Time Pitch & Rhythm Generator in Report 44, Musikinformatik & Medientechnik, pp. 1-54, issn 0941-0309, Mainz, Germany.
Barlow, C. (2008). On the Derivation of Music from Language in Proceedings of the In ternational Symposium Frontiers of Research in Speech and Music, Ed. A. K. Dutta et al., Calcutta, India.
Barlow, C. (2009). On Music Derived from Language in IIAS- Transactions on Systems Research and Cybernetics, Vol. IX No. 1, pp. 29-33, issn 1609-8625, BadenBaden, Germany
Bakht, S., Barlow, C. (2009). papagei: An extensible automatic accompaniment system for live instrumental improvisation in Proceedings of the International Computer Music Confer ence (ICMC 2009), pp. 521-523, isbn 0-9713192-7-8, Montreal, Canada
Barlow, C. (2011). Algorithmic Composition, illustrated by my own work: A review of the period 1971-2008 in Proceedings of Korean Electro-Acoustic Music Society’s 2011 Annual Conference (keamsac2011), pp. 9-16, Seoul, Korea
Barlow, C. (2014). Chorale Synthesis by the Multidimensional Scaling of Pitches in Proceed ings of the 40th International Computer Music Conference/11th Sound and Music Computing Conference, pp. 32-36, Athens, Greece
Poller, T. R. (2015) Clarence Barlow’s Technique of ‘Syntrumentation’ and its use in Im
el Callejón del Ruido | creation, ideas and technology
el Callejón del Ruido | creation, ideas and technology
Januar am Nil in Tempo Vol. 69 Issue 271, pp. 7-23, Cambridge University Press, Cam bridge, UK.
Barlow. C. (2017). On the Structural and the Abstract in My Compositional Work in The Music-Mathematical Mind, pp. 41-52, Proceedings of the International Congress on Music and Mathematics, 2014 Puerto Vallarta, Mexico, Ed. G. Pareyon et al., Springer International Publishing, Cham, Switzerland.
Barlow, C. (2021). Music Derived from Other Sources in Audible (Art): The Invisible Connections between Sound, Music and Sound Art, Journal of Science and Technology of the Arts, Vol. 13 No. 1, pp. 22-44, Ed. J. A. Gomes et al., Universidade Católica Portuguesa, Lisbon, Portugal.
Paths between digital technology and instrumental and vocal music writing from eua’on (1980), digitized voice, to eua’on’ome (1995), orchestra julio estRada
Before eua’on I had intuitively ventured into the continuum of pitch with “Luz y sombra del tiempo” (Light and shadow of time”), for orchestra (1976), whose drawing and conversion to score initiated me in a process consisting of achieving, by means of a graphic analogy, its writ ten representation. The drawing, inspired by the chronographic record of the fantasy of some budding music, allowed me to take a more ductile path and, therefore, appropriate to register and give legitimacy to the impulses of the creative musical imaginary. However, the process was more interesting than the result, whose instrumentation, too limited in terms of wind instru ments, led me to discard that search. Despite the failure, I was able to perceive how drawing gave me the certainty of accessing a new way of conceiving music outside the traditional idea of composition, which I began to contrast ever since with another, fairer and more inclusive idea, musical creation, that which, in my opinion, requires the advantageous link that research-creation seeks, a modality based on my beginnings as a teacher around 1970 at the National School of Music, today a Faculty, and a formula that I was later able to exercise better when I joined the Institute of Aesthetic Research, two dependencies of the unam, essential for me for half a century. Years later, what was called the “Experimental Music Workshop” became the Musical Creation Laboratory, the LaCreMus, a fertile seedbed for future creators-researchers.
A second attempt to approach the continuum in music was Diario for 15 strings (1980), a work conceived on the spur of the moment in a very short time period, against the cur rent of the slowness that the search imposes on me in the creative process. In this case, I tried to access a continuum in the flexible articulation of matter, albeit halfway through the timid insertion of quarter tones between the chromatic scale pitches, something that tied the product to traditional writing and, more specifically, to a compositional method whose idealization of what is written simplifies or even annuls the potential richness of auditory creativity; if freed, it would prove to be more satisfying.
Another attempt like the previous one occurred to me with a passage from Canto na ciente (Nascent Song), brass octet (1975-78), whose attempt to generate the feeling of a catastrophe only with the rise and fall of the voices that run through the chromatic scale, confronted me with a new disappointment regarding the method. The error was once again the adoption of a precarious resource, starting from the deluded belief that writing ev erything by means of melodic articulation alone should lead me directly to the solution. Listening to the live result of that passage revealed the naivety of my meager compositional world: if the steps of the scale would contribute to the representation of the movement of a precipitous fall and that of the struggle in a hurry. The evidence lay in ignoring the prob lem from the detailed perception of the physical phenomenon, an approach that reinforces and better allows the creative impulse to emerge through its experience, coupled with the attempt to mentally assimilate the real or imaginary event prior to any attempt to fix it by written. Envisioning the evolution of the entire passage through careful viewing of the im ages it produced in my mind, it was more appropriate for me to draw the observable move ment in each voice with the line that best described the course of its trajectory. In physics it is common to resort to this method in attempts to capture a phenomenon from a space as simple as two-dimensional: time on the horizontal, x, while pitch on the vertical, y. The formula seems obvious: first, due to the greater clarity to register and measure the movement in terms of speed and space in which concerns its changes in pitch; second, due to the need to remember, refer or even optimize the vision of the initial fantasy of the event; and third, due to its full coincidence with the writing of music in terms of time and its relationship with the staggering of pitch. The transformation of a passage less than a minute, allowed me to consider the written result from a different perspective, the resulting score, that which is reached with the support of the chronographic guide to be converted into continuous type articulations —glissandi and micro intervals— and outline more clearly the character or dynamic gesture assigned to each voice. This idea, passing through the sieve of listening, refreshed the temporal relationships between the voices, not necessarily coordinated by synchrony and freer in their crossings, dispersions, or diffuse clashes, oblivious to the urgent need to impose the mechanical nature of the old inventive. A further affirmation of this was the use of a fuzzy articulation of tones through flutterzung, continuous interference of the tongue in the embouchure of brass instruments to produce a rapid pulsation, equivalent to low-frequency modulation. Listening in rehearsal and in concert to that brief passage a few months later consolidated my perception of the close link between the dynamic and the dramatic sense of the original intention (Illustration 1).
My father’s death led me to sink even deeper into the attempt to express emotion through the knowledge that I had assimilated and been able to develop from tradition until then. However, each result disappointed me with respect to the abilities and talents that had been useful to me until then, observing how those attempts fell into the symbolic rather than the direct expression of mourning, something that revealed a truth to the ear: rage against an irreversible loss. Failing to do so, I fell into a prolonged silence, a form that held my ailment deep inside. Immersed in that crisis, at the end of 1980 I traveled to France and, on a visit to Xenakis, with whom I had a long-term friendship, he suggested that I stay in the first public courses with his machine, the upic (Polyagogical and Computer Unit of the Center for the Study of Mathematics and Musical Automatics, CEMAMu), a brand-new team and the subject of his dissertation at unam a couple of years earlier. That system demonstrated its openness to musicians, plastic artists, scientists or even the public interested in freely carrying out the experience; in my case, with one condition: learn and at the same time teach others to use it. Staying for four weeks, a couple in Lille and another couple in Bordeaux, allowed me to start a project at the same time as meeting those who were interested in the machine. How can I not recall here with emotion the splendid group
creation, ideas and technology
el Callejón del Ruido
el Callejón del Ruido | creation, ideas and technology
of blind young people from Bordeaux, to whom I was requested to explain how the system worked: for them drawing meant representing borders, rivers, roads or even inventing or reviving images, almost all drawn with an avid experience, which that led them to discover and acknowledge with great satisfaction the prompt listening to their strokes through fluid and choppy sonorities (Illustration 2).
Even though electronic or digital sound seems to me unsatisfactory to the ear and there fore for my music, the system immediately revealed the advantages of its interface: drawing with a pen on a digital table, for its conversion almost immediately, or after a few minutes, to electronic sound. With the tests I did, the sound obtained only confirmed my rejection of that artificial material, to the point of considering it a hindrance to achieving a usable audi tory result, something that could favor the empathy that I found with the machine from the beginning due to its flexibility to initiate the user in the continuous scope. Given that among the options for using the material, each one could draw their own waveforms or make the samples that most convinced them, I opted to digitize my voice by intoning a multiphonic that simultaneously modulated with the scratchy interference of the throat’s infra-bass. The live sound was attractive and the one offered by down sampling to a new waveform retained some resemblance, so I accepted it with more pragmatism than excitement. However, by re placing the purely electronic waveforms of the first drawings with the new vocal waveform, everything made sense immediately: I heard the free flow of a matter that, although rich or complex in information, made it very easy to perceive its root in the voice. The experience facilitated my creative task by observing that progress with greater certainty, which worked then and later resisted the complete evolution of the work to convince me to stamp it, only, with the digital voice.
From the beginning of the exploration allied to the machine and staying away from any abstract graphic search, I confirmed how much the visual coincided with the auditory, so that the close link that I established day by day with the upic was pedagogical for my artis tic intention: seeing and hearing each trace made me explore other initiatives with greater freedom and ease than before. A few hours were enough to understand how the drawings and textures evolved in accordance with the precise representation of the movements that flowed from responses renewed by the imaginary, at each step more open to an exploratory search capable of revealing to me how the mind fused with ductility its sensory, perceptive, mnemonic, analytical and constructive potential. The permanent action through the manual gesture gave greater confidence in the system, leading to a better and more flexible design of my graphics. That unique dialogue between creation and machine tended to be based on a spontaneous and deductive imagination, through the close link between hand, ear, and perception, which ultimately revolutionized my methods of representing music.
Immersing oneself in a universe constituted only by an auditory matter of continuous order has an irreversible cognitive meaning: the abandonment of the mnemonic nature of the composition from the initiation in a primordial search: to freely explore the character of creative fantasy as an optimal way to be able to later understand, with its detailed analysis, the constructive aspects that lead to represent it as a matter closer to the plausible (Illustration 3).
From my perspective, the upic only asked to draw an analogy of what the mind listens to and even verifies or corrects, to almost immediately perceive the ear-sight relationship. Essentially, the drawing on that digital drawing board incited me to a creative opening that started from the synesthesia that the audiovisual link entails. In this work, which I discov ered with the vivacity from one moment to the next thanks to manual gestures, I found direct access to a music whose impulse was for me perfectly related to the intensity of the experience in the face of creative emotion.
Originally conceived as a continuum, eua’on is a prolonged cry made up of several doz en voices that make up a dense choral mass, whose frequent mobility between dispersion
and confluence allows it to be associated with the filamentary sonority of the wind, a free and enveloping voice that fascinates in my ear since I can remember it. In it, the physical changes are as elastic and ductile as the human voice, letting it stretch to any register and allowing its material to oscillate between the softness of a calm song and the roughness of a roar that tends to saturate, a very attractive contrast. to explore, with the same color, all order of collective evolutions of matter.
The impossibility of the upic system to manipulate the acoustic content of the wave form on the fly of a trajectory, and thus obtain continuous variations of its color, made me experiment with several textures with which to achieve a manipulation of the unmistakable timbre that gives the electronic artifice: hence the need to increase the number of voices, to create beats to offset the pitch at a micro level and, in particular, to design innovative construction resources by modulating sound frequencies with low frequencies and then being able to obtain dynamic envelopes that continuously traversed the almost unexplored frontier between rhythm and sound. Within it, it is clearly observed how the accelerated pulsation becomes a rumble, a growl, a roar or a howl, tones that, beyond any metaphysical vision, link the drama of the voice with the chrono acoustic physics that sustains them and with the ear that recognizes them in those profundities [depths] as parts of its unbreakable union with the human voice.
The meaning of the preceding observation gave a bigger support to my search and to the idea of the voice, no longer as a matter fixed by written song but liberated, here by the beginning of an exploration allied to the digital system, whose impact was fundamental for my subsequent vocal experimentation, leading to the discovery of a new way of under standing and conceiving the chant. This idea was becoming more evident when observing from the current distance how my instrumental production makes a progressive transition towards my vocal music —evidenced by the passage of the yuunohui, a research laboratory around various instruments, and hum for 5 voices, where the voice shows greater and better articulatory quality, ductility in transitions, variety and fusion of its resonators, modulatory flexibility and many other advantages— that have made me adopt it for years as the most appropriate tool to verify and convey most of my creative initiatives, something that I will be exposing in the following paragraphs.
The novelty of the creation process in 1980 had given me the advantages of operating and knowing better, even more quickly than with my previous experiences, a continuous universe that in turn required contrasting with each of the methods that I had used until then, without excluding my incursions into open compositional processes in search of solu tions that are more relatable to the private tone of one’s own. The repercussion that this in ventive adventure had in the instrumental and vocal field provided me with a better tool to suppose in 1983 the possibility of a conversion of eua’on to an orchestral score, eua’on’ome The idea gained more strength and meaning when I learned from CEMAMu of news with serious consequences: the digital versions of all the works produced with the upic, precisely those that had higher quality due to the transparency they gave the ear, had disappeared or perhaps they have been destroyed without making known the cause. In my case, the only thing I kept was the analog copy of eua’on —a sound [that was] too reminiscent of the meager noise of hand dryers— and, fortunately, all my drawings made on tracing paper on the machine table, a measure that I took from the first day to retain the evolutionary record of each voice in the work and to be able to study it, even when I also lost the complete material of my data bank, such as the waveform with the voice and the set of modulations of low frequency for the unique envelopes I used. The task I had to face would be too arduous and not necessarily short since, compared to the speed of producing results through the digital system, manual work was now inescapable. That experience confronted me with a severe crisis: turning each trajectory of those drawings into a score and reinventing through
creation, ideas and technology
el Callejón del Ruido
el Callejón del Ruido | creation, ideas and technology
drawing the different modulations that I applied to the different textures that made up each passage. With the passage of time, that problem tended to dissolve from the reinforcement of my resistance to resorting to these means as the basis of my creative musical process, and to use more of the vocal search as a much safer tool. Somehow, I invested the defeat in something positive because of the impact that digital technology had, then and later, on my learning and inventiveness in the theoretical and practical fields, leading me to develop new technologies, useful in musical pedagogy and in research. of the discontinuous and continu ous fields, as well as a musical work more linked to the continuous universe.
In the field of vocal and instrumental practice and its conversion to appropriate writing for the case, the fine resolution of continuous-type matter requires referring each datum to the specificity of the scale that is most practical and efficient to allow the fine recording of each of the changes. The exercise of converting the chronographic strokes into a written score of the continuous musical material calls for an approach that is alien to the optics of synchronicity, in charge of articulating the mechanics of vertical characteristic writing in traditional music. Hence the interest acquired by the design of a musical notation capable of representing the flexibility of the set of variables of the matter of continuous order, for which notions such as synchrony, harmony or others that impose “total accuracy” are Byz antine by definition. its stiffness. For example, when standing in front of a current of air, constructive creativity does not necessarily aspire to the exact knowledge of the position that each point occupies within it but rather, in the first contact, it requires at least captur ing or understand the proper forms of movement, best characterized by its fluidity through imperceptible transitions, as observed when considering its states of rest or turbulence, of convergence or dispersion, also expressible as the decrease or increase in energy with which change its different components. By transferring those types of matter to a continuous fact of rhythm and sound, the physical data on their respective waveforms coincide and allow us to observe a musical time-space of chrono-acoustic order, whose measurement requires the breakdown of its rhythmic and sound components.
The above idea is nourished by Henry Cowell’s theoretical finding on sound frequencies and their harmonic link with the duration of rhythmic pulses, as exposed in New Musical Resources –and systematically applied later in Nancarrow’s Studies–; wanting to venture into the chrono-acoustic with the UPIC I was able to observe how it, and in general digital or electroacoustic music, omitted rhythm as part of the physical continuum of frequencies. Hence, with the freedom acquired and with the previous experience of distributing the metals in a cube to listen to Canto naciente in 3D, the following year in eua’on I undertook the creation of eolo’oolin for six percussionists (1981-83, revised 1998), where I further explored the physical continuum between rhythm and sound, including performance space. All of this leads to the notion of the spatial chrono-acoustic continuum, from which I derive the idea of the continuous macrotimbre, the sum of the components of frequency, amplitude, and harmonic content, both in the rhythm —pulse, attack and micro-durations assimilable in practice to a variable vibrato—, as in sound —pitch, intensity and color— or in three-di mensional physical space —height, depth, laterality—, which this new work integrates, now without spatial height, to the constant displacement of the musicians in a hexagon. In the years immediately following eolo’oolin, I began two works for strings, the yuunohui series (1983-1991) and the ishini’ioni quartet (1984-1990), which required me to develop a vast tool to more accurately record than before the components of the continuous macro-timbre, and thus better approach the orchestral project of eua’on’ome.
The most disturbing and interesting part to start the search for a new solution were the woodwinds, extremely limited instruments due to the difficulties that the continuous artic ulation of pitch can impose on them, as well as the continuous changes in timbre color. A new working process contributed to the creation of the orchestral macrotimbre model to
which I aspired, the search undertaken in mictlan, for female voice, noisemaker and double bass (1992) —from the multi-opera Murmullos del páramo (1992-2006), based on Pedro Páramo by Juan Rulfo—, where among the nearly ten components in each voice or instru ment, I added the transition from sound to noise, something which requires to integrate pressure, intensity level in the source of sound emission, a notion close to the granulation observed in the digital medium. In this opera, pressure articulation acquires an eminently expressive sense, giving access in all instruments to the resource of qualities close to those of the voice in the drama, an essential model to which I alluded pages ago, given the interest that transitions have of audible matter in evolutions that can go, from aphonia to a rough tone product of saturation.
In particular, the pressure component notably benefits and enriches the fluidity of the articulations in wind instruments, thanks to the possibility of applying it from three differ ent modes: air pressure, lip pressure or finger pressure on the keys. In turn, the combination of these modes favors the generation of a new matter of a diffuse character open to noise in instruments whose voice was too stable, even with its opening to multiphonics through modern cataloging whose results aspire to fix them —in practice they are contradictory when observing the discrepancies between, for example, the same fingering for a French oboe and another German or Czech—. The play with the set of three pressure modes makes the multiphonics in the woodwinds a material that endorses the character of the continu ous macrotimbre through the fluidity that the tri-transition between the initial pitches of a multiphonic within a movement made of different pressures, leading to a sonority whose content is unstable and still different from the above, product of the unity of the method to generate flexible sonorities, close to the voices of the wind. The exploration of this modality is emphatic in yuunohui’ehécatl for any wind instrument (2012).
The musical matter of eua’on’ome (1995), a commission I received from the German fes tival of Donaueschingen, allowed me to undertake the work of generalizing the method of chronographic recording of the set of components of the macrotimbre in its conversion into a score for all instruments of the orchestra. The unorthodox distribution of the instruments brings rough and strident sonorities to the fore: cellos and double basses in front, violons and violas in the center-middle, while wind instruments and percussion appear behind, helping to give greater homogeneity and to close the circle with the low-frequency instru mental modulations on the bass strings. On both sides of the orchestra, two pianos without lids and always with a pedal allow the acoustic resonances of the instrumental ensemble to lengthen. I add several minutes to the somewhat abrupt ending that eua’on presents, with a prolonged expansion of the terminal evolutions, more in keeping with the catastrophe contained within the work and better expressed in eua’on’ome. In contrast to the orchestral mass produced by the direct conversion of the initial drawings, this extension gradually releases the oppressive stifling of the almost total density of the orchestra, which contrasts with the previous massive tone, yielding to individuality. that some groups of instruments acquire, giving a sudden relief to the last rattle.
The title in Nahuatl of both works sounds like the onomatopoeia of their fluid move ment, while containing the design of the work —eua, take flight; on, distant; ome, two: “one who takes flight into the distance”—. The name alludes to the opening and duel of the continuum, which ends the empire of memory in music, through a journey without any return, always towards some other time.
I should not conclude this text without referring to the process of preparing the pre miere with the Baden-Baden Radio Orchestra, which had two weeks of rehearsal, ten days, each with two shifts of three hours: a total of 60 hours for a duration of 11 minutes. The first four days were devoted to working with each orchestral group, another five days with the entire orchestra and finally a day for recording on site, in the room of the Hans Rosbaud
el Callejón del Ruido | creation, ideas and technology
el Callejón del Ruido | creation, ideas and technology
studio of Radio Baden-Baden, which preserves the spatial distribution of the orchestra. Required to attend each of the rehearsals to explain in detail the notation and the idea, little by little I realized something unexpected: during the three years of making the work I started from the assumption that the orchestra linked to the musical festival avant-garde, Donaueschingen, would be an innovation-friendly set. The reality showed me the opposite, most of the instrumentalists complained about the demands of the score for each instru mental group, which suggested the influence that certain contemporary music coupled with the usual schemes exerted on them and, therefore, their inexperience to approach too different an approach. The disappointment was mutual. They would have wanted to find a writing more in line with their identification of a music whose ease of execution and ap proach even offered them some enjoyment. While I proposed with eua’on’ome a set of new articulations that came from chamber music, the one from whose experience I was nour ished, aspiring to integrate the richness of the sonorities of the macrotimbre as a unitary voice of the entire orchestra. Perhaps it was a gross error on my part, although it would have been worse to remain on the sidelines to disguise the search with a kind of “mini-timbre” of collective sonority: my proposal was based on the rejection of the artifice of orchestration, as a product of a superimposition of voices —just like voices in harmony— to generate only apparently new timbres. The director of the festival, Armin Köhler, although he was inter ested and sympathized with the work, favoring its creation, upon observing that contrast, he very cordially confessed to me that he would prefer to commission me for future chamber works. That was how it was years later, but for this one, given that the commission he had given me was expressly for the orchestra, my aspiration was to propose a model from which music would emerge in accordance with the idea and the creative desire to listen to another rhythm and another instrumental sound, a whole made of the same way of articulating the diversity of colors that make up the matter of orchestral music (Illustration 4).
The rehearsals were undoubtedly difficult, both for the musicians and for me, who also had to face a second and frank opposition: a conductor uniformed by the musical tradition of the former East Germany, who, contrary to my instruction to direct by training in circle to give the constant reference of the advance of the seconds on the face of a clock, it simply imposed the 5/4 compass mark. The idea came to him from the format of the score, divided into segments of ten seconds per page, for me a way to facilitate rehearsals. The resource of the circle was devised by Cage to direct his Piano Concerto, a work open to the possibility of being played or not and whose total duration does not exist since its conception, with which such method was ideal to prevent the musicians from tending to give the own accents of the proper metric of the compass. In the specific case of eua’on’ome, the idea is to achieve an uninterrupted evolution that, unless expressly required by each passage of the group voices, does not articulate, or gesturally incite any accentuation, agogic, alien to the diffuse way of treating the temporality of the great ensemble, whose writing avoids any tendency to coordinate the different voices with an old-fashioned resource of orchestration, synchrony. The experience to the limit of breaking with the musicians was the speech of the first trombone in one of the initial rehearsals of the second week: “This music is like shit…!”. I suggested that he write his review based on that perception, but he added: “It is impos sible to execute it”. There I answered bluntly: “I did not come nor am I here for nothing, sir: tell me the exact place that is impossible for you to perform because I know the work from within, it is not something merely abstract but music written to be expressive; for this reason I can sing all the articulations that I ask for in any passage that seems impossible to you; if you cannot or does not want to play I will ask the festival to replace you immediately with someone capable of playing the part that you now hold more with your hands than with the trombone.” His answer returned to the same charge: “That which you have written is not music.” Several applauded him, although I added: “I say the same for anyone who
finds it impossible to play their part, but I insist: here I am to try to dissolve your doubts.” Almost at the limit of the cancellation of the work in the concert, the director intervened to appease the atmosphere —of course entangled by his criticism and rebellion against the instructions— and to be able to continue with the rehearsals.
The recording in the last of the rehearsals was much more respectful, not without the indelible joke left by the abrupt glissandi of a pair of horns with the air of a tavern, al though the result on compact disc represents a praiseworthy collective effort. On the day of the concert, the public clearly endorsed their acceptance of the work and its execution. I thanked him without leaving my place, not going to the front to greet the director or the orchestra, partly to avoid their slight and partly, also, to be on the side of the perception of the listeners and not of an inadequate and improper director —as Armin Köhler confirmed to me years later—, nor the rebelliousness of some musicians. Despite having achieved a worthy performance, that orchestra did not play eua’on’ome again.
Most of the pieces described in this book are in stereo, intended to be expanded to multi-loudspeaker performance by diffusion. For diffusion, the stereo signal from the source is fed to several stereo-pairs of loudspeakers positioned appropriately around the auditorium. Usually, the left channel of any pair is on the left of the auditorium and the right channel on the right, but some loudspeakers may be positioned differently (see Diffuse and Close).
Where the performance space is long and narrow, in order to maximise the number of audience members receiving a stereo image, and if the loudspeakers are of identical type, the rear loudspeakers can be exchanged, giving a set of different stereo images at the front of the space and at the sides.
However, this is an exceptional situation, and we’ll assume that loudspeakers are assigned in the normal way, left channels to the left of the auditorium, right channels to the right.
During the performance the balance of the signal between these different stereo pairs can be altered, dynamically, by using faders on a mixing desk controlling the level on individual (pairs of) loudspeakers. In some situations, this control can be extended by forms of fader-automation. However, some kind of manual override should always be retained as the presence of the audience will alter the acoustic of the performance space, so an ideal diffusion achieved in rehearsal may sound quite different once the audience has filled the space.
The aim of diffusion is to underline or enhance the gestures in the music, or the character of contrasting sections. To achieve this, loudspeaker pairs need to be positioned in the space to produce contrasting but compatible sound images. How this is done will depend on the number and type of loudspeakers available and the nature of the space. As the aim of stereo diffusion is to ring the changes on the musical material, the loudspeaker pairs need not be of identical type. Decisions usually need to be made on the basis of the room characteristics and the loudspeakers available at the venue, cutting one’s cloth to best suit the circumstances.
creation, ideas and technology
el Callejón del Ruido
el Callejón del Ruido | creation, ideas and technology
Subwoofers (carrying just the lowest frequency content of the signal) are anyway distinct and their positioning in the space is not so critical, as the spatial location of the source of low sounds is difficult for the human ear to determine. Speakers used for a Diffuse or Far signal (see below) need not be of such a high quality as those used for the principal stage projection - foldback monitors for example, if sufficiently powerful, may be used for this. As high frequencies convey more spatial-location information to the ear, grids of tweeters suspended above the audience, can be used to enhance spatial information, if they are available.
The structure and acoustics of the room are also important. Performance spaces should be acoustically dry, rather than the lively acoustic preferred by chamber groups. Drapes or material-faced screens, carpets and soft-furnishings (as well as the audience itself) will all help to dampen the acoustic of the space. There are many possibilities for positioning loudspeakers, and these will depend to some extent on the geometry of the performance space. I will discuss only a few typical positionings - Stage, Wide, Very Wide, Far, High, Diffuse, Close, Punch and Rear.
The minimum setup for diffusion would be a Stage pair of loudspeakers giving a front stereo sound image, and a Wide pair of loudspeakers positioned wider than the first pair. Adding the wide pair to the stage pair, produces a panoramic stereo spread appropriate for an audience in a medium to large auditorium. (Stage means only the area in front of the audience and does not necessarily imply a raised stage area in the auditorium).
The loudspeakers should be at the same height, and each pair should be angled to give a stereo image near to the centre of the audience, and the audience should be encouraged to sit centrally in the space (rather than on the peripheries).
This basic setup can be extended to wider and more lateral positions, and as more of these loudspeakers are brought into the mix the audience is wrapped in the sound.
With this arrangement it is also possible to make elaborate diffusion moves, for example cross-fading between a pairing of Very-Wide-Left with Stage-Right to a pairing of VeryWide-Right with Stage-Left, via a paring of Wide-Left with Wide Right (see diagram) causing the stereo image to rotate clockwise, but such moves would need to have some very specific relation to the evolution of the musical material being presented.
Depth or distance, in front of the audience ( Far loudspeakers) can be achieved simply by positioning loudspeakers a long way back from the front of the stage, where the stage area is sufficiently deep. In more typical situations, far loudspeakers can be placed at the rear of a shallow stage, and facing away from the audience, into drapes if they face a solid reflective wall. If necessary, high frequency roll-off can be applied to the sends to these loudspeakers to mimic the high-frequency-loss-with-distance of sources in the real world.
A High position can be used to project sound over the heads of the audience. This can underline particular sound gestures or place a whole section of material in the upper plane. Mixing between the Stage-Wide plane and the upper plane can gradually lift the image. Balconies can be used to position high loudspeakers, or speakers can be hung from a grid, but such high loudspeakers must project over the heads of the audience, rather than being angled down towards the audience (the usual positioning of overhead loudspeakers in clubs and other venues, where the aim is to achieve a consistentcy of sound projection, rather than the diversity of possibilities required for good diffusion). High positioning does not always have the intended effect, especially in very reverberant spaces.
Diffuse projection aims to bounce the sound from the walls or ceiling of the space, to fill the space with sound for particular gestures or, for example, to throw the sound upwards where it can be taken up by any set of high loudspeakers. I use this diffusion sequence in the projection of the Fugu-Sea events in Imago. A diffuse option is always useful in any
diffusion configuration. Diffuse speakers can be placed by the side walls of the auditorium, angled at, say, 45 degrees so that they play sound towards the walls, bouncing it upwards to the ceiling (the walls must be reflective). Or a pair of loudspeakers may be placed on the stage, pointing sideways (at right angles to the direction the audience faces) and angled upwards to bounce sound off the ceiling.
Projection at lower level but nearer to the audience on close loudspeakers, can help differentiate a more intimate section of musical material. The second movement of Two Women is often diffused first from a set of close loudspeakers, gradually adding other pairs, including the diffuse, as the musical material becomes more elaborate so that the sound image gradually fills up the space, returning to the intimate projection for the end of this movement. Close loudspeakers can be smaller studio monitors placed near to the audience, in a lower plane than the Stage-Wide principal pairs and, where sufficient small matching loudspeakers are available, possibly paired Left-Right-Left-Right-etc around the space to give a clear stereo image to as many audience-members as possible.
A pair of loudspeakers may be positioned together at front centre stage to add Punch to significant percussive attacks in the music.
Rear loudspeakers may also be placed behind the audience. I use Rear loudspeakers only sparingly when diffusing stereo pieces, as hearing sound from behind is intrinsically more disturbing than hearing sounds from the direction in which you are facing. In a multichannel surround-sound situation, the rear perspective is integrated into the total panorama, but in a stereo piece, there needs to be some good reason to project the stereo image from behind the audience. However, at the end of the first area of Tongues of Fire, about 10 minutes into the piece, a quiet clock-like ticking sound slowly decelerates, leading to a pause, followed by a strong restatement of the theme. I sometimes slowly migrate this ticking sound to the Rear loudspeakers, switching rapidly back to the normal frontal configuration (during the pause) for the theme restatement. So, in a sense, the sound-image drifts off to another place (which could also be Far) so as to enhance the impact of the restated theme.In larger systems, extra loudspeaker sets may be available. For example, the example diffusion of Red Bird included in later pages used the BEAST system at Birmingham University. Here Desk refers to loudspeakers positioned at the mixing desk in the centre of the audience and facing outwards.
During rehearsals it’s important to listen from various different seating positions in the auditorium, paying particular attention to the most peripheral seats (those furthest removed from the ideal centre of the stereo image). A projection may sound perfect from a mixing desk placed at the centre of the stereo image but underwhelming if sitting on the periphery so compromises may have to be made to provide a good experience for the majority of the audience. The presence of the audience will itself alter the venue acoustic, but this should not drastically alter the main features of the rehearsed diffusion - in general, the overall level may need to rise slightly, perhaps slightly differently on different loudspeakers.
For each piece I create a rudimentary graphic diffusion score with clear timinginformation. The particular diffusion instructions can then be written onto this diffusionblank for the performance in a particular location. These instructions are determined during rehearsal of the piece in the particular space, and act both as a reminder and a guide for the performance proper.
el Callejón del Ruido | creation, ideas and technology
el Callejón del Ruido | creation, ideas and technology
In 2002 the singer Juliana Snapper suggested to me that we collaborate to revive Philippe Manoury’s song cycle, en Echo. She was studying in the Critical Studies/Experimental Practices graduate program at ucsd, where I was teaching what we called “computer mu sic”. Even today, it is still rare to encounter a soprano who is able and willing to engage as deeply into electronic technology as was then needed to revive the piece.
Written in 1994 and revised in 1995, en Echo had not been performed for several years. It was realized by Philippe Manoury and me at ircam, using the wonderful ispw system designed by Eric Lindemann, running ircam’s version of Max/fts. Although the software was later able to run on other machines in a “port” that continues to be marginally useable, the researchers at ircam took a different direction after I left in 1994 and IRCAM had, by the 2000s, lost the ability to play the piece.
Meanwhile, I had since 1996 been working on a newer (and I think, cleaner) Max-like system, Pure Data, which among other features has the ability to loosely import the old ircam ispw patches. Because of the many differences between Max/fts and Pure Data this is a tedious and fairly error-prone pro- cess, requiring close engagement on the part of any live performers. Juliana was willing to patiently work with me to get the electronic sounds of the piece in place at the same time as she mastered the difficult singing part.
This was all done before any of us could have imagined that Philippe himself would later join us at ucsd in 2007. Not only was he impressed at the technical quality of our resussitation of his piece, which might otherwise have disappeared, but he agreed with me that Juliana’s particular voice and personality was really ideal for the music, as if, ten years earlier, Philippe had written it expressly for her.
So Philippe wrote Juliana a sort of sequel, Illud Etiam, that she premiered with Philippe and me in San Diego in 2012. The new piece shares the eroticity of en Echo but brings in many new elements, one of which is intimately connected to the Callejon del Ruida festival. The three of us had been invited to the festival a few years earlier to perform en Echo, which was by then a repertory piece for us. The performance itself was quite memorable, taking place in a cistern underground that had been repurposed and fit out with a rough stage and seats, and which the festival organizers somehow were able to equip with a multichannel sound system.
While in Guanajuato Philippe was entranced at the sight of another venue that consist ed of an outdoor bank of seats facing the Templo De San Roque, a small church, across a stone courtyard. Although perhaps not the venue for a purely erotic piece such as en Echo, it is perfect for evoking a different sort of eroticism, one that is properly mixed with hellfire.
The piece, as Philippe eventually wrote it, combines two conflicting personae in a single performing voice, with two interlocking texts. The first, attributed to the medieval poet Louise Lab'e, speaks of burning, inchoate desire. The second, in Latin, is extracted from an inquisitor’s denunciation of the supposed practice of witchcraft. At the end of the piece, the sound of fire neatly fuses the two narratives in an unholy, fiery wedding.
It is doubtful that the bank of seats facing the Templo was ever put to the purpose of watching a witch-burning, but that is what Philippe immediately saw in the setting. We agreed that the three of us would come back at a later opportunity and premiere the piece in that exact space.
Practical limitations prevented us from premiering the new piece in the space it was composed for, and we ended up performing it first in San Diego, California, at Space 4 Art. But we always hoped to go back and bring the piece to life in its original setting.
Years passed. The Callejon del Ruido festival went on hiatus and later reemerged. Philipe returned to France and settled in Strasbourg. but as his last creative act in San Di ego, he had organized a video shoot in the Craftsman house he had been staying in, starring Juliana, to extend the 9-minute piece within a 15-minute framing story. By 2016 we had a finished video.
Then in 2018 a revitalized Callejon del Ruido invited Juliana and me to come perform Illud Etiam, in the originally planned location. We planned to have Juliana sing the piece while I silently projected portions of the video onto the church. But then, a day before our planned flight, Juliana got sick with the flu. I had to go alone and fill in for both of us.
I ended up making an ambient audio prelude for the piece that, at the proper moment, segued into the video which I projected onto the face of the church. Since Juliana wasn’t able to be there herself, it was appropriate, if perhaps a bit compensatory, to see her face blown up over the entire front of the building.
I’ve been to the Callejon del Ruido festival three times, of which the first was the cis tern performance and the second was the wonderful church projection. For a third visit I worked with the percussionist Irwin, improvising rhythms to accompany his live heartbeat, and with composer Kerry Hagan to premiere a piece that we call Your microphone appears to be noisy. I also had the pleasure of getting to improvise with other participating musi cians including Roberto Morales himself. My hat is off to Roberto for his decades-long, steadfast support of experimental music over a period of decades, especially during the years of Callejon del Ruido.
Hearing these two words analog and digital, immediately makes us move to a confronta tion between two completely different domains and with an eternal aversion. This situation makes us active participants in this battle, positioning ourselves in one of these two sides for its defense. The most common argument, used by different media such as Hollywood, is the uprising of a digital world, the entities and intelligences that live in it, conquering the analog world, annihilating everything in it and enslaving humanity. The conquest begins progressively from the substitution of reality by digital virtuality. These ideas are overused, not to say worn out, and embed a technophobic idea in the public. All of us who are dedi cated to using digital media as part of our work and as a means of artistic expression, see in these systems a great possibility of arguments, launching a large number of instructions to create structures as complex as you want.
But the situation is a little more complicated than just being for or against, and it could be perceived by considering the internal mechanisms of the human being to create a model of reality; the process by which the brain activity performs a transformation of information into a sensitive experience.1 In the syntergic theory presented by Jacobo Gringberg, the example of the human retina is described, where millions of retinal receptors transform
1 Jacobo Gringberg-Zylberbaum, La teoría sintérgica. (México: UNAM-INPEC, 1991).
el Callejón del Ruido | creation, ideas and technology
el Callejón del Ruido | creation, ideas and technology
the electromagnetic fields of photons into information encoded in electrical impulses. This code is discontinuous, constituted by electrical potentials in tiny fractions of time, that is, a digital electrical code, this information coming from millions of channels is concentrated by an algorithmic process, generating complex temporal patterns, to be decoded in a visual image, the transduction is named by Gringberg neuroalgorithmic, the neuroalgorithmic codes of the visual system interact with codes of the auditory system and other systems. The brain structure and its activity together create an interaction with external information called neural field, which is a mechanism of unification of brain activity of analogical type, interpreting the coded information coming from the senses as a continuum, which becomes in a certain way a representation of reality, giving us a sensation of perceptual continuity. In addition, there are several levels in which we can interact with the information matrix, these levels of interaction depend on the neuronal field, the higher the density of information that a brain handles, the higher the frequency of a neuronal field should be. Therefore, if to the decoding of the digital information of our senses we add the brain structure and or ganization, an analogical perceptible world is created, where qualities such as light, sound, textures, sensations and emotions.
With the ideas exposed in the sintergic theory, we can subjectively suppose the allegory of a hybrid human nature between the analog and the digital, revealing the veil of percep tion and the experience resulting from it, expiring the basic and separatist idea between digital and analogical existences, we are organic machines that exist, evolve and create in these two domains.
The dictionary of the Royal Academy of the Spanish language defines gnosis as absolute knowledge, this paper does not argue objectively that the synthesizer is the way to divine knowledge, rather, it refers to the synthesizer with a metaphorical character as a pillar device that opened the gap to artistic expressions such as sound art and electronic music. Discovering a path towards a new sound aesthetic, where experimentation was an essential part of the creation.
Now, we have to keep in mind that the first commercial synthesizers were launched in the late 60s and early 70s. The main peculiarity is that these devices have the ability to form new timbres, which is the cornerstone of a new sonority, timbres that are not found in nature, so that, when listened to in a performance, a mystical and ecstatic atmosphere was conceived, turning the auditory experience into theurgy. It is also a fact that these instruments have a visual character, even the very physical aspect of an analog synthesizer provides a visual image of a machine out of comprehension, which extracts inorganic and catatonic sounds because they are not related by the cognitive with a natural source. An other aspect within the visual character is the performative; observing a musician intercon necting modules by means of cable, creating a web of electrical conductors, forming patch that would alter the sonority in real time.
This painting brings to mind the image of a Persian alchemist in his workshop with ovens, flasks and all kinds of objects and tools. Deciphering secret texts with mysterious symbols, mixing substances that expel colored vapors and strange smells. It is argued that alchemy was about finding the primordial matter of the universe, to perfect substances with it, hence the effigy of the alchemist transforming lead into gold, which archetypically is the most perfect of metals.
In the synthesizer is the primordial matter of sound, a pure sine wave. The musician-al chemist can mix this primordial matter with different elements and thus create a new and perfect sound substance, through a series of meticulous steps, connecting here and there,
turning knobs, sliding sliders, pressing buttons; just as we could imagine an alchemical process, Solve et Coagula.
Remembering that analog synthesizers date back to the early 70’s, I venture to say that today it is just as attractive and fascinating to attend a performance where an analog synthe sizer is used. But back to the subject, these devices were instruments that created a revolu tion in sound art and music, giving rise to the composition of electronic and electroacoustic pieces, they were the instruments that established a new paradigm. Reforming a new study structure in music technology, which audio engineering calls synthesis, an idea that is still in force. The current digital platforms and digital synthesizers are still structured with the concepts of analog synthesizers.
In all daw (Digital Audio Workstation) platforms we find native instruments that are digital synthesizers, all of them with a general structure; multiple oscillators, global and in dividual envelopes, filters, lfo (Low Frequency Oscillator) and tuning controls. All of these refer to different methods of analog synthesis; additive and subtractive synthesis, frequency and amplitude modulation synthesis, just to name a few. In other platforms it is even more allusive, such as wiring, forming patches, just as it would be done physically in an analog synthesizer.
The sound obtained in analog synthesizers is through voltage variations, later and with the evolution of digital systems it was possible to emulate an analog signal through pcm (Pulse Code Modulation), although during this transition a great variety of synthesizers were de veloped. Until the present time, where vst technology (Virtual Studio Technology) is used, packages that are grouped in a computer, condensing several tools for sound creation.
With all this we can conclude that digital audio systems come from analog systems. To know the analog audio systems is to know the current digital systems, as manifested in the correspondence principle of hermeticism “as above so below”.
This text does not intend to make a comparison between the analog or digital concep tion of an instrument, but to highlight the importance of the analog synthesizer in order to reach the current sound engineering progress, being the creator of conceptual and technical bases from its study and experimentation.
As it was manifested in the prelude; about the hybrid human machine, which coexists between the analogical domain and the digital. The same argument is proposed on the implementation of heterogeneous audio systems taking advantage of the functional and aesthetic advantages of each system; the versatility, lightness and processing of digital sys tems in conjunction with the fidelity of the auditory signal and the visual performance of the analog.
Not long ago, I had the opportunity to see internally the circuitry of an ARP2600 synthesizer of the year 1970, when examining the phenolic board and the electronic circuit, I observed that it uses components that nowadays can be found in any electronics store. Adding another option, to be able to build modules with electronics or in its case for those who own an old synthesizer, to be able to attach compact digital platforms to the synthe sizer, giving it a new life. In this way to exhibit a sound-visual performance, where these hybridizations between systems are exposed, allowing the exploration in a new field, with an aesthetic and an enriched sound discourse.
For neophytes, interested in electronic and electroacoustic music, it is difficult to approach analog synthesizers and the development of modules through electronic circuits can become complex if you do not have knowledge in this area. There are alternatives in software such as vcv Rack which is a virtual modular synthesizer that can emulate modules of a synthesizer, many of these modules are open source and with the possibility of being used in a daw. A digital tool that can help reduce the learning curve of synthesizers on digital audio platforms.
In musical production there is a recurrence towards technology from later times to the
el Callejón del Ruido | creation, ideas and technology
el Callejón del Ruido | creation, ideas and technology
present. The composers who integrate technology directly into their work, reflect in it the intrinsic nature of the human being, a holistic characteristic, in which art, science and tech nology are parts of a cultural totality of humanity.
The presence of man in machines is a perpetuated invention. What resides in machines is human reality, the human gesture fixed and crystallized in structures that function [...] . Gilbert Simondon.
Gringberg-Zylberbaum, Jacobo. La teoría Sintérgica. México: unam-inpec, 1991.
Thomas Hermann, Andy Hunt, John Neuhoff. The Sonification Handbook. Alemania: CITEC, Bielefeld University, 2011.
P. Hall Manly. Las enseñanzas secretas de todos los tiempos. España: Ediciones Planeta Madrid, 2011.
Schaeffer, Pierre. Tratado de los objetos musicales. España: Alianza Editorial. 1996. Xenakis, Iannis. Formalized Music: thought and mathematics in composition. Estados Uni dos de América: Pendragon Press, 1992.
Romero Costas, Matías. “Música Generativa”, Revista Invasión Generativa II, no. 2. (sep tiembre de 2015), 51-60.
Simondon, Gilbert. 2007. El modo de existencia de los objetos tecnicos. Buenos Aires: Prometeo Libros, 2007.
In June 1997, I had the pleasure to participate in that year’s Callejón del Ruido festival in beautiful Guanajuato with my fellow composer-performer, Jos Zwaanenburg offering a concert and a masterclass. This was the first Mexican concert of my music that I had attended. I was impressed by the festival’s eclecticism and the size of its audience. More recently, cmmas in association with enes/unam in Morelia, another beautiful city, offered me my first Mexican commission. This text celebrates my modest contribution to Mexican sonic innovation by discussing the commission, the seventh work in my Radio Series, Aplican Términos y Condiciones in which radio broadcasts across Mexico recorded during a short period in 2021 provided the source material for a media remix celebrating local, national, and even global elements from (y)our daily lives.
Sonic sampling, radio, accessible innovative music, legality of samples, Mexican culture.
re-composing mexican radio leigH landy
Mexico is a country rich in culture in every sense. It is also rich in surrealism. As surrealism has been an essential ingredient in my music as well as making innovative sonic creativity accessi ble to audiences beyond specialists, an invitation to create a piece for the festival, Visiones So noras in Morelia seemed the perfect opportunity to combine Mexico’s cultural richness with my desire to recompose our daily lives, in this case using radio recordings captured across the country during a short period in 2021. This text focuses on important issues that are relevant to the use of sonic samples artistically using this commission as its case study.
Before focusing on the rapidly evolving world of sonic sampling, it is important to write briefly on a subject that has been central to my entire career, namely searching for means to support innovative music’s acceptance by a public beyond that of specialists. Sadly, much innovative music normally only reaches a limited audience, although that may be acceptable to some musicians. In contrast, my one visit to the Callejón del Ruido festival was remarka ble due to the size and diversity of its audience as well as its eclectic programming. The fact is, in most of the world, there is little awareness of much contemporary non-commercial innovative music which is a shame as a good deal of it could be attractive to a variety of communities of interest. As we shall discover below, in the case of sonic sampling, it can also be of interest to communities of practice as well, a term borrowed from Wenger [1].
Much of my research and related publications focus on this important subject; my com positions take accessibility into account; and all of my educational/outreach initiatives also serve this goal.
How this odd situation has evolved has been a lifelong fascination. In my first book [2], it was proposed that the reason for innovative music’s marginalization was largely due to three broad categories: the communication media (written, radio, television) not offering this music sufficient attention; education, especially at pre-university level rarely offering any repertoire to students; and from the musicians themselves who often do not find it their responsibility to spend time on audience development. Thirty years later, the problem has not significantly improved. Still, the internet has played an enormously positive role regar ding music’s dissemination and instant availability of related information.
Without dwelling on this subject too long, one thought deserves to be shared. As the postmodern epoch led many artists to share their ‘how-to manuals’ more often than their esthetic visions, there seemed to be a preference for new musicians to address the intellect above the heart (to simplify the issue). I have often spoken of the battle between art for art’s sake vs. art for life’s sake. In my opinion, the ability to make connections in art is a sine qua non. Music is a communicative artform after all. Therefore, the need to optimize the huge variety of tools and languages for making new music with the opportunities to connect with people esthetically seems essential, not only for musicians, but also of venues and festivals interested in audience development. Sonic sampling offers the means of presenting listeners to connect with their lived experience. Therefore, the access theme will be interwoven wi thin the following discussion.
Many people associate the word sampling in music with Hip Hop and what followed. Ear lier one grabbed a bit of someone else’s music and placed that (with or without attribution)
creation, ideas and technology
el Callejón del Ruido
el Callejón del Ruido | creation, ideas and technology
in their own score. Various forms of appropriation can be found through global music his tory; however, here our interest is in the reuse of any sound, not only samples taken from existent music, either in studio production or in performance. Although the term, sampling was not used at the time, for those making early musique concrète, much, if not all their source material, consisted of sonic samples. Therefore, the history of sampling is complex reaching longer into the past than one might think.
Our interest here, therefore, is the use of any sound including traditional ones meaning that sound-based alongside note-based materials can be used. What is surprising to me as a composer who uses all sorts of samples is that those types of sample-based music that use note-based materials are more easily categorized than varieties using any sounds.
A sample can range from the groups of individually sound grains, possibly too short to be heard individually, to a very lengthy recording. For example, Luc Ferrari’s well-known Presque rien no. 1 (1967-70, 20’45) consists of a lengthy recording made on a beach in what is Croatia today. Using careful edits, only a few cross-fades were included in this work that filled one side of an lp. Of course, most samples to be discussed are at the shorter end of the spectrum.
Lengthier samples are often encountered in soundscape composition. Sounds of any len gth are often found across the worlds of electroacoustic music and sound art, not to mention being combined with note-based material in a wide variety of forms of popular music.
In my personal practice, the most common approaches have been: 1) what I have called sound-based sample-based music, that is works that use a collection of sounds related to a central theme as source material for a given work; and 2) what I have called music-based music, that is, works that involve the re-composition of note-based musical works using elec troacoustic music techniques. John Oswald’s Plunderphonics exemplifies this latter approach.
The work to be discussed below falls primarily under the first category as all its source material derives from radio broadcasts and much of what has been used is speech, not mu sic. Sound manipulation, the métier of electroacoustic music composers, is kept to a mini mum, primarily in order to ‘clean up’ samples that are unclear for whatever reason. In this way the samples’ identity is always available to the listener. This is in contrast with much acousmatic music in which sound manipulation is used to move the listener’s focus from source identification to the flow of sound qualities in the work being heard. The rest of this discussion will therefore focus on identifiable sonic samples.
I have written at some length regarding issues related to sonic sampling, in particular [3] and a book, On the Music of Sounds and the Music of Things which is under review at the time of this chapter’s being written. This book, written with John Richards investigates both sampling and DIY sonic cultures. From these, two specific types of issues will now be addressed, the musician’s attitude regarding the use of samples and the legality of sampling. We shall return to other ideas from this book in the final section of this chapter.
As an artist, we normally believe we have the right to use our materials any way we please as part of our personal artistic freedom. However, our two issues to be discussed suggest that things are not necessarily as straightforward.
We shall start with the subject of how a musician uses sonic material. In [3, pp 132133], I suggest three basic categories for choosing samples: 1) related to their source; 2) related to their function or meaning; and 3) related to their sonic quality. Let’s look at these individually.
Source: Choosing a sample due to its source is often synonymous with offering listeners something to hold on to in terms of their experience with the sound, whether that is a
profound experience or a more generic one. When identification is possible for listeners, a communicative link at sound level is established. However, when this is not the case, the composer must be aware of the risk of dramaturgical intention being lost which may or may not be a problem for that composer. Equally, sounds may be chosen due to their sounding ‘exotic’. Here one must be careful as the appropriated sound may have a meaning within its own culture (see next paragraph). Applying sound manipulation to the point of loss of source recognition and/or recontextualizing the sound based on how it is combined with other sounds, may detach the listeners from the source and lead them towards the sound’s sonic qualities (see the subsequent paragraph). A final aspect related to the source is how it is being treated attitudinally in terms of its usage within a piece. Here I like to speak of a parameter ranging from respect to criticism. I am of the view that samples should be treated with respect as in how they are viewed by people within the culture in which the sound is located or generically if the sound is to do with a particular theme unless there is due cause to present it within a critical context. Examples will be found in the composition discussion below.
Function/meaning: This second area might simply be considered as a more profound version of the previous one. Although it can be said that rain has the function to add water to our soil and reservoirs, making a critical comment musically using a rain recording is likely to be rather superficial. The same cannot be said of sounds that have cultural significance, such as religious ones. Treating the sounds with respect should be the norm. Treating them critically should thus have a profound dramaturgical rationale. Ignoring them may be the most dangerous of the three options. Here is a case where something perceived by the artist as exotic may have deep significance to a group of potential listeners who may be hurt or even angered due to the sound’s recontextualization. This is to be avoided and often is not.
Sonic quality: It seems an obvious thing to choose a sample primarily for it sonic, thus musical quality. Often when this is the case, the sound’s source is of secondary or perhaps no importance to the composer. As the focus of this chapter is the ability to connect with a broad group of listeners through their connection with sampled material, this third, interesting but less relevant category will not be discussed further.
To summarize: a composer’s attitude regarding why and how samples are to be used within a musical context is of great importance both in terms of creating an intention/reception loop with the public as well as in terms of making links with lived experience. By ignoring a sample’s function or meaning or overly recontextualizing samples, the loop can become less evident or, in the case of meaningful samples, potentially create alienation. It is for this reason that attitude is highlighted as an important aspect of sample-based musical endeavor.
One of the most peculiar aspects of sampling culture, in music and many other areas, is that legislation regarding reuse (e.g., of music) is, in the opinion of this author, well behind our present digital cultural reality. When my Radio Series journey started in 2007, I quickly learned that using a wide variety of samples could be potentially dangerous. Making the original French work, I was warned that it would never appear on the host’s (the Groupe de Recherches Musicales in Paris, grm) cd series and when I started its successor, To BBc or Not, I was informed by someone from the legal department of the bbc that a wide variety of samples could not be used legally. These included: the sound of Big Ben (announcing British news reports), the voices of broadcasters, the bbc logos, identifiable pieces of music … and more! In short, virtually every sample I used in that piece was illegal apparently.
As I am an experimental composer who is not earning his living solely from his music, my risk is low; however, indeed, no cd label (or equivalent online today) is willing to take on
creation, ideas and technology
el Callejón del Ruido
el Callejón del Ruido | creation, ideas and technology
any such piece. Given the fact that these tricky legality issues are also of relevance to notebased sampling —just think of the trials of djs, Hip Hop artists and the like due to the use of some of their appropriated samples there is an ever-growing list of publications about legislation long overdue to be modernized.
One reaction to this situation was the birth of Creative Commons, an organization responsible for adding the term, copyleft to the existent copyright. My works have a Creative Commons (cc) license to help avoid such issues. Also, where I can, I use samples that are free from copyright offered on archives such as Freesound [4]; however, this is not relevant in themed works such as the Radio Series. The danger will continue until our copyright laws are changed. Perhaps it is for this reason that sonic sampling artists are difficult to be grouped or categorized as their becoming more widely known might simply get them into trouble! This is what one might call a 21st century oddity.
Now that the stage has been set, the main section of this chapter will discuss the Radio Series and, within it, specifically its most recent work, namely a radio piece based solely on Mexican broadcast recordings. What holds the series together will be presented first and the joy of making the piece and how it responds to the issues and challenges raised above will follow.
The Radio Series was born when the then director of grm, Daniel Teruggi, offered me a commission in which I was requested to “plunder an archive”. After some thought and gi ven the fact that the grm is based at Radio France, it seemed obvious to me to use diverse French radio broadcasts and consider them part of an archive. In fact, that idea was not as odd as it may sound. Firstly, grm is part of the French national audio-visual institute, ina which is responsible for the creation of a permanent digital archive of radio and tele vision broadcasts which are housed at the French National Library. Secondly, the idea of ‘plundering’ the radio fits fully within my own esthetic approach regarding offering diverse audiences with things to hold on to when encountering innovative sonic works. Although one could be challenged with the remark that the television and a broad variety of screens including mobile phones are the primary mode of reception within our visual culture; no netheless, the amount of music consumption without screens is still high and, in fact, the radio is still an important medium in many people’s daily lives. Having enjoyed the creation of the series’ first work, Oh là la radio (2007), it was decided to return to the formula of recording diverse broadcasts from one country from time to time and see what the material could offer when re-composed.
As already stated, it became clear during the realization of the first work that there were monstruous rights issues regarding a broad variety of samples to be used. Personally, in most cases, that news seemed perfectly ridiculous and I decided to carry on. That work was premiered in the grm’s series and aired more than once on their regular radio broadcast; therefore, they decided to share the risk as it were.
In fact, only one piece in this series is legal in the sense that the Czech radio holds the rights to all its broadcasts. When they offered me a commission, years later, the host told me that I was in luck as the work I would create was fully covered by the Czech national broadcaster. To this day, that is the only piece without legality issues.
One of the original intentions of the French radio piece was to offer a portrait of a day in one’s life, starting with the high dynamic of early-morning radio, where many stations
offer a “get up and get going” dynamic, not least through their frequent time calls. This is a fairly universal phenomenon and was chosen to contribute to the variety of samples or sce nes ranging from global to national to local. Other universals include the presence of logos and advertisements on some stations; however, these tend to be only known nationally or locally. In this way some universal aspects of radio can be applied with national or regional elements.
As someone who studied world music alongside composition, I am aware of how music can be received differently by different audiences whether based on location, age, interests, or something else. This represents different levels of connection or perhaps understanding of works based on shared knowledge. One can think of it this way: when one attends an animation movie for children, one might notice members of the audience laughing at diffe rent places. Some react to, for example, jokes made for children. In such cases, perhaps everyone laughs together. Then there are times when only older people will react as what takes place on screen has no reference for children but does for adults. Beyond this there may be so-called ‘in jokes’ meant for those in the know, perhaps regarding the film industry or anything else. In other words, such a film allows for personal reaction at different levels of appreciation and understanding.
This notion of multi-level appreciation and understanding is a fundamental element of the Radio Series. Take, for example, the British piece, To BBc or Not. Not all British listeners will be able to identify the broadcasters’ and interviewed personalities’ voices, but many will. Anglophones outside of Britain will not. Nonetheless, that identification offers a ‘added value’ level of reception but is by no means essential to connect with the piece. Fur thermore, the works are, in a sense, time stamped as their broadcasts all took place within a finite period. This means that some personalities may become less known in time or even current events. Again, given the multi-level approach to appreciation, this is not a danger in terms of the works aging in time.
It is also important to note that all radio pieces that are not in English have translation videos that can be projected during performance to avoid the lowest level, that is, not un derstanding anything at all. Ultimately, the listener will have a personal journey between listening to musical aspects of the piece (sound qualities, rhythms, sounds in space) and referential ones (as in the meaning of the texts). This individual experience is intended as it is also true that some samples may have profound meaning to individuals but not to an entire audience. This ability to communicate with a broad audience at multiple levels is part of the reason that these works are accessible to publics of diverse backgrounds.
The conscious choice for a diversity of radio broadcasts as source material is essential in terms of ensuring sufficient contrast in these works that range in duration from ca. 6’ (a Chinese radio work made with two students at the Shenyang Conservatory of Music) and 18’ (as requested by the Czech radio program). Contrast is a musical universal in the sense that music across the globe offers contrast although not all genres do necessarily. Although my works no longer are written on five-line scores, still the notions of tension and release (or breathing), contrast, and other typical musical elements are present and are all important structural devices.
Speaking of structure, one might consider the works as consisting of scenes and tran sitions. This is by no means unique to this series as many of my works consist primarily of relatively short sections to avoid people’s focus drifting and (unexpected) bridges.
I have often called the radio pieces “a theatre of sound incorporating a choreography of space”. This expression reflects my career involving years of theatre, dance, performance art and video collaborative productions. All radio pieces are immersive in surround sound, thus the notion of “choreography of space”. Unlike much electroacoustic music, there is not a huge number of sounds moving in space as radios are a so-called point source. Therefore,
creation, ideas and technology
el Callejón del Ruido
el Callejón del Ruido | creation, ideas and technology
the determination of which samples come from where, whether and how they move is not only an aspect of composition but, indeed, a form of choreographing those sounds within the 24-channel, 8-channel 5.1 or even binaural (for radio or virtual performance) 2-dimen sional or 3-dimensional space.
The link here to theatre and dance raises another interesting aspect of these works. As much of the broadcast material consists of speech, one might think of these works as belon ging to the genre, text-sound composition. That claim is, in fact, correct. However, the work does not only involve speech as any sounds can be used including music from the broadcasts, as well as station logos, advertisements, and much more. So, where do these works belong? How does one classify them? Many people hearing my works focusing on texts, especially ones involving live performance, often wonder whether they are dramatic works. This claim is also correct. Much art today belongs to more than one category and can also form a conglo merate category of their own. Sound installations offer a good example: they normally belong to both three-dimensional fine art as well as sound art or, as I call it, sound-based music.
Beyond the above-mentioned musical elements in the radio pieces and other sample-ba sed compositions, looking at some of my ‘ingredients’ found in the radio works, one notices things that are not solely rooted in music:
• Recycling (sampling) with found objects
• The 1% tilt (take something from daily life and recontextualize it artistically, similar to Duchamp’s found object)
• Surrealism (combining things that do not belong together)
• Speech
• Humor and surprise including the ‘What?! Factor’
• Some things for the public to hold on to sonically in order to offer navigation de vices for non-specialist listeners
Humor is often absent in a good deal of contemporary music; however, it is a wonderful way of connecting with people. As already shared, Mexico offers much that is surreal and the people I have met all possess a great sense of humor; therefore, including those elements was neither challenging nor illogical.
In this section the focus will be on how these pieces are made, what is unique in this piece, and what is comparable with the other pieces in the series. The work came about due to a request from the Mexican Center for Music and Sonic Arts (cmmas) in Morelia which is associated with enes/unam University in the same city. cmmas was acquainted with the Radio Series and wondered whether a Mexican piece would be possible. I had been dreaming of making a Latin American work in the series as I was certain it would be quite different from the others and jumped at the chance. Fortunately, due to a program at enes/unam, I was able to work with a student who first discussed the project with me and subsequently made all broadcast recordings, created the initial translation files for the broadcasts (an enormous task) as I am not fluent in Spanish, and created the translation video for non-Spanish speakers.1
The work cycle for all radio works is as follows: one attempts to find and record a wide diversity of broadcasts over a finite period, e.g., two weeks. If, by any chance, certain types
1 The student was Mario (Mafo) Cruz and the piece is dedicated to three cmmas staff: Rodrigo Sigal, Silvia de la Cueva and Tonalli Rufino Nakamura.
of broadcasts are not found, they may need to be added later or alternatives discovered. In this case, I ended up receiving ca. 25 recordings from across Mexico and, in two phases, received another dozen or so to fill in content gaps.
At this point the laborious phase of analyzing the broadcasts takes place. The material lasts about 24 hours in total and thus this phase can take weeks. During this period potential samples are chosen and placed in two separate files: the first is chronologically within the broadcast file and the second is listing these samples according to their theme(s). A theme can be very specific such a time calls, weather, traffic, advertisements, etc. They can be far broader such as political and cultural or by genre; and they can be within a miscellaneous category such as odd words, phrases, remarks or even utterances that can be placed anywhere.
Once this phase is complete and it has been determined that the breadth of the source material is satisfactory, the time has arrived to start composing. To get things started a storyboard (a term not unusually associated with music) is drafted which offers an initial global structure of potential scenes and transitions. Part of this overview includes elements, such as those early morning time calls, that one can find in all the works. Other scenes and foci will be consciously chosen to focus on the national and the regional elements that have been listed on the above-mentioned files.
It might be useful to share at this point that, in my experience, composing soundbased works is dissimilar from composing many note-based works in the following sense. During my composition training, I was expected to share elements regarding what a piece involves and how I plan to create it with my composition teachers. (I was rarely asked why I was making them which I later discovered was a missed opportunity.) In this manner, I often found myself making ‘top-down’ pieces meaning that there were structural units predetermined and/or structural elements that were placed together and then further developed or refined as a sculptor does once the basic form of a sculpture has evolved. However, when dealing with sounds including, radio broadcast samples, the materials dictate what is going to happen, thus ‘bottom-up’. Indeed, that storyboard is as close to top-down as I get in this series, but that cannot be made until after the laborious sample choice phase.
Broadcasts were received from Oaxaca and Yucatan to Baja California with many in between. One exception, although broadcast in Mexico, was an old Cuban comedy series as we originally had too few humor broadcasts. Therefore, given the geographical spread of the recordings, I needed some explanation of local vocabulary usage from time to time as well of as any broadcast material that might be culturally sensitive. This last point was of extreme importance for I, as a non-Mexican, do not feel I have the right to abuse anything related to Mexican culture unless I know a good deal about it and share a common view with Mexican friends and associates. Where respect was waived, this had to do with the controversial, perhaps political aspects of certain samples. These were presented in surreal, often humorous situations.
Aplican Términos y Condiciones starts with music to represent what I consider to be the powerful dynamic of Latin America and is immediately followed by the sentence: “We want to thank you for being with us on the other side of the radio.” In fact, the second half of that sentence was runner-up in terms of the choice for the piece’s title. It continues with several more universal elements, including good mornings, words of thanks, and those early-morning time calls, but be aware: some of those time calls are sung in ranchera style immediately culturally locating the piece. In one of the time calls, regios (the people of Monterrey) are addressed whereby a local element is included. These are followed by a selection of station logos which equally underline the dynamic often found on Mexican (and Latin American) media.
creation, ideas and technology
el Callejón del Ruido
el Callejón del Ruido | creation, ideas and technology
A seemingly electronic sound appears as a transition to the first content-driven section which is, in fact, a sequence of totally independent statements which, re-composed in this manner, offer a surreal succession of statements that seem to appear to make sense … but they don’t. This is followed by a traffic announcement (also typical for the morning), but somehow a remark about “that fabulous incredible vaccine” creeps in reminding us of how covid has been dictating our lives over recent years.
This is followed by an even more surreal sequence including samples related to a taco series on Netflix and KFC (an advert that is unimaginable in Europe despite KFC being as ubiquitous there as it is in Mexico). Retuning to more serious things, there is an announcement for the bazaar section of a program where you can buy/sell/rent merchandise, something that cannot be heard in many countries, and a surreal pairing of a broadcast announcement of an ethnomusicologist who will talk about pre-Hispanic Mexican rhythms immediately followed by a fairly banal announcement of the music of Los Cardenales with a transition sounds of an innocent voice saying, “Wow!” and “We will continue”. At this point we slowly move into a more political section, be it by way of the combination of the celebration of Barbie’s birthday and a feminist anti-femicide march in which the police allegedly had used tear gas but the government spokesman states that only fire extinguishers were used and that the tear gas came from the protesters. As this politician eventually walks out of the interview, it is clear that these samples are deserve to be treated with the respect they are due.
An advertisement section follows which includes material that I considered to be unimaginable prior to receiving the broadcast material. The rather unusual medications on offer were a bit of a shock but the political advertisements that follow which equally often praise one’s own party as they attack others were very much a Mexican phenomenon leaving this composer with the opportunity to let Morena speak for itself given the current Mexican political state of affairs. It is here where the title’s terms and conditions samples are remixed. As we are at the middle of the piece, it seemed that the transition combination, “This project is lousy in every way” and a perfectly weird vocal sound seemed appropriate.
Next, there is a weather sequence which ends up featuring hurricanes and tropical storms in a country which, for outsiders like me, is a paradise of lovely weather. This is followed by the announcement of “an hour of musical recreation” which is rapidly combined with the most musical sound found in Latin America, “Gooooooooooooooooool!”.
A transition focusing on infidelity and incest (a telenovela in 15”) forms a bridge to a musical section introduced with the following announcement: “Let’s take a commercial break”. As I am interested in world music, what was unexpected in the received recordings was the remarkable quantity of rancheras and male heartache songs on Mexican radio. Listening to how today’s mariachi can include synthesizer sounds and discovering the omnipresence of tubas (similar to German oom-pa-pa) was remarkable and, therefore, the ‘commercial break’ music sequence ended up focusing upon a about a broken curazón or two. The end of the musical sequence is remarkable as many of these recordings were in the same key and at the same tempo. A Charles Ives-like poly-heartbreak is this passage’s coda.
It is here that it must be mentioned that the choreography of the spatialization of these samples is not easy to discuss; however, as the piece is on offer on this book’s website, just grab some headphones and an approximation of the immersive spatial experience of the work can be experienced.
One deserves some calm after the recent sequences, and a story provided by the National Institute of Fine Arts and Radio Education is reduced to just over 1’. This is, for this piece, a lengthy sequence, but calm takes time. After closing the sequence, the following one is a collage of telephone numbers in which one can lose any sense of referential listening and just enjoy the sounds in space (as is, of course, possible in any sequence).
A political section comes next focused on fake news and controversial government statements regarding covid. One of my favorite lines in the piece is included: “I am confident and convinced that three people are in charge of the pandemic in this country. … The Father, the son, and the holy spirit.” No surrealism was needed to be added!
As this section is one of the most controversial, again some calm and comic relief is the antidote or contrast and it is here that a segment from that old Cuban comedy program is heard. Followed by a bridge in which family members appear to be having trouble communicating with each other online (everyone has experienced that), the final sequence launches with separate sample texts, including afternoon time calls and goodbyes, leading to the piece’s final remark which symbolizes the role of the unexpected throughout this entire piece, “Oh, stop stepping on that duck!”, the only sample that has some reverberation added. The work’s duration is 13’.
Of course, not every broadcast type can be included; still, the piece crosses generations, regions, our quotidian lives and hot political topics. It is a piece of music solely consisting of re-composed samples from Mexican broadcasts and is about our lives and the unique part of it called radio.
to end: innovative soniC samPling is for anyone
This piece and all pieces in the Radio Series are for anyone to enjoy and is related to in creasing our communities of interest (appreciation). It is, I sincerely hope, also innovative. Each piece is like an experiment to me. In On the Music of Sounds and the Music of Things Richards and I suggest that sonic sampling and DIY electronics may become forms of 21st century folk music in the sense that they are for anyone regardless of background or level and do not involve expensive equipment. Furthermore, they often involve collaboration, something trained composers normally avoid among themselves, meaning that any musician can use others’ samples, share their own, work together in workshops, and on pieces and performances. Through such collaboration these sonic approaches should increase commu nities of practice as well. Why don’t you try it yourself sometime?
[1] Étienne Wenger, Communities of Practice: Learning, Meaning and Identity. (Cam bridge: Cambridge University Press, 1998).
[2] Leigh Landy, What’s the Matter with Today’s Experimental Music? Organized Sound too Rarely Heard. (Chur: Harwood Academic, 1991 [currently NY: Routledge]).
[3] Leigh Landy, “Recomposing Sounds … and Other Things,” Organised Sound 24/2, (2019): 130-138.
[4] Freesound (n.d.) accessed 29.4.22, freesound.org.
creation, ideas and technology
el Callejón del Ruido
El Callejón del Ruido. Creación, ideas y tecnología. Resonancias e impacto (1994-2019) se terminó de imprimir en octubre de 2022 en los talleres de Custom Printing, ubicados en Azafrán 564, Col. Granjas México, Ciudad de México, Iztacalco, CP 08400. Se utilizaron tipos IbarraReal 11/13 pntos y Novecento en punta jes variados. Papel Bond 90 gr en interiores y cartulina sulfatada 14 pntos. en forros.
La edición estuvo al cuidado de Roberto Morales Manzanares Cynthia P. Villagómez Oviedo y Juan José De Giovannini
Los editores desean agradecer a la Dra. Teresita de Jesús Rendón Huerta Barrera Rectora del Campus Guanajuato de la ug el apoyo brindado para la realización de la presente publicación.