audio–v i s u a l e xperiments
// 1
relat처rio g2 anteprojeto professor jo찾o de souza leite // jo찾o costa joaopedrocosta@me.com joaopcosta.com 21 9465 5756 // 2
s á
r
Introdução
// 3
Problematização
// 4
Design – Arte
// 6
Sistemas
// 7
Som
// 19
Experimentos
// 19
Composição
// 38
Conclusão
// 40
Bibliografia
// 41
u
// 3
m i o
i n t r o d u ç ã o O projeto Klingen Grafik tem como essência gerar correspondência entre som e imagem através de limites que permitem o controle da maneira como esta representação acontece. Realizar uma transmissão intersemiótica, por um sistema, que explore o caráter essencial das linguagens sonora e visual respeitando a individualidade e as características únicas de cada uma. Pretende ainda evidenciar e questionar, durante seu desenvolvimento, a relação entre o artista e o designer contemporâneo. Trabalhando sempre nessa linha tênue traçada entre design e arte mas sem impor uma opinião pessoal, e sim, fazendo com que todo o projeto traga a tona essa questão, num tipo de ‘provocação’ conceitual. Com a incorporação de novas tecnologias como Arduino e Processing, é possível fazer com que haja uma expansão do campo de atuação do projeto, incluindo também um novo diálogo de grande importância para o processo projetual: a relação entre a tecnologia analógica e digital. Ainda que não tenha assumido nenhuma forma extremamente definida, o projeto parece caminhar para um conjunto de experimentos que se situam neste universo conceitual. Assim, mesmo não estando determinado este formato final, a geração de conteúdo se mantém em constante produção e não sofre interferência deste futuro resultado.
// 4
problema tização Estabelecendo o estudo entre duas linguagens distintas e a transferência de valores de uma para a outra, cria-se um problema: de que forma esta transmissão pode ser feita? Na história da arte e do design, esta questão já apareceu algumas vezes e diferentes soluções foram criadas a partir de interpretações das características do som e a busca de seus equivalentes na linguagem visual. Embora muitas destas soluções sejam extremamente significativas, nota-se que na maioria das vezes elas partem puramente da interpretação direta daquele que realizou o projeto. Analisando essas referências percebe-se um ponto em comum entre elas: o olhar do autor é o que guia e define a relação som – imagem. A partir dessa conclusão a motivação do projeto é propor o oposto desse tipo de método, criando uma relação som – imagem na qual a variação do primeiro irá alterar o segundo sem a ação direta da pessoa que desenvolve o projeto, ou seja, a visão pessoal do criador não é o que faz essa transferência direta de valores. E dessa forma, coloca-se a relação que é fundamental para o desenvolvimento deste projeto: a relação design – arte.
// 5
trabalhos que exploram a mĂşsica como imagem / / josef mĂźller-brockman . kiko farkas . wassily kandisky
// 6
d e s i g n – a r t e Um dos principais fatores que guia o desenvolvimento do projeto é a relação entre o artista e o designer contemporâneo. Depois de alguns anos de estudo em duas grandes instituições, uma escola de artes e outra de design, foi possível perceber a tendência da inclusão de um pensamento projetual no ambiente da arte contemporânea. É claro que a ideia de projeto sempre esteve presente, de certa forma, na arte em geral, porém o que chama a atenção é a maneira como se dá esse novo modo de pensar e, principalmente, a sua relação com o processo de projeto do design. Um fator que caracteriza este pensamento, é a ausência de uma visão subjetiva direta do criador do projeto. O autor não precisa mais se afirmar como desenvolvedor, pois sua posição não é mais importante do que o conceito que guia seu projeto. Assim, sua atuação está localizada no background, como o idealizador, e de forma alguma se faz mais importante do que a imagem projetual, mantendo o vigor e a capacidade intrínseca de existência do projeto. Dessa forma, este projeto explora a relação design – arte no âmbito do pensamento de projeto. Ou seja, por mais que alguns digam que o projeto assume um caráter mais da arte do que do design, o que está sendo explorado é a idealização de um projeto de design, e consequentemente da maneira projetual de pensar em uma solução para a problematização colocada.
// 7
s i s t e m a s A realização do projeto se dá no estudo e desenvolvimento de sistemas que podem gerar essa transmissão direta de valores. Neste momento ocorre a introdução do diálogo mencionado anteriormente entre tecnologias e ferramentas analógicas e digitais. A realização desses sistemas não tem como objetivo a obtenção de um resultado único como solução universal do problema. Pelo contrário, a variedade de experimentações é o que caracteriza o projeto como um conjunto de estudos e coloca de lado o caráter pretensioso, por se tratar de uma constante busca por respostas. A partir da análise de diversos similares, foi possível perceber até aonde foi levada essa exploração de som – imagem, e quais as ferramentas utilizadas para gerar estes sistemas. A análise dessas referências é essencial para o entendimento deste projeto e suas diferenças.
// 8
Print // Hrvoje Hirsl No trabalho Prints o artista croata Hrvoje Hirsl explora a impressão do som através de um sistema, composto por dois alto-falantes e uma chapa de acrílico. Hirsl coloca a placa de acrílico sobre os dois alto-falantes e por cima de todo o sistema, um papel em branco. Antes de emitir o som, o artista espalha sobre o papel uma camada de pó de toner. Após a preparação, ele ativa a emissão de um impulso sonoro que se mantém na mesma frequência e, durante o processo, a vibração gerada pelo som faz com que o pó se mova sobre o papel e crie texturas únicas. Algum tempo depois, Hirsl desliga o sistema e fixa o pó no papel utilizando uma lâmpada UV, e dessa forma consegue uma impressão do som. O artista, ao fazer uma descrição sobre seu trabalho faz a seguinte constatação: ‘By setting up the parameters and using the force of sound waves, the artist separates himself from expressive process of creation and limits his physical presence in the final piece.’ Ou seja, o artista propõe em seu projeto exatamente a mesma ideia que o projeto Klingen Grafik utiliza como guia para seu desenvolvimento. Ao criar um sistema, ele se separa do processo expressivo de criação, e limita sua presença física na peça final. Ou seja, em nenhum momento Hrvoje Hirsl pretende evidenciar sua individualidade no resultado, preservando assim, o vigor conceitual de sua obra.
// 9
// 10
Beat // Julio Lucio O espanhol Julio Lucio, ao contrário de Hrvoje Hirsl, trabalha com um sistema que tem como seu principal motor, a tecnologia do Arduino. Julio criou um sistema composto por um alto-falante e sensores de proximidade. Sobre este alto-falante está um certo tipo de pó. O sistema emite um som que muda de frequência a partir da proximidade do usuário com os sensores. Isso faz com que os padrões deste pó se alterem a medida que a frequência também se modifica. Neste projeto o Arduino é o intermediário de um input detectado pelos sensores de proximidade, e alteram o output que é a frequência do som, fazendo com que a os padrões e texturas do pó sejam alterados.
// 11
// 12
Estes são dois, dentre diversos outros projetos similares observados. Mas ambos já trazem assuntos que são explorados nas experimentações desse projeto, e introduzem as categorias de ferramentas que serão utilizadas. Assim, é importante dividir os sistemas entre aqueles movidos, principalmente, por tecnologias digitais e aqueles que se situam num ambiente em que as características analógicas prevalecem. Digitais As ferramentas digitais se resumem em duas tecnologias que servem de base para a criação de qualquer sistema: Arduino e Processing. Arduino é uma plataforma de prototipagem eletrônica criada para que designers e artistas possam desenvolver, rapidamente, protótipos sem a necessidade de um grande conhecimento sobre eletrônica. A placa Arduino é conectada a um computador que irá controlar seus inputs e outputs a partir do desenvolvimento de um programa que estabelece as instruções do sistema. Ela trabalha como um intermediário dessas entradas e saídas, que podem ser utilizadas de infinitas maneiras. O estudo desta plataforma teve como base dois livros, Getting Started With Arduino e Arduino Cookbook. Os livros explicam, por meio de experimentos, o funcionamento da placa e introduzem a linguagem de programação utilizada. A partir da leitura de ambos, é possível começar pequenos experimentos que utilizam sensores de movimento, luz e proximidade, dando saída a pequenos LED’s. Por mais que estes sejam experimentos pontuais, são essenciais para o entendimento do universo desta plataforma e possibilitam o diálogo com outros pesquisadores desta tecnologia. O Processing, por sua vez, não possui uma plataforma física. Se trata de uma linguagem de programação desenvolvida para as artes eletrônicas e projetos visuais. Da mesma forma que o Arduino, Processing é criado para aqueles que não possuem grande conhecimento na área de programação, e por isso é uma ferramenta que pode ser facilmente explorada paralelamente ao seu estudo. Esta linguagem, ao contrário do Arduino, possui uma grande facilidade para a criação de outputs visuais pois dá um
// 13
retorno imagético imediato no computador. Seu estudo se dá a partir da leitura do livro Processing: A Programming Handbook for Visual Designers and Artists.
Analógicos Ao contrário das ferramentas digitais, as analógicas não possuem limites estritamente definidos. A definição do que vai ser explorado em cada experimento se dá a partir das necessidades e possibilidades do mesmo. Dessa forma não existe nenhuma restrição quanto a técnica que vai ser utilizada. Mas é extremamente importante citar qual é este ambiente analógico que está sendo mencionado. As ditas ‘ferramentas analógicas’ são possíveis técnicas de reprodução imagética, como fotografia, gravura, serigrafia. São ferramentas que podem ser exploradas em um determinado suporte que sirva de registro do processo realizado pelo sistema gerado. O trabalho de Hrvoje Hirsl é um exemplo de sistema analógico. É importante lembrar que a interseção de ferramentas não só é bem-vinda como extremamente encorajada no desenvolvimento de experimentos. Por mais que alguns assumam um caráter que incline mais para algum lado, o que define essa relação é a necessidade de determinada experimentação, e não uma pré-definição do projetista. De qualquer forma, em todos os sistemas criados, existe um fator em comum: o som como input. Afinal, o som é o que deve gerar o resultado desse sistema e não o contrário, assim é preciso definir qual som será explorado em todos os projetos.
// 14
s
o
m
O estudo das possíveis ferramentas para o desenvolvimento do sistema foi essencial para a definição do som a ser utilizado. Porém, é necessário entender um pouco mais sobre as questões físicas do som e quais os aspectos que são passíveis de análise. O livro The Physics of Sound é essencial para o projeto pois explora as qualidades físicas do som de maneira clara e detalhada. Em um primeiro momento pode-se afirmar que o impulso sonoro possui alguns aspectos característicos básicos, como o formato de sua onda sonora, a frequência, o volume e o tempo. A sobreposição de diversos impulsos simples e suas respectivas alterações ao longo do tempo criam complexas malhas sonoras, como músicas. Isso gera um maior nível de dificuldade de análise dos aspectos básicos pois sua variação é constante e não pertence a um determinado impulso sonoro, e sim, à soma de vários deles. Dessa maneira, estipulou-se em um primeiro momento a utilização de impulsos sonoros mais básicos, que se mantivessem constantes durante o tempo, como o som gerado por um sintetizador, para que fosse possível validar os sistemas de forma mais controlada.
// 15
Após o estudo do impulso sonoro mais básico, foi possível desenvolver sistemas que fizessem a análise de uma complexa malha sonora, a partir de um processo físico chamado Transformada Rápida de Fourier (em inglês Fast Fourier Transform, ou simplesmente FFT). Além disso, foi explorada uma forma de detectar o toque das notas de um teclado, a partir da análise de sinais MIDI (Musical Instrument Digital Interface). A fim de entender melhor como se comportam os experimentos desenvolvidos nesse projeto, é importante entender, mesmo que de forma básica, a teoria por trás da criação. Fast Fourier Transform (FFT) A FFT é uma ferramenta muito importante quando se trabalha com som no computador. De maneira muito básica, a FFT tem o papel de transformar a onda pressurizada de som no tempo em suas respectivas frequências e amplitudes. Ou seja, o som antes de entrar no computador é simplesmente uma pressão que se propaga no ar, antes de ser digitalizada, essa onda acústica sonora é convertida em uma onda eletromagnética de som (medida em volts) , que depois se torna digital e passa a ter seus valores interpretados por números. É nesse momento que os sistemas agem, pois utilizam esses valores numéricos gerados pelo som para a criação e alteração das futuras imagens.
pressão do ar
voltagem
// 16
números
Como resultado da Transformada Rápida de Fourier, obtemos um espectro de frequências, que variam sua amplitude de acordo com os sons, de maneira que os sons mais graves equivalem às frequeências mais baixas e os agudos às mais altas.
exemplo de espectro
// 17
Utilizando a biblioteca Minim na criação dos sistemas do Processing, pode-se explorar esse espectro de FFT dividindo-o em inúmeras áreas, e obtendo como resultado a média de sua variação a cada milisegundo. Isso permite com que o som seja explorado como uma variável que pode alterar parâmetros visuais.
0
1
2
espectro dividido em 5 áreas
// 18
3
4
Musical Instrument Digital Interface (MIDI) MIDI é um tipo de mensagem que pode ser transmitida a partir de controladores para um computador. A mensagem é enviada para o receptor a partir do toque de uma tecla de determinado controlador. A mensagem MIDI transmite os valores da intensidade do toque, que varia de 0 a 127, e da posição desta nota na escala musical. Por exemplo, se a nota Dó 3 é tocada com uma grande intensidade a mensagem vai conter os valores: 48 - correspondente ao valor da nota Dó na terceira oitava do piano - e 127 - que é o valor da intensidade máxima de toque. Porém, os sinais MIDI não possuem o som que será executado. São somente os controles de toque, que acionaram uma determinada biblioteca de som que está contida no receptor desses sinais (o computador, por exemplo). Assim, para trabalhar o toque das notas juntamente com o som, é preciso utilizar o MIDI aliado à FFT.
dó / 3
36
38 40 37
39
41 42
43 45 47 48 44 46
50 52 49
// 19
51
53 54
55 57 59 56
58
e x p e r i m e n t o s Os experimentos são uma parte fundamental do Klingen Grafik. Como dito anteriormente, a ideia de um projeto experimental reforça o caráter não pretensioso do mesmo. Assim, cada uma dessas experimentações molda o projeto de uma maneira diferente, mostrando suas diversas facetas, que apesar de diferentes entre si, conversam e se unem como um único sistema.
Vídeos dos experimentos podem ser accessados no site // klingengrafik.tumblr.com
// 20
e x p e r i m e n t o 1
// 21
O primeiro experimento feito para o projeto consistiu na criação de um sistema analógico. Este era composto por um sintetizador Moog, um monitor de estúdio ativo e uma chapa de latão. O objetivo do experimento era criar uma matriz de gravura em metal a partir do som gerado pelo sintetizador. Dessa forma, a chapa de latão foi posicionada sobre o monitor e em cima desta foi despejado, na forma de um círculo, o breu (pó utilizado para a produção de retículas na matriz). O círculo foi feito para localizar a ação do som em uma determinada área da chapa. Se no futuro outras matrizesw forem geradas deve-se utilizar o mesmo método deste experimento, observando os parâmetros do Moog, o tempo de duração do som, e a posição do breu na chapa - que, ao contrário deste experimento, deve estar em um formato quadrado que não prevaleça nenhum sentido (horizontal ou vertical) -.
// 22
e x p e r i m e n t o 2
// 23
O experimento 2 foi o primeiro criado com o Processing. A partir de um controlador MIDI, triângulos são desenhados na tela enquanto uma música é tocada. Os vértices do triângulo são controlados pela intensidade do toque e pela posição da nota no teclado. A partir da média geral do espectro do FFT, a opacidade da linha do triângulo é alterada. O rastro criado ao decorrer da música é de extremo interesse visual e atua como um registro daquilo que foi e está sendo tocado. Nenhum dos parâmetros do triângulo é definido de forma aleatória. Cada mínima alteração é gerada pelo som, ou pelo toque de determinada tecla.
// 24
// 25
e x p e r i m e n t o 3
// 26
O experimento 3 assim como o anterior, acontece no Processing. Da mesma forma que o experimento 2, este cria triângulos que tem seus vértices controlados por sinais MIDI. Porém, ao contrário do anterior, ele não apresenta as formas apenas com contorno. Nesse experimento, a análise da FFT altera a cor do preenchimento deste triângulo, que agora não deixa mais rastros. As imagens, assim como o som são efêmeras e não deixam qualquer forma de registro. Da mesma forma que a música, o triângulo se altera a cada segundo, trazendo a delicadeza de cada instante sonoro.
// 27
e x p e r i m e n t o 4
// 28
Neste estudo, a estrutura de funcionamento continua a mesma, porém a parte imagética se altera significativamente. Conforme uma música é tocada, linhas que compartilham o mesmo ponto central são criadas, trazendo novamente um registro da música que, dessa vez, desaparece gradualmente. A posição da extremidade que não está fixada no centro da tela, é determinada a partir dos sinais MIDI e sua opacidade pela FFT.
// 29
e x p e r i m e n t o 5
// 30
Ao contrário dos anteriores, este experimento não se baseia no toque por meio de sinais MIDI. É feita um análise a partir da Fast Fourier Transform (FFT) da música que está tocando, podendo ser qualquer uma. Cada linha, de cada módulo, representa uma parte do espectro total da música que foi dividido em vinte partes. A média do valor de cada uma dessas áreas é responsável pela opacidade da linha.
Observa-se que músicas com mais texturas, e com uma composição mais detalhada são melhor visualizadas nessa representação.
// 31
e x p e r i m e n t o 6
// 32
Nessa nova reprodução, o background apresenta uma composição baseada no trabalho Musica Viva, de Josef Müller-Brockmann. A tentativa foi de pegar o cartaz de Brockmann e associá-lo às faixas do espectro do FFT para que elas se movimentassem de acordo com a música. Assim como no experimento #5, cada faixa de frequência foi relacionada à um círculo. Dessa forma, quanto maior a média de frequência, maior será a extensão da faixa, assim como sua opacidade.
// 33
Cartaz de Josef M端leler-Brockmann usado como base para o experimento
// 34
e x p e r i m e n t o 7
// 35
O experimento 7 consiste na criação de uma malha de pontos que tem sua posição randômica alterada pela análise FFT de uma música. A quantidade de pontos, assim como a extensão da malha é influenciada diretamente pelo som que está sendo analisado. Este experimento é melhor visualizado em movimento, por isso sua representação em imagens estáticas pode não ser muito clara.
// 36
e x p e r i m e n t o 8
O experimento 8 ainda está em processo de construção. Consiste na soma do Processing com Arduino e apresenta um caráter ‘semi-analógica’ pois trabalho com um instrumento acústico real como base de informações. A partir de dez sensores Piezoelétricos – sensores de pressão e vibração – que são interpretados pelo Arduino, imagens se formam na interface do Processing de acordo com as alterações da intensidade da vibração. Os sensores são colocados em diferentes partes da caixa acústica de um piano. Conforme uma música é tocada neste instrumento, o nível de vibração em cada sensor vária de acordo com a frequência da nota, ou notas, que estão sendo tocadas. Cada par de sensores corresponde a posição X e Y de um vértice da forma geométrica formada – um pentágono –, que se altera no decorrer do tempo.
// 37
c o m p o s i ç ã o Depois da realização desses experimentos iniciais, pode-se chegar à algumas conclusões muito importantes para o decorrer do projeto. Observa-se que a música a ser analisada é essencial para o comportamento adequado do sistema. Dessa forma, as músicas que possuem uma maior textura sonora e maior dinâmica de som fazem com que os sistemas se comportem de maneira mais clara, inesperada e surpreendente. Assim, vê-se a necessidade de músicas e sons que, assim como seus equivalentes imagéticos, sejam criados com o intuito de sofrer uma transferência desse tipo. E é por isso que se consolida, cada vez mais, a ideia da criação e composição de sons que se adequem ao projeto. Compor especificamente para o projeto reforça ainda mais o lado conceitual dele. Em última análise, as composições criadas serão concebidas com o objetivo final de serem representadas por imagens e assim, por não se tratar de sons de outras pessoas, não abrem margem para a afirmação de uma interpretação subjetiva. Os sons criados para o Klingen Grafik tem como objetivo a não evidência de autoria ao dissolvê-la no processo de desenvolvimento.
// 38
As composições se tornam mais fortes a medida que as faixas que as compõem podem ser exploradas individualmente. Ou seja, ao invés de trabalhar uma malha sonora já estabelecida, pode-se investigar cada som que compõe essa malha, e dessa maneira estabelcer também uma composição gráfica. Ambos os processos, então, correm em paralelo, com um desenvolvimento extremamente parecido, explorando-se suas equivalências e mantendo suas características individuais. Em suma, a ideia de uma composição sonora em paralelo com uma composição gráfica fortalece de maneira prática e conceitual um projeto que trabalha no âmbito dessa relação. A ánalise de fatores de design como, contraste, ritmo, sobreposição, entre outros, pode ser relacionada da mesma forma no ambiente sonoro, trazendo resultados mais específicos e coerentes.
// 39
c o n c l u s ã o Durante a leitura dos livros sobre Arduino, um conceito muito interessante foi evidenciado: o conceito de Tinkering. Uma definição dada para este conceito está presente no livro Getting Started With Arduino: ‘Tinkering is what happens when you try something you don’t quite know how to do, guided by whim, imagination, and curiosity. When you tinker, there are no instructions–but there are also no failures, no right or wrong ways of doing things. It’s about figuring out how things work and reworking them.’ O processo contínuo de experimentação respira esse conceito e conduz o projeto para um caminho que, por mais incerto que seja, é o que mantém a beleza do acaso. Assim como a ideia de uma paralela composição gráfica e sonora é também uma forma de reforçar a identidade experimental. Por fim, o projeto Klingen Grafik assume esse caráter de ‘Tinkerer’, ou seja, não existe uma forma certa de desenvolver esse projeto, não existe certo ou errado e não existem instruções. Todo o projeto é uma grande experimentação, movida pela curiosidade de investigação e pela relação com o processo projetual.
// 40
b i b l i o g r a f i a Livros FOSTER, Hal. Design and Crime (And Other Diatribes). Londres: Verso, 2002. 176 pp. CARDOSO, Rafael. Design para um mundo complexo. São Paulo: Cosac Naify, 2012. 264 pp. FARKAS, Kiko. Cartazes musicais; musical posters. São Paulo: Cosc Naify, 2009. 156pp. PURCELL, Kerry W. Josef Müller-Brockmann. Londres: Phaidon, 2006. 292 pp BANZI, Massimo. Getting Started with Arduino. E.U.A.: O’Reilly, 2011. 118 pp BERG, Richard E. / STORK, David G. The Physics of Sound. E.U.A.: Pearson Prentice Hall, 2005. 398 pp.
// 41
REAS, Casey / FRY, Ben. Processing: a Programming Handbook for Visual Designers and Artists. E.U.A.: MIT, 2007. 710 pp MARGOLIS, Michael. Arduino Cookbook. E.U.A.: O’Reilly, 2011. 704 pp Sites Hrvoje Hirsl hrvojehirsl.com Julio Lucio juliolucio.com Arduino arduino.cc Processing processing.org Peter Crawley petercrawley.co.uk Julius Von Bismarck juliusvonbismarck.com Videos vimeo.com/15106727 Reflection II por A N F vimeo.com/49484255 An Instrument For Sonification Of Everyday Things por Dennis P Paul
// 42
vimeo.com/65475425 Oscillate por Daniel Serra vimeo.com/54882144 Firewall por Aaron Sherwood vimeo.com/64188256 SONOS PLAYGROUND DECONSTRUCTED Museum Of The Moving Image por aramique vimeo.com/67177328 Silk Pavilion por Mediated Matter Group MĂşsica Flying Lotus Alva Noto + Ryuichi Sakamoto James Blake
// 43