ANDRÉ MENKS CAROLINA ABREU LUIS M CORDEIRO
New Object()
The Subject as an object
Barcelona 2006
New Object() The subject as an object
ANDRÉ MENKS CAROLINA ABREU LUIS M CORDEIRO
New Object()
The Subject as an object
Memória da peça interactiva realizada no âmbito do Master em Criação e Design de Sistemas Interactivos organizado pelo MECAD\Media Centre d’Art i Disseny, centro associado da Escola Superior de Disseny (Universidade Ramon Llull).
Barcelona 2006
|2
New Object() The subject as an object
Há mil razões para que o cérebro humano se feche, só estendeu as mãos até tocar o vidro, sabia que sua imagem estava ali a olhá-lo, a imagem via-o a ele, ele não via a imagem. José Saramago in Ensaio sobre a Cegueira
|3
Agradecimentos Com muita consideração e honestidade, gostaríamos de dar um agradecimento muito especial ao Carlos Gomez por todas as portas que nos abriu e todo o auxílio prestado para que fosse possível realizar esta obra. Agradecemos, também, a todos os nossos tutores: Claudia Giannetti, Manuel Berenger, Ivan Marino, Eugénio Tisselli e Josema Uros. Mas também a todos aqueles, que sem terem qualquer relação com este projecto, estiveram connosco quando precisamos: Oswaldo Menks por toda a assistência prestada, ao mestre Helder Dias da Universidade Católica Portuguesa pelas dicas teóricas, ao Giani Brito pela dica engenhosa, ao Ricardo Duque do CCCB por toda a simpatia, ao Alex Posada do Hangar por toda a disponibilidade e a todos os que indirectamente nos ajudaram a acreditar nisto até ao fim. Ainda um agradecimento muito caloroso à Judith Pueyo pela dedicação especial que teve por cada um de nós. E Por fim, um agradecimento muito sincero a todos os colegas que partilharam connosco um desafio comum e que nos deram carinho e alegria para lutarmos até ao fim. Cumprimentos a todos os de Interactivos e de Comissariado! André Menks: Agradecimentos para meu irmão Oswaldo Luis Menks Ribeiro, Carolina Dimitrov e à minha família que me incentivou a atravessar o Atlântico. Carolina Abreu: Dedico todo o meu investimento neste projecto, ao meu pai. Luis Cordeiro: Agradecimento especial ao meu ex-professor Dr. Steve Jones pelas palavras que jamais esqueci: "(...) you have suffered some lack of comprehension and feedback but you must learn from the experience that this is what it feels like to be ahead of the curve - lonely (...)", à minha família, aos meus colegas André e Carolina, à nossa assistente brilhante Carolina Dimitrov e, por fim, ao Dr. Bruno Carvalho, director da Fubu Publishers, por ter acreditado em mim. Foi uma honra!
New Object() The subject as an object
Abstract
Interactive installation based on sound immersion of an observer/user within an acoustic space. When an observer enters the space of the installation, immediately starts to be followed by a sound projection of his own steps – on his back. Simultaneously he will have other acoustic stimulations composing a sound landscape whose elements will be fixed to the observer’s referential. In determined moments a sound effect proceeding from the back of the observer can be heard, taking him, during some moments, to try a new sensation: he will be projected to the inside of one of the objects of the sound landscape, while continues to hear his own steps that remain fixed to the initial referential – far away from his perception.
|5
New Object() The subject as an object
Resumo
Instalação interactiva que propõe uma imersão sonora do observador no espaço. Quando um observador entra no espaço da instalação, imediatamente passa a ser seguido por uma projecção sonora dos seus próprios passos, que está posicionada espacialmente nas suas costas. Simultaneamente haverá outros estímulos acústicos compondo uma paisagem sonora cujos elementos estarão fixos ao referencial do observador no espaço. Em determinados momentos pode-se ouvir um efeito sonoro proveniente das costas do observador levando-o, nos momentos seguintes, a experimentar uma nova sensação: é projectado para dentro de um dos objectos da paisagem sonora, enquanto continua a ouvir os seus passos que permanecem fixos no referencial inicial.
|6
New Object() The subject as an object
Palavras-Chave
Instalação Interactiva Avatar Realidade Virtual Espacialização do Som Ambisonic Endoestética Endo-física Sombra Sonora
|7
New Object() The subject as an object
Índice Índice do CD-ROM Teoria e conceito Técnicas Outros Projectos Desenvolvimento tecnológico Aplicações Documentos anteriores Lista de figuras Lista de abreviaturas e siglas 1. Motivação 2. Objectivos 3. Descrição detalhada 3.1 Espaço 3.2 A interactividade 3.2.1 A experiência empírica 3.2.2 Diagrama de interactividade 3.2.3 Experiências 3.2.4 Rastreio da posição do utilizador 3.3 “Sombra Sonora” 3.4 Paisagens sonoras 3.4.1 Ambiências sonoras 3.4.2 Objectos sonoros 4. Memória Conceptual 4.1 A ideia 4.2 Contextualização histórica 4.3 Crítica à representação visual 4.4 Percepção auditiva 4.4.1 O som 4.4.2 Espacialização do som 4.4.3 Do Surround ao Ambisonic 4.5 A tangibilidade no virtual 4.6 Estética sonora 4.6.1 O silêncio é relativo e incómodo
15 16 17 17 18 20 21 22 24 24 26 26 27 29 29 31 32 34 35 35 37 38 42 42
|8
New Object() The subject as an object
4.6.2 Necessitamos de percepcionar determinados tipos de vibrações 43 4.6.3 Entre John Cage e Murray Shafer 44 4.6.4 Imagem mental que concebemos do que ouvimos 46 5. Memória Técnica 48 5.1 Interfaces físicas 48 5.1.1 Grelha de sensores de contacto 49 5.1.2 Interface de distribuição 50 5.1.3 Interface de controlo 51 5.1.4 Interface de som 52 5.1.5 Altifalantes 52 5.1.6 Unidade de processamento 53
6. 7. 8. 9.
5.1.7 Guia luminosa 54 5.2 Rastreio da posição do utilizador 5.2.1 Captura de vídeo 5.2.2 Análise de vídeo 5.2.3 Funcionamento 5.3 Gravação de som 5.4 Captura de passos 5.5 Síntese de paisagens sonoras 5.6 Espacialização do som 5.6.1 Implementação 5.6.2 Configuração 5.7 Técnicas não utilizadas 5.7.1 Sistema de rastreio da posição do utilizador por sonar Orçamento Colaboradores e consultores Referencias Biografia dos autores 9.1 André Menks 9.2 Carolina Abreu 9.3 Luis M Cordeiro
|9
New Object() The subject as an object
Índice do CD-ROM 1. Teoria e conceito 2. Estética Sonora 3. Interactividade 4. Técnica 5. Psicoacústica e espacialização sonora 6. Outros Projectos 7. Desenvolvimento tecnológico 8. Aplicações 9. Memória final 10. Fotografias de imprensa 11. Sons 12. Documentos anteriores 13. Autores 14. Website
| 10
New Object() The subject as an object
Lista de figuras
Fig. 1 – Comportamentos da interactividade Fig. 2 – Interfaces Fig. 3 - Objectos sonoros espacializados Fig. 4 - Objectos sonoros em deslocação com o utilizador Fig. 5 – Experiência acústica de um dos objectos da paisagem sonora Fig. 6 - Representação da sombra sonora Fig. 7 – Verso de um módulo de tapete Fig. 8 – Zona de contacto de um módulo de tapete Fig. 9 – Matriz da interface de distribuição Fig. 10 – Interior da interface de controlo Fig. 11 – Micro-controlador Arduino Fig. 12 – Interface de som Fig. 13 – Altifalantes Fig. 14 – Configuração dos altifalantes Fig. 15 – Laptop Fig. 16 – Protótipo do espaço de interacção Fig. 17 – Sensor de contacto preso a um módulo de tapete Fig. 18 – Arruelas Fig. 19 – Interior de um sensor de contacto Fig. 20 – Sensor de contacto a ser pressionado
| 11
New Object() The subject as an object
Fig. 21 – Sensor de contacto Fig. 22 – Molde ou Gabarito Fig. 23 – Nomenclatura dos 25 módulos de tapete Fig. 24 – Distribuição de cada sensor no verso de cada módulo de tapete Fig. 25 – Zona de cada módulo de tapete Fig. 26 – Tabela que ilustra a quantidade de cabo plano necessário para cada módulo de tapete Fig. 27 - Configuração dos cabos planos Fig. 28 – Arruelas com os cabos de distribuição Fig. 29 – Sensor no estado inicial/Sensor pressionado Fig. 30 – Conector do cabo plano Fig. 31 – Correspondência de cada um dos fios do cabo plano à combinação binária que deve assumir Fig. 32 – Tabela de conflitos entre dois sensores Fig. 33 – Tabela de conflitos entre mais de 2 sensores Fig. 34 – Diagrama da interface sonora Fig. 35 – Área de cobertura dos feixes dos sensores ultra-sónicos Fig. 36 – Cálculo da distância entre o utilizador e o emissor de ultra-son Fig. 37 – Posição da webcam no tecto Fig. 38 – Captura de 4 frames da deslocação do utilizador Fig. 39 – Conversão do sinal RGB a cores para escalas de cinza Fig. 40 – Background Subtraction + Frame Differencing
| 12
New Object() The subject as an object
Lista de abreviaturas e siglas 2D – Duas dimensões 3D – Três dimensões Ambisonic – algoritmo auditivo de espacialização sonora ATI Mobility Radeon – Placa gráfica de um computador ATF – Anatomic Transfer Function (Função de transferência anatómica) buffer – memória usada para dados que ficam guardados temporariamente delay – refere-se ao atraso na linha temporal de uma amostra sonora drivers – ficheiro de dados binários que permite as ligações de entrada e saída de um interface físico ou dispositivo virtual do computador Firewire – Cabo de transferência rápida de dados entre interfaces Fps – frames per second (número de frames que existe num segundo de amostra de vídeo ou gráficos computacionais) frame – imagem parada de uma sequência de imagens de vídeo GB – Gigabyte (um milhão de bytes – refere-se à quantificação de informação na memória RAM ou no disco duro) Genelec – Marca de altifalantes de audio Ghz – Gigahertz, (um milhão de Hz – aplicado à medição da velocidade dos processadores) GNU - General Public Licence – Licença de software livre para uso publico não comercial. HCI – Human-Computer Interaction (interactividade entre homem e máquina) Hi-fi – High-fidelity, (sistema electrónico para reproduzir som de altafidelidade) | 13
New Object() The subject as an object
HRTF – Head-related transfer function (Função de espacialização do som)
Hz – Hertz (unidade de frequência) IID – Interaural Intesity Difference (Diferença de intensidade Interaural) Intel Centrino – Unidade de processamento de computadores portáteis IRC – Internet Relay Chat (primeiras salas de conversação no ciberespaço) ITD – Interaural Time Difference (Diferença de tempo interaural) LED – Light Emitting Diode (dispositivo semiconductor que emite luz policromática) loop – refere-se a um ciclo infinito da mesma condição m – metro (unidade de longitude do Sistema Internacional de Unidades) mixer – misturador MOTU – “Mark of the Unicorn”, uma marca profissional de hardware e software de áudio patch – refere-se a um bloco de programação de MaxMSP Pixel – unidade básica de composição de uma imagem no ecrã de televisão, monitor de computador ou aparelho semelhante PCM – Pulse Code Modulation, (refere-se a ficheiros de áudio digital sem compressão) PZM – Pressure Zone Microphone (ou sensores de vibração) RAM – Random Acess Memory (Memória temporária do computador) sonar – sistema de detecção de movimento, distância ou presença através da emissão de ultra-sons
| 14
New Object() The subject as an object
threshold – nível máximo de natureza abstracto usado para limitar ou definir uma barreira numa medição de valores
USB – Universal Serial Bus (cabo de ligação ao PC) Virtual Surround – sistema de áudio que cria a percepção de que há mais fontes de som para além das que estão presentes. VR – Virtual Reality (realidade virtual) webcam – câmara de filmar de baixo rendimento utilizado em vídeoconferência ou em conversação vídeo na Internet Windows XP SP2 – Sistema operativo X,Y,Z – Eixos das coordenadas
| 15
New Object() The subject as an object
1. Motivação Esta peça foi concebida no âmbito do Master em Criação e Design de Sistemas Interactivos organizado pelo MECAD1\Media Centre d’Art i Disseny da Escola Superior de Disseny – Universidade Ramom Llull. Neste contexto, o desafio proposto para projecto final visava a criação de uma peça que, quer do ponto de vista teórico como técnico, aplicasse os novos conhecimentos adquiridos, bem como sustentasse a experiência individual de cada um dos elementos da equipa de trabalho. Neste sentido, procurou-se não apenas desenvolver uma peça que fosse fruto da aprendizagem que, por sinal, está mais vocacionada para o mundo da representação visual, mas que também pudesse entrar em mundos mais desconhecidos de forma a que o objecto desta peça fosse não apenas uma aplicação de conhecimentos, mas também ele um processo de investigação e aprendizagem cientifica, estética e teórica. Julgamos que é esta a componente central que está por de trás da motivação desta equipa de trabalho – ir mais além do conhecimento adquirido explorando outras formas de interactividade e, ao mesmo tempo, articular o conceito estético desenvolvido com as componentes teóricas aprendidas durante as aulas.
1
Website: http://www.mecad.org
| 16
New Object() The subject as an object
2. Objectivos O objectivo desta obra é propor ao utilizador, num contexto de realidade virtual, uma experiência de inversão de papéis entre o observador e o avatar2, na qual o utilizador é colocado na posição do avatar, enquanto que uma projecção sonora dos seus próprios passos parece controlar a experiência. Este tipo de inversão torna-se possível no universo sonoro, ao contrário do que ocorre no visual, devido à omni-direccionalidade da percepção auditiva. Este desenvolvimento encontra-se também de acordo com uma das propostas de Rejane Cantoni (2001: 33): “(...) Enquanto os sistemas de realidade virtual tentam criar um ‘mundo’ dentro de um computador – por meio de um tremendo aparato que simula o mundo físico – uma outra abordagem tecnológica ‘oposta’ visa uma cobertura de espaço virtual, incluindo um domínio ciber-espacial, ao mundo que já se encontra ali. (...)”
2
Em computação, Avatar é a representação gráfica de um utilizador em realidade virtual, jogos ou outros ambientes interactivos como fóruns e salas de chat. De acordo com a tecnologia, pode variar de um sofisticado modelo 3D até um simples ícone. 3 "Bodyarchitecture: the Evolution of Interface towards Ambient Intelligence"Disponível em: http://www.vepsy.com/communication/book5/11_AMI_Cantoni.pdf (Acedido em 03-07-2006);
| 17
New Object() The subject as an object
3. Descrição detalhada Alguns elementos conceptuais e/ou estéticos desta obra devem ser analisados detalhadamente devido à sua importância objectiva que têm na experimentação do utilizador: o espaço, e as suas características únicas que possibilitam a interacção; a interactividade, e os processos que lhe estão subjacentes; o conceito de sombra sonora, e o que ele envolve quer técnica, quer conceptualmente; e finalmente as paisagens sonoras, e a forma como estão constituídas.
3.1. O espaço O espaço da instalação estará composto pelos seguintes objectos:
25 Módulos independentes de tapete que formam um tapete grande de 25m2;
8 Altifalantes;
4 linhas luminosas constituídas por LED’s.
1 interface de distribuição situada a um metro do tapete;
Existem várias configurações possíveis para a montagem da instalação no espaço. Contudo, certas linhas de referência são obrigatórias para que, do ponto de vista tecnológico, funcione: a) O espaço deve estar escuro; b) Não podem existir elementos luminosos dentro da sala para além dos que pertencem à estética da obra; c) Os altifalantes têm de estar a distâncias iguais entre eles e em simetria; d) A altura dos altifalantes ao chão tem de corresponder à altura média da cabeça do utilizador ao chão; e) A área de interacção tem de corresponder a 5mx5m (25m2); f) O espaço tem de estar fechado; | 18
New Object() The subject as an object
g) As paredes e tecto não podem ser de materiais muito reflectivos ao som como o metal, a pedra ou o vidro; h) O espaço de interacção não pode conter nenhum elemento distractivo como posters, fotografias, desenhos, signos, etc. i) O espaço de interacção não pode conter qualquer objecto físico na área de deslocamento do utilizador; j) O espaço não deve conter janelas, e quando as tiver, devem estar tapadas com uma cortina preta; k) O equipamento de processamento (computador, amplificador e placa de som) não deve estar no interior do espaço; l) A montagem dos módulos de tapete tem de ser executada conforme a configuração definida pelos autores; m) Os cabos que saiem dos módulos de tapete devem ser todos fixos ao chão utilizando fita adesiva; n) A interface de distribuição deve estar o mais afastada possível do tapete.
3.2. A interactividade Tal como Winkler propõe em Audience Participation and Response in Movement-Sensing Installations4 (Winkler, 2000: 3), uma instalação encerrada num espaço fechado onde a participação seja limitada, promove a reflexão e a experiência intima, ideia que sustenta todo o processo de interactividade desenhado para que a experiência em new Object() se realize. Assim, nesta peça, a interactividade está de acordo com os seguintes princípios que devem ser definidos numa instalação que propõe uma comunicação do tipo HCI (Human-Computer Interaction):
4
“Audience Participation and Response in Movement-Sensing Installations” disponível em: http://www.brown.edu/Departments/Music/sites/winkler//papers/Audience_Participation_2000.pdf (Acedido em 04-07-2006)
| 19
New Object() The subject as an object
a) Experiência individual – a peça está desenhada para apenas um utilizador à vez dentro do espaço de interacção; b) Experiência única – cada utilizador terá uma experiência diferente pois nunca as paisagens sonoras serão iguais de utilizador para utilizador, nem tão pouco a disposição dos objectos sonoros no espaço perceptivo será igual de interacção para interacção; c) Experiência empírica – a interactividade desta peça pressupõe
que o utilizador entre no espaço sem qualquer ideia do que vá suceder. Toda a aprendizagem a que será submetido será de carácter empírico na medida em que é uma experiência orientada aos sentidos – concebida para ter essa característica uma vez que a “interactividade é a produção de pensamentos subjectivos, mas também se pode dizer que existem estruturas empíricas prévias e independentes aos modelos de interactividade criados pelos artistas” (Smith, 2000: 8)5; d) Interactividade
mediada – A interface mediadora da interactividade física será a máquina (computador), contudo a sua presença no domínio estético será caracterizado pela transparência, ou seja, a experiência será apenas de domínio sonoro (físico/real), e todos os dispositivos electrónicos não terão qualquer relevância na estética da obra – pretende-se mesmo que com a ausência de luz na sala, a sua presença não seja notada. A mediação por meios digitais existe, mas não se pretende que seja parte integrante da estética. A obra é apenas uma experiência acústica no domínio físico;
e) Comunicação por comportamento espacial (Spatial Behaviour – Fiske, 1982) e Proximal6 (Proexemics – Fiske, 1982) – interactividade baseada em comunicação não-verbal que consiste na proximidade, orientação, comportamento territorial, 5
"How do we Recognize Interactivity” disponível em: http://research.it.uts.edu.au/creative/interaction/papers/interaction04_28.pdf (Acedido em 04-07-2006); 6 Proximal refere-se a algo situado em direcção ao centro do corpo ou próximo da origem dos membros;
| 20
New Object() The subject as an object
e movimento (locomoção) numa configuração espacial física incluindo acções relacionadas com o uso do espaço pessoal; f) Relação síncrona com o utilizador – existe um processo sincronizado entre as acções do utilizador e as reacções do espaço acústico;
3.2.1. A experiência empírica Existem 4 aprendizagens no processo de interactividade que terão de ser assimilados pelo utilizador: i.
A acção do utilizador com a reacção da sombra sonora;
ii.
A acção do utilizador com a reacção dos objectos sonoros;
iii.
A reacção dos objectos sonoros depois da acção da sombra sonora;
iv.
A incapacidade do utilizador em se aproximar de qualquer som.
Cada utilizador que entre no espaço terá uma experiência diferente, a paisagem sonora será composta por diferentes objectos sonoros em posições diferentes relativamente à percepção do utilizador. O tempo previsto de duração da experiência de um utilizador será de 5 minutos, dependendo dos factores pessoais7 (Winkler, 2000: 2)8 de cada indivíduo, tal como descreve Winkler.
3.2.2. Diagrama de interactividade
7
Factores pessoais - “(…) é a area mais dificil para os artistas preverem e influenciarem, (…) Além do controlo da instalação o artista tem de lidar com o estado de espírito da pessoa, o seu gosto musical, interesse na tecnologia, ou no conhecimento e nível requerido para participar e entender a instalação. (…) Contudo, conhecendo a audiência, alguns potenciais problemas podem ser solucionados no desenho e apresentação da instalação.(…)” (Winkler, 2000: 2) 8 “Audience Participation and Response in Movement-Sensing Installations” disponível em: http://www.brown.edu/Departments/Music/sites/winkler//papers/Audience_Participation_2000.pdf (Acedido em 05-07-2006);
| 21
New Object() The subject as an object
O diagrama seguinte mostra o processo de comunicação entre cada uma das instâncias: utilizador, sombra sonora e paisagem sonora (a soma de todos os objectos sonoros):
Fig. 1 – Comportamentos da interactividade
O utilizador possui uma comunicação bidireccional com a sombra sonora (interactividade directa): a sombra sonora reage ao movimento do utilizador, e o utilizador tem consciência disso. A paisagem sonora tem uma comunicação unidireccional com o utilizador (interactividade indirecta): ela mexe-se de acordo com a posição do utilizador do ponto de vista perceptual. O utilizador não consegue controlar essa situação. A sombra sonora, por sua vez, possui uma relação indirecta com a paisagem sonora. Ela mexe-se no seu interior sem qualquer reacção desta.
| 22
New Object() The subject as an object
Fig. 2 - Interfaces
A deslocação do utilizador e a captura dos seus passos são rastreados pela teia de sensores de contacto, que enviam dados para a unidade de processamento (UP). Depois de gerar a posição de cada objecto sonoro, o sistema de renderização projecta 8 sinais de áudio para os dispositivos de saída. O som é projectado para o utilizador através de 8 altifalantes que se encontram dentro do espaço. Este processo actua como um ciclo infinito apenas cessado pela ausência do utilizador no espaço.
3.2.3. Experiências a) Estado inicial Quando o utilizador entra no espaço gera-se uma paisagem sonora que é constituída por diversos objectos sonoros colocados em diferentes posições para a percepção auditiva do utilizador (círculos pretos). Fig. 3 - Objectos sonoros espacializados
| 23
New Object() The subject as an object
Um dos objectos da paisagem sonora terá um comportamento diferente dos restantes: posiciona-se nas costas do utilizador e segue-o por todo o espaço – chama-se a este objecto de “sombra sonora” (circulo branco). b) Primeiras experiências A movimentação do utilizador, do ponto de vista da percepção auditiva, é inútil uma vez que a paisagem sonora movimentar-se-á de acordo com o movimento do utilizador. A aproximação física do utilizador a um objecto sonoro resultará no afastamento físico do som, de modo a Fig. 4 - Objectos sonoros em compensar a aproximação do deslocação com o utilizador utilizador e manter a mesma distância perceptiva. É impossível para o utilizador se aproximar de um objecto sonoro através da sua própria acção. c) Clímax A sombra sonora projecta um estímulo de tipo acústico: o utilizador ouve um som vindo da mesma posição da sombra sonora. Depois do estímulo, realiza-se uma acção que resulta na aproximação de um dos objectos da paisagem sonora ao utilizador. Apesar da aproximação de um dos objectos sonoros, o utilizador pode ainda ouvir a sua sombra sonora, agora distante de si e, eventualmente, alguns dos restantes objectos sonoros.
Fig. 5 – Experiência acústica de um dos objectos da paisagem sonora
| 24
New Object() The subject as an object
d) Normalização O utilizador sente um afastamento do objecto sonoro, regressando à mesma experiência auditiva: um conjunto de objectos sonoros e a sua sombra sonora nas suas costas a seguílo.
3.2.4. Rastreio da posição do utilizador O sistema de rastreio da posição do utilizador é dispositivo principal de entrada para o processo de interactividade. Com os dados recebidos por esta estrutura, definem-se vários componentes da interactividade:
Detecção da presença do utilizador no espaço;
Arranque da sonorização do espaço;
A posição da sombra sonora que segue o deslocamento do utilizador no espaço;
O comportamento da sombra sonora;
A espacialização do som será o resultado de equações matemáticas que resultam da posição do utilizador.
3.3. “Sombra Sonora” Esta instalação está baseada num ambiente provido de som espacializado. Ou seja, dentro deste ambiente podemos posicionar e movimentar objectos sonoros com um grau de precisão proporcional ao número e a qualidade de caixas de som utilizadas. Outra característica fundamental desta instalação é o sistema de posicionamento que permite aos diversos algoritmos presentes no software receberem, em tempo real, informações a respeito da posição do utilizador. De acordo com Gianetti (2004: 3)9: 9
“Endo-Aesthetics: From ontological discourse to systemic argumentation” disponível em http://netart.incubadora.fapesp.br/portal/referencias/endoaesthetics.pdf (Acedido em 05-07-2006)
| 25
New Object() The subject as an object
"A busca por reciprocidade interna entre o utilizador e a obra é uma das áreas de pesquisa mais importantes da media art. Os impulsos iniciais vieram da invenção de tecnologias de visualização de informação digital e de sistemas de imersão permitindo um alto nível de feedback e um relacionamento expandido entre o observador e o sistema.”
Tendo em mente estes três factores criamos o conceito de sombra sonora, ou seja, os sons gerados pelo utilizador são constantemente posicionados de modo a segui-lo durante sua trajectória dentro da instalação. Num primeiro momento imaginamos a captação de Fig. 6 - Representação da sombra sonora ruídos corpóreos como os batimentos cardíacos, ou o roçar das roupas. No entanto, a captação destes sons só seria possível colocando-se algum dispositivo físico directamente no corpo do utilizador; e em prol da usabilidade da instalação optamos por abrir mão de qualquer tipo de aparato que necessitasse ser previamente colocado. E, desse modo, elegemos a captação dos sons dos passos do utilizador para a projecção sonora. Ainda de acordo com Giannetti [mesma citação anterior]: “Em obras interactivas deste tipo a estética de simulação é muito proximamente relacionada à endo-estética: o utilizador cumpre uma função na obra; compartilha uma experiência espaço-temporal no ‘interior’ do sistema; a obra manifesta-se como uma simulação de um mundo especial, como um ‘endosistema’.” Desse modo, uma das percepções que o utilizador tem dentro da instalação é a de estar a ser seguido "sonoramente" por seus próprios passos.
| 26
New Object() The subject as an object
3.4. Paisagens sonoras As paisagens sonoras que se geram no ambiente acústico da obra foram concebidas a partir de alguns conceitos orientadores:
Tacto.
Atrito.
Textura.
Estes 3 conceitos surgem a partir da necessidade de se atingir uma natureza estética na obra que sustentasse os principais objectivos conceptuais. E, neste contexto, o tacto, o atrito e a textura são propriedades de difícil representação num universo virtual. São qualidades sonoras a explorar que permitem sensações acústicas abstractas e propulsoras de reacções sinestésicas. Uma paisagem sonora fundamentada em sons do tacto da mão humana (sons que ignoramos ouvir, ou simplesmente não ouvimos) transporta-nos para um outro mundo, onde aqueles pequenos sons que ignoramos se expandem e se elevam na sua grandeza. Esses sons, são representações da tangibilidade do mundo físico e são a estética sonora desta obra. Contudo, cada indivíduo/utilizador terá uma experiência única na caminhada por esta paisagem sonora, extremamente íntima e pessoal, uma vez que qualquer imagem mental que o indivíduo possa formular na sua mente em prol dos sons que ouve, será relativa. As suas sensações e reacções nunca podem ser controladas ou previstas, pois dependem naturalmente de factores psicológicos, sociais, entre outros.
3.4.1. Ambiências sonoras As ambiências sonoras servem como um fundo de um cartaz nesta paisagem sonora para que os objectos sonoros se possam destacar das vibrações mais corpóreas – as vibrações graves são as que, com mais facilidade, agitam o nosso corpo físico. Assim,
| 27
New Object() The subject as an object
estas ambiências serão gravações sonoras de espaços físicos que não se relacionam directamente com os objectos sonoros. As ambiências sonoras não são graves/sub-graves que têm, como é normal de suceder, a função de reforçar e expandir o corpo sonoro. Pelo contrário. Aqui, a ideia é inverter o papel das projecções graves e sub-graves enchendo o espaço com um ambiente acústico omnidireccional sem relação directa com os objectos sonoros que se ouvem. Alguns exemplos de ambiências sonoras que optamos por usar no nosso projecto são: a praia, o campo, a montanha, o escritório, uma avenida larga, uma pequena rua, o café, um bar, um supermercado, o aeroporto, o estúdio, a casa, a biblioteca, um salão de jogos, o shopping, o cabeleireiro, o jardim, uma estação de metro, uma lavandaria, entre outros.
3.4.2. Objectos sonoros Os objectos sonoros serão constituídos por sons de 15 a 80 segundos de duração que funcionam em loop. Estão preparados para serem espacializados de modo a que o utilizador tenha facilidade em os detectar em diferentes posições do espaço com alguma precisão. Durante a interacção, o utilizador será estimulado em simultâneo por 4 objectos sonoros, sendo que um deles, a sombra sonora será sempre igual, e os restantes 3 serão gerados no momento em que o utilizador inicie a experiência. Os 3 objectos sonoros que se geram no instante inicial, são escolhidos através de um método aleatório desenvolvido no patch que será executado no ambiente do MaxMSP. A posição onde cada um dos 3 objectos sonoros será colocado para a percepção do utilizador é, também, definido através de um método aleatório programado no mesmo patch, mas neste caso, obedecerá a regras cartesianas de distribuição espacial, ou seja, terão posições aleatórias dentro de determinadas posições | 28
New Object() The subject as an object
possíveis numa circunferência imaginária que envolve o espaço da obra. Cada um dos objectos sonoros escolhidos estará contido numa das 3 pastas disponíveis. Cada uma delas terá cerca de 20 ficheiros de áudio digital que se encaixam em 3 categorias estéticas diferentes. Os objectos sonoros estão divididos em 3 categorias:
Sons do atrito do tacto sobre superfícies;
Sons
mecânicos
de
objectos
e
ferramentas
sobre
superfícies;
Sons de atrito presentes na natureza.
A conjugação de 3 objectos sonoros de categorias estéticas diferentes gerará um universo acústico surreal e abstracto – uma experiência nova.
| 29
New Object() The subject as an object
4. Memória Conceptual Do ponto de vista teórico este projecto envolveu várias linhas de pensamento diferentes, contudo no processo de investigação esteve sempre presente uma linha de orientação: a crítica à representação visual. É também um processo de reflexão temporal, de autocrítica e de análise interpessoal. Mas com um resultado, pensamos nós, positivo, uma vez que a partir da premissa original da crítica à imagem se construiu toda uma plataforma teórica onde alguns aspectos podem ser referenciados:
Conceitos de realidade virtual;
Endoestética e as propriedades do observador;
Conceitos de paisagem sonora, objecto sonoro e “sombra sonora”;
4.1. A ideia “(…) Algoritmos determinam ambientes baseados em tipos de comportamentos mutantes, em processo de regeneração dos dados, capazes de simular novas possibilidades de percepção, de comunicação, de raciocínio e de decisão. O principio da criação é aquele da mutabilidade, da efemeridade, do vir a ser, em processos que demandam reciprocidade, colaboração, partilhas (…)” (Domingues, 2004:191)10
Este projecto pretende, em primeira instância, fazer uma crítica ao domínio da imagem como representação. A saturação da imagem no pós-modernismo, tem vindo a contribuir para uma omnipresença da representação como espaço preferido para experiências visuais, sem um questionamento prévio dessa experiência. Porque não, usarmos o som como media representativo?
10
“Ciberespaço e Rituais: Tecnologia, Antropologia e Criatividade” disponível em http://www.scielo.br/pdf/ha/v10n21/20624.pdf (Acedido em 01-07-2006)
| 30
New Object() The subject as an object
O som, como estímulo sensorial é capaz de produzir uma experiência mais rica ao utilizador, uma vez que, para além da sua capacidade de espacialização, é rico em estímulos sinestésicos11, que tem uma grande capacidade de sugerir imagens mentais, abrir maior espaço à criatividade e imaginação do utilizador porque “é uma experiência directa, irracional, não mediada pela linguagem, que parece partilhar certa similaridade com estados de consciência que a nossa cultura classificou com espirituais ou místicos” (Basbaum, 2003: 15)12 Devido a alguns elementos específicos do nosso sistema auditivo, podemos experimentar as ambiências sonoras de uma forma omnidireccional e, este facto, permite uma imersão física num universo virtual. De forma oposta, numa imersão visual, o utilizador está sempre e naturalmente limitado pelo seu ângulo visual. Nos sistemas visuais de realidade virtual, o utilizador entende a realidade a partir do ponto visual do seu avatar. A experiência que ele pode ter nessa realidade sempre depende da posição do seu avatar. Aqui apresentamos um sistema no qual se invertem os papéis do utilizador, tornando-o em avatar. Assim, o utilizador está posicionado entre o avatar e o universo virtual sonoro. Não é o utilizador, quem controla o avatar, mas, pelo contrário, é o avatar quem o conduz através das experiências sonoras no espaço. Desta forma, podemos dizer que o utilizador é um objecto no sistema, e podemos levá-lo a encontrar o intangível. O avatar é nesta experiência sonora representado por sons de passos, que são os passos do próprio utilizador. Esses passos são audíveis, e estão colocados sempre por detrás do utilizador, dando-lhe a sensação de que há mais alguém no espaço, alguém que o persegue, sendo esse alguém, o seu avatar.
11
“Na sinestesia da audição, por exemplo, a percepção de um som pode provocar uma experiência visual” (in Wikipedia - http://pt.wikipedia.org). 12 “Synesthesia and Digital Perception” disponível em http://www.musicossonia.com.br/dig_perception/syn-dig-perception_vs2.pdf (acedido em 05-07-2006)
| 31
New Object() The subject as an object
Esta experiência sonora estará dividida em duas partes, na primeira parte, sugerimos uma realidade em que o movimento do utilizador provoca um movimento de uma paisagem sonora (mundo virtual). Na segunda parte da experiência, o avatar passa a “controlar” o utilizador pelo que este último passa a ser um participante indirecto. O utilizador é guiado para uma posição privilegiada, na qual pode experimentar tudo o que era no primeiro momento, intangível.
4.2. Contextualização histórica Ao procurarmos pelos antecedentes históricos deste projecto percebemo-nos no meio de um campo muito amplo de referências, algumas originárias do trabalho e reflexão dentro do próprio campo sonoro e outras oriundas dos campos relativamente recentes da instalação e das obras interactivas. Já em 1933, Fillipo Tommaso Marinetti compôs a poesia/partitura futurista “Os silêncios falam entre si”:
“15 Segundos de silêncio puro Do ré mi de flauta 8 Segundos de silêncio puro Do ré mi de flauta 29 Segundos de silêncio puro Sol de piano Do de trompeta 40 Segundos de silêncio puro Do de trompeta güe güe güe de criança de peito 11 Segundos de silêncio puro 1 Minuto de rrrrr de motor 11 Segundos de silêncio puro oooo assombrado de menina de onze anos”
Embora o conceito de "silêncio puro" seja um tanto controverso na actualidade, fica evidenciada nesta obra a questão de se dar um tratamento diferenciado ao universo sonoro, incorporando na composição elementos alheios aos meios musicais.
| 32
New Object() The subject as an object
Já no período do pós-guerra as obras de John Cage, como “Imaginary Landscape No.4”13 (1951) e “4'33"”14 (1952) colocaram em pauta a reflexão sobre as possibilidades mais amplas do universo sonoro e a utilização de elementos aleatórios. Quanto às referências externas ao universo sonoro, gostaríamos de citar algumas das instalações de Dan Graham principalmente no modo como permitem ao utilizador realizar uma auto-observação. Em “Time Delay Room” (1974) no qual o delay de 8 segundos entre a captação e a exibição do vídeo tornava possível que o utilizador apreciasse seu próprio comportamento após este intervalo de tempo, tanto de forma isolada como em relação ao grupo social presente. Em “Present Continuous Past(s)” (1974) havia o mesmo delay de 8 segundos, porem a adição de espelhos nas paredes e o posicionamento da câmara e do monitor proporcionavam uma dualidade de observações tanto do presente (pelos espelhos) quanto do passado imediato (pelo monitor com delay). Em “Performer/Audience/Mirror” (1977) a montagem de um imenso espelho no fundo do palco convertia a plateia em parte da própria performance que estava sendo executada. Já entre as obras interactivas podemos citar “Autopoiesis”15 de Rinaldo (2000) na qual quinze braços robóticos interagiam com o público e modificavam seu comportamento ao longo do tempo. Estas mudanças de comportamento ocorriam em função da presença ou ausência dos utilizadores, e na intercomunicação entre cada um dos braços. (Rinaldo, 2000).
4.3. Crítica à representação visual A ideia inicial deste projeto era a de realizar uma crítica ao universo visual contemporâneo, nitidamente marcado pelo excesso de imagens
13 Doze rádios e 24 performers alteravam constantemente a sintonia a amplitude e o timbre de cada um dos aparelhos; 14 A peça era "não-executada" durante o tempo do título forçando a percepção do público a operar sobre os outros sons presentes naquele espaço; 15 “Autopoiesis: Artificial Life Robotic Sculpture Installation” disponível em http://accad.osu.edu/%7Erinaldo/works/autopoiesis/autopoiesis.html (Acedido em 06-07-2006).
| 33
New Object() The subject as an object
como fica evidenciado no filme “Janela da Alma” de Walter Carvalho e João Jardim, no qual há os seguintes trechos de depoimentos [ São Paulo: Europa Filmes 2003. DVD (73 min.), son., color.]:
“A maioria das imagens que vemos estão fora de contexto... Ter tudo em demasia significa não ter nada. Temos tanta imagem que não prestamos atenção em nada.” Win Wenders
“Fiz-me a pergunta: e se fôssemos todos cegos? E no momento seguinte eu logo me respondi que estávamos mesmo todos cegos da razão. Tem explicação, mas não tem justificação.” José Saramago
“As pessoas não sabem mais ver... vive-se uma cegueira generalizada.” Eugen Bavcar
No início de nossas discussões imaginamos realizar esta crítica por meio de uma instalação audiovisual interactiva que enfatizasse esta saturação do universo visual através da simulação de uma busca por informação em meio a um panorama demasiadamente povoado de imagens, representado como uma metáfora da internet. No entanto, nos vimos frente ao paradoxo de nos colocarmos como geradores daquilo que buscávamos criticar e, desse modo, optamos por manter apenas o aspecto sonoro da instalação subtraindo as imagens. A partir desse ponto houve uma mudança substancial nos paradigmas teóricos e práticos que passamos a seguir tendo em vista as especificidades do
| 34
New Object() The subject as an object
universo sonoro que, diferentemente do visual, “opera mais por eventos que por objectos” (Ong, 1971: 61-79)16. Também pudemos comparar este fato com nossa própria experiência profissional na área audiovisual em que os aspectos sonoros quase sempre são relegados a um segundo plano, ou servem como complemento ao visual. Quanto aos aspectos mais teóricos, fomos apresentados às teorias que se desenvolveram a partir da década de 60, com profundas implicações no modo como entendemos o ambiente sonoro/musical segundo Schafer (1969: 14): “Hoje em dia todos os sons pertencem a um ininterrupto campo de possibilidades que se encontra dentro do extenso domínio da música. Eis aqui a nova orquestra: o universo sônico! E os novos músicos: qualquer coisa ou qualquer um que soe!”
4.4. Percepção auditiva A falta de equilíbrio que existe na contemporaneidade entre o mundo visual e sonoro não permite, por exemplo, aos cegos reconhecer o mundo sonoro como um mundo de eventos e o mundo visual como um mundo de objectos. Na realidade, e do ponto de vista da fenomenologia, nós não ouvimos sinais acústicos ou ondas sonoras. Ouvimos eventos: objectos a mexerem-se, pessoas a falarem, ruídos, etc… Ouvimos, inclusive, o silêncio tal como sucedeu na peça “4' 33"” (1952) de John Cage onde os objectos (os músicos e seus instrumentos) estavam configurados e a gerarem eventos que não produziam som (aqui som do ponto de vista musical). O mundo sonoro é, tal como no visual, uma representação, aqui como representação de eventos por produzir um estímulo temporal à percepção humana.
4.4.1. O som 16
“Auditory Perception and Sound Event” disponível em http://www.kent.ac.uk/sdfva/soundjournal/forrester001.html (Acedido em 03-07-2006).
| 35
New Object() The subject as an object
O som é definido como uma série de compressões e rarefacções que se propagam pela atmosfera em forma de onda. O contacto destas formas com o nosso ouvido externo que, devido à sua anatomia, absorve essas ondas para o seu interior através do canal auditivo onde pequenos ossos produzem movimentos mecânicos que, vão gerando diferenças de pressão nos fluidos existentes na cóclea (unidade de rastreio dos sons). A pressão que cada unidade de ar (cílio) possui vai estimular as paredes da cóclea que, de acordo com o tipo de estímulo, irá enviar um sinal eléctrico diferente para o cérebro. Assim, de acordo com o sinal eléctrico recebido pelos neurónios, o sujeito irá ter uma percepção diferente do som (se é mais agudo ou mais grave, ou se tem continuidade temporal ou não). O trajecto que as ondas sonoras fazem desde a fonte sonora até ao ouvido do sujeito não é exclusivamente directo. O trajecto envolve reflexões dessas ondas com o chão, as paredes e objectos que se encontrem no seu espaço. Assim formam-se reflexões que poderão, eventualmente, chocar contra novos objectos e formarem-se reflexões de reflexões. Por outro lado, as ondas têm também a capacidade de se difractarem, de atravessar e contornar obstáculos. As difracções podem gerar variações extremas de amplitude. Todas essas ondas: as directas, as reflectidas, as reflexões das reflectidas e as difractadas entram em contacto com o ouvido externo em diferentes momentos e através de diferentes direcções, gerando um resultado sonoro muito diferente do projecto pela fonte sonora. O som final é o produto de distorções na onda designadas como reverberação ou ecos, muitas vezes capazes de, por si só, darem ao ouvinte a imagem do espaço em que se encontra (Catedral, túnel, etc…)
4.4.2. Espacialização do som Desta forma podemos entender melhor o conceito de espacialização sonora. Caracteriza-se como uma função composta por diferenças de intensidade e tempo de chegada do
| 36
New Object() The subject as an object
som ao ouvido. Estas duas variáveis conjugadas no nosso aparelho interaural alteram a nossa percepção de posição sonora. A amplitude ou intensidade do som é a potência sonora – o que nos faz ouvir um som mais alto ou mais baixo – e é efectiva para a espacialização do som quando a sua frequência de resposta está acima das 1500Hz, ou seja, para que a intensidade sonora possa ser um factor de percepção espacial, é necessário que o som que recebemos no ouvido possua mais de 1500 ciclos por segundo, caso contrário, a resolução da onda não será suficientemente efectiva para a morfologia do ouvido, e haverá uma sensação de omni-direccionalidade no som, qualidade não desejada quando se pretende espacializar o som. Este fenómeno é designado por Diferença de Intensidade Interaural (IID). Por outro lado, o tempo de chegada do som ao ouvido, ou a fase sonora, é mais efectiva para baixas frequências, uma vez que numa frequência baixa a onda sonora passa pela cabeça do indivíduo apenas uma vez devido ao comprimento de onda, sendo possível a percepção das diferenças temporais (diferenças de fase) entre a chegada do mesmo som a um ouvido e a outro. Quando uma onda tem uma frequência mais alta, acima dos 500Hz, as diferenças de tempo entre a chegada da mesma onda a um ouvido e a outro dissipa-se. Este fenómeno é designado de Diferença de Tempo Interaural (ITD) Outro factor importante para a espacialização é o ouvido externo e a sua Função de Transferência Anatómica (ATF). Os sinais sonoros quando chocam contra o ouvido externo alteram as suas características (a qualidade da frequência do sinal é alterada). No entanto, esta mutação do sinal depende da posição da fonte sonora em relação ao ouvido. Este factor permite ampliar as limitações que a função da intensidade e tempo de chegada do som ao ouvido geram numa situação de espacialização sonora. Assim, estas 3 características do ouvido humano permitem definir o sistema mais concreto e vulgar de localização sonora: o HRTF
| 37
New Object() The subject as an object
(Head Related Transfer Function) que representa o espectro ou a filtragem das componentes das frequências que ocorre a um som enquanto viaja da fonte sonora até ao ouvido. Este sistema é matemático e a sua equação é utilizada em sistemas de simulação de espacialização sonora como o Virtual Surround ou o 3D Virtual Surround.
4.4.3. Do Surround ao Ambisonic No entanto, não é este o sistema que se propõe desenvolver para a instalação. O HRTF é um sistema que se aplica num contexto doméstico, onde o sujeito está de frente para o televisor ou para o sistema hi-fi com uma configuração de altifalantes comum (2.0 ou 2.1). Contudo, o desenvolvimento tecnológico possibilita hoje a experiência em muitos lares das capacidades dos sistemas 5.1 Surround, que não sendo a configuração proposta na instalação, é a que melhor traduz a ideia comum de espacialização sonora. Contudo, e de acordo com Rumsey (2001: 21), o “fenómeno acústico que mais relevância tem no desenho e implementação de sistema de som” é a percepção da fonte sonora, a sua imagem conceptual, localização no espaço e interacção com outras fenómenos acústicos. A utilização de uma imersão sonora de nível 217 (Faria, 2005: 3), baseada em deslocamentos de panorâmicas entre altifalantes, como a proposta dos sistemas Surround comerciais, não favorece a qualidade da percepção da fonte sonora, nem tão pouco a necessidade do utilizador se deslocar livremente pelo espaço. Assim, o sistema que, de facto, está implicado nesta obra estética é um sistema ambisónico de nível 418 (Faria, 2005: 3) devido à necessidade de potenciar a experiência do utilizador no espaço sem se perderem as capacidades de espacialização sonora. Este 17 “Improving spatial perception through sound field simulation in VR” disponível em http://www.lsi.usp.br/~regis/FariaRRA_ImprovingSpatialPerceptionInVR_VECIMS2005.pdf (Acedido em 04-07-2006). 18 “Improving spatial perception through sound field simulation in VR” disponível em http://www.lsi.usp.br/~regis/FariaRRA_ImprovingSpatialPerceptionInVR_VECIMS2005.pdf (Acedido em 04-07-2006).
| 38
New Object() The subject as an object
sistema possui algumas vantagens em relação a um sistema de Surround comum:
Suporta Perifonia, a inclusão de altura na projecção sonora;
O som move-se pelo espaço, ao contrário dos sistemas Surround onde essa propriedade é possível através da alteração da panorâmica do som;
A posição do utilizador não é tão importante para a percepção da localização dos sons;
O som pode ser espacializado em variadas configurações de altifalantes, desde que se mantenha a simetria entre eles;
Permite trabalhar em tempo real com as distâncias entre o ouvinte e a fonte sonora.
4.5. A tangibilidade no virtual Tal como Dyson (1994: 5)19 propõe, num sistema de realidade virtual “existe uma grande tentação para primeiro assumir que a simulação é ‘real’, e depois que estar na fotografia significa ser parte da fotografia”. Só assim é possível “romper com as barreira de espaço e tempo” (Weibel, 1992: 3) numa experiência interactiva de realidade virtual. No entanto, nos sistemas de realidade virtual actuais, o utilizador percebe a realidade do ponto de vista do seu avatar: Da projecção visual que o Avatar fornece ao utilizador. A experiência que o utilizador possa ter dessa realidade sintética depende sempre da posição do avatar.
19
“A Philosophonics of Space: Sound, Futurity and the End of the World” disponível em http://www.synesthesie.com/heterophonies/theories/pdf/Dyson-Philisophonics.pdf (Acedido em 05-072006)
| 39
New Object() The subject as an object
O avatar, dentro da estética digital, surgiu primeiro sob a forma de elementos textuais em canais de conversação como o IRC20 ou os Fóruns. São alcunhas ou características gráficas que personificam a presença de um utilizador no ciberespaço. Contudo, o desenvolvimento tecnológico, e consequentemente, a evolução das redes telemáticas, possibilitou a constituição de avatar’s mais complexos, de inspiração ontológica, a mesma que fundamenta a nossa realidade (“A realidade é fundamentada em última instância por níveis ontológicos” – GrandPierre, 2003: 6)21. Os Avatar em algumas plataformas digitais são presenças dotadas de características sofisticadas, que tentam consolidar a ideia de encarnação do utilizador no espaço virtual. Essa é a motivação que Dyson descreve, a de pertencer ao mundo virtual, de povoar uma segunda natureza tal como Ascott sugere em Nature II (1995: 23-30). O avatar pode ser formulado através das seguintes características intrínsecas propostas por Allbeck e Badler (1998: 1)22: aparência, vestuário ou acessórios, etnia, locomoção, acções corpóreas, formas de comunicação, emoções e personalidade. Contudo, o mais importante para o processo de desmaterialização que é alvo o observador (aquele que controla o avatar) é a sua aparência e o seu funcionamento. Segundo Thalmann (2001: 3)23, estas características permitem que seja dotado de 3 importantes funções numa experiência de realidade virtual de apenas um utilizador: desmaterialização do utilizador, sensação de interactividade com o mundo virtual e a sensação de experimentar atributos que caracterizam esse mundo. Mas o avatar, não é a representação de como a sociedade vê o utilizador. O avatar é uma presença íntima e egoísta da forma como o utilizador se vê a si mesmo no mundo real. O utilizador gera um avatar 20
Internet Relay Chat (IRC) é um protocolo de comunicação bastante utilizado na Internet. Ele é utilizado basicamente como sala de chat e troca de arquivos, permitindo a conversa em grupo ou privada, sendo o predecessor dos mensageiros instantâneos actuais. 21 “The Dynamics of Time and Timelessness: Philosophy, Physics and Prospects for our Life” disponível em http://www.konkoly.hu/staff/grandpierre/NATO_ARW.html (Acedido em 06-07-2006). 22 “Avatars ´a la Snow Crash” disponível em http://citeseer.ist.psu.edu/cache/papers/cs/25561/http:zSzzSzwww.seas.upenn.eduzSz~allbeckzSzallbeck .pdf/allbeck98avatars.pdf (Acedido em 02-07-2006). 23 “The Role of Virtual Humans in Virtual Environment Technology and Interfaces” disponível em http://vrlab.epfl.ch/Publications/pdf/Thalmann_EC_NSF_99.pdf (Acedido em 04-07-2006)
| 40
New Object() The subject as an object
que é o reflexo do escape à hostilidade que a realidade lhe causa. Esse avatar é forte onde o utilizador se sente consciente de ser fraco. Covolan (2003: 7)24 em “O medo da perda do si-mesmo” refere que essa “simbiose com o produto tecnológico (…) é exaltada e perseguida”, mas termina sempre na frustração que resulta da impossibilidade de desmaterialização do corpo. Termina, este processo de desmaterialização, sempre na renúncia em acreditar, porque os valores nesse território digital não são os mesmo que na natureza real. O avatar pode projectar num mundo virtual a confiança, mas essa confiança nesse mundo nunca é materializada do mesmo modo que no mundo real. A frustração da intangibilidade surge, criando no utilizador uma renúncia de última instância em se entregar por completo a essa segunda natureza, por mais bela que ela seja aos seus olhos. Para o Homem pós-moderno, a ilusão de encarnar num mundo virtual que seja fruto da sua imaginação é um sonho que é impedido pela consciência que ele tem de que a tecnologia não permite na realidade que a sua experiência seja tangível. É por isso que a experiência virtual com o Avatar gera medo ao utilizador. Existe o medo de deixar de ser humano, de os sentidos do qual somos providos deixarem de existir. Tal como Weibel refere em Virtual Worlds (1990: 8), “numa perfeita e compreensiva simulação (de realidade virtual) entre homem e máquina eles terão, de facto, de operar da mesma maneira” para que o Homem dissipe a relutância última que o demove da experiência absoluta. Esse medo só seria extinguido se a experiência virtual fosse tangível aos nossos sentidos, se a passagem da nossa natureza, para essa segunda natureza não implicasse a perca das capacidades perceptuais humanas, tal como sucede com o avatar. Este não possui interfaces. É uma interface entre o utilizador e a realidade virtual.
24
“O Medo da Perda de Si-Mesmo: De Odisseu ao Cyborg” disponível em http://www.cfh.ufsc.br/~dich/TextoCaderno58.pdf (Acedido 03-07-2006).
| 41
New Object() The subject as an object
É por isso que apresentamos um sistema que pretende inverter esse papel. Assim, o utilizador passará a estar entre o avatar e o universo sonoro (virtual). Não será o utilizador que controlará o avatar, mas antes, o avatar terá o poder de controlar a posição do utilizador por todo o universo sonoro. Deste modo, podemos considerar o utilizador como um objecto no sistema, e assim, levá-lo ao encontro do intangível. Segundo Weibel e Rössler (2001: 2): “(…) Simulações de realidade virtual contendo arco-iris estão longe de serem desenvolvidas. As regras de transformação são diferentes das dos outros objectos. A razão tem a ver com o facto de que um arco-iris é um tipo bastante diferente de objecto: é uma imagem virtual distorcida do sol. Assim, se o observador estiver a viajar, também o arco-iris estará. (…) Assim, as propriedades de certos objectos (no caso presente: a sua localização) dependem das propriedades do observador (como a sua posição e a forma da pupila) (…)” Assim, na primeira parte desta experiência, a presente realidade comporta-se como um arco-íris, no qual o deslocamento do utilizador provoca um deslocamento da paisagem sonora (realidade virtual). Neste sentido, os objectos sonoros são intangíveis. Contudo, quando o avatar dispara a segunda parte da experiência, na qual ele não é um participante directo, o utilizador será levado para uma posição privilegiada, na qual ele pode experimentar tudo que antes era intangível. O utilizador torna-se um objecto nesta virtualidade, assumindo um terceiro tipo de comportamento para além das perspectivas endógenas e exógenas descritas por Krämer (1995). Assim, e ainda segundo Weibel (Arantes, 2005)25, o utilizador é parte do sistema, o que ele ouve faz parte da sua realidade, ainda que aqui seja virtual. Então, o observador fará parte desse mundo virtual. Não existe separação entre o utilizador e o que ele observa. 25
“Perspectivas da estética digital” – Disponível em http://www.corpos.org/anpap/2004/textos/chtca/priscila_arantes.pdf (Acedido em 02-07-2006).
| 42
New Object() The subject as an object
4.6. Estética sonora Mas como a estética sonora desta instalação pode representar esse mundo virtual? Como imergir o utilizador num mundo virtual em que a experiência vá mais além do intangível? A resposta não está na habitual imersão do utilizador numa realidade virtual gerada por computador, mas antes na projecção desse mundo na realidade do utilizador. Esse mundo sonoro que lhe será projectado não é apenas uma quantidade de sons difusos no espaço com os quais o utilizador interactuará. A projecção desse mundo envolve uma vibração, um estímulo de vida que viaja de um computador até ao utilizador. Essas vibrações não são apenas som, mas também energia mecânica26. É uma energia que faz todos os órgãos humanos reagir ao mundo exterior.
4.6.1. O silêncio é relativo e incómodo “No automóvel que aluguei, não se pode apagar, de nenhuma forma a rádio. É como se existisse o temor colectivo de que alguém, em algum lugar, permaneça um minuto inteiro no branco do nada.” ( Wolfe)27. Tudo está em constante vibração, e ao mesmo tempo, tudo é constituído por vibrações, a base da existência de tudo quanto há neste mundo. Assim, se toda a criação é vibração e se vibração é som, consequentemente podemos dizer que dentro da criação deste mundo não pode existir silêncio. O ser humano está em constante vibração e sempre interagindo mediante ressonância com tudo o que existe no mundo.
26 “Energia mecânica é a energia que pode ser transferida por meio de forças. A energia mecânica total de um sistema é a soma da energia potencial com a energia cinética. Se o sistema for conservativo, ou seja, apenas forças conservativas atuam nele, a energia mecânica total conserva-se e é uma constante de movimento.” - Wikipedia - http://pt.wikipedia.org/wiki/Energia_mec%C3%A2nica – em 23-09-2006 27 WOLFE, Tom op. cit. BAIGORRI, Artemi, disponível em http://www.ruidos.org/Documentos/Sociologia_ruido.html (Acedido em 03-07-2006).
| 43
New Object() The subject as an object
Assim, a própria estrutura física do ser humano depende de vibrações tal como a grande maioria dos seus processos psíquicos que só se manifestam mediante vibração. É por esta razão que Tom Wolfe fala do “temor colectivo do permanecer um minuto inteiro no branco do nada”. Quando dizemos “quero silêncio”, na verdade, estamos a dizer que nos queremos afastar dos limiares sonoros intensos, mas a verdade é que quando permanecemos muito tempo afastados desses, rapidamente há uma certa inquietude porque necessitamos de percepcionar vibrações, para nos sentirmos “vivos”. Penetrar no silêncio absoluto seria o mesmo que sair deste mundo, seria o cessar de toda a vibração e isso simplesmente envolveria a dissolução do próprio indivíduo. O medo que nos falou Covolan refere-se, também, ao medo silêncio absoluto que pode existir no território virtual. O medo de não vibrar-mos.
4.6.2. Necessitamos de percepcionar determinados tipos de vibrações Sendo que, muitas vibrações são perceptíveis em forma de som, pensemos por momentos na cidade e no Homem contemporâneo. Um dos desejos mais comuns do Homem contemporâneo é o de ausentar-se deste cansaço provocado não só pela imagem, mas também do cansaço provocado pelos sons da cidade. Mas seria este Homem capaz de se ausentar desses ruídos? Seria ele capaz de trocar a cidade pelo deserto? Seria ele capaz de desabituar o seu ouvido de percepcionar determinados sons? Num questionário feito por estudantes no âmbito do projecto ”Paisagem Sonora do Uruguai”28 em relação ao impacto causado pelo som produzido pelos electrodomésticos nas pessoas, 63.3% pessoas responderam que lhes causava fadiga.
28
“Paisaje Sonoro Uruguai”, disponível em http://www.eumus.edu.uy/ps/proyectos.html (03-07-2006).
| 44
New Object() The subject as an object
No entanto, no mesmo questionário, perguntaram às pessoas se preferiam que os electrodomésticos produzissem um outro som ou que não produzissem som algum e cerca de 20 pessoas responderam que preferiam que os electrodomésticos produzissem outro som. Num estudo científico sobre Efeitos do Ruído Ambiental no Organismo Humano e Suas Manifestações Auditivas, Lívia Carmo afirma: ”A dependência do ruído gera depressão nas pessoas na presença de ambientes silenciosos, promovendo agitação e incapacidade para meditação e reflexões”. (Carmo, 1999: 37)29 Note-se então que há uma contradição muito forte dentro do Homem, que deseja silêncio e no entanto, é incapaz de viver sem os sons do quotidiano, pois tem o seu ouvido “viciado”, “dependente” dos ruídos do dia-a-dia.
4.6.3. Entre John Cage e Murray Shafer John Cage, fascinado com os ruídos do quotidiano, afirma “adoro viver na Sixth Avenue (…) Tem mais sons, e totalmente imprevisíveis do que outro espaço onde alguma vez vivi. O trânsito nunca pára, noite e dia. A toda a hora uma buzina, sirene, gritos – extremamente interessante e sempre imprevisível” (Cage, 1978)30. Cage, sempre movido por uma grande curiosidade em procurar novos sons, vê os ruídos da cidade, de uma perspectiva artística, criando peças musicais com esses, como por exemplo, Imaginary Landscape No.431 (1951). Nesta peça, Cage junta o som de varias emissões de rádios de vários locais do mundo, ao mesmo tempo, criando assim uma paisagem sonora gerada ao acaso, totalmente imprevisível.
29
"Efeito do Ruído Ambiental no Organismo Humano e suas Manifestações Auditivas" disponível em http://acd.ufrj.br/consumo/vidaurbana/Monografia_goiania.pdf (Acedido em 03-07-2006) 30 CAGE, John; op. cit. OVENS, Tim, 2003: 60. 31 “Imaginary Landscape No.4” disponível em http://www.medienkunstnetz.de/works/imaginarylandscape-4/ (Acedido em 04-07-2006).
| 45
New Object() The subject as an object
Ao contrário, R. Murray Schafer, fundador do WSP32, reconhecido pelo seu desejo de acabar com a poluição sonora da cidade criando um movimento sonoro ambientalista, busca uma fidelidade total nas suas obras, no que respeita às paisagens sonoras naturais: “Há alguns anos propus uma ideia à Canadian Broadcasting Corporation para fazer um programa com sons do oceano, o produtor queria saber de quanto tempo necessitava. Sem pensar respondi-lhe: vinte e quatro horas. Não se pode fazer justiça aos sons do oceano em menos tempo que esse (…).“ (Shafer)33 As paisagens sonoras, neste projecto, não têm uma mensagem crítica tal como as de Schafer nem pretendem ser absolutamente fiéis à realidade. Não pretendem contrapor o agradável com o desagradável criando algo de físico como os desenhos dos cristais de água de Fujwara Dam34 (que se pode considerar que se encontra na mesma linha de pensamento de Schafer). Não pretendem ser pura experiência sonora como as de Cage. No entanto, abraçam a mesma motivação de Cage do imprevisto. Ao mesmo tempo abraçam também a construção de Schafer. E, por fim, uma criação como a de Dam. Pois o indivíduo/utilizador, aqui será capaz de criar imagens mentais dos objectos sonoros que percepciona, procurando reconstruí-los na sua mente e dar-lhes novos significados. O resultado será um tanto surrealista35.
4.6.4. Imagem mental que concebemos do que ouvimos Tal como Igor Stravinsky afirma, “(…) o ouvido é solicitado pela linguagem articulada, veículo de imagens e conceitos”36.
32
“World Soundscape Project” disponível em http://www.sfu.ca/~truax/wsp.html (Acedido em 07-07-2006). SHAFER, Murray; op. cit BERENGER, José Manuel; 34 “Water Crystal” disponível em http://www.adhikara.com/art_kunst/emoto/water-19.htm (Acedido em 0307-2006) 35 Wikipédia, http://es.wikipedia.org/wiki/Surrealismo (Acedido em 04-07-2006) 36 STRAVINSKY, Igor; op. cit BERENGER, José Manuel; 33
| 46
New Object() The subject as an object
Torna-se deste modo, a interpretação dos objectos sonoros, algo de extremamente imprevisível, muito variada de indivíduo para indivíduo, da mesma forma, as reacções às experiências sonoras são igualmente imprevisíveis devido aos factores sociológicos, psicológicos, individuais de cada pessoa. Também o simples “ouvir” (do latim - obaudire), que significa etimologicamente “obedecer” implica concentração, atenção e dedicação. Sendo assim, resultado da complexidade que pode ser “ouvir”, pode ser um “abrir asas à criatividade” do indivíduo que “ouve”. Mas na verdade, para a maioria dos indivíduos, os sons que existem na realidade são facilmente interpretáveis, são “sons onomatopaicos”, como descreve Haverkamp (2004: 1)37. Haverkamp concluiu, através dos seus estudos e experiências que este tipo de sons fazem com que o indivíduo consiga criar uma associação mental concreta, porque se referem a elementos/objectos memorizados, dando o exemplo do som produzido por um veículo em que a maioria dos indivíduos consegue automaticamente visualizar a imagem do mesmo por associação, ainda que não o veja. Assim, uma experiência sonora apenas composta por objectos sonoros onomatopaicos isolados, poderia tornar-se demasiado monótona e evidente. Por isso, como forma de solucionar este problema apresentamos aqui novas paisagens sonoras, compostas por vários objectos sonoros, ainda que onomatopaicos, mas desconexos entre si. Permitindo, desta forma, assegurar uma experiência sonora que pode abrir as asas à criatividade do indivíduo/utilizador.
37
“Audio-Visual Coupling and Perception of Sound-Scapes” disponível em http://www.bluecatsandchartreusekittens.com/Text_audio_visual_coupling_B.pdf (Acedido em 04-072006)
| 47
New Object() The subject as an object
5. Memória Técnica Esta obra é composta por várias componentes tecnológicas: a) As interfaces físicas que envolvem o hardware, o desenho das estruturas físicas das quais depende a interactividade e o desenvolvimento das mesmas através da electrónica e da informática; b) Técnicas de rastreio da posição espacial, que envolve o desenvolvimento de blocos de programação para a análise em tempo real, da posição de um corpo no espaço; c) Gravação de som, que envolve o processo de captura e edição de sons de ambiências sonoras e objectos sonoros; d) Captura dos passos do utilizador em tempo-real, e o bloco de programação que o sustêm; e) Síntese de paisagens sonoras, e o desenvolvimento da aplicação que as gera; f) Espacialização do som, que envolve o desenvolvimento de uma aplicação para gerir o comportamento do som em tempo-real.
5.1. Interfaces físicas Esta instalação será composta por 7 tipos de interfaces físicas. A primeira, para detectar a posição do observador e o momento em que o mesmo dá um passo sobre o espaço, composta por uma rede de sensores de contacto. A segunda será uma interface de distribuição dos sinais de cada sensor de contacto. A terceira, a interface de controlo dos sinais agrupados pela interface de distribuição. A quarta, a unidade de processamento que processa os sinais de entrada e gera os sinais de saída. A quinta, uma interface de som que distribui todos os sinais de som gerados na unidade de processamento. A sexta, constituída por uma configuração de altifalantes que permitam a espacialização do som e finalmente uma guia luminosa constituída por LED’s.
| 48
New Object() The subject as an object
5.1.1. Grelha de sensores de contacto que permite o rastreio da posição do utilizador no espaço, bem como a detecção dos momentos em que o mesmo dá um novo passo no espaço. A grelha de sensores está dividida em 25 módulos de tapete praticamente iguais. Cada módulo está constituído por 49 sensores de contacto que se distribuem apenas 16 sinais digitais. Os sensores estão agrupados em zonas de 4, 2 Fig. 7 – Verso de um módulo de tapete ou 1 sinal apenas. Cada zona fecha apenas um sinal digital. constituídas por 4 sensores, 6 zonas constituídas por 2 sensores e, finalmente, uma única zona constituída por apenas um sensor. Fig. 8 – Zona de contacto de um módulo de tapete.
O contacto com sensores diferentes da mesma zona terá um resultado igual, ou seja, o processamento do sinal digital não irá alterar o posicionamento do utilizador no espaço. A razão de se ter aplicado esta configuração no desenvolvimento dos módulos de tapete está directamente relacionada com a necessidade de se obter mais eficácia na interacção de uma pessoa com o tapete. Existindo mais sensores, ainda que muitos deles a enviarem o mesmo sinal, existe menor probabilidade de o utilizador colocar o pé numa zona onde não existam sensores de contacto. Assim, é possível conseguir melhor resposta no
| 49
New Object() The subject as an object
posicionamento do utilizador e, principalmente, maior eficácia na detecção dos passos. A única diferença entre os diferentes módulos está na configuração dos cabos. Cada tapete está numerado e tem um local preciso onde deverá ser encaixado. A cablagem está preparada apenas para o tapete funcionar numa determinada posição. Cada tapete tem um cabo plano que será ligado ao interface de distribuição, onde todos os sinais que foram enviados pelos sensores pertencentes a cada tapete, serão agrupados em apenas 13 sinais digitais (6 para a posição cartesiana em xx, 6 para a posição cartesiana em yy e o terra).
5.1.2. Interface de distribuição
Fig. 9 – Matriz da interface de distribuição
A interface de distribuição é uma caixa constituída por 25 tomadas paralelas de 20 pins onde se ligam cada um dos módulos do tapete e por uma outra tomada paralela de 20 pins onde se liga o cabo que comunicará com a interface de controlo.
Este dispositivo tem a função de distribuir os 16 sinais digitais, que cada módulo de tapete gera, para um esquema de resolução de 12bits (6bits no domínio dos xx e 6bits no domínio dos yy). Cada sensor envia um sinal eléctrico de 5V através de um dos pins do cabo paralelo. Cada pin está representado numa tabela que foi desenvolvida a partir de um estudo e análise de probabilidades e conflitos. Essa corrente eléctrica é dividida, dentro da interface de distribuição, em 2, 3, 4, 5 ou 6 sinais iguais. Cada um dos sinais resultantes é ligado a diferentes pins de saída (existem 12). Através de combinação de sinais digitais é
| 50
New Object() The subject as an object
possível, assim, distribuir um número elevado de contactos para um número menor de entradas digitais. Desta forma, e em exemplo, o sensor nº6 do módulo A1 terá apenas um sinal: 0 ou 1 que corresponde respectivamente a 0V ou 5V. Quando o sensor é apertado, a voltagem de 5V é enviada para a interface de distribuição que divide esse sinal, neste caso em 4 sinais iguais (também de 5V). Na tabela o sensor nº6 do módulo A1 terá uma representação binária de 010010 em xx e 001001 em yy. Desta forma, os 4 sinais eléctricos terão de ser ligados ao 2º pin digital, ao 5º pin digital, ao 9º pin digital e ao 12º pin digital respectivamente e, considerando uma leitura sequencial da representação binária, ou seja, o resultado final da leitura digital será (010010) + (001001) = 010010001001.
5.1.3. Interface de controlo A interface de controlo é constituído por um microcontrolador Arduino que terá a função de receber os sinais eléctricos da interface de distribuição, converter a corrente eléctrica para informação discreta de forma a ser analisada pela unidade de processamento. O micro-controlador está embutido numa caixa de plástico preta com uma tomada de ligação paralela de entrada e uma tomada de Fig. 10 – Interior da interface de controlo. ligação USB de saída. Os sinais eléctricos enviados pela interface de distribuição entram pela tomada paralela (fêmea), sendo no interior da caixa distribuídos para cada um dos pins digitais do micro-controlador.
| 51
New Object() The subject as an object
Quando os sinais são recebidos pelo microcontrolador, este, através da programação a que foi submetido, processa-os para dados discretos e aguarda que a unidade de processamento lhos peça. Fig. 11 – Micro-controlar Arduino
Sempre que a unidade de processamento faz um pedido, via conexão USB, o microcontrolador envia os dados que foram requisitados, ou seja, uma sequência numérica de 0 e 1.
5.1.4. Interface de som Será utilizada uma interface de som da marca MOTU para receber os sinais de áudio geradas na unidade de processamento. Esta interface recebe, através de uma ligação firewire 9 sinais de áudio digital (8 amostras Fig. 12 – Interface de som de médias e altas frequências e 1 amostra de baixas frequências), processa-o e, finalmente, distribui-o através de 8 saídas balanceadas de áudio para cada um dos altifalantes.
5.1.5. Altifalantes O sistema de altifalantes será composto por 8 caixas de altifalantes (na figura a vermelho) e 1 sub-woofer (na figura a verde) para emissão de ultra-sons, da marca Genelec 1029. As 8 caixas de médias e altas-frequências estarão elevadas em relação ao solo cerca
Fig. 13 - Altifalantes
| 52
New Object() The subject as an object
de 1m 65cm (tentando uma aproximação média à altura média do ouvido humano ao solo). Assim, o jogo de altifalantes está posicionado simetricamente no espaço de acordo com a seguinte configuração:
Fig. 14 – Configuração dos altifalantes
5.1.6. Unidade de processamento O computador que suportará o processamento dos sinais de entrada da interface de controlo dos os sinais de saída de áudio espacializado terá a seguinte configuração:
Processador 1.8Ghz
1 GB de memória RAM
Intel
Centrino
Fig. 15 - Laptop
Placa Gráfica ATI Mobility Radeon X700
Ecrã de 1400x900 de resolução (17 polegadas) | 53
New Object() The subject as an object
Sistema Operativo Windows XP SP2
Software MaxMSP 4.5.5
5.1.7. Guia luminosa Em cada aresta do tapete de 25m2 existe uma linha de LED’s que serve de guia visual para o utilizador compreender os limites do espaço onde ocorre interacção. Esta guia serve apenas de sinalização para que não haja a tentação de se ultrapassarem os limites do espaço.
Fig. 16 – Protótipo do espaço de interacção
5.2. Rastreio da posição do utilizador A técnica utilizada para o rastreio da posição do utilizador no espaço é realizada recorrendo a uma grelha de sensores de contacto com uma resolução de 1225 pontos de contacto para 25m2 de área (49 sensores por m2). Cada sensor está a uma distância média do seguinte de 14,2cm, valor suficiente para gerar uma probabilidade de contacto muito alta.
5.2.1. Sensores de contactos Cada sensor de contacto é constituído por duas arruelas metálicas perfuradas. A primeira com um diâmetro maior que a segunda. Entre elas está uma esponja de densidade média, também ela com Fig. 17 – Sensor de contacto fixo a um módulo de tapete uma perfuração.
| 54
New Object() The subject as an object
Fig. 18 – Arruelas
A arruela maior tem um diâmetro superior à perfuração da esponja e a arruela menor tem um diâmetro inferior à perfuração da esponja.
Fig. 19 – Interior de um sensor de contacto
A arruela menor está presa a uma fita adesiva, e quando é imprimido contacto sobre todo o bloco, a esponja e a arruela pequena abatem-se. Como a perfuração da esponja é maior que o diâmetro da arruela menor, esta última cede, e toca na arruela maior.
Fig. 20 – Sensor de contacto a ser pressionado
| 55
New Object() The subject as an object
Estando a arruela maior com uma ligação terra e a arruela maior com uma corrente eléctrica, o contacto gerado entre as duas, fecham o circuito eléctrico, fazendo com que todo o conjunto haja como um interruptor.
Fig. 21 – Sensor de contacto
5.2.2. Módulos de tapete Cada módulo de tapete foi construído através de um molde (ao que chamamos de gabarito). Neste molde foram calculados e posteriormente desenhadas as localizações de cada um dos 49 sensores que seriam Fig. 22 – Molde ou gabarito colados ao tapete. A partir do molde, foram desenvolvidos todos os 25 módulos que constituem o tapete que permite detectar o movimento e posição do utilizador no espaço. De forma a se estruturar uma configuração estável para a obra decidiu-se definir, à priori, uma identidade e nomenclatura para cada um dos módulos. Assim, as 25 partes constituintes do tapete foram designadas através de uma combinação de 5 letras (A,B,C,D,E) e 5 número (1,2,3,4,5).
| 56
New Object() The subject as an object
Fig. 23 – Nomenclaturas dos 25 módulos de tapete
Desta forma, foi possível definir uma configuração teórica que permitisse a construção dos módulos de tapete com o menor erro possível. Definiram-se, primeiro, os locais onde cada sensor iria ser colocado em cada um dos módulos de tapete:
Fig. 24 – Distribuição de cada sensor no verso de cada módulo de tapete
Foi, mais tarde, criada uma estrutura de zonas de contacto de forma a aumentar o grau de probabilidade na detecção dos passos do utilizador:
| 57
New Object() The subject as an object
Fig. 25 – Zonas de cada módulo de tapete
Cada uma destas 16 zonas possui 4, 2 ou 1 sensores de contacto ligados em paralelo de modo que o accionamento de cada um seja equivalente ao de todo o conjunto. Contudo, cada módulo terá de ter uma configuração de cablagem distinta e, inclusive, quantidades diferentes de cabo como indica a tabela seguinte, uma vez que estando cada tapete configurada para uma determinada posição, a quantidade de cabo para este se conectar à interface de distribuição é diferente.
1
2
3
4
5
A
7m
8m
9m
10m
11m
B
6m
7m
8m
9m
10m
C
5m
6m
7m
8m
9m
D
4m
5m
6m
7m
8m
E
3m
4m
5m
6m
7m
Fig. 26 – Tabela que ilustra a quantidade de cabo plano necessário para cada módulo de tapete.
| 58
Fig. 27 – Configuração da posição dos cabos planos
New Object() The subject as an object
Assim, para que os cabos planos que cada módulo de tapete possui – que ligam à caixa de distribuição – não se interceptem e gerem zonas de maior relevo para o caminhar do utilizador e, até por razões de segurança para se evitar que algum cabo seja “traçado” e deixe de funcionar, teve de se estudar uma configuração que prevê-se uma forma de os cabos não se interceptarem. Assim, como podemos ver na figura, no módulo E1 o cabo (a vermelho) sai de uma posição diferente da que pode ser vista no módulo D1 (o cabo verde deste módulo passa por baixo do tapete E1). Na sequência, podemos ver ainda que, o cabo do módulo anterior, que seria o C1 (aqui a azul), passaria por baixo dos módulos D1 e E1 e a sua posição seria também diferente. O mesmo sucede para os restantes módulos B1 e A1. Nas seguintes colunas (2, 3, 4 e 5), o mesmo sucede, ou seja, o módulo E2 terá o cabo plano a sair da mesma posição que em E1.
5.2.3. A construção
Fig. 28 – Arruelas com os cabos de distribuição
A construção dos 25 módulos foi feita, na medida do possível, recorrendo a processos em série, ainda que manuais. Algumas ferramentas foram utilizadas para optimizar o tempo de fabricação. Dentro deste cenário é necessário
| 59
New Object() The subject as an object
destacar o empenho para criar um interface físico que pudesse ter alguma estabilidade e, dessa forma, foram realizadas algumas medidas de segurança, como o isolamento de cabos através de borracha termocontráctil, soldas em todas as extremidades e ligações de cabo, revestimento com fita adesiva de zonas mais sensíveis, entre outras medidas. Alguns dos processos independentes que fizeram parte da fabricação em séries dos 25 módulos de tapete podem ser enumeradas da seguinte forma:
Corte do tapete em 25 parte iguais;
Desenho em cada um dos módulos das referências definidas no molde;
Preparação da cablagem para cada módulo de tapete;
Preparação principais;
Fabricação dos sensores a partir das ligações de cabo já efectuadas;
Solda das ligações;
Fixação dos sensores e cabos.
das
ligações
dos
sensores
aos
cabos
5.2.4. Distribuição dos sinais Quando um sensor é apertado, o circuito fecha e é enviada uma voltagem através do cabo plano que constitui o módulo de tapete onde o contacto foi efectuado.
Fig. 29 – Sensor no estado inicial/Sensor pressionado
| 60
New Object() The subject as an object
Cada uma das 16 zonas do módulo do tapete é ligada a um dos 16 pequenos cabos que constitui o cabo plano que encaminha as leituras para a caixa de distribuição.
Desse modo, para toda a área da instalação deveríamos ser capazes de identificar 20 posições no eixo X e 20 no eixo Y utilizando uma matriz de 6 bits. Para representa-las de forma binária, de modo que esta representação fosse equivalente ao estado (aberto ou fechado) de cada um dos sensores digitais do micro-controlador (Arduino), determinamos empiricamente a seguinte tabela de valores:
Fig. 30 – Conector do cabo plano
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
1 10 100 1000 10000 100000 11 101 1001 10001 100001 110 1100 11000 110000 10010 111 1101 11001 110001
Fig. 31 – Correspondência de cada um dos fios do cabo plano à combinação binária que deve assumir
Os objectivos desta representação eram os seguintes:
| 61
New Object() The subject as an object
Utilizar o menor número possível de posições de circuito fechadas (1), uma vez que a cada uma delas corresponde efectivamente uma ligação física dentro da caixa de distribuição.
Minimizar o número de conflitos que surgissem quando o utilizador eventualmente tocasse dois sensores, em áreas de contacto diferentes, simultaneamente.
Desse modo construímos, através de programação, o seguinte gráfico:
Fig. 32 – Tabela de conflitos entre dois sensores
Em cada linha está representado cada um dos valores do mapa de bits, e as possibilidades de conflito. Por exemplo, na linha 7 verificamos que a representação do valor 7 (11) é equivalente às representações dos valores 1 (1) e 2 (10) no caso de accionamento simultâneo. No entanto, como em nenhuma situação à distância entre as posições de conflito era inferior a um metro (suficientemente maior
| 62
New Object() The subject as an object
do que a distância de um passo), através do conhecimento da posição anterior, a software pode determinar qual dos valeres é o correcto. Uma outra possibilidade de conflito, também prevista e tratada, era a do accionamento simultâneo de três sensores, dois dos quais deveriam obrigatoriamente estar em posições consecutivas (um dos pés em dois sensores e o outro em um terceiro). Seguindo o procedimento anterior obtivemos o seguinte gráfico:
Fig. 33 – Tabela de conflitos entre mais de 2 sensores
Aqui cada linha representa a possibilidade de conflito entre dois sensores consecutivos e o restante das representações. Por exemplo, os valores 10 (10001) e 11 (100001), se accionados simultaneamente, poderiam causar um conflito com o valor 20 (110001). Do mesmo modo, sabendo-se a posição anterior do usuário, pode-se decidir entre os dois valores.
| 63
New Object() The subject as an object
Sabendo qual o valor que terá de adquirir cada zona de cada módulo de tapete, distribui-se a voltagem que entra na interface de distribuição, de forma a alimentar a combinação binária previamente estabelecida.
5.3. Gravação de som Uma vez estipulada a estética do nosso projecto, o processo de gravação de sons é calculado de forma a conseguirmos melhor qualidade possível, tendo em conta algumas preocupações de ordem técnica e conceptual. Foi utilizador hardware profissional para adquirir a maior parte dos sons. Através de um microfone dinâmico ligado a um pré-amplificador e gravador digital foram capturados sons (principalmente os que dizem respeito vibrações provenientes do atrito entre objectos) sob standard de qualidade profissional: 24bits de resolução e 96Khz de amostras digitais por segundo. Outros sons foram capturados por um microfone com condensador directamente ligado ao computador. O tempo de gravação é relativo, dependendo do tipo de objecto que se trata, no entanto, em média é de um minuto. Para a gravação das ambiências sonoras dedicamos cerca de três minutos a cada uma delas, apenas tendo uma única preocupação: não gravar vozes nem passos, pois as vozes podem dar narrativas indesejadas à paisagem sonora e, os passos são a representação sonora do Avatar, logo só essa instância sonora os deve representar. Após a gravação, os sons são submetidos a uma edição, uma vez que os objectos sonoros devem estar o mais isolado possível de outros ruídos de ambiente que possam ainda existir. São também editados de forma a se conseguir um loop perfeito. As ambiências sonoras são trabalhadas de forma a se ouvirem apenas os sons graves, para que o som que sobressaia, seja o som dos objectos sonoros bem como o som dos passos, representação sonora do avatar O processo de edição teve as seguintes etapas: | 64
New Object() The subject as an object
Conversão do ficheiro digital de Stereo para Mono (quando aplicável);
Normalização do sinal áudio para 0dB;
Corte de zonas indesejadas;
Compressão dinâmica de 2:1 ou 3:1 (quando necessária);
Equalização para redução dos sons graves entre 0 e 120Hz (aplicado apenas aos objectos sonoros);
Equalização para redução das frequências médias e agudas (aplicado apenas às ambiências sonoras);
Masterização do ficheiro digital para 44Khz a 16bits.
5.4. Síntese de paisagens sonoras O sistema que permite gerar uma paisagem sonora distinta para cada utilizador que entre no espaço de interacção tem as seguintes características:
Um bloco de programação desenvolvido em MaxMSP e dividido em 2 partes: o primeiro tem a função de gerar a paisagem sonora e o segundo de definir em que pontos do espaço cada se irá posicionar;
1 Biblioteca de ambiências sonoras com aproximadamente 20 ficheiros de áudio em formato PCM.
3 Bibliotecas de objectos sonoros constituídas cada uma dela por 20 objectos sonoros em formato PCM.
Como já foi referido, a paisagem sonora é constituída pela mistura em tempo-real do som de cada um dos ficheiros PCM seleccionado das bibliotecas acima referidas. Para que a paisagem sonora se constitua é, no entanto, necessário realizar as seguintes etapas de processamento:
| 65
New Object() The subject as an object
i.
Definição aleatória da ambiência sonora que o utilizador ira experimentar;
ii.
Definição aleatória de um objecto sonoro por cada categoria (ou pastas);
iii.
Depois de todos os objectos sonoros estarem definidos procede-se à localização deles no espaço através de uma matriz baseada num algoritmo aleatório que, para cada objecto sonoro define um valor em X e em Y;
iv.
Envio do nome dos ficheiros de som da ambiência sonora e dos objectos sonoros, bem como as coordenadas cartesianas que cada um desses sons terá no espaço, para o patch de espacialização sonora.
5.5. Espacialização do som No texto de seu “NOMOS V”38 Jan Schacher dá-nos um pequeno panorama histórico das tentativas de espacialização do som. "A espacialização do som como meio musical tem uma longa história. Órgãos de igrejas barrocas como o da catedral de Lucerna tem a, assim chamada, distância de conjunto, um conjunto completo de tubos localizados no teto e que, soando através do forro, fazem com que estes tubos soem como se estivessem a grande distância. Richard Wagner utilizava grupos de instrumentos dentro e fora do palco para dar características espaciais a sua música. Mais recentemente no projecto utópico "Universe Symphony" de Charles Ives músicos tocariam nas montanhas circulando uma cidade, bandas marchariam convergindo para a cidade, e diferentes secções de bandas flutuariam em balsas por um rio." Actualmente muitos sistemas para espacialização de som, através de reproduções com vários altifalantes, estão disponíveis a nível comercial, tanto para ambientes domésticos quanto para salas de 38
“Nomos V” disponível em http://www.jasch.ch/nomos.html (Acedido em 05-07-2006).
| 66
New Object() The subject as an object
exibição. São exemplos destas tecnologias os sistemas 5.1 e DTS. No entanto, actualmente, não é possível a aplicação de elevação vertical do som, e operamos na verdade com um ambiente sonoro bidimensional. Este facto é devido principalmente ao modo como é feita a distribuição dos sinais entre os diversos canais produzindo apenas diferenças de potência entre eles. A partir do desenvolvimento das técnicas de DSP (digital signal processing) e da introdução do áudio digital na indústria musical é que se formou o contexto para implementação do som tridimensional (Begault, 2000)39. Várias técnicas de tratamento de sinal permitiram a utilização de operações com frequências específicas e simulações de características como reverberação e filtragem através da cóclea, aproximando assim a reprodução do som espacializado com a experiência sonora que observamos na realidade.
5.5.1. Implementação Para a implementação da espacialização de áudio nesta instalação utilizaremos um bloco de programação em MaxMSP, utilizando-se ainda objectos específicos para tratamento e descodificação de sons espacializados que operam através do sistema Ambisonic40. O sistema funcionará de acordo com as seguintes etapas: i.
Inicialmente a posição do usuário é detectada pela parte inicial do programa através do sistema de rastreio da posição do utilizador no espaço;
ii.
Para cada um dos áudios presentes em um dado ciclo de operação da instalação, tanto a sobra sonora quantos os objectos que compõe a paisagem sonora, haverá um outro bloco que calculará a posição de cada elemento, em função do deslocamento do usuário;
39
“3D Sound for Virtual Reality and Multimédia” disponível em http://humanfactors.arc.nasa.gov/publications/Begault_2000_3d_Sound_Multimedia.pdf (Acedido em 06-07-2006). 40 Estes objectos encontram-se disponibilizados no site http://www.icst.net/downloads/ e distribuídos sob os termos da licença GNU (General Public Licence) – http://www.gnu.org/licenses/lgpl.html
| 67
New Object() The subject as an object
iii.
A posição de cada objecto é enviada para um terceiro bloco encarregado de fazer o processamento do sinal de áudio, incluindo-se aí todos os efeitos e simulações necessárias;
iv.
Um bloco final encarrega-se compor ou misturar um único sinal para cada altifalante e envia-lo para execução.
Nos momentos em que o avatar dispara o segundo nível da experiência todo este conjunto cessa de operar e um único objecto sonoro é seleccionado aleatoriamente para ser enviado para todos os altifalantes.
5.5.2. Configuração O seguinte diagrama representa as conexões físicas entre as interfaces de áudio que compõe a instalação. O computador envia, por cabo firewire, um sinal digital é separado pela interface de som. Depois, já na interface de som, o sinal é processado, distribuído e amplificado sendo enviado para cada um dos 9 altifalantes (8 imagens de média e altas-frequências e um sub-woofer).
| 68
New Object() The subject as an object
Fig. 34 Diagrama da interface sonora
5.6. Técnicas não utilizadas Durante o processo de concepção da peça no plano teórico, surgiram vários elementos e soluções tecnológicas que foram deixadas de lado devido a variadíssimas razões: tecnológicas, conceptuais e estruturais. Essas técnicas ou soluções, apesar de não fazerem parte da concepção final da estética da obra, foram objectos de estudo e investigação que levaram a outras soluções mais viáveis, daí ser importante referi-las como elementos do processo de trabalho.
5.6.1. Sistema de rastreio da posição do utilizador por sonar Por razões conceptuais, e porque esta peça teve a sua génese na retórica da crítica à imagem, todo o sistema tecnológico da peça foi desenhado, num primeiro momento, sem qualquer dispositivo visual. Assim, a solução que à primeira vista seria mais óbvia para funcionar como rastreio da posição do utilizador no espaço, a webcam, estava posta de lado.
| 69
New Object() The subject as an object
Concebeu-se, então, um sistema baseado em sensores ultra-sónicos41 (sensores de proximidade ou sonares) que adquiriu várias configurações de acordo com o conhecimento que se foi adquirindo dessa tecnologia. Os sensores estariam ligados a um interface de processamento Fig. 35 – Área de cobertura dos feixes dos sensores ultraelectrónico (baseado num sónicos microcontrolar Arduino42) que se ligaria ao computador via USB. Os sensores ultra-sónicos são capazes de determinar a distância a que se encontra o utilizador do emissor. Tendo, em teoria, um sensor ultra-sónico em cada parede a projectar feixes na direcção da parede que se encontra à frente, seria possível rastrear a posição do utilizador no espaço, determinando as coordenadas cartesianas no espaço (X e Y). Essas coordenadas, uma vez enviadas para a unidade de processamento seriam usadas para espacializar o som. Contudo, este sistema teve de ser abandonado devido ao ângulo de projecção dos feixes ser muito pequeno. E mesmo distribuindo mais sensores pelo espaço, poderiam ser criadas zonas fantasmas, onde nenhum dos feixes fosse capaz de chegar.
41 42
Fig. 36 – Cálculo da distância entre o utilizador e o emissor de ultra-sons
Ver em http://www.parallax.com (procurar por “Ultrasonic sensors”) Ver em http://www.arduini.cc
| 70
New Object() The subject as an object
5.6.2. Rastreio da posição do utilizador por webcam Num segundo momento, foi definido um sistema de visão para suportar o dispositivo de rastreio da posição do utilizador no espaço. A webcam é a interface física que compõe o sistema de visão. De forma a se concretizar este sistema para que funcione sobre condições de luminosidade adversas (o espaço terá uma luminosidade reduzida), é necessário adaptar Fig. 37 – Posição da webcam no tecto a webcam de modo a que consiga detectar o movimento do utilizador no escuro. A webcam terá de ser adaptada para o sistema de infravermelhos, ou seja, criar uma emulação de nightshot43 tão comum em câmaras de filmar, de modo a conseguir que o reflexo da luminosidade dos infravermelhos seja “visto” pela webcam. De seguida estão descritas as principais tarefas para se levar a cabo uma adaptação deste género:
43
i.
Abrir a webcam;
ii.
Desenroscar e retirar a lente;
iii.
Retirar, da parte de trás da lente, um vidro de formato quadrado que reflecte a luz vermelha;
iv.
Cortar 2 pedaços de um negativo fotográfico com o mesmo tamanho do vidro retirado da lente;
v.
Colocar os 2 negativos onde o vidro estava;
vi.
Enroscar novamente a lente na webcam.
Refere-se a sistemas de visão nocturna.
| 71
New Object() The subject as an object
Depois de se efectuarem estes passos temos uma webcam pseudo infravermelha. Esta tecnologia low-tech44 não permite o que realmente se deseja: um sistema de nightshot, que seja capaz de detectar o utilizador dentro de um espaço escuro. Para que a webcam seja capaz de “ver” é necessário fornecer-lhe a luz para a qual ela foi preparada: luz infra-vermelha (não perceptível à visão humana). Assim é necessário projectar feixes infra-vermelhos na sala de modo a iluminar o utilizador aos “olhos” da webcam. Assim, são montados vários emissores45 de infra-vermelhos do mesmo tipo dos que temos nos controlos remotos das televisões.
5.6.3. Técnicas de visão por webcam A câmara estará localizada no centro do tecto, com a objectiva a fazer 90º com a horizontal. A proporção de captura de uma webcam é de 1/1, de modo que o tecto terá de ter tanta altura quanto tenha de largura o espaço, ou seja, se o espaço de interacção tiver 5 metros de largura, o tecto terá de ter pelo menos 5 metros de altura. A câmara estará ligada à unidade de processamento (computador) através de um cabo USB. A aplicação que estuda a informação visual é o Jitter46 (aplicação de análise de vídeo que estende as funcionalidades do MaxMSP).
5.6.4. Técnicas de captura de vídeo Para que o Jitter possa fazer captura em tempo real num ambiente Windows é necessário que este ambiente possua drivers de captura de vídeo em formato Quicktime47, algo que não é normal de acontecer sob a plataforma Windows. Assim, é necessário usar um dos dois emuladores de captura quicktime 44
“low-tech” refere-se à reutilização, reconfiguração, alteração ou preparação de uma tecnologia doméstica para usos mais avançados. Mais informação em http://www.hackaday.com/ 45 Emissores de infra-vermelhos são vulgares e podem encontrar-se em qualquer loja de electrónica. Exemplo: http://www.smarthome.com/shdiremitters.html 46 Jitter é uma extensão de análise de vídeo muito utilizada no meio artístico desenvolvida por Jean-Marc Pelletier: http://www.cycling74.com/products/jitter 47 Quicktime refere-se a uma tecnologia de compressão de vídeo digital desenvolvida pela Apple: http://www.quicktime.com
| 72
New Object() The subject as an object
disponíveis para o sistema Windows: o WinVDig48 ou o Abstract Plane Vdig49. A escolha recaiu no WinVDig pela simples razão de que é uma aplicação gratuita.
5.6.5. Técnicas de análise de vídeo A técnica usada de análise de vídeo para ser obter valores da variação da deslocação do utilizador no espaço foi a background subtraction (Levin, 2003: 6) conjugada com frame differencing (Levin, 2003: 6). Estas técnicas, quando juntas, permitem saber quando um utilizador entra no espaço, mas também a posição dele em cada momento. Assim, a técnica aqui utilizada funciona por comparação de frames. Analisa o primeiro frame, depois analisa o frame que lhe sucede. Faz a subtracção do sinal dos dois frames e o resultado dessa subtracção é um valor que, caso seja superior a um nível de threshold definido, a aplicação faz o mapeamento da posição onde ocorreu essa diferença e projecta os novos valores de posição do utilizador. Este processo é contínuo no tempo: o seguinte frame que sucede será subtraído ao anterior e o resultado será analisado. O patch utilizado nas primeiras experiências com esta técnica de análise de vídeo é baseado no “background subtraction” da autoria da Division for Interactive Media50 da University of Southern Califórnia.
5.6.6. Funcionamento do sistema de visão O patch que faz a análise de vídeo apesar de simples necessita que lhe sejam feitas algumas considerações. Assim, utilizando o objecto jit.qt.grab executamos a captura do vídeo através do WinVDig.
48
WinVdig - http://www.vdig.com/WinVDIG/ Abstractplane – “Internet Broadcasting” - http://www.abstractplane.com/products/vdig.jsp 50 Division for Interactive Media da University of Southern Califórnia: http://interactive.usc.edu/ 49
| 73
New Object() The subject as an object
Fig. 38 – Captura de 4 frame de uma deslocação do utilizador
O exemplo acima representado indica um trajecto na linha do tempo de uma pessoa sobre uma superfície. Este sinal de vídeo que se processa é, no entanto, supérfluo para o que se realmente necessita.
Fig. 39 – Conversão do sinal RGB a cores para escalas de cinza
O processamento de vídeo através de 3 canais de cor RGB é, apesar do desenvolvimento nesta área, muito rigoroso para um computador. É verdade que para um computador capturar o sinal de uma webcam é uma tarefa simples, contudo não nos devemos esquecer de que todo o processamento relacionado com os elementos media da instalação serão executados em apenas um computador, daí ser necessário prudência nas opções tomadas. E aqui, a solução mais pragmática será converter o sinal de vídeo para apenas um canal (através do objecto jit.rgb2luma) e fazer a análise do vídeo a escalas de cinzento. Envia-se então um sinal desse vídeo para um buffer que o guarda até que chegue um novo frame. Quando um novo frame chega, o anterior é enviado para o objecto jit.op que o subtrai ao que está nesse momento dentro do buffer. O resultado da subtracção é o que se verifica no exemplo seguinte.
| 74
New Object() The subject as an object
Fig. 40 – Background Subtraction + Frame Differencing
Aqui, como se pode ver, os movimentos do utilizador são registados por sombras brancas sobre um fundo negro. No terceiro frame, por exemplo, pode-se constatar uma maior intensidade de branco que é justificado por nesse momento o utilizador estar em rotação, que somada ao deslocamento, geram uma maior variação e, consequentemente, um maior esclarecimento da posição do utilizador. Uma variável importante neste processo diz respeito à frequência em que se fazem amostras de vídeo e se as enviam para o buffer. Enviar 25fps, por exemplo, para serem analisados seria correr o mesmo risco que anteriormente referimos. Não é necessário tanta precisão. Daí que, uma amostra por segundo é o suficiente para se conseguir uma efectividade na análise do vídeo. Sabendo qual a zona onde se regista a mancha branca, ou melhor, onde existe a maior mancha branca (porque devido a fenómenos não previstos podem surgir pequenas manchas noutras localizações do espaço) é possível saber em que zona da sala o objecto se encontra: converter a posição em pixeis para a posição cartesiana da sala com uma simples função. Essa função terá as seguintes propriedades: a) Posição do utilizador em x b) Posição do utilizador em y c) Vector de deslocamento do utilizador: calculado tendo em conta a posição actual e a anterior. Com essas duas coordenadas é possível traçar um vector do deslocamento que servirá para gerir o comportamento da sombra sonora.
| 75
New Object() The subject as an object
Contudo, cada frame analisada não vai indicar um ponto (pixel), mas antes uma mancha que preenche uma área de pixeis. Como o que se pretende é adquirir um ponto no espaço (por razões de processamento e não tanto de funcionamento) é necessário proceder ao cálculo de um ponto médio. Esse ponto será o centro (pivot) da mancha.
5.6.7. Detecção dos passos por sensores de vibração De modo a se conseguir detectar os passos do utilizador no espaço foi desenhada uma grelha de sensores de vibração (piezoeléctricos) que pudesse ter sensibilidade suficiente para detectar a vibração que ocorre quando alguém pisa o chão. Os sensores de vibração a utilizar são genéricos, que se podem adquirir em Fig. 41 – Sensor piezoeléctrico qualquer loja de electrónica. Cada um estará ligado a um interface de recepção de sinal.
| 76
New Object() The subject as an object
6. Orรงamento
| 77
New Object() The subject as an object
7. Colaboradores e consultores Carlos Gomez – Tecnologia sonora Oswaldo Menks - Electrónica Hélder Dias – Estética e Conceito José Manuel Berenger – Estética e tecnologia sonora Ivan Marino – Estética Eugénio Tisselli – Computação física Carolina Dimitrov – Gravações de audio Cláudia Gianetti – Estética e conceito Giani Brito – Electrónica Alex Posada – Interfaces físicas
| 78
New Object() The subject as an object
8. Referências ASCOTT, Roy. Nature II: Telematic Culture and Artificial Life. Londres: Convergence, 1995. ALLBECK, Jan e Norman Badler. Avatars á la Snow Crash. California: Scientific Literature Digital Library. 1998. BASBAUM, Sérgio – Synesthesia and Digital Perception. São Paulo: Pontifícia Universidade Católica. 2000. BEGAULT, D.R. 3-D Sound for Virtual Reality and Multimedia, http://humanfactors.arc.nasa.gov/publications/Begault_2000_3d_Sound_Multimedia.pdf, acesso em 18/04/2006. CANTONI, Rejani. Bodyarchitecture: the Evolution of Interface towards Ambient Intelligence in G. Riva, F. Fatalaro e M. Alcañiz, ed., Ambient Intelligence, IOS Press, 2005. CARMO, Livia. Paisaje Sonoro Uruguai, http://www.eumus.edu.uy/ps/proyectos.html, acesso em 3 de Julho de 2006. CARMO, Lívia. Efeito do ruído ambiental no organismo humano e suas manifestações auditivas, http://acd.ufrj.br/consumo/vidaurbana/Monografia_goiania.pdf, acesso em 4 de Julho de 2006 COVOLAN, Nadia. O medo da perda do si-mesmo. Florianopolis (Brasil). Centro de Filosofia e Ciências Humanas da Universidade Federal de Santa Catarina. 2003. DOMINGUES, Diana. Ciberespaço e Rituais: Tecnologia, Antropologia e Criatividade, Horizontes Antropológicos [on-line]. 2004. http://www.scielo.br/pdf/ha/v10n21/20624.pdf#search=%22Ciberespa%C3% A7o%20e%20Rituais%3A%20Tecnologia%2C%20Antropologia%20e%20Cr iatividade%22. DYSON, Frances. A Philosophonics of Space. http://www.synesthesie.com/heterophonies/theories/pdf/DysonPhilisophonics.pdf#search=%22A%20Philosophonics%20of%20Space%22
| 79
New Object() The subject as an object
FARIA, Regis. Improving spatial perception through sound field simulation in VR in Giardini Naxos. VECIMS 2005 – IEEE International Conference on Virtual Environments, Human-Computer Interfaces and Measurement Systems. Italy. 2005. FISKE, John. Introduction to Communication Studies (1982). Londres: Routledge. 1982. FUJWARA, Dam. Water. http://www.adhikara.com/art_kunst/emoto/water19.htm, acesso em 3 de Julho de 2006 GIANNETTI, Claudia. Endo-Aesthetics, http://www.medienkunstnetz.de/themes/aesthetics_of_the_digital/endoaesthetics, acesso em 3 de Março de 2006. GRANDPIERRE, Attila. The Dynamics of Time and Timelessness. Budapeste: Konkoly Observatory. 2003. HAVERKAMP, Michael, http://www.bluecatsandchartreusekittens.com/Text_audio_visual_coupling_ B.pdf, acesso em 3 de Julho de 2006 KRAMER, Sybille. Spielerische Interaktion in Rotzer, F., ed. Schone Neue Welten? Auf den Weg zu einer neuen Spielkultur. Munique. 1995. LEVIN, Golan. Computer Vision for Artists and Designers, Pittsburg: Carnegie Mellon University. 2003. Ong, W. J. (1971). World as view and world as event. In P. Shepard & D. McKinley (Eds.), Environ/mental: Essays on the Planet as Home. Nova Iorque : Houghton; op cit Forrester, M.A. Auditory perception and sound as event: theorizing sound imagery in psychology. http://www.kent.ac.uk/sdfva/sound-journal/forrester001.html, acesso em 2 de Abril de 2006. OVENS, Tim. The sound collector – The prepared piano of John Cage. http://www.8ung.at/fzmw/2003/2003_4.pdf, acesso em 4 de Julho de 2006
| 80
New Object() The subject as an object
RINALDO, Ken. Autopoiesis. http://accad.osu.edu/~rinaldo/, acesso em 23 de Abril de 2006. ROSSLER, Otto et Weibel, Peter - Our Rainbow World, 2001. RUMSEY, Francis. Spatial Audio. Oxford: Focal, 2001
SCHACHER, Jan. NOMOS V. http://www.jasch.ch/vector.html, acesso em 26 de Abril de 2006. SCAHFER, R. M.. El nuevo paisaje sonoro. Buenos Aires: Ricordi Americana. 1969. SMITH, Craig. How do we recognize interactivity?. http://research.it.uts.edu.au/creative/interaction/papers/interaction04_28.pdf #search=%22%22craig%20smith%22%20%22How%20do%20we%20recog nize%20interactivity%22%22, acesso em 3 de Maio de 2006. THALMANN, Daniel – The Role of Virtual Humans in Virtual Environment Technology and Interfaces. California: Scientific Literature Digital Library. 1999. WEIBEL, Peter. The World from Within in Ars Electronica Catalog, EndoNano [Part 01]. Ed., http://www.aec.at/en/archives/festival_archive/festival_catalogs/festival_artik el.asp?iProjectID=8835, acesso em 21 de Abril de 2006. WEIBEL, Peter. Virtual Worlds: The Emperor’s New Body In Ars Electronica v.2, ed. Gootfried Hattinger. 1990. WEIBEL, Peter. The World as Interface. 1996. op. Cit. Arantes, Priscila. Perspectivas da estética digital. São Paulo: Senac. 2001. WINKLER, Todd. Audience Participation and Response in MovementSensing Installations in Proceedings of the International Computer Music Conference. 2000. WOLF, Tom – op. cit. BAIGORRI, Artemi.http://www.ruidos.org/Documentos/Sociologia_ruido.html, acesso em3 de Julho de 2006 | 81
New Object() The subject as an object
9. Biografia dos autores 9.1. André Menks André Luis Menks Ribeiro nasceu em São Paulo, Brasil, a 2 de Setembro de 1970. Em 1990 iniciou uma graduação no Instituto de Física da Universidade de São Paulo, a qual abandonou dois anos depois. Em 1997 concluiu a graduação em Cinema, na Fundação Amando Álvares Penteado e em 2005, a pós-graduação em Mídias Interativas na Faculdade SENAC. Iniciou em 2006 um master em Sistemas Interactivos no Media Centre d’Art and Design (Barcelona). Profissionalmente actua em diversas funções na área de produção áudio-visual com destaque nos últimos em edição e finalização.
9.2. Carolina Abreu Ana Carolina Ribeiro Teibão de Abreu nasceu em Guimarães, Portugal a 4 de Outubro de 1981. Vive desde os 18 anos no Porto, cidade onde se licenciou em Som e Imagem com especialização em Artes Digitais pela Escola das Artes da Universidade Católica Portuguesa,no ano de 2003. Trabalhou de 2003 a 2005 no gabinete de investigação (CITAR) pertencente à Universidade Católica Portuguesa. Em 2005 fez uma formação avançada em Modelação 3D. Começou em 2006 um master em Sistemas Interactivos no Media Centre d’Art and Design (Barcelona).
9.3. Luis M Cordeiro Luis Marco Cardoso Cordeiro nasceu em Viana do Castelo, Portugal, a 18 de Abril de 1979. Vive desde os 16 anos no Porto, cidade onde trabalha actualmente como designer multimédia para um grupo de
| 82
New Object() The subject as an object
empresas (Fubu Publishers, Filbox e PortoCanal). Trabalha como freelancer para alguns clientes como BlueWeb, DjMissBlondie e Lulla Bye. É licenciado desde 2003 em Som e Imagem, com uma especialização em Artes Digitais pela Escola das Artes da Universidade Católica Portuguesa. Começou em 2005 um mestrado em Tecnologias Multimédia pela Faculdade de Engenharia da Universidade do Porto. Em simultâneo, iniciou em 2006 um master em Sistemas Interactivos no Media Centre d’Art and Design (Barcelona). O seu último projecto de maior dimensão estética, foi a instalação “Nós e o Outro e o Outro e Nós” (2005) que está em exibição no Museu da Faculdade de Engenharia da Universidade do Porto. A nível comercial, foi responsável pela colecção de 12 DVD’s interactivos “Odisséia da Ciência – Enciclopédia Multimédia“ com uma tiragem de cerca de 250 mil exemplares no mercado português.
| 83