뉴미디어의 언어_맛보기 by Communicationbooks

뉴미디어의 언어 레프 마노비치 지음 서정신 옮김

대한민국, 서울, 커뮤니케이션북스, 2014

뉴미디어란 무엇인가?

뉴미디어란 무엇인가? 이 질문에 대한 답으로 우선 유수 언론에서 공통 적으로 뉴미디어라는 것의 하위 범주로 분류하고 있는 것들을 열거해 보자. 인터넷, 웹사이트, 컴퓨터로 재현되는 멀티미디어, CO-ROM 그 리고 DVD와 시뮬레이션이 그것이다. 그런데 이것들이 전부일까? 그렇 다면 디지털비디오로 찍고 컴퓨터 워크스테이션에서 편집한 텔레비전 프로그램은 뉴미디어가 아닐까? 또 3차원(3D) 애니메이션과 디지털 합 성으로 만들어진 영화는? 이들도 뉴미디어로 보아야 할까? 사진이라든 가 일러스트레이션, 레이아웃, 광고처럼 컴퓨터상에서 만들어져 종이 에 인쇄된 이미지나, 텍스트와 이미지의 합성 같은 것들은 어떤가? 어 디에서 경계를 지어야 할까? 이러한 예에서 볼 수 있는 것처럼 통상적으로 이해하자면 뉴미디 어는 제작에서보다는 배포와 전시를 위해 컴퓨터를 사용하는 것이다. 따라서 컴퓨터상에서 배포되는 텍스트(웹사이트나 전자책)는 뉴미디 어로 생각되는 반면 종이로 배포되는 텍스트는 뉴미디어가 아닌 것으 로 여기곤 한다. 마찬가지로 CD-ROM에 수록되어서 컴퓨터상에서만 볼 수 있는 사진들은 뉴미디어지만 같은 사진이 책에 수록되어 있으면 뉴미디어가 아니라고 생각한다. 뉴미디어에 대한 이런 식의 정의를 받아들여야 할까? 문화 전반에

걸친 컴퓨터화의 영향을 이해하려 한다면 이러한 정의는 너무 제한적 이다. 컴퓨터를 미디어 생산 도구나 미디어 저장 도구보다 전시와 배포 를 위한 도구로 볼 근거는 그다지 없기 때문이다. 앞에 열거된 것들이 기존의 문화 언어를 변화시킬 수 있는 잠재력은 모두 똑같다. 또는 문 화에 영향을 미치지 못한 채 사장될 가능성 또한 모두 똑같다. 하지만 컴퓨터가 문화에 전혀 영향을 미치지 못할 가능성은 거의 없다. 오늘날 우리는 뉴미디어 혁명의 한가운데에 서 있다. 14세기의 인쇄 활자나 19세기의 사진 기술이 당대의 사회와 문화에 혁명적인 충 격을 주었던 것처럼, 모든 문화가 컴퓨터를 매체로 하는 생산, 배포, 의 사소통의 형태로 바뀌고 있는 것이다. 이 새로운 혁명은 아마도 이전의 그 어떤 혁명들보다 더 심오하다고 할 수 있을 것이다. 우리는 이 혁명 의 초기 효과를 이제 겨우 알아채기 시작했다. 사실 인쇄 활자의 도입은 문화적 의사소통의 한 단계로 미디어의 배포, 그리고 사진 기술의 도입에 영향을 미쳤고 이는 또 문화적 의사소 통의 한 유형인 스틸 이미지에 영향을 미쳤을 뿐이다. 반면 컴퓨터는 입수, 조작, 저장 그리고 배포를 포함하는 의사소통의 모든 단계뿐만 아니라 텍스트, 스틸 이미지, 동영상, 사운드 그리고 공간 구성에 이르 는 모든 유형의 미디어에 영향을 미치고 있다. 이런 근원적인 변화의 영향을 어떻게 구성해 볼 수 있을까? ‘미디 어’를 기록하고 저장하고 창조하고 배포하는 컴퓨터의 어떤 사용 방식 이 컴퓨터를 소위 ‘뉴미디어’로 만드는 것일까? 나는 ‘어떻게 미디어는 뉴미디어가 되었나’에서 뉴미디어란 별도로 진행된 두 개의 역사적 궤도, 즉 계산 기술과 미디어 기술 발달의 궤도가 하나로 합쳐진 것에 다름 아님을 보이고자 한다. 이 두 궤도 모두 1830년 대에 시작되었으며, 그 시초는 배비지(Charles Babbage, 1792∼1871)의

자료 압출력, 기억, 계산 등을 자동적으로 처리하는 계산기의 원형인 해 석기관(analytic engine)과 다게르(Louis Jacques Daguerre, 1787∼1851) 의 다게레오타이프라는 독자적인 사진 현상 방법이었다. 그리고 결국 20 세기 중반에 이르러 현대적 의미의 디지털 컴퓨터가 개발되어 숫자로 된 자료에 대한 계산을 보다 효율적으로 수행하게 되었다. 이 컴퓨터들은 19세기 말을 전후해서 기업과 정부에서 널리 사용되던 여러 종류의 기계 화된 제표기와 계산기들을 대체하게 된다. 거의 비슷한 방식으로 진행된 일련의 다른 변화 과정에서 우리는 사진 원판이나 필름, 레코더 같은 서로 다른 물질 형태를 이용해서 이미 지, 연속된 이미지, 사운드, 텍스트 등을 저장할 수 있도록 하는 현대적 미디어 기술의 발전을 목격하게 된다. 이 두 역사 과정의 종합은 무엇 인가? 그것은 바로 존재하는 모든 미디어를 컴퓨터에서 처리할 수 있도 록 숫자화된 자료로 전환하는 것이다. 그 결과 컴퓨터로 처리할 수 있 는 그래픽, 동영상, 사운드, 형태, 공간 그리고 텍스트 등으로 구성된 뉴 미디어가 나타났다. 다시 말해서 그것들은 컴퓨터에 저장된 도 하나의 데이터가 된 것이다. ‘뉴미디어의 원리’에서는 미디어가 지니게 된 이러한 새로운 지위 가 가져 온 핵심적인 결과에 대해 고찰할 것이다. 나는 상호작용성이나 하이퍼미디어와 같이 자주 거론되는 것이 아닌 다른 원리들을 제안할 것이다. 여기에 제시되는 뉴미디어의 원리는 수적 재현, 모듈성, 자동 화, 가변성 그리고 부호 변환, 이렇게 다섯 가지다. 그리고 마지막 ‘이것은 뉴미디어가 아니다’에서는 뉴미디어의 특 성을 규정하는 데 종종 거론되곤 하는 몇 가지 원리들에 대해 언급한다. 기존의 원리들은 더 오래된 문화 형태이자 미디어인 영화에서도 발견 되는 것으로 그것들만으로는 충분하게 뉴미디어를 기존 미디어와 구별

할 수 없다는 사실을 보여 줄 것이다.

어떻게 뉴미디어는 뉴미디어가 되었나 1839년 8월 19일, 파리학술원은 루이 다게르에 의해 발명된 새로운 복 제술에 대한 공식적인 설명을 듣기 위해 온 파리 시민들로 붐볐다. 이 미 디오라마(Diorama)로 유명했던 다게르는 이 새로운 과정을 다게레 오타이프라고 불렀다. 그 당시의 증언에 따르면 “며칠 후 광학기구 상 점은 다게레오타이프 기구를 열렬히 원하는 아마추어들로 붐볐고, 어 디에서나 카메라로 빌딩을 찍어대고 있었다. 많은 사람들이 자기 방의 창문으로 보이는 풍경을 기록하고 싶어했다. 만약 첫 시도에서 하늘과 맞닿은 지붕의 윤곽이라도 잡았다면 운이 좋은 편이었다.”1) 이렇게 미디어에 대한 열광이 시작되었다. 겨우 5개월 안에 그 기 술에 관한 설명이 전 세계적으로, 바르셀로나, 에든버러, 나폴리, 필라 델피아, 상트페테르부르크, 스톡홀름 같은 곳에서 무려 30가지나 출판 되었다. 처음에는 건축물과 풍경을 다게레오타이프(daguerreotype)로 찍는 정도가 대중이 생각할 수 있는 전부였다. 하지만 2년 후 여러 가지 기술적 개선이 이루어진 후에는 초상화 사진관이 여기저기에 생겨났 고, 사람들은 이 새로운 미디어로 자신의 초상사진을 찍기 위해 사진관 으로 달려갔다.2)

1) Quoted in Beaument Newhall, The History of Photography from 1839 to the Present Day, 4th ed.(New york: Museum of Modern Art, 1964), 18; 󰡔사진의 역사󰡕, 정진국 옮김,

열화당, 1987, 2003.

1833년 찰스 배비지는 스스로 ‘해석기관(Analytical Engine)’이라 고 부른 장치를 설계하기 시작했다. 그 기관은 현대 디지털 컴퓨터의 핵심 요소 대부분을 지니고 있었다. 이 장치에서는 데이터와 사용법을 수록하기 위해 천공카드가 사용되었다. 이러한 정보는 그 기관의 메모 리에 저장되었다. 배비지가 밀(mill)이라고 불렀던 처리 단위는 데이터 를 가지고 계산을 수행해 그 결과를 메모리에 기록했으며, 최종 결과는 프린터에 인쇄되어 나오게 되어 있었다. 이 동력기는 어떤 수학 계산이 라도 할 수 있도록 설계되었다. 카드로 입력된 프로그램을 따라갈 수 있을 뿐 아니라 중간결과에 따라 어떤 사용법을 쓸 것인지도 결정할 수 있었다. 하지만 다게레오타이프와는 달리 이 기관은 한 대도 완성되지 않았다. 현실을 재생하는 미디어 도구로서 다게레오타이프의 발명이 즉각적으로 사회에 충격을 준 반면, 이 컴퓨터의 충격은 아직 나타나지 않았다. 흥미롭게도 배비지는 정보를 저장하기 위해 천공카드를 사용하는 아이디어를 프로그램에 의해 작동되는 더 오래된 기계에서 빌려왔다. 1800년경, 자카르(J. M. Jacqurd)는 천공카드에 의해 자동적으로 조절 되는 직조기를 발명했다. 자카르는 그 직조기를 자신의 초상을 비롯해 복잡한 모양의 이미지를 짜는 데 사용했다. 말하자면 이 직조기는 특수 한 종류의 그래픽 컴퓨터였다. 이것은 배비지가 수학 계산을 하는 일반 적 컴퓨터인 해석기관을 만드는 데 영감을 주었다. 배비지의 지지자였고 최초의 컴퓨터 프로그래머였던 에이다 어거 스터(Ada Augusta)가 말한 것처럼 “자카르의 직조기가 꽃과 잎사귀를 짰다면 해석기관은 대수학적 패턴을 짰다.”3) 그러니까 프로그램화된

2) Newhall, The History of Photography, 17∼22.

기계는 숫자를 처리하기 전에 이미 이미지를 합성해 내고 있었다. 컴퓨 터사가들은 자카르의 직조기와 해석기관의 연관성을 그리 대단하게 여 기지는 않았다. 왜냐하면 그들에게 이미지 합성은 현대 디지털 컴퓨터 의 수천 가지 응용 방식 가운데 하나에 불과하기 때문이다. 하지만 뉴 미디어를 연구하는 역사가에게 그 연관성의 의미는 지대하다. 현대적 미디어의 발전과 컴퓨터의 발전이라는 두 개의 궤도가 거 의 같은 시기에 시작되었다는 사실은 그리 놀랄 일은 아니다. 대중사회 가 기능하기 위해 미디어 기계와 계산 기계는 둘 다 절대적으로 필요한 것이었다. 똑같은 텍스트, 이미지 그리고 사운드를 수백만의 시민들에 게 배포해서 똑같은 이념적 믿음을 확신시킬 수 있는 능력은 시민의 출 생 기록, 취업 기록, 의료 기록 그리고 경찰 기록을 추적할 수 있는 능력 만큼이나 필수적이었다. 사진, 영화, 오프셋 인쇄, 라디오 그리고 텔레 비전은 앞서 나열한 것들을 가능하게 했고, 반면 컴퓨터는 뒤에 나열한 것들을 가능하게 했다. 대중 미디어와 데이터 처리 기술은 서로 보완적 인 기술이다. 이 둘은 함께 나타나서 나란히 발전했고, 그에 따라 현대 적 의미의 대중사회가 가능하게 되었다. 오랫동안 이 궤도는 한 번도 마주치지 않고 평행선을 달렸다. 19세 기 전반과 20세기 초까지 여러 가지 기계적, 전기적 제표기와 계산기들이 개발되었다. 계산기의 처리속도는 점점 빨라졌고 더 널리 사용되었다. 현 대적 미디어 또한 비슷하게 부상했다. 이 미디어를 이용해 단일의 혹은 연속된 이미지, 사운드 그리고 텍스트를 여러 가지 물질 형태, 즉 사진 판, 필름, 레코드판 등의 형태로 저장하는 것이 가능해졌다.

3) Charles Eames, A Computer Perspective: Background to the Computer Age (Cambridge, Mass: Harvard University Press, 1990), 18.

두 가지 역사를 계속 추적해 보자. 1890년대에 스틸 사진이 동영상 화되면서 현대적 미디어는 진일보하게 된다. 1893년 1월, 최초의 영화 스튜디오인 에디슨의 ‘블랙마리아(Black Maria)’는 20초짜리 단편영화 를 제작하기 시작했으며, 이 영화는 특수한 키네토스코프 상영관에서 상영되었다. 2년 후 뤼미에르(Lumière) 형제는 그들의 새로운 시네마 토그라프 카메라와 영사기를 결합한 것을 먼저 과학자들에게, 그리고 그 후 1895년 12월에는 관중에게 유료로 선보였다. 1년 안에 요하네스 버그, 봄베이(오늘날 뭄바이), 리우데자네이루, 멜버른, 멕시코시티 그 리고 오사카의 관중들은 뉴미디어 기계를 마주하게 되었고, 여기에 매 료되었다.4) 장면은 점차 길어졌고, 카메라 앞에서 연출하고 그 이후에 편집하는 것이 더욱 복잡해졌으며, 복사본도 늘어났다. 영화는 시카고 와 캘커타, 런던과 상트페테르부르크, 도쿄와 베를린, 그리고 다른 수 천 곳에서 관객들을 달래 주게 되었다. 이들 관객은 극장 밖에서 그들 의 샘플링 그리고 데이터 처리 시스템인 두뇌로는 더 이상 적절히 대처 할 수 없을 정도로 점차 밀도를 더해 가는 정보들을 대면하고 있었다. 영화관이라는 어두운 휴게실로 이따끔씩 찾아가는 것은 현대인들에게 일상의 생존 기술이 되었다. 1890년대는 미디어의 발전뿐 아니라 컴퓨터 기술에서도 아주 중요 한 시기였다. 처리해야 할 막대한 양의 정보 때문에 부담스럽기는 개개 인의 두뇌만이 아니라 기업과 정부도 마찬가지였다. 미국 인구조사국 은 1887년에도 여전히 1880년 인구조사 기록을 해석하고 있었다. 1890 년 인구조사국은 허먼 홀러리스(Herman Hollerith)가 설계한 전기 계

4) David Bordwell & Kristin Thompson, Film Art: An Introduction, 5th ed.(New York: McGraw-Hill), 15; 󰡔영화예술󰡕, 주진숙·이용관 옮김, 이론과 실천, 1993.

수기를 인구조사에 사용하기로 한다. 수집된 개인 자료는 카드에 펀칭 되어 입력되었고, 4만6803대의 입력기가 전체 6297만9766명에 대한 서류를 완성했다. 홀러리스 계수기는 업계에서 계산기계가 사용되는 데 문을 열어주 었다. 그다음 10년간 전기 계수기는 보험회사, 공공 서비스 회사, 철도 사무실 그리고 각 사업체 회계과의 기본 설비가 되었다. 1911년 홀러리 스 계수기계 회사는 다른 세 개 회사와 합병되어 계산-계수-기록 회사가 되었고, 1914년에는 토머스 J. 왓슨(Thomas J. Watson)이 그 회사의 사 장이 된다. 10년 후에 이 사업은 세 배로 성장하고, 왓슨은 회사 이름을 ‘국제기업기계회사(IBM, International Business Machine Corporation)’ 로 바꾸었다.5) 20세기에 들어서 미디어와 계산의 역사에서 중요한 해는 1936년 이다. 영국의 수학자 앨런 튜링(Allen Turing)은 “계산 가능한 숫자들 (Computable Numbers)”이라는 독창적인 논문을 썼다. 그 논문에서 그 는 후에 그의 이름을 따서 ‘튜링 기계(the Universal Turing Machine)’ 라고 불리게 될 일반적 목적의 컴퓨터에 대한 이론적 설명을 제공했다. 이 기계는 겨우 네 가지밖에는 할 수 없었지만 인간이 할 수 있는 모든 계산을 할 수 있었고 다른 계산기계가 하는 것도 따라할 수 있었다. 이 기계는 끊임없이 이어지는 테이프에 쓰여진 숫자들을 읽고 쓰면서 작 동한다. 모든 단계에서 테이프는 다음 명령을 받기 위해 전진하며, 3데 이터를 읽거나 결과를 기록해 준다. 그런데 이 기계의 설계도는 이상할 정도로 필름 영사기와 닮아 있다. 이것이 우연일까? ‘움직임을 기록한다’는 의미의 영화(시네마토그라프, cinematograph)

5) Eames, A Computer Perspective, 22∼27, 46∼51, 90∼91.

라는 단어를 생각한다면, 영화의 핵심은 시각적 자료를 물질적인 형태로 기록하고 저장하는 것이다. 카메라는 자료를 필름 위에 기록하고 영사기 는 그것을 읽어낸다. 이 영화적 도구는 핵심적인 면에서 컴퓨터와 유사하다. 컴퓨터의 프로그램과 데이터 역시 어떤 미디어 안에 저장되어야 한다. 이 것이 바로 튜링 기계가 영사기와 비슷해 보이는 이유다. 튜링 기계는 카메 라와 영사기가 하나로 합쳐진 것이다. 끝없이 긴 테이프에 쓰여진 지시사 항과 데이터를 읽고 그 결과를 같은 테이프의 다른 위치에 기록한다. 사실 적절한 저장매체와 데이터 부호화 방법의 발전은 영화와 컴 퓨터 이전의 역사에 대해서 중요한 부분을 말해 준다. 영화의 발명자들 은 분리된 이미지를 셀룰로이드판에 정착시켰다. 데이터를 빨리 읽고 쓸 수 있어야 할 뿐만 아니라 데이터에 접근할 때 이보다 더 빠른 속도 가 필요한 컴퓨터용으로 컴퓨터의 발명자들은 데이터를 전자적인 이진 부호(binary code)로 저장하기 시작했다. 튜링이 획기적 논문을 쓴 바로 그 해에, 독일 공학자 콘라드 추제 (Konrad Zuse)가 베를린에 있는 부모님의 아파트 거실에 컴퓨터를 만 들면서 미디어와 컴퓨팅의 역사는 더 복잡하게 얽히게 된다. 추제의 것 은 실제로 작동하는 최초의 디지털 컴퓨터였다. 그가 이룬 혁신은 바로 구멍 뚫린 테이프를 사용해서 컴퓨터 프로그램을 조정한 것이었다. 추 제가 사용한 테이프는 버려진 35밀리 영화 필름이었다.6) 오늘날까지 전하는 이 필름의 조각에는 실내에서 촬영한 원래 프레임 위에 이진 부 호가 구멍으로 뚫려 있다. 방 안에서 두 사람이 어떤 행동을 하고 있는 이 전형적인 영화는 일련의 컴퓨터 명령을 위한 기반이 되었다. 이 영 화의 장면에 들어 있는 의미와 감정이 무엇이었든 그것은 데이터의 전

6) 앞의 책, 120.

달이라는 새로운 기능에 의해 지워졌다. 감각할 수 있는 현실을 모방해 내는 현대적인 미디어라는 사실도 이와 유사하게 지워졌다. 여기서 미 디어는 정보전달체라는 애초의 조건으로 환원되었고 그 이상도 그 이 하도 아니다. 오이디푸스 콤플렉스의 기술적 재생산에서 아들은 아버 지를 살해한다. 영화의 아이콘적 부호는 보다 효용 있는 이진 부호를 위해 폐기된다. 영화가 컴퓨터의 노예가 된 것이다. 하지만 아직 이야기는 끝나지 않았다. 이 이야기는 새로운 반전, 긍정적 의미를 지닌 반전을 맞는다. 아이콘적 부호 위에 이진 부호가 이상하게 덧씌워진 추제의 필름은 50년 후에 나타날 ‘수렴’을 예고한다. 두 개의 분리된 역사적 궤도가 드디어 만나게 되는 것이다. 미디어와 컴퓨터, 다게르의 다게레오타이프와 배비지의 해석기관, 뤼미에르의 시네마토그라프와 홀러리스의 계수기가 하나로 합쳐지는 것이다. 기 존의 모든 미디어는 컴퓨터에서 사용될 수 있는 숫자 데이터로 치환되 었다. 그 결과 모든 그래픽, 동영상, 사운드, 형태, 공간 그리고 텍스트 가 계측 가능한 컴퓨터 데이터의 단순 집합이 되었다. 간단히 말해서 미디어는 뉴미디어가 된 것이다. 이러한 만남은 미디어와 컴퓨터 두 가지 모두의 정체성을 변화시 켰다. 컴퓨터는 더 이상 단순한 계산기나 통제 기계 혹은 커뮤니케이션 도구가 아닌 미디어 처리기가 되었다. 과거에 컴퓨터는 줄줄이 이어진 숫자들을 읽어서 통계학적 결과나 탄환의 궤도를 계산해 냈으나, 이제 는 화소의 값을 읽어서 이미지를 흐리게 만들고 이미지의 색 대비를 조 절하면서 그 이미지가 물체의 윤곽을 가지고 있는지 검사할 수 있게 되 었다. 예를 들면 주어진 이미지의 구상이나 내용과 유사한 이미지들을 이미지 데이터베이스에서 검색하고, 영화에서 숏의 변화를 읽어 배경 과 배우의 이미지를 만들어 내서 숏 자체를 합성해 낸다. 역사의 순환

고리 속에서 컴퓨터는 최초의 위치로 되돌아왔다. 컴퓨터는 더 이상 숫 자만을 처리하는 단순한 해석기관이 아니며, 미디어를 합성해 내고 조 작하는 자카르의 직조기가 되었다.

뉴미디어의 원리 미디어의 정체성은 컴퓨터보다 훨씬 더 극적으로 변화해 왔다. 지금부 터 나는 옛 미디어와 뉴미디어의 핵심적인 차이를 요약하고자 하는데, 그 순서는 논리적인 순서에 따를 것이다. 말하자면, 마지막의 세 번째 원칙은 처음의 두 가지 원칙에 의존하고 있다. 이는 공리로부터 출발하 여 정리가 공리를 기반으로 더 나아가 명제가 증명되는 공리의 논리 전 개와 비슷하다. 그렇다고 모든 뉴미디어 객체가 이 원리들을 따르는 것은 아니다. 이 원칙들은 절대적 법칙이라기보다는 컴퓨터화의 과정을 거치고 있는 문화의 일반적 경향으로 생각되어야 할 것이다. 컴퓨터화가 문화의 더 깊은 차원까지 영향을 미치게 되면, 이러한 경향들은 점차 더욱 명확해 지리라 생각된다.

수적 재현

모든 뉴미디어 객체들은, 처음부터 컴퓨터로 만들어진 것이든 아날로그 미디어가 전환되었든, 수적으로 재현(Numerical Representation)된다. 이러한 사실들로부터 두 가지 핵심적인 결론이 나온다. 첫째, 뉴미디어 객체는 형식적(수학적)으로 기술될 수 있다. 예를 들어 이미지나 형태는 수학적 함수를 사용해서 기술될 수 있다.

둘째, 뉴미디어 객체는 연산에 의해 조작될 수 있다. 예를 들어 적 절한 연산을 적용함으로써 사진의 잡티를 제거하나, 색의 대비를 높이 거나 형태의 테두리를 잡아내거나, 배율을 바꿀 수 있다. 말하자면 미디 어는 프로그램화될 수 있는 것이다.

뉴미디어 객체가 컴퓨터에서 만들어질 때 그것은 처음에 숫자의 형태를 지닌다. 그러나 많은 뉴미디어 객체는 기존 미디어의 여러 가지 형태로부터 전환된 것이다. 많은 사람들이 아날로그와 디지털 미디어 의 차이를 이해하고 있겠지만, 용어와 전환 과정에 대하여 몇 가지 이야 기를 덧붙이고자 한다. 이 과정은 데이터의 원천적인 연속성을 전제한다. 말하자면 “측정 좌표 또는 차원은 그것을 구성하는 개별적인 단위로 나 뉠 수 없다.”7) 연속적인 데이터를 수적 재현으로 전환하는 것을 디지털화 (digitization)라고 하는데, 디지털화는 샘플링과 수량화, 두 가지 단계

로 구성된다. 우선 데이터는 디지털 이미지를 재현하는 데 쓰이는 화소 단위와 같은 일정한 샘플로 추출된다. 샘플링의 빈도는 해상도라고 한다. 샘플 링은 연속된 데이터를 분절된 데이터, 즉 사람, 책장, 화소 등과 같은 분 리된 단위를 나타내는 데이터로 바꾼다. 둘째로 각각의 샘플은 수량화 되어 정해진 범위의 수치가 매겨진다(예를 들어 8비트 회색조 이미지 의 경우 0∼255 사이의 수치).8) 사진이나 조각과 같은 옛 미디어가 확실히 연속적인 데 반해, 뉴미 디어 대부분은 연속적인 부호화와 분절적인 부호화의 복합을 포함한다.

7) Issac Victor Kerlov & Judson Rosebush, Computer Graphics for Designers and

Artists(New York: Van Nostrand Reinhold, 1986), 14. 8) 앞의 책, 21.

일례로 영화 필름을 들 수 있다. 각 프레임은 연속되는 사진이지만, 시 간은 여러 개의 샘플(프레임)로 나뉜다. 비디오는 한 걸음 더 나아가 수 적 차원(스캔라인, scan line)에서 프레임을 추려낸다. 유사하게 망점 과정을 사용해 인화된 사진은 분절된 재현과 연속된 재현을 함께 갖고 있다. 이러한 사진은 여러 개의 정렬된 점들(샘플)로 구성되어 있는데 점의 반경과 크기는 연속적으로 변한다. 마지막 예에서와 같이 현대의 미디어가 분절된 재편의 차원을 포 함하고 있기는 했지만 그 샘플들이 수량화되지는 않았다. 디지털화가 수립한 획기적인 단계가 바로 이러한 샘플의 수량화였다. 그런데 현대 의 미디어 기술은 왜 부분적으로 분절적일까. 현대 기호학의 주된 전제 는 의사소통에서 분절된 단위가 요구된다는 것이다. 분절된 단위가 없 이는 언어도 있을 수 없다. 롤랑 바르트(Roland Barthes, 1915∼1980) 가 말했듯이, “언어는 그 자체로 실제를 분절한다(예를 들어 색의 연속 된 스펙트럼이 언어적으로 환원될 때 비연속적이 된다).”9) 어떤 형태의 의사소통에서도 분절된 재현이 요구된다고 가정할 때 기호학자들은 인 간 언어를 의사소통 체계의 원형으로 삼았다. 인간 언어는 대부분의 차원 에서 분절적이다. 우리는 문장을 말한다. 문장은 단어들로 만들어진다. 단어는 형태소로 이루어진다. 이러한 쪼갬은 계속될 수 있다. 이 전제 를 따른다면, 문화적 의사소통에 쓰이는 미디어 역시 분절된 차원을 질 것이라고 기대할 수 있다. 정말로 이 이론은 그럴듯해 보인다. 필름은 인간 존재의 연속된 시 간을 분절된 프레임으로 추출한다. 회화는 시각적 현실을 분절된 선으

9) Roland Barthes, Elementary of Semiology, trans, Annette Lavers & Golin Smith(new York, Hill and Wang, 1968), 64.

로 추출한다. 인화된 사진은 분절된 점으로 시각적 현실을 추출한다. 그러나 이 전제는 보편적으로 적용되지는 않는다. 예를 들어 사진은 어 떤 분명한 단위를 갖고 있지 않다(사실 1970년대에 기호학은 언어적 편 견 때문에 비판받았으며, 많은 기호학자들은 언어를 근간으로 하는 의 미의 분절 단위 모델이 여러 문화적 의사소통에 적용될 수 없음을 깨닫 게 되었다). 더 중요한 것은 현대 미디어의 분절된 단위들이 형태소와 같은 방 식의 의미 단위가 아니라는 것이다. 필름의 프레임이나 망점은 필름이 나 사진이 보는 이에게 영향을 주는 방식과는 아무런 연관이 없다[미디 어의 질료 단위를 종종 의미의 단위로 만드는 로이 리히텐슈타인(Roy Lichtenstein, 1923∼1997, 미국의 화가이자 팝아트의 대표자－옮긴 이 주)의 그림과 폴 샤리츠(Paul Sharits, 미국 전위예술가)의 영화 같은 현대예술과 아방가르드 영화는 예외가 될 것이다]. 현대의 미디어가 분절된 단위를 갖고 있는 가장 그럴듯한 이유는 현 대 미디어가 산업혁명 시기에 나타났다는 사실에 있다. 19세기에 공장 시스템이라고 알려진 새로운 생산체계가 장인 생산방식을 점진적으로 대체했다. 공장 시스템은 1913년 헨리 포드(Henry Ford, 1863∼1947)가 그의 공장에 최초로 조립 생산라인을 만들면서 그 전형적 모습을 갖추게 된다. 조립 생산라인은 두 가지 원칙에 근거한다. 첫째는 19세기에 이미 군복 생산에 적용된 바대로 부속품의 규격화 원칙이다. 둘째는 보다 새 로운 원칙인데, 생산과정을 단순하고 반복적이며 단계적인 일련의 작업 으로 분리하는 원칙이다. 이 작업을 맡은 노동자는 모든 공정에 숙달할 필요가 없어서 쉽게 대체할 수 있었다. 현대 미디어는 할리우드 영화 스튜디오, 애니메이션 스튜디오, 그 리고 텔레비전 프로덕션에서처럼 노동분업이라는 의미뿐만 아니라 질

료적 구성의 차원에서도 공장의 논리를 따라갔다. 1880년대 활자 인쇄 기계의 발명은 활자의 디자인과 크기(수와 유형)를 표준화하면서 출판 을 산업화시켰다. 1890년대에 영화는 자동화되어 (사진으로) 생산된 이미지를 기계화된 영사기와 결합시켰다. 이는 이미지 차원(크기, 프레 임 비율, 색의 대비)과 시간상의 샘플링 정도라는 두 가지 면 모두에서 표준화를 요구했다. 1880년대에도 이미 최초의 텔레비전 형태의 체계 는 시간과 공간 모두에서 샘플링의 표준화를 포함하고 있었다. 이러한 현대 미디어의 체계 역시 공장의 논리를 따랐다. 일단 새로운 모델(영 화, 사진, 녹음)이 도입된 이후에는 그 원판으로부터 여러 개의 동일한 판본이 생산될 수 있었던 것이다. 앞으로 보게 되겠지만 뉴미디어는 대량의 규격화보다는 개인 고객 에 대한 맞춤이라는 후기산업사회의 새로운 논리를 따르고 있다. 또는 이 논리의 선두주자다.

모듈성

이 원리는 뉴미디어의 프랙탈 구조로 불릴 수 있다. 프랙탈이 크기는 다르지만 같은 구조를 지니는 것처럼 뉴미디어 객체도 같은 모듈 구조 를 지닌다. 이미지, 음향, 형태 또는 움직임이라는 미디어 요소들은 화 소(pixel), 폴리곤(polygon, 3차원 부피가 있는 것을 표현하는 다각형), 복셀(voxel, ‘volume element’에서 조합된 단어로 독립적인 특성을 갖 는 3차원의 최소 단위), 문자, 스크립트(script, 다른 프로그램에 의해 번역되거나 수행되는 프로그램이나 명령어들의 나열) 등과 같은 불연 속적인 샘플들의 집합으로 재현된다. 이러한 요소들은 더 큰 객체로 모 아질 때 각각 구별되는 정체성을 유지한다. 객체 그 자체는 독립성을 잃지 않고 더 큰 객체로 조합될 수 있다.

예를 들어 대중적 소프트웨어인 매크로미디어 디렉터에서 만들어진 멀 티미디어 ‘영화’는 개별적으로 저장되었다가 상영 시에 많은 스틸 이미 지와 퀵타임 영화들과 음향들로 함께 합쳐질 수 있다. 왜냐하면 모든 요소들은 독립적으로 저장되기 때문에 그것들은 디렉터 ‘영화’ 그 자체 의 변화 없이 언제라도 수정될 수 있기 때문이다. 이러한 ‘영화’들은 더 큰 영화 안으로 모아질 수 있다. 모듈성의 다른 예로는 마이크로 오피스 응용 프로그램에서 사용되 는 ‘객체(object)’의 개념을 들 수 있다. 예를 들어 미디어 클립을 워드 문서 안에 삽입하듯이 ‘객체’를 문서 안에 삽입할 수 있다. 이때 그것은 독립성을 유지하면서도 필요하면 그것을 만들었던 프로그램으로 수정 할 수 있다. HTML 문서의 구조도 모듈성의 한 예다. 텍스트를 제외하면 이것 은 GIF와 JPEG 이미지들, 미디어 클립, VRML(Virtual Reality Modeling Language, 인터넷에 3차원 공간을 표현하는 그래픽 데이터의 기술언어) 화면, 쇼크웨이브(Shockwave)와 플래시(Flash) 영화 등과 같은 많은 개 별적인 객체들로 이루어져 있다. 이러한 객체들은 모두 독립적이고 개 별적으로 네트워크상에서 저장된다. 간단히 말하자면, 뉴미디어 객체 는 독립적인 부분들로 이루어지는 것이다. 그리고 각각의 부분들은 더 작은 독립된 ‘원자’들로 이루어진다. 그래서 픽셀, 3D 포인트 또는 텍스 트 문자처럼 가장 작은 ‘기본 구성단위’의 단계까지 이르게 된다. 월드와이드웹 전체는 완벽하게 모듈적이다. 그것은 많은 웹페이지 로 이루어져 있고, 각각의 웹페이지는 개별적인 미디어 요소들로 이루 어진다. 모든 요소는 항상 따로 접속될 수 있다. 보통 우리는 이 요소들 이 그들에 상응하는 웹사이트에 속하는 것으로 생각한다. 그러나 이것 은 단지 상업적 웹브라우저에 의해 강화된 관습이다. 예술가인 마시에

위즈뉴스키(Maciej Wisniewski)에 의한 네토맷(Netomat) 브라우저는 기본적으로 불연속적이고 비위계적인 웹의 조직을 강조한다. 네토맷 브라우저는 다른 웹페이지들로부터 독특한 미디어 유형의 요소들(예 를 들어 이미지들)을 추출해서 그것들이 추출된 웹사이트를 알려주지 않은 채로 그것들을 함께 디스플레이한다. 프랙탈의 은유를 사용하는 것에 덧붙여, 우리는 또한 뉴미디어의 모듈성과 구조화된 컴퓨터 프로그래밍 사이의 유비를 생각해 볼 수 있 다. 1970년대에 표준이 된 구조화된 컴퓨터 프로그래밍은 컴퓨터 용어 로 서브루틴, 함수, 프로시저, 스크립트라 불리는 작고 자기 충족적인 모 듈을 포함한다. 이들은 더 큰 프로그램 안으로 모이게 된다. 많은 뉴미 디어 객체들은 사실 구조화된 컴퓨터 프로그래밍을 따르는 컴퓨터 프 로그램들이다. 예를 들어 대다수의 인터랙티브 멀티미디어 응용 프로 그램은 매크로미디어 디렉터의 링고로 쓰여 있다. 링고 프로그램은 버 튼 클릭과 같은 다양한 반복 행위를 제어하는 스크립트를 정의한다. 그 리고 이러한 스크립트들은 더 큰 스크립트 안으로 모아진다. 컴퓨터 프 로그램이 아닌 뉴미디어 객체들에서도 구조화된 프로그래밍과의 유비 가 가능하다. 왜냐하면 그것의 부분들은 객체의 전 구조에 영향을 미치 지 않고 접근, 수정, 치환될 수 있기 때문이다. 그러나 이러한 유비는 부 분적으로만 옳다. 만약 컴퓨터 프로그램에서 어떤 특별한 모듈이 지워 진다면 프로그램은 작동하지 않을 수도 있다. 반대로 전통적인 미디어에서처럼 뉴미디어 객체의 부분을 지운다 해도 그것이 의미 없게 되지는 않는다. 사실 뉴미디어의 모듈 구조는 부분의 삭제와 대체를 아주 쉽게 만든다. 예를 들어 HTML 문서는 일련 의 HTML 코드에 의해 재현된 많은 개별적인 객체들로 이루어져 있기 때문에, 새로운 객체들을 삭제하거나 대체하거나 덧붙이는 것이 매우

쉽다. 유사하게 포토숍에서 디지털 이미지의 부분들은 보통 개별적인 레이어에 위치하기 때문에 이러한 부분들은 버튼 클릭 한 번으로 삭제 되거나 대체될 수 있다.

자동화

미디어의 수적 부호화(원리 1)와 미디어 객체의 모듈성(원리 2)은 미디 어를 만들고, 조작하고, 접근하는 등 많은 오퍼레이션을 자동화했다. 따라서 인간의 의도는 적어도 부분적으로 이런 창조과정에서 없어질 수 있다.10) 컴퓨터 사용자들이 템플릿(template) 또는 간단한 알고리즘을 사 용해서 미디어 객체를 수정하거나 새로 만들어 내는 것은 미디어 제작 에서 ‘낮은 단계’의 자동화라 할 수 있는 예들이다. 이러한 기술들은 가 장 상업적인 이미지 편집을 위한 소프트웨어, 즉 3차원 그래픽툴, 워드 프로세서, 그래픽 레이아웃 소프트웨어에 포함될 정도로 충실하다. 포 토숍 같은 이미지 편집 프로그램들은 스캔 받은 이미지의 색 대비를 자 동적으로 높이거나 잡티를 제거하는 등의 수정을 할 수 있다. 이 프로 그램에는 또한 자동적으로 이미지를 수정할 수 있는 필터들이 포함되 어 있다. 이미지의 수정은 단순히 색을 바꾸는 것에서 반 고흐나 쇠라 같은 예술가들이 그린 것처럼 전체적인 이미지를 바꾸는 것까지 광범

10) 시각적 커뮤니케이션에서 컴퓨터 자동화의 특별한 경우는 다음 글에서 자세하게 언

급했다. “Automation of Sight from Photography to Computer Vision”, Timothy Druckrey & Michael Sand ed., Electronic Culture: Technology and Visual Representation (New York: Aperture,1996), 229∼239; “mapping Space: Perspective, Rader, and Computer Graphics”, SIGGRAPH ’93 Visual Proceeding, ed. by Thomas Linehan(New York: ACM,1993), 143∼147.

위하다. 어떤 컴퓨터 프로그램들로는 자동적으로 불이나 폭포 같은 복잡한 자연현상을 표현한 섬세한 기성품 애니메이션뿐만 아니라 나무, 풍경 그리고 인간 형상 같은 3차원의 객체를 자동적으로 만들 수 있다. 할리 우드 영화에서 새떼, 개미집 그리고 군중은 AL(Artificial Life) 소프트웨 어로 만든다. 워드프로세서, 페이지 레이아웃, 프레젠테이션 그리고 웹 크리에이션 프로그램은 자동적으로 문서의 레이아웃을 만드는 ‘에이전츠 (agents, 관리자의 개입이 없어도 정해진 스케줄에 따라 인터넷상에서 정보를 수집하거나 몇몇 다른 서비스를 수행하는 프로그램, 지능형 에 이전츠라고도 부른다－옮긴이 주)’를 포함하고 있다. 그리고 작문 소프 트웨어는 매우 정형화된 장르적 규범을 사용하는 서사문학을 창작할 수 있게 도와준다. 끝으로, 자동화된 미디어 제작의 예로 가장 익숙한 것은 사용자가 사이트를 찾을 때 많은 웹사이트가 자동으로 즉시 웹페이 지를 만들어 보여 주는 것이다. 그 웹사이트들은 데이터베이스로부터 정 보를 모으고 기본적인 템플릿과 스크립트를 사용해 그 형식을 만든다. 또한 미디어 제작의 보다 ‘높은 단계’의 자동화가 연구되고 있다. 이 것은 컴퓨터가 만들어지고 있는 객체들에 포함되어 있는 의미, 즉 그것 들의 의미론을 어느 정도 이해해야 한다. 이러한 연구는 AI(Artificial Intelligence)라는 더 큰 프로젝트의 일부분으로 볼 수 있다. 잘 알려진 것처럼 AI 프로젝트는 1950년대 시작된 이래 부분적인 성공만을 이루 어왔다. 또한 컴퓨터가 그 의미를 이해하는 미디어 생산 작업은 아직 연 구 단계에 있으며, 상업적인 소프트웨어에는 거의 포함되어 있지 않다. 1970년대부터 컴퓨터는 시와 소설을 생산하는 데 사용되곤 했다. 1990년에 인터넷 채팅방을 자주 드나드는 사람들은 인간의 대화를 모 방하는 컴퓨터 프로그램인 자동 대화상태 ‘보트(bot)’가 낯익을 것이다.

뉴욕대학교의 연구원들은 사용자들의 행동에 실시간으로 반응해서 행 동을 바꾸는 몇몇 ‘가상 배우’들로 구성된 ‘가상 극단’을 설계했다.11) 매사추세츠공과대학의 미디어랩은 ‘높은 단계’의 미디어 제작과 사용의 자동화에 필요한 다른 많은 프로젝트를 개발했다. ‘스마트 카메 라’는 스크립트가 주어졌을 때 자동적으로 움직임을 따라가고 장면을 프레임 안에 만든다.12) 또 사용자가 애니메이션 캐릭터들과 상호작용 하는 가상환경인 얼라이브(ALIVE)가 있다.13) 그리고 컴퓨터가 일반 사 용자에게 자신을 움직이고 말하는 캐릭터로 보여 주는 새로운 종류의 인간-컴퓨터 인터페이스가 있다. 이 캐릭터는 실시간으로 컴퓨터에 의 해 만들어지는데 사용자와 자연 언어로 의사소통하면서, 사용자의 감 정 상태를 추측해서 그에 맞게 상호작용한다.14) 그러나 1990년대에 일반적인 컴퓨터 사용자가 AI를 접한 뉴미디 어 영역은 인간-컴퓨터 인터페이스가 아니라 컴퓨터게임이었다. 거의 모든 상업적인 게임에는 ‘AI 엔진’으로 불리는 구성 요소가 포함되어 있 었는데, 이는 게임의 캐릭터들, 즉 자동차 경주 시뮬레이션에서 자동차 운전자들이나 <커맨드 앤 컨커(Command and Conquer)> 같은 전략 게임의 적, 또 <퀘이크(Quake)> 같은 일인칭 총격게임의 공격자들을 제어하는 게임의 컴퓨터 코드의 부분을 가리킨다. AI 엔진들은 인간 지 능을 모방하기 위해 규칙 기반(rule-based) 체계에서부터 신경 네트워

11) http://www.mrl.nyu.edu/improv/ 12) http://www.white.media.mit.edu/vismod/demos/smartcam/ 13) http://pattle.www.media.mit.edu/people/pattle/CACM-95/alife-cacm95.html 14) 이 연구는 MIT 랩의 서로 다른 그룹들에서 추진되었다. 일례로, Gesture and Narrative Language Group의 홈페이지를 참고하라. http://gn.www.media.mit.edu/group/gn/

크에 이르기까지 다양한 접근법들을 사용한다. AI 전문 시스템처럼 컴퓨터게임에서 캐릭터들은 사용자를 공격하 는 것과 같이 정확히 정의되는 몇 가지 제한된 영역에서 전문성을 갖는 다. 컴퓨터게임은 고도로 부호화되고 규칙에 기반하고 있기 때문에, 이 러한 캐릭터들은 효과적으로 행동한다. 즉, 그들은 사용자가 요청하는 몇몇 행위, 가령 앞으로 달려가고, 쏘고, 사물을 집어 올리는 것 등을 효 과적으로 수행한다. 그들은 이 밖의 것은 수행할 수 없으나 게임에서 사용자가 이를 테스트할 수는 없다. 예를 들어 격투게임에서 적에게 질 문을 하거나 적이 말을 거는 일은 일어나지 않는다. 내가 할 수 있는 것 은 그저 버튼 몇 개를 눌러서 나의 적을 ‘공격’하는 것이다. 그리고 이러 한 매우 제한된 상황에서는 컴퓨터가 매우 효과적으로 나와 ‘싸울’ 수 있다. 간단히 말해 컴퓨터 캐릭터들은 지능과 기술을 발휘한다. 왜냐하 면 프로그램들은 우리와 캐릭터 사이에 가능한 상호작용을 엄격하게 제한하고 있기 때문이다. 달리 말하면, 컴퓨터는 우리가 그들과 의사소 통할 때 우리 능력의 매우 적은 부분만을 사용하는 속임수를 씀으로써 지능이 있는 체할 수 있다. 1997년 시그래프(SIGGRAPH, Special Interest Group on Computer Graphics of the Association for Computing Machinery)에서 나는 VR 시뮬레이션으로 인간과 컴퓨터로 제어되는 캐릭터에 한꺼번에 대항하는 가상의 스포츠게임을 한 적이 있다. 나의 적은 몇 픽셀 안 되는 단순한 덩어리로 나타났다. 그래서 누가 인간이 고 누가 인간이 아닌지 구분할 수가 없었다. ‘낮은 단계’와 ‘높은 단계’를 따라 이루어지는 미디어 제작의 자동화 와 함께, 점점 더 자동화되고 있는 또 다른 영역은 ‘미디어 접근(media access)’ 부분이다. 증권회사나 다국적 엔터테인먼트 기업의 데이터베 이스에 저장된 ‘미디어 자산’이나 수많은 웹사이트에 퍼져 있는 엄청난

양의 공공 ‘미디어 자산’을 저장하고 접근하는 수단으로서 컴퓨터가 이용 되면서 미디어 객체들을 분류하고 찾는 더 효과적인 방법이 필요했다. 오랫동안 특별한 텍스트의 문자열을 찾고 자동적으로 문서들을 찾 는 기능을 제공해 온 것은 워드프로세서 및 다른 텍스트 운영 소프트웨 어였다. 유닉스(UNIX) 운영체제 또한 텍스트 파일을 찾고 걸러내는 기 능을 가지고 있다. 1990년대 소프트웨어 디자이너들은 비슷한 기능을 미디어 사용자에게 제공하기 시작했다. 비라지(Virage)는 비라지 VIR 이미지 엔진을 출시했는데, 이를 이용해 비디오 파일을 색인하고 찾는 비디오 검색도구처럼 수많은 이미지 가운데 시각적으로 비슷한 이미지 콘텐츠를 찾을 수 있다.15) 이미 1990년대 말 핵심적인 웹 검색엔진들은 이미지, 비디오, 오디오와 같은 특정한 미디어에 따라 인터넷을 검색하 는 기능을 포함하게 되었다. 인터넷은 거대한 하나의 미디어 데이터베이스다. 인터넷은 정보사 회의 새로운 기본 조건, 즉 모든 종류의 정보 과잉 상태가 구체화된 것 이다. 이에 대응해서 적절한 정보를 자동적으로 검색하도록 설계된 소 프트웨어인 ‘에이전츠’라는 대중적인 개념이 생겨났다. 어떤 에이전츠 는 사용자들의 필요에 따라 적절한 양의 정보를 전달하는 필터로 작용 한다. 어떤 것들은 다른 사용자들이 전문적 지식으로 골라내고 선택한 것에 접속하도록 한다. 예를 들어 MIT 소프트웨어 에이전츠 그룹은 버 즈와치(BUZZwatch) 같은 여러 가지 에이전츠를 개발했는데, 이것은 인터넷 대화와 웹페이지 같은 ‘통시적으로 수집된 텍스트의 동향, 주제, 화제를 추출하거나 찾아낸다.’ 반면 레티지아(Letizia)는 ‘사용자의 현 위치로부터 가능한 흥미로운 웹페이지를 추출해냄으로써… 사용자의

15) http://www.virage.com/products

월드와이드웹 브라우징을 돕는 사용자 인터페이스 에이전츠’이며, 풋 프린트(Footprints)는 ‘다른 사람들이 남겨놓은 정보로 사용자가 나아 갈 길을 찾도록 돕는다.’16) 20세기 말에 이르면 이미지와 같은 뉴미디어의 객체를 어떻게 제 작하느냐는 더 이상 문제가 안 된다. 문제는 이미 어딘가에 존재하고 있는 객체들을 어떻게 찾느냐 하는 것이었다. 어떤 특별한 이미지를 원 할 경우 그 이미지가 이미 존재할 확률이 높다. 그러나 때로 이미 존재 하는 것을 찾아내는 것보다 그것을 새로 만드는 것이 더 쉬울지 모른다. 현대사회는 19세기부터 미디어 제작을 자동화하는 기술로서 사진 카메 라, 영화 카메라, 테이프 레코더, 비디오 레코더들을 개발해 왔다. 이러 한 기술들에 의해 150년을 지나는 동안 전례 없는 양의 미디어 자료들 이 사진 자료실, 영화 라이브러리, 오디오 자료실에 축적되었다. 이에 따라 미디어 혁명의 다음 단계, 즉 이러한 자료를 저장하고 정리하고 효 과적으로 접근하는 새로운 기술이 요구되는 단계에 이르게 되었다. 새로운 기술들은 모두 컴퓨터를 기반으로 하고 있다. 미디어 데이 터베이스, 위계적 파일 시스템 같은 미디어 자료를 정리하는 방식들과 하이퍼미디어, 텍스트 운영 소프트웨어, 그리고 콘텐츠에 따라 검색하 고 재생하는 프로그램들이 모두 그렇다. 따라서 미디어 접근의 자동화 는 최초로 사진이 나왔을 때부터 시작된 변화 과정에서 도출되는 논리 적 다음 단계다. 뉴미디어의 출현은 새로운 것들을 제작하는 것만큼이 나 이미 존재하는 미디어 객체에 접근하고 다시 사용하는 것에 관심을 가지고 있는 미디어 사회의 두 번째 단계에 부합되는 것이다.17)

16) http://agents.www.media.mit.edu/groups/projects/ 17) 다음 문헌을 참고하기 바란다. “Avan-Garde as Software”, in Ostranenie, ed. Stephen

가변성

뉴미디어 객체는 하나로 고정된 것이 아니라 잠재적으로는 서로 다른 무한한 판본으로 존재할 수 있다. 이것은 미디어의 숫자에 의한 코딩 (원리 1)과 미디어 객체의 모듈 구조(원리 2)에 따른 또 다른 결과다. 옛 미디어는 텍스트적, 시각적 그리고 청각적 요소들을 특별한 구 성과 순서로 손수 모았던 인간 제작자에 의해 가능했다. 특정 재료 안 에 저장되는 순서가 결정되면 영원히 지속되었다. 수많은 복사본들이 원본으로부터 만들어질 수 있었고, 산업사회의 논리처럼 그 복사본들 은 모두 동일하다. 반대로 뉴미디어는 가변성을 특징으로 한다. 뉴미디 어와 관련되어 종종 사용되는 ‘가변적(variable)’이라는 말의 적절한 동 의어로는 ‘변형 가능(mutable)’과 ‘유동적(liquid)’이 있다. 뉴미디어 객체는 전형적으로 동일한 복사본 대신에 많은 다른 판 본을 발생시킨다. 그리고 이러한 판본은 온전히 인간 작가에 의해 제작 되기보다는 부분적으로 컴퓨터에 의해 자동적으로 수집된다. 웹 디자 이너에 의해 제작된 템플릿들을 사용한 데이터베이스로부터 자동적으 로 발생되는 웹페이지가 그 예다. 따라서 가변성의 원리는 거의 자동화 와 관련된다. 가변성은 또한 모듈성 없이는 불가능하다. 고정적인 미디어 안에 저장되지 않고 디지털적으로 저장되었기 때문에 미디어 요소들은 각각 구별되는 정체성들을 유지하며, 프로그램에 따라 여러 개의 다른 시퀀 스로 제작될 수 있다. 덧붙이자면 이 요소들은 불연속적인 샘플 안에 흩어져 있기 때문에(예를 들어 이미지는 픽셀의 배열로 재현된다) 순식 간에 만들어질 수도 있고 맞춤 제작될 수도 있다.

Kovats(Frankfurt & New York: Campus Verlag, 1999)(http://visarts.ucsd.edu/∼manovich)

뉴미디어의 논리는 따라서 ‘요구에 따른 생산’이라는 후기산업사 회의 논리와, 제작과 분배의 모든 단계에서 컴퓨터와 컴퓨터 네트워크 의 사용에 의해 가능해진 ‘제시간에’라는 배달 논리와 일치된다. 여기에 서 ‘문화산업(1930년대에 테오도르 아도르노가 만든 용어)’은 사실 대 부분의 여타 산업에 앞서 있다. 소비자가 자동차 전시장에서 자신이 원하는 자동차 속성을 결정하 고, 그 세부 사항이 공장에 전달되고 몇 시간 후에 바로 그런 차를 받는 다는 개념은 아직 꿈으로 남아 있지만, 컴퓨터 미디어의 경우에는 그러 한 즉자성이 현실화되었다. 전시관과 공장에서 같은 기계가 사용되기 때문에, 즉 같은 컴퓨터가 미디어를 제작하고 디스플레이하기 때문에, 그리고 미디어가 물리적 객체가 아니라 빛의 속도로 케이블을 통해 전 달되는 데이터로 존재하기 때문에, 제작 판본은 사용자 입력이 전달되 는 것과 거의 동시에 제작된다. 비슷한 예를 계속 들자면, 우리가 웹사 이트에 접속하면 서버는 즉시 맞춤 제작된 웹페이지를 엮어낼 수 있다. 가변성 원리의 몇 가지 구체적인 경우를 살펴보자(다음 장에서 이 들 대부분에 대해서 더 자세히 논의할 것이다).

1. 미디어 요소들은 미디어 데이터베이스에 저장된다. 말단 사용자(enduser) 객체는 해상도, 형식, 콘텐츠 면에서 아주 다양하기 때문에 이 러한 데이터베이스로부터 미리 또는 요구 즉시 제작될 수 있다. 우 선은 이를 가변성 원리의 구체적인 기술적 실행일 뿐이라고 생각할 수 있다. 그러나 ‘데이터베이스’ 부분에서 살펴보게 되겠지만, 컴퓨 터 시대에 데이터베이스는 하나의 문화적 형식으로서 기능한다. 그것 은 세계와 인간의 경험에 대한 특별하고 구체적인 모델을 제공한다. 또한 그것이 포함하는 데이터를 사용자가 이해하는 방식에도 영향

을 미친다. 2. ‘콘텐츠(데이터)’와 인터페이스의 단계를 분리하는 것이 가능하게 된 다. 수많은 인터페이스들이 같은 데이터로부터 제작될 수 있다. 뉴미디 어 객체는 멀티미디어 데이터베이스로 나아가는 하나 혹은 여러 개 의 인터페이스로 정의될 수 있다.18) 3. 사용자에 대한 정보는 컴퓨터 프로그램에 의해 자동적으로 요소를 제 작하는 데뿐만 아니라 미디어 구성을 맞춤식으로 만드는 데도 사용될 수 있다. 가령, 웹사이트는 하드웨어나 브라우저 유형 혹은 사용자의

네트워크 주소에 대한 정보를 사용해서 사용자가 볼 사이트를 자동 적으로 맞춤 제작한다. 상호작용적인 컴퓨터 설치작품은 사용자의 신체 움직임에 대한 정보를 이용해서 인공 생물의 사운드, 형태, 이 미지를 만들고 그것의 행동을 제어한다. 4. 이러한 맞춤제작의 구체적인 경우는 가지형(branching-type) 상호 작용이다(가끔 ‘메뉴 기반’ 상호작용이라고도 불린다). 이 용어는 사

용자가 방문할 수 있는 모든 가능한 프로그램 안의 객체들이 가지가 무성한 나무의 구조를 형성하고 있는 프로그램을 가리킨다. 사용자 가 어떤 객체에 이르면 프로그램은 선택 항목을 보여 주고 그 가운데 선택하게 한다. 선택된 값에 따라 나무의 가지를 따라 나아간다. 이 경우 프로그램이 사용하는 정보는 네트워크 주소나 위치가 아니라 사용자 인식과정의 결과다. 5. 하이퍼미디어는 대중적인 뉴미디어의 또 다른 구조다. 이것은 개념

18) 동일한 텍스트에 대해서 다른 멀티미디어 인터페이스를 제작하는 것에 대한 실험은

나의 글 “Freud-Lissitzky Navigator”(http://visarts.ucsd.edu/∼manovich/FLN)를 참조 하기 바란다.

적으로 가지형 상호작용과 가깝다. 왜냐하면 요소들이 빈번히 가지 형 구조를 사용하는 것과 연관되기 때문이다. 하이퍼미디어에서 문 서를 만드는 멀티미디어 요소들은 하이퍼링크를 통해 연결된다. 따 라서 요소들과 구조는 전통적인 미디어에서처럼 고정되어 있는 것 이 아니라 서로 독립되어 있다. 월드와이드웹은 하이퍼미디어가 실 행된 특별한 경우로, 그 안의 요소들은 네트워크를 따라 분산되어 있다. 하이퍼텍스트는 특별한 경우의 하이퍼미디어로, 단 하나의 미 디어 유형, 즉 텍스트를 사용한다. 가변성의 원리는 이런 경우 어떻 게 작용하는가? 우리는 하이퍼미디어 문서의 모든 가능한 경로가 그 것의 다른 판본이 된다고 생각할 수 있다. 사용자는 링크를 따라 문 서의 특정한 판본을 만들어 낸다. 6. 컴퓨터 문화에서 동일한 미디어 객체들의 다른 판본이 만들어지는 또 하나의 방식은 정기적인 업데이트다. 예를 들어, 최근의 응용 소프 트웨어는 정기적으로 인터넷에서 업데이트를 체크하고 이 업데이트 를 다운로드하고 설치할 수 있다. 이런 일은 사용자들이 어떤 행동 을 하지 않아도 일어난다. 대부분의 웹사이트들은 사이트를 작동시 키는 데이터베이스의 데이터가 바뀔 때 정기적으로 수동적으로 또 는 자동적으로 업데이트된다. 이런 ‘업데이트 능력’을 보여 주는 특 히 흥미로운 경우는 주가 또는 날씨 같은 정보를 계속 업데이트하는 사이트들이다. 7. 가변성 원리의 가장 기본적인 경우 가운데 하나는 증축(增築)성 (scalability)이다. 같은 미디어 객체의 다른 판본이 다양한 크기와

세밀성의 정도에 따라 만들어질 수 있다. 증축성 원리는 지도를 생 각하면 이해하기 쉽다. 만약 우리가 뉴미디어 객체를 물리적 지역으 로 본다면, 이러한 객체의 다른 판본들은 다른 축척으로 만들어진

같은 지역의 지도들과 같다. 축척에 따라 지도는 그 지역에 대해 더 많은 혹은 더 적은 세부 내용을 제공한다. 실제로 뉴미디어 객체의 다른 판본들은 엄밀하게는 양적으로 다르다. 즉, 나타난 세부적 내 용의 양이 다르다. 이러한 예로는 전체 크기의 이미지와 포토숍에서 자동적으로 만들어지는 아이콘, 전체 텍스트와 마이크로소프트 워드 의 ‘자동 요약’ 명령에 의해 만들어진 짧은 요약본, 또는 워드의 ‘개요’ 명령을 사용하여 만들 수 있는 다른 버전을 들 수 있다. 버전 3(1997)을 시작으로 애플의 퀵타임 포맷은 하나의 퀵타임 영화 에서 크기를 달리하는 많은 수의 다른 판본을 포함하는 것이 가능해 졌다. 웹 사용자들이 영화에 접속할 때 연결 속도에 따라 하나의 판 본이 자동적으로 선택된다. ‘거리두기’ 또는 ‘세밀도’라고 불리는 개 념적으로 유사한 기술은 VRML 장면 같은 상호작용적 가상세계에서 사용된다. 디자이너는 같은 객체를 점차 덜 세밀하게 보여 주는 모 델을 여럿 제작한다. 가상 카메라가 객체와 가까울 때는 아주 세밀 한 모델이 사용되고, 객체가 멀어지면 프로그램은 덜 세밀한 판본으 로 자동 대체된다. 어차피 보이지 않는 세부사항에 대해서는 불필요 한 계산을 하지 않는다.

뉴미디어는 또한 근본적인 방식에서는 서로 다른, 같은 객체의 여 러 가지 판본들을 만들 수 있게 해 준다. 이제 판본들은 서로 다른 축척 의 지도와 비교될 만한 것에 머무르지 않는다. 자주 사용되는 소프트웨 어 패키지의 명령어이면서 질적으로 다른 판본의 제작을 가능하게 하는 예로는 포토숍 5의 ‘변형(Variations)’과 ‘레이어 수정(Adjustmsnt layer)’, 그리고 워드의 ‘맞춤법 및 문법 검사’ 명령의 ‘서식 기능’을 들 수 있다. 더 많은 예들을 인터넷에서 발견할 수 있다. 1990년대 중반부터 인터넷

에서는 웹사이트의 몇몇 다른 판본을 만드는 것이 일반화되었다. 사용 자들은 연결이 빠른 경우에는 내용이 풍부한 멀티미디어 버전을 선택 할 수 있는 반면, 느린 경우에는 더 빨리 로딩되는 간단한 판본을 선택 할 수 있다. 뉴미디어를 이용한 예술작품 중에서 한 시간 길이의 비디오 서사 를 ‘각색’한 데이비드 블레어(David Blair)의 ‘왁스 웹(Wax Web)’이라 는 웹사이트가 앞의 증축 원리를 더 파격적으로 실행한 경우다. 사용자 는 서사와 상호작용하면서, 영화의 이미지 요약에서부터 전체 대본, 또 는 특정 숏 또는 이러한 숏을 기반으로 한 VRML 장면에 이르기까지 재현 내용의 크기를 어떤 지점에서든 바꿀 수 있다.19) 증축 원리를 사 용해서 옛 미디어 객체에 대한 경험을 극적으로 새롭게 창조한 예는 히치콕의 <새(The Birds)>를 데이터베이스 위주로 재현한 스티븐 맴버 (Stephen Mamber)의 작품이다. 맴버의 소프트웨어는 영화의 모든 장면에 대한 스틸을 만들어 자동 적으로 이 모든 스틸을 직사각형 도표의 각 칸에 넣어 조합한다. 그 결과, 시간은 마치 에디슨의 초기 키네토스코프 실린더에서처럼 공간화된다. 영화를 공간화하면 관찰하기 힘든 영화의 또 다른 시간적 구조를 탐구 할 수 있게 된다. 왁스 웹에서처럼 사용자는 모든 지점에서 재현된 것의 크기를, 영화 전체에서 하나의 숏에 이르기까지 바꿀 수 있다. 이렇듯 가변성의 원리는 언뜻 보기에는 관련성이 없는 듯 보일지 모 르는 뉴미디어의 많은 주요한 특성들을 연결시킨다는 점에서 유용하다. 특히, 가지형(또는 메뉴식) 상호작용이나 하이퍼미디어와 같은 대중적 인 뉴미디어의 구조는 가변성 원리의 구체적인 예로 볼 수 있다. 가지

19) http://jefferson.village.edu/wax/

형 상호작용의 경우, 사용자는 이미 만들어진 요소들이 접속되는 순서 를 결정하는 능동적 역할을 수행한다. 이는 가장 단순한 종류의 상호작 용이다. 더 복잡한 종류에서는 사용자가 프로그램과 상호작용하면서 그에 따라 즉각적으로 전체 객체의 요소와 구조 모두가 변경되거나 만 들어지는 것이 가능하다. 고정된 가지형 구조에 들어가 있는 고정된 요 소를 사용하는 폐쇄적 상호작용과 바로 앞에 설명한 실행 방식을 구분 하기 위해 이를 개방적 상호작용이라 부를 수 있다. 개방적 상호작용은 절차적 혹은 객체 중심 컴퓨터 프로그래밍, AI, AL 그리고 신경 네트워 크 등을 포함하는 다양한 접근방법을 이용해 실행할 수 있다. 상호작용을 통해 변하지 않는 핵심 부분, 구조 그리고 원형이 존 재하는 한, 개방적 상호작용은 가변성 원리의 부분집합으로 생각될 수 있다. 여기서 이후에 인지심리학자들에 의해 원형 이론으로 발전한 비 트겐슈타인의 ‘가족유사성 이론’이 유용한 유비가 될 수 있다. 가족 가 운데 어느 한 사람도 다른 사람이 지닌 특징을 다 갖고 있지는 않지만 여러 가족 구성원은 어느 정도의 특징을 공유한다. 이와 유사하게 원형 이론에 따르면, 자연어에서는 많은 단어의 의미가 논리적 정의에 의해 서가 아니라 어떤 원형에 근접하는 것에 의해서 주어진다. 뉴미디어의 또 다른 대중적 구조인 하이퍼미디어는 보편적인 가변 성 원리의 구체적 경우로 볼 수 있다. 할라츠와 슈왈츠의 정의에 따르면, 하이퍼미디어 시스템은 “관련 링크에 의해 상호 연결된 정보를 포함하 는 노드(node, 교환 회선들의 접합부로서 각종 공중 정보망의 데이터 교환점－옮긴이 주)들의 네트워크를 만들어 내고 조작하며 고찰하는 능력을 사용자에게 제공한다.20) 뉴미디어에서는 개별 미디어 요소(이

20) Frank Halasz & Mayer Schwartz, “The Dexter Hypertext Reference Model”,

미지, 텍스트 페이지 등)들이 항상 각자의 정체성(모듈성의 원리)을 보 유하기 때문에, 그것들은 하나 이상의 객체가 함께 ‘연결될(wired)’ 수 있다. 하이퍼링크는 이러한 연결을 만드는 구체적인 방식이다. 하이퍼 링크는 예를 들면, 별개의 두 페이지에 있는 두 단어라든가 한 페이지 안의 문장과 다른 페이지 안의 이미지, 또는 같은 페이지에서 두 개의 다른 부분 같은 두 요소를 연결한다. 하이퍼링크를 통해 연결된 요소들 은 같은 컴퓨터상에 존재할 수도 있고, 또는 월드와이드웹과 같이 네트 워크로 연결된 다른 컴퓨터상에서 존재할 수도 있다. 옛 미디어의 요소가 특정 구조에 ‘고정연결(hardwired)’되어 있어 더 이상 독립된 정체성을 유지할 수 없는 반면, 하이퍼미디어에서는 요 소와 구조가 서로 독립되어 있다. 하이퍼링크의 가지라는 특유의 구조 는 문서의 특유의 구조는 문서의 내용과는 독립적으로 규정될 수 있다. 노엄 촘스키의 초기 언어학 이론21)에서 기술된 자연언어 문법에 비유 하자면, 노드 간의 연관성을 규정하는 하이퍼미디어의는 구조는 문장 의 심층구조에 비교될 수 있다. 즉, 어떤 하이퍼미디어 텍스트는 구체 적인 자연언어 문장에 비교될 수 있다. 또 컴퓨터 프로그래밍에 비유할 수도 있다. 프로그래밍에서는 알고리즘과 데이터가 명확히 분리된다. 하이퍼미디어의 구조가 어떤 일단의 미디어 객체에도 잠재적으로 적용 될 수 있는 일단의 내비게이션 경로(즉, 노드 사이의 연관)를 명시하듯 이 알고리즘은 모든 데이터에 수행될 수 있는 일련의 단계를 명시한다. 가변성의 원리는 미디어 기술의 변화가 역사적으로 사회 변화와

Communication of the ACM(New York: ACM, 1994), 30. 21) Noam Chomsky, Syntactic Structures(The Hague & paris: Morton, 1957); 󰡔변형-생성

문법의 이론󰡕, 이승환·이혜숙 옮김, 범한서적, 1966.

어떻게 연결되는지 보여 준다. 옛 미디어의 논리가 산업사회의 논리에 상응하는 것이라면, 뉴미디어의 논리는 순응보다는 개성을 존중하는 후기산업사회의 논리에 부합한다. 대중산업사회에서 모든 이들은 같 은 상품을 즐기고 같은 신념을 공유하게 되어 있다. 이는 또한 미디어 기술의 논리이기도 하다. 미디어 객체는 (할리우드 스튜디오 같은) 미 디어 공장에서 조립된다. 수백만 부의 동일한 사본이 하나의 원본에서 복제되어 전 국민에게 배포된다. 방송, 영화 그리고 인쇄 매체 모두가 이러한 논리를 따른다. 후기산업사회에서 모든 시민은 다수의(그러나 무한하지는 않은) 선택으로부터 자신의 맞춤 생활방식을 구축하고 자신의 이데올로기를 ‘선택’할 수 있다. 동일한 객체/정보를 다수의 대중에게 강요하기보다 마케팅을 통해 각 개인을 개별적인 목표로 삼으려 한다. 뉴미디어 기술 의 논리는 이렇듯 새로운 사회의 논리를 반영한다. 모든 웹사이트 방문 자들은 자동적으로 데이터베이스에서 즉시 만들어진 자신만의 맞춤 사 이트를 가지게 된다. 보이는 텍스트, 콘텐츠, 광고언어, 이 모든 것들은 주문 제작될 수 있다. ≪USA 투데이≫(9권, 1999년 11월 9일)의 보고에 따르면, “잡지 광고나 여타의 실제 간행물과는 달리 웹페이지의 ‘배너’ 광고는 페이지를 볼 때마다 달라진다. 그리고 웹사이트에 광고를 올리 는 회사들 대부분은 넷상에서 접속자의 움직임을 추적해서 어떤 광고 를 보았는지, 정확히 언제 보았는지, 클릭을 했는지, 어디서 보았는지, 그리고 방금 전에 들렀던 사이트는 무엇인지를 ‘기억’한다.”22) 모든 하이퍼텍스트 독자들은 그 텍스트를 관통하는 특정한 경로를 선택함으로써 자신만의 완성된 텍스트를 가지게 된다. 이와 유사하게

22) “How Marketers ‘Profile’ Users”, USA Today 9 November 1999, 2A.

모든 상호작용 설치작품 관람자들은 자신만의 작품을 가지게 된다. 이 런 식으로 뉴미디어 기술은 독특한 개인들로 이루어진 이상사회라는 유토피아를 가장 완벽하게 실현한다. 뉴미디어 객체는 사용자로 하여 금 그들의 선택, 곧 그들의 잠재적 사고와 욕구가 미리 프로그램되어 다 른 이들과 공유하는 것이 아니라 독특하다는 점을 확신시켜 준다. 마치 우리 모두를 동일하게 만들려 했던 초창기의 역할을 보상이라도 하려 는 듯, 자카르 직조기, 홀러리스 컴퓨터 그리고 추제의 시네마 컴퓨터 의 후예들은 지금 애써 우리 모두가 독특하다는 확신을 주려고 한다. 여기서 제시된 가변성의 원리는 작가 겸 큐레이터인 존 이폴리토 (Jon Ippolito)23)가 개발한 ‘가변적 미디어’ 개념과 어느 정도 유사점이 있다. 나는 이폴리토의 원리가 두 가지 주요 지점에서 나와 다르다고 생각한다. 우선, 이폴리토는 가변성을 최근의 개념적이며 디지털적인 예술이 공유한 특성을 설명하기 위해 사용한 반면, 나는 예술뿐 아니라 모든 뉴미디어의 기본 조건으로 보았다. 둘째, 이폴리토는 작가가 작품 의 차원과 심지어는 그 내용까지도 바꿀 수 있는 개념예술의 전통을 따 른다. 내가 이 용어를 사용한 것은 객체의 여러 판본들이 구체적으로 정의된 ‘데이터’를 공유하는 주류 문화의 논리를 반영하기 위한 것이다. 이러한 ‘데이터’는 잘 알려진 내러티브(영화 <사이코>)일 수도 있고, 도상(코카콜라 사인), 캐릭터(미키마우스) 또는 유명한 스타(마돈나) 도 될 수 있다. 미디어 산업에서는 이들을 ‘자산’이라 부른다. 따라서 마 돈나가 생산해 낸 모든 문화산업은 자동적으로 그녀의 이름으로 묶인다. 원형 이론을 사용하자면, 그러한 자산이 원형의 역할을 하며 다른 판본

23) http://www.three.org를 보라. 우리의 대화는 내 생각을 명확하게 하는 데 도움이 되

었고 계속되는 의견교환에 대해 그에게 감사하고 있다.

이 이 원형에서 도출된다고 말할 수 있다. 더욱이 어떤 ‘원형’에 근거하 는 다수의 판본들이 상업적으로 출시되면, 이러한 판본 중 하나가 대개 ‘데이터’의 출처로 취급되고 나머지는 이러한 출처에서 도출된 것으로 자리매김된다는 것이다. 전형적으로 원제 ‘자산’과 같은 미디어의 판본 이 출처로 취급된다. 예를 들면 컴퓨터게임, 관련 상품, 영화음악 등과 더불어 영화사에 서 새로운 영화를 개봉하면, 영화는 일반적으로 다른 객체들이 도출되 는 ‘기본’ 객체가 된다. 조지 루카스가 <스타워즈> 시리즈의 새로운 영 화를 내놓았을 때, <스타워즈> 3부작이 원 자산이 되고 새로운 영화는 ‘기본’ 객체가 되며 이와 함께 출시된 다른 모든 미디어 객체들은 이 객체 를 참조한다. 거꾸로 컴퓨터게임 <툼 레이더>가 영화로 만들어졌을 때, 원래의 컴퓨터게임이 ‘기본’ 객체로 제시된다. 내가 비록 가변성의 원리를 뉴미디어의 아주 기초적인 원리, 즉 수 적 재현과 정보의 모듈성으로부터 연역해 내긴 했지만, 이 원리는 컴퓨 터가 데이터를 상수보다는 변수로서 재현하는, 그리고 세상 자체를 모 델링하는 방식의 결과로 볼 수도 있다. 뉴미디어 이론가이자 건축가인 마르코스 노박이 말한 것처럼, 컴퓨터와 이에 따른 컴퓨터 문화는 변수 로서 모든 상수를 대체한다.24) 컴퓨터 프로그래머는 모든 기능과 데이터 구조를 디자인하는 데 항 상 상수보다 변수를 사용하려 한다. 인간과 컴퓨터 인터페이스의 차원 에서 이러한 원리는 곧 사용자에게 컴퓨터게임, 웹사이트, 웹 브라우저 또는 운영체제 자체에 이르는 프로그램 또는 미디어 객체를 변경할 수

24) ‘상호작용적 픽션(Interactive Fictions)’ 학술대회에서 마르코스 노박(Marcos Novak)

의 강연, University of Southern California, Los Angeles, 7 June 1999.

있는 선택 가능성이 더 많이 주어짐을 의미한다. 사용자는 게임 캐릭터 의 프로필을 바꿀 수 있고, 데스크톱상에서 폴더가 나타나는 방식이나 파일이 보이는 방식, 어떤 아이콘을 사용할지 등을 변경할 수 있다. 만일 이러한 원리를 문화 전반에 적용시킨다면, 이는 문화적 객체 에 독특한 정체성을 부여하는 모든 선택이 잠재적으로 항상 열려 있음 을 의미할 것이다. 다른 미디어로 된 문화적 객체의 몇몇 면모를 열거 하자면, 크기, 세밀도, 판형, 색상, 형태, 상호작용의 궤도, 공간, 지속시 간, 리듬, 관점, 특정 캐릭터의 유무, 줄거리의 전개는 모두 변수로 정의 될 수 있으며 이를 사용자가 자유롭게 변경할 수 있다. 우리는 이 같은 자유를 원하는가 아니면 필요로 하는가? 상호작용 영화 제작의 선구자인 그레이엄 웨인브렌이 주장하듯 상호작용 미디어 와 관련해서 ‘선택’은 도덕적 책임을 수반한다.25) 이러한 선택을 사용 자에게 전가함으로써 작가는 세상과 그 안의 인간 조건을 재현할 책임 또한 전가한다. 대기업들이 고객을 다루기 위해 전화 혹은 웹 기반 자 동 메뉴 시스템을 사용하는 것도 마찬가지다. ‘선택’과 ‘자유’라는 명목 으로 기업들이 이러한 시스템으로 전환할 때 이러한 자동화의 결과 가 운데 하나는 노동이 기업의 피고용인으로부터 고객에게 전가되는 것이 다. 만약 이전의 고객이 기업의 피고용인과 상호작용하여 정보를 얻거 나 상품을 구입했다면, 이제 그는 같은 결과를 얻기 위해 수없이 많은 메뉴의 내비게이션에 자신의 시간과 에너지를 쏟아 부어야 한다. 현대사회의 생활 전반에서 벌어지고 있는 이행, 즉 상수에서 변수 로, 전통에서 선택으로의 이행이 수반하는 도덕적 불안감과 이를 그려

25) Grahame Weinbren, “In the Ocean of Stream of Story”, Millennium Film Journal 28(Spring 1995), http://www.sva.edu/MFJ/journalpages/MFJ28/GWOCEAN.HTML

내는 저자의 불안은 미국의 현대 소설가 릭 무디가 쓴 단편의 마지막 문 단에 잘 묘사되어 있다(이 이야기는 누이의 죽음에 관한 것이다).26)

나는 그것을 좀 더 각색해야 한다. 나를 감추어야 한다. 성격 묘사에 대 한 책임을 고려해야 하며, 그녀의 두 아이를 하나로 만들거나 성을 바꾸 거나 아니면 완전히 다른 사람으로 바꾸어야 하며, 남자친구를 남편으 로 만들고, 우리 대가족의 온갖 세세한 일들(그들의 재혼, 파멸적 관계) 을 모두 설명해야 하며, 모든 것을 소설화하며, 다세대적으로 만들어야 하며, (채석공과 신문 배달부) 선조들을 끼워 넣어야 하며, 겉모양을 우 아하게 만드는 재주를 부려야 하며, 사건들을 가지런히 정렬하고, 그 후에 이에 대해 써야 하며, 내가 화나지 않을 때까지 기다려야 하고, 좋 은 시절에 대한 추억 혹은 후회로 줄거리를 어지럽혀서는 안 되며, 메레 디스의 죽음을 그럴 듯하고 설득력 있게 만들어야지 갑작스럽거나 난 데없는 것으로 만들어서는 안 되고, 생각할 수 없는 것을 생각하거나 고 통스러워해서는 안 되며, 그녀를 이인칭으로 불러야 하며(나는 네가 그 립다, 이런 식으로), 애정 어린 것에 관해서만 써야 하며, 이 인생의 여 러 곳을 여행하는 것이 안전하고 걱정 없는 것으로 보이게 해야 하며, 좀 더 나은 결말을 지어야 하며, 그녀의 삶이 짧았다거나 자주 슬펐다고 말해서는 안 되며, 나처럼 그녀도 악마에 시달리고 있었다고 말해서도 안 된다.

26) Ricky Moody, Demonology, first published in Conjunctions, reprinted in The KGB Bar Reader, quoted in vince Passaro, “Unlikely Stories”, Harper’s Magazine vol. 299, no 1791(August 1999), 88∼89.

부호 변환

수적 코딩과 모듈적 구성이라는 뉴미디어의 ‘물질적(material)’ 원리라 는 기초부터 시작하여, 보다 ‘심도 있고’그 영향력이 광범위한 자동화와 가변성의 원리로 옮겨왔다. 다섯 번째이자 마지막 원리인 문화적 부호 변환(transcoding)을 통해서는 미디어 컴퓨터화의 가장 중요한 결과를 기술하고자 한다. 앞서 말했듯이 컴퓨터화는 미디어를 컴퓨터 데이터 로 전환시킨다. 어떤 관점에서 보면 컴퓨터화된 미디어는 여전히 인간 사용자들에게 이해될 수 있는, 즉 이미지들은 식별 가능한 객체를 나타 내고, 텍스트 파일은 문법적 문장으로 이루어져 있으며, 가상 공간은 데카르트적 좌표 시스템에 따라 규정되는 구조적 구성을 보여 주기도 하지만, 또 다른 관점에서 보면 그 구조는 컴퓨터 데이터 구성의 기존 규범을 따른다. 이러한 규범의 예로는 리스트, 레코드(record), 배열과 같은 서로 다른 데이터 구조들과, 이미 언급된 바 있는 변수에 의한 상 수의 대체, 알고리즘과 데이터 구조의 분리 그리고 모듈성 등이 있다. 컴퓨터 이미지 구조가 이의 적절한 예다. 재현이라는 관점에서 보 자면, 이것은 인간 문화에 속하며 자동적으로 다른 이미지, 다른 문화적 ‘어휘소(semses)’와 ‘신화소(mythemes)’의 대화에 참여한다. 그러나 다 른 점에서 보면, 그것은 기계가 읽을 수 있는 헤더(프로그램의 시작을 알려 주는 부분－옮긴이 주), 그리고 픽셀의 색 값을 나타내는 숫자로 구성된 컴퓨터 파일이다. 이러한 점에서 이것은 다른 컴퓨터 파일과 대 화한다. 이 대화가 갖는 특성은 이미지의 내용, 의미 또는 형식적 절이 아 니라 크기, 파일의 종류, 사용된 압축 방식, 파일 형식 등이다. 간단히 말해 서, 이러한 특성은 인간 문화보다는 컴퓨터 자체에서 발생하는 것이다. 유사하게도 뉴미디어는 일반적으로 두 개의 다른 층위, 즉 문화적 층위와 컴퓨터 층위로 이루어져 있다고 볼 수 있다. 문화적 층위에 속

하는 범부로는 백과사전과 소설, 이야기와 줄거리, 구성과 관점, 모방 과 카타르시스, 희극과 비극 등이 있다. 컴퓨터 층위에 속하는 범주로 는 프로세스와 네트워크를 통해 전송되는 데이터 패킷과 같은 패킷 (packet, 데이터 전송에서 송신 측과 수신 측에 의하여 하나의 단위로 취급되어 전송되는 데이터의 묶음－옮긴이 주), 분류와 짝짓기, 함수와 변수, 컴퓨터 언어와 데이터 구조를 들 수 있다. 뉴미디어는 컴퓨터에서 생산되어 컴퓨터를 통해 유포되고, 컴퓨터 상에서 저장되고 보관되므로 컴퓨터의 논리가 미디어의 전통적인 문화 적 논리에 상당한 영향을 미칠 것임을 짐작할 수 있다. 즉, 컴퓨터 층위 가 문화적 층위에 영향을 미친다는 것이다. 컴퓨터가 세상을 만들어 내 고 데이터를 재현하며 그것을 운용할 수 있는 방식, (검색, 짝짓기, 정렬 그리고 필터 등과 같은) 모든 컴퓨터 프로그램 배후의 주요한 기능, HCI(Human Computer Interaction, 인간과 컴퓨터의 대화를 의미하 는 것으로, 인간이 어떤 목적을 위해 컴퓨터와 주고받는 모든 행위를 말 한다－옮긴이 주), 즉 컴퓨터의 존재론, 인식론 그리고 화용론(話用論) 이라고 할 수 있는 것들은 뉴미디어와 그 구성, 새로운 장르, 내용 등의 문화적 층위에 영향을 미친다. 물론 내가 ‘컴퓨터 층위’라고 부르는 것은 고정된 것이 아니라 시간 에 따라 변한다. 하드웨어와 소프트웨어가 계속 진화하고 컴퓨터가 새 로운 과제를 수행하기 위해 새로운 방식으로 사용되면서 이러한 층위 는 지속적인 변화를 겪는다. 컴퓨터가 미디어 기계로서 새롭게 사용되 고 있는 것이 적절한 예다. 이러한 사용은 컴퓨터의 하드웨어 및 소프 트웨어에, 특히 VCR 테이프 재생기, 사진기 등의 옛 미디어 기계와 문 화적 기술의 인터페이스를 닮아가는 인간-컴퓨터의 인터페이스 차원에 영향을 미치고 있다.

요약하자면, 컴퓨터 층위와 문화적 층위는 서로 영향을 미친다. 뉴 미디어의 또 다른 개념을 사용하자면 이들은 함께 합성되고 있다고 말 할 수 있다. 이러한 합성의 결과는 새로운 컴퓨터 문화, 즉 인간과 컴퓨 터의 의미가 혼합되고, 인간 문화가 세계의 모습을 만들어 내는 전통적 방식과 이를 재현하는 컴퓨터 자체의 수단이 혼합된 문화다. 이 책 전체에서 부호 변환 원리의 실례를 많이 볼 수 있게 될 것이다. 예를 들면, ‘문화 인터페이스의 언어’ 절에서는 인쇄 매체, 영화 그리고 전통적 HCI가 웹사이트, CD-ROM, 가상공간 그리고 컴퓨터게임의 인 터페이스와 상호작용하는 방식을 살펴볼 것이다. ‘데이터베이스’ 절에서는 원래 데이터를 구성하고 접속하는 컴퓨 터 기술인 데이터베이스가 어떻게 독자적으로 새로운 문화적 형식이 되고 있는가를 논의할 것이다. 그러나 우리는 또 이미 논의된 몇몇 뉴 미디어의 원리를 부호 변환 원리의 결과로 재해석할 수도 있다. 예를 들면, 하이퍼미디어는 컴퓨터 프로그래밍에 필수적인 알고리즘과 데이 터 구조의 분리에서 비롯된 문화적 결과로 이해될 수 있다. 프로그래밍 에서 알고리즘과 데이터 구조가 서로 독립적으로 존재하는 것처럼 하 이퍼미디어에서는 데이터와 내비게이션 구조가 분리되어 있다. 이와 유사하게 뉴미디어의 모듈적 구조는 구조적 컴퓨터 프로그래밍의 모듈 성의 결과로 볼 수 있다. 마치 구조적 컴퓨터 프로그램이 작은 모듈들 로 이루어져 있고 이것이 다시 더 작은 모듈들로 이루어지듯이 뉴미디 어 객체는 모듈 구조를 가진다. 뉴미디어에서 사용하는 전문용어에서 무언가를 ‘부호 변환’한다는 것은 그것을 다른 포맷으로 바꾸는 것을 의미한다. 문화의 컴퓨터화는 점차 모든 문화적 범주와 개념에서 유사한 부호 변환을 하고 있다. 즉, 문화적 범주와 개념은 의미와 혹은 언어의 차원에서 컴퓨터의 존재론,

인식론 그리고 화용론에서 도출된 새로운 것들로 대체된다. 뉴미디어 는 따라서 이러한 문화적 재개념화라는 더 보편적인 과정에서 선구자 적인 역할을 하고 있다. 만약 컴퓨터로부터 문화 전반으로 개념적 이동이 이루어지고 있 고, 미디어가 컴퓨터 데이터로서 새로운 지위를 확보한 것이라면, 이를 이해하기 위해서 어떤 이론적 틀을 사용해야 할까? 한 가지 차원에서 뉴미디어는 디지털화된 옛 미디어이며, 따라서 뉴미디어를 미디어 연 구의 관점에서 살펴볼 수 있으며, 인쇄, 사진 또는 텔레비전 등의 옛 미 디어와 비교해 볼 수 있을 것이다. 또한 유통, 수용, 사용 방식의 조건에 대해 따져볼 수도 있을 것이며, 각 미디어의 물질적 특성에서 유사점과 차이점, 그리고 이들이 어떻게 미적 가능성에 영향을 미치는지를 따져 볼 수 있을 것이다. 이러한 관점은 중요한 것이고 이 책에서도 자주 사용될 것이지만, 이것만으로는 충분하지 않다. 왜냐하면 이러한 관점은 뉴미디어의 가 장 근본적인, 그리고 역사적 선례가 없는 특성인 프로그램화 가능성을 다루지는 못하기 때문이다. 뉴미디어를 인쇄, 사진 또는 텔레비전과 비 교하는 것도 모든 것을 말해 주지는 않을 것이다. 왜냐하면 어떤 관점 에서는 뉴미디어가 정말로 새로운 유형의 미디어이긴 하지만, 또 다른 관점에서는 단지 파일과 데이터베이스에 저장되고, 검색과 분류가 가 능하고, 알고리즘에 의해 작동하며, 출력장치에 의해 쓰여지는 컴퓨터 데이터의 구체적인 한 형태일 뿐이기 때문이다. 데이터가 픽셀을 나타 내고, 그 장치가 출력 화면이라는 사실은 중요하지 않다. 컴퓨터가 완 벽하게 자카르 직조기와 같은 역할을 수행하고 있을지는 모르지만, 실 제로 그것은 근본적으로 배비지의 해석기관이며, 이것이야말로 지난 150년간 컴퓨터가 지녀온 정체성이었다. 뉴미디어가 미디어처럼 보일

수 있지만 이는 단지 표면적일 뿐이다. 뉴미디어는 1950년대 해럴드 이니스(Harold Innis)와 1960년대 마 셜 매클루언(Mashall McLuhan)의 혁신적 작업을 그 기점으로 하는 미 디어 이론에서 새로운 단계로 올라서야 한다. 뉴미디어의 논리를 이해 하기 위해서 컴퓨터과학으로 돌아갈 필요가 있다. 거기에서야말로 프 로그램화가 가능해진 미디어를 특징짓는 새로운 용어, 범주 그리고 운 용 방식을 찾아낼 수 있을 것이다. 우리는 미디어 연구에서 소위 ‘소프트 웨어 연구’라고 부를 수 있는 것으로 미디어 이론에서 소프트웨어 이론으 로 옮겨갈 것이다. 부호 변환의 원리는 소프트웨어 이론에 대해 생각하

기 위한 하나의 방법이다. 이 책이 실험하고 있는 또 다른 방법은 컴퓨터 과학의 개념을 뉴미디어 이론의 범주로 사용하는 것이다. ‘인터페이스’ 나 ‘데이터베이스’ 절이 이에 대한 예가 될 수 있다. 그리고 마지막으로 앞에서 언급한 것에 못지않게 중요한 것으로 컴퓨터 하드웨어와 소프트웨어의 ‘물질적’이고 논리적인 원리를 분석 하는 것과 더불어, 인간-컴퓨터 인터페이스와 뉴미디어 객체를 만들 고 접속하는 데 사용되는 응용 소프트웨어의 인터페이스를 살펴볼 것 이다. 2장과 3장은 이러한 주제를 다루고 있다.

이런 것은 뉴미디어가 아니다 앞서 뉴미디어와 옛 미디어의 핵심적 차이를 언급했다. 이제부터는 제 기될 수 있는 다른 문제를 언급해 보고자 한다. 아래는 흔히 뉴미디어 와 옛 미디어의 차이라고 믿고 있는 정의들이다. 지금부터 나는 이를 비판적으로 검토할 것이다.