medium by Ye Won Shin

석사학위논문

시각 매체로서 텍스트와 이미지의 변주 Variations of Text and Image as a Visual Medium

홍익대학교 대학원 디자인학부 시각디자인

도화정

2021년 2월 1

시각 매체로서 텍스트와 이미지의 변주 Variations of Text and Image as a Visual Medium

지도교수

안병학

이 논문을 석사학위 논문으로 제출함 2021년 1월

홍익대학교 대학원

디자인학부 시각디자인

도화정 3

도화정의 석사학위 논문을 인준함

심사위원

심사위원장

Lee LeeMarvin MarvinJin Jin

(인)

심사위원

민본 민본

(인)

심사위원

안병학 안병학

(인)

홍익대학교 대학원 5

국문 초록

매분 매초 새로운 콘텐츠들이 쏟아져 나오고 각 영역의 경계는 서로 공격 혹은 협력함으로써 흐려지게 되며 대상을 전달하는 방식 또한 다양해지고 있다. 오늘날 서로 다른 매체들이 사람들의 입맛을 돋우기 위해 경쟁하며 뒤샹의 <샘(Fountain)>처럼 기존의 양식에서 벗어나 새로운 차원의 재료를 찾아가고 이에 따라 매체는 우리 삶에 점점 더 다양한 방식으로 침투하기 시작했다. 우리의 일상은 매체와 밀접한 관계를 맺으며, 우리가 지각하기 이전부터 이미 늘 우리 주위에 존재한다. 타인과 이야기를 나눌 때 사용하는 언어, 사물을 보기 위해 옮기는 시선, 심지어 소리를 전달하는 공기도 매체다. 이렇듯 우리는 매체를 통해 대상과 관계를 맺고, 이러한 과정에서 매체는 감각을 매개로 활용하고, 환경을 바꾸고, 우리의 사유체계를 흔든다.

이 연구는 시각 매체로서 텍스트와 이미지를 다루며 볼터와 그루신(Jay David Bolter & Richard Grusin)이 말하는 재매개(Remediation)를 바탕으로 텍스트와 이미지의 변주를 시도한다. 인간의 감각 기관을 확장하는 것은 모두 매체에 해당하며, 우리가 감각하는 모든 대상은 메시지를 포함하는 매체로, 서로 참조하고 흡수하며 메시지를 재생산한다. 이때 재매개는 기계적인 의미의 재생산이 아닌 기존 매체의 양식이나 성격을 개선하거나 개조하는 방식으로 일어난다. 이 연구에서는 텍스트와 이미지를 시각 매체의 재료임과 동시에 각각 독립적인 매체로 전제하고, 재매개를 통한 그들의 새로운 의미 서술, 전개 방식을 모색한다. 이미지의 성격을 차용한 텍스트, 텍스트의 성격을 차용한 이미지는 기존의 서술을 전복하고, 각각의 영역을 확장하며 수용자에게 새로운 경험을 제공한다.

이 연구를 통해 보고, 듣고, 느끼는 등의 감각은 결국 그것을 확장하는 방법을 통해 모두가 매체로서 서로가 서로에게 의지하며 영향을 주고받는다는 것을 확인할 수 있었다. 우리가 감각하는 모든 존재는 고유의 형태나 성격을 가지고 있으며, 또 다른 형태나 성격을 가진 매체와 접촉, 연결함으로써 새로운 매체 생산에 기여한다. 기존과 다른 매체의 커뮤니케이션 방식을 고안하고자 한 이 연구는 서로 다른 결의 매체를 조합하는 시도를 통해 매체의 고유성을 파괴함과 동시에 가능성을 확보한다. 연구자는 시각 매체로서 텍스트와 이미지가 재매개를 통해 기계적인 관습을 깨고 표현의 잠재성을 깨우며 매체의 유연성과 개방성을 극복할 수 있음을 깨달았다. 또한, 새로운 매체는 기존의 매체에 대한 해석 수단을 제공할 수 있으며, 이로 인해 기존의 매체는 또다시 차용, 개조, 확장해나갈 수 있음을 확인했다.

목차 12

1. Intro 1.1. 연구 배경과 목적

1.2. 연구 문제

1.3. 연구 방법과 범위

2. 매체, 텍스트, 이미지의 관계

2.1. 매체 이해하기 2.1.1. 매체라는 것

2.1.2. 매체의 커뮤니케이션 프로세스

2.1.3. 매체와 감각의 확장

2.2. 시각 매체로서 텍스트와 이미지

2.2.1. 텍스트와 이미지

2.2.2. 텍스트와 이미지의 교집합

3. 매체를 넘어선 매체

3.1. 매체의 재구성

3.1.1. 재매개

3.1.2. 탈맥락화 — 코드의 이탈

3.1.3. 하이퍼미디어 — 다중적 레이어

46 49

3.2. 매체의 차용, 개조, 확장 3.2.1. 매체의 해체와 구축

3.2.2. 마르셀 브로타스의 라벨

4. 시각 매체의 재매개와 감각

4.1. 텍스트 보기 4.1.1. 아폴리네르의 공간적 텍스트

4.1.2. 브로타스의 개조된 텍스트

4.2. 이미지 읽기 4.2.1. 폴 랜드의 은유적 이미지

4.2.2. 리처드 해밀턴의 재구성된 이미지

4.3. 납작한 텍스트와 이미지에서 벗어나기

4.3.1. 제프리 쇼의 도시 공간으로 확장된 텍스트

4.3.2. 라파엘 로자노헤머의 상호적 이미지

5. 시각 매체 구성하기 5.1. 매체 구조와 도시의 관계

5.2. 텍스트와 이미지의 차용, 개조, 확장

5.2.1. <Navigation Book>

5.2.2. <Image.txt>

5.2.3. <Text.jpg>

96 100

5.3. 재구성된 도시와 새로운 시선 6. Outro

102

참고문헌

108

Abstract

112

그림 목차 그림 1. 십자가 형태를 띠고 있는 중세 시대 건축물의 평면도

그림 2. <The Shield of Achilles>

그림 3. Vladimir Kazakov, <Lovely Crossed-Out Quatrain>

그림 4. 프란츠 카프카 12권 전집

그림 5. 르네 마그리트, <La Trahison des images>

그림 6. 중앙 집중식 구조, 분권화된 구조, 분산된 구조

그림 7. 얀 반 에이크, <아르놀피니 부부의 초상>

그림 8. 파블로 피카소, <Violin and Grapes>

그림 9. 라울 하우스만, <The Art Critic>

그림 10. 마르셀 브로타스, <Un Voyage à Waterloo>, 필름 프레임

그림 11. 마르셀 브로타스, 현대미술관 독수리부 영화 섹션

그림 12. 마르셀 브로타스, <Pense-Bête>

그림 13. 아폴리네르, <비가 내린다(Il pleut)>

그림 14. Erick Beltrán, <The World Explained. A Microhistorical Encyclopedia>

그림 15. 말라르메, <주사위 던지기(Un Coup de Dés)>

그림 16. 브로타스, <한 번의 주사위 던지기는 결코 우연을 폐기하지 못하리>

그림 17. 브로타스의 <Pense-Bête>에 사용된 시집의 일부 페이지

그림 18. 폴 랜드, <IBM>

그림 19. 브로타스가 고안한 『스튜디오 인터내셔널(Studio International)』의 표지

그림 20. 리처드 해밀턴, <Just what was it that made yesterday’s homes so different,

so appealing?> 그림 21. 리처드 해밀턴, <Just what is it that makes today’s homes so different?>

그림 22. 제프리 쇼, <The Legible City>

그림 23. 카미유 어터백, <Text Rain>

그림 24. 라파엘 로자노헤머, <Airborne Newscast>

그림 25. 라파엘 로자노헤머, <Zoom Pavilion>

그림 26. 텍스트의 파편화

그림 27. <Navigation Book>

그림 28. <Navigation Book>의 그래픽 조각 배치도

그림 29. <Navigation Book> 일부 페이지

92, 93

그림 30. <Image.txt> 세부 페이지 그림 31. <Image.txt> 세부 페이지 2

그림 32. <Image.txt>에서 기술 매체의 성격을 차용한 부분

그림 33. <Text.jpg> 세부 페이지 1

그림 34. <Text.jpg> 세부 페이지 2

그림 35. <Text.jpg> 세부 페이지 3

그림 36. <Text.jpg> 세부 페이지 4

그림 37. <Text.jpg>에 사용된 이미지

101

그림 38. <Text.jpg>에 사용된 이미지

107

1. Intro

1.1. 연구 배경과 목적 1.2. 연구 문제

1.3. 연구 방법과 범위

1.1. 연구 배경과 목적

글 읽기, 그림 보기, 신문 읽기, 영화 보기….

우리는 다양한 사물과 현상을 마주하고, 그것을 지각하고, 지각으로부터의 인식을 통해 세계와 접촉한다. 이 과정에서 많은 경우 의식적이든 무의식적이든 시각이라는 감각을 통한 인지 과정을 거치는데, 보는 행위는 학습이 아닌 우리의 몸, 감각으로 이루어진다. 우리는 보는 행위와 더불어 대상과 관계를 맺고 그것을 우리의 감각 안으로 끌어들인다. 이러한 과정을 거치게 할 수 있는 것이 매체인데, 이는 대상과 우리 사이에 항상 존재하면서 의미를 전달하는 방식과 지각하는 방식에 영향을 미치며, 대상과 우리를 이어주는 일종의 감각 통로 역할을 한다. 매클루언(Marshall McLuhan)은 매체의 본질을 인간의 확장(extensions of man)이라고 말하며 인간은 도구와 무기를 통해 자신의 근원적인 가능성을 확장하며, 동시에 주변 세계에 대한 영향력을 넓히고 구체화한다.1) ‘미디어는 메시지(Message)다’라는 말은 미디어가 인간의 확장과 동시에 그 자체로 메시지의 역할을 한다는 의미이다.2) 이러한 이해 속에서 볼 때 디자인은 감각을 확장하는 도구로서 비가시적인 것을 가시적으로 만들고 그 자체로서 메시지와 매체의 역할을 수행한다. 우리는 디자인이 생산한 형상과 의미를 통해 대상과 관계 맺으며 감각을 확장하고 경험을 쌓아간다.

연구자는 시각 매체 중에서도 텍스트와 이미지에 주목하여 이들의 상호 개입을 통한 지각 방식의 변화와 확장 방식에 대해 탐구하고자 한다. 그들을 1) 안드레아스 뵌·안드레아스 자이들러, 『매체의 역사 읽기』, 이상훈·황승환 옮김, 문학과지성사, 2020, p. 41 2) 손현지, 「매체미학에서 시각디자인의 멀티융합에 관한 연구」, 『한국디자인포럼』, 제26호, p. 5

관통하는 시각이라는 감각 아래 서로 다르게 출력되는 형식과 교차점을 찾아 상호교환함으로써 매체의 영역을 넓히고 다양한 커뮤니케이션 방식을 발견하는 데 목적을 둔다. 동굴벽화에서 인간이 돌이라는 도구를 이용해 그림을 그리고 기록을 남기는 활동이 가능했듯, 매체의 발견과 활용은 새로운 차원의 가능성을 개방한다. 재매개 개념을 바탕으로 시각 매체인 텍스트와 이미지의 교차를 분석하고, 새로운 매체성의 발견과 새로운 지각 방식을 실험하며, 대상을 다의적으로 해석하는 길을 모색하고자 한다. 교차, 개조, 확장된 매체는 고정된 감각에서 벗어나 다양한 지각 방식을 도출해낼 수 있으며, 이는 인간의 활동 영역을 확장하는 데 기여한다. 예술가나 디자이너는 매체의 가능성을 확보하고 재해석, 재창안함으로써 또 다른 지각 방식이나 새로운 매체를 고안한다. 이러한 매체의 발견, 교환, 확장이라는 창의적 순환 구조에 이 연구 또한 그 일부로써 기여할 수 있다고 본다.

1.2. 연구 문제

- 우리가 감각하는 모든 대상은 매체가 될 수 있는가. - 매체는 어떤 역할을 하며 우리는 그것을 어떻게 감각하는가. - 매 체의 조건은 무엇이며 텍스트와 이미지는 어떤 방식으로 매체로서 작동하는가. - 매체의 재매개는 어떤 방식으로 감각의 교차와 확장을 가능하게 하는가. - 감각과 매체의 확장은 디자인의 잠재성을 어떻게 확장하는가. - 재매개를 통한 매체의 교환, 확장은 새로운 매체성을 발견할 수 있는가.

1.3. 연구 방법과 범위

매체의 교환, 확장으로 만들어 낼 수 있는 커뮤니케이션 방법을 탐구하기 위해 볼터와 그루신의 ‘재매개’는 중요한 문헌 연구와 실증연구의 대상이다. 일반적인 기술적 분류에서의 매체 — 책, 사진, 영화 등 — 뿐만 아니라 시각이라는 감각에 의해 작동하는 텍스트와 이미지 또한 이 연구의 중요한 소재이다. 문자와 그림이라는 표현보다 텍스트와 이미지라는 용어를 사용한 이유는 두 대상을 콘텍스트(context)라는 개념 안에서 포괄적으로 사용하기 위해서이다. 이 연구에서 텍스트는 문자로 쓰인 모든 형태의 문서를 아우르는 표현 수단이고,3) 이미지는 사진, 회화와 같은 정적인 표현 수단부터 영화에 이르는 동적인 표현 수단까지 두루 포괄하는 것이다.

연구자는 궁극적으로 재매개를 통한 커뮤니케이션의 다양화를 알아보기 위해 먼저 매체의 의미와 매체로서 텍스트와 이미지의 역할, 그리고 재매개를 위한 매체의 교류 가능성에 대해 고찰했다. 매체를 물리적으로 분류하기보다, 텍스트와 이미지를 매체의 구성요소이자 동시에 매체의 성격 면에서 고유한, 독립적인 매체로 다루기로 한다. 텍스트와 이미지가 작동하는 방식, 그리고 그들의 역할을 분류하고 성격의 차이를 파악한 다음, 그들이 어떻게 융합될 수 있는지 전개했다.

이어 매체를 융합하는 방식으로 재매개를 제시하고 그것의 전략, 실험에 대해 고찰했다. 재매개의 특징을 가진 여러 현상과 구조 중 텍스트와 이미지에 색다른 의미를 부여할 수 있는 방법인 탈맥락화와 하이퍼 매개에 집중하여 살펴보았다. 탈맥락화는 코드 이탈 현상으로, 이 연구의 목적인 커뮤니케이션의

3) 안드레아스 뵌·안드레아스 자이들러, 앞의 책, p. 84

다양화에 도움을 줄 수 있다고 생각하여 이를 다양성의 일부로 받아들이고자 했다. 또한 하이퍼미디어의 구조는 이질적인 것들을 공존하게 하여 기존과 다른 형식을 만들어낼 수 있다는 점에서 가능성을 확인하고 이를 포함했다.

이를 토대로 시각 매체로서 바라본 텍스트와 이미지를 재매개하는 과정과 예시를 통해 연구자의 해석을 시도했다. 텍스트와 이미지를 둘러싼 감각 행위인 읽기와 보기는 모두 시각 영역에 해당하지만, 텍스트 읽기, 이미지 보기로 묶는 것을 재매개를 통해 텍스트와 이미지의 역할을 서로 치환할 수 있다는 점, 각각을 감각하는 행위도 교차할 수 있다는 점에 주목했다. 연구자의 주장을 더욱 효과적으로 드러내기 위해 사용한 예시들은 일반적으로 분류되는 디자인이 아닌, ‘목적의 조형적 실체화’에 초점을 맞추어 회화, 조각, 디자인, 설치미술, 건축 등 시각예술 전반으로 그 범위를 넓혔다. 이를 포함하는 이유는 재매개의 근원을 다양하게 참조하기 위해서이다. 오늘날 디자인이 화이트 큐브로 진출하거나 반대로 미술이 디자인에 적용되는 등 영역 간의 경계가 무너지고 이에 따라 매체 또한 확장되는 양상을 보이고 있다. 특히, 현대미술은 기성품, 설치, 퍼포먼스 등 혼합 매체를 적극적으로 활용하고 매체의 기존 역할을 바꾸거나 재매개하며 기존의 틀에 도전한다는 점에서 주목할만하여 이를 예시에 포함했다.

마지막으로 도시를 주제로 텍스트와 이미지의 재매개를 시도하는 연구자의 작품에 대해 전개했다. 의미 고정된 특정 작품의 형식을 제시하기보다 재매개에 기여하는 하나의 방법으로써 연구자의 해석과 기존 시각 매체의 변주를 제안하는 데 중점을 두었다. 이를 통해 기존의 매체를 차용하거나 개조하는 재매개는 의미 생산에 중요한 역할을 하며 기존 시각 매체의 가능성을 확장할 수 있음을 확인했다.

2. 매체, 텍스트, 이미지의 관계

2.1. 매체 이해하기

2.1.1. 매체라는 것

2.1.2. 매체의 커뮤니케이션 프로세스 2.1.3. 매체와 감각의 확장

2.2. 시각 매체로서 텍스트와 이미지 2.2.1. 텍스트와 이미지

2.2.2. 텍스트와 이미지의 교집합

2.1. 매체 이해하기

세상에 존재하는 모든 것들은 발신자와 수신자 사이에 위치하며 어떤 것을 매개한다는 점에서 매체가 될 수 있다. 하지만 전통적인 관점에서는 매체를 기술(technique) 문제와 연결해 왔는데,4) 이러한 전통적이고 관습적인 매체의 개념, 그리고 거기에 부여된 매체 특정성은 더는 유효하지 않으며 파괴해야 할 대상이다. 게다가 매체에 대한 고정관념은 매체를 특정한 형식에 머무르게 하고 복제된 매체만을 낳는다. 이에 대항하여 매체의 내용은 형식이 될 수 있고, 형식 또한 내용이 될 수 있다는 주장을 바탕으로 먼저 매체가 무엇인지, 발신자와 수신자 사이에서 작동하는 과정은 어떻게 되는지, 그리고 이에 대해 우리는 어떻게 감각하고 개입하는지 살펴보고자 한다.

2.1.1. 매체라는 것

우리는 무엇을 통해 보고, 듣고, 만지며 감각하는가? 우리는 대상을 감각함으로써 메시지를 얻는데, 존재하는 모든 대상은 의미를 전달한다는 점에서 매체의 조건을 충족한다. 매체는 특정한 형태가 정해져 있지 않으며 무엇을 매개한다는 점 이외에 공유하는 성격도 없다. 물질적이든 비물질적이든, 사물이건 사람이건 상관없이 발신자와 수신자 사이에서 어떤 형태로든지 중개해주는 모든 대상이 매체다.5) 즉, 한쪽에서 다른 한쪽으로 메시지를 전달, 중개하는 수단이다. 끊임없이 소통하며 살아가는 인간에게 매체는 필수적인 존재인데, 발신자는 누구에게, 무엇을, 어떻게 전달할지에 따라 매체를 선택하고, 그에 따라 매체의

4) 로절린드 크라우스, 『북해에서의 항해』, 김지훈 옮김, 현실문화A, 2017, p. 10 5) 안드레아스 뵌·안드레아스 자이들러, 앞의 책, p. 41

형태나 성격은 다르게 나타난다. 발신자로부터 출발해 매체를 거쳐 메시지가 전송되고 수신자는 그것을 감각하고 반응하는데, 여기서 메시지는 전달하는 내용이자 매체가 된다. 메시지의 표상 형식 그 자체가 매체이고 그 형식이 곧 무엇을 전달하는 매체의 성격을 드러낸다.

매체(medium/media)라는 용어는 다양한 분야에서 쓰이고 있으며 복합적인 의미를 가지고 있다. 많은 사람에게 정보를 전달하는 신문, 잡지, 라디오와 같은 매스미디어(mass media)로 쓰이거나, 회화, 조각에 쓰는 재료(medium)로 작동하거나, 음성, 텍스트, 이미지 등 다양한 형식의 매체가 혼합된 멀티미디어(multimedia) 등으로 나타난다. 크라우스(Rosalind Krauss)는 이렇게 다양한 의미로 쓰이는 매체를 특정성을 가진 ‘medium’과 커뮤니케이션 수단으로서의 ‘media’로 엄격히 구분하며 ‘medium’의 복수형 또한 ‘media’가 아닌 ‘mediums’로 표기한다.6) 이에 따라 이 연구는 각각의 매체에 주목하기 때문에 텍스트와 이미지에 쓰이는 ‘매체’를 광범위한 커뮤니케이션 수단인 ‘media’보다 개별적인 매체로서 ‘medium’에 가까운 것으로 규정한다. 연구에서 다루는 매체는 고유한 성격을 가진 독립적 존재이자 각각의 대상은 매체로서 기능할 수 있으며, 이는 메시지를 전달하는 데에 부가적인 수단이 아니라 그 자체가 형식, 목적이 될 수 있다. 매클루언, 키틀러, 플루서 등은 ‘매체’ 대신에 ‘미디어’라는 단어를 사용하며 이를 개별 매체의 특정성이 아니라 일종의 체계로 취급하는데,7) 연구자는 그들의 이론을 일부 참조하면서도 매체로서 텍스트와 이미지의 특정성을 인정하고 서로를 차용하는 방식으로 매체를 취급하고자 한다.

6) 로절린드 크라우스, 앞의 책, p. 105 7) 권정현, 「포스트매체 조건에서의 예술 매체: 로절린드 크라우스의 매체 개념을 중심으로」, 석사학위, 서울대학교 대학원, 2018, p. 16

2.1.2. 매체의 커뮤니케이션 프로세스

매체는 발신자와 수신자를 매개하는 역할을 하는데, 메시지는 발신자로부터 매체(채널)를 거쳐 수신자에게 도달한다. 아리스토텔레스에 따르면 매체는 감각 대상들 사이에 있는 ‘매개체’로,8) 수용자가 자신 이외에 외부 대상들을 감각할 수 있게 하는 중간 역할을 한다. 로만 야콥슨(Roman Jakobson)은 기존의 의사소통 모델에 코드(Kode)와 맥락(Kontext)을 추가했는데,9) 발신자와 수신자 간의 매체를 통해 소통을 이루는 과정에서 코드화가 나타난다. 일종의 기호화라고도 할 수 있는 코드화는 상징들로 이루어진 하나의 체계인 코드10)를 통해 수신자가 메시지와 관계를 맺고 이를 감각할 수 있게 하는 주파수 같은 것이다. 인간의 커뮤니케이션은 상호 주관적이기 때문에 현상을 상징화하고, 상징을 코드로 체계화하는 규칙11)이 존재하는데, 매체는 이러한 코드가 작동하고 적응해야 하는 구조, 혹은 하드웨어이다.12)

커뮤니케이션 과정에서 메시지를 A, 매체를 B라고 한다면 A+B=AB가 아니라 A+B=C가 되어야 하며, 매체는 B가 아닌 D, E, F 등이 될 수 있고 조합에 따라 결과물은 다양한 형태나 성격을 가진다. 메시지와 매체는 단순히 결합하는 것이 아니라 융합하는 것이고 B가 가진 코드와 C, D, E 등이 가진 코드가 다르므로 그에 따른 결과물도 각각 다른 형태나 성질의 것이 나온다. 전제에 따르면, 메시지가

8) 아 리스토텔레스, 『영혼에 관하여』, 유원기 옮김, 궁리, 2001, p. 187 9) 안드레아스 뵌·안드레아스 자이들러, 앞의 책, p. 25 10) 아리스토텔레스, 위의 책, p. 28 11) 이병주, 「활자 이미지화로 본 해체주의 타이포그래피에 대한 매체미학 관점의 해석」, 박사학위, 홍익대학교 대학원, 2008, p. 67 12) 빌렘 플루서, 『코무니콜로기』, 김성재 옮김, 커뮤니케이션북스, 2001, p. 289

매체를 통해 매개되었을 때 제3의 존재가 나오게 되는데, 이는 정립되지 않거나 체계화되지 않은 메시지가 매체를 만나 새로운 형상이나 성질을 만들어내기 때문이다. 이에 해당하는 대표적인 예로 알파벳(alphabet)은 음성적인 것(말)을 코드로 체계화하여 시각적인 매체(문자)로 나타낸 것이다. 코드의 역사에 있어서 알파벳의 전과 후로 나눌 정도로 큰 영향력을 드러낸 알파벳은 단지 하나의 형상을 만들어 낸 것보다 커뮤니케이션 방식의 혁명을 불러일으킨 점에 의의가 있다. 보이지 않는 음성언어를 시각언어로, 3차원 세계의 현상을 2차원의 형상으로 변환하는 과정에서 코드의 역할이 작동한다. 이러한 대상과 매체 사이에 코드화가 발생하는 방식은 크게 묘사 혹은 환유로 나뉘는데, 전자는 자연(미메시스)에 가까운 것이고 후자는 인공적인 것에 가까운 것이다. 자연적이고 미메시스적인 매체는 그것이 표현하는 대상과 유사하거나 그것을 ‘포착’하며, 인공적이고 표현적인 매체는 스스로가 표상하는 대상과 ‘닮을’ 수 없는13) 자의적인 기호이다.

2.1.3. 매체와 감각의 확장

앞서 매체의 성격과 역할을 살펴봄으로써 매체는 모두 우리가 감각할 수 있는 대상이며, 형태가 있든 없든 우리가 감각기관을 통해 대상의 존재를 인지할 수 있다면 그것은 매체로서 기능한다는 것을 발견할 수 있다. 감각기관은 보통 시각, 청각, 미각, 후각, 촉각을 말하는데 대부분의 매체는 시각 혹은 청각과 연관이 있으며,14) 그중에서도 시각은 많은 매체를 포함하는 가장 자주 사용되는 감각이다. 감각적 지각은 전체적인 지각의 공감각적 관점을 포함하고 있지만 대개 눈을 중심으로 이루어진다.15) 시각은 대상의 형상과 언어라는 개념을 매개하는 13) W.J.T. 미첼, 『아이코놀로지』, 임산 옮김, 시지락, 2005, p. 60 14) 안드레아스 뵌·안드레아스 자이들러, 앞의 책, p. 48 15) 랄프 슈넬, 『미디어 미학』, 강호진 옮김, 이론과실천, 2005, p. 83

데에 지대한 역할을 하기도 한다.16) 시각 매체는 다른 감각의 매체를 코드화시켜 나타난 것이기도 한데, 가령 텍스트는 청각(음성언어)을 시각화한 것이다. 또한, 매체는 기능에 충실한 것을 넘어 감각을 충족 혹은 증폭시키는 역할로 확장한다. 이를테면 눈의 한계를 뛰어넘게 해주는 망원경과 현미경 같은 것들, 즉 기계의 눈이 인간의 눈을 대신하거나 보완하며, 사진이나 글은 인간의 감각을 더 오래 보존하기 위한 하나의 방법으로 사용된다. 발터 벤야민(Walter Benjamin)은 이러한 매체, 시각 기계의 개입이 존재했지만 가시화되지 않았던 것 — 시각의 무의식성 — 을 드러나게 해준다고 말한다.17) 시각의 확장은 가시화뿐만 아니라 또 다른 차원의 공간을 개방하는데, 이는 감각의 확장과 더불어 시공간의 영역으로 침투하는 것을 가능하게 한다. 시공간에 관한 서술은 이후 텍스트와 이미지에 대한 부분에서 자세히 다룰 것이다.

노르베르트 볼츠(Norbert Bolz)는 “감성학으로서의 매체 미학의 대상은 ‘아름다움’과 ‘예술’이 아니라, ‘매체’와 ‘지각 방식’임”을 강조한다.18) 그는 새로운 매체 시대의 상황에 대한 논의를 전개하는데, 이는 전통적인 예술 관점으로부터 멀어진 현재 상황과 들어맞는다. 카메라의 발명 이후 예술의 조건은 재현에서 멀어지게 되었고 미적 개념 또한 큐비즘(Cubism), 다다(Dada) 등과 같이 시대에 따라 절대적 기준이 파괴되고 변형되었다. 그들은 대상을 외적으로 아름답게 표현하는 것보다 매체가 수용자의 지각 방식에 영향을 미치는 과정에 주목하였다. 또, 기술의 발전으로 인해 한 매체는 하나의 감각이 아닌 복합적인 감각을

16) 김세리, 『시각과 이미지』, 이담북스, 2013, p. 25 17) 심혜련, 「기술 발전과 시각 체계의 상관 관계에 관한 고찰」, 『시대와 철학』, 한국철학사상연구회, Vol.18 No.1, 2007, p. 22-23 18) 심혜련, 「노르베르트 볼츠의 매체미학에 대한 비판적 고찰」, 『감성연구』, 전남대학교 호남학연구원, Vol.0 No.17, 2018, p. 138에서 Bolz, Norbert, Theorie der neuen Medien, S. 7 재인용

아우르게 되었는데, 특히 디지털 매체 시대로 들어선 이후 멀티미디어의 영역은 더욱 확장되었고, 한 매체 안에 시각, 청각, 촉각이 공존할 수 있게 되었다. 매체는 매클루언이 말한 대로 인간의 확장, 좀 더 정확하게 말하자면 감각의 확장으로 파악할 수 있다. 또한 매체는 분리된 감각, 즉 프루스트의 마들렌같이 매체를 감각하는 기관이 아닌 다른 감각의 기억도 불러일으킬 수 있으며 단일 감각을 넘어 감각의 전이를 일으킨다. 예술에서도 매체는 중요한 역할을 담당하고 새로운 기술 매체가 예술 체계를 세우기도 하는데, 전통적인 시각 예술에 청각의 개념을 더한 비디오 아트의 경우, 비디오라는 기술 매체가 그 자체로 예술의 본질이 되었다.19) 게다가 매체가 발전하면서 시각이 점유했던 영역을 촉각과 공유하게 되었는데, 벤야민은 시각적 체험의 과정에서 촉각적 체험을 경험하는 것을 ‘시각적 촉각성’이라고 하였다. 이는 ‘유사 촉각성’이라고 부르기도 하는데, 대상과의 직접적인 접촉 없이 눈으로 ‘차갑다’, ‘거칠다’, ‘아프다’ 등의 촉감을 느낄 수 있는 것을 말한다. 매클루언은 『미디어의 이해』에서 “촉감성이라는 것은 피부와 사물 간의 단순한 접촉이라기보다는 감각 간의 상호 작용이다.”20)라고 말하기도 했다. 시각적 촉각성의 요소에는 질감, 형태, 색채가 있는데,21) 이는 감각 간의 상호 작용, 시각과 촉각이 공유하는 영역이다. 곡선과 직선이 가지는 날카로움의 정도, 밝고 어두운색이 가지는 무게감의 정도, 레드 계열과 블루 계열이 가지는 온도 같은 것들이 이에 해당한다. 시각적 촉각성과 같이 매체를 통해 얻은 간접 감각은 직접 감각을 더 풍부하게 만들며 감각의 확장은 또 다른 성격의 매체를 낳는다.

19) 심혜련, 『사이버스페이스 시대의 미학』 , 살림, 2006, p. 18 20) ‘[미디어의 이해] 시각의 독재를 넘어 감각의 해방으로’, 베리타스알파, 2020년 10월 25일 접속, https://www.veritas-a.com/news/articleView.html?idxno=6203 21) 이혁재, 김보연, 「사용자와의 효과적인 연결을 위한 시각적 촉각성 연구」 , 『디지털디자인학연구』, 한국디지털디자인협의회, Vol.15 No.3, 2015, p. 588

2.2. 시각 매체로서 텍스트와 이미지

이번 장에서는 디자인의 관점으로 매체의 여러 감각 중에서도 시각에 집중하여 살펴본다. ‘보는 행위’는 단순히 망막 위에서 이루어지는 시각적 모상(visuelle Abbildung)에 그치는 것이 아니라 지각 과정으로 나아가는 것이며, 지각은 개별적인 상을 하나씩 수용하는 것이 아니라 그들의 연관 관계를 엮어내는 실행 과정이다.22) 기존의 예술에서 말하는 매체 — 책, 회화, 조각, 영상 등 — 는 물론, 이 연구에서 주장하는 매체 안의 매체인 텍스트와 이미지는 시각 매체의 재료이자 매체 그 자체로서 대체할 수 없는 역할을 한다. 프리드리히 실러(Johann Christoph Friedrich von Schiller) 또한 예술작품의 재료를 예술의 매체로 이해하기도 했으며,23) 이외에도 아날로그 매체 혹은 디지털 매체 그리고 음성 매체, 인쇄 매체, 영상 매체 등 결이 다른 매체의 바탕에는 모두 텍스트나 이미지가 있다. 우리가 보는 텍스트와 이미지는 매체로서 작동하며 각각의 매체는 전달하는 방식뿐만 아니라 그것의 의미와 수용자의 지각 방식 또한 영향을 미친다. 디자인은 예술적 측면에서의 매체와 기술적 성격을 결합한 것으로, 텍스트와 이미지 또한 이와 같은 성격을 가진다. 텍스트와 이미지 같은 시각 매체의 발전 과정에 있어 인쇄술이 시각적 측면에 많은 기여를 했음에도 불구하고 초기에는 청각이 우위를 차지하고 있었다. 하지만 이후 인쇄술이 더욱 발달하고 대중화되기 시작하면서 시각은 독보적인 지위를 확보하게 되었으며, 이로 인해 시각 매체 — 텍스트, 이미지 등 — 는 단순히 청각을 시각화한 것을 넘어서 독자적인 매체로 주목받기 시작했다. 또, 기술 매체의 혁명, 디지털 혁명은 시각 매체로 작동하는 텍스트와 이미지에도 영향을 22) 랄프 슈넬, 앞의 책, p. 37-38 23) 권정현, 앞의 논문, p. 10

미쳤는데, 기존의 텍스트 개념 대신 이미지 같은 유연한 텍스트가 등장하는 한편, 존재하지 않던 가상 이미지의 출현이 보편화되었다. 기술 프로그램의 발달로 텍스트를 자유롭게 다루는 것과 이미지 생산, 조작은 이전보다 더 쉬워졌으며, 이로 인해 텍스트와 이미지의 배열이 혼재되고 전통적인 형상이 파괴되며 그들의 고유한 성격은 사라지고 있다. 로우테크(low-tech)에서 구애받던 ‘텍스트성’은 텍스트 형태의 다양화, 자유로운 배열, 텍스트의 이미지 치환으로 해방되었고, 하이테크(high-tech)로 인해 이미지는 추상적인 것을 형태화하거나 사진을 복제하고 왜곡하는 등의 다양한 조작이 가능해졌다. 이러한 혁명 속에서 수용자가 변화에 적응하려면 문자를 초월한 ‘초언어적 코드’ — 사진, 영화, TV, 비디오 등 — 를 텍스트로 해독할 수 있는 능력을 갖춰야 한다.24) 이러한 해독 능력을 갖추기 위해서 먼저 그들의 기반이 되는 텍스트와 이미지의 성질과 그들이 어떻게 매체로 작동하는지 알아볼 필요가 있다. 이후 텍스트와 이미지의 교차점을 찾아 해독 가능성을 살펴보고 상호교환을 통해 영역을 확장할 수 있는지 알아보고자 한다.

24) 김성재, 「탈문자 시대의 매체현상학」, 『한국방송학보』, 한국방송학회, Vol.19 No.1, 2005, p. 78

2.2.1. 텍스트와 이미지

시각이라는 감각 아래 텍스트와 이미지는 정보를 전달하고 표현하는 커뮤니케이션 매체이자 기술 매체에 소속된 단위로서 존재한다. 통상적으로 다루어지는 텍스트와 이미지의 관계는 이질적이면서도 동시에 공통분모를 가지고 있는데, 그들은 관념적이었던 대상, 정보 혹은 감각을 물화(reification)하거나 구체화한다. 하지만 그들에 대한 수많은 연구가 있음에도 불구하고 개념적으로 경계를 구분하거나 정의하기는 쉽지 않다. 그래서 그들의 외적 형태만 주목하기보다 차이점이 드러나는 정보 기술 방식, 각 매체에 해당하는 고유한 문법, 대상의 매개 방식에 대해 추적하려 한다.

바르트는 정보를 “두 가지 다른 구조(two different structures)”, 언어적 차원의 텍스트와 조형적 차원의 사진으로 구분한다.25) 여기서 말하는 ‘언어적 차원’은 거시적인 차원이 아니라, 글을 해독할 수 있는 리터러시(literacy)의 차원으로 해석할 수 있다. 텍스트는 문자로 쓰인 모든 형태의 문서들을 아우르는 표현 수단이며,26) 말을 형상화한 것으로, 청각을 시각으로 변환하는 감각의 전이를 통해 정보를 조직화하는 데 기여한다. 조직화 과정에서 발생하는 코드는 상징으로 이루어진 하나의 체계로, 매체는 코드화를 통해 자신의 고유한 매체성을 드러내며 그것이 형식이자 성격, 내용이 된다. 텍스트 코드의 역사는 알파벳의 등장 전과 후로 정의되기도 하는데, 이는 텍스트가 독립적인 매체로 존재할 수 있는 계기를 마련해 주었다. 텍스트는 내용과 형식에 있어서 연관성과 일관성을 가지고, 이러한 조건을 갖추기 위해 말을 형상화하는 과정에서 기호(표상)를 선택, 배열, 조직하는 25) 전가경, 「잡지 『뿌리깊은 나무』 연구 : 이미지와 텍스트의 관계를 중심으로」, 박사학위, 홍익대학교 대학원, 2017, p. 112 26) 안드레아스 뵌·안드레아스 자이들러, 앞의 책, p. 84

규칙이 필요하며, 이것이 곧 코드이고 코드의 작동으로 텍스트가 존재하게 된다.27) 단어가 모여 문장이 되고, 문장이 모여 문단이 완성되는 것처럼 각각의 요소가 모여 의미 전달이 가능해지는 이유는 연관성과 일관성, 즉 텍스트 간의 응집성 때문이다. 우리는 또한 텍스트를 조합하는 과정에서 텍스트의 가장 두드러지는 특징을 찾아볼 수 있는데, 그것은 바로 텍스트의 선형성이며 이는 이미지와 구분되는 가장 큰 특징이다. 이미지에 반해 텍스트는 단어를 하나씩 열거해가며 규칙에 맞게 순서대로 전개해야 한다. 순차적으로 읽어야 하는 이러한 특성 때문에, 기존의 코드는 더욱 엄격하게 적용되고, 변형 가능 영역이나 수신자가 선택할 수 있는 매체 수용 방법의 폭도 좁아진다. 고립된 텍스트는 수신자의 사고 범위를 한계 짓고, 고정된 시간 — 텍스트를 파악하기 위해 걸리는 최소 시간 — 을 소요하게 만든다.

이미지는 재창조 혹은 재생산된 시각이며, 모든 이미지는 하나의 보는 방식을 나타낸다.28) 이전에는 텍스트와 이미지의 관계에 있어서 이미지가 텍스트에 종속된 것, 텍스트를 장식하는 부가적인 것으로 다뤄지곤 했는데, 이미지의 영역이 점점 넓어지고 스스로 힘을 가지게 되면서 텍스트로부터 독립하였다. 클리브 스캇(Clive Scott)은 시퀀스로부터 사진이 독립된 언어로서 힘을 가진다고 보면서29) 텍스트 종속성 탈피를 주장하기도 했다. 또한, 텍스트와 달리 이미지는 하나의 현상으로 지각될 수도 있는데, 기억, 심상, 환영 등 형상이 아닌 표상을 포함하고 텍스트보다 더 모호하고 넓은 범위를 가지며, 플라톤은 “모든 종류의 표상을 이미지라고 부른다.”라고 말한다.30) 이렇게 넓은 범위를 아우르는 이미지는 몇 가지

27) 네이버 지식백과, https://terms.naver.com/entry.nhn?docId=2274956&cid=42219&categor yId=51129 28) 존 버거, 『다른 방식으로 보기』, 최민 옮김, 열화당, 2019, p. 12 29) 전가경, 앞의 논문, p. 125 30) 마르틴 졸리, 『영상이미지 읽기』, 김동윤 옮김, 문예출판사, 1999, p. 14

성격을 가지고 있는데, 먼저, 이미지는 상형문자와 같이 대상과 유사 관계를 맺는 도상성을 띠며 매개하는 대상의 외양을 모사하여 하나의 매체를 생산한다. 이미지는 또한 유사성뿐만 아니라 대상이 가지고 있는 환경을 다루기도 하는데, 기호적, 상징적으로 매개되는 지표성을 나타낸다. 외적 형태가 대상과 물리적으로 유사하지 않더라도 역사적, 문화적, 종교적으로 대상과 관계를 맺어 의미를 생성한다. 이 또한 매체의 코드를 통해 매개되는 현상으로 볼 수 있는데, 특히 중세 시대의 예술에서 종교적인 상징성, 코드를 찾아볼 수 있다.

그림 1. 십자가 형태를 띠고 있는 중세 시대 건축물의 평면도

텍스트와 이미지는 순수한 매체가 아닌 선형성, 응집성, 도상성, 상징성 등의 성격을 가지며 코드를 통해 대상을 매개하는 시각 매체다. 이와 같은 자연적 혹은 인위적인 매체는 환경으로부터 습득된 지식, 집합의 조합과 나열, 관계 내에서 발견되는 유사성, 개체의 모양, 질감, 색으로부터 추출된 상징성 등과 같은 코드의 기호 작용으로 작동한다. 텍스트의 본질은 단어에 있고, 사진(이미지)의 본질은 선, 표면 그리고 그림자에 있다.31) 이로 인해 텍스트와 이미지가 표상하는 대상을 인지하거나 습득하는 데 영향을 미치는 선형성에 따라 수용 시간은 다르게 나타나기도 한다. 텍스트는 세부로부터 전체로, 이미지는 전체에서 세부로 이동하며, 대부분의 경우 텍스트보다 이미지를 파악할 때 더 짧은 시간이 소요된다. 또한, 그들은 표상하는 대상의 층위가 다르게 적용되기도 하는데, “시(Poesie)는 표명된 소리를 통해 시간 속에 있는 행위(Handlungen)”를 모방하는 예술이며, “회화(Malerei)는 형상과 색채를 통해 공간 속에 있는 물체(Körper)”를 표현하는 예술이다.32) 맥락에 맞게 해석하자면, 텍스트(문학)는 시간 안의 행위를 서술하고, 이미지(미술)는 공간 속의 대상들을 서술하는 데 적합하다. 시는 시간, 움직임의 예술로 비가시적 영역과 관계 맺고 회화는 공간, 정지의 예술로 자신을 가시적 세계에 적합한 것으로 여긴다.33)

31) 전가경, 앞의 논문, p. 112에서 Roland Barthes, ed. by Stephen Heath, Image Music Text, (New York: Hill&Wang, 1977), p. 15 재인용 32) 김남시, 「시각 이미지에는 있으나 언어에는 없는 것」, 『한국시학연구』, 한국시학회, No. 48, 2016, p. 17 33) W.J.T. 미첼, 앞의 책, p. 72-73

회화

시

공간

시간

자연적 기호

자의적(인공적) 기호

협소한 영역

무한히 넓은 범위

모방

재현

육체

정신

외면적

내면적

침묵

웅변

미

숭고

눈

귀

여성적

남성적34)

텍스트의 선형성, 다르게 말하자면 어느 한쪽에서 시작해 다른 한쪽으로 이동해가며 읽어야 하는 구조는 불변하는 시간의 방향, 과거에서 현재, 그리고 미래로 흐르는 것과 같다. 텍스트는 이미지가 표현하는 장면(공간)을 단어의 나열로 묘사하는 반면, 이미지는 텍스트가 나타내는 시간의 흐름을 압축하거나 포착하여 동시적으로 표현한다. 만약 언어적인 것(텍스트)과 시각적인 것(이미지)을 혼합한다면 시공간적 혹은 공감각적 서술이 가능할지도 모른다. 개별적인 매체가 하지 못했던 현상적 표현을 텍스트와 이미지의 혼합을 통해 가능하게 하고 각각의 영역을 공유하고 확장해 다른 차원의 매체를 생산하는 것이다. 이에 대해 텍스트와 이미지의 상호 매체성과 재매개를 적용한 예시를 통해 자세히 살펴보겠다.

34) W.J.T. 미첼, 앞의 책, p. 152-153

2.2.2. 텍스트와 이미지의 교집합

텍스트와 이미지가 충분히 매체성을 가지고 있음에도 불구하고, 매클루언은 기술적인 매체가 감각의 확장을 낳지만 동시에 ‘폐쇄적’이라고 지적한다. 과거에서부터 현재까지 이를 극복하기 위한 작가, 화가, 비평가의 다양한 시도를 목격할 수 있는데, 지모니데스의 ‘회화는 말 없는 시, 시는 말하는 회화’와 호라티우스의 ‘시도 그림처럼’라는 구절같이 시와 회화, 문학과 그림, 텍스트와 이미지의 상호 매체성을 포착할 수 있다. 텍스트는 이전부터 이미지의 속성을 가지며 주로 시에서 부각되는 ‘심상’을 나타내는데, 바르바라 지히터만(Barbara Sichtermann)은 우리가 텍스트를 읽으면서 내용을 내면화하고, 이것이 하나의 내적인 그림 그리기의 바탕이 된다고 말한다. 또 전통적인 형상이나 문법적인 형식에서 벗어난 것을 텍스트로 취급하거나 모호하고 다의적인 이미지를 해석하려고 할 때 관련 커뮤니케이션 상황을 끌어들이곤 한다. 이때 상황을 파악하는 수용자가 주관적이기 때문에 이들이 처한 상황이나 환경은 언제든 바뀔 수 있고 매체 형식은 이를 따르며, 넬슨 굿맨(Nelson Goodman)은 “한 세계 안에서의 그림은 다른 체계에서는 서술이 될 수 있다”라고 말한다.35) 텍스트나 이미지로 정의되었던 것들은 환경의 변화에 따라 재정의될 수 있는데, 이러한 기존 체계에서 벗어나는 현상은 제3의 매체, 의미를 만들어내곤 한다.

텍스트와 이미지가 상호교환·번역·혼용되는 방법은 여러 가지인데, 크게 자연적 혹은 인위적인 방법으로 나뉜다. 먼저 자연적인 교환 방식은 표현하는 대상과 유사한 형태로 나타나며, 상형문자의 원리와 이미지의 도상성 또한 비슷한 과정을 거쳐 탄생했다. 중세 채식 문자는 문자와 시각 세계 사이의 변증법을

35) 넬슨 굿맨, 『예술의 언어들』, 김혜숙 옮김, 이화여자대학교출판부, 2002, p. 226

형상화했고 당시 글쓰기는 세계를 묘사하거나 규정하는 수단이었으며, 언어를 통해 상징적으로 묘사하는 것이 아니라 글자의 형상 자체를 통해 시각적으로 보여준다.36) 또한 이런 자연적 교환 방식에 있어 수용자가 대상 간의 유사성을 발견할 때 스키마(schema)가 일부 작용한다고 볼 수 있는데, 스키마는 수용자가 새로운 정보를 접할 때, 기존의 정보와 비슷한지 비교하고 적용해 새로운 정보 흡수를 돕는다. 기존의 구조와 연결하고, 새로운 구조를 파악하고, 통합하고, 흡수하고, 나아가 또 다른 구조를 예측한다. 스키마를 통한 텍스트와 이미지의 혼합은 기욤 아폴리네르(Guilaume Apollinaire)의 칼리그램에서 찾아볼 수 있는데, 텍스트의 배치는 이미지의 형상을 연상시키고, 연상된 이미지는 텍스트의 내용을 예측하게 도와준다. 근본적으로 텍스트와 이미지는 다른 형태를 가지고 있지만, 전체적인 형상의 구조를 인식하고 유사성을 발견해 의미를 찾아낸다. 반대로 인위적, 관습적으로 상호 매체성을 이루는 방식에는 에크프라시스(Ekphrasis)와 이코노텍스트(Iconotext) 등이 있으며 수사학으로부터 출발한 에크프라시스는 시각적 표현을 문자로 풀어내는 것으로, 텍스트와 이미지의 양식 전환이다. 대표적인 예로 호메로스(Homeros)는 『일리아드(Ilias)』에서 아킬레스의 방패를 직접 눈으로 보는 것처럼 아주 상세하게 묘사하여 텍스트만으로 방패의 이미지를 그려낼 수 있을 정도였다.

36) 제이 데이비드 볼터, 『글쓰기의 공간』, 김익현 옮김, 커뮤니케이션북스, 2010, p. 100

그림 2. <The Shield of Achilles> 텍스트를 바탕으로 재현된 방패의 이미지

또한 텍스트와 이미지는 각각 시간과 공간의 서술에 적합한 매체인데, 이들의 혼합은 시공간 영역의 침범과 확장을 일으킨다. 카메라는 대상의 ‘순간적인’ 모습을 분리해 이미지로부터 텍스트가 점유한 시간의 관념을 깨고, 시간의 흐름은 시각적 체험으로부터 떼어낼 수 없다는 사실을 드러낸다.37) 텍스트의 공간화와 이미지의 시간화는 서로 영역을 침범하여 제3의 매체를 만들어내고 표면적, 형식적 수사를 무력하게 만든다. 예로 러시아 구성주의에서 전통적인 형식에서 벗어난 텍스트의 배열을 통해 읽는 텍스트에서 공간화된 텍스트를 목격할 수 있다. 한 카프카 전집의 표지에서도 시공간에 대한 텍스트와 이미지의 역설을 찾을 수 있는데, 권마다 흰 바탕에 배치된 검은 선들은 표면 위에서 부유하고 있다. 한 권의 책에서는 이미지가, 열두 권을 합쳐 나열하면 텍스트가 되는 이 현상은 앞서 언급한 카메라와 유사한 특성을 가진다. 본래 텍스트의 모습을 하고 있던 대상이 표면의 경계가 나눠짐으로 인해, 즉 텍스트가 차지하고 있던 공간의 해체로 인해 시간의 지위를 잃고 이미지로 취급된다. 게다가, 선들로 취급받는 텍스트의 공간 차지는 표지의 규칙성을 방해하고 권마다 다르게 배치된다. 이러한 탈영역화는 정적인 매체에 리듬감을 부여한다.

37) 존 버거, 앞의 책, p. 23

그림 3. Vladimir Kazakov, <Lovely Crossed-Out Quatrain>

그림 4. 프란츠 카프카 12권 전집

슈클로프스키(Viktor Shklovsky)는 “시적 언어란 난해하고, 모호하며, 장애물로 가득 찬 언어이다.”라고 하며 시적 언어가 낯선 언어임을 지적하는데,38) 레싱은 “시가 말을 더듬고, 웅변이 침묵하는” 특정한 상황에서 회화는 “통역사 역할”을 할 수 있다고 말한다.39) 텍스트의 모호성을 이미지가 보완할 수도, 이미지의 추상성을 텍스트가 보완할 수도 있으며 텍스트와 이미지는 서로 엮고 엮이는 관계다. 텍스트와 이미지 사이의 상호 매체성은 소설과 영화에서도 찾아볼 수 있는데, 소설의 텍스트는 영화 속에서 인물들의 대화, 화자의 주석, 자막 이 세 가지 인용 매개체로 치환된다.40) 영화 속의 대화, 주석, 자막은 이미지를 대변하거나 보완하며 수용자의 이해를 돕는 역할을 한다.

38) 대니얼 챈들러, 『미디어 기호학』, 강인규 옮김, 소명출판, 2006, p. 101 39) W.J.T. 미첼, 앞의 책, p. 149 40) 랄프 슈넬, 앞의 책, p. 247

텍스트와 이미지는 기존에 점유했던 영역을 나눠 가짐으로써 고정된 서술 방식, 구조를 탈피하고 또 다른 매체와 의미 생산을 가능하게 했다. 텍스트에서 이미지로, 이미지에서 텍스트로 확장하는 시간과 공간의 교차적 서술 시도는 하나의 문화가 되기도 했다. 텍스트와 이미지의 공통점은 실재에 대해 ‘시각적으로 중개된 것’으로, 매개체로서 텍스트와 이미지에 대해 각각의 조건, 형식을 따지기보다 앞으로 이를 어떻게 전개하고 혼용할지 고민해야 한다. 『미디어 미학』에서 랄프 슈넬(Ralf Schnell)은 ‘지각된 것이 무엇인가’ 대신 ‘어떻게 지각되는가’라는 점이 텍스트를 결정하며, 지각의 형식이 곧 텍스트의 내용이 된다고 한다.41) 수용자가 어떻게 지각하느냐에 따라 대상은 다르게 해석될 수 있으며 텍스트, 이미지의 교환을 통해 코드의 맥락, 환경이 작용, 바뀜으로써 수용자의 지각 방식은 달라질 수 있다. 따라서 각각의 매체성을 상실하지 않으면서도 서로 보완, 융합하여 그들의 긴장과 충돌 사이에서 새로운 맥락의 매체를 고안하는 것이 중요하다. 그래서 이에 바탕이 되는 재매개에 대해 알아보며 텍스트와 이미지를 융합할 다른 방법을 모색해보고자 한다.

41) 랄프 슈넬, 앞의 책, p. 240

3. 매체를 넘어선 매체

3.1. 매체의 재구성 3.1.1. 재매개

3.1.2. 탈맥락화 — 코드의 이탈

3.1.3. 하이퍼미디어 — 다중적 레이어

3.2. 매체의 차용, 개조, 확장

3.2.1. 매체의 해체와 구축

3.2.2. 마르셀 브로타스의 라벨

3.1. 매체의 재구성

모더니즘 시대의 매체는 클레멘트 그린버그(Clement Greenberg)가 말했듯이 각 매체는 자신의 매체에 의해 고유해지고, 다른 매체에서 빌려온 효과들을 제거함으로써 매체의 순수성과 독립성을 찾게 된다. 하지만 디지털 시대로 이동함에 따라 이러한 주장은 힘을 잃고 있으며, 디지털 시대의 이미지 순환과 변화는 기술적 매체에 의해 가속화되고 있다. 디지털 매체의 등장으로 매체를 다루는 새로운 방법이 나타나고 있는데, 사실 그 이전부터 기존 매체에 대한 접근 방식이나 사용, 그리고 해석에 대한 논쟁은 끊임없이 진행되고 있었다. 볼츠는 커뮤니케이션 대상에 매체가 관여하면서 이전의 ‘합리적 커뮤니케이션’은 ‘미학적 커뮤니케이션’으로 바뀌어야 한다고 주장한다.42) 합리적 커뮤니케이션에 반해 미학적 커뮤니케이션은 다양한 매체를 통한 표현 확장과 의미 발견이 가능하다. 미학적 커뮤니케이션의 한 방법으로써 재매개는 매체의 성격을 서로 차용, 흡수, 확장, 개조하여 합리적인 의사소통보다 다의적이고 풍부한 가능성을 가진 이미지 생산이 가능하다. 매클루언은 낡은 매체가 새로운 매체의 내용이 되기도 하고, 낡은 매체 형식이 새로운 매체 형식으로 전환되어 나타나기도 한다고 말한다.43) 이에 따라 재매개를 이용하여 전통적이고 관습적인 매체를 다시 살펴봄으로써 새로운 매체의 가능성을 발굴하고자 한다. 크라우스가 말한 ‘매체를 넘어선 매체’ — 매체 특정성의 범주를 인정하면서도 모더니즘 시대에 규정된 매체를 넘어서는 — 를 인용하며 재매개의 여러 방식과 매체를 기존과 다른 방식으로 차용, 확장한 사례들을 살펴보려 한다.

42) 이병주, 앞의 논문, p. 52 43) 마셜 매클루언, 『미디어의 이해』, 김상호 옮김, 커뮤니케이션북스, 2011, p. 26-27

3.1.1. 재매개

매체는 서로를 흡수하고, 교차하고, 개조함으로써 새로운 매체를 만들어낸다. 재매개(Remediation)는 하나의 매체를 다른 매체에서 표상하는 것으로,44) 재매개의 유형은 다른 성격의 매체로 새로운 공간을 창조하거나 같은 매체 내에서 개조가 일어나는 것으로 나뉜다. 소설 작품이 영화로 만들어지는 것이 전자에 해당하고 어떤 회화에서 나타난 기법이나 특징을 다른 회화 작품에 차용하는 것이 후자에 해당한다고 볼 수 있다. 여기서 짚고 넘어가야 할 점은 기존의 매체에 의존하거나 일부의 성격을 빌려오기는 하지만, 그것을 완전히 복제하는 것은 아니라는 것이다. 기존 매체를 재현하기보다 그것의 특성을 빌려오되 자신의 목적이나 환경, 맥락에 맞게 조정, 적용하는 차용에 가깝다고 볼 수 있다. 기계적인 복제로서 재현은 재매개로서 충분한 역할을 하지 못하고 오히려 한계를 가진다. 카메라가 존재하기 이전에 이미지를 평가하는 척도는 재현의 정확도였으며, 재현에는 창조적인 것이 필요하지 않다고 보았다.45) 하지만 그 이후에는 작가의 시선으로 표현하거나 현상을 새롭게 바라보는 인상파와 같이 더는 재현에 얽매이지 않고 세상을 다양한 관점으로 바라보게 되었다. 한편, 같은 매체 내의 개조는 비평을 부르기도 하지만, 그것이 기존의 매체를 이해하는 열쇠가 될 수도 있다는46) 점에서 의의가 있다. 낡은 매체는 더 이상 낡은 매체에 머무르지 않고 재매개를 통해 그것의 성격, 형식을 재조명, 재사용하여 새로운 매체로 재탄생한다. 이로 재매개는 차용, 개조, 확장하는 과정을 통해 기존 매체에 대한 해석 수단을 제공하고 계속해서 또 다른 매체를 생산해나간다.

44) 제이 데이비드 볼터, 리처드 그루신, 『재매개』, 이재현 옮김, 커뮤니케이션북스, 2006, p. 53 45) 심혜련, 「이미지 수용의 변화」, 『범한철학』, 범한철학, 제70집, 2013, p. 494 46) 제이 데이비드 볼터, 리처드 그루신, 위의 책, p. 59

3.1.2. 탈맥락화 — 코드의 이탈

2장에서 매체는 대상이 처한 상황, 맥락에 따라 그것의 역할이나 수용자의 감각이 달라질 수 있다고 말한 바 있는데, 탈맥락화(decontextualization)는 어떠한 사물이 원래의 자리로부터 이탈하여 전혀 다른 의미를 얻게 되는 것을 뜻한다.47) 대표적인 예로 뒤샹의 <샘(Fountain)>은 대상이 원래 있던 자리와 목적으로부터 이탈해 새로운 환경, 가치, 의미를 얻었고 이후 하나의 장르를 개척하면서 그의 가치를 인정받았다. 원래의 목적에 부합하거나 의사소통을 가능하게 하는 체계인 ‘코드’의 이탈은 매체가 더는 소통할 수 없는 상태가 되는 것이 아니라, 오히려 새로운 매체로 거듭나게 하며 기존의 코드를 벗어나는 탈맥락화의 부분은 수용자의 사유 영역이 된다. 르네 마그리트(René Magritte)의 작품들은 코드의 이탈을 직접적으로 드러내며 의미를 만들어낸다. 그의 작품 <La Trahison des images>는 모순되는 텍스트와 이미지를 병치하는데, 이로 인해 수용자는 코드에 대한 여러 해석을 낳게 된다.

코드 혹은 코드의 이탈은 여러 시각예술 분야에서 발견할 수 있는데, 영화에서 전형적이고 진부한 표현이나 진행을 뜻하는 클리셰(cliché)는 사회적 통념으로 작용하고 우리에게 익숙하므로 하나의 코드로서 원활한 의사전달에 도움이 된다. 하지만 클리셰의 무분별한 사용은 긴장감과 대상의 가치를 떨어트린다. 그래서 감독은 색다른 전개 방법, 이질적인 요소의 배치 등을 통해 코드(클리셰)에서 벗어나려고 노력한다. 익숙한 대상으로부터 낯설고 두려운 감정을 느끼는 언캐니(uncanny)와 일상적인 질서에서 떼어내어 낯선 장소에 두는 데페이즈망(dépaysement) 또한 탈맥락화의 한 예라고 볼 수 있는데, 조르조 데

47) 김수은, 「영상설치미술의 재매개성과 미학적 효과」, 박사학위, 부산대학교 대학원, 2018, p. 16

키리코(Giorgio de Chirico)나 알프레드 히치콕(Alfred Hitchcock)의 기이한 표현에서 언캐니를 뚜렷하게 느낄 수 있다. 언캐니의 특징은 ‘익숙함으로부터 오는 낯섦’인데, 이는 다의성을 내포하며 하나의 매체를 통해 다중감각을 자극한다. ‘익숙함’과 ‘낯섦’, ‘두려움’ 등의 대비되는 감정이 동시다발적으로 발생함으로써 수용자는 색다른 경험을 얻고 익숙한 것들은 새로운 매체로 거듭나게 된다. 이런 ‘낯설게 하기’는 20세기 초 러시아 아방가르드에서 주요한 전략으로 나타나기도 했다. 데페이즈망은 초현실주의에서 쓰이는 말로, 살바도르 달리(Salvador Dali)나 르네 마그리트의 작품에서 두각을 나타낸다. 언캐니와 마찬가지로, 일상적인 곳(코드)에서 벗어나 비일상적 장소에 배치된 대상을 목격하는 과정에서 모순된 상황으로부터 오는 충격과 낯선 경험을 하게 된다. 이러한 일상적, 습관적 코드에서 벗어난 시각적 충돌, 충격은 수용자로 하여금 대상에 대한 새로운 인상, 지각 방식을 얻게 하며 나아가 매체에 대한 새로운 사유를 가능하게 한다.

그림 5. 르네 마그리트, <La Trahison des images>

3.1.3. 하이퍼미디어 — 다중적 레이어

기존 매개 방식을 초월하는 하이퍼 매개는 수용자가 대상에 대해 다중적 접근을 가능하게 한다. 하이퍼미디어의 “윈도 양식”에서 새로운 페이지는 이전 페이지의 지움, 상호 침투, 겹침, 병치, 중첩, 다중화를 통해 우리의 주의를 끈다.48) 여기서 기존 매체와 다른 하이퍼미디어의 이점이 드러나는데, 각각의 이질적인 윈도, 레이어는 중첩될 뿐 서로 간섭받지 않는다. 그들은 각각의 레이어 공간 안에서 표상을 드러내고, 의도적으로 결합하지 않는 한 내용이 소멸하거나 변하지 않는다. 각각의 레이어가 존재함으로 인해 우리는 하이퍼텍스트를 공간적으로 인식하는 경향이 있다.49) 하이퍼텍스트를 통한 공간의 확장은 전통적인 텍스트와 달리 수용자가 선택한 경로에 따라 이루어지며, 이러한 구조는 리좀(rhizome)과 닮았다. 수목형 구조와 달리 리좀은 위계 없이 유기적으로 공존하는 구조이며 새로운 접속, 창조의 끝없는 가능성을 보여준다. 리좀은 처음과 끝이 정해져 있거나 이분법적으로 나뉘어 있지 않고 모두 연결되어 있으며 어느 지점에서나 출발할 수 있고 각 요소를 넘나들 수도 있다. 가타리(Guattari)와 들뢰즈(Deleuze)는 리좀의 여섯 가지 성질을 제시했는데, 접속(connection), 다양성(multiplicity), 이질성(heterogeneity), 비의미적 단절(asignifying rupture or aparallel evolution), 데칼코마니(decalcomania), 지도 그리기(cartography)가 이에 해당하며,50) 하이퍼미디어의 성격과 상당히 일치한다.

48) 제이 데이비드 볼터, 리처드 그루신, 앞의 책, p. 51 49) 제이 데이비드 볼터, 앞의 책, p. 43 50) 네이버 지식백과, https://terms.naver.com/entry.nhn?docId=1529890&cid=60657&categor yId=60657

그림 6. 중앙 집중식 구조, 분권화된 구조, 분산된 구조

이러한 과정에서 또 발견할 수 있는 점은 하이퍼 매개가 미디어 자체를 드러내고 부각하며 이질감을 경험하게 한다는 것이다.51) 투명성의 비매개를 추구하는 다른 매체들과 달리, 하이퍼미디어는 과정이나 자취를 드러낸다. 또한, 하나의 매체에서 이질적인 것들이 공존하는 리좀의 구조로 인해 수용자는 ‘낯선 상황’, 앞서 언급한 탈맥락화와 비슷한 상황을 마주하게 된다. 탈맥락화에서는 각 매체에 해당하는 일상적 코드의 이탈을 경험하는 한편, 하이퍼 매개에서는 다른 공간으로 이동함으로써 상호 참조 혹은 이질성을 경험하게 된다. 이러한 하이퍼미디어의 이질성은 공간의 경계에서뿐만 아니라 표상 형식에서도 느낄 수 있는데, 텍스트 공간에 이미지의 개입을 허용하는 식으로 통일된 형식에 얽매이지 않고 한 공간 안에 다중 형식을 수용하기도 한다.

51) 김은영, 「현실과 환상을 가로지르는 콘텐츠의 재매개화」, 『한국언론학보』, 한국언론학회, Vol.61 No.1, 2017, p. 152

하이퍼 매개는 끊임없이 연결되는 공간을 생성하거나 수용자의 지각 방식을 바꿀 수 있는데, 미장아빔(mise en abyme)은 ‘이야기 속의 이야기’, ‘그림 속의 그림’과 같이 하나의 대상 속에 또 다른 대상을 넣는 것으로, 문학이나 예술 분야에서 하나의 기법으로 쓰이기도 한다. <아르놀피니 부부의 초상>, <시녀들>에서 작가의 모습을 작품에 넣는 이미지 속의 이미지를 목격할 수 있으며, 콜라주(collage)와 포토몽타주(photomontage)에서도 하이퍼 매개를 경험할 수 있다. 하이퍼미디어는 대상을 맥락에서 분리하여 기존의 형식들을 재배열하고,52) 연결하고 매개 과정을 드러냄으로써 수용자는 매체를 의식하고 끊임없는 탐색으로 활동 영역을 넓혀 나간다. 궁극적으로 하이퍼미디어는 공간의 병치, 중첩, 침투, 흡수를 통해 기존 체계에 도전하고 수용자를 움직이게 하는 데 의미가 있다.

그림 7. 얀 반 에이크, <아르놀피니 부부의 초상>

52) 제이 데이비드 볼터, 리처드 그루신, 앞의 책, p. 45

3.2. 매체의 차용, 개조, 확장

커뮤니케이션에서 매체가 차지하는 영역이 넓어짐에 따라 매체에 대한 지각 방식이나 사유 또한 확장되었다. 색다른 커뮤니케이션 형식으로써 재매개라는 방식이 나타났고 탈맥락화, 하이퍼 매개 등 이를 적용하는 여러 방식 또한 고안되었다. 이로 인해, 기존 체계에 익숙했던 사람들은 새로운 각도의 시선을 획득하게 되었고, 특히 예술에 있어서 이는 큰 전환점이 되어 단순 묘사에서 벗어나 매체 간 조합, 변형하는 작품이 등장하기 시작했다. 이러한 단순한 재현을 넘어서는 시도는 재현적 사유 방식에 대한 반성적, 부정적 시선과 같이한다. 디터 메르쉬(Dieter Mersch)는 ‘예술로서의 매체’를 모색하는데, ‘매체의 예술적 실천’은 매체의 본 목적과 다르게 사용할 때 가능하며, 예술이야말로 매체가 스스로 매체에 대항하게 만든다고 말한다.53) 기존 매체를 뛰어넘기 위해 우리가 할 일은 매체를 차용, 개조, 확장하여 다른 맥락으로 전환하는 것이다. 또한 새로운 매체는 수용하는 자세를 새롭게 만든다. 처음 뒤샹의 <샘>을 접했을 때 수용자의 태도는 대부분 부정적이었다. 하지만 시간이 흐른 뒤, 당시 낯선 매체였던 <샘>은 사고의 전환을 일으키게 된 지점이 되었고 새로운 예술 체계로 자리 잡았다. 관습적인 것에 안주하지 않고 기존 체계를 뒤집어 매체의 새로운 전개 방식과 독창성을 획득하고 이는 새로운 ‘주의(-ism)’가 되어 미래의 미술을 주도했다. 또, 몽타주, 콜라주와 같은 파격적인 실험은 회화와 조각의 긴장 사이에서 전통적인 매체를 흡수, 해체, 활용하여 새로운 매체를 만든다. 이를 바탕으로 각각 매체를 어떻게 다루는지, 탈맥락화, 하이퍼 매개를 어떤 방식으로 경험할 수 있는지 살펴볼 것이다.

53) 심혜련, 앞의 글, p. 148에서 디터 메르쉬, 『매체이론』, 문화학연구회 옮김, 연세대학교출판부, 2009, p. 248 재인용

3.2.1. 매체의 해체와 구축

과거의 매체에 주어졌던 특정성과 한계에 도전하며 재현에 근거를 둔 원근법을 포기하고 새로운 예술의 조건을 내밀었던 자들은 실험적인 운동을 전개했다. 그중에서도 특히 매체(재료)를 다른 방식으로 보고 다뤘던 큐비즘, 다다, 아방가르드에 주목하고자 한다. 피카소(Pablo Ruiz Picasso)와 브라크(Georges Braque)를 대표로 큐비즘은 기존의 원근 법칙, 사실주의를 포기하고 3차원의 세계를 2차원에 담으려고 했다. 과거 유클리드적 원근법은 ‘보기의 객관화’임과 동시에 지각에 대한 주관적 통제 도구이기도 했다.54) 원근법의 관습에는 시각적 상호작용이란 존재하지 않으며55) 하나의 관찰자, 하나의 시선으로만 대상이 제시된다. 이에 피카소는 관습적인 원근법을 무시하고 현실의 3차원 공간을 해체, 재구성하여 평면에 나타내는데, 다른 공간으로 번역하는 과정에서 통일된 시점이 아닌 여러 각도로 조합된 형상이 도출된다.

“오래전부터 우리는 사물을 눈에 보이는 그대로 재현하기를 포기했다. … 가령 우리가 어떤 물건, 예를 들어 바이올린을 생각할 때 신체의 눈으로 본 바이올린과 마음의 눈으로 본 바이올린은 서로 다르게 나타난다. 우리는 여러 각도에서 본 바이올린의 형태를 한순간에 생각할 수도 있고 또 사실 그렇게 한다. 그 형태들 가운데 어떤 것은 마치 손으로 만질 수 있을 것처럼 분명하게 떠오르고 어떤 것은 흐릿하다. 그러나 단 한순간의 스냅 사진이나 꼼꼼하게 묘사된 종래의 그림보다 이상스럽게 뒤죽박죽된 형상들이 ‘실재’의 바이올린을 더 잘 재현할 수 있다.”56) 54) 이병주, 앞의 논문, p. 57 55) 존 버거, 앞의 책, p. 21 56) E. H. 곰브리치, 『서양미술사』, 백승길, 이종숭 옮김, 예경, 2003, p. 573

피카소의 작품은 인체를 묘사하는 데 있어 정면과 측면을 혼용해서 나타내는 이집트 회화를 연상하게 한다. 상이한 각도를 한 공간에 표현함으로써 새로운 형상을 창출했고 수용자에게 고정된 시선을 강요하기보다 색다른 지각 방식을 끌어냈다. 게다가 재료의 사용에 있어서도 현존하는 물질을 탈물질화함으로써57) 기존의 형식들을 재배열한다. 콜라주는 기존 매체를 다루는 방식에 있어 2차원의 평면에서 이루어지는 회화에 무엇을 붙인다는 행위와 다른 성질, 맥락에서 추출한 종이나 천 같은 것들을 결합하는 점이 주목할만하다. 각각의 이질적인 재료가 다층적 구조로 불연속적이면서도 하나의 매체로 합쳐지고 기존과 다른 형태를 나타냄과 더불어 새로운 의미를 생산한다. 피카소와 브라크는 이러한 방식을 통해 흩어진 파편들을 한 공간 안에 모으고, 다른 성질의 재료들을 조합함으로써 일종의 하이퍼 매개적 경험을 창출했다고 볼 수 있다.

콜라주와 유사한 포토몽타주 또한 다른 매체의 사진들을 모아 새로운 의미를 생성하는데, 포토몽타주는 개별적인 매체(사진)의 변형보다 그것이 놓인 맥락의 변화, 배치를 통한 다른 매체와의 새로운 관계 맺음으로 의미를 생산한다. 라울 하우스만(Raoul Hausmann)의 작품에서 볼 수 있듯 포토몽타주는 때로 가독성과는 거리가 있으며 파편적이고 불연속적이다. 다른 맥락으로부터 온 이질적인 것들의 병치는 기존의 공간으로부터 분해, 해체되고 조각난 것들을 다시 구축하는 것이며 수용자에게 낯선 상황을 제공한다. 사실에 기반한 사진이라는 재료로부터 가상의 이미지를 재생산하며, 편집자에 의해 이미지의 의미가 변형되거나 더해지고 현실성, 실재성을 가진 사진은 편집자의 상상력이 개입되면서 비현실적인 영역으로 전환되기도 한다. 몽타주는 원래 영화에서 사용되는 기법으로, 에이젠슈타인(Sergei Eisenstein)은 몽타주에 대해 쇼트(shot)와 쇼트의 합은

57) 김성재, 앞의 글, p. 83

A+B=C라고 말하며, 몽타주에서 쇼트와 쇼트는 연결되는 것이 아니라 서로 충돌하는 것이라고 한다. 즉, 각각의 재료는 충돌을 통해 기존과 다른 의미나 형식을 만들어낸다. 콜라주와 몽타주 같은 기법은 물리적인 형식뿐만 아니라, 매체를 통해 정보를 전달하는 새로운 방식을 발견하고 기존의 매체를 다른 각도로 본다는 점에서 혁신적이다. 또한, 이러한 시도로부터 재매개를 목격할 수 있는 부분은 그들이 재현이라는 틀 안에 갇혀 있는 것이 아니라 어떤 방식으로든 대상을 굴절 시켜 표현한 것에 있다. 눈에 보이는 그대로, 객관적인 사실에 가깝게 전개하기보다 시간을 공간화하거나 매체를 기존 맥락에서 떼어내 재조합하여 편집하는 과정에서 다른 서사성을 만들어 낸다. 재현에 근거를 둔 원근법의 사용이나 기존에 세워져 있던 양식들을 거부하고 새로운 예술의 조건을 제시했다는 점에서 의미가 있는데, 파울 클레(Paul Klee)는 “미술은 눈에 보이는 것을 재현하는 것이 아니라 오히려 눈에 보이게 만드는 것이다.”라고 하며 회화의 사실주의적 재현을 지양했다.58) 궁극적으로 큐비즘, 다다, 아방가르드 이 모든 운동으로부터 그들이 하고자 했던 것은 물질성, 형식의 변화뿐만 아니라 그것에 대한 인식 변화를 일으키는 것이다.

58) 존 워커, 사라 채플린, 『비주얼 컬처』, 임산 옮김, 루비박스, 2010, p. 53

그림 8. 파블로 피카소, <Violin and Grapes>

그림 9. 라울 하우스만, <The Art Critic>

3.2.2. 마르셀 브로타스의 라벨

마르셀 브로타스(Marcel Broodthaers)는 <현대미술관 독수리부(Museum of Modern Art, Eagles Department)>라는 픽션 미술관을 기획하여 예술 작품부터 일상의 물건들까지 모두 포함하여 자신의 컬렉션을 전시한다. 그는 예술 제도, 기관에 대한 문제 제기로써 미술관을 기획했는데, 연구자는 예술 제도, 기관에 대한 비판보다는 그가 붙인 라벨(label)에 주목하고자 한다. 브로타스는 일상적인 사물들뿐만 아니라 스크린 위에도 ‘그림(figure)’ 라벨을 부여하는데, 사물부터 스크린에 영사되는 모든 대상은 ‘그림’의 개요 속으로 들어가게 된다.59) 보통 ‘figure’라는 표시는 종이 위의 그림에 부여되는 것으로, 실제 사물이나 스크린에 부여되는 경우는 드물다. 하지만 그는 물체에 라벨을 표시하고 그 라벨은 개요 속으로 들어가게 하는 지점, 코드가 되며 그것이 실제 그림이든, 사물이든, 영상이든 형식에 상관없이 ‘그림’으로 취급받게 한다. ‘그림(figure)’이라는 라벨은 마치 하이퍼링크처럼 어떠한 다른 맥락으로 들어갈 수 있게 하는 통로라고 할 수 있다. 이와 비슷한 맥락으로 밀로라드 파비치(Milorad Pavić)는 『하자르 사전(Dictionary of the Khazars)』에서 십자가, 그믐달, 별 모양의 부호를 코드로 제시해 수용자를 이동하게 하고 세 파트로 나뉜 사전을 하나의 맥락으로 묶는다.

59) 로절린드 크라우스, 앞의 책, p. 21

(위) 그림 10. 마르셀 브로타스, <Un Voyage à Waterloo>, 필름 프레임 (아래) 그림 11. 마르셀 브로타스, 현대미술관 독수리부 영화 섹션

또한, 브로타스는 <Pense-Bête>라는 작품에서 시집을 모아 조각으로 변형 시켜 코드의 이탈을 시행한다. 책은 원래 읽는 매체인데 그는 그것을 석고로 고정해 관람객이 읽지 못하게 하고 관조, 보는 대상으로 바꾸어 매체의 기능, 지각 방식을 변형한다. 책의 내용이나 형식은 그대로지만 그가 배치한 상황, 환경에 의해 수용자는 책의 내용보다 외적 형상에 집중하게 되고 대상은 읽는 매체에서 보는 매체로 변하게 된다.

그림 12. 마르셀 브로타스, <Pense-Bête>

4. 시각 매체의 재매개와 감각

4.1. 텍스트 보기

4.1.1. 아폴리네르의 공간적 텍스트 4.1.2. 브로타스의 개조된 텍스트

4.2. 이미지 읽기

4.2.1. 폴 랜드의 은유적 이미지

4.2.2. 리처드 해밀턴의 재구성된 이미지

4.3. 납작한 텍스트와 이미지에서 벗어나기

4.3.1. 제프리 쇼의 도시 공간으로 확장된 텍스트 4.3.2. 라파엘 로자노헤머의 상호적 이미지

4.1. 텍스트 보기

텍스트와 이미지는 모두 시각을 통해 감각되지만 주로 텍스트와 읽기, 이미지와 보기 같은 식으로 짝을 묶고 규정하곤 한다. 이에 대항하여 텍스트와 이미지의 성격을 재매개를 통해 서로 교환, 차용, 변형하는 방법과 형식적 특정성에서 벗어나 수용자의 감각을 확장한 여러 실험에 대해 알아보고자 한다.

텍스트는 일련의 규칙과 배열 순서를 가진 코드를 통해 매체로서 작동하지만, 이러한 시간적 서술, 선형성은 텍스트의 폐쇄성을 야기한다. 특히, 인쇄된 텍스트의 시대가 가져온 침묵의 쓰기와 읽기 행위는 구술성을 사라지게 하여60) 말의 성질, 즉 청각이라는 감각을 상실하게 한다. 기존의 텍스트는 시적 텍스트와 같이 서술적인 특성에서 벗어날 필요가 있으며, 이미지를 재매개한 텍스트는 감각을 증폭시킬 뿐만 아니라 잃어버렸던 감각을 회복하거나 다른 감각을 불러올 수도 있다. 이번 장에서 주요하게 다루는 아폴리네르(Guillaume Apollinaire)와 브로타스(Marcel Broodthaers)의 작품은 텍스트를 다루는 결은 다르지만, 텍스트와 이미지의 성격을 교환하는 점과 폐쇄적인 기존 구조를 탈피한다는 점에서 공통된다.

4.1.1. 아폴리네르의 공간적 텍스트

텍스트와 이미지의 영역을 넘나들어 현대 시의 새로운 영역을 개척한 아폴리네르는 기존의 정형화된 시에서 벗어나 새로운 접근 방식을 모색하고 제시한다. 칼리그램(Calligram)은 텍스트의 이미지화를 시도한 입체시로, 텍스트와

60) 조윤경, 『보는 텍스트, 읽는 이미지』, 그린비, 2012, p. 121

조형성을 결합한 것이다. 아폴리네르는 왼쪽에서 오른쪽으로, 위에서 아래로 읽는 일정한 방향성과 순차성을 띠는 텍스트에 큐비즘의 동시성을 도입하고자 했다.61) 피카소의 작품에서도 볼 수 있는 동시성은 시간을 공간화하는 재매개의 과정을 보여준다. 아폴리네르의 <비가 내린다(Il pleut)> 또한 시간을 공간화했는데, 이미지의 성격을 차용한 텍스트의 배치는 우리가 직접적으로 글을 해석하지 못하더라도 내용을 추측할 수 있게 도와준다. 줄글로 이루어진 전통적인 텍스트와 달리, 텍스트의 배열을 인위적으로 조정하여 비가 내리는 형상을 만들고 구두점을 생략함으로써 텍스트는 새로운 리듬감을 얻게 된다. 전통적인 텍스트, 특히 문장으로 이루어진 텍스트에는 구두점이 꼭 등장하는데, 이들은 문장과 문장 사이의 경계를 구분하는 역할을 한다. 하지만 아폴리네르의 시는 구두점의 생략으로 인해 관습적인 텍스트의 범위에서 이탈하고 새로운 호흡과 형식을 얻게 된다. 그의 또 다른 작품 <풍경(Paysage)> 또한 텍스트의 배치가 이미지 형상을 나타내고 있는데, 텍스트로 이루어진 4개의 그룹은 자유롭게 배치되어 있으며, 그들은 독립적이면서도 4개의 텍스트 그룹이 한 공간 안에 유기적으로 존재하고 이들은 하나의 풍경으로 작용한다. 칼리그램은 “언어의 의미와 시간성을 부정하지도, 그것의 물질성으로서의 공간성을 부정하지도 않는다. 오히려 그 둘의 결합을, 공존을 꾀한다.”62) 텍스트의 배치로 인해 나타난 도상성은 수용자가 텍스트를 읽지 않아도 일차적으로 주제나 소재를 파악하는 것을 돕고 텍스트를 순차적으로 읽으며 나타나는 이차적 이해를 가속화한다.

61) 조윤경, 앞의 책, p. 39 62) 이지연, 『러시아 아방가르드, 불가능을 그리다』, 한국외국어대학교출판부, 2015, p. 32

그림 13. 아폴리네르, <비가 내린다(Il pleut)>

비슷한 맥락으로 <The World Explained. A Microhistorical Encyclopedia>에 나타나는 유기적이고 미세한 세포 조직 같은 텍스트의 배치는 개념적으로 텍스트의 내용을 확장했다고 볼 수 있다.63)

그림 14. Erick Beltrán, <The World Explained. A Microhistorical Encyclopedia>

63) <The World Explained. A Microhistorical Encyclopedia>는 상파울루, 바르셀로나, 암스테르담에서 열린 세 가지 전시 프로젝트를 둘러싼 많은 인터뷰와 모든 종류에 대한 개인적인 견해를 모은 책이다. 특정 시대의 문화나 사고방식을 스케치하며 개인적인 스토리와 보기에 사소한 사건들에 초점을 맞춘 문화사의 장르인 미시사로부터 영감을 얻었다. https://www.romapublications.org/index.html

또 다른 텍스트의 공간화를 시도한 인물인 말라르메(Stéphane Mallarmé)는 상징주의 시인으로, 그의 작품 <주사위 던지기(Un Coup de Dés)>는 텍스트와 이미지를 넘나드는 실험의 발단이라고 할 수 있다. 그는 쓰기에 대해 반성, 탐색하고 그러한 과정들을 구현하면서 ‘쓰고 읽기’의 새로운 방식을 제안한다.64) 그의 작품에서는 면을 빼곡히 채우는 인습적인 텍스트 구조 대신 공간을 자유롭게 쓰는 텍스트가 등장하는데, 이는 “글쓰기의 순차적 조건에서 보기의 동시적 영역으로 변형한 것”이다.65) 그는 텍스트가 차지하는 공간을 각각의 페이지가 아닌 연결되는 두 페이지를 하나의 공간으로 활용하고 이전까지 텍스트의 영역에서 두드러지지 않았던 공간의 존재를 부각하고 활용한다. 그는 텍스트를 불규칙적으로 분산 시켜 급진적으로 공간화하고 시의 연들을 이미지와 같은 것들로 변형시킨다.66) 지면의 전통적인 프레임 안에서 일정한 그리드에 둘러싸인 텍스트에 익숙해진 우리는, 텍스트를 읽을 때 보통 글씨의 크기나 자간, 행간의 정도, 즉 그것이 자리하고 있는 공간을 주의 깊게 살펴보거나 그것에 담긴 의미를 해석하려 하지 않는다. 하지만 이미지에서는 빈 공간의 의미 작용, ‘여백의 미’를 느끼곤 하는데, 말라르메의 작품은 텍스트의 형상을 제외한 나머지 영역, 즉 이미지에서 볼 수 있는 여백을 활용했다는 점에서 이미지를 재매개한 것이다.

독자는 이와 같은 텍스트를 마주할 때 텍스트의 내용뿐만 아니라 텍스트의 위치나 간격, 크기 그리고 실제 대상과의 조형적 관계를 파악하며 읽는다. 피카소가 공간의 해체와 재구성을 이뤄냈다면, 아폴리네르는 한층 더 나아가 시간(텍스트)을 해체하고 재구성하여 공간으로 확장하는 구조의 전이를 일으켰다는 점에서 매체를 더욱 적극적으로 차용, 개조, 확장한다고 볼 수 있다. 궁극적으로 그는 이미지를 64) 조윤경, 앞의 책, p. 123-124 65) 로절린드 크라우스, 앞의 책, p. 63 66) 로절린드 크라우스, 앞의 책, p. 63

재매개한 텍스트, 즉 시간의 공간화로 그들의 경계를 흐리며 텍스트 ‘읽기’에 그치지 않고 ‘보기’로 전이 시켜 감각의 확장을 끌어냈다.

그림 15. 말라르메, <주사위 던지기(Un Coup de Dés)>

4.1.2. 브로타스의 개조된 텍스트 말라르메의 작품을 차용한 브로타스의 <한 번의 주사위 던지기는 결코 우연을 폐기하지 못하리(Un coup de dés jamais n’abolira le hasard)>는 텍스트의 형상 대신 검은색 선으로만 구성되어 있다. 말라르메의 공간화된 텍스트는 브로타스에 의해 각각 다른 굵기, 길이, 위치를 가진 선들로 뒤덮인다. 이러한 ‘지우기 행위’는 텍스트에 조형성을 부여해 기존 텍스트의 내용 대신 형상으로 운율을 나타낸다. 다른 종류의 텍스트보다 시는 운율이 중요한데, 보통 단어의 반복, 비슷한 음절의 사용, 행 갈이 등으로 리듬감을 표현한다. ‘지우기 행위’로 인해 텍스트의 뜻을 알아볼 수는 없지만, 그것이 차지하는 영역이나 띄어쓰기, 행 갈이는 더욱 강조되어 나타난다. 앞서 언급했던 <Pense-Bête>에 사용된 시집에서도 ‘지우기 행위’가 등장하는데, 작업에 나타나는 그의 ‘지우기 행위’는 텍스트에 대한 파기 행위가 아니며, 그가 사용한 방법은 “‘시각적 조형성(plasticité visuelle)’과 ‘개념적 알레고리(allégorisation conceptuelle)’ 사이의 충돌과 수용”이다.67) 또한, 그는 자신의 조형성 부여를 통해 오브제가 재해석되기를 기대했다. 이러한 ‘지우기 행위’는 블라디미르 카자코프(Vladimir Kazakov)의 <Lovely Crossed-Out Quatrain>에서도 나타나는데, 언어가 존재했다는 사실과 공간성만을 남겨둔 채 언어의 의미를 지움으로써 언어기호의 상징성을 부정한다.68)

67) 김영호, 「오브제의 기호학적 해석」, 『서양미술사학회논문집』, 서양미술사학회, Vol.14, 2000, p. 79 68) 이지연, 앞의 책, p. 31

(위) 그림 16. 브로타스, <한 번의 주사위 던지기는 결코 우연을 폐기하지 못하리> (아래) 그림 17. 브로타스의 <Pense-Bête>에 사용된 시집의 일부 페이지

말라르메가 공간성을 부여했던 텍스트는 브로타스에 의해 한 번 더 개조되는데, 텍스트가 차지하는 자리는 검은색 선에 의해 대치되고 이는 기존의 텍스트보다 더 강력하게 작용하고 흰 바탕과 대비되며 침묵을 강조하거나 호흡을 그대로 드러낸다. 또한, 중첩된 페이지들은 또 다른 공간을 만들어내며 반투명한 종이에 놓인 선들은 페이지를 넘길 때마다 재매개되고 순서에 따라 검은색 선들은 점점 희미해지거나 선명해진다. 이상의 <삼차각설계도-선에 관한 각서 1> 또한 텍스트 대신 가로, 세로 좌표에 100개의 점으로만 구성되어 있다. 이는 시인이 100개의 점이 위치한 행렬을 통해 우주의 공간을 2차원 평면에 시각적으로 드러낸 것으로, 당시 텍스트만을 이용해 메시지를 전달하는 전통적인 수사법에 만족하지 않고 점(기호)과 배경이 대립하는 공간을 통해 시의 표현 영역을 넓혔다.69)

브로타스는 텍스트를 ‘읽기’의 영역에서 ‘보기’의 영역으로 변형시켰고, 기존의 텍스트 대신 검은색 선과 같은 형상을 배치해 시간을 공간화하였다. 그의 ‘지우기 행위’는 대상을 시와 조형 작품 사이에 위치 시켜 새로운 형식의 매체를 만들었고 텍스트의 이미지성을 극대화했다. 게다가 텍스트의 감각 확장에 관해 그는 <Pense-Bête>에서 고정된 시집으로 관객이 시를 읽을 수 없게 한 대신에, 시를 낭독하는 녹음된 목소리를 들려줌으로써 시적 경험을 3차원의 공간으로 확장했다.70)

69) 강소영, 김도식, 「시각시에 표현된 비움에 관한 연구」, 『디지털디자인학연구』, 한국디지털디자인협의회, Vol.13 No.2, 2013, p. 176 70) 유혜인, 「[USA] 마르셀 브로타에스 회고전, 미술이 된 시」, 『미술세계』, 미술세계, 2016, p. 135-136

4.2. 이미지 읽기 이미지는 공간적 서술이며 하나의 현상으로도 지각될 수 있고 형상뿐만 아니라 기억, 심상, 환영과 같은 표상도 포함하기 때문에 텍스트보다 더 모호하고 넓은 범위를 가진다. 이런 모호함으로 인해 이미지의 목적을 오해하거나 의미를 오역할 여지가 있는데, 텍스트로서의 이미지는 텍스트의 시간적 서술, 일정한 체계, 맥락을 차용해 수용자에게 다양한 방식으로 의미 전달을 할 수 있다. 텍스트와 이미지 모두 기호로서 작용하지만 다른 체제를 가지고 있기 때문에 그것들의 융합은 신선한 형식과 의미를 만들며, 지각 방식을 재구성하고, ‘읽어야 하는’ 이미지를 만들어낸다. 다음에 전개되는 이미지들을 읽으면서 그들이 서술을 재편성하는 방식과 광범위한 해석에 일정한 체계를 부여하는 방식을 살펴보고자 한다.

4.2.1. 폴 랜드의 은유적 이미지

폴 랜드(Paul Rand)가 디자인한 IBM의 로고는 텍스트로 볼 수도 있고 이미지로 읽을 수도 있다. 이미지와 텍스트가 함께 배치된 이 로고는 각각 단순히 나열된 것이 아니라, 하나의 단어(이름)로 형상들이 연결되어 있다. 우리는 이미지가 주어져 있음에도 불구하고 왼쪽에서 오른쪽, 순차적 방식으로 이미지와 텍스트를 읽고 해석하게 된다. 각각의 형상은 눈(eye), 벌(bee) 그리고 M을 나타내고 있는데, 발음이 유사한 형상 — eye와 I, bee와 B — 을 이용해 유희적으로 표현하고 있으며, 이 로고는 우리가 눈으로 보면서 그것을 자연스럽게 ‘읽게 되는’ 행위로 의미가 완성된다. 그뿐만 아니라 눈(eye)은 하이 테크놀로지를, 벌(bee)은 조직적이고 계획적인 집단생활을 통해 결과를 만들어내는 벌의 긍정적인 이미지를

차용함으로써71) 또 다른 의미를 나타낸다. 텍스트로서 이미지는 시간성을 가지며 수용자는 어떠한 문법 체계 아래 이미지를 ‘읽음’과 동시에 기존 텍스트가 의미를 표현하는 것과 다른 방식으로 단어가 상징하는 의미를 파악하게 된다.

한편, 이러한 복합적 의미를 이용한 또 다른 작품, 브로타스가 고안한 『스튜디오 인터내셔널(Studio International)』의 표지는 기존의 텍스트와 함께 “FINE ARTS”에서 ‘fine’의 마지막 글자 e 대신 독수리(eagle) 그림을, ‘arts’의 첫 글자 a 대신 당나귀(ass) 그림을 넣었다. 그림이 나타내고 있는 것 — eagle, ass — 의 첫 글자는 각 위치에 있어야 할 알파벳과 일치한다. 그뿐만 아니라, 독수리는 고귀함, 높이, 고압적 상층부와 같은 것들을 상징하는 것과 표지가 나타내고 있는 ‘FINE ARTS(순수미술)’의 순수함은72) 연결된 관계에 있다. 이러한 이미지를 통한 시각적 암시는 텍스트와 또 다르게 복합적 의미를 생성하고 유희적·해학적 느낌을 주기도 한다. 이미지가 표현하는 대상 자체 이외에 그 이미지에 담긴 사회적, 관습적, 상징적 의미로 인해 수용자는 여러 방식으로 이미지를 해석할 수 있으며 텍스트와 같이 이미지가 가진 체계에 따라 내용을 읽어나가게 된다.

71) 박영원, 『디자인유머』, 안그라픽스, 2013, p. 92 72) 로절린드 크라우스, 앞의 책, p. 12

그림 18. 폴 랜드, <IBM>

그림 19. 브로타스가 고안한 『스튜디오 인터내셔널(Studio International)』의 표지

4.2.2. 리처드 해밀턴의 재구성된 이미지

리처드 해밀턴(Richard Hamilton)의 작품 <Just what was it that made yesterday’s homes so different, so appealing?>은 잡지에서 모은 조각들로 구성된 콜라주 작품이다. 가정집으로 보이는 듯한 공간 안에 TV, 신문, 청소기 등 다양한 대량생산품이 배치되어 있고 TV 속에는 전화기를 사용하는 여자의 모습이 나타나 있으며 창문 밖의 풍경에는 극장이 있다. 게다가 여자와 남자는 광고 속에 등장하는 모델처럼 자신을 드러내는 포즈를 취하고 있으며 남자는 ‘POP’이라는 단어가 적힌 커다란 막대 사탕을 들고 있다. 작가는 여러 잡지로부터 모은 요소들로 자본주의 사회의 소비문화를 상징적으로 드러내고 이미지 속 공간을 현실의 복제물로 나타낸다. 그는 각각 다른 시공간에 존재했던 요소들을 산업주의라는 공통점을 가지고 한 공간 안에 모으는 콜라주 기법을 이용해 현대사회의 단면을 표현한다. 실제로 사람과 사물을 배치하여 사진을 촬영할 수 있음에도 불구하고 여러 잡지로부터 각각의 요소들을 끌어오는데, 다른 맥락에 존재했던 이들은 각각 다른 색, 질감, 시점 등을 가지고 있으며 한 공간 안에 배치됨으로써 이질성을 띠며 천장에 있는 지구의 형상은 이러한 공간을 더더욱 비현실적으로 만든다.

또한 그가 콜라주에 사용한 잡지라는 매체에 주목할 필요가 있는데, 잡지는 인쇄술의 발달 이후 등장한, 텍스트와 이미지가 함께 존재하는 대량 생산물이고 대중을 겨냥한 매스미디어 중 하나다. 특히, 잡지는 광고 영역에서 주목받으며 상업적으로 가치를 지니며 성장했다. 이러한 잡지라는 매체는 작가가 드러내고자 한 문제의식을 재료 그 자체에 내포하고 있으며 이미지가 말하고자 하는 바에 더욱 힘을 싣고, 작가가 모은 TV, 라디오, 전화기와 같은 파편들은 모두 시대 문화의 기호로서 작동한다. 그는 이미지를 재구성하는 방식인 콜라주에 대해 “지난 세기 동안 가장 위대하거나 중요한 변화는 콜라주다. … 큰 단점은 내가 콜라주에

사용한 재료가 잡지로부터 나온 것이기 때문에 모든 것을 작은 크기로 줄인다는 점이었다. … 하지만 이제 스캔을 하고 나면 컴퓨터로 크기, 색 바꾸기, 자르기, 붙여넣기 등 모든 것을 할 수 있다.”73)라고 말했다. 이후 그는 이전 작품의 리메이크 격인 <Just what is it that makes today’s homes so different?>이라는 작품을 만들었는데, 이전 작품과 다른 시대의 풍경을 반영하고 있으며 기법 또한 시대에 적절한 방법으로 콜라주를 실행했다. 그가 콜라주로 완성한 공간은 잡지라는 매체를 해체하고 다시 조합해 만든 현실의 재생산물으로, 일정한 체계 아래 모인 기호들은 작품의 의미를 더욱 견고하게 만든다.

그림 20. 리처드 해밀턴, <Just what was it that made yesterday’s homes so different, so appealing?>

73) “Interview with Richard Hamilton: Product Displacement”, The Art Newspaper, accessed 25, 10, 2020, https://www.theartnewspaper.com/archive/product-displacement-interview-with-richard-hamilton

그림 21. 리처드 해밀턴, <Just what is it that makes today’s homes so different?>

4.3. 납작한 텍스트와 이미지에서 벗어나기

기존의 시, 회화, 사진 등 평면에 갇혀 있는 텍스트와 이미지들이 공간이나 시간을 갖게 되면서 작가들은 새로운 차원의 작업 방식을 모색하기 시작했다. ‘납작한’이라는 표현은 시각과 촉각 사이에 존재하는 감각이며, 납작함에서 벗어나는 것은 시각이나 촉각 등의 단일 감각을 넘어서는 모든 것들을 포함한다. 표면적으로 평면성을 가지고 있더라도, 다중 감각을 불러일으키거나 하나의 공간으로 느끼게 하는 것을 포괄한다. 이번 장에 나오는 작품은 대상을 감시, 포착하여 스크린을 통해 재출력하거나 텍스트를 디지털 도시 공간으로 만들어 우리에게 새로운 경험을 제공한다. 벤야민은 기술 복제 시대의 매체적 상황과 지각의 구조 변화를 연결하였고, 볼츠는 디지털 변형 시대의 매체적 상황과 지각의 구조 변화를 연결했으며 장치 지각(Apparate-Wahrnehmung)에 대해 집중적으로 다루어야 한다고 보았다.74) 납작한 평면에서 다른 차원으로 변환된 텍스트 혹은 이미지는 다양한 지각 방식을 일깨워 주고 수용자의 태도를 관조에서 참여로 바뀌게 한다. 이에 관해 뉴미디어 아트계에서는 포스트-미디어 조건으로 매체의 평등성이자 매체의 혼합을 중요시하며,75) 단일 매체의 지배보다 매체 간의 관계 생성과 혼합을 통해 새로운 장르를 개척하고 확장하는 것에 중점을 둔다. 이번 장에서는 텍스트와 이미지 간의 재매개뿐만 아니라 그들과 다른 기술 매체의 혼합 혹은 공간으로 확장된 텍스트와 이미지에 대해 다룬다. 물리적으로 2차원의 형태를 가지고 있지만, 시각 이외에 촉각, 청각 등 다중 감각을 느끼게 하는 것, 그리고 실제로 3차원의 공간으로 확장하여 감각의 증폭을 일으키게 하는 것에 대해 알아보고자 한다.

74) 심혜련, 앞의 글, p. 138 75) 정연심, 『현대공간과 설치미술』, 에이엔씨, 2014, p. 301

4.3.1. 제프리 쇼의 도시 공간으로 확장된 텍스트

물리적 공간에 위치한 관람자가 스크린 속 문자로 이루어진 도시 공간을 돌아다니는 <The Legible City>는 쌍방향 매체로서 관람자에게 독특한 경험을 제공한다. 관람자는 자전거에 앉아 직접 방향이나 속도를 조절하며 가상의 도시 공간을 돌아볼 수 있는데, 이 작품에서 주목해야 할 것은 크게 2가지다. 먼저 스크린에 펼쳐지는 도시 공간은 입체로 된 텍스트로 이루어져 있으며, 이는 마치 건물처럼 높고, 부피를 가지며, 하나의 공간을 구성한다. 텍스트는 원래 2차원의 존재이자 시간을 서술하는데, 스크린에 나타난 텍스트는 볼륨을 가지고 있으며 이미지처럼 공간을 구성하는 요소로 작용한다. 공간으로 확장된 텍스트로 인해 우리는 2차원의 성격을 가졌던 텍스트의 사이사이를 돌아다니는 독특한 경험을 하게 된다. 스크린 속에 있는 우리는 텍스트를 밟거나 통과할 수 없으며, 스크린 속 코드를 이탈한 텍스트는 이미지, 공간으로 변형되었고 이로 인해 관람자는 낯선 경험을 마주한다. 관람자는 물리적인 공간에 존재하면서도 동시에 가상적, 디지털 공간에도 존재하며, 실제로 관람자에 의해 만들어지는 노동이 디지털 차원의 공간으로 이행되는 매 순간 작품을 새롭게 만든다. 관람자는 단순히 작품을 관조하는 대상이 아니라 작품에 개입하고 변형하는 주체로, 작가와 동등한 지위를 갖게 된다. 관람자는 물리적 세계와 가상의 세계 사이에서 작품과 관람자 사이의 이분법적 경계를 허무는, 관람자가 작품 속을 유영하는 새로운 관객성을 경험한다.76)

카미유 어터백(Camille Utterback)의 <Text Rain>과 라파엘 로자노 헤머(Rafael Lozano-Hemmer)의 <Airborne Newscast> 또한 관람자와 매체가 서로 영향을 주고받는 작품인데, 관람자는 마치 스크린 속에 있는 듯 텍스트를

76) 진경아, 『매체 미학과 영상 이미지』, 커뮤니케이션북스, 2014, p. 35

만지고 관람자의 행동에 따라 스크린 속 작품은 매 순간 변형된다. <The Legible City>와 달리 두 작품에서는 스크린 속 혹은 그 위에 관람자의 형체가 드러나며 시각 형상에 따라 촉각 또한 반응하게 된다. 이 작품들은 관람객의 신체가 디지털 이미지와 결합하여 작품의 서사를 만들어내는 새로운 주체로 재매개된다는 공통점을 가진다. 관찰자의 개입을 통해 완성되는 이러한 작품은 정해진 형식이 없고 같은 장소에서 같은 사람이 행한다고 해도 완전히 똑같지는 않으며, 이러한 일회성은 매체를 변형하고 매번 새로운 형상, 의미, 감각을 생산한다.

그림 22. 제프리 쇼, <The Legible City>

(위) 그림 23. 카미유 어터백, <Text Rain> (아래) 그림 24. 라파엘 로자노헤머, <Airborne Newscast>

4.3.2. 라파엘 로자노헤머의 상호적 이미지

<Zoom Pavilion>은 대중에게 훈련된 12개의 보안 감시 시스템이 3개의 벽면에 투사되는 인터렉티브 설치 작품으로, 얼굴 인식 알고리즘을 통해 관람객들의 존재를 감지하고 전시 공간 내에 있는 그들의 공간적 관계를 기록한다.77) 벽면에 나타나는 이미지는 일종의 아카이브로, 시스템이 포착한 관람객의 얼굴과 함께 감시로 파악된 그들의 관계, 거리, 머무른 시간을 다중 매개(multimediation) 형식으로 기록한다. 감시 시스템은 끊임없이 새로운 관계를 추적하고 재매개하는데, 그들은 수많은 관람객 사이에서 얼굴을 인식, 포착, 확대하여 하나의 이미지를 나타낸다. 여기서 관람객은 카메라와 투사된 공간 사이에 위치하면서 아카이브 시스템을 통해 자신을 하나의 이미지로 경험하게 된다. 계속 변하는 이미지와 공간적 관계에서 아카이브 된, 즉 재매개 된 자신의 모습을 보는 것은 관람자가 카메라에 의해 포착되는 객체임과 동시에 그것을 관찰하는 주체로도 존재한다는 것을 의미하며, 이러한 아이러니한 상황은 낯선 감정으로 연결된다. 자신 혹은 다른 관람객들의 이동에 따라 이미지나 텍스트(거리, 시간 등)가 변하는 것 또한 자신이 매개되는 대상이기도 하지만 동시에 주체로서 힘을 가진다는 의미가 된다. 평면이 아닌 하나의 공간에서 이루어지는 이 작품은 자신이 이미지화되는 것, 고정된 이미지가 아니라 자신의 움직임에 의해 시시각각 변하는 이미지, 이미지와 자신뿐만 아니라 자신과 다른 이들의 관계, 재매개 되는 대상이자 주체의 혼돈을 경험하게 한다. 관람객은 관조에서 나아가 그들의 행위가 작품의 일부가 되고, 동시에 그러한 행위는 매체가 존재할 수 있는 이유, 바탕이 된다. 카메라와 스크린을 통해 매개된 수용자, 주체와 객체의 모호성, 그리고 벽면에 시시각각 아카이브 되는 다중적 이미지들은 납작한 매체에서는 경험할 수 없는 새로운 인상을 겪게 한다.

77) https://www.lozano-hemmer.com/zoom_pavilion.php

그림 25. 라파엘 로자노헤머, <Zoom Pavilion>

5. 시각 매체 구성하기

5.1. 매체 구조와 도시의 관계

5.2. 텍스트와 이미지의 차용, 개조, 확장 5.2.1. <Navigation Book> 5.2.2. <Image.txt> 5.2.3. <Text.jpg>

5.3. 재구성된 도시와 새로운 시선

5.1. 매체 구조와 도시의 관계

우리는 하나의 구성원으로서 도시를 조직하고, 도시에 둘러싸여 있으며, 각자 다른 방식으로 도시를 경험한다. 도시는 하이퍼미디어, 리좀과 유사한 구조를 가지고 있다. 도시 안의 요소들은 단절되어 있지 않고 연속성을 띠며, 다양하고 이질적인 것들이 한 공간 안에 모여있다. 렘 콜하스(Rem Koolhaas)의 <The City of the Captive Globe>에서 볼 수 있듯이 도시는 그리드로 인해 블록마다 다른 기능이나 정체성을 가지며, 도시마다 격자형, 방사형 등 다른 형태의 그리드가 나타난다. 이를 바탕으로 연구자는 다른 공간에서 나타나는 도시의 현상들, 도시에 존재하는 대상들을 모아 3권으로 이루어진 하나의 도시 사전을 구성한다. 기존의 딱딱한 사전 형식보다 유연한 방식으로 진행되며, 롤프 디터 브링크만(Rolf Dieter Brinkmann)이 마시모 빌라에 있는 동안 수집한 편지, 신문 기사, 그림엽서, 계산서 등 다양한 텍스트와 이미지를 콜라주한 작품 『로마, 시선(Rom, Blicke)』과 같이 다양한 매체로부터 정보를 수집하고, 분류하고, 조합하고, 변형하고, 재구성한다.

연구자는 도시 사전이라는 큰 틀 아래 도시에 관한 3가지 공간을 제시하는데, <Navigation Book>, <Image.txt>, <Text.jpg>라는 책이 그것이다. 각각 다른 성격을 가진 3권의 책에서 그래픽 조각들이 반복 재생되는 것을 볼 수 있는데, 이들은 텍스트 형상을 조각내거나 도시의 그리드에서 추출한 것이다. 시간의 텍스트를 공간으로 보고, 알파벳 형상을 해체하여 면적을 가진, 이미지로 작동할 수 있는 그래픽 조각으로 재탄생시킨다. 또, 도시의 그리드는 공간을 구분하여 나누기도 하지만 집합을 만들어내기도 하는데, 연구자는 그리드가 만든 도시의 블록을 추출해 그래픽 조각으로 활용한다. 사전이라는 매체 안에서 그래픽 조각들은 각 단어의 상징으로 작동하는 코드가 된다. 단어마다 부여된 그래픽 조각은 3권의 책에서 반복적으로 나타나고 연결되며 다양한 형식으로 활용된다.

이 책은 도시에 존재하고 있지만, 우리가 알아채지 못하거나 주의하지 않는 것들, 특히 눈에 보이지 않는 현상 같은 것을 시각 매체로 표현하는 데 의의가 있다. 정보를 많이 혹은 정의에 가깝게 전달하는 것보다 정보를 어떻게 전달하는지, 즉 커뮤니케이션의 다양성과 가능성을 목격하는 데 초점을 맞춘다. 형체가 없는 것을 텍스트와 이미지의 성격을 빌려 실체화하고 상황에 따라 연구자가 그들을 조합하고 변형한다. 비물질적인 대상에 부여된 형상은 도시를 구성하는 하나의 존재로서 연구자가 바라보고 해석한 텍스트와 이미지로 이루어져 있으며, 이들은 재매개된 매체로서 의미를 생성하고 나아가 도시를 재구성하는 요소로 확장한다.

그림 26. 텍스트의 파편화

5.2. 텍스트와 이미지의 차용, 개조, 확장

3권의 책은 도시라는 같은 주제를 담고 있지만, 각각의 책에서 형식이 다르게 나타나는데, <Navigation Book>은 내용 없이 단어들로만 이루어져 있고, <Image.txt>에서는 이미지를 재매개한 텍스트, 그리고 <Text.jpg>에서는 텍스트를 재매개한 이미지로만 구성된다. 작품에서 감각의 확장, 다른 감각으로의 전이, 감각 증폭 장치로써 매체는 분할, 파편화되거나 인위적으로 배치가 조정된 텍스트와 일정한 체계 아래 의미를 가지거나 시퀀스처럼 나뉜 이미지 등으로 나타난다. 마그리트는 『초현실주의 혁명(La Révolution surréaliste)』지에 실린 「언어와 이미지(Les mots et les images)」에서 글과 그림이 섞인 18개 항목을 통해 대상과 언어, 이미지의 관계에 대해 다음과 같이 모색하고 있다.78)

78) 조윤경, 앞의 책, p. 26-28

79)

마그리트는 그의 작품에서 잘 드러나듯이 텍스트와 이미지의 관계에 대해 매체의 평등성과 가능성, 그리고 고정된 매체는 없음을 주장한다. 연구자 또한 이와 동일한 선상에서 텍스트와 이미지를 다루고 서로 교환, 확장하여 도시에 대한 기존의 텍스트와 이미지를 다른 시선으로 살펴보고 재구성하고자 한다.

79) 조윤경, 앞의 책, p. 27-28

5.2.1. <Navigation Book>

단어와 그래픽 조각으로만 구성된 <Navigation Book>은 도시에서 일어나는 현상, 도시에 자리 잡고 있는 건축물, 도시에 대한 문학작품, 그리고 도시를 구성하는 우리의 감정과 사건 등을 다룬다. 이 책에서 연구자는 내용에 대한 단서와 위치 정보만 제공하고 내용을 다른 공간, 나머지 2권의 책으로 분리함으로써 관찰자는 스스로 선택하고 경로를 만들어나가며, 다른 공간으로 이동하는 동안 내용을 상상해볼 수 있다. 텍스트의 파편화로부터 탄생한 조각들, 도시의 그리드로부터 추출한 조각들은 각 단어의 성격에 맞게 선택, 적용되며, 일정한 간격으로 이루어진 선 위에 각각 다른 크기, 위치, 색으로 나타난다. 단어의 성격을 상징적으로 표현한 조각들이 있는가 하면 우연히 단어가 나타내는 형상과 닮은 조각들도 있으며, 수용자는 단어와 조각들을 보며 암시적으로 이에 해당하는 내용(텍스트, 이미지)을 예상하고 파악할 수 있다.

그림 27. <Navigation Book>

그림 28. <Navigation Book>의 그래픽 조각 배치도

그림 29. <Navigation Book> 일부 페이지

5.2.2. <Image.txt>

<Navigation Book>에서 단어, 그래픽 조각, 그리고 각 단어에 해당하는 다른 공간의 위치 정보를 제공했다면, <Image.txt>에서는 다른 공간의 위치 정보와 함께 이미지의 성격을 차용한 텍스트를 표현한다. 제목에서 짐작할 수 있듯 본래 형식은 텍스트이지만 내용은 이미지를 가리키는 것으로, 디지털 정보의 ‘파일 이름. 확장자’ 형식에서 착안하였다. 작품에서 나타나는 성격은 크게 두 가지로, 텍스트의 형상은 유지하되 기존의 줄글에서 벗어난 것과 형상을 변형하여 이미지에 가까운 것으로 표현한 것이다. 긴 줄글로 늘어진 기존의 텍스트와 달리 새로운 질서와 호흡을 가진 텍스트는 특정 부분을 생략하거나 강조할 수 있다. 또한, 대상의 형상과 닮은 텍스트의 배치는 수용자가 직관적으로 내용을 파악하게끔 도와주며 반복되는 단어를 분리해 강조함으로써 텍스트의 운율을 더 눈에 띄게 만든다.

이미지의 성격을 더 많이 흡수한 텍스트의 경우, 선, 기호, 도형으로 치환되어 나타나는데, 각 단어를 나열함으로써 내용을 직접적으로 지시하기보다 상징적으로 내용을 표현하여 관찰자로 하여금 해석의 여지를 남기고자 했다. 보통 목적이 뚜렷하고 의미 전달이 명확한 것을 보고 ‘투명하다’라고 표현하곤 하는데, 연구자는 의도적으로 매체를 불투명하게 만들어 수용자의 오해와 착각을 일으켜 다의적이고 우연한 결과를 스스로 만들어 낼 수 있도록 유도한다. 게다가 책이라는 물리적 매체 안에서 인터넷이나 문서 파일의 찾기, 하이퍼링크 등의 기능을 텍스트와 이미지에 추가하여 책이라는 물성, 즉 아날로그 매체에 기술 매체의 성격을 적용하고자 했다.

그림 30. <Image.txt> 세부 페이지

그림 31. <Image.txt> 세부 페이지 2

그림 32. <Image.txt>에서 기술 매체의 성격을 차용한 부분

5.2.3. <Text.jpg>

앞의 책에서는 이미지를 차용한 텍스트에 대해 다뤘다면, <Text.jpg>는 텍스트의 성격을 빌린 이미지를 주로 다룬다. 일련의 규칙, 문법을 가진 텍스트같이 이 책에서 나타나는 이미지는 공통적으로 비슷한 노이즈와 색감을 가진다. 또한 <Navigation Book>에서 사용된 그래픽 조각들이 형상 그대로 혹은 이미지의 프레임으로써 반복적으로 등장하며, 여러 권으로 흩어진 각 단어의 내용은 이를 통해 연결고리를 가진다. 순간을 포착하고 압축하는 기존의 이미지와 달리, 단어의 나열을 통해 문장을 만드는 텍스트처럼 연속적으로 이미지를 연결해 의미를 생성한다. 여러 페이지에 걸쳐 나타난 이미지는 마치 쇼트(shot)가 합쳐져 신(scene)이 되고, 이들이 모여 시퀀스(sequence)를 이루는 것과 같다. 게다가 다른 공간에서 추출한 이질적인 이미지를 한 페이지에 나열, 조합, 융합함으로써 익숙하지만 낯선 이미지를 만든다. 에이젠슈타인이 말한 몽타주처럼, 이미지와 이미지의 조합으로 충돌을 발생시켜 새로운 의미를 획득하고자 했다.

그림 33. <Text.jpg> 세부 페이지 1

그림 34. <Text.jpg> 세부 페이지 2

그림 35. <Text.jpg> 세부 페이지 3

그림 36. <Text.jpg> 세부 페이지 4

5.3. 재구성된 도시와 새로운 시선

이 연구에서 디자이너는 이미지 생산자로서 목적에 맞게 경로를 탐색하고 제시하며 재매개를 하나의 디자인 방법으로 도입한다. 그 결과 연구자는 하나의 도시 사전을 의도적으로 <Navigation Book>, <Image.txt>, <Text.jpg> 이 3권으로 나누어 각각 고유한 성격을 가진 공간을 만들고, 수용자가 책이라는 전통적인 매체를 자유롭게 읽는 색다른 방식을 제안하고자 했다. 수용자는 A-BC-D와 같은 순차적인 경로에서 벗어나 C-B, B-D, D-A와 같이 수용자가 선택한 순서대로 읽으며 그들을 서로 참조하고 연결하는 과정을 통해 수동적인 태도를 탈피한다. 또한, 텍스트와 이미지를 차용, 개조, 확장함으로써 새로운 매체 형식을 만들고 시각적 충돌, 코드의 이탈을 발생시켜 새로운 의미를 만들었다. 이를 바탕으로 연구자는 우리가 사는 도시를 텍스트와 이미지를 통해 재서술, 재구축하여 도시의 다른 면을 그려내었다.

익숙한 대상, 풍경, 사건, 현상을 연구자의 시선으로 혹은 다른 누군가의 시선으로 다시 풀어낼 때 도시는 새롭게 다가온다. 새로운 것은 무(無)에서 탄생하는 것이 아니라, 기존에 있던 것을 조합하고 변형하는 과정을 통해 나타나며, 새로운 것은 또다시 새로운 것의 재료가 된다. 점이 모여 선이 되고, 선이 쌓여 면을 만들고, 면이 다시 하나의 점이 되는 것처럼 하나의 재료는 새로운 방식에 의해 개조되고 순환된다. 대상을 거듭해서 다른 시선으로 바라보고 풀어낸다면 기존 매체를 통해 새로운 매체의 가능성을 발굴하고 사유의 지평 또한 넓혀나갈 수 있을 것이다.

100

그림 37. <Text.jpg>에 사용된 이미지

101

6. Outro

102

103

결론

이 연구는 기존의 일상적 소통 방식을 넘어 시각 매체로서 텍스트와 이미지의 역할 확장 가능성과 새로운 커뮤니케이션 방법을 찾아내는 것에 의의를 둔다. 단지 외적 형식의 변화뿐만 아니라 매체 간 상호교환 가능성을 확인하고, 텍스트와 이미지를 구조적으로 변형, 확장하여 또 다른 매체와 의미를 생산하는 것에 초점을 맞추었다.

먼저, 매체라는 것이 무엇인지, 매체가 커뮤니케이션 과정에서 어떤 역할을 하고 우리에게 어떤 영향을 미치는지 알아보았다. 매체는 물질적이든 비물질적이든 한쪽에서 다른 한쪽으로 메시지나 정보를 전달하며 매체 그 자체가 내용이자 형식이 된다. 매체를 통해 커뮤니케이션이 가능한 것은 코드의 기호 작용 때문인데, 이는 자연적 혹은 인공적으로 발생할 수 있다. 또한, 매체는 인간의 감각 확장 역할을 해왔는데, 매체의 확장은 단일 감각뿐만 아니라 다중의 감각 확장을 불러일으킨다. 이러한 내용을 바탕으로 연구자는 텍스트와 이미지가 매체로서 조건과 역할을 충족한다고 판단하고, 그들의 교집합을 살펴보았다. 텍스트와 이미지는 모두 시각적으로 대상을 매개하지만, 텍스트의 본질은 단어, 이미지의 본질은 선, 표면, 그림자에 있으며, 전자는 시간 속 행위 서술에 적합한 반면, 후자는 공간 속 물체 서술에 적합하다. 수용자는 매체에 부합하는 코드화를 통해 정보를 인식하는데, 이는 환경, 맥락, 상황과 밀접한 관계를 맺으며 그의 변화에 따라 매체의 위치나 역할 또한 바뀔 수 있다. 이에 따라 텍스트와 이미지가 코드를 탈피해 다른 맥락으로 이동함으로써 성격을 교환, 확장하는 또 다른 서술 방식을 발견했다.

3장에서는 텍스트와 이미지의 변주를 위해 재매개의 방식을 제시하고 기존에 없었던 방식으로 매체를 다루는 이들에 관해 서술했다. 재매개는 어떤

104

매체가 다른 매체의 성격이나 형식을 차용, 개조, 확장하는 것으로 이전 매체를 복제하는 것이 아니라 목적에 맞게 재사용하거나 융합하는 것이다. 재매개 방식 중에서도 탈맥락화와 하이퍼 매개에 대해 알아보았는데, 탈맥락화는 의사소통을 가능하게 하는 체계인 코드에서 벗어나는 것으로, 관습적인 것으로부터 낯선 감정을 느끼게 하고 매체의 새로운 인상을 환기한다. 하이퍼 매개는 리좀 구조와 비슷하며 처음과 끝, 중심이 정해져 있지 않고 모두 연결되어 있어 대상에 대한 다중적 접근이 가능하다. 게다가 하이퍼미디어의 구조는 이질적인 것들이 공존할 수 있으며 서로 병치, 중첩이 가능하다. 이러한 재매개 방식과 특징을 기존 체계에 도전했던 피카소, 라울 하우스만, 브로타스 등의 작품을 통해 살펴보았다.

이어 4장에서는 시각 매체, 그중에서도 연구에서 중점적으로 다루는 텍스트와 이미지를 재매개하는 사례들을 살펴봄으로써 앞서 전개했던 여러 가지 개념들을 짚고, 다양한 매개 방식을 검토했다. 텍스트는 배치와 형상의 대치, 변형을 통해 읽는 것뿐만 아니라 보는 것, 이미지가 될 수 있다. 이미지 또한 일정한 체계 아래 상징성을 가지면서 읽는 것, 텍스트가 될 수 있으며, 다양한 맥락으로부터 떼어낸 이미지를 조합하거나 융합함으로써 새로운 의미를 만들어낼 수 있다. 또한, 평면에서 이루어져 왔던, 혹은 그러한 성질로부터 출발한 텍스트와 이미지를 다른 매체로 재매개함으로써 다중 감각을 느끼게 하고 수용자의 태도를 관조에서 참여로 확장할 수 있음을 확인했다.

5장에서는 연구자가 직접 작품을 통해 재매개를 적용하고, 매체 재생산의 방법을 제안했다. 도시에 관한 3권의 책은 서로 참조, 교환, 연결되는 방식으로 하이퍼 매개적인 성격을 가지며, 수용자는 책이 제공하는 텍스트와 이미지의 재매개를 경험하는 객체이자 하이퍼 매개를 직접 수행하는 주체로써 존재하게 된다. 수용자는 3권의 책을 횡단하고 참조하면서 사고의 폭을 넓혀 나가고 도시에 대한

105

새로운 시선을 획득한다. 또한, 책에 담겨 있는 이미지를 재매개한 텍스트, 텍스트를 재매개한 이미지는 독특한 서술 방식을 띠며 외적 형식뿐만 아니라 매체의 새로운 구조, 환경을 구성한다. 이를 통해 커뮤니케이션 도구로서 텍스트와 이미지의 확장 가능성을 발견하고 수용자에 의해 어떻게 지각되는지 살펴보고자 했다.

현재는 시간이 흐름에 따라 과거가 되고, 미래 또한 과거가 되며, 과거는 미래를 위한 밑거름이 된다. 매체 또한 완전히 사라지거나 새로 만들어지기보다 연결된 구조 속에서 다시 호출되어 재구성된다. 이러한 순환 속에서 고정된 의미 생산은 더는 파급력이 없으며, 우리는 고정된 틀을 깨고 새로운 각도, 열린 태도로 이를 바라봐야 한다. 매체 사이에서 또 다른 매체를 생산하는 ‘행위’, 기존의 매체를 다른 매체와 연결하고, 조합하고, 변형하는 시도가 중요하다. 이 연구가 텍스트와 이미지를 다루는 또 하나의 방식을 발견하고 그 방식이 궁극적으로 기존에 침식되고 있던 매체를 재조명하며 이를 부활하게끔 만드는 순환의 도구로 활용되기를 바란다. 모든 대상은 매체로서 작동할 수 있고 형태나 성질에 상관없이 커뮤니케이션에 기여한다는 점을 확인하는 결과로 쓰이기를 기대하며, 감각에 의한 매체의 융합과 확장에 기여할 수 있을 것이라고 본다.

106

107

그림 38. <Text.jpg>에 사용된 이미지

참고문헌 단행본

김세리, 『시각과 이미지』, 이담북스, 2013 넬슨 굿맨, 『예술의 언어들』, 김혜숙 옮김, 이화여자대학교출판부, 2002 대니얼 챈들러, 『미디어 기호학』, 강인규 옮김, 소명출판, 2006 랄프 슈넬, 『미디어 미학』, 강호진 옮김, 이론과실천, 2005 로절린드 크라우스, 『북해에서의 항해』, 김지훈 옮김, 현실문화A, 2017 마르틴 졸리, 『영상이미지 읽기』, 김동윤 옮김, 문예출판사, 1999 마셜 매클루언, 『미디어의 이해』, 김상호 옮김, 커뮤니케이션북스, 2011 박영원, 『디자인유머』, 안그라픽스, 2013 빌렘 플루서, 『코무니콜로기』, 김성재 옮김, 커뮤니케이션북스, 2001 심혜련, 『사이버스페이스 시대의 미학』, 살림, 2006 아리스토텔레스, 『영혼에 관하여』, 유원기 옮김, 궁리, 2001 안드레아스 뵌·안드레아스 자이들러, 『매체의 역사 읽기』, 이상훈·황승환 옮김, 문학과지성사, 2020 이지연, 『러시아 아방가르드, 불가능을 그리다』, 한국외국어대학교출판부, 2015 정연심, 『현대공간과 설치미술』, 에이엔씨, 2014 제이 데이비드 볼터, 『글쓰기의 공간』, 김익현 옮김, 커뮤니케이션북스, 2010 제이 데이비드 볼터·리처드 그루신, 『재매개』, 이재현 옮김, 커뮤니케이션북스, 2006 조윤경, 『보는 텍스트, 읽는 이미지』, 그린비, 2012 존 버거, 『다른 방식으로 보기』, 최민 옮김, 열화당, 2019 존 워커, 사라 채플린, 『비주얼 컬처』, 임산 옮김, 루비박스, 2010 진경아, 『매체 미학과 영상 이미지』, 커뮤니케이션북스, 2014

108

E. H. 곰브리치, 『서양미술사』, 백승길, 이종숭 옮김, 예경, 2003 W.J.T. 미첼, 『아이코놀로지』, 임산 옮김, 시지락, 2005

학술논문

강소영, 김도식, 「시각시에 표현된 비움에 관한 연구」, 『디지털디자인학연구』, 한국디지털디자인협의회, Vol.13 No.2, 2013 김남시, 「시각 이미지에는 있으나 언어에는 없는 것」, 『한국시학연구』, 한국시학회, No. 48, 2016 김성재, 「탈문자 시대의 매체현상학」, 『한국방송학보』, 한국방송학회, Vol.19 No.1, 2005 김영호, 「오브제의 기호학적 해석」, 『서양미술사학회논문집』, 서양미술사학회, Vol.14, 2000 김은영, 「현실과 환상을 가로지르는 콘텐츠의 재매개화」, 『한국언론학보』, 한국언론학회, Vol.61 No.1, 2017 김지훈, 「매체를 넘어선 매체: 로잘린드 크라우스의 “포스트-매체” 담론」, 『美學』, 한국미학회, Vol.82 No.1, 2016 손현지, 「매체미학에서 시각디자인의 멀티융합에 관한 연구」, 『한국디자인포럼』, 한국디자인트렌드학회, 제26호, 2010 심혜련, 「이미지 수용의 변화」, 『범한철학』, 범한철학, 제70집, 2013 심혜련, 「기술 발전과 시각 체계의 상관 관계에 관한 고찰」, 『시대와 철학』, 한국철학사상연구회, Vol.18 No.1, 2007 심혜련, 「노르베르트 볼츠의 매체미학에 대한 비판적 고찰」, 『감성연구』, 전남대학교 호남학연구원, Vol.0 No.17, 2018

109

유혜인, 「[USA] 마르셀 브로타에스 회고전, 미술이 된 시」, 『미술세계』, 미술세계, 2016 이혁재, 김보연, 「사용자와의 효과적인 연결을 위한 시각적 촉각성 연구」, 『디지털디자인학연구』, 한국디지털디자인협의회, Vol.15 No.3, 2015 최종철, 「후기 매체 시대의 비평적 담론들」, 『서양미술사학회 논문집』, 서양미술사학회, 제41집, 2014

학위논문

권정현, 「포스트매체 조건에서의 예술 매체: 로절린드 크라우스의 매체 개념을 중심으로」, 석사학위, 서울대학교 대학원, 2018 김수은, 「영상설치미술의 재매개성과 미학적 효과」, 박사학위, 부산대학교 대학원, 2018 이병주, 「활자 이미지화로 본 해체주의 타이포그래피에 대한 매체미학 관점의 해석」, 박사학위, 홍익대학교 대학원, 2008 전가경, 「잡지 『뿌리깊은 나무』 연구 :이미지와 텍스트의 관계를 중심으로」, 박사학위, 홍익대학교 대학원, 2017

온라인 자료

네이버 지식백과, https://terms.naver.com/entry.nhn?docId=1529890&cid=6 0657&categoryId=60657 네이버 지식백과, https://terms.naver.com/entry.nhn?docId=2274956&cid=4 2219&categoryId=51129

110

https://www.chosun.com/site/data/html_dir/2012/07/06/2012070600225.html https://www.lozano-hemmer.com/zoom_pavilion.php https://www.romapublications.org/index.html https://www.theartnewspaper.com/archive/product-displacementinterview-with-richard-hamilton https://www.veritas-a.com/news/articleView.html?idxno=6203

111

Abstract

Every minute, every second, new content comes out, and the boundary of each area is blurred by attacking or cooperating with each other, and the way of expressing is also becoming more diverse. These days, different media are competing to excite peopleâ&#x20AC;&#x2122;s appetite, breaking away from the existing art styles and finding new levels of materials like Duchampâ&#x20AC;&#x2122;s Fountain, and so the media have begun to penetrate our lives in more and more diverse ways. Our daily lives are closely related to the media, and they always exist around us even before we perceive them. The language that we use, our eyes that moves to see objects, and even the air that transmits sound are media. In this way, we go through the media to establish a relationship with the object, and in this process, the media uses the sense as a medium, changes the environment, and shakes our thinking system.

This study deals with text and image as a medium and attempts variations of text and image based on the Remediation of Jay David Bolter&Richard Grusin. Anything that expands the human sense is all a medium, and every object we sense is a medium containing a message, referencing and replacing each other, and reproducing the message. At this time, Remediation occurs by improving or modifying the existing media style or character, not by reproducing in a mechanical system. This study assumes text and image as materials of visual media as well as independent media and searches for new methods of description and development through Remediation. Text

112

that borrows the character of the image, the image that reuses the character of the text overturns the existing narrative, expands each area, and provides a new experience to the audience.

Through this study, I confirmed that the senses, such as seeing, hearing, and feeling eventually depend on each other and influence each other as a medium through the method of expanding them. All beings we sense have their own form or character, contact media that have other forms or characters and contribute to the production of a new third medium as a medium or by being involved in Remediation. This study, which attempted to devise another style of media, has led to realizing that by attempting to combine different levels of media, the medium of text and image can break mechanical custom through Remediation, awaken the potential of expression, and overcome the flexibility and openness of the media. In addition, I confirmed that the new media can provide a means of interpretation of existing media, and this allows the existing media to continue to change through Remediation.

113