모바일 증강현실(Mobile Augmented Reality) 시스템 기술 동향 서울과학기술대학교 IT 정책대학원 김 준 호(해글룡-海契龍) hegler.kim@gmail.com http://twitter.com/hegler02 http://www.facebook.com/hegler.kim 1. 서론 증강현실(Augmented Reality, 이하 AR) 기술이란 Virtual Evironment(VE, 가상환경) 또 는 Virtual Reality(VR, 가상현실)의 한 종류로서 실제 환경의 객체에 가상으로 생성한 정 보를 실시간으로 혼합하여 사용자와 상호작용 하도록 함으로써, 정보의 사용성과 효용성을 극대화하며 향상된 몰입감과 현실감을 제공하는 차세대 정보처리 기술이다.[1] AR은 가상현 실과는 달리, 완벽한 가상공간을 제공하는 것이 아니고, 실제 공간에 약간의 가상 객체를 삽입한 형태의 가상현실 기술이라고 할 수 있다. AR은 다음과 같은 세 가지의 특징을 가지 고 있다. 1) 실제 세계와 가상의 세계가 융합되어야 하고, 2) 실시간으로 작동하고 사용자 와 시스템과의 대화가 실시간으로 이루어지고, 3) 실세계와 가상의 세계가 서로 정확히 정 렬되어야 한다.[2] 위의 세 특징을 포함하는 첫 시스템은1960년대에 Ivan Sutherland에 의 하여 개발되었다. 그는 see-through Head Mounted Display(HMD) 위에 컴퓨터 그래픽을 추가하는 시스템을 개발하였다.[3]
이후 약 30년간 많은 주목을 받지 못하던 AR은 ‘Augm
ented Reality'라는 용어를 1990년 보잉의 Tom Caudell이 최초로 사용기 시작하면서, 199 0년대에 들어 많은 학자들에 의해 연구되기 시작 하였고, 2000년대 중반까지는 연구개발 및 시험적용 단계에 머물러 있었으나 최근 기술적 환경이 갖춰지면서 실용화 단계에 진입하 게 되었다.[4] 특히, 최근 휴대 모바일 기기의 급속한 보급으로 인한 휴대용 정보단말기의 대중화로 인해 개인화된 서비스의 요구가 증가하게 되었고, 이는 카메라와 그래픽 처리 능력은 높인 단말 기, 충분한 속도의 무선통신, GPS, Digital Compass 등의 기능을 갖춘 스마트폰의 등장하 게되었고 전통적인 AR 기술이 모바일 기기로 전이 되면서 모바일 AR이 스마트폰의 애플리 케이션 형태로 보급되어 많은 사람들의 관심을 받고 있다. 특히, AR은 가상현실과 달리 사 용자가 현실 세계에서 가상의 콘텐츠 또는 서비스와 직접적이고 직관적인 상호작용을 할 수 있다는 장점이 있다. 또한 이러한 AR이 갖는 장점과 모바일기기의 장점이 결합되어, 사용자 에게 필요한 정보를 원하는 시간과 장소에서 제공 할 수 있도록 다양한 서비스들이 제공되 고 있다. 본고에서는 AR과 모바일 AR과 관련된 선행 연구들의 검토를 통하여, AR의 발전과정과 모 바일 AR에 필요한 요소 기술들을 살펴보고, 최근 연구 사례들과 현재 서비스되고 있는 AR 의 사례를 소개하고자 한다. 본고의 구성은 다음과 같다. 2장에서는 AR의 발전 과정과 최근 연구들에서 활용된 AR 기 술들과 제안된 프레임워크들을 살펴보고, 3장에서는 현재 서비스 되고 있는 AR 서비스들을 소개하려고 한다. 마지막 4장에서는 AR 기술의 문제점을 극복하기 위한 제안과 향후 진행 하고자 하는 연구 방향을 제시하고자 한다.
2. AR의 발전과정 및 개요 본장에서는 처음 AR 시스템을 개발한 Ivan Sutherland의 HMD를 이용한 AR부터 최근의 스마트 폰의 애플리케이션으로 제공되는 AR 서비스가 이루어지기까지 기술적인 발전 과정 을 연도별로 정리해 보고 최근 연구들에서 활용된 AR 기술들과 제안된 프레임워크들을 살 펴보고자 한다. 아래의 AR의 발전과정은 History of Mobile Augmented Reality[5]와 Wiki pedia.org의 내용을 참고하여, 수정 및 보완하였다. 2-1. AR의 발전과정과 요소기술 1968년 Ivan Sutherland는 첫 번째로 AR 시스템을 발표하였다. 이것은 또한 첫 번째 VR 시스템이기도 하다. 이것은 광학 렌즈를 사용한 Head-Mounted Display(HMD) 이며, 제한 된 컴퓨터 처리능역으로 인해 매우 간단한 와이어 프레임 결과를 표시할 수 있었다.[6] 1992년
보잉사의
톰
코델(Tom
Caudell)과
데이빗
미젤(David
Mizell)은
최초로
Augmented Reality라는 용어를 사용했으며, 실제 세계를 컴퓨터에 오버레이 시키는 기술을 개발하였다.이들은 또한 실제 세계와 가상 세계를 정렬시키기 위한 방법들도 제안하였다.[7] 1993년 Loomis 등은 노트북 컴퓨터와 GPS, 머리에 착용하는 전자 나침반(Compass)을 결합하고 GIS 데이터를 이용하여 음향 가상 디스플레이 기술을 접목하여 시각 장애인 용 야외 내비게이션 시스템(outdoor navigation system for visually impaired)의 프로토타입 을 개발 하였다.[8] 이것은 향후 POI를 이용한 모바일 AR의 개발에 영향을 주게 되었다. 또한 같은 해에 Fitzmaurice는 카멜레온 이라는 Palmtop computer를 개발 하였다. 카멜 레온은 4인치 화면을 가진 장치로 비디오카메라와 케이블로 연결되어 비디오카메라의 기록 을 화면에 표시해주는 장치이다.[9] Fitzmaurice는 이것을 표시하기위해 자기 추적기를 사 용하여 이동성을 강화하였다. 몇 개의 제스처를 더하기 위해 하나의 버튼을 사용했으며 이 것은 모바일 디바이스와 상호작용을 할 수 있다. 이 장치는 실체 세계의 영상을 수집하여 객체로 오버레이 할 수 있다는 가능성을 보여주었다. 1994년 Paul Milgram과 Fumio Kishino는 그들의 논문 "Taxonomy of Mixed Reality Visual Displays"에서 실제-가상 연속체(Reality-Virtuality Continuum)를 정의 하였다.(아 래 <그림 1> 참조) 이들은 연속체를 통해서 AR이 실제 환경과(RE) 가상환경 사이에 존재 하며, 실제 환경에 더 가깝다고 기술하였으며, 이것은 1997년 Azuma에 의한 정의된 AR과 함께 가장 보편적으로 받아들여지고 있다.
<그림 1> Simplified representation of a "virtuality continuum"[10]
1995년 Jun Rekimoto 와 Katashi Nagao는 Fitzmaurice의 Chameleon과 비슷한 장치인 NaviCam을 개발 하였다. NaviCam은 최초의 ID를 인식하는 Handheld AR 시스템이다. Na viCam은 컬러코드를 인식하면 컴퓨터가 이를 감지하여 해당 정보를 카메라에 디스플레이 해주는 장치이다.
[11]
NaviCam의 시연 동영상은 유튜브[12]에 업로드 되어있다. 최근
스마트폰에서 구현되는 바코드나 QR코드인식 AR 시스템과 거의 유사하다. 1996년 Jun Rekimoto는 2D Matrix maker를 개발하였고, 이것은 카메라 트래킹을 이용 한 최초의 AR 마커 시스템
이었다.[13] 2D Matrix maker는 실제 객체를 식별하는 새로운
기술이었으며, 실제 세계의 이미지에 대한 정보를 등록하는데 사용되었다. 이것을 이용하여 여러 가지 잠재적인 AR 애플리케이션을 시연하였다. 현재에도 Marker를 이용한 AR이 주 로 이용되고 있다. 1997년 Ronald Azuma는 “the first survey on Augmented Reality”[14]라는 논문을 발 표하였고 AR의 3가지 특징(it combines real and virtual, it is interactive in real time, i t is registered in 3D)을 제시함으로써 AR을 정의하였고, 지금까지 AR에 대한 가장 일반 적인 정의로 받아들여지고 있다. 1997년 Steve Feiner 등은 최초의 Mobile Augmented Reality System(MARS)인 Turing Machine의 프로토타입을 개발하였다. 이 장치는 HMD를 통해서 보며, GPS와 무선 웹을 이 용하며, Backpack에 컴퓨터를 메고, Hand held 장치에 스타일러스 팬과 터치패드를 이용 하는 AR 시스템이다.[15] 1999년엔 다양한 AR 기술들이 개발되고 발표되었다. 첫 번째로 Hirokazu Kato와 Mark Billinghurst는 ARTookit을 발표하였다.[16]
<가> <그림 2> <가>System configuration,
<나> <나>최근 ARtoolkit
<그림 2><가>시스템 구성도와 같이 AR User는 HMD를 통해서 작은 마크되어있는 카드 와 함께 화상 카메라에 잡힌 데스크탑 User의 모습을 볼 수 있다. 현재 ARToolkit은 GPL(General Public License)의 라이센스하에 오픈 소스로 사용할 수 있으며, 아직도 매우 인기가 높은 AR 커뮤니티이다.[17] <그림 9>의 <나>는 최근 ARtoolkit의 구현 화면이다. ARtoolkit을 이용한 많은 AR 애플리케이션이 개발되었고, HMD가 아닌 웹켐을 이용한 형 태로 서비스되고 있다. 또한, Tobias Höllerer등은 mobile AR system을 개발 하였고, 안내를 받으면서 학교를 여행할 수 있는 시스템이었다.[18] 이것은 Mobile AR에 GPS와
inertial-magnetic
orientation tracker를 적용한 최초의 시스템이었다. 2000년에 Bruce Thomas 등은 PC게임인 Quake란 게임을 실세계로 옮겨놓은 AR-Quake 라는 AR 게임을 개발했다.[19] AR Quake는 최초로 사람을 인식하는 애플리케이션이며, wearable computer platform과 GPS, Digital Compass, 6DOF(6 Degree of Freedo m)[20]와 vision-based tracking of fiducial markers에 기반한 AR 애플리케이션 이었다. Digital Compass을 사용하여 플레이어의 보는 방향을 추적하고 Garmin GPS를 사용하여 위치를 추적한다.[21] <그림 3>에서와 같이 게임 플레이어가 실세계에서 이동하면서 가상의 몬스터와 물체를 상대로 전투를 하게 된다.
<그림 3> AR-Quake의 실행 장면[22]
2001년에는 Jürgen Fruend 등이 AR-PDA 시스템을 개발 하였다. AR-PDA 시스템은 증 강 현실 콘텐츠와의 사용자 상호작용을 지원하기 위해 오브젝트 인식과 Markerless추적 (Tracking) 기술을 이용한 PDA 기반의 모바일 증강 현실 시스템이다. <그림 4>에서와 같 이 클라이언트인 PDA로 획득한 비디오 스트림을 AR-PDA의 서버로 보낸다. 서버에서는 클라이언트로부터 받은 비디오 스트림으로 오브젝트를 인식하고 부가적인 맥락 관련 정보를 생성하여 이를 원본 비디오 스트림의 추적된 위치 및 방향에 증강하여 다시 클라이언트로 보내는 과정을 거친다. AR-PDA 시스템에서는 별도의 추적 장치를 사용하지 않고 카메라 영상으로부터 2차원 특징점 정보를 추출하여 객체를 추적한다.[23]
<그림 4> AR-PDA 시스템 구성도
Reitmayr와 Schmalstieg는 Mobile Collaborative AR(MCAR)을 발표했다. 이 아이디어는 공동 사용자가 실제와 가상의 객체로 가득찬 공간을 공유할 수 있는 경험을 제공해준다.[24] <그림 5>의 (가)는 MCAR의 여러 참조 프레임을 조정할 모바일 사용자를 등록하는 데 사 용되는 고정된 설정을 위한 구성도 이며, (나)는 MCAR의 데모 화면이다.
(가) MCAR system 구성도
(나) MC AR system 데모화면
<그림 5> Mobile Collaborative AR Kooper 와 MacIntyre는 최초의 AR 브라우저인 RWWW(Real World Wide Web) Browser를 개발하였다.[25] 이 초기 시스템은 복잡한 추적 인프라와 HMD가 요구 되었다. 이 브라우저에 대한 아이디어를 바탕으로 2008년에 Wikitude AR 브라우저가 탄생하게 되
었다. RWWW Browser는 지금의 스마트폰 AR 브라우저와 매우 유사한 형태를 가지고 있 으며, 브라우저에 사각형과 원형의 정보들이 표시되어 나타난다. 2002년 Michael Kalkusch 등은 익숙하지 않은 빌딩의 목적지를 안내해주는 Mobile AR 시스템을 개발하였다. 이 시스템은 HMD를 통해서 보이는 방향 정보가 등록되어있는 선형 프레임을 제공한다. 건물 벽에 부착되어있는 ARToolkit 마커를 Head Mount 카메라로 관 찰하고 트래킹하여 목적지까지 안내하는 시스템이다.[26] 이들은 계속해서 추가적인 연구를 통해 3차원 입체 영상을 지원하며, 일반적인 2차원 사용자 인터페이스인 펜과 패드를 통해 사용자가 가상의 객체와 직접적인 상호 작용을 할 수 있는 Wearable AR System(착용형 증강현실 시스템)인 Studierstube를 개발 하였다.[27] <그림 6>는
Studierstube의 하드웨
어 구성요소들과 이를 장착한 사용자의 모습을 보여주며, 사용자는 등에 업고 있는 노트북, 입체 영상 출력장치, 그리고 웹 카메라가 부착된 헬멧을 착용한다.[28]
<그림 6>
Studierstube의 하드웨어 구성
2003년에는 Adrian David Cheok 등이 Human Pacman 이라고 명명된 인터랙티브 모바 일 게임 시스템을 개발하였고, 이 시스템은 GPS와 관성 센서를 이용하여 위치를 인식한다. 또한 게임을 플레이 하면서 현실과 가상세계 사이의 원활한 전환의 새로운 경험을 제공하기 위해서 Bluetooth와 Capacitive Sensor를 이용한다.[29] <그림 7>에서와 같이 Human Pacman은 현재 AR Game과 유사한 형태를 가지고 있는 것을 알 수 있다.
<그림 7> Human Pacman의 실행 화면
2004년에는 Mathias Möhring등이 모바일 폰에서 3D Marker를 트래킹 하기 위한 시스템 이 개발되었고[30], Michael Rohs와 Beat Gfeller는 모바일 폰을 위한 2D 마커(Virtual Codes)를 개발 하였다. 이 코드는 실제 객체에 그것과 연관된 정보와 기능을 첨부할 수 있 다.
[31]
2007년에는 Klein과 Murray 가 강력한 실시간 트래킹과 매핑이 가능한 시스템을 개발하 였고,[32] 였다.[33]
HIT Lab NZ는 처음으로 모바일 폰에 광고를 할 수 있는 애플리케이션을 개발하
2008년에는 Mobilizy에서 스마트폰 모바일 전용 브라우저인 Wikitude(위키튜드)를 런칭하 였다. 이 애플리케이션은 GPS와 위키피디아 항목의 Compass Data 결합되어있다. 안드로 이드 모바일 앱으로 위키피디아의 정보와 위치 정보를 같이 보여주며 사용자는 위키피디아 에 있는 정보가 특정 위치에 있는 사진에 뜬다. <그림 8>은 위키튜드를 실행한 화면이다. 위키튜드 앱은 스마트폰(아이폰, 안드로이드폰 등)에만 제공이 된다. 또한 위키튜드도 API 를 공개하였으며(http://www.wikitude.org/developers), API는 안드로이드와 아이폰에서 구현 될 수 있도록 하였다. 그리고 AR을 잘 이용할 수 있도록, ARML이라는 개발 언어를 제공하기도 한다.(http://www.wikitude.org/category/04_developer/arml-content) Wikitude(위키튜드)의 등장은
연구용이었던 AR이 대중 앞에 모습을 드러내는 시발점이
되었다.
<그림 8> 위키튜드 모바일 앱 실행 화면
2009년은 다양한 스마트폰이 출시되고, 이를 이용한 AR 브라우저들이 등장하게 되었으며, 다양한 아이디어를 결합한 서비스 모델들이 출현하였다. 특히 Open Platform을 표방하는 스마트폰 AR 브라우저 개발 업체인 Layar의 등장은 다양한 콘텐츠를 AR과 접목시켜서 사 용자에게 새로운 경험을 체험하는데 많은 역할을 하였고, 현재에도 새로운 콘텐츠가 계속 추가되고 있다. 이러한 다양한 AR 콘텐츠가 스마트폰을 이용해서 서비스 될 수 있다는 가 능성을 보여준 결과, 복잡하고 무거우며 고가인 HMD를 대신하는 장비로서 스마트폰이 선 택되고,(비록 정밀한 DATA를 처리하지는 못한다.) Backpack에 Data 처리를 위한 무거운 컴퓨터시스템을 등에 지고 다녀야 했던 것을 3G 망을 이용하여 Data를 처리할 수 있게 되 었다. 이것은 향후 Ubiquitous 환경에서 구현 될 수 있는 AR 서비스의 초기 모델을 구현 했다는 것에 의미가 있다. 또한, 많은 사용자들에게 AR이 일상생활에서 사용할 수 있는 경 험을 줄 수 있다는 것에 큰 의의가 있다. 무선 통신은 이제 4G의 시대를 눈앞에 두고 있다. 4G는 이동 중에 100Mbps, 고정 시에 는 1Gbps의 Data를 전송할 수 있다. 그러면, 현재보다 더 빠른 시간안에 대용량 Data의 처 리를 할 수 있다는 것을 의미한다. 그리고, 최근 출시한 애플의 iPhone4G, 삼성전자의 겔럭 시S(안드로이드 운영체제)의 제품 사양을 살펴보면, 스마트폰은 조만간 HMD의 영역을 넘 어설 것으로 보인다. 통신과 Mobile 기기의 발전은 AR이 실생활에 정착되는데 많은 도움을 줄 것이다. 2-2. 증강현실 기술개발 동향 Feng Zhou와 Henry Been-Lirn이 2008년 발표한 논문[34]에 의하면 최근 10년간 The I EEE International Symposium on Mixed and Augmented Reality(ISMAR)에 발표된 AR 관련 논문(276 Full and Short Papers)을 리뷰해본 결과 아래와 같이 AR 관련 기술 개발
동향을 파악할 수 있었다. 첫 번째, Tracking Techniques으로는 Sensor-Based Tracking Techniques, Vision-Bas ed Tracking Techniques, Hybrid Tracking Techniques등으로 분류되며, 두 번째 Interac tion Techniques and User Interfaces으로는 Tangible AR, Collaborative AR, Hybrid A R Interface로 나누어지며, 세 번째 Display Techniques으로는 See-through HMDs, Proj ection-Based Displays, Handheld Displays 등으로 나누어진다. ISMAR 2009에서 Robert Rice와 Ori Inbar AR을 구현하는 기본 개념을 발표하였는데, 그 자료와 함께 위의 기술들을 살펴보기로 하겠다.
<그림 9> AR의 6가지 요소[35]
<그림 9>은 AR을 구성하는 기본 6가지 요소들을 그림으로 나타낸 것 이다. 6가지의 요소 는 1) User(사용자), 2) World(실제 세계), 3) Lens, 4) Cloud, 5) Filters, 6) Content Pro viders 로 구분 할 수 있다. 기본적으로 사용자는 실제 세계(인터넷 포함)를 경험하는데, 5가지 감각을 이용하며, 손과 발을 이용하기도 한다. 여기에 AR을 결합하려면 실제 세계와 사용자 사이에 AR을 결합시 키는 매개체가 필요한데 이것을 Lens, 즉 다양한 단말기가 필요하다. 이것이 처음 언급했던 Display Techniques를 의미한다. 사용자는 실제 세계에서 사람, 장 소, 그리고 여러 가지 사물 등을 경험하게 되고 AR은 여기에 증강된 정보를 제공한다. 사용 자는 AR을 경험하게 하는 단말기를 통해 실제 세계의 데이터를 인식하게 되는데, 이것을 위해서 Tracking Techniques를 이용하게 된다(GPS, Compass ,Acceration, 6 DOF pose, Computer Vision, Radio Signal 등). 실제 세계에 대한 다양한 정보를 디지털화 하여 Clou d라는 데이터 센터에 저장하게 되고, 이는 거대한 웹(인터넷)과 연결되어 있다. 이 Cloud는 클라우드 컴퓨팅을 말하는데, Google Earth, Twitter, Wikipedia, Facebook, Flickr와 같은 클라우드 컴퓨팅을 기반으로 하는 웹 서비스를 말하며, 이것은 언제, 어디서 나 데이터를 업로드하고 다운로드 할 수 있는 상태를 의미한다. 사용자는 단말기를 이용하 여 3G망, WiFi, Blutooth, 광랜과 같은 유무선망을 통해 디지털 데이터 베이스인 Cloud에 접속하게 되고, 사용자와 실제 세계를 양방향으로 연결시켜주는데, 이때에 필요한 기술이
I
nteraction Techniques and User Interfaces이다. Interaction Techniques 사용자와 실제 세계에 AR 데이터를 상호 연결 시켜주는 다양한 포맷과 전송방법을 말하며(오디오 비디오 콘텐츠 포맷, 정합, 오브젝트 렌더링, Networking 등), User Interfaces는 AR을 사용자에게 표현하는 다양한 기술들을 말한다(GUI). 또한 Cloud에 저장되어있는 다양한 정보를 사용자가 필요한 정보로 걸러주는 것이 필요한 데, 이러한 것을 Filters라고 정의하고, 다양한 애플리케이션을 의미한다. 사용자는 다양한 애플리케이션(Filter)을 이용해서 게임, 의료, 건설, 방송과 같은 다양한 콘텐츠를 이용하게 되는 것이다.
또한, 실제세계의 콘텐츠를 가공하여 독자적인 콘텐츠 영역을 구축하고 있는 다양한 Cont ent Providers가 Cloud에 지속적으로 콘텐츠를 공급하게 되는데, 이는 실제 세계와 디지털 상품, 프리미엄(유료), Private, residential, commercial, Government등의 카테고리로 나누 어 볼 수 있다. 2-2-1. Tracking Techniques Tracking Techniques은 Sensor-Based Tracking Techniques, Vision-Based Tracking Techniques, Hybrid Tracking Techniques로 나누어진다. Sensor-Based
Tracking
Techniques은
GPS,
Digital
Compass,
Accelerometer,
Gyroscope 등을 이용하여, 사물의 위치와 움직임, 속도, 방향등을 정밀하게 추적하는 기술 이다. 이러한 Sensor를 이용하는 Tracking 기술들은 Mobile AR의 필수적인 기술 들이며, 최근 스마트폰에 위와 같은 Sensor들이 기본사양에 포함되어 있어서 스마트폰을 이용한 AR 서비스가 증가추세에 있다. 위에서 설명한 Wikitude 브라우저와 Layar2.0 서비스가 대 표적이며, 그 밖에 AR과 SNS를 접목한 Sekai Camera와 국내의 서비스로는 올라웍스의 Scan Serch, 오브제 서비스가 있다. <그림 10>은 Sekai Camera와 Layar2.0의 서비스 화 면을 캡쳐하였다.
<가>Sekai Camera
<나>Layar 2.0
<그림 10> Sensor Based AR Vision-Based
Tracking
Techniques은
Marker를
이용한
Marker
based
AR과
Markerless AR, 그리고 Computer vision based AR(Face recognition, Image matching 등)이 있다. Marker based AR은 주로 검정색 바탕의 특이한 색상이나 문양이 사용되거나 경우에 따 라서는 기하학적인 형태나 3차원 객체를 이용하는 Marker를 인식하는 기술이다. AR은 현 실 영상과 가상의 그래픽을 접목하여 보여주기 때문에 이때 정확한 영상을 얻기 위해서 가 상 객체들을 화면에서 원하는 자리에 정확히 위치시켜야 한다. 이 부분을 구현하기 위해서 는 가상 객체에 대한 3차원 좌표가 필요하며, 이 좌표는 카메라를 기준으로 하는 좌표 값이 되어야 한다.
3차원 좌표는 카메라의 파라미터를 이용하여 영상에서의 위치를 파악할 수
있으며, 영상 속에서 위치를 파악하게 되면 바로 그 부분에 가상객체를 겹쳐 넣어 우리가 희망하는 화면을 얻을 수 있다. 따라서 문제는 카메라의 영상에서 현실 세계의 어떤 지점이 나 물체에 대한 카메라의 3차원 좌표를 확보해야 하는데, 이를 위해서는 2대 이상의 카메라 가 필요하게 된다. 하지만 현실적으로 증강현실 시스템에서 사용하는 카메라의 수는 대부분 한 대를 사용하기 때문에 3차원 위치 파악을 하기가 쉽지 않다. 따라서 이에 대한 대책으로 Marker 인식기술을 사용하게 된다. 대부분의 AR 시스템은 주로 Marker를 이용해 상대적 좌표를 추출하고 가상 영상을 실제 영상에 합성시킨다.[36] 최근 Maker를 이용한 AR은 게 임, 애니메이션, 광고 등 많은 분야에서 실제 활용되고 있다. <그림 11>는 Marker Based
AR을 이용한 다양한 AR 시연장면을 캡쳐 하였다. <그림 11>와 같은 Marker based AR을 이용하여 다양한 비즈니스 모델이 구축이 가능하다.
<가> AR Book
<나> ARNews
<다> AR Paper
<그림 11> 다양한 Maker based AR 시연 장면 Markerless AR은 보다 더 자연스러운 증강현실을 위해 Marker가 없이 특징 점 기반의 트래킹(Feature based Tracking)이라고도 하는데, 영상 내에서 특징점 들을 추출하고 이 특징 점들을 기반으로 좌표계를 추출해 낸다. 특징점을 이용하기 때문에 사용자가 정의한 특정 패턴을 Marker로 이용할 수도 있다. AR 기술에 있어서 가장 난이도가 높고, 점차 더 욱 중요한 기술이 될 것으로 생각 된다. <그림 12>의 <가>는 Markerless AR을 이용하여, 그림책을 만든 결과물을 시연하는 장면이다. 검은색 Marker가 없는 상태에서 다양한 가상 영상을 보여준다. <나>는 PTAM[37] Tracking을 이용한 Markerless AR의 시연 화면이다. PTAM을 이용하여 빠르고 정밀한 정보를 실시간 트래킹 한다.<다>는 국내회사 제니텀이 세계최초로 개발한 Markerless Mobile AR Game이다. 제니텀(www.zenitum.com) 에서는 ZFT(Zenitum Feature Tracker)엔진을 이용하여 이미지 자체를 인식하고 증강현실로 표현 할 수 있는 기술을 개발하여, 이것을 게임과 접목 시켰다. 제니텀의 홈페이지를 방문하여 이미지를 다운 받은 후 안드로이드 앱을 실행시키고 카메라로 이미지를 비추면서 AR 게임 을 진행한다. <가> Markerless AR[38]
<나>PTAM AR[39]
<다>Space InvadAR[40]
<그림 12> 다양한 Markerless AR 사례 Computer vision based AR은 사람의 얼굴이나 이미지를 인식하여 컴퓨터에 저장되어있 는 정보와 매칭시켜서 보여주는 AR 기술이다. 아직까지 사람의 얼굴을 인식하여 매칭 시키 는 기술은 기초적인 부분에 머무르고 있으나 다양한 연구가 진행되고 있다. 또한 이미지 매 칭 기술은 영화 포스터를 인식하여 해당 영화의 정보를 보여주거나, 책의 이미지를 인식하 여 책의 정보 또는 책을 구매할 수 있도록 연결 시켜주기도 한다. 대표적인 서비스로는 Otello(by Vodafone), Point And Find(by Nokia), 그리고 Goggles (by Google) 등이 있 다. <그림 13>의 <가>는 TAT Mobile의 AR ID라는 서비스의 Demo화면이다. <나>는 Google의 대표적인 이미지 매칭 서비스인 Goggls의 서비스 화면이며, 안드로이드 운영체제 를 탑재한 스마트폰에서만 구현이 가능하다.
<가> AR ID[41]
<나> Google Goggles Demo[42]
<그림 13> Computer vision based AR의 시연 화면 Hybrid Tracking Techniques은 위의 여러 기술들을 복합적으로 사용하여 서비스하는 기 술을 말하며, 국내업체인 올라웍스가 개발한 ScanSerch의 경우 Sensor를 이용한 위치기반 AR과 이미지 매칭을 이용한 검색 서비스를 제공하고 있는데, 이러한 애플리케이션이 대표 적인 Hybrid Tracking Techniques을 이용한 서비스이다. 그리고, 최근 AR 기술은 한가지 기술만이 아닌 여러 기술들이 복합적으로 사용되고 있으며, 향후에는 이러한 기술들이 더욱 정교하게 결합될 것으로 기대된다. 올라웍스의 ScanSerch는 2010년 3월 22일 애플의 App Store에 업로드 된 후 10일 만에 222,438건이 다운로드 되는 돌풍을 일으키기도 했으며, 이미지 매칭 서비스의 경우 국내 검색결과로는 Google의 Goggles보다 정교한 검색 결과를 보여준다. 2-2-2. Interaction Techniques와 User Interfaces Interaction Techniques and User Interfaces로는 Tangible AR, Collaborative AR, Hybrid AR Interface로 나누어진다. Tangible AR은 촉감형AR 이라고 하며, 사용자로 하여금 몰입을 할 수 있도록 도와주는 저작 도구이다. Tangible AR 시스템 에서는 실제 물체를 직접 손으로 만지며 조작하여 그 위에 고정된 가상 객체를 함께 조작하게 된다. 사용자는 카메라가 앞에 부착된 HMD를 착 용하고, HMD로 보이는 카메라 영상을 통해 실세계를 보면서 마커가 부착된 실제 물체들을 다루게 되며, 컴퓨터는 카메라로 들어온 영상에서 마커의 위치를 추적하여 그 위에 가상 물 체를 덧그려 준다. 이러한 환경에서 사용자는 실제물체 위에 나타나는 3차원 장면을 관찰하 거나, 특정 실제물체들을 서로 가까이 가져가는 등의 방법으로 가상 물체들과 상호작용 한 다.[43]
Tangible AR은 사용자가 직접 물체를 손으로 만지고 조작하면서 AR을 경험 할 수
있기 때문에 사용자가 콘텐츠에 몰입할 수 있다는 장점이 있으며, 많은 분야에서 응용 될 것으로 기대된다. <그림 14>은 SF영화 IRON MAN2에서 보여주는
Tangible AR의 미래
모습이다. 아직까지 갈 길이 멀지만, 궁극적으로는 아래와 같은 형태로 발전될 것이다.
<그림 14> IRON MAN2 Trailer[44]
특히, Tangible AR 사용자의 촉감을 이용한다는 점에서 성인 콘텐츠 시장에서 많은 관심 을 가지고 있는 분야이며, 2010.1.8일 미국의 AV업체인 Pink Technology는 AR을 이용한 Porn 소프트웨어를 공개할 것이라고 발표하였는데, 이와 같은 성인 콘텐츠 시장에서의 AR 의 발전 가능성은 매우 높다고 할 수 있다.
[45]
Collaborative AR은 Hand held 또는 HMD를 이용하여 다수의 사용자와 끊임없는 인터 랙션을 하는 기술이다. 즉, 상대가 있는 게임을 함께 하거나, 도시 설계와 같이 여러 아이디 어를 배치 및 구성, 간단한 변형이 이루어지는 작업에서 적합한 AR이라고 할 수 있다. 위에 서 언급했던
Reitmayr와 Schmalstieg는 Mobile Collaborative AR(MCAR)을 발전시킨 형
태로 Anders Henrysson 등은 두명의 사용자가 모바일 카메라폰을 사용하여 테니스 경기 (AR Tennis)를 하는 게임 형태를 발표하기도 하였다.[46] 디스플레이 장치로는 Hand held Mobile 단말기, HMD, Projection Screen 등이 있다. <그림 15>은 Collaborative AR를 시연하는 장면이다. <가>는 다수의 사용자가 회의를 진 행하면서 가상의 객체를 공유하면서 다른 한명은 다른 장소에서 PC 모니터를 이용하여 가 상의 아바타를 사용하여, Collaborative AR을 구현한다. <나>는 모바일 폰을 이용한 Art of Defense라는 게임이다. 특정한 정보가 입력되어있는 Marker를 깔아놓고, 모바일폰으로 마커를 인식하면서, 두명의 사용자가 번갈아 가면서 게임을 진행한다. 이게임은 조지아공대 (http://www.cc.gatech.edu/ael/) 에서 개발하였다.
<가> ACME( Augmented Collaboration in Mixed Environments) 시연 장면(좌측)[47] <나> Art of Defense - A Collaborative Augmented Reality Game(우측)[48]
<그림 15> Collaborative AR를 시연하는 장면 Hybrid AR Interface는 Tangible AR과 Collaborative AR이 복합적으로 결합된 형태의 AR이다. 향후에는 대부분의 AR이 다수의 사용자가 참여하는 형태로 발전할 것이다. 또한, 다수의 사용자가 커뮤니케이션하는 SNS와의 결합은 새로운 Collaborative AR의 서비스 모 델이 될 것이다. 2-2-3. Display Techniques Display Techniques으로는 See-through HMDs, Projection-Based Displays, Handheld Displays 등으로 나누어지고, See-through HMDs는 Optical see-through HMD와 Video see-through HMD로 구분 할 수 있다. Optical see-through HMD는 사용자의 눈앞에 반투과성 광학 합성기가 부착되어있으며, 사용자는 광학 합성기를 통해 실세계 환경을 직접 보면서, 광학 합성기로 투사되는 가상 영 상을 동시에 볼 수 있다. 그러나 광학 합성기를 통해 보는 실세계 모습은 빛이 100% 투과 되지 않아 실제보다 어둡게 보이며, 가상 영상 역시 선명하게 볼 수 없다는 단점이 있다. 또한 실세계 환경은 해상도와 관계없이 항상 볼 수 있으나, 가상 영상에서는 해상도의 영향
을 많이 받는 단점이 있다. Video see-through HMD는 실세계 환경에 대한 영상을 획득하기 위하여 HMD에 1개 이 상의 카메라가 별도로 설치되어 있다. 그리고 비디오 합성기를 이용하여 카메라로부터 입력 되는 실세계 영상과 컴퓨터에서 생성한 가상 영상을 합성하여 HMD에 부착된 LCD와 같은 디스플레이 장치에 보여주게 된다. 현재 개발된 HMD는 컴퓨터에서 생성한 가상 영상 스트 림과 카메라를 통해 얻은 실세계 영상 스트림을 합성하기 위해서 비디오 합성기와 같은 별 도의 부가 장치가 필요하다. HMD를 착용함으로써 사용자의 불편이 가중될 뿐만 아니라 고 가의 부가장치들이 추가되어야 하므로 자연스럽게 제작비용이 증가하게 된다. 이러한 문제 점을 해결하기 위해 Non-HMD(Non-Head Mounted Device)가 사용된다. Non-HMD(Non -Head Mounted Device)는 소형 및 대형 디스플레이장치로 구분된다. 소형 디스플레이 장 치는 의료 분야와 같이 고해상도의 영상이 필요하고, 무거운 HMD를 착용할 수 없는 특수 한 환경에서 사용된다.
[49]
Projection-Based Displays는 빛을 투사하여 AR을 Display하는 방식이다. 이 방식은 실 제 세계에 빛을 투사하여 AR을 보여주는 방식과
프로젝터에서 투사한 영상을 모바일 단말
기를 이용하여 투사한 영상에서 다양한 정보를 입력받아 모바일 단말기에서 AR을 구현하는 방식이 있다.[50] <그림 16>은 Portable Projection-Based AR System의 구성도 이다.
<그림 16> Portable Projection-Based AR System
Handheld Displays는 휴대폰뿐만 아니라 PMP, 휴대용 디지털 TV수신기, PSP와 같은 휴 대용 게임기, PDA 등 종류가 매우 다양하다. 또한, 현재 사용되고 있는 휴대폰은 대부분 카 메라를 내장하고 있기 때문에 고가의 추가 장비 없이도 증강 현실에 활용되기 좋은 조건을 가지고 있다. 최근에는 다양한 센서를 내장하고 있는 스마트폰의 보급으로 Handheld Displ ays를 이용한 AR이 다양하게 구현되고 있다. (<그림 17> 참조)
<그림 17> Hand held Display[51]
2-2-4. Filter(Application) 현황 증강된 다양한 정보를 사용자가 알맞게 사용하려면 정보가 필터링 되어야한다. 이러한 기 능을 하는 것을 Application이라고 하며, 현재 스마트폰을 이용하는 Application과 Web에 서 구현되는 Application, 그리고 Desktop에서 구현되는 Application이 있다. 이외에도 다 양한 별도의 단말기와 Platform을 사용하는 AR이 있지만, 일반적으로 쉽게 직접 AR을 체 험해볼 수 있는 Application의 현황을 알아보고자 한다.
아래의 <표 1>부터 <표 6>까지는 AR Application의 현황을 Platform을 기준으로 구분하 여 정리했다. 기존의 http://www.augmentedplanet.com 에 있는 AR Application현황을 참 고했으며, 추가적으로 업데이트했다.각 표안에 언급한 해당 웹사이트를 방문하면 해당 어플 리케이션의 자세한 설명이 나와 있으며, 바로 다운로드도 가능하다. 현재는 아이폰 전용 Application이 가장 많고, Android 전용 Application도 증가 추세에 있다. Web Application 의 경우 웹캠이 설치되어있으면 마커를 프린터하여 AR을 직접 체험해 볼 수 있다. <표 1> 스마트폰 Platform (iPhone 전용) AR Application 현황 No. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36
Name Robotvision Yelp acrossair Find cheap gas World Surfer WhereMark UrbanSpoon WorkSnug Pro Peak.ar Museum of London Stella Artois AugMeasure Virtual Graffiti iNeedCoffee Odiyar arPharm ScanSearch Sekai Camera Gunman 범용 3D AR 황금축구화 Love Plus Theodolite Pro Arcade Reality Pocket Universe 부동산AR Fairy Trails NearestPlaces London Bus Metro Paris Subway TwittAround Bionic Eye Firefighter 360 AR Quoits Car Finder iPew
Platform iPhone iPhone iPhone iPhone iPhone iPhone iPhone iPhone iPhone iPhone iPhone iPhone iPhone iPhone iPhone iPhone iPhone iPhone iPhone iPhone iPhone iPhone iPhone iPhone iPhone iPhone iPhone iPhone iPhone iPhone iPhone iPhone iPhone iPhone iPhone iPhone
Web Site http://robotvision.elan3.com/ http://www.yelp.com/ http://www.acrossair.com/ http://bit.ly/Find_Chip_Gas http://bit.ly/World_Surfer http://www.wheremark.com/ http://bit.ly/Urban_Spoon http://www.worksnug.com/ http://bit.ly/Peak_ar http://bit.ly/Museum_of_London http://bit.ly/Stella_Artois_AR http://bit.ly/Aug_Measure http://bit.ly/Virtual_Graffiti http://bit.ly/iNeedCoffee http://bit.ly/Odiyar http://bit.ly/arPharm http://bit.ly/Scan_Search http://bit.ly/Sekai_Camera http://bit.ly/Gunman_AR http://bit.ly/3D_AR http://bit.ly/Gold_Football http://bit.ly/Love_Plus http://bit.ly/Theodolite http://www.toyspring.com/arcade/ http://bit.ly/Pocket_Universe http://bit.ly/BudongSan_AR http://bit.ly/Fairy_Trails http://bit.ly/Nearest_Places http://www.londonbusesiphone.com/ http://www.metroparisiphone.com http://bit.ly/Twitt_Around http://www.bionic-eye.com/ http://www.firefighter360.com/ http://bit.ly/AR_Quoits http://bit.ly/Car_Finder http://bit.ly/iPew_AR
Price 무료 무료 무료 무료 무료 무료 무료 무료 무료 무료 무료 무료 무료 무료 무료 무료 무료 무료 무료 무료 무료 ¥600 $3.99 $2.99 $2.99 $2.99 $1.99 $1.99 $0.99 $0.99 $0.99 $0.99 $0.99 $0.99 $0.99 $0.99
<표 2> 스마트폰 Platform (NOKIA-Symbian 전용) AR Application 현황 No. 1 2 3 4 5 6
Name AR Tower Defense AR Rougelike ARound Fanta Virtual Tennis Virtual Fanta Crew Point&Find
Platform Nokia Nokia Nokia Nokia Nokia Nokia
Web Site http://cellagames.com/artd.html http://cellagames.com/arogue.html http://bit.ly/ARound http://www.fanta.eu/ http://www.fanta.eu/ http://bit.ly/Point_Find
Price 무료 무료 무료 무료 무료 무료
<표 2> 스마트폰 Platform (Android 전용) AR Application 현황 No. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21
Name Picture AR Library Sky Maps Kakinada AR Augmented Views Bubbles Traffic Views WAYFINDER NYC 3D Compass The Voice for Android YELLOW PAGES ANDROID ARCHER AUGMENT THIS ARU SOMAVIEW MOVUE AugSatNav Superpages My AR SPECTREK Space InvadAR CAR FINDER AR
Platform Android Android Android Android Android Android Android Android Android Android Android Android Android Android Android Android Android Android Android Android Android
Web Site http://vivifypicture.com/ http://www.google.com/sky/skymap/ http://bit.ly/Kakinada http://bit.ly/Augmented_Views http://bit.ly/Bubbles_AR http://bit.ly/buMXRY http://bit.ly/WAYFINDER_NYC http://bit.ly/3D_Compass http://bit.ly/VOICE_ANDROID http://bit.ly/YELLOW_PAGES http://bit.ly/ANDROID_ARCHER http://bit.ly/AUGMENT_THIS http://bit.ly/AR_U http://bit.ly/SOMA_VIEW http://bit.ly/MOVUE http://bit.ly/AugSatNav http://bit.ly/Superpages http://bit.ly/cpkDm7 http://bit.ly/SPECTREK http://bit.ly/Space_InvadAR http://bit.ly/CAR_FINDER_AR
Price 무료 무료 무료 무료 무료 무료 무료 무료 무료 무료 무료 무료 무료 무료 무료 무료 무료 £0.50 €1,99 $25 € 1.99
<표 3> 스마트폰 Platform (Android/iPhone 공용) AR Application 현황 No. 1 2 3 4 5
Name Layar Wikitude DishPointer Junaio Zagat to go
Platform Android/iPhone Android/iPhone Android/iPhone Android/iPhone Android/iPhone
Web Site http://www2.layar.com/ http://www.wikitude.org/ http://www.dishpointer.com/ http://www.junaio.com/ http://www.zagat.com/
Price 무료 무료 무료 무료 $9.99
<표 5> RIA Platform (Adobe Flash) AR Application 현황 No. 1 2 3 4 5 6 7 8 9 10 11 12
Name Five Lives Of Criss Cannon Ballz Duckzilla Star Trek We are Autobots Living Sasquatch Smart Grid Talking Dog Video 9 The Movie Lost Valentinos Baseball American Football
Genre Game Game Game Game Game Game Game Game Game Music Video Game Game
Web Site http://bit.ly/Five_Lives_Of_Criss http://bit.ly/Cannon_Ballz http://www.rubberduckzilla.com/ http://bit.ly/Star_Trek_AR http://bit.ly/Autobots_AR http://livingsasquatch.com/ http://bit.ly/Smart_Grid_AR http://bit.ly/Talking_Dog http://bit.ly/9_The_Movie http://www.lostvalentinos.com/ http://bit.ly/Baseball_AR http://bit.ly/Football_AR
Price 무료 무료 무료 무료 무료 무료 무료 무료 무료 무료 카드구매 카드구매
<표 6> Desktop Platform AR Application 현황 No. 1 2 3
Name ARTetris AR Player AR Sights
Genre Game Demo Tool
Web Site http://bit.ly/AR_Tetris http://bit.ly/AR_Player http://www.arsights.com/
Price 무료 무료 무료
위의 표에서와 같이 현재 스마트폰 AR Application의 대부분이 아이폰과 Android 탑재폰 이 대부분임을 알 수 있다. 하지만, MS도 자사의 RIA(rich Internet Application) 저작도구 인
Silverlight를 이용하여 AR을 구현할 수 있는 SLARTookit[52]을 발표하였고, Silverlite
는 MS의 차세대 모바일 OS인 Windows Mobile 7에 기본 탑재할 예정이기 때문에 AR Ap plication도 Apple, Goolgle, MS 등 다양한 플랫폼에서 AR 애플리케이션이 제작될 수 있는 환경이 구축되었다. 3. AR(증강현실) 서비스 동향 및 향후전망 AR은 현실세계와 가상세계를 연결하며 지식과 정보에 대한 실제에 가까운 체험을 제공함 으로써 사용자에게 현실감과 몰입감 제공이 가능하고, 사용자의 적극적인 참여유도와 상호 작용이 가능하다. 다양한 공간에서 정보 서비스의 이용 편의성이 증대되며, 산업현장에서 형상화된 실시간 정보를 전달하여 실수나 비효율을 방지 할 수 있다는 점에서 게임, 의료, 건설, 방송, 교육, 광고, 출판 등 다양한 영역에서 사용되고 있다. 그리고, 가까운 미래에 AR을 사용한 많은 콘텐츠들이 등장할 것으로 기대를 하고 있다. 위와 같은 응용분야가 확 대 되면서, 새로운 사업 기회를 창출할 것으로 예상되며, 시장조사 업체 Juniper Reserch는 AR 시장이 2010년 200만달러 미만에서 2014년 7.3억달러 이상으로 성장할 것으로 예측하 기도 하였다.[53] 이번 장에서는 각 분야에서의 AR을 이용한 사례와 향후의 AR 서비스에 대한 전망을 알아 보기로 한다. 3-1. 게임분야 Sony의 PSP 전용 게임으로 인비지몬(원제 : 인비지멀)은 실제 눈에 보이지 않는 가상의 동물을 현실세계에 등장하게 하여, PSP를 이용해 포획하고 진화시켜 서로 대결 시킨다. 이 게임은 PSP 내부의 다양한 기능과 센서, 그리고 마커를 이용한 AR 전용 게임이다.
또한,
Sony는 PS3용 AR게임인 EyePet이라는 게임도 출시하였는데, 이 게임은 예전에 선풍적인 인기를 끌었던 ‘다마고치’와 유사한 게임으로 AR을 이용하여 애완동물을 키우는 게임이다. <그림 18>는 인비지몬과 EyePet의 시연 장면이다.
<가> 인비지몬
<나> EyePet
<그림 18> Sony의 AR 게임 인비지몬과 EyePet의 시연 장면[54] <그림 12><다>에서 언급했던 국내 AR 업체 제니텀의 Space Invadar는 세계 최초로 Markerless AR 게임으로 80년대 유행했던 고전 게임인 Space Invader를 AR을 이용하여 구현한 게임으로 마치 우주에서 전쟁하는 것 같은 느낌을 준다. 그리고, 삼성에서는 자신들 의 모바일 OS인 BADA 전용 Tangible AR 게임인 Kick Ball[55]을 런칭했는데, 자신의 발 을 인식하여 축구공을 튕기는 AR 게임으로 이다. 또한
AR연구에 있어서 많은 결과물을 발표하고 있는 Blair MacIntyre가 이끄는 조지아공
대(http://www.cc.gatech.edu/ael/)와 SCAD(Savannah College of Art and Design)가 협 업하여 개발한 ARhrrrr[56]은 AR을 이용한 Shooting 게임이며, 그래픽과 시나리오 등이 놀 라운 수준이다.[57] 이러한 AR을 응용한 게임은 앞으로 더욱 많이 증가할 것으로 예상된다.
3-2. 의료분야 의료분야 또한 AR을 이용한 다양한 기술들이 개발 되고 있으며 유용하게 쓰일 수 있는 산업분야이다. 특히 의사의 수련 및 교육을 할 때 큰 도움이 될 수 있으며, 의사에게 수술 중인 환자의 정보나 상태, 수술 부위의 정확한 위치를 실시간으로 형상화시켜 보여주거나, 이상적인 수술의 순서와 위치를 실제상황에서 이미지나 영상으로 전달함으로써 안전과 효율 성을 증진시킬 수 있다. <그림 19>의 <가>는 JHU(Johns Hopkins University)의 로봇과 AR을 이용한 수술 장면이고[58], <나>는 센서가 부착된 모형 두상에 AR을 이용하여 뇌의 모습을 보여주는 장면이다.[59]
<가> JHU Sensory Substitution Project
<나> A brain scan is added to head.
<그림 19> AR의 응용-의료분야 3-3. 건설 및 제조분야 건설 및 제조분야도 산업의 특성상 AR이 적용되었을 때 많은 효과를 볼 수 있는 산업분야 이다. 일일이 목합이나 모형을 만들어야 했던 것들을 쉽게 AR을 이용해 입체적으로 구현해 낼 수 있다. 또한, 공사 현장이나 제조 현장에서도 AR을 이용하면 안전하고, 정확한 공사를 할 수 있을 것이다. <그림 20>의 <가>는 인테리어 가구배치와 쇼핑몰을 결합한 모델인데, 자신의 집안의 사진을 업로드 한 후 AR을 이용하여 쇼핑몰내의 가구를 직접 배치해보고 구 입할 수 있도록 한 것이다. <나>는 원하는 건축물의 모형을 AR을 이용하여 스케치하는 것 이다. 모형 제작 시 많은 비용이 들어가는데 비해서 AR을 이용하면 비용을 줄일 수 있다.
<가> AR을 이용한 가구배치[60]
<나> AR SketchUP[61]
<그림 20> AR의 응용-건축분야 <그림 21>는 ISMAR07 에서 컬럼비아 대학 연구팀이 발표한 미국 해병대의 공병들이 AR (ARMAR-Aumented Reality for Maintenance and Repair)[62]을 이용해서 유지보수 시간 을 거의 절반으로 줄인 사례이다. 유지보수를 해야만 하는 제조 공장에서 수많은 기계의 매 뉴얼을 들춰가면서 수리를 하는 것은 매우 어려운 일이다. 하지만 AR을 이용하여 여러 가 지 형태의 라벨과 경고, 애니메이션 등을 적절하게 조합한 매뉴얼을 제작하여 실시간 도움 을 받을 수 있다면, 업무처리가 더욱 수월해 질 것이다. BMW의 자동차 수리에 관련한 동
영상에는 이러한 AR 기술이 어떻게 응용될 수 있는지 잘 나타내고 있다.[63]
<그림 21> ARMAR 시연 장면[64]
3-4. 방송분야 방송분야에서는 다양하게 AR이 활용되고 있다. 특히 예능프로그램이나 스포츠 중계에서 많이 활용되고 있다. <그림 22><가>는 가요프로그램에서의 AR을 응용한 모습이다.<그림 22><나>는 스포츠 중계에서의 AR을 활용한 것이다. 실제 경기에서는 볼 수 없는 선수의 이름과 거리 등의 정보를 AR로 보여준다.
<가>방송에서의 AR 구현 장면[65] <나> 스포츠 중계에서의 AR
<그림 22> AR의 응용 - 방송분야 그리고, 최근 MIT Media Lab에서는 AR을 이용한 'Surround Vision'[66][67]이라는 기술 을 개발하였다. 이 기술은 TV화면을 벗어난 장면을 아이패드와 같은 타블렛 PC나 스마트 폰을 이용하여 시청할 수 있도록 하는 기술이다. 이러한 방법으로 TV가 가지고 있는 시야 각을 벗어난 전 방위적 화면접근이 가능하게 된 것이다. 이러한 기술이 상용화되어 콘서트 나 스포츠 중계와 같이 현장감이 중요한 콘텐츠를 제작할 때 이용된다면 훨씬 더 현장감이 느껴질 것이다. 최근 스포츠 경기 중계에 가상 광고를 도입하는 것이 가능해 짐에 따라, 방송계에서의 AR 에 대한 관심이 더욱 높아지고 있으며, AR을 응용한 증강 방송, 나아가 향후 방송에서는 A R과 3D가 결합하여, 홀로그램과 유사한 형태의 콘텐츠가 개발될 것으로 예상된다. 2010년 5월 12일과 13일 한국방송공학회에서는 증강방송(Augmented Reality Broadcast ing)이라는 주제로 춘계 워크숍을 개최하였으며, 증강방송, UHDTV, 다시점방송, 홀로그램T V 등의 미래 방송 서비스 연구 개발에 대한 현황과 전망 등에 대해서 다양한 논의가 진행 되었다.[68] 3-5. 기타 분야(교육, 광고, 출판, 군사 등) AR이 가장 많이 응용될 것으로 보이는 분야가 교육, 광고, 출판 분야가 될 것이다. 특히, 광고, 마케팅 부분은 현재 가장 많이 활용되고 있는 분야이다. 대표적인 예로는 남성잡지 E
squire의 잡지광고[69], BMW Mini의 광고[70], 국내 청바지 업체 ‘빈폴’의 AR 메케팅 켐페 인[71] 등이 있으며, AT&T에서는 최근 월드컵 시즌을 겨냥하여 AR을 이용한 배너광고를 선보이기도 하였다.[72] 교육이나 출판 분야에서는 Demo용 콘텐츠는 많이 선보이고 있지만[73][74], 콘텐츠 제작비 용이 많이 드는 단점 때문에 도입이 늦어지고 있다. 향후 기술 개발을 통해서 콘텐츠 제작 비용을 낮춘다면, AR을 이용한 교육 및 출판 콘텐츠로 옮겨갈 것으로 예상된다. 이 외에도 AR을 이용한 쇼핑몰[75], AR을 이용하여 소비자의 궁금증을 해결한 LEGO의 D igital Box[76], AR을 이용한 Figure 제품인 Cyber Maid Alice[77], AR이 Military 분야에 도 적용될 수 있다는 가능성을 보여준 Animated Terrain[78] 등이 있다. 특히 Military 분야에서는 전쟁 시뮬레이션, 군사작전, 그리고 향후 군인들을 훈련시키거나 현실감 있는 전투 환경을 조성하는 것도 가능할 것으로 예상된다. 4. 결론 및 향후 과제 이제까지 본고에서는 AR의 역사 및 기술적인 개요, 현재의 AR의 현황과 AR의 발전방향에 대해서 살펴보았다. AR은 실제 세계와 가상 세계를 실시간으로 혼합하여 사용자에게 정보 를 제공함으로써 정보사용을 극대화 시키는 기술이며, 향후 자동차, 의료, 방송 등의 다양한 분야에서 응용 될 수 있는 기술이다. 하지만, 아직까지 AR은 기술적인 면에서 정점에 올라 오지 못한 상태이다. 현재 AR 기술은 Augmented Vision로 가기에는 트래킹 시스템, 실시 간 렌더링과 다양한 모바일 기기에 대한 지원 기술 등 극복해야할 기술적 한계점이 존재하 고, 사용자가 몰입감과 현실감을 가질 수 있도록 하는 특화된 사용자 상호 작용 기술이 요 구되며[79], 추적과 시각화와 같은 기술의 적용으로 인해 야기될 수 있는 개인의 사생활 프 라이버시 침해 문제 등 극복해야하는 문제들이 많이 있다.[80] 하지만, 이러한 문제점에도 불구하고, AR 기술 및 서비스의 형태로 볼 때 우리의 생활에 밀접한 영향을 줄 것이라고 확신한다. 최근 스마트폰과 같은 복합적인 Hand held 모바일 기기들이 AR 서비스는 사용자에게 새로운 경험을 주고 있다. Hand held based Mobile A R은 위치정보와 결합하고, 즉시성을 확보하여, 사용자가 원하는 정보를 실제 세계와 결합하 여 보여준다. 또한 Hand held based Mobile AR은 사용자가 원하는 정보를 실시간으로 제 공해줄 수 있다는 점에서 차세대 웹 서비스로 예측하고 있는 시멘틱 웹[81]과 밀접한 연관 성을 가지고 있다. 이러한 개념을 가진 CAMAR(Context Awareness Mobile Augmented Reality : 맥락 인지 AR) 기술에 대해 많은 부분 연구가 진행 중에 있으며, 이러한 기술을 바탕으로 유비쿼터스 환경에서의 AR(UAR-Ubiquitous AR)로 진화 되어 갈 것이다. AR 서비스는 독자적인 기술과 산업으로 발전하는 것도 중요하지만, 실생활과 밀접한 연 관성을 가진 다양한 콘텐츠와의 결합이 이루어져야하며, 사용자들의 경험을 축적시켜야 한 다. 3D 콘텐츠를 넘어 홀로그램 콘텐츠 시대에 주도적인 역할을 하는 기반 기술로 자리 잡 기 위해서는 다양한 사용자의 경험 축적이 필수적이기 때문이다. 현재 AR은 개발업체들이 서로 독자적인 기술개발을 해왔으며, 많은 영역을 스스로 고민하 며 개척해 왔다. 여기까지를 AR1.0이라고 본다면, 이제는 참여, 공유, 개방, 협업을 통한 AR 2.0시대로 가야만 한다. 기술 개방을 통해서 많은 사람들이 AR 콘텐츠 제작 및 매쉬업을 할 수 있는 장을 마련해 주여야 한다. 이미 해외 모바일 AR 업체인 Layar의 경우 개방형 구조로 자신들의 AR기술
을 공개하였고, 현재 전 세계적으로 300개의 레이어가 수평적인 관계에 의한 협력회사에 의해 지원되고 있으며, Active Layar content creators라 불리는 협력업체가 1,500개 업체 이상 된다. 지원되는 레이어는 유튜브, 트위터, 포스퀘어, 게임, 날씨, 교통 정보 등 거의 모 든 분야의 정보가 Layar 증강현실 브라우저를 통해 제공되고 있다. 이렇듯 개방, 공유, 참 여를 통한 집단지성과 크라우드소싱에 의해 다양한 콘텐츠가 생산되고 기술개발이 이루어져 야 한다. 본고에서는 AR의 기술적인 부분의 발전과정과 현황을 알아보고 이에 대한 문제점 및 해결 방안이 무엇인지 생각해보았다. 하지만, 사용자 입장에서의 AR을 어떻게 바라보고 있는지에 대한 부분이 미흡 하였다. 사용자의 AR 서비스의 만족도에 대한 연구와 서비스를 지속적으 로 이용하려면 어떠한 유인이 필요한가에 대해서도 연구(사용자 충성도 연구)가 계속해서 이루어져야 할 필요가 있다. 이러한 연구를 통해 개발업체(산업)와 학교, 그리고 소비자가 유기적으로 피드백되는 생태계 구성을 위해 노력해야만 한다.
* 참고문헌 [1] R. T. Azuma. A survey of augmented reality. In Presence: Teleoperators and Virtual Environments, 6(4) pp.355-385, 1997. [2] Azuma, R., et al., “Recent Advances in Augmented Reality,” IEEE Computer Graphics and Applications, vol. 21, no. 6 (Nov/Dec 2001), 34-47 [3] Sutherland, I., “A Head-Mounted Three-Dimensional Display,” Fall Joint Computer Conf. Proc. 33, Thompson Books,Washington, D.C., 1968, pp. 757-764 [4] 정동영, ‘증강현실’이 가져올 미래 변화, SERI 경영노트, 2010.3.11.(제 46호) [5] https://www.icg.tugraz.at/~daniel/HistoryOfMobileAR/ [6] Sutherland, I., “A Head-Mounted Three-Dimensional Display,” Fall Joint Computer Conf. Proc. 33, Thompson Books,Washington, D.C., 1968, pp. 757-764 [7] T. P. Caudell, and D. W. Mizell, “Augmented Reality: An Application of Heads-Up Display Technology to Manual Manufacturing Processes”, Proceedings of 1992 IEEE Hawaii International Conference on Systems Sciences, 1992, pp 659-669. [8] J. Loomis, R. Golledge and R. Klatzky, “Personal guidance system for the visually impaired using GPS, GIS, and VR technologies”, Proceedings of Conference on Virtual Reality and Persons with Disabilities, 1993. [9] G. W. Fitzmaurice, "Situated information spaces and spatially aware palmtop computers", Communications of the ACM, Special issue on computer augmented environments: back to the real world, 1993, vol. 36, issue 7, pp. 39-49. [10] P. Milgram and F. Kishino, "Taxonomy of Mixed Reality Visual Displays", IEICE Transactions on Information and Systems, 1994, pp. 1321-1329. [11] J. Rekimoto and K. Nagao, “The World through the Computer: Computer Augmented Interaction with Real World Environments”, Proceedings of the 8th annual ACM symposium on User interface and software technology (UIST '95), 1995, pp. 29-36. [12] http://www.youtube.com/watch?v=S6XKPEexRbU [13] Rekimoto, J. (1996). Augmented Reality Using the 2D Matrix Code. In Proceedings of the Workshop on Interactive Systems and Software (WISS'96). [14] R. Azuma, “A survey of augmented reality”, Presence: Teleoperators and Virtual Environments, 1997, pp. 355–385. [15] S. Feiner, B. MacIntyre, T. Höllerer and A. Webster, “A touring machine: Prototyping 3D mobile augmented reality systems for exploring the urban environment”, Proceedings of First IEEE International Symposium on Wearable Computers (ISWC '97), 1997, pp 74–81. Cambridge, MA. [16] H. Kato and M. Billinghurst, Marker tracking and HMD calibration for a video-based augmented reality conferencing system, Proceedings of the 2nd IEEE and ACM International Workshop on Augmented Reality (IWAR 99), 1999, pp. 85-94. [17] ARtoolkit의 홈페이지 : http://www.hitl.washington.edu/artoolkit/ [18] T. Höllerer, S. Feiner, and J. Pavlik, Situated documentaries: Embedding multimedia presentations in the real world, Proceedings of the Third IEEE International Symposium on Wearable Computers (ISWC 99), 1999, pp. 79-86.
[19] AR-Quake의 게임 장면은 유튜브에 업로드 되어있다. http://www.youtube.com/watch?v=yNYfkxqiB6g [20] Six degrees of freedom (6DoF) refers to motion in three dimensional space, namely the ability to move forward/backward, up/down, left/right (translation in three perpendicular axes) combined with rotation about three perpendicular axes (yaw, pitch, roll). As the movement along each of the three axes is independent of each other and independent of the rotation about any of these axes, the motion indeed has six degrees of freedom. [21] B. Thomas, B. Close, J. Donoghue, J. Squires, P. De Bondi, M. Morris and W. Piekarski, “ARQuake: An Outdoor/Indoor Augmented Reality First Person Application”, Proceedings of the 4th International Symposium on Wearable Computers, 2000, pp. 139-146. [22] 이미지 출처 : http://wearables.unisa.edu.au/projects/arquake/ [23] J. Fruend, C. Geiger, M. Grafe and B. Kleinjohann, ”The Augmented Reality Personal Digital Assistant”, Proceedings of the Second International Symposium on Mixed Reality (ISAR 2001), 2001. [24] G. Reitmayr, and D. Schmalstieg, “Mobile Collaborative Augmented Reality”, Proceedings of the International Symposium on Augmented Reality, 2001, pp. 114-123. [25] Browsing the Real-World Wide Web: Maintaining Awareness of Virtual Information in an AR Information Space, Kooper, R., MacIntyre, B., In International Journal of Human-Computer Interaction, Vol. 16, Nr. 3, pp. 425-446 December 2003 [26] M. Kalkusch, T. Lidy, M. Knapp, G. Reitmayr, H. Kaufmann and D. Schmalstieg, “Structured Visual Markers for Indoor Pathfinding”, Proceedings of the First IEEE International Workshop on ARToolKit (ART02), 2002. [27] G. Reitmayr and D. Schmalstieg, “"Location based Applications for Mobile Augmented Reality,”" Australasian User Interface Conference(AUIC2003), 2003 [28] 홍동표, 우운택, “모바일 증강현실 시스템에 대한 연구동향”, 정보과학회지 제 26권 제1호, 2008.1 [29] A. D. Cheok, S. W. Fong, K. H. Goh, X. Yang, W. Liu and F. Farzbiz, “Human Pacman: a sensing-based mobile entertainment system with ubiquitous computing and tangible interaction” Proceedings of the 2nd Workshop on Network and System Support For Games (NetGames '03), 2003, pp. 71-81. [30] M. Möhring, C. Lessig and O. Bimber, “Video See-Through AR on Consumer Cell Phones”, Proceedings of the 3th IEEE/ACM international Symposium on Mixed and Augmented Reality (ISMAR 04), 2004, pp. 252-253 [31] M. Rohs and B. Gfeller, “Using Camera-Equipped Mobile Phones for Interacting with Real-World Objects”, Advances in Pervasive Computing, 2004, pp. 265-271. [32] G. Klein and D. Murray, “Parallel tracking and mapping for small ar workspaces”, Proceedings of 6th IEEE and ACM International Symposium on Mixed and Augmented Reality (ISMAR 2007), 2007, pp. 225-234. [33] 출처 : http://theinspirationroom.com/daily/2007/augmented-reality-at-wellington-zoo/ [34] Feng Zhou, Henry Been-Lirn, Mark Billinghurst, “Trends in Augmented Reality Tracking, Interaction and Display:A Review of Ten Years of ISMAR”, IEEE International Symposium on Mixed and Augmented Reality 2008, 15 -18 September, Cambridge, UK. [35] Robert Rice, Ori Inbar,“Augmented Reality Roadmap-The 6 Elements od the AR Universe",ISMAR 2009 [36] 방준성, 최은주, “증강현실 국내외 기술동향과 발전전망”, 한국과학기술정보연구원 [37] PTAM : Parallel Tracking and Mapping [38] 이미지 출처 : http://www.youtube.com/watch?v=B13vRTEqt2U [39] 이미지 출처 : http://www.youtube.com/watch?v=Y9HMn6bd-v8&feature=related [40] 이미지 출처 : http://www.youtube.com/watch?v=olM58bjlMR4 [41] 이미지 출처 : http://www.youtube.com/watch?v=tb0pMeg1UN0 [42] 이미지 출처 : http://www.youtube.com/watch?v=8SdwVCUJ0QE&feature=related [43] 이건,김정현,마크 빌링허스트,“가상현실 기반 컨텐트의 몰입형 저작 기법”, 포항공과대학교 가상현실감 및 지각형미디어 연구실 [44] 이미지 출처 : http://www.youtube.com/watch?v=1JeDv4x18_E&feature=player_embedded [45] 기사 출처 : http://surl.wo.tc/25ba [46] Anders Henrysson, Mark Billinghurst, Mark Ollila, "Face to Face Collaborative AR on Mobile Phone", ISMAR 2005, 2005.9 [47] 이미지 출처 : http://www.youtube.com/watch?v=DNB0_c-5TSk [48] 이미지 출처 : http://www.youtube.com/watch?v=hSUuvgklsZw [49] 방준성, 최은주, “증강현실 국내외 기술동향과 발전전망”, 한국과학기술정보연구원 [50] Jihyun Oh, Byung-Kuk Seo, Moon-Hyun Lee, Hanhoon Park, and Jong-Il Park,“Portable Projection-Based AR System”,Hanyang University, ISVC 2007, Part II, LNCS 4842, pp. 742–50, 2007. [51] 이미지 출처 : 한국과학기술원 문화기술 대학원 [52] SLARTookit GUIDE : http://slartoolkit.codeplex.com/ [53] Juniper reserch(2009.11.24),Press Release: Augmented Reality on the Mobile to Generate $732 million by 2014, Driven by Mobile Apps and Mobile Advertising, according to Juniper Research, Press Realease. <http://www.juniperresearch.com/viewpressrelease.php?id=197&pr=166>
[54] 이미지 출처 : http://www.youtube.com/watch?v=kspROYrm6No [55] 삼성의 AR 게임 Kick Ball : http://www.youtube.com/watch?v=dw9XIL2wQ4s [56] ARhrrrr 시연 동영상 : http://www.youtube.com/watch?v=cNu4CluFOcw [57] http://health20.kr/846 참조 [58] 이미지 출처 : http://www.youtube.com/watch?v=YuRDa-kx5IY [59] 이미지 출처 : http://www.youtube.com/watch?v=9qqUrhGQEiE [60] 이미지 출처 : http://www.youtube.com/watch?v=Z4omx3zef5o [61] 이미지 출처 : http://www.youtube.com/watch?v=OtvALXXgcTA [62] Steven J. Henderson, Steven K. Feiner,"Aumented Reality for Maintenance and Repair(ARMAR), Columbia University, ISMAR 2007. [63] 참고 동영상 : http://www.youtube.com/watch?v=P9KPJlA5yds [64] 이미지 출처 : http://www.youtube.com/watch?v=LaJxNw4-GXo [65] KBS 뮤직뱅크 중 AR을 이용한 비디오 출력 장면, 촤측 상단에 AR 비디오가 화면에 표시된다. [66] MIT Media, MIT Media Lab unveils 'Surround Vision' - New system would let TV programs spill off the screen and into the living room<http://web.mit.edu/press/2010/augmented-tv.html> [67] 시연 동영상 링크 : http://c.brightcove.com/services/viewer/federated_f9/36804639001?isVid=1 [68] 한국방송공학회 워크숍 안내 링크 : http://www.kosbe.or.kr/event/sub2.php?ws_id=3 [69] Esquire의 AR을 이용한 잡지광고 : http://www.youtube.com/watch?v=LGwHQwgBzSI [70] BMW Mini의 AR을 이용한 자동차 광고 : http://www.youtube.com/watch?v=HTYeuo6pIjY [71] 빈폴의 AR 마케팅 켐페인 : http://www.beanpole.com/campaign/2ne1/2ne1_main.jsp [72] AT&T World Cup Augmented Reality Banner : http://www.youtube.com/watch?v=mJX1JheBe0A [73] GIST(광주과학기술연구소)가 개발한 디지로그북 : http://www.youtube.com/watch?v=D5gyUe63Oiw [74] 예림당에서 개발한 AR book 'Why?' : http://www.youtube.com/watch?v=oAfZvIhVM8M [75] http://www.tobi.com/ 에서는 The Webcam Social Shopper라는 AR을 이용한 쇼핑몰을 런칭하였다. 관련 동영상 : http://www.youtube.com/watch?v=NxQZuo6pFUw [76] 어린이 완구 회사 LEGO는 AR을 이용하여 실제 블록이 완성된 모습을 가상으로 확인하는 시스템을 도입했다. 참고 동영상 : http://www.youtube.com/watch?v=8UxWkZtUKaI
[77] 참고 동영상 : http://www.youtube.com/watch?v=yCCx7zANsGE [78] 참고 동영상 : http://www.youtube.com/watch?v=FdC-PRmNcRs [79] Sang-Goog Lee, Recent Advances in Augmented Reality, SAIT (Samsung Advanced InstituteofTechnology)TechnicalReportFeb-2005,pp.72-76,2005 [80] 이 상 국, 혼합현실 기술 연구개발 동행 및 전망, 컴퓨터그래픽스학회,제13권 2호 [2007] pp.1~15 (15pages) [81] 시맨틱 웹(Semantic Web)은 현재의 인터넷과 같은 분산환경에서 리소스(웹 문서, 각종 화일, 서비스 등)에 대한 정보와 자원 사이의 관계-의미 정보(Semanteme)를 기계(컴퓨터)가 처리할 수 있는 온톨로지형태로 표 현하고, 이를 자동화된 기계(컴퓨터)가 처리하도록 하는 프레임워크이자 기술이다.