2014-2 디지털 영상처리
2.Digital Image Processing 관련 분야
제1장
Digital Image Processing 관련 분야 1.1 1.1.1
개요 정의
• 컴퓨터를 사용하여 시각정보를 획득하고 처리하는 분야 • Acquisition and Processing of visual information by computer
가위바위보 : http://www.youtube.com/watch?feature=player_detailpage&v=_0ntTUIYaf0
Figure 1.1: 카메라 인식을 통한 가위바위보 게임
Kinect : http://www.youtube.com/watch?feature=player_detailpage&v=Hi5kMNfgDS4
2
개요
Figure 1.2: Kinect-Game
3
제 1 장 Digital Image Processing 관련 분야
1.1.2
영상처리 발전 분야
• Computer Vision and Image Processing • With image analysis being a key component in the development and deployment of both computer • 디지털 영상처리 분야는 응용 분야가 많은 만큼 혼동해서 사용하고 있는데, 아래 그림처럼 간단하게 요 약해볼 수 있다. • 결국 처리 결과의 대상이 누가 되느냐를 기준으로 1차적으로 나누어 볼 수 있다.
Figure 1.3: 디지털 영상처리 분야
• 또한 입력과 출력의 관점에서는 아래의 그림처럼 컴퓨터그래픽스라는 새로운 분야를 설명 할 수 있다.
Figure 1.4: 컴퓨터그래픽스 분야
4
개요
1.1.3
Part1.디지털 영상 처리
• 영상 처리(image processing)란? - 영상을 대상으로 하는 신호 처리(signal processing)의 한 분야 - 영상의 화질 향상, 소실된 정보의 복원, 데이터의 압축, 영상의 인식 등을 포함 • 영상 처리의 역사 - 20세기 중반까지 아날로그(analog) 방식 - 1960년대 미국에서 위성으로부터 전송 받은 달 표면사진의 화질을 복원시키는 방법에 대한 연구가 디 지털 영상 처리의 시초 • 영상처리종류 - 디지털 영상처리 - 아날로그 영상처리 • 디지털 영상처리 - 디지털 영상을 다루는 학문 - 많은 응용에서 사용되는 넓은 영역의 기술을 총칭 • 디지털 영상의 특징 - 디지털 신호의 장점을 그대로 보임 - 디지털 데이터의 값이 명확해 아날로그 영상보다 화질이 우수 - 컴퓨터 기술의 발전을 그대로 반영 - 디지털 데이터 처리 방법을 활용할 수 있으며, 영구적인 디지털 데이터 저장장치를 이용해 영구적으로 저장할 수 있음. - 데이터 통신 응용 분야에서 전송이 가능
5
제 1 장 Digital Image Processing 관련 분야
Figure 1.5: 디지털 영상처리 기술과 알고리즘 분류
6
개요
1.1.4
Part2.컴퓨터비전
예를 들면 차량 번호인식, 출입문 통제, 영수증 인식 Pattern Recognition • Input Object(Pattern)을 주어진 알고리즘에 따라 Category 나 Class 로 Classification 하는 과정을 의미
Figure 1.6: Pattern Recognition
Figure 1.7: Pattern Recognition 절차
7
제 1 장 Digital Image Processing 관련 분야
1.1.5
Part3.컴퓨터그래픽스
• 영상처리와 컴퓨터비전은 입력정보로 영상을 사용하는 분야인 반면 컴퓨터 그래픽스는 Description 코 드를 사용하는 특징을 가진다. • 또한 컴퓨터 그래픽스는 선을 어떻게 그리고, 어떻게 도형을 채워나갈지에 대한 알고리즘을 다루는 학 문이라는 점에서 차이점을 가진다. • 3D 프린터 http://www.youtube.com/watch?v=ia4ibmC1bZg • 3D 프린터 Orion Delta 3D Printer Reviewhttp://www.youtube.com/watch?v=c9moxt_WKTY
Figure 1.8: Unity 게임 게발 환경
Figure 1.9: Wii Fit 시연 화면
8
개요
Figure 1.10: Wii 제품구성
Figure 1.11: Kinect 시연 화면
Figure 1.12: Kinect 제품구성
9
제 1 장 Digital Image Processing 관련 분야
Figure 1.13: 적층식 3D 프린터(Edison)
Figure 1.14: Sketch Up Modeling
10
디지털 영상 처리 기술
1.2 1.2.1
디지털 영상 처리 기술 디지털 영상 개선 (Digital Image Enhancement)
• 디지털 영상을 처리하여 응용 목적에 맞게 고치는 것 디지털 영상을 개선하는 기술 • 평활화(Equalization), 첨예화(Sharpening), Bluring, Noise Reduction 등 : - Contrast and Brightness 효과 • 컬러 영상의 화질 개선 - 전체적으로 어둡거나 밝은 영상을 눈에 보기 좋게 변환하는 화질 개선 • 의료 영상 분야 - 정교한 분석이 필요 화질 개선, 영상 분석
Figure 1.15: Equalization
Figure 1.16: Enhancement
11
제 1 장 Digital Image Processing 관련 분야
Figure 1.17: 컬러 영상의 화질 개선
Figure 1.18: 의료 영상 분야
12
디지털 영상 처리 기술
1.2.2
디지털 영상 복원 (Digital Image Restoration)
• 훼손되거나 오류 때문에 왜곡된 디지털 영상을 원래의 디지털 영상과 가장 가까운 형태로 복원하는 과정
Figure 1.19: 디지털 영상 복원
13
제 1 장 Digital Image Processing 관련 분야
1.2.3
디지털 영상 변환 (Digital Image Transformation)
• 디지털 영상 처리에 사용하는 변환 종류 • 푸리에 변환(Fourier Transformation) • 이산 코사인 변환(Discrete Cosine Transformation) • 웨이브렛 변환(Wavelet Transformation) 등
Figure 1.20: 디지털 영상의 이산 코사인 변환
14
디지털 영상 처리 기술
1.2.4
디지털 영상 분석 (Digital Image Analysis)
• 디지털 영상이 지닌 속성을 수치화하거나 디지털 영상에서 특정 영역 등을 추출하는 작업
Figure 1.21: 디지털 영상을 분석하는 윤곽선 검출
15
제 1 장 Digital Image Processing 관련 분야
1.2.5
디지털 영상 인식(Digital Image Understanding)
• Digital Image Recognition • 객체나 형상에서 주요 속성을 추출하여 식별할 수 있는 클래스나 카테고리로 분류하는 기술 • 디지털 영상 입력, 전처리, 영상 분할, 특징 추출, 인식의 처리 단계의 과정을 거침 • 문서 처리 - OCR(Optical Character Recognition) - 필기체 인식
Figure 1.22: 지문 인식
16
디지털 영상 처리 기술
Figure 1.23: OCR
17
제 1 장 Digital Image Processing 관련 분야
Figure 1.24: 아이폰6에 홍채인식시스템 장착시 이런 방식으로 본인인증
홍채인식 아이폰
1.1)
가격이 비싸고 소형화가 문제, 기존의 터치ID 방식을 바꿀까?
1.1) http://www.youtube.com/watch?feature=player_embedded&v=YgPBI5orWd4
18
디지털 영상 처리 기술
1.2.6
디지털 영상 압축 (Digital Image Compression)
• 효율적으로 저장/전송하기 위해 불필요하거나 중복된 부분을 제거하는 작업 • 무손실 기법 (lossless) 과 손실 기법 (lossey)으로 분류 - 무손실 압축 기법: 압축한 뒤 다시 복원해도 복원 영상이 압축 이전의 원본 영상과 차이가 없음 - 손실 기법: 원본 영상에 비해 품질이 떨어짐
19
제 1 장 Digital Image Processing 관련 분야
1.3
디지털 영상 처리 알고리즘
화소 점 처리 (point processing) 화소 점의 원래 값이나 화소 점의 위치를 기반으로 화소 값 변경 영역 처리 (area processing) 화소의 원래 값과 이웃하는 화소의 값을 기반으로 화소값 변경 기하학 처리(geometric processing) 화소들의 위치나 배열을 변화시킴 프레임 처리(frame processing) 두개 이상의 서로 다른 다지털 영상들이 연산 등의 조합을 통해서 새로운 화소값 생성
20
디지털 영상 처리 알고리즘
1.3.1
화소 점 처리 (point processing)
• 화소 점의 원래 값이나 위치를 기준으로 화소 값을 변경하는 알고리즘 • 산술연산과 논리연산 등
Figure 1.25: 산술연산의 예 (상수 덧셈과정)
21
제 1 장 Digital Image Processing 관련 분야
1.3.2
영역 처리 (area processing)
• 화소의 원래 값과 이웃하는 화소 값을 기준으로 값 변경 • 여러 화소가 서로 관계하여 화소 값 하나를 새로 생성 • 블러링(bluring), 샤프닝(sharpening) - 블러링: 세세한 부분까지 제거해 디지털 영상을 흐리게 만듦 - 샤프닝: 상세한 부분을 더욱 강조해 대비 효과를 냄
Figure 1.26: 블러링과 샤프닝
22
디지털 영상 처리 알고리즘
1.3.3
기하학 처리 (Geometric Processing)
• 디지털 영상 화소의 위치나 화소의 모임인 배열을 변화시키는 방법 • 스케일(Scale), 회전(Rotation), 이동(Translation) 등 • 스케일(Scale) : 디지털 영상의 크기를 줄이거나 확대 - Interpolation, Resizing - 영상훼손에 매우 큰 영향을 미침 • 회전(Rotation)하거나 다른 곳으로 이동(Translation)
Figure 1.27: 블러링과 샤프닝
23
제 1 장 Digital Image Processing 관련 분야
1.3.4
프레임 처리 (Frame Processing)
• 두 개 이상의 서로 다른 디지털 영상으로 각종 연산 등을 조합하여 새로운 화소 값을 생성하는 것 • 산술연산, 논리연산 등 - 산술연산: 덧셈, 뺄셈 등 - 논리연산: AND, OR 등
Figure 1.28: 논리연산 예
24
디지털 영상처리 시스템
1.4
디지털 영상처리 시스템
• 아날로그 영상을 디지털 영상으로 생성, 가공, 저장, 재생하는 일련의 과정을 수행하는 하는 시스템
Figure 1.29: 디지털 영상처리 시스템
25
제 1 장 Digital Image Processing 관련 분야
1.4.1
방송과 영화 분야
• 디지털 영상의 합성 기술 - 두 개 이상의 다른 디지털 영상을 모아서 새로운 디지털 영상을 만들어 내는 것 • 영화 미스터고 http://www.youtube.com/watch?v=ygJ36W_O8XQ
Figure 1.30: 영화 미스터고
Figure 1.31: 영상의 합성 기술
26
디지털 영상처리 시스템
1.4.2
디지털 영상의 모핑 (morphing)
• 변형(Metamorphosis)이라는 말에서 유래된 기술 • 하나의 디지털 영상을 다른 디지털 영상으로 변환하는 효과
Terminator http://www.youtube.com/watch?v=gDchv5T68Zs
Figure 1.32: 영상의 모핑 (morphing)
27
제 1 장 Digital Image Processing 관련 분야
1.4.3
디지털 영상의 워핑 (Warping)
• 특정한 규칙에 따라 입력 영상의 크기, 길이, 두께 등의 형태를 변형하는 기술
Figure 1.33: 디지털 영상의 워핑 (Warping)
• 2D Facial Animation based on Image Warping http://www.youtube.com/watch?v=qhvfGlevkrA
Figure 1.34: 2D Facial Animation based on Image Warping
• iClone5 Tutorial - Intro to Facial Animation http://www.youtube.com/watch?v=qahyP3kGpEQ
28
디지털 영상처리 시스템
Figure 1.35: Intro to Facial Animation
29
제 1 장 Digital Image Processing 관련 분야
1.4.4
보안분야
생체인식 기술 인간의 지문, 혈관, 홍체, 얼굴 등을 검사하여 보안 인증 수행
Figure 1.36: 생체인식 기술
얼굴 검색 및 인식 영상 내에 존재하는 얼굴의 위치를 찾고, 그 얼굴에 해당하는 사람을 인식하는 기술
Figure 1.37: 얼굴 검색 및 인식
30
디지털 영상처리 시스템 보안, 감시 시스템 침입자 감시 군사적 용도
Figure 1.38: 보안, 감시 시스템
31
제 1 장 Digital Image Processing 관련 분야
1.4.5
디지털 워터마킹 기술
디지털 영상에 보이지 않는 표시를 해두었다가 인증에 사용
Figure 1.39: 워터마킹
uconomix example : http://www.uconomix.com/Products/uMark/Default.aspx 워터마킹 삽입방법 디지털 워터마크 삽입방법은 텍스트, 오디오, 이미지, 그리고 비디오 등 디지털 컨텐츠 종류에 따라 다름. • 공간영역 기반 삽입방법 이미지 화소(pixel) 자체를 조작하는 방법으로서 시각적으로 영향을 적게 미치는 픽셀의 하위비트에 주 로 삽입 적은 계산량으로 워터마크를 삽입할 수 있다는 장점을 가지는 반면 잡음과 신호처리에는 강인하지 못함. 눈이 파란색 성분이 둔감하다는 성질을 이용하여 이미지 색상 중 파란색 성분에 워터마크를 삽입하는 방법도 있음
• 주파수 영역 기반 삽입방법 이미지를 주파수 영역으로 변환한 후에 워터마크를 삽입하는 방법 주파수 영역으로 변환하기 위해서 고속 푸리에 변화(FFT), 이산코사인 변화(DCT) 등을 이용 주파수 영역으로 변환하는 추가적인 연산을 필요로 하지만, 공간영역 삽입방법보다 압축이나 잡음 등에 견고함
비디오 워터마크 삽입방법 • 공간영역 대상 비디오 워터마킹 개별 프레임들을 각각 한 개의 이미지로 취급하고, 앞에 언급한 이미지 워터마킹을 모든 이미지에 대해 서 적용 외부의 공격에 강한 반면, 많은 계산시간을 필요로 함
32
디지털 영상처리 시스템
Figure 1.40: 개념도
• 주파수 영역 대상 비디오 워터마킹 MPEG-2와 같이 DCT 등을 이용하여 압축한 비디오를 대상으로 움직임 벡터나 GOP(Group Of Picture) 구조, 코드 스트림 등을 조작함. 압축영역에서 압축 프레임을 일일이 복호화하지 않으므로, 빠른 시간내에 워터마크 삽입가능 하지만, 복호화 후 워터마크 정보를 분실할 가능성이 높음 여러 가지 공격에 강인하지 못한 단점으로 활용성 미흡
33
제 1 장 Digital Image Processing 관련 분야
1.4.6
검색분야
내용 기반 영상 검색 영상 안에 존재하는 사람, 사물, 색상 정보 등을 인식하여 원하는 영상을 자동으로 찾아주는 기술
Figure 1.41: 내용 기반 영상 검색
34
디지털 영상처리 시스템
1.4.7
의료 산업 분야
환자를 정밀하게 진찰할 때 인체 관련 영상을 많이 사용 X-레이, 초음파 영상, MRI(자기공명영상법, Magnetic Resonance Imaging) 영상, CT(컴퓨터단층촬 영, Computer Tomography) 영상 등
Figure 1.42: 초음파영상의 예
망막이 손상된 환자가 인공망막
1.2)
을 이용해서 시각을 되찾을 수 있다.
Figure 1.43: 인공망막 관련기사
1.2) http://zum.com/#!/news=025201205052372399
35
제 1 장 Digital Image Processing 관련 분야
1.4.8
산업 현장에서 공장 자동화 분야
머신 비전(Machine Vision) 산업용 카메라가 생산된 제품의 품질을 검사하고 모니터링
Figure 1.44: 올바른 제품의 영상과 오류가 발생한 영상 비교
공장 자동화 공장에서 생산되는 제품의 결함을 검출 실시간 처리 필수적
Figure 1.45: 공장 자동화
36
디지털 영상처리 시스템
1.4.9
자동 동영상 요약
스포츠 동영상의 하이라이트 생성 뉴스, 교육용 비디오의 자동 편집 및 분류
Figure 1.46: picasa 동영상 요약
37
제 1 장 Digital Image Processing 관련 분야
1.4.10
증강현실,Augmented Reality
현실 세계의 영상에 컴퓨터가 생성한 그래픽스를 첨가하여 보여주는 가상 현실(virtual reality) 기술 의 하나 객체 인식(object recognition)과 추적(tracking) 기법 등을 필요
Figure 1.47: 증강현실 예
Figure 1.48: colarapp 예
ColarApp : http://colarapp.com/ Demo : http://vimeo.com/2734815
38
디지털 영상처리 시스템
Figure 1.49: HUD(Head Up Display)에 나타난 증강현실 예
39
제 1 장 Digital Image Processing 관련 분야
1.5
Quiz
Question
40
1
영상처리관련된 연구분야 3가지를 각각 설명하시오
2
영상처리에 사용되는 기술 6가지와 알고리즘 4가지를 비교 설명하시오