Advanced
Arbitrary Viewpoint/Disparity Stereoscopic Image Generation from a Digital Hologram
Arbitrary Viewpoint/Disparity Stereoscopic Image Generation from a Digital Hologram
Journal of Broadcast Engineering. 2014. Dec, 19(6): 854-865
Copyright © 2014, The Korean Society of Broadcast Engineers
  • Received : July 03, 2014
  • Accepted : September 19, 2014
  • Published : December 28, 2014
Download
PDF
e-PUB
PubReader
PPT
Export by style
Share
Article
Author
Metrics
Cited by
TagCloud
About the Authors
윤혁 이
winner9100@kw.ac.kr
현준 최
동욱 김
영호 서

Abstract
본 논문에서는 디지털 홀로그램 데이터가 서비스되지만 사용자가 홀로그램 디스플레이 장치를 가지고 있지 않은 상황 등을 고려하여, 디지털 홀로그램으로부터 스테레오스코픽 영상 쌍을 생성하는 방법을 제안한다. 디지털 홀로그램 데이터를 영상으로 변환하는 방법은 Fresnel transform을 사용한다. 스테레오스코픽 영상 쌍의 각 영상은 주어진 디지털 홀로그램의 일부분을 사용하며, 두 영상을 위한 부분 디지털 홀로그램의 크기는 동일하도록 한다. 이 때 영상의 크기는 부분 홀로그램의 크기로 조정하고, 스테레오스코픽 영상의 시차는 두 부분 홀로그램의 중심 간 거리로 조정한다. 본 논문에서는 영상의 크기와 시차를 조정하는 방법에 대해서도 다루며, 생성된 스테레오스코픽 영상은 에너글리픽(anaglyph) 디스플레이 방식으로 구현하여 적청안경을 착용하면 거리감을 확인할 수 있도록 한다.
Keywords
I. 서 론
최근 영화 ‘아바타’로 촉발된 스테레오스코픽 3차원(stereoscopic 3-dimensional, S3D) 영상에 대한 욕구는 안경착용의 불편함 등을 해소하여 완전한 입체시를 갈망하기에 이르렀다. 안경착용의 불편함은 무안경식 3D로 해결할 수 있으나, 무안경식 3D 디스플레이의 기술적 특성상 현기증, 피로감 등을 가중시켜 불편감이 해소되지 않고 있다 [1] . 이에 1948년 Dennis Gabor가 발명한 홀로그램은 완전한 입체시를 제공하는 영상을 공간에 디스플레이하는 기술로서, 최근 관심이 고조되고 있다 [2] . 홀로그램은 디지털 홀로그램이 발명되면서 [3] 현재의 시스템으로 서비스를 제공할 수 있게 되었다.
홀로그램은 두 빛의 간섭현상으로 생기는 프린지(fringe)패턴을 뜻한다. 두 빛 중 하나로는 참조파(reference wave)를 사용하고, 또 하나는 물체에 반사된 물체파(object wave)를 사용한다. 이 홀로그램은 기록매체가 프린지 패턴을 기록할 만큼 충분히 미세한 매질을 사용하여야 좋은 화질의 영상을 얻을 수 있다. 디지털 홀로그램의 경우는 이와 더불어 홀로그램을 디스플레이하기 위해 빛을 프린지 패턴에 따라 회절(diffract)시키는 특별한 장치가 필요하며, 그 대표적인 것이 공간광변조기(spatial light modulator, SLM)이다 [2] . 이 장치의 해상도와 크기에 따라 홀로그램 영상의 화질과 시야각 등이 결정되며, 충분한 해상능력을 갖기 위해서는 화소의 크기가 1μm 이하이어야 한다 [4] . 또한 이 정도의 해상도를 가지면서 시청자가 시청하기에 불편함이 없을 정도의 화면크기를 가지려면 엄청난 수의 화소가 필요하고, 따라서 그 만큼의 데이터가 필요하다. 아직까지 SLM 화소크기를 1μm까지 소형화시키지 못하고 있으며, 현재 시판되고 있는 SLM의 크기는 대부분 10cm×10cm 이하이다.
그럼에도 불구하고 홀로그램에 대한 연구는 기하급수적으로 증가하고 있다. 여기에는 디지털 홀로그램의 획득/생성, 홀로그램 영상 디스플레이뿐만 아니라 디지털 홀로그램 데이터의 압축 [5] , 정보보호 [6] , 정보보안 [7] , 심지어는 디지털 홀로그램 데이터를 서비스하기 위한 시스템 [8] 까지 포함되고 있다. 특히 [9] 에서는 현 시점에서 홀로그램 영상을 대중화하기 위해 시청자의 시점 근처만 홀로그램 영상을 디스플레이하고 그 외 부분은 2차원 영상을 디스플레이하는 시스템을 제안하기도 하였다. 즉, 디지털 홀로그램 데이터를 서비스하기 위한 기술적 연구가 많이 진행되고 있으나, 현실적으로 디지털 홀로그램 비디오를 디스플레이하는 장치 자체의 개발이 아직은 충분치 않을뿐더러 고가의 장비이기 때문에 대중화까지는 아직도 많은 시간이 필요하다.
이에 디지털 홀로그램 데이터가 제공되지만, 수신측에는 홀로그램 디스플레이 장치가 없는, 현재의 S3D 디스플레이 장치를 사용하는 상황과 완전한 입체시의 홀로그램 디스플레이 장치가 준비된상황의 중간단계 정도를생각할 수 있고, 최근 이러한 상황을 가정한 연구가 진행되고 있다 [10 - 12] . 이들 연구는 디지털 홀로그램 데이터로 S3D 영상을 생성하는 방법을 제시하였다. K. Choi 등은 두 S3D 영상 쌍을 하나의 디지털 홀로그램으로 변환하고 이를 편향렌즈(collimated lenses)를 통해 각 눈에 조사하는 방법을 제안하였고 [10] , T. M. Lethtimaki 등도 마찬가지로 두 스테레오 영상 쌍을 하나의 디지털 홀로그램으로 생성하나, 재생한 영상을 분할하여 스테레오 영상을 만드는 방법에 대해서 연구하였다 [11] . 또한 T. Pitkaaho 등은 다양한 현재의 S3D 디스플레이 장치를 대상으로 하나의 디지털 홀로그램으로부터 S3D 영상 쌍을 디스플레이할 수 있는 가능성에 대해서 연구하였다 [12] .
본 논문에서도 이와 같은 상황을 가정하고, 주어진 한 프레임의 디지털 홀로그램으로부터 S3D 영상 쌍을 생성하는 방법을 제안한다. 이 방법은 주어진 디지털 홀로그램의 일부분을 하나의 S3D 영상에 사용하며, 디지털 홀로그램을 2차원 영상으로 변환하는 방법은 Fresnel transform을 사용한다. 본 논문에서는 디지털 홀로그램으로부터 생성되는 2차원 영상의 크기를 조절하는 방법과 S3D 두 영상간의 시차를 조절하는 방법도 제시한다.
본 논문의 구성은 다음과 같다. 2장에서는 디지털 홀로그램의 생성과 영상재생에 관련된 여러 가지 특징들을 설명하고, 이를 바탕으로 주어진 디지털 홀로그램으로부터 원하는 영상크기와 시차를 갖는 S3D 영상 쌍을 생성하는 방법을 3장에서 제안한다. 4장에서는 제안한 방법을 다양한 영상을 대상으로 실험하고, 이를 바탕으로 5장에서 이 논문의 결론을 맺는다.
II. 디지털 홀로그램의 획득 및 영상재생 특성
- 1. 컴퓨터-생성 디지털 홀로그램의 획득과 Fresnel 변환에 의한 영상재생
그림 1 은 디지털 홀로그램을 획득하고(a) 영상을 재생하는(b) 방법의 개략도를 보이고 있다. 디지털 홀로그램은 참조파와 물체파의 간섭결과를 CCD 카메라와 같은 디지털 장치로 획득할 수 있다. 일반적으로 참조파와 물체파는 동일한 광원으로부터 발생된 빛을 분광기(beam splitter, BS)로 분할하여 사용한다. 획득된 홀로그램으로부터 영상을 재생하기 위해서는 SLM과 같은 회절장비가 필요하며, 여기에 홀로그램을 load시키고 빛을 조사하여 그 결과의 빛이 우리 눈으로 조사되면 원래의 위치에 상이 보이게 된다.
PPT Slide
Lager Image
디지털 홀로그램의 획득 및 영상재생: (a) 획득, (b) 영상재생 Fig. 1. Digital hologram acquisition and image reconstruction: (a) acquisition, (b) image reconstruction.
그러나 그림 1 (a)의 획득시스템은 정밀하고 고가이며 휴대하기 용이치 않으므로 이 장치를 사용하는데 많은 제약이 따른다. 따라서 최근 그림 1 (a)의 디지털 홀로그램 획득 상황을 모델링하여 수식화함으로서 연산에 의해 홀로그램을 생성할 수 있는데, 이것을 컴퓨터-생성 홀로그램(computer-generated hologram, CGH)라 하고, 고속연산과 하드웨어로의 구현도 연구되고 있다 [13] . 대표적인 CGH 연산식은 식 (1)과 같으며, 여기서의 좌표계는 그림 2 와 같다.
PPT Slide
Lager Image
PPT Slide
Lager Image
디지털 홀로그래피의 좌표계 Fig. 2. Coordinate systems for digital holography
여기서 Ih ( x , y )는 홀로그램평면(hologram plane) 좌표 ( x , y )의 홀로그램 화소값, ( A , B )는 객체평면의 해상도, Io ( α , β )는 객체평면(object plane) 좌표 ( α , β )의 빛의 세기, γ 는 이 좌표의 깊이 값을 각각 나타낸다. 또한 k = 2 π / λ 는 사용한 빛의 파수(wave number)이며, λ 는 파장(wave length)이다.
PPT Slide
Lager Image
그림 1 (b)의 영상재생은 홀로그램의 각 프린지 패턴에 따라 빛을 회절시켜 얻어진다. 특히 디지털 홀로그램의 경우는 각 홀로그램 화소값(식 (1))에 따라 빛을 회절시키고, 그 결과는 모든 재새영상 부분에 영향을 미치며, 특정부분의 영상은 그 부분에 미치는 영향들이 모두 합쳐져 형성된다. 이 현상을 SLM 등을 포함한 광학계를 사용하여 실현할 수도 있지만(광학적 재생), 이것 또한 Fresnel 회절을 이용하여 식 (2)와 같이 수학적으로 모델링할 수 있다(수학적 재생).
여기서, gr ( u , v )는 홀로그램평면으로부터 z 0 만큼 떨어진 재생평면(reconstruction plane) 내의 ( u , v ) 화소에서 재생되는 빛의 강도 값이며, 이 식에서의 좌표계와 홀로그램 평면 각 화소의 값은 각각 그림 2 와 식 (1)과 같다. 식 (2)에서 홀로그램 평면과 재생평면의 가로와 세로의 화소 크기비와 해상도비는 식 (3)과 식 (4)와 같이 동일하다고 가정하며, 이 가정은 재생된 영상과 원 영상의 가로-세로 비가 동일하다는 가정이므로 매우 일반적이다. 따라서 홀로그램 평면과 재생평면의 영상 크기비는 식 (5)와 같이 된다.
PPT Slide
Lager Image
PPT Slide
Lager Image
PPT Slide
Lager Image
- 2. 부분 디지털 홀로그램의 크기와 재생영상의 크기
식 (3), (4), (5)에 따라 재생된 영상의 크기를 조절할 수 있다. 그러나 재생평면의 크기를 조절하지 않고도 재생영상의 크기를 조절할 수 있다. 식 (1)과 (2)에서 볼 수 있듯이, 객체평면의 모든 화소는 홀로그램평면의 각 화소에 영향을 미치고, 홀로그램평면의 모든 화소는 재생평면의 각 화소에 영향을 미친다. 즉, 홀로그램평면의 각 화소는 그 위치에서 객체 전체의 정보를 갖고 있고, 재생평면의 각 화소는 홀로그램평면 전체의 정보를 갖게 된다. 따라서 주어진 홀로그램의 일부 또는 이론적으로는 한 화소만으로도 객체를 재생할 수 있다.
그림 3 은 Rabbit 영상을 식 (1)에 의해 1,024×1,024 해상도의 CGH로 만들고, 그 중 일부분을 추출하여 식 (2)의 Fresnel 변환으로 재생한 영상들이다. 여기서 모든 부분 홀로그램의 중심은 동일하다. 그림에서 볼 수 있듯이, 부분 홀로그램의 크기가 작을수록 재생된 영상의 크기도 작아진다. 이것은 홀로그램 크기가 줄어들수록 회절되는 빛의 양과 조사각이 작아져 재생되는 물체가 작아진다.
PPT Slide
Lager Image
부분 홀로그램의 크기에 대한 재생영상의 크기 Fig. 3. Size of the reconstructed image for size of the partial hologram
- 3. 부분 홀로그램 위치에 따른 시점의 변화
그림 3 의 모든 재생영상은 크기는 다르지만 시점이 모두 동일하다는 것을 알 수 있다. 그러나 동일한 부분 홀로그램이라도 중심을 달리하여 추출하면 재생영상의 시점이 달라진다. 그림 4 에 주어진 홀로그램에서 중심을 달리한 네 개의 부분 홀로그램(좌측 left, 우측 right, 상측 upper, 하측 lower)을 재생한 영상( 그림 4 (b), (c), (d), (e))을 보이고 있다. 그림에서 보듯이 중심을 이동함에 따라 객체의 위치가 달라질 뿐만 아니라 객체를 바라보는 시점도 달라지는 것을 알 수 있다. 이것은 그림 2 의 좌표계에서도 볼 수 있듯이, 홀로그램의 위치가 변화하면 그 위치로 조사되는 빛으로 홀로그램이 형성되기 때문이다.
PPT Slide
Lager Image
부분 홀로그램의 중심이동에 따른 재생영상, (a) 부분 홀로그램, (b) left, (c) right, (d) upper, (e) lower Fig. 4. Reconstructed images of partial hologram for center movement, (a) partial hologram, (b) left, (c) right, (d) upper, (e) lower
그림 5 에 두 개의 부분 홀로그램의 시점변화를 도식화하였다. 그림 5 (a)는 동일한 객체에 대한 두 부분 홀로그램의 시점변화를 보이고 있고, 그림 5 (b)는 두 부분 홀로그램의 재생영상을 스테레오스코픽 카메라에 적용한 모델을 나타내고 있다. 두 그림에서의 좌표계는 그림 2 의 좌표계를 따른다. 그림 5 (a)에서 보듯이 본 논문에서는 특정 홀로그램의 시점을 그 중심점에서의 시점으로 간주하며, 이것은 시점위치의 좋은 기준이라 사료된다. 또한 두 부분 홀로그램의 수평 및 수직방향 크기가 동일하고, 두 중심점( L =( xl , y ), R =( xr , y ))은 동일한 y 값을 갖는 것으로 간주하며, 이것은 일반적인 S3D 영상 쌍의 특성을 따른 것이다. 그림 5 (a)에서 보듯이, 부분 홀로그램의 수직 및 수평방향 해상도비( X ′/ Y ′)는 원 홀로그램의 해상도비( X / Y )와 동일하다고 가정하며, 두 부분 홀로그램의 영상재생을 위한 재생평면의 해상도비( U ′/ V ′)도 동일하다고 가정한다(식 (6)). 이것은 재생영상이 원 객체와 수평 및 수직의 크기비가 동일하도록 한 것이다.
PPT Slide
Lager Image
PPT Slide
Lager Image
두 부분 홀로그램의 시점변화, (a) 시점변화, (b) 스테레오 카메라에 적용한 모델 Fig. 5. Viewpoint change of two partial hologram, (a) viewpoint change, (b) model by applying a stereo camera
따라서 홀로그램평면에서의 두 부분 홀로그램 간의 시점 차이 Dh 는 식 (7)과 같이 두 부분 홀로그램의 중심점간의 거리와 같다.
PPT Slide
Lager Image
이것을 재생평면의 값으로 환산하면 재생평면에서의 시점차이 D 는 식 (8)과 같다.
PPT Slide
Lager Image
한편 그림 5 (b)는 두 부분 홀로그램을 한 객체에 대해 수평위치가 다른 두 개의 디지털 홀로그램으로 생성된 것으로 모델링하는 그림이다. 여기서는 편의상 좌측 홀로그램의 중심을 객체의 중심과 동일하다고 가정하였다. 이 경우 두 홀로그램의 크기가 동일하므로 객체에서 각 홀로그램으로의 조사각이 동일하다(∠ hl = ∠ hr ). 이 그림에서 카메라 모델을 사용하기 때문에 디지털 홀로그램의 생성과 무관한 초점거리 f 를 사용하고, 초점평면에서 빛이 모이는 것을 가정하였다. 그러나 이것은 홀로그램평면의 각 화소의 위치가 180° 변화한다는 것을 제외하고는 각 홀로그램이 동일한 정보를 갖게 된다. 간단한 비례식으로부터 초점거리를 식 (9)와 같이 계산할 수 있다.
PPT Slide
Lager Image
따라서 홀로그램평면에서의 시차(disparity) Dh 는,
PPT Slide
Lager Image
로 구할 수 있고, 재생평면에서의 시차 d 는,
PPT Slide
Lager Image
로 구할 수 있다. 식 (10) 또는 (11)에서 볼 수 있듯이, 생성된 스테레오 영상의 시차는 두 부분 홀로그램의 중심점 간 거리, 홀로그램과 재생평면과의 거리뿐만 아니라 부분 홀로그램의 크기의 함수이기도 하다. 즉, 두 재생영상의 시차는 두 부분홀로그램의 중심점 간 거리가 클수록 그리고 홀로그램평면과 재생평면과의 거리가 가까울수록 시차가 커진다. 또한 두 부분홀로그램의 중심점 간 거리가 같지만 부분홀로그램의 크기가 작을수록 시차의 절대적인 크기는 동일하지만 물체의 크기에 대비한 상대적인 시차는 커진다. 만약 재생평면을 up-sampling 등의 방법으로 재생화면을 q 배 확대하는 경우 시차 dq dq = qd 가 된다.
III. 부분 홀로그램을 사용한 스테레오스코픽 영상 생성
그림 6 은 본 논문에서 제안하는 홀로그램으로부터 S3D 영상 쌍을 생성하는 방법을 흐름도로 보이고 있다. 본 논문에서는 앞에서 언급한 바와 같이 디지털 홀로그램이 주어졌다고 가정한다. 먼저 주어진 디지털 홀로그램으로부터 두 개의 부분 홀로그램을 추출한다. 이 때 두 부분 홀로그램 또는 그 재생영상에서 원하는 화면크기와과 시차 d 를 식(6)과 (10) 또는 (11)로 조절하여 추출한다. 따라서 두 부분 홀로그램은 원 홀로그램에서 일부분 겹칠 수 있다. 이 때 재생영상의 크기는 재생영상의 화소크기 ( Δu , Δv )와 해상도( U ′ × V ′)로 조절할 수도 있고, 재생된 영상을 up/down-sampling하여 조절할 수도 있다. 모든 경우를 고려하여 최종의 재생영상의 크기를 우선 결정하고, 그에 따라 홀로그램 평면에서 추출할 부분 홀로그램의 크기를 결정하며, 시차에 따라 두 부분 홀로그램 중심점간 거리를 결정한다. 재생영상의 크기에 따라 두 영상의 시차를 두 부분 홀로그램의 중심점간 거리( Dh )로 조절한다.
PPT Slide
Lager Image
스테레오스코픽 영상 쌍 생성 흐름도 Fig. 6. Flow diagram to generate stereoscopic image pair
추출된 두 부분 홀로그램은 각각 재생하여 좌, 우의 영상을 획득한다. 이 때 재생영상은 식 (2)의 Fresnel 변환으로 획득한다. 만약 up/down-sampling으로 추가적인 화면크기를 조절( q )하고자 하면 이 영상들을 대상으로 조절한다. 마지막으로 필요한 S3D 데이터 형식에 따라 두 영상을 처리하여 원하는 S3D 영상을 얻는다.
IV. 구현 및 실험
앞에서 설명한 방법을 National Instrument사의 Lab VIEWⓇ 환경에서 구현하였다. CGH 생성과 Fresnel 변환을 제외한 모든 과정은 C/C++로 구현하였으며, 이를 dll 파일형태로 변환하고 라이브러리에 저장하여 사용하였다. CGH와 Fresnel 변환은 NVIDIA의 CUDAⓇ로 구현하였고 이를 GPGPU(general purposed graphic processing unit)로 실행시켰으며, CGH 생성은 식 (1)을 구현하였다. CGH를 생성할 때 컬러 영상의 경우 R, G, B성분을 따로 추출하여 각 성분의 CGH를 생성하였으며, 영상재생은 각 컬러 홀로그램을 재생하고, 그 결과의 세 영상을 합쳐 컬러영상으로 만들었다. CGH 생성에는 각 컬러영상과와 흑백영상 한 장의 깊이지도를 사용하였으며, 따라서 컬러의 각 성분은 동일한 깊이지도를 사용하였다.
그림 7 은 본 논문의 방법을 구현하여 실행하기 위한 GUI 화면을 보이고 있다. 좌상측의 두 화면은 객체정보(RGB 또는 흑백영상과 깊이지도)이고, 그 오른쪽의 두 영상은 이 객체정보로 생성된 CGH의 실수부분과 허수부분을 각각 보이고 있다. 그 아래의 세 영상은 좌영상, 우영상, 좌우영상을 합친 적청(anaglyph)-타입의 S3D 영상을 각각 나타낸다. 우상측의 제어버튼들은 파라미터들을 제어하기 위한 버튼들로, 홀로그램의 해상도, 스테레오영상 쌍의 시차, 홀로그램 평면과 재생평면의 거리, 확대계수 등이 포함되어 있다.
PPT Slide
Lager Image
디지털 홀로그램 스테레오 영상 생성을 위한 GUI 화면 Fig. 7. GUI screen for digital hologram stereoscopic image generation
표 1 은 실험에 사용된 영상들의 정보를 보이고 있다. 첫번째 줄에 명시한 수직리그 시스템 [8] 은 본 연구팀이 직접 제작한 시스템으로, RGB 카메라와 깊이 카메라를 cold 미러(mirror)로 분리하여 수직리그에 장착한 카메라 세트 세개를 포함하고 있다. 여기에 사용한 RGB 카메라는 Allied Vision Technology사의 PikeⓇ(1,920×1,080)이며, 깊이카메라는 Mesa Image사의 SR4000Ⓡ(176×144)이다. 깊이카메라의 해상도가 낮기 때문에 RGB카메라로 획득한 영상을 깊이영상에 맞도록 해상도를 낮춰 사용하였다. 또한 최근 선풍적인 인기를 끌고 있는 Microsoft사의 KinectⓇ(640×480) [15] 로 직접 영상을 획득하여 사용하였다. 이 카메라는 동일 해상도의 깊이영상과 RGB영상을 모두 제공한다. 이외 인터넷을 통하여 Middlebury [16] , DOF Pro [17] 의 영상들도 사용하였으며, Rabbit 등의 영상도 인터넷으로부터 획득하였으나, 제공자와 해상도 등의 정보를 찾을 수 없어서 수록하지 않았다
실험에 사용한 영상정보Table 1. Information of Images used in experiments
PPT Slide
Lager Image
실험에 사용한 영상정보 Table 1. Information of Images used in experiments
표 2 는 앞에서 설명한 파라미터들 중 대표적으로 두 가지(Rabbit과 Billiard) 세트만을 나열하였다. CGH 생성에 사용한 레이저광 주파수는 633nm(green)와 533nm(red) 두 가지를 사용하였고, 홀로그램과 재생영상의 해상도는 1,024×1,024로 동일하게 하였으나, 화소크기를 달리하여 화면크기를 조절하였다. 객체평면의 해상도는 대부분 출처에 따라 다르며, 특히 Middlebury 사이트의 영상은 다양한 해상도를 갖고 있다. 해상도를 제외한 파리미터들은 각 영상마다 달리하여 수행하였다.
Rabbit과 Billiard의 파라미터 값Table 2. Parameter values for Rabbit and Billiard
PPT Slide
Lager Image
Rabbit과 Billiard의 파라미터 값 Table 2. Parameter values for Rabbit and Billiard
그림 8 에 생성된 S3D 영상들을 적청-형식으로 구현한 네 가지 예를 보이고 있다. (a)의 Rabbit은 깊이지도만 제공되고 있기 때문에 이것을 깊이정보와 빛의 세기정보로 사용하였으며, 이 영상은 물체가 실제보다 앞으로 나와 보이는 음시차(negative disparity)를 갖도록 하였다. (b)의 Yoonjoo 영상은 본 연구실의 수직리그를 사용하여 획득한 영상을 사용하였으므로 객체평면의 해상도는 176×144이었다. 이 영상은 객체가 실제보다 멀리보이는 양시차(positive disparity)를 갖는다. (c)의 Billiard 영상은 DOF Pro 사이트의 영상을 320×240으로 해상도를 줄여서 CGH를 생성하여 만든 것으로, 이 영상은 음시차를 갖는다.
PPT Slide
Lager Image
생성된 적청-타입 스테레오 영상의 예: (a) Babbit, (b) Yoonjoo, (c) Billiard Fig. 8. Generated anaglyphic stereoscopic image examples: (a) Babbit, (b) Yoonjoo, (c) Billiard
그림 9 는 Middlebury 사이트로부터 갖고 온 Baby영상에 대해 사이트에서 제공하는 좌영상의 깊이지도 (c)와 좌영상(a)로부터 디지털 홀로그램을 생성하고, 원 좌영상 (a)과 우영상 (b)에 해당하는 홀로그램 영상 쌍((d)와 (e))을 만들어 양시차를 갖는 적청-형식의 S3D로 만든 예를 보이고 있다. 디지털 홀로그램을 만들기 위해서 원영상들과 깊이지도의 해상도를 200×200으로 낮춰 사용하였다. 그림에서 보듯이 홀로그램 영상들은 원영상들에 비해 화질이 나쁜 것을 볼 수 있는데, 이것은 객체영상의 해상도를 낮추었을 뿐만 아니라 홀로그램의 일부분을 잘라 재생하였고, 또 홀로그램의 해상도와 재생영상의 해상도가 충분히 높지 않기 때문이다. 그림에서 보면 2차원 영상이지만 원 좌우영상에 비해 홀로그램을 재생한 좌우영상이 볼륨감이 더 나타나는 것을 볼 수 있다. 이것은 원 영상들은 깊이정보를 전혀 포함하고 있지 않지만, 홀로그램 재생영상은 홀로그램 자체가 가지고 있는 깊이정보를 포함하고 있기 때문이다.
PPT Slide
Lager Image
Baby 영상에 대한 실험 예: (a) 원 좌영상, (b) 원 우영상, (c) 좌영상에 대한 깊이지도, (d) 홀로그램 좌영상, (e) 홀로그램 우영상, (f) 적정형식의 홀로그램 스테레오 영상 Fig. 9. Example images for Baby: (a) oroginal left image, (b) original right image, (c) depth map for left image, (d) hologram left image, (e) hologram right image, (f) hologram stereoscopic image in red-blue type
V. 결 론
본 논문에서는 디지털 홀로그램이 서비스되지만 시청자 측에 홀로그래픽 영상 디스플레이 장치가 아직 갖춰져 있지 않고 스테레오스코픽 3D 영상 디스플레이장치만 갖춘 상황 등을 가정하여 디지털 홀로그램으로 스테레오스코픽 영상 쌍을 생성하는 방법과 화면의 크기 및 시차 등을 조절하는 방법을 제시하였다. 본문의 실험 결과 영상에서 보듯이 실험한 영상 모두는 의도한 시차를 뚜렷이 나타냈으며, 화면의 크기와 해상도도 원하는 대로 조절할 수 있었다.
본 논문에서는 CGH 생성시간 등을 감안하여 충분한 해상도의 객체평면, 홀로그램평면, 그리고 재생평면을 사용하지 않아 영상이 다소 흐려 보이지만, 충분한 해상도를 갖는 데이터를 사용할 경우 더욱 깨끗하고 선명한 화면을 얻을 수 있다. 따라서 제시한 방법으로 미래는 물론 현재에도 홀로그램 데이터로 스테레오스코픽 3D 뿐만 아니라 다시점 영상을 생성하여 사용하기에 충분하다고 사료된다. 또한 홀로그램 데이터는 2차원 데이터이지만 3차원의 정보를 갖고 있다. 이 정보들은 다양하게 사용될 수 있으며, 본 논문에서 제시한 방법은 이 정보를 여러 분야에 사용할 수 있다는 초보적인 시도라 볼 수 있다. 향후 디지털 홀로그램에서 다양한 형태의 3차원 정보를 다양한 분야에서 사용될 수 있기를 기대한다.
BIO
이 윤 혁
- 2012년 : 광운대학교 전자재료공학과 졸업(공학사)
- 2014년 : 광운대학교 일반대학원 졸업(공학석사)
- 2014년 ~ 현재 : 광운대학교 일반대학원 박사과정
- 주관심분야 : 디지털 홀로그램, SoC 설계
최 현 준
- 2003년 : 광운대학교 전자재료공학과 졸업(공학사)
- 2005년 : 광운대학교 일반대학원 졸업(공학석사)
- 2009년 : 광운대학교 일반대학원 졸업(공학박사)
- 2009년 : 광운대학교 실감미디어연구소 박사후 연구원
- 2009년 ~ 2010년 : 광운대학교 실감미디어연구소 연구교수
- 2010년 ~ 2011년 : 안양대학교 조교수
- 2011년 ~ 현재 : 국립목포해양대학교 전자공학과 조교수
- 주관심분야 : 영상압축, 워터마킹, 암호학, FPGA/ASIC설계, 디지털 홀로그래피
김 동 욱
- 1983년 : 한양대학교 전자공학과 졸업(공학사)
- 1985년 : 한양대학교 전자공학과 졸업(공학 석사)
- 1991년 : Georgia 공과대학 전기공학과 졸업(공학박사)
- 1992년 ~ 현재 : 광운대학교 전자재료공학과 교수
- 1996년 ~ 2001년 : 반도체 설계 교육센터(IDEC)광운대지역 운영위원
- 1997년 ~ 2000년 : 대학산업기술자문단 자문위원
- 1998년 ~ 2001년 : IEEE SSCS/EDS Joint Chapter of Korea Section 학술위원장
- 1999년 ~ 2001년 : AP-ASIC 학술위원장
- 2001년 : 대한전자공학회 교육연구위원회 부 위원장
- 2005년 ~ 2006년 : 대한전자공학회 협동이사
- 2006년 ~ 2008년 : 3차원영상협회 이사
- 2009년 : 실감미디어산업협회 이사
- 2011년 ~ 2013년 : 한국방송공학회 상임이사
- 주관심분야 : 3D 영상처리, 디지털 홀로그램, 디지털 VLSI Testability, VLSI CAD, DSP 설계, Wireless Communication
서 영 호
- 1992년 : 광운대학교 전자재료공학과 졸업(공학사)
- 2001년 : 광운대학교 일반대학원 졸업(공학석사)
- 2004년 : 광운대학교 일반대학원 졸업(공학박사)
- 2003년 ~ 2004년 : 한국전기연구소 연구원
- 2005년 ~ 2008년 : 한성대학교 조교수
- 2008년 ~ 현재 : 광운대학교 교양학부 부교수
- 주관심분야 : 실감미디어. 2D/3D영상 신호처리, 디지털 홀로그램
References
Kim D-W. , Yoo J-S , Seo Y-H 2013 “Qualitative analysis of individual and composite content factors of stereoscopic 3D video causing visual discomfort” Display Paper : 34 223 - 240    DOI : 10.1016/j.displa.2013.07.002
Benton S. A. , Bove V. M. 2008 Holographic Imaging John Wiley & Sons, Inc. Hoboken, NJ Book :
Leith E. N. , Upatnieks J. 1962 “Reconstructed wavefronts and communication theory’” JOSA Paper : 52 (10) 1123 - 1128    DOI : 10.1364/JOSA.52.001123
Schnar U. , Jueptner W. 2005 Digital holography Springer Berlin, Germany Book :
Seo Y-H. , Choi H-J. , Yoo J-S. , Lee G-S. , Kim C-H. , Lee S-H. , Kim D-W. 2010 "Digital hologram compression technique by eliminating spatial correlations based on MCTF" Optics Communication Paper : 283 4261 - 4270    DOI : 10.1016/j.optcom.2010.06.052
Choi H-J. , Seo Y-H. , Yoo J-S. , Kim D-W. 2008 "Digital watermarking technique for holography interference patterns in a transform domain" Optics and Lasers in Engineering Paper : 46 (4) 343 - 348    DOI : 10.1016/j.optlaseng.2007.11.005
Seo Y-H. , Choi H-J. , Kim D-W. 2009 "Digital hologram encryption using discrete wavelet packet transform" Optics Communications Paper : 282 (3) 367 - 377    DOI : 10.1016/j.optcom.2008.10.028
Seo Y-H , Lee Y-H , Koo J-M , Kim W-Y , Yoo J-S , Kim D-W 2013 "Digital holographic video service system for natural color scene" Optical Engineering Paper : 52 (11) 113106-1 - 8    DOI : 10.1117/1.OE.52.11.113106
Reichelt Stephan , Leister Norbert 2012 “ Computational hologram synthesis and representation on spatial light modulators for real-time 3D holographic imaging” ISDH 2012 Paper : 1 - 10
Choi K. , Kim H. , Lee B. 2004 “Synthetic phase holograms for auto-stereoscopic image displays using a modified IFTA” Optics Express Paper : 12 (11) 2454 - 2461    DOI : 10.1364/OPEX.12.002454
Lethtimaki T. M. , Naughton T. J. 2007 “Stereoscopic viewing of digital holograms of real world objects” IEEE 3DTV Conference Paper :
Pitkaaho T. , Naughton T. 2010 “Numerical reconstruction of digital holograms for conventional 3D display” IEEE 9th Euro-American Workshop Paper : 1 - 3
Seo Y-H. , Lee Y-H. , Yoo J-S. , Kim D-W 2012 “A new hardware architecture of high-performance digital hologram generator on the basis of pixel-by-pixel calculation scheme” Applied Optics Paper : 51 (18) 4003 - 4012    DOI : 10.1364/AO.51.004003
Yoshikawa H. , Iwase s. , Oneda T. 2000 “Fast computation of Fresnel holograms employing differences” Proc. SPIE 3956 Paper :
http://www.microsoft.com/en-us/kinectforwindows/ Internet :
http://vision.middlebury.edu/stereo/data/ Internet :
http://www.dofpro.com/cgigallery.htm Internet :