Advanced
Computational generation method of elemental images for time-multiplexed 3D integral imaging display based on lens division
Computational generation method of elemental images for time-multiplexed 3D integral imaging display based on lens division
Journal of the Korea Institute of Information and Communication Engineering. 2014. Oct, 18(10): 2571-2578
Copyright © 2014, The Korea Institute of Information and Commucation Engineering
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License(http://creativecommons.org/li-censes/ by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited. Copyright ⓒ The Korea Institute of Information and Communication Engineering.
  • Received : July 04, 2014
  • Accepted : August 23, 2014
  • Published : October 31, 2014
Download
PDF
e-PUB
PubReader
PPT
Export by style
Share
Article
Author
Metrics
Cited by
TagCloud
About the Authors
용석 오
Institute of Ambient Intelligence, Dongseo University, 47 Jurye-ro, Sasang-Gu, Busan, 617-716, Korea
동학 신
Institute of Ambient Intelligence, Dongseo University, 47 Jurye-ro, Sasang-Gu, Busan, 617-716, Korea
신일 정
Department of Information and Communication Engineering, Pukyung National University, 45 Yongso-ro, Nam-Gu, Busan, 608-737, Korea
sijeong@pknu.ac.kr

Abstract
본 논문에서는 렌즈분할 기반의 시간다중화 3D 집적영상 디스플레이를 위한 컴퓨터적인 요소영상 생성 방법을 제안한다. 제안하는 방법에 대하여 3차원 물체와 요소영상 사이의 기하광학적인 결상관계를 해석하고, 이 결상관계를 통하여 시간다중화 방식의 요소영상들을 생성한다. 요소영상 생성할 때, 제안하는 방법에서는 픽업되는 물체점의 위치가 기존 방식의 위치보다 절반의 분할렌즈 크기만큼 이동된다. 제안한 방법에 대한 기초적인 실험을 수행하고 그 결과를 보고한다.
Keywords
I. 서 론
최근 차세대 디스플레이 기술로서 3차원 디스플레이에 대한 관심이 높다 [1 - 4] . 이 3차원 디스프레이 기술로서 가장 성공한 기술은 스테레오스코피(stereoscopy)이며, 인간의 양안시각 시스템을 모방하여 시스템 구조가 간단하고 큰 입체감을 줄 수 있어서 상업화 제품으로 개발되었다. 그러나 수평 시차로만 제한되고 장시간 3차원 영상을 관찰하게 되면 어지러움이나 눈의 피로감을 느끼는 큰 문제점이 있다. 이에 반해 가장 이상적인 3차원 디스플레이로 알려진 홀로그래피 방식은 이러한 문제점을 극복할 수 있어서 최근에 많은 연구들이 진행되고 있다 [2 , 3] . 그러나 이 홀로그래피 기술의 경우에는 레이저 광원을 사용하여야하고 기존의 방식과 달리 시스템이 복잡하며 과도한 정보량을 가지기 때문에 단시일 내에 실용적인 응용 제품이 나오기는 힘들다.
한편, 홀로그래피 기술과는 달리 비교적 간단한 시스템으로 홀로그래피와 유사한 형태의 3차원 영상을 만들수 있는 방법으로 집적영상(integral imaging) 기술이 연구되고 있다 [4 - 13] . 이 기술은 1908년 립만에 의해 처음으로 제안된 이후 다양한 변형 기술들이 연구되어 왔다. 이 집적영상 기술은 기존의 디스플레이 패널에 렌즈어레이를 부가적으로 사용하여 3차원 영상을 만드는 방법이다. 따라서 시스템이 간단하며, 쉽게 칼라를 만들 수 있다는 장점이 있다.
집적영상 기술은 렌즈어레이와 디스플레이 장치 사이의 거리( g )에 따라서 크게 두 가지 종류의 방식으로 구분할 수 있다 [8] . 첫 번째 방식은 거리 g 가 렌즈어레이의 기초렌즈의 초점거리 ( f )와 동일한 경우이고 두 번째 방식은 g f 와 다른 경우로 나눌 수 있다.
즉, 첫 번째 g = f 인 경우는 요소영상의 한 픽셀이 렌즈를 통하여 평행 빔이 되어서 집적 빔이 만들어지게 된다. 이 경우를 깊이우선 집적영상(Depth-priority integral imaging: DPII) 방식이라 부르며, 3D 영상을 표시하는 깊이영역을 최대로 만들 수 있지만, 3D 영상의 해상도가 낮다는 단점이 있다. 이에 반해서 g f 인 경우는 해상도우선 집적영상(Resolution-priority integral imaging: RPII) 방식이라 부르며, 요소영상의 한 픽셀이 렌즈를 통하여 수렴 빔이 되어서 집적 빔이 만들어지며, 이 경우에 3D 영상의 해상도를 증가시킬 수 있지만 깊이영역이 급격히 줄어든다.
최근 DPII 방식에서 해상도를 증가시키기 위한 다양한 연구들이 수행되고 있다. 그 중에서 우리는 시간 다중화 집적영상 디스플레이 방법을 제안한 적이 있다 [13] . 이 방법은 렌즈어레이 앞에 동적 마스크 패널을 위치시키고 마스크 패턴을 시간다중화하여 표시함으로써 간단히 3차원 영상의 해상도를 증가시키는 방법이다. 본 논문에서는 렌즈분할 기반의 시간다중화 집적 영상 디스플레이를 위한 컴퓨터적인 요소영상 생성 방법을 제안한다. 제안하는 방법에 대해서 기하광학적인 결상관계를 해석하여 시간다중화 방식의 요소영상을 생성한다. 기존의 방법과는 달리, 분할렌즈의 절반 크기만큼 이동하여 픽업한다. 제안한 방법에 대한 기초적인 실험을 수행하고 그 결과를 보고한다.
II. 집적영상 기술
- 2.1. 집적영상 기술의 원리
집적영상 기술은 그림 1 과 같이 픽업과 디스플레이의 두 가지 과정으로 구성되어 있다. 그림 1(a) 의 픽업과정에서는 3D 물체의 입체정보를 CCD와 같은 영상획득 장치를 이용하여 렌즈어레이(lens array)를 통해 요소영상(elemental images) 형태로 픽업하게 된다. 여기서, 픽업된 요소영상들은 각각의 작은 기초렌즈(elemental lens)를 통하여 서로 다른 시차에서 렌즈어레이의 수와 같은 수의 물체영상이 기록된 것이다.
PPT Slide
Lager Image
집적영상의 구조. (a) 픽업 (b) 디스플레이 Fig. 1 Structure of integral imaging (a) Pickup (b) Display
이와는 반대로, 디스플레이 과정에서는 얻어진 요소영상들을 이용하여 광학적인 3D 영상을 복원할 수 있다. 그림 1(b) 는 광학적으로 3D 영상을 복원하는 방법을 보여준다. 즉 픽업된 요소영상을 디스플레이 장치에 표시하고, 역으로 렌즈어레이를 통과하여 3D 영상을 원래 3D 물체와 동일한 위치에서 재생하게 된다.
그림 1 과 같이 집적영상 기술은 2D 디스플레이 장치와 렌즈배열만을 이용하는 간단한 구조이므로, 고해상도 CCD를 통한 요소영상의 실시간 전송이 가능해지면 입체 TV 등에의 응용에 적합한 방식으로 예상된다. 그러나 이러한 집적영상 기술에는 완전한 상용화를 이루기 위해서는 많은 개선이 요구되고 있다. 이들 단점으로는 좁은 관측 시야각, 3D 영상의 표현 가능한 깊이감의 제한, 낮은 해상도, 요소영상의 큰 저장용량 등이 있다.
- 2.2. 시간다중화 집적영상 디스플레이 원리
그림 2 는 본 논문에서 사용하는 렌즈분할 기반의 시간다중화 집적영상 디스플레이의 구조도이다. 분할렌즈 크기의 마스크 패턴이 표시되는 디스플레이 패널이 렌즈어레이에 밀착되어 있다. 그리고 요소영상을 표시할 디스플레이 패널과 렌즈어레이 사이의 거리는 기초렌즈의 초점거리와 동일한 f 이다. 시간다중화 집적영상 디스플레이 방식에서는 렌즈어레이 앞에 놓여있는 마스크 패턴을 바꾸면서 대응하는 요소영상을 시간다중화하여 3차원 영상의 해상도를 높이는 방법이다. 이때 사용되는 마스크 패턴은 그림 2 에서와 같이 분할렌즈의 크기를 가지며, ON과 OFF의 영역으로 구성된다.
PPT Slide
Lager Image
시간다중화 집적영상의 원리. (a) t = t1 (b) t = t2 Fig. 2 Principle of time-multiplexed integral imaging (a) t = t1 (b) t = t2
만약 시간다중화를 적용하여 m×m 배로 3차원 영상의 해상도를 증가시킨다고 하자. 그러면 m×m 개의 서로 다른 분할렌즈 크기의 마스크 패턴과 이에 해당하는 m×m 개의 요소영상들 세트가 필요하다. 이들 분할렌즈 크기의 마스크 패턴과 요소영상이 서로 동기화될 때에 정상적인 3차원 영상이 만들어지게 된다
III. 요소영상 생성 방법
본 논문에서는 렌즈분할 기반의 시분할 집적영상 디스플레이에 사용되는 요소영상의 생성 원리를 기하광학적인 해석을 통하여 새로이 제안한다. 먼저, 기존의 집적영상 디스플레이 방식에서의 요소영상 생성원리를 설명한다
그림 3 은 기존의 깊이우선 집적영상에 맞는 요소영상 생성에 대한 기하광학적인 해석을 보여준다. 설명의 편의상, 렌즈어레이를 핀홀 어레이로 가정하고, 물체는 평면물체로 가정한다. 그러면 물체를 구성하는 점들은 핀홀을 통하여 각각의 요소영상으로 기록된다. 이 때, n 번째 요소영상의 한 픽셀(pixel) 값은 평면물체의 대응되는 점의 세기를 샘플링(sampling)함으로써 획득되는데, 이를 표현하는 관계식은 다음과 같다.
PPT Slide
Lager Image
기존의 요소영상 생성원리에 대한 기하광학적 해석 Fig. 3 Ray-optical analysis for conventional generation of elemental images
PPT Slide
Lager Image
여기서 n 은 자연수이며, E n n 번째 요소영상의 세기 분포 함수이고, O 는 평면물체의 세기분포 함수이다. x 1 은 요소영상의 한 픽셀의 x -축 위치이고, x 2 는 이에 대응하는 물체점의 x -축 위치이다, z 0 는 평면물체의 z -축 위치를 나타낸다.
n 번째 요소영상의 한 픽셀과 대응하는 n 번째 핀홀을 연결하는 직선의 기하광학적인 관계식은 다음과 같다.
PPT Slide
Lager Image
여기서 p 는 렌즈의 피치(pitch)를 나타낸다. 식 (2)에 물체점의 좌표 (z 0 , x 2 )를 대입하면, n 번째 요소영상의 한 픽셀에 대응하는 물체점의 위치 x 2 는 다음과 같이 구해진다.
PPT Slide
Lager Image
식 (3)을 식 (1)에 대입하면, x = x 1 의 픽셀값 E n ( x 1 )을 구할 수 있다. 이 과정을 ( n −1) p < x < np 범위에서 반복하면, 물체에 대한 n 번째 요소영상을 계산할 수 있다.
다음으로 본 논문에서 제안하는 시간다중화 집적영상 디스플레이를 위한 요소영상 생성 방법에 대해 설명한다. 그림 4 는 렌즈영역 시분할 집적영상 방식에 적합한 요소영상 생성에 관한 기하광학적인 해석을 보여준다. 그림 3 과 달리 렌즈어레이 앞에 마스크가 추가되어 있는 구조이다. 편의상, 하나의 렌즈영역을 공간적으로 2분할한 경우를 가정하는데, 이는 시간적으로 t 1 t 2 로 2분할하는 것을 의미한다. 이 개념을 확장하면 N 번의 렌즈영역 분할로의 확장이 가능해진다.
PPT Slide
Lager Image
렌즈영역 시분할 방식의 요소영상 생성원리 Fig. 4 Ray optics-based elemental images generation for
그림 4(a) t = t 1 일 때의 기하광학적인 요소생성 원리를 보여준다. 2분할된 렌즈영역 중에서 윗부분으로 빔이 통과되고 아랫부분이 차단되는 마스크 패턴을 가정하면, 렌즈어레이 윗부분의 중앙을 핀홀의 위치로 여길 수 있다. 따라서 렌즈어레이의 중심과 핀홀 사이의 거리는 p /4가 된다. 이후의 설명에서 표현되는 x ( t 1 )와 x 1 ( t 1 ), x 2 ( t 1 )는 각각 t = t 1 일 때의 x x 1 , x 2 를 의미한다. n 번째 핀홀을 지나는 점선과 그 연장선의 관계식은 다음과 같다.
PPT Slide
Lager Image
t = t 1 일 때에, 픽셀로 샘플링되는 물체점의 위치 x 2 ( t 1 )는 식 (4)와 좌표 ( z 0 , x 2 ( t 1 ))로부터 식 (5)로 계산되고, 요소영상의 세기분포와 평면물체의 세기분포에 대한 관계식은 식 (6)과 같다.
PPT Slide
Lager Image
PPT Slide
Lager Image
식 (5)를 식 (6)에 대입하면 x 1 ( t 1 ) 위치의 픽셀값 E n ( x 1 ( t 1 ))을 계산할 수 있다. 이 과정을 그림 3 의 경우처럼 ( n −1) p < x ( t 1 ) < np 범위에서 반복하면, n 번째 요소영상을 획득할 수 있다.
그림 3 그림 4(a) 에서 설명한 원리로 생성된 두 요소영상들 사이의 차이점을 알아보기 위하여 동일한 위치에 존재하는 픽셀들의 값을 비교해 보자한다. 이를 위한 조건식은 x 1 ( t 1 ) = x 1 이고, 이 식을 식 (6)에 대입한 결과와 식 (3)으로부터 다음의 관계식이 얻어진다.
PPT Slide
Lager Image
식 (7)로부터, 그림 4(a) 의 각 픽셀에 대응하는 물체점의 위치가 그림 3 의 경우보다 p /4만큼 높다는 것을 알 수 있다.
그림 4(b) t = t 2 일 때의 생성원리를 나타낸다. 마스크 패턴이 그림 4(a) 의 경우와는 반대의 구조이다. 투과영역이 렌즈의 아랫부분에 위치하고, 차단영역이 렌즈의 윗부분에 위치한다. 따라서 핀홀의 위치는 렌즈중심에서 p /4만큼 아래에 존재한다고 볼 수 있다. x ( t 2 )와 x 1 ( t 2 ), x 2 ( t 2 )는 각각 t = t 2 일 때의 x x 1 , x 2 를 나타낸다. 핀홀을 지나는 점선의 관계식은 다음과 같다.
PPT Slide
Lager Image
좌표 ( z 0 , x 2 ( t 2 ))과 식 (8)로부터, 픽셀에 대응하는 물체점의 위치 식(9)로 계산되며, 요소영상과 물체의 대응 관계식은 식 (10)과 같다.
PPT Slide
Lager Image
PPT Slide
Lager Image
식 (9)와 식 (10)으로부터 E n ( x 1 ( t 2 ))이 구해지므로, ( n −1) p < x ( t 2 ) < np 범위의 n 번째 요소영상을 생성할 수 있다.
그림 4(a) 의 경우와 비슷하게 조건식 x 1 ( t 2 ) = x 2 및 식 (9), 식 (3)으로부터 다음의 관계식이 구해진다.
PPT Slide
Lager Image
그림 4(a) 의 경우와는 반대로, 샘플링되는 물체점 위치가 기존의 방식보다 p /4만큼 낮다.
최종적으로 시간다중화 디스플레이를 위한 요소영상은 t = t 1 일 때와 t = t 2 일 때를 각각 생성되어 서로 다른 영상이 얻어지게 된다.
IV. 실험 및 결과
- 4.1. 요소영상 생성 실험
본 논문에서 제안하는 요소영상 생성 방법을 검증하기 위해서 기초적인 실험을 수행하였다. 그림 5 는 실험에서 사용한 컴퓨터적 픽업의 조건이다. 렌즈어레이는 z =0의 위치에 둔다고 가정한다. 그러면 요소영상의 픽업 면은 거리 z=−f 의 위치에 얻어지게 된다. 그리고 서로 다른 거리의 위치한 5개의 영상을 3차원 물체로 가정한다. 각각의 영상에 대해서 본 논문에서 식 (5)와 (9)에서 나타난 제안하는 요소영상 생성 방법을 적용하여 시간 다중화 요소영상을 획득하였다.
PPT Slide
Lager Image
요소영상 생성 실험 구조 Fig. 5 Experimental structure of elemental image generation
본 실험에서는 2×2의 시간다중화 기법을 사용하였다. 이를 위하여 그림 6 의 마스크패턴을 사용하였다.
PPT Slide
Lager Image
2×2 요소영상 생성을 위한 마스크 패턴의 구조 Fig. 6 Mask patterns for 2×2 elemental image generation
PPT Slide
Lager Image
생성된 시간다중화 요소영상들 Fig. 7 Generated time-multiplexed elemental imaages
- 4.2. 광학적 디스플레이 실험
본 논문에서 제안하는 방법으로 생성된 요소영상에 대해서 올바르게 3차원 영상이 재생되는지를 확인하기 위한 광학적 기초실험을 수행하였다. 실험을 위한 광학적 실험 구성도는 그림 8 에 나타내었다. 디스플레이 패널로는 프로젝터와 스크린을 사용하였다. 스크린과 렌즈어레이 사이의 거리는 f =8mm이고, 렌즈어레이와 전자 마스크(시분할 다중화용 LC패널)는 이론상 z=0에 위치하기에 실제는 서로 밀착시켰다. 실험에 사용한 단일 렌즈어레이의 크기는 24인치이고, 내부의 렌즈 수는 330x186개이다. 렌즈릿의 직경은 약 1.6mm이고, 초점거리는 약 8mm이다. 해상도 증가를 위한 2x2회 시분할 다중화를 적용하기 위하여, 대응하는 요소영상과 마스크영상을 15Hz(60÷4)로 동기화하였다.
PPT Slide
Lager Image
광학 디스플레이 실험 시스템 Fig. 8 Experimental system for optical display
그림 9 는 광학적인 디스플레이 실험결과를 보여준다. 그림 9(a) 는 본 논문에서 생성한 요소영상을 사용하여 시분할 다중화 기술이 적용되었을 때의 결과영상이고, 그림 2(b) 는 기존의 방법으로 디스플레이한 영상이다. 그림 9 에서 보여지 듯이 시분할 다중화 방식을 통한 해상도 증가함을 실험적으로 확인할 수 있다.
PPT Slide
Lager Image
광학적으로 디스플레이된 3차원 영상 결과 Fig. 9 Optically displayed 3D image results
V. 결 론
결론적으로 본 논문에서는 렌즈분할 기반의 시간다중화 집적영상 디스플레이를 위한 컴퓨터적인 요소영상 생성 방법을 제안하였다. 제안하는 방법에 대해서 기하광학적 결상관계를 해석하였고 시간다중화 방식의 요소영상 생성의 기초실험을 수행하였다. 생성된 요소영상을 광학 디스플레이한 결과 올바르게 표시됨을 확인하였다.
Acknowledgements
이 논문은 2012년도 정부(미래창조과학부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임 (NRF-2012R1A1A2001153)
BIO
오용석(Yongseok Oh) 1998년 부경대학교 정보통신공학과 공학사 2002년 부경대학교 정보통신공학과 공학석사 2004년 부경대학교 정보통신공학과 공학박사수료 2012년~현재 동서대학교 IAI 연구소 연구원 ※관심분야 : 홀로그래피, 집적영상, 3D디스플레이
신동학(Donghak Shin) 1996년 부경대학교 정보통신공학과(공학사) 1998년 부경대학교 전자공학과(공학석사) 2001년 부경대학교 정보통신공학과(공학박사) 2001년 ~ 2004년 도요하시기술대학 선임연구원 2005년 ~ 2006년 광운대학교 3DRC 연구교수 2007년 ~ 현 재 동서대학교 IAI연구소 연구원 ※관심분야 : 3D 영상 획득, 3D 영상복원, 3D 디스플레이, 홀로그래피 등
정신일(Shin-Il Jeong) 1976년 경북대학교 전자공학과 공학석사 1988년 경북대학교 전자공학과 공학박사 1977년 ~ 1981년 ETRI 연구원 1981년 ~ 현재 부경대학교 정보통신공학과 교수 ※관심분야 : 광정보처리, 광컴퓨팅, 광영상인식
References
Benton S. A. 2001 Selected Papers on Three-dimensional Display SPIE Optical Engineering Press Gellingham, WA
Ozaktas H. M. , Onural L. 2008 Three-Dimensional Television Springer Berlin
Kelly D. P. , Monaghan D. S. , Pandey N. , Kozacki T. , Michałkiewicz A. , Hennelly B. M. , Kujawinska M. 2010 “Digital Holographic Capture and Optoelectronic Reconstruction for 3D Displays,” International Journal of Digital Multimedia Broadcasting
Lippmann G. 1908 "La photographie integrale," Comptes-Rendus Academie des Sciences 146 446 - 451
Okano F. , Hoshino H. , Arai J. , Yuyama I. 1997 "Real-time pickup method for a three-dimensional image based on integral photography," Applied Optics 36 1598 - 1603
Park J.-H. , Hong K. , Lee B. 2009 "Recent progress in three dimensional information processing based on integral imaging," Applied Optics 48 H77 - H94
Jang J.-Y. , Shin D. , Kim E.-S. 2014 "Optical threedimensional refocusing from elemental images based on a sifting property of the periodic 𝝳-function array in integral-imaging," Optics Express 22 1533 - 1550
Jang J.-S. , Jin F. , Javidi B. 2003 "Three-dimensional integral imaging with large depth of focus by use of real and virtual image fields," Optics Letters 28 1421 - 1423
Jang J.-S. , Javidi B. 2003 "Large depth-of-focus time multiplexed three-dimensional integral imaging by use of lenslet with nonuniform focal lengths and aperture sizes," Optics Letters 28 1924 - 1926
Choi H. , Kim Y. , Park J.-H. , Kim J. , Cho S.-W. , Lee B. 2005 "Layered-panel integral imaging without the translucent problem," Optics Express 13 5769 - 5776
Shin D.-H. , Lee B. , Kim E.-S. 2006 "Multidirectional curved integral imaging with large depth by additional use of a large-aperture lens," Applied Optics 45 7375 - 7381
Chen Y. , Wang X , Zhang J. , Yu S. , Zhang Q , Guo B. 2014 "Resolution improvement of integral imaging based on time multiplexing sub-pixel coding method on common," Optics Express 22 17897 - 17907
Oh Y. , Shin D. , Lee B.-G. , Jeong S.-I , Choi H. J. 2014 "Resolution-enhanced integral imaging in focal mode with a time-multiplexed electrical mask array," Optics Express 22 17620 - 17629