Advanced
Orthoscopic real image reconstruction in integral imaging by modifying coordinate of elemental image
Orthoscopic real image reconstruction in integral imaging by modifying coordinate of elemental image
Journal of the Korea Institute of Information and Communication Engineering. 2015. Jul, 19(7): 1646-1652
Copyright © 2015, The Korean Institute of Information and Commucation Engineering
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License(http://creativecommons.org/li-censes/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
  • Received : March 30, 2015
  • Accepted : May 06, 2015
  • Published : July 31, 2015
Download
PDF
e-PUB
PubReader
PPT
Export by style
Share
Article
Author
Metrics
Cited by
TagCloud
About the Authors
재영 장
Department of Optometry, Eulji University, Seongnam-si, 461-713, South Korea
명진 조
Department of Electrical, Electronic, and Control Engineering, IITC, Hankyong National University, Anseong-si 456-749, South Korea
mjcho@hknu.ac.kr

Abstract
본 논문에서는 집적영상에서 정치실영상을 재생하기 위한 깊이변환법을 제안한다. 종래의 집적영상은 재생상이 반전된 깊이로 재생되는 도치영상 문제가 있다. 재생상의 깊이는 개별 요소영상의 좌표에 의해 결정된다. 요소영상 획득과 재생시스템의 기하학적 관계를 분석하여 재생상의 깊이 변환 에 필요한 수식 유도가 가능하며 이를 이용하여 도치영상을 정치영상으로 변환할 수 있다. 제안하는 방법의 유용성을 보이고 또한 이론적 분석을 검증하기 위하여 실험을 수행하였고 그 결과를 제시한다.
Keywords
Ⅰ. 서 론
집적영상 (Integral Imaging)은 1908년 Lippmann에 의해 처음 제안된 3차원 영상 구현 방법이다 [1] . 집적영상은 자연광의 이용이 가능하고 완전한 색상 구현, 시야각 내에서 연속적인 관찰시점과 Autosteroscopic 영상 제공, 무안경 방식 그리고 시차영상의 획득과 재생과정이 다른 3차원 영상 기술에 비하여 상대적으로 간편하다는 장점이 있다 [2 - 7] .
집적영상은 3차원물체를 다양한 시점에서 관찰하였을 때의 정보를 획득하고, 이를 재생함으로 3차원 물체와 동일한 영상을 재생하는 영상구현방법이다. 물체의 다양한 시점에 대한 정보를 획득하기 위하여 요소렌즈(elemental lens)가 연속적으로 배열된 평면 형태의 렌즈배열(lens array)을 이용한다. 이 때 렌즈배열 내에 위치한 요소렌즈의 위치에 대응하여 3차원 물체의 연속적인 시차정보가 결상된다. 이 시차정보의 배열을 요소 영상이라 하며, 요소영상은 카메라 등의 픽업장치를 이용하여 획득된다. 3차원 영상 재생은 렌즈배열을 영상 표시장치 앞에 놓음으로 요소영상 획득시 3차원 물체가 놓였던 깊이에 3차원 영상을 재생한다. 집적영상의 재생영상에서 관찰되는 특성으로써 재생영상이 반전된 깊이 감을 갖는 도치영상 (Pseudoscopic image) 문제가 있다. 재생상의 도치영상 문제를 해결하기 위한 초기의 연구로는 요소영상 획득시 사용되는 광학계를 GRIN (gradient index)렌즈 어레이 [8 , 9] , 오목렌즈 어레이, 그리고 렌즈어레이를 한 번 더 사용하는 방법 [10] , 등이 연구 되어졌다. 그러나 위 방법들은 재생상이 허상으로만 구현될 수 있는 한계가 있다. 정치 실상 구현을 위한 연구로는 광학적인 방법을 이용한 다양한 깊이 변환법이 시도 된바있다 [11 - 14] . 그러나 특별한 광학장치를 부가적으로 활용하여 재생되는 정치실상 (Orthoscopic real image) 즉, 바른 순서의 깊이를 갖는 영상은 재생영상의 왜곡과 질적 저하를 수반 한다.
본 논문에서는 물체와 요소영상 그리고 재생상의 기하학적 관계를 정의하고 이들의 관계에 대한 분석을 통하여 광학적 손실과 부가적인 수차 없이 도치영상문제를 해결하고자 한다. 요소영상과 획득계 그리고 재생계의 분석을 통하여 수식을 유도 하였으며 이를 이용하여 재생하고자 하는 깊이에 대응하도록 요소영상 변환이 가능하다. 제안하는 방법의 유용성을 보이기 위하여 이론적 분석과 실험을 수행하였다.
Ⅱ. 도치영상의 특성
일반적인 집적영상법 (Integral Imaging Method)을 통해서 재생되는 영상은 도치실상(Pseudoscopic real image)의 형태로 관찰된다. 이는 광학계의 문제로 인하여 발생하는 것이 아니며 3차원 물체의 정보가 획득되며 재생되는 과정에서 나타나는 자연스러운 결과이다.
그림 1 은 이를 표현한 것으로 요소영상 획득시 3차원 물체와 렌즈배열 사이의 깊이 순서는 재생과정에서 동일한 순서를 가진 영상으로 재생되기 때문이다. 도치영상 (Pseudoscopic image)은 반전된 깊이로 재생되므로 3차원 영상으로 관찰자에게 제공하기에는 부적절 하며, 도치영상 문제는 집적영상이 상업적으로 성공하기 위해서 해결 돼야할 과제이다.
PPT Slide
Lager Image
집적영상에서 3차원 정보 획득과 재생과정 Fig. 1 3D information pickup and reconstruction process in integral imaging.
Ⅲ. 재생상의 깊이와 요소영상의 좌표 사이의 관계
집적영상 (Integral Imaging) 에서 물체의 3차원 정보는 요소렌즈(elemental lens)가 연속적으로 배열된 렌즈배열(lens array)을 통하여 결상되며 카메라나 CCD(Charge Coupled Device)등의 장비를 이용하여 2차원 형태로 저장된다. 저장된 2차원 영상을 요소영상배열(elemental image array)이라 하고 각 요소렌즈에 대응되는 영상을 요소영상(elemental image)이라 하며 획득과정은 그림 2 와 같이 표현 할 수 있다. 그림 1 은 공간상의 점 물체, 렌즈배열, 요소영상의 기하 광학적 관계를 2차원 좌표계로 나타낸 것이다.
PPT Slide
Lager Image
렌즈 배열에서 점물체와 이미징점들과의 기하학적 관계 Fig. 2 Geometrical relation between a point object and imaging points in the lens array method
이때 변수들의 대응관계는 다음과 같이 표현된다.
PPT Slide
Lager Image
그림 2 와 식 (1)에서 좌표의 원점은 렌즈배열의 제일 아래에 위치한 요소렌즈의 가장자리이다. ( xO , yO , zO )는 물체의 좌표이며, 실물체의 경우 yO < 0을 만족한다. P 는 이웃한 요소렌즈광축 사이의 거리이고, 요소렌즈의 직경이기도 하다. f 는 요소렌즈의 초점거리 이며, xEm zEn 은 각각 m과 n번째 요소렌즈에 의한 x축과 z축 방향의 결상 점을 나타낸다. yE 는 요소영상의 결상 깊이이며, Lmn 은 렌즈배열 내에서 각 요소렌즈의 위치를 나타낸다.
재생상의 깊이 변환은 획득된 요소영상배열의 위치에 대응하는 재생영상 (Reconstructed image)의 위치관계를 참고하여 수행되어야 한다. 따라서 각 요소영상의 위치와 이에 대응하는 재생영상의 기하학적 관계에 대한 분석이 필요하며, 그림 3 은 이를 표현한 것이다.
PPT Slide
Lager Image
렌즈 배열에서 재생상과 요소영상들과의 기하학적 관계 Fig. 3 Geometrical relation between a reconstructed image and elemental images in the lens array method
요소영상과 재생영상들 사이의 변수들의 대응관계는 다음과 같이 표현된다.
PPT Slide
Lager Image
그림 3 과 식 (2)에서 ( xI , yI , zI )는 재생영상의 좌표이고, 다른 변수들은 그림 2 의 설명과 동일하다.
그림 4 는 재생영상의 깊이를 변환하기 위한 요소영상의 좌표변환을 설명하기 위한 것으로 변환되기 전 요소영상의 좌표는 ( xEm , - yE , zEn )이고 이 점들에 대응되는 재생영상의 집적점 (integrated point)의 좌표는 ( xI , yI , zI )으로 그림에서는 점선으로 표시된 부분이다. 재생영상을 임의의 깊이 ( xI , yID , zI )에 집적하기 위하여 그림에서 표현한 것처럼 대응되는 요소영상의 변환이 필요하며 변환된 점의 좌표는 ( xEmD , - yE , zEnD )로 그림에서 실선으로 표현하였다.
PPT Slide
Lager Image
재생영상의 깊이변환을 위한 요소영상의 변환 Fig. 4 Elemental image deformation for depth conversion of reconstructed image
변수를 정하는 과정에서 요소영상면과 렌즈배열사이의 거리를 변환 전과 후 모두 - yE 이다. 그림 4 에 표현된 것처럼 깊이가 변환된 재생영상 (Defromed recostructed image)의 좌표는 변환되기 전 재생영상(Original reconstructed image)과 y 축 좌표에서만 차이를 보인다. 그러나 요소영상면에서는 변환된 재생영상에 대응되는 x 축과 z 축좌표에 대한 좌표변환이 필요하다. 변환하고자 하는 깊이 yID 를 결정하였을 경우 이에 대응되는 요소영상면위의 점들은 식 (1)과 (2)를 응용하여 유도할 수 있고 요소영상면 y = yE ( yE > 0) 이므로 변환된 좌표는 다음과 같다.
PPT Slide
Lager Image
식 (3)은 변환되기 전 요소영상의 좌표 xEm zEn 을 포함하고 있지 않으며 yID 를 임의의 값으로 주었을 경우와 물체의 위치와의 관계를 나타내고 있다. 이 수식이 의미하는 바는 알고 있는 물체 정보에 대하여 재생영상을 위치시키고자 하는 깊이에 재생하기 위한 중간과정인 요소영상획득 과정 없이 원하는 깊이에 집적될 요소영상을 얻을 수 있음을 말한다.
획득된 요소영상에서 재생상의 깊이를 변환하고자 하는 경우 수식 (1)을 xO zO 에 대하여 정리한 후 수식 (3)에 각각 대입하면 되며 그 결과는 식 (4)와 같다.
PPT Slide
Lager Image
Ⅳ. 깊이 변환 실험
제안하는 깊이변환법에 대한 구현 가능성을 확인하기 위하여 깊이변환 실험을 수행하였다. 각 재생상의 특성을 확인하기 위하여 원본 요소영상으로 재생된 상과 제안하는 변환법을 이용하여 변환된 요소영상의 재생 상을 비교하였다. 그림 5 는 요소영상 획득과 재생과정의 실험 셋업 이다. 실험에서 요소렌즈의 직경은 10mm이고 초점거리는 30 mm이며 요소렌즈는 사각형 형태의 평볼록렌즈이고 렌즈배열 전체크기는 8X4이다.
PPT Slide
Lager Image
요소영상 획득과 재생 실험 셋업 Fig. 5 Experimental setup for capturing and reconstruction to elemental image array
물체는 K, N, U 알파벳 문자가 사용 되었으며 각각 렌즈배열로부터 거리 70mm, 90mm, 110mm 떨어져 있다. 요소영상 재생과정에서는 요소영상을 획득할 때와 동일한 사양의 렌즈배열을 사용하였다. 또한 렌즈배열은 요소영상배열로부터 31.5 mm에 위치시켰다. 재생영상의 특성을 확인하기 위하여 카메라를 수평방향으로 이동하며 관찰하였다.
그림 6 (a), (b)는 각각 획득된 원본 요소영상과 깊이가 변환된 요소영상이다. 그림 6 (b)의 요소영상은 원본 요소영상으로부터 제안하는 깊이변환법을 이용하여 변환한 결과이다.
PPT Slide
Lager Image
원본 요소영상과 깊이가 변환 요소영상 Fig. 6 Original elemental image array and depth converted elemental image array
그림 7 (b)와 (c)는 각각 그림 6 (a)와 (b)의 요소영상을 이용하여 재생한 결과이다. 그림 7 (b)는 도치실상으로 재생되었다. 도치실상은 반전된 깊이로 재생되는 특성이 있는데 이로 인하여 관찰위치에 기대되는 재생영상이 관찰되지 않는 것이다. 이를 구체적으로 설명하기 위하여 그림 7 (a)의 관찰위치와 그림 7 (b)에서 재생된 영상을 논의하면, 관찰 위치가 왼쪽일 경우 관찰자는 물체의 왼쪽에 대응하는 영상이 관찰될 것을 기대한다. 그러나 그림 7 (b)의 재생영상을 보면 왼쪽에서 관찰할 때 물체의 오른쪽 부분이 관찰되며, 오른쪽에서 관찰할 때 물체의 왼쪽 부분이 관찰되는 것을 확인할 수 있다.
PPT Slide
Lager Image
재생결과 : (a) 관찰위치, (b)도치실상, (c) 정치실상 Fig. 7 Reconstruction result : (a) observing position, (b) Pseudoscopic real image, (c) Orthoscopic real image
그림 7 (c)는 제안하는 깊이변환법을 이용하여 깊이가 변환된 그림 6 (b)의 요소영상을 이용하여 재생된 결과로써 정치실상으로 재생되었다. 도치영상과 달리정치실상은 올바른 깊이를 갖는다. 이는 다양한 관찰 위치에서 관찰한 재생상을 통하여 확인 할 수 있는 특성이다. 그림 7 (a)의 관찰 위치와 이에 대응하는 영상을 그림 7 (b)의 정치실상으로 재생된 결과에서 살펴보면, 관찰 위치에 대응하여 올바른 영상이 재생됨을 확인 할 수 있다. 이는 제안하는 도치영상에서 정치실상으로의 깊이변환법 이론을 실험으로 검증한 결과라 할 수 있다.
Ⅴ. 결 론
결론적으로 본 논문에서는 집적 영상 기술에서 재생상의 도치영상문제를 해결하기 위하여 요소영상의 좌표를 재생깊이를 고려하여 변환하는 새로운 깊이변환법을 제안하였으며 기하학적 분석을 통하여 제안하는 변환법을 제시하였다. 또한 제안하는 방법의 유용성을 확인하기 위하여 획득된 요소영상을 이용하여 도치실상 재생 실험과, 요소영상변환을 통하여 정치실상 재생실험을 수행하여 재생된 영상들을 관찰위치와 비교하였다. 실험결과 깊이가 반전되는 특성을 갖는 도치영상이 변환된 후 올바른 깊이 감을 갖는 정치실상으로 재생됨을 확인하였다.
Acknowledgements
This research was supported by Basic Science Research Program Basic Science Research Program through the National Research Foundation of Korea (NRF) funded by the Ministry of Education (NRF-2013R1A1A2057549).
BIO
장재영(Jae-young Jang)
강원대학교 물리학과 이학박사
광운대학교 전자공학과 연구교수
을지대학교 안경광학과 조교수
※관심분야 : 집적영상, 다시점생성시스템, 3차원 깊이인식, 3차원 공간필터링, 비침습성산란시스템
조명진(Myungjin Cho)
부경대학교 정보통신공학사
부경대학교 정보통신공석사
삼성전자 선임연구원
University of Connecticut, Electrical Engineering, PhD.
University of Connecticut, Post-Doctoral Fellow
한경대학교 전기전자제어공학과 조교수
※관심분야 : 3차원 영상획득, 3차원 영상 디스플레이, 3차원 물체 추적, 3차원 광자계수 영상, 3차원 영상 암호화, 디지털 홀로 그래피, 수중 영상처리
References
Lippmann G. 1908 “La photographie integrale,” Comptes-Rendus Academie des Sciences 146 446 - 451
Okano F. , Hoshino H. , Arai J. , Yuyama I. 1997 “Real-time pickup method for a three-dimensional image based on integral photography,” Appled optics 36 1598 - 1603    DOI : 10.1364/AO.36.001598
Arimoto H. , Javidi B. 2001 "Integral three-dimensional imaging with digital reconstruction," Optics Letters 26 157 - 159    DOI : 10.1364/OL.26.000157
Hong S.-H. , Jang J.-S. , Javidi B. 2004 "Three-dimensional volumetric object reconstruction using computational integral imaging," Optics Express 12 483 - 491    DOI : 10.1364/OPEX.12.000483
Hong S.-H. , Javidi B. 2006 “Distortion-tolerant 3D recognition of occluded objects using computational integral imaging,” Optics Express 14 12085 - 12095    DOI : 10.1364/OE.14.012085
Jang J.-Y. , Shin D. , Kim E.-S. 2014 "Optical threedimensional refocusing from elemental images based on a sifting property of the periodic δ-function array in integral-imaging," Optics Express 22 1533 - 1550    DOI : 10.1364/OE.22.001533
Arai J. , Okano F. , Hoshino H. , Yuma I. 1998 "Gradientindex lens-array method baed on real-time integral photography for three-dimensional images," Appled optics 37 2034 - 2045    DOI : 10.1364/AO.37.002034
Naemura T. , Yoshida T. , Harashima H. 2001 "3-D computer graphics based on integral photography." Optics Express 8 255 - 262    DOI : 10.1364/OE.8.000255
Higuchi H. , Hamasaki J. 1978 "Real-time transmission of 3-D images formed by parallax panoramagrams," Appled optics 17 3895 - 3902    DOI : 10.1364/AO.17.003895
Jang J.-S. , Javidi B. (2003) "Formation of orthoscopic three-dimensional real images in direct pickup one-step integral imaging," Optical Engineering 42 1869 - 1870    DOI : 10.1117/1.1584054
Lee B. , Jung S. , Min S.-W. , Park J.-H. 2001 "Threedimensional display using integral photography with dynamically variable image planes," Optics Letters 26 1481 - 1482    DOI : 10.1364/OL.26.001481
Jang J.-S. , Javidi B. 2002 "Two-step integral imaging for orthoscopic three-dimensional imaging with improved viewing resolution," Optical Engineering 41 2568 - 2571    DOI : 10.1117/1.1505961
Yeom J. , Hong K. , Jeong Y. , Jang C. , Lee B. 2014 "Solution for pseudoscopic problem in integral imaging using phase-conjugated reconstruction of lens-array holographic optical elements," Optics Express 22 13659 - 13670    DOI : 10.1364/OE.22.013659