Advanced
Three-Dimensional Map System Using Integral Imaging Technique
Three-Dimensional Map System Using Integral Imaging Technique
Journal of the Korea Institute of Information and Communication Engineering. 2014. Nov, 18(11): 2799-2804
Copyright © 2014, The Korean Institute of Information and Commucation Engineering
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License(http://creativecommons.org/li-censes/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
  • Received : September 17, 2014
  • Accepted : October 17, 2014
  • Published : November 30, 2014
Download
PDF
e-PUB
PubReader
PPT
Export by style
Share
Article
Author
Metrics
Cited by
TagCloud
About the Authors
명진 조
mjcho@hknu.ac.kr

Abstract
본 논문에서는 집적 영상 기술을 사용하여 3차원 정보를 추출하는 지도 시스템을 제안한다. 집적 영상 기술은 렌즈 배열을 가지는 2차원 영상 획득장치를 사용하여 다수의 서로 다른 원근감을 가지는 요소 영상을 기록하고 이를 이용하여 3차원 정보를 획득하고 디스플레이하는 기술이다. 본 논문에서는 각 요소 영상간의 위치 차이를 절대 차이의합 (Summation of Absolute Difference: SAD)를 사용하여 구하고 이를 이용하여 3차원 정보를 추출한다. 따라서, 3차원 물체의 높이 정보를 구할 수 있다.
Keywords
Ⅰ. 서 론
3차원 영상처리에 대한 많은 연구들이 활발히 진행되고 있다. 특히, 집적 영상은 2차원 영상장치와 수동 광원을 사용하여 3차원 영상을 획득하고 디스플레이할 수 있는 기술이다 [1 , 4 - 12 , 14] . 이 기술은 스테레오 방식 [2 , 3] 과 달리 완전시차 (상하좌우시차)를 제공하며 3차원 영상을 관측하기 위한 특수 안경을 요구하지 않는다. 무안경식에는 홀로그래피 기술도 [13] 있는데, 이 기술은 기록광원으로 레이저와 같은 능동광원이 요구된다. 따라서, 야외에서 3차원 물체를 촬영하는데 용이하지 않다. 반면에, 집적 영상은 광원으로 일반적인 백색광원을 사용하기 때문에 야외에서 3차원 물체를 촬영하는 것이 가능하다. 집적 영상에서는 3차원 정보를 기록하기 위해 렌즈 배열을 사용한다. 이 렌즈 배열을 통해 기록되는 서로 다른 원근감을 가지는 다수의 2차원 영상을 요소 영상이라 한다. 이 요소 영상들을 동일한 렌즈배열을 사용하여 디스플레이하게 되면 3차원 영상이 재생된다. 또한, 컴퓨터 재생 기법 [4] 을 사용하여 3차원정보를 추출할 수 있다. 하지만 집적 영상에도 문제점은 있다. 해상도가 낮고, 시야각이 좁으며, 깊이감이 얕다. 이러한 문제점들을 해결하기 위해 많은 연구들이 보고 되고 있다 [5 - 11] . 집적 영상에서 3차원 정보를 추출하기 위해서는 각 요소 영상들의 동일 픽셀의 위치 값을 계산해야 한다. 이 위치 값의 차이를 사용하여 기하광학적으로 깊이 정보를 추정하게 되면 3차원 정보를 얻을 수 있기 때문이다. 이 위치 값을 구하는 방법에는 여러가지가 있는데 [14 , 15] , 본 논문에서는 영상의 절대 차이의 합 (Summation of Absolute Difference: SAD) 기술 [14] 을 사용한다. 따라서, 이 SAD 기술과 집적 영상을 사용하면 3차원 물체의 높이 정보를 구할 수 있다.
Ⅱ. 집적 영상 기술과 SAD를 이용한 깊이 정보 추출
집적 영상 기술은 1908년 G. Lippmann [1] 에 의해 처음 제안되었으며, 수동 광원과 렌즈 배열을 사용하여 3차원 정보를 획득하고 디스플레이할 수 있는 기술이다. 집적 영상은 두 개의 처리과정을 통해 3차원 영상을 획득하고 디스플레이 할 수 있는데, 그림 1 에 그 개념이 설명되어 있다. 그림 1 (a)에서 알 수 있듯이, 3차원 물체에서 나오는 광선들은 렌즈 배열을 통해 2차원 영상획득 장치에 기록된다. 이렇게 기록된 영상들은 서로 다른 원근감을 가지는데 이 정보를 사용하여 동일한 렌즈배열을 통과시켜 디스플레이하면 그림 1 (b)에 나타나 있는 것처럼 3차원 영상을 재생할 수 있다.
PPT Slide
Lager Image
집적 영상 개념도 (a) 영상 획득 (b) 영상 디스플레이 Fig. 1 Concept of integral imaging (a) image pickup (b) image display
집적 영상에서 고해상도의 3차원 영상을 재생하기 위해서는 렌즈 배열 방식이 아닌 Synthetic Aperture Integral Imaging (SAII) [8] 기술이 사용된다. 이 기술은 그림 2 에 나타나 있는 것처럼 영상획득장치 배열이나 단일 영상획득장치를 이동하여 요소 영상을 획득하는 방법이다. 따라서, 각 요소 영상의 해상도는 영상획득 장치의 해상도와 동일하다. 또한, 영상획득장치의 이동거리를 렌즈의 직경보다 작게 할 수 있기 때문에 보다 정밀한 깊이 정보를 추출할 수 있다. 본 논문에서는 SAII 방식을 사용하여 영상을 획득하고 깊이 정보를 추출하였다.
PPT Slide
Lager Image
합성 조리개 집적 영상 Fig. 2 Synthetic Aperture Integral Imaging (SAII)
집적 영상에서 3차원 영상의 재생은 컴퓨터를 사용하여 깊이 방향에 따라 슬라이스 영상으로 재생할 수 있다 [4] . 컴퓨터 재생은 그림 3 과 같이 가상의 핀홀 배열을 사용하여 요소 영상을 재생 깊이면에 투과한 다음 중첩해서 구한다. 다음 식은 집적 영상에서 컴퓨터를 사용하여 3차원 영상을 재생하는 방법을 설명하고 있다.
PPT Slide
Lager Image
PPT Slide
Lager Image
PPT Slide
Lager Image
집적 영상에서의 컴퓨터 재생 Fig. 3 Computational reconstruction of integral imaging
여기서 Ikl 은 k k l 행의 요소 영상, Δx , Δy 는 요소 영상이 중첩될 때, 이동하는 거리, O ( x , y )는 중첩되는 회수를 나타내는 행렬, Nx , Ny 는 요소영상의 픽셀 수, p 는 렌즈의 크기, f 는 렌즈의 초점 거리, cx , cy 는 영상획득장치의 크기이며, z 는 재생되는 깊이이다. 이처럼, 집적 영상에서 3차원 물체의 깊이를 구하기 위해서는 Δx , Δy 의 값을 알아야 하는데, 본 논문에서는 SAD를 [14] 사용하여 그 값을 구한다. SAD는 구하고자 하는 M×N 의 크기를 갖는 부분 매칭 영상 T ( m,n )을 전체 영상 I ( x,y )을 통해 구하고 최소값을 취하여 동일한 픽셀의 위치를 구한다. SAD의 정의 식은 다음과 같다.
PPT Slide
Lager Image
각각의 요소 영상별로 최소의 SAD 값을 사용하여 매칭 영상의 위치를 구한 후, 그 차이 값의 평균을 취하게 되면 Δx , Δy 의 값을 구할 수 있다. 이렇게 구해진 Δx , Δy 를 식 (2)에 대입하면 다음과 같이 깊이를 구하는 식을 완성할 수 있다.
PPT Slide
Lager Image
이와 같이 요소 영상으로부터 물체의 각 부분의 깊이 정보를 추출하게 되면 3차원 지도 시스템을 구현할 수 있다.
Ⅲ. 실험결과
본 논문에서 제안하는 3차원 지도 시스템 기술을 검증하기 위해 광학적 실험을 수행하였다. 영상획득 장치로 Nikon D3200 DSLR 카메라를 사용하였고 카메라 렌즈의 초점 거리는 55mm이다. 카메라의 해상도는 3008×2000이다. 사용된 물체는 그림 4 에 나타나 있는 것처럼 장난감 자동차이고 높이는 근사적으로 30mm이다. 물체의 윗부분은 카메라에서 근사적으로 580mm 떨어져 있고 바닥부분은 카메라에서 근사적으로 610mm 떨어져 있다.
PPT Slide
Lager Image
광학 실험에 사용된 3차원 물체 Fig. 4 3D objects used in optical experiment
요소 영상을 획득하기 위해 카메라를 10mm씩 이동시켜 그림 5 와 같이 10×10 요소 영상을 획득하였다.
PPT Slide
Lager Image
요소 영상 Fig. 5 Elemental images
이렇게 획득한 요소 영상들을 그림 6 에 나타나 있는 매칭 영상들 (자동차의 윗부분과 바닥부분)로 SAD값을 구하면 그림 7 과 같은 그래프를 얻을 수 있다. 여기서 SAD의 최소값을 찾아 각 영상의 위치를 설정하고 요소 영상들의 위치 차이 값을 구하면 Δx , Δy 를 구할 수 있다. 이를 식 (4)에 적용하여 깊이 정보를 구하면 표 1 과 같다.
PPT Slide
Lager Image
SAD 계산을 위한 매칭 영상들 (a) 3차원 물체의 윗부분 (b) 3차원 물체의 바닥부분 Fig. 6 Matching images for SAD calculation (a) top part of 3D object (b) bottom part of 3D object
PPT Slide
Lager Image
SAD 그래프 (a) 3차원 물체의 윗부분 (b) 3차원 물체의 바닥부분 Fig. 7 SAD graphs (a) top part of 3D object (b) bottom part of 3D object
깊이 정보 추출Table. 1 Extraction of depth information
PPT Slide
Lager Image
깊이 정보 추출 Table. 1 Extraction of depth information
따라서, 자동차 윗부분과 자동차 바닥부분의 깊이 정보의 차이는 612.7501 - 582.7523 = 29.9978가 됨을 알 수 있다. 이것은 실제 3차원 물체의 높이 값과 유사하다.
실제 3차원 물체의 높이를 시각화하기 위해 그림 8 에 나타나 있는 것처럼 컴퓨터 재생 기법을 사용하여 깊이 방향에 따른 슬라이스 영상을 재생하였다. 그림에서 알 수 있듯이, 물체의 깊이가 정확히 일치할 때 초점이 맞은 영상 즉, 깨끗한 영상을 얻을 수 있다.
PPT Slide
Lager Image
재생된 3차원 영상 (a) z=580mm (b) z=590mm (c) z=600mm (d) z=610mm Fig. 8 Reconstructed 3D images (a) z=580mm (b) z= 590mm (c) z=600mm (d) z=610mm
Ⅳ. 결 론
본 논문에서는 집적 영상을 이용하여 3차원 정보를 추출하고 이를 이용하여 지도 시스템을 구성할 수 있다는 것을 설명하였다. 고해상도의 영상을 획득하기 위해 SAII 방식을 사용하였고 매칭 영상들의 위치 값을 구하기 위해 SAD 기술을 사용하였다. 항공기와 같은 이동수단에 카메라 배열과 같은 SAII 방식의 장치를 추가하고 SAD 기술로 매칭 영상들을 구한다면 3차원 지도를 제작할 수 있으리라 사료된다. 다만, SAD 기술은 영상간의 크기와 회전에 취약하기 때문에 향후 보다 정밀한 깊이 정보를 구하기 위해서 통계적인 기법을 적용할 것이다.
Acknowledgements
본 연구는 한경대학교 2013년도 학술연구조성비의 지원에 의한 것임.
BIO
조명진(Myungjin Cho)
부경대학교 정보통신공학사
부경대학교 정보통신공석사
삼성전자 선임연구원
University of Connecticut, Electrical Engineering, PhD.
University of Connecticut, Post-Doctoral Fellow
한경대학교 전기전자제어공학과 조교수
※관심분야 : 3차원 영상획득, 3차원 영상 디스플레이, 3차원 물체 추적, 3차원 광자계수 영상, 디지털 홀로그래피, 수중 영상 처리
References
Lippmann G. 1908 "La Photographie Integrale," Comptes-Rendus Academie des Sciences 146 446 - 451
Wheatstone C. 1838 "On some remarkable, and hitherto unobserved, phenomena of binocular vision," Phil. Trans. R. Soc. London 128 371 - 394    DOI : 10.1098/rstl.1838.0019
Lypton L. 1982 Foundation of Stereoscopic Cinema Van Nostrand Reinhold New York
Hong S.-H. , Jang J.-S. , Javidi B. 2004 "Three-dimensional volumetric object reconstruction using computational integral imaging," Opt. Exp. 12 483 - 491    DOI : 10.1364/OPEX.12.000483
Javidi J.-S. , Jang B. 2002 "Improved viewing resolution of three-dimensional integral imaging by use of nonstationary micro-optics," Opt. Lett. 27 324 - 326    DOI : 10.1364/OL.27.000324
Javidi J.-S. , Jang B. 2003 "Improvement of viewing angle in integral imaging by use of moving lenslet arrays with low fill factor," Appl. Opt. 42 1996 - 2002    DOI : 10.1364/AO.42.001996
Javidi J.-S. , Jang B. 2003 "Large depth-of-focus timemultiplexed three-dimensional integral imaging by use of lenslets with nonuniform focal lengths and aperture sizes," Opt. Lett. 28 1924 - 1926    DOI : 10.1364/OL.28.001924
Jang J.-S. , Javidi B. 2002 "Three-dimensional synthetic aperture integral imaging," Opt. Lett. 27 1144 - 1146    DOI : 10.1364/OL.27.001144
Okano F. , Arai J. , Mitani K. , Okui M. 2006 "Real-time integral imaging based on extremely high resolution video system," Proc. IEEE 94 (3) 490 - 501    DOI : 10.1109/JPROC.2006.870687
Arai J. , Okano F. , Hoshino H. , Yuyama I. 1998 "Gradient index lens array method based on real time integral photography for three dimensional images," Appl. Opt. 37 2034 - 2045    DOI : 10.1364/AO.37.002034
Hoshino H. , Okano F. , Isono H. , Yuyama I. 1998 "Analysis of resolution limitation of integral photography," J. Opt. Soc. Amer.A 15 2059 - 2065    DOI : 10.1364/JOSAA.15.002059
Cho M. , Daneshpanah M. , Moon I. , Javidi B. 2011 "Three-dimensional optical sensing and visualization using integral imaging," Proc. IEEE 99 (4) 556 - 575    DOI : 10.1109/JPROC.2010.2090114
Benton S. A. , Bove V. M. 2008 Holographic Imaging Wiley-Interscience New York
Cho M. , Javidi B. 2008 "Three-dimensional tracking of occluded objects using integral imaging," Opt. Lett. 33 2737 - 2739    DOI : 10.1364/OL.33.002737
Alazawi E. , Aggoun A. , Abbod M. , Fatah O. A. "Adaptive depth map estimation from 3D integral image," 2013 IEEE International Symposium on Broadband Multimedia Systems and Broadcasting (BMSB) London June 5-7, 2013 1 - 6