Advanced
Three-Dimensional Visualization and Recognition of Micro-objects using Photon Counting Integral Imaging Microscopy
Three-Dimensional Visualization and Recognition of Micro-objects using Photon Counting Integral Imaging Microscopy
Journal of the Korea Institute of Information and Communication Engineering. 2015. May, 19(5): 1207-1212
Copyright © 2015, The Korean Institute of Information and Commucation Engineering
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License(http://creativecommons.org/li-censes/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
  • Received : January 15, 2015
  • Accepted : February 17, 2015
  • Published : May 31, 2015
Download
PDF
e-PUB
PubReader
PPT
Export by style
Share
Article
Author
Metrics
Cited by
TagCloud
About the Authors
명진 조
Department of Electric, Electronic, and Control Engineering, Hankyong National University, Kyonggi-do 456-749, South Korea
기옥 조
Department of Electric, Electronic, and Control Engineering, Hankyong National University, Kyonggi-do 456-749, South Korea
동학 신
Institute of Ambient Intelligence, Dongseo University, Busan 617-716, South Korea
shindh2@gmail.com

Abstract
본 논문에서는 광자 계수 집적 영상 현미경을 사용하여 광자가 희박한 조건에서 마이크로 물체의 3차원 시각화와 인식에 대한 기술을 제안한다. 제안하는 방법에서는 고해상도의 서로 다른 원근감을 가지는 2차원 영상을 획득하기 위해 합성조리개 집적 영상을 사용한다. 그리고 영상으로부터 광자를 추출하기 위해 광자계수 영상 시스템의 수학적 모델인 포아송 분포를 사용하며 통계적 추정법으로 부터 3차원 영상을 추정한다. 따라서, 광자가 희박한 조건에서 마이크로 물체가 손상되지 않으면서 그에 대한 3차원 영상을 획득하고 시각화할 수 있다. 추가적으로, 비선형 상관 필터를 사용하여 3차원 물체의 인식도 가능하다. 본 기술의 유용성을 증명하기 위해, 광학적 실험을 수행하였다.
Keywords
Ⅰ. 서 론
최근 3차원 영상 기술에 대한 많은 연구가 보고되고 있다. 이러한 3차원 영상 기술들 중에서 집적 영상(Integral Imaging) [1] 은 3차원 영상 획득 및 디스플레이 기술 중 하나인데, 이 방법은 무안경식이고 3차원 물체의 완전 시차와 연속적인 시점을 제공한다. 또한, 레이저를 사용하지 않기 때문에 야외의 3차원 장면을 획득하는 것이 가능하다. 이와 같은 집적 영상의 장점을 활용하여 3차원 TV, 3차원 패턴 인식, 3차원 시각효과에 대한 연구가 활발히 진행되고 있다 [2 - 7] . 하지만, 이기술은 저해상도의 3차원 영상 해상도를 가지고 좁은 시야각을 가지고 얕은 깊이감을 가진다. 이러한 단점들을 해결하기 위한 연구도 활발히 진행되고 있다 [3 - 6] .
집적 영상 기술은 크게 픽업과정과 복원 과정으로 나눌 수 있다. 픽업과정에서 3차원 물체의 다양한 각도에서 관측한 영상들을 기록한다. 이 영상을 요소 영상이라 부른다. 이 요소 영상은 렌즈 배열이나 카메라 배열 등을 이용하여 획득한다 [2] . 픽업과정과는 다르게 집적영상의 복원 과정은 광학적 방법이나 컴퓨터적 방법이 가능하다. 광학적 방법에서는 렌즈 배열을 통하여 실제 3차원 영상을 공간에 재생할 수 있으며 디스플레이 장치에 응용된다 [3 , 6 , 7] . 컴퓨터적 집적 영상 복원 방법은 렌즈 배열을 컴퓨터적 모델화를 통하여 3차원 공간 영상을 컴퓨터내에 복원한다. 이러한 3차원 복원 정보를 활용하여 3차원 시각화, 인식, 추적 등에 활용이 가능하다 [2 , 4 , 5] .
한편, 현미경은 작은 물체나 미세한 정보를 획득하기 위한 광학적 영상 획득 장치이다 [8] . 영상을 획득하기 위해서는 높은 출력의 광원이 필요한데 이는 생물학적 구조를 가지는 작은 세포들을 손상시킬 수 있다. 이러한 이유 때문에 저출력 광원의 사용이 필요하다. 하지만, 저출력의 광원을 사용하게 되면, 물체의 손상을 막을 수는 있지만 정확한 영상을 획득하기는 힘들다. 이러한 저출력 광원의 환경 즉 광자가 희박한 조건에서 영상을 획득하기 위해서는 광자 계수 영상 기법 (Photon counting imaging)이 활발히 연구되어 지고 있다 [9 - 12] . 광자 계수 영상 기법은 광자가 희박한 조건에서 소량의 광자를 추출하는 기법인데 이는 수학적 통계 모델로 구현이 가능하다 [13] . 따라서, 본 논문에서는 저출력 광원을 사용하는 환경에서 3차원 마이크로 물체의 영상을 획득하기 위해 광자 계수 집적 영상 현미경 기술을 제안하고 마이크로 물체에 대한 시각화 실험을 수행한다. 또한 복원된 영상을 이용하여 마이크로 물체 인식 실험을 수행한다.
Ⅱ. 3차원 광자 계수 집적 영상 현미경
광자 계수 영상 기법은 광자가 희박한 조건에서 영상을 획득할 경우에 사용될 수 있다. 물리적인 광자 계수 검출기는 빛의 세기를 증폭하여 광자 수로 표현하는 장치인데 비용적인 측면에서 활용에 어려움이 있다. 따라서 그림 1 과 같이 광자 계수 검출기를 수학적 통계 모델로 구현하는 방법이 제안되었다 [13] . 광자 계수 영상 기법은 포아송 분포를 따르는데, 이는 광자가 드물게 발생하기 때문이다. 본 논문에서는 계산의 편의를 위해 1차원 정보만을 다룬다. 광자 계수를 생성하는 식은 다음과 같다 [9] .
PPT Slide
Lager Image
PPT Slide
Lager Image
광자 계수 영상 기법의 수학적 통계 모델 Fig. 1 Mathematical statistic model for photon counting imaging
여기서 Np 는 추출하고자 하는 광자의 수이다. λk 는 정규화된 k 번째 영상을 나타내는데 다음 식으로 표현할 수 있다 [9] .
PPT Slide
Lager Image
여기서 Ik k 번째 획득한 영상이고 Nx 는 영상의 x 축 픽셀 수이다. 이와 같이 식 (1)과 (2)를 사용하고 Np 를 조절하면 원하는 광자 계수 영상을 얻을 수 있다.
하지만 이렇게 생성된 광자 계수 영상은 2차원 영상이고 광자 수가 희박하기 때문에 물체를 인식하는데 어려움이 있다. 따라서 본 논문에서는 광자 계수 영상기법에 현미경과 집적 영상을 융합한 광자 계수 집적 영상 현미경을 제안한다. 또한, 고해상도의 서로 다른 원근감을 갖는 2차원 영상 (요소 영상)을 획득하기 위해 그림 2 와 같이 합성 조리개 집적 영상 기술을 사용한다.
PPT Slide
Lager Image
합성 조리개 집적 영상 현미경 Fig. 2 Synthetic Aperture Integral Imaging (SAII) microscopy
집적 영상 기술을 사용하게 되면 다수의 요소 영상을 얻을 수 있는데 이 영상들은 물체의 다른 시점에서 획득한 것들이기 때문에 서로 다른 정보를 가지게 된다. 이러한 영상들과 통계적 추정방법인 최대우도추정(Maximum Likelihood Estimation: MLE)를 사용하게 되면 3차원 영상을 추정할 수 있다 [9] . MLE를 수행하기 위해서는 우도(likelihood) 함수를 생성하여야 한다. 본 논문에서는 각 요소 영상을 식 (1)과 (2)를 사용하여 광자 계수 영상으로 변환하기 때문에 각 요소 영상은 포아송 분포를 따르게 되고 서로 통계적으로 독립이라고 가정한다. 따라서, 다수의 요소 영상으로부터 likelihood 함수를 생성하면 다음과 같다 [10] .
PPT Slide
Lager Image
식 (3)을 통하여 MLE를 적용하는 것은 계산이 복잡하기 때문에 다음 식과 같이 log likelihood 함수를 사용하게 된다 [10] .
PPT Slide
Lager Image
식 (4)를 λk 에 대하여 편미분을 하고 0과 등가를 취하게 되면 다음과 같이 추정하고자 하는 파라미터 λk 를 구할 수 있다 [10] .
PPT Slide
Lager Image
PPT Slide
Lager Image
식 (3)에서 식 (6)을 통하여 추정된 영상은 광자 계수 영상을 광자 수로 나눈 영상임을 알 수 있다.
이와 같이 추정된 영상들이 집적 영상에서는 k 개가 있기 때문에 다음 식과 같이 컴퓨터 집적 영상 재생 기법(Computational Integral Imaging Reconstruction: CIIR)을 사용하여 3차원 영상을 시각화 할 수 있다 [2] .
PPT Slide
Lager Image
여기서 △ x 는 3차원으로 재생되는 깊이 평면에서 각 요소 영상들이 중첩될 때 이동하는 픽셀의 수이고 p 그림 2 에 나타나 있는 것처럼 카메라간의 거리이며 f 는 카메라의 초점거리이다. 또한, cx 는 카메라 센서의 크기이고 zr 은 카메라로부터 재생하고자 하는 깊이의 거리이며, O ( x )는 각 요소 영상들이 중첩되는 회수이다.
Ⅲ. 비선형 상관 필터를 이용한 인식
식 (7)을 사용하여 3차원 영상을 획득할 수 있는데, 광자의 수가 매우 희박한 경우에는 시각화가 어렵기 때문에 물체를 인식하기가 쉽지 않다. 따라서, 비선형 상관 필터를 사용하여 물체를 인식하는 것이 보다 효율적이다. 본 논문에서는 비선형 상관 필터로 k 법칙 비선형 상관 필터를 사용한다 [14 , 15] . 이 상관 필터는 k 값을 조절함으로써 위상 필터, 선형 필터, 비선형 필터가 될 수 있다. 이 필터는 다음 식으로 표현할 수 있다.
PPT Slide
Lager Image
여기서 IFT는 푸리에 역변환이고 I 는 입력 영상, R 은 참조 영상, ϕI 는 입력 영상의 위상, ϕR 은 참조 영상의 위상이다. k =0이면, 위상 필터가 되고, k =1이면 선형 필터가 된다. 그리고 0< k <1이면 비선형 필터가 된다. 또한, 최적의 k 값을 구하기 위해 본 논문에서는 최대신호 대사이드로브 비 (Peak to Sidelobe Ratio: PSR)을 사용하였다. 이것은 다음과 같은 식으로 정의할 수 있다.
PPT Slide
Lager Image
여기서 E [•]는 기댓값이고 σc 는 상관결과의 표준편차이다. PSR 값이 클수록 좋은 상관관계를 나타내는 것이다. 따라서, 최대 PSR을 얻게 되는 k 값이 최적의 k 가 된다.
Ⅳ. 실험결과
본 논문에서는 광자 계수 집적 영상 현미경 기술을 검증하기 위해 광학적 실험을 수행하였다. 현미경은 20배율을 가지는 일반 현미경 렌즈를 사용하였고 50mm 초점 거리를 가지는 카메라를 사용하였다. 카메라 배열은 4(H)×3(V)를 사용하였고 카메라간의 간격은 px =5 mm, py =4 mm이다. 영상의 크기는 2331(H)× 2163(V) 픽셀이다. 그리고 물체의 깊이는 카메라로부터 224 mm이다. 그림 3 은 일반적인 고출력 광원을 사용하여 획득한 영상과 광자 계수 영상을 보여준다. 여기서 광자의 수는 20,000개이다.
PPT Slide
Lager Image
획득한 영상. (a) 고출력 광원을 사용한 경우, (b) 광자 계수 현미경 기법을 사용한 경우 (광자수: 20,000개) Fig. 3 Recorded images (a) using high power light source and (b) using photon counting microscopy with Np=20,000
그림 3 과 같은 요소 영상 12개를 SAII 기술을 이용하여 카메라를 이동하면서 획득하였다. 이들 기록된 12개의 영상에 대해서 식 (3)에서 식 (7)을 사용하여 3차원 시각화하면 그림 4 와 같은 실험 결과를 얻을 수 있다. 그림 4 (a)는 일반적인 고출력 광원을 사용할 때 224 mm 깊이에서 복원된 3차원 영상이다. 이와는 달리 그림 4 (b)는 본 논문의 광자 계수 집적 영상 현미경을 사용하였을 때의 복원 영상이다. 224 mm 깊이에서 재생되었으며 광자수는 20,000개이다. 실험 결과로부터 저전력 광원에서 3차원 영상이 잘 복원됨을 실험적으로 확인하였다.
PPT Slide
Lager Image
224 mm 깊이에서의 3차원 재생 영상 (a) 고출력 광원을 사용한 경우, (b) 광자 계수 집적 영상 현미경을 사용한 경우 (광자수: 20,000개) Fig. 4 3D reconstructed images at 224 mm depth (a) using high power light source and (b) using photon counting integral imaging microscopy with Np=20,000
다음 실험으로 본 논문에서 제안하는 기술이 깊이 방향으로 3차원 물체를 인식할 수 있음을 위한 인식 실험을 수행하였다. 이를 위해서 다양한 저전력 광원에 대해서 3차원 영상을 복원하였다. 실험에서는 광자수를 20,000개, 30,000개, 40,000개 그리고 100,000개의 네 종류를 반복 실험하였다. 복원된 영상들에 대해서 식 (8)과 (9)를 사용하여 PSR을 구하였다. 계산된 PSR의 결과를 그림 5 에 나타내었다. 이 실험에서 사용한 최적의 k 값은 0.3이었다. 그림 5 의 결과에서 알 수 있듯이, 깊이가 224 mm일 때, 최대 PSR을 얻게 됨을 알 수 있다. 또한, 광자의 수가 많을수록 PSR값이 높다는 것도 알 수가 있다. 이 실험 결과로부터 저전력 광원의 환경에서도 3차원 물체를 제대로 인식이 가능함을 실험적으로 확인하였다.
PPT Slide
Lager Image
재생 깊이 방향과 광자 수에 따른 PSR 그래프 Fig. 5 PSR graph via reconstruction depth and the number of photons
Ⅴ. 결 론
본 논문에서는 광자 수가 희박한 환경에서 3차원 광자 계수 집적 영상 현미경을 사용하여 3차원 마이크로 물체의 영상을 획득하고 시각화하는 방법에 대해 제안하였다. 또한, 보다 정확한 인식을 위하여 비선형 상관필터를 사용하였다. 제안되는 기술은 야간이나 광원에 취약한 물체의 영상을 획득하는데 응용될 수 있을 것이다. 하지만, 광자의 수가 매우 희박한 경우에는 3차원 시각화를 하는데 어려움이 있었다. 향후에는 보다 정밀한 고급 통계 추론방법인 베이지안 추론(Bayesian estimation)을 적용한 연구를 진행할 것이다.
Acknowledgements
이 논문은 정부(교육부)의 재원으로 한국연구재단의 지원을 받아 수행된 기초연구사업임(NRF-2012R1A1A2001153).
BIO
조명진(Myungjin Cho)
2003년 부경대학교 정보통신공학사
2005년 부경대학교 정보통신공석사
2005년 - 2007년 삼성전자 선임연구원
2011년 University of Connecticut, Electrical Engineering, PhD.
2012년 University of Connecticut, Post-Doctoral Fellow
2012년 9월 ~ 현재 한경대학교 전기전자제어공학과 조교수
※관심분야 : 3차원 영상획득, 3차원 영상 디스플레이, 3차원 물체 추적, 3차원 광자계수 영상, 3차원 영상 암호화, 디지털 홀로그래피, 수중 영상처리
조기옥(Ki-Ok Cho)
2013년 한경대학교 전기전자제어공학과 (공학사)
2015년 한경대학교 전기전자제어공학과 (공석사)
2015년 ~ 현 재 한경대학교 전기전자제어공학과 박사과정
※관심분야 : 3D 영상처리, 3D 광자 계수 영상, 3D 영상 암호화
신동학(Donghak Shin)
1996년 부경대학교 정보통신공학과(공학사)
1998년 부경대학교 전자공학과(공학석사)
2001년 부경대학교 정보통신공학과(공학박사)
2001년 ~ 2004년 도요하시기술대학 선임연구원
2005년 ~ 2006년 광운대학교 3DRC 연구교수
2007년 ~ 현재 동서대학교 IAI연구소 연구원
※관심분야 : 3D 영상 획득, 3D 영상복원, 3D 디스플레이, 홀로그래피 등
References
Lippmann G. 1908 "La Photographie Integrale," Comptes-Rendus Academie des Sciences 146 446 - 451
Hong S.-H. , Jang J.-S. , Javidi B. 2004 "Three-dimensional volumetric object reconstruction using computational integral imaging," Opt. Express 12 (3) 483 - 491    DOI : 10.1364/OPEX.12.000483
Jang J.-S. , Javidi B. 2002 "Improved viewing resolution of three-dimensional integral imaging by use of nonstationary micro-optics," Opt. Lett. 27 (5) 324 - 326    DOI : 10.1364/OL.27.000324
Cho M. , Daneshpanah M. , Moon I. , Javidi B. 2011 "Three-dimensional optical sensing and visualization using integral imaging," Proc. IEEE 99 (4) 556 - 575    DOI : 10.1109/JPROC.2010.2090114
Lim Y.-T. , Park J.-H. , Kwon K.-C. , Kim N. 2012 "Analysis on enhanced depth of field for integral imaging microscope," Opt. Express 20 (21) 23480 - 23488    DOI : 10.1364/OE.20.023480
Cho M. , Shin D. 2013 “3D Integral Imaging Display using Axially Recorded Multiple Images,” J. Opt. Soc. Korea 17 (5) 410 - 414    DOI : 10.3807/JOSK.2013.17.5.410
Oh Y. , Shin D. , Lee B.-G. , Jeong S.-I. , Choi H.-J. 2014 "Resolution-enhanced integral imaging in focal mode with a time-multiplexed electrical mask array," Opt. Express 22 (15) 17620 - 17629    DOI : 10.1364/OE.22.017620
Hecht E. 2002 Optics Addison Wesley
Tavakoli B. , Javidi B. , Watson E. 2008 “Three dimensional visualization by photon counting computational integral imaging,” Opt. Express 16 (7) 4426 - 4436    DOI : 10.1364/OE.16.004426
Jung J. , Cho M. , Dey D. K. , Javidi B. 2010 "Threedimensional photon counting integral imaging using Bayesian estimation," Opt. Lett. 35 (11) 1825 - 1827    DOI : 10.1364/OL.35.001825
Cho M. , Mahalanobis A. , Javidi B. 2011 "3D passive photon counting automatic target recognition using advanced correlation filters," Opt. Lett. 36 (6) 861 - 863    DOI : 10.1364/OL.36.000861
Cho M. , Javidi B. 2012 "Three-dimensional photon counting integral imaging using moving array lens technique," Opt. Lett. 37 (9) 1487 - 1489    DOI : 10.1364/OL.37.001487
Goodman J. W. 1985 Statistical optics Wiley & Sons, Inc.
Javidi B. 1989 "Nonlinear joint power spectrum based optical correlation," Appl. Opt. 28 (12) 2358 - 2367    DOI : 10.1364/AO.28.002358
Shin D. , Lee J.-J. 2013 "Nonlinear 3D Correlator Based on Pixel Restoration for Enhanced Objects Recognition" Journal of the Korea Institute of Information and Communication Engineering 17 (3) 712 - 717    DOI : 10.6109/jkiice.2013.17.3.712