Advanced
Efficient Method for Recovering Spectral Reflectance Using Spectrum Characteristic Matrix
Efficient Method for Recovering Spectral Reflectance Using Spectrum Characteristic Matrix
Journal of Korea Multimedia Society. 2015. Dec, 18(12): 1439-1444
Copyright © 2015, Korea Multimedia Society
  • Received : August 24, 2015
  • Accepted : October 12, 2015
  • Published : December 31, 2015
Download
PDF
e-PUB
PubReader
PPT
Export by style
Article
Author
Metrics
Cited by
TagCloud
About the Authors
규동, 심
Dept. of Computer and Software, Hanyang University
종일, 박
Dept. of Computer and Software, Hanyang University
jipark@hanyang.ac.kr

Abstract
Measuring spectral reflectance can be regarded as obtaining inherent color parameters, and spectral reflectance has been used in image processing. Model-based spectrum recovering, one of the method for obtaining spectral reflectance, uses ordinary camera with multiple illuminations. Conventional model-based methods allow to recover spectral reflectance efficiently by using only a few parameters, however it requires some parameters such as power spectrum of illuminations and spectrum sensitivity of camera. In this paper, we propose an enhanced model-based spectrum recovering method without pre-measured parameters: power spectrum of illuminations and spectrum sensitivity of camera. Instead of measuring each parameters, spectral reflectance can be efficiently recovered by estimating and using the spectrum characteristic matrix which contains spectrum parameters: basis function, power spectrum of illumination, and spectrum sensitivity of camera. The spectrum characteristic matrix can be easily estimated using captured images from scenes with color checker under multiple illuminations. Additionally, we suggest fast recovering method preserving positive constraint of spectrum by nonnegative basis function of spectral reflectance. Results of our method showed accurately reconstructed spectral reflectance and fast constrained estimation with unmeasured camera and illumination. As our method could be conducted conveniently, measuring spectral reflectance is expected to be widely used.
Keywords
1. 서 론
현재 바라보는 장면을 기록으로 남기고 그대로 보여주기 위해 카메라와 디스플레이 기술이 발전해 왔다. 사람의 눈은 RGB 3가지 색을 감지할 수 있고 3가지 색으로 다른 색들을 나타낼 수 있기 때문에 카메라와 디스플레이는 RGB를 사용해왔다. 하지만 많은 연구와 디지털 데이터에서는 눈으로 구별되는 색 정보 이상의 정보가 필요하다. 실제로 RGB 정보 이상인 다중 스펙트럼을 이용해서 더 향상된 영상처리결과를 얻는 연구들이 진행되고 있다 [8] .
더 많은 색 정보를 나타내는 방법들 중 물체의 반사 스펙트럼을 이용하는 방법이 있다. 반사 스펙트럼을 색 정보로써 이용할 수 있는 이유는 빛의 파워 스펙트럼, 분광 감도, 그리고 물체의 반사 스펙트럼에 의해 색이 결정되기 때문이다. 빛의 파워 스펙트럼은 장소에 따라 변하고 분광 감도는 사람이나 카메라 등의 측정 장비마다 다르다. 하지만 물체의 반사 스펙트럼은 대부분의 물체에 대해서 변하지 않아서 물체 고유의 색상 정보를 가지고 있다. 정확도 면에서도 주파수 대역별 정보를 갖고 있기 때문에 RGB 3채널에 비해서 높은 정확도를 보인다. 즉, 반사 스펙트럼을 알고 있으면 임의의 조명과 카메라를 사용한 새로운 영상을 계산함으로써 획득할 수 있고 미세한 색의 차이를 더 쉽게 관찰할 수 있다 [1] .
반사 스펙트럼을 구하기 위한 연구는 멀티채널 카메라를 이용한 각 주파수 대역 별로 얻은 데이터를 조합하는 방법과 기저함수로 반사 스펙트럼을 나타내는 모델기반 반사 스펙트럼 방법이 있다 [2] . 모델기반 반사스펙트럼은 기저함수의 신뢰도에 따라 정확도가 높은 유용한 방법이지만 카메라와 조명의 스펙트럼 특성이 필요하고 복원된 스펙트럼을 양수로 보정하기 위해 계산시간이 긴 단점이 있다. 스펙트럼 특성이 필요한 문제를 일상적인 조명으로 해결하는 방법과 계산 시간이 오래 걸리는 단점을 비음수 PCA(Principal Component Analysis)로 시간을 단축시킬수 있다 [3 - 5] .
본 논문에서는 카메라와 조명의 스펙트럼 특성을 따로 구하지 않고 두 값이 포함된 스펙트럼 특성행렬을 기준색상을 이용하여 구한다. 스펙트럼 특성행렬과 그 조건에 맞는 조명과 카메라로 얻은 영상으로 스펙트럼 복원을 하며, 비음수 PCA로도 완전히 지켜지지 않았던 양수가 되도록 하는 제약조건을 더 만족시키는 방법을 제안한다.
제안하는 방법의 구성도는 Fig. 1 과 같다. 반사 스펙트럼을 선형 결합으로 표현하기 위한 기저함수 비음수 PCA와 컬러체커 차트 (Macbeth Color Checker)의 반사 스펙트럼으로부터 기저함수 계수 σ 를 구할 수 있다. 이렇게 얻은 σ 와 얻고자 하는 조명과 카메라 특성에서 획득한 영상의 컬러체커 차트로부터 스펙트럼 특성행렬 F 를 추정한다. 마지막으로, 반사 스펙트럼의 적용을 위하여 스펙트럼 특성행렬과 새로 획득할 영상의 조명과 카메라 특성으로 새로운 영상을 최소자승법을 사용하여 획득한다.
PPT Slide
Lager Image
Block diagram of recovering spectral reflectance.
2. 모델기반 반사 스펙트럼 복원
카메라의 영상획득은 Fig. 2 에서 확인할 수 있듯이 조명, 객체와 카메라의 영향을 받고 선형 모델로 나타내면, 식 (1)로 나타낼 수 있다. 여기서 pn ( λ )는 n 개의 조명에서의 스펙트럼 파워 분포, cm ( λ )는 m 개의 컬러 채널에 대한 카메라 스펙트럼 응답 특성, 그리고 s ( λ )는 객체의 반사 스펙트럼이다. 예를 들어 RGB카메라로 다른 조명에서 촬영한 두 사진을 사용하면, m 은 3, n 은 2이고 획득한 영상은 6개이다.
PPT Slide
Lager Image
PPT Slide
Lager Image
Illustration of multispectral imaging system.
모델기반 반사 스펙트럼 복원은 반사 스펙트럼을 기저함수들의 선형 결합으로 나타낼 수 있음을 이용한다. Parkinnen이 제안한 반사 스펙트럼의 기저함수는 8개만 사용해도 정확도가 99%가 될 정도로 기저함수의 선형 결합 방법은 높은 정확도를 가진다 [6] . 반사 스펙트럼을 효율적으로 나타내기 위해 기저함수의 선형 결합으로 나타내면 다음과 같다.
PPT Slide
Lager Image
bk k 번째 기저함수이고 σk 는 기저함수의 계수이다. 식 (1)의 반사 스펙트럼을 식 (2)와 같은 기저함수의 선형결합으로 나타내면 식 (3)과 같이 정리할 수 있다.
PPT Slide
Lager Image
파장 대역에서 표현되는 세 함수인 기저함수, 카메라 스펙트럼 응답 특성과 조명의 스펙트럼 파워분포의 적분과 계수를 분리하여 식 (4)와 같이 나타낼 수 있다. 여기서 F 는 이 논문에서 제안하는 스펙트럼 특성행렬이다.
PPT Slide
Lager Image
두 특성함수와 기저함수의 파장대역에서 적분으로 스펙트럼 특성행렬 F 를 구할 수 있고 같은 조건에서 얻은 영상 I 로 식 (4)에 의해 σk 를, 식 (2)로 반사 스펙트럼 s ( λ )를 구할 수 있다. 여기서 파장대역 성분인 조명과 카메라의 특성을 따로 측정하지 않고 F 행렬을 구하면 스펙트럼을 더 효율적으로 획득 할 수 있다.
3. 스펙트럼 특성행렬 추정
기존의 스펙트럼 특성행렬을 구하는 방법은 카메라 응답특성과 조명의 스펙트럼 파워 분포를 각각 측정해서 계산하는 방법이었다. 하지만 조명의 스펙트럼 분포와 카메라의 응답특성의 측정을 위한 과정과 방법은 매우 까다롭다.
본 논문에서는 식 (4)의 스펙트럼 특성행렬을 구하기 위해 카메라 스펙트럼 응답 특성과 조명의 스펙트럼 파워 분포 대신에 σ I 의 선형연립방정식을 풀어 F 를 구한다. 정확한 σ 를 얻기 위해 색상이 알려진 컬러 차트의 스펙트럼 분포와 기저함수로 식 (2)의 방정식을 푼다 [6] . 이 풀이는 많은 색을 참고할수록 정확한 특성행렬을 구할 수 있으며, 반복이 없이 빠른 계산을 위해 비음수 최소자승법과 스펙트럼 반사 특성이 양수가 되도록하는 비음수 PCA를 기저함수로 사용한다.
4. 스펙트럼 조건에 성립하는 반사 스펙트럼 획득
특성을 아는 카메라와 조명을 사용해서 얻은 영상 I F 로 식 (4)를 풀기 위해선 제약조건인 스펙트럼 반사 특성이 항상 양수가 되어야 한다는 식 (5)의 조건이 해결돼야 한다.
PPT Slide
Lager Image
이전의 방법은 빠른 계산을 위해 제약조건이 없이 최소자승법으로 스펙트럼을 복원하고 제약조건을 해결하기 위해 비음수 PCA를 기저함수로 선택했지만 제약조건이 완전히 해결되지 않았다. 이 논문에서는 기존의 연산 속도를 유지하면서 제약조건을 더 확실히 하기 위해 식 (2)의 계수 σ 를 비음수 최소자 승법으로 얻는 방법을 제안한다. 비음수 기저함수의 계수로 구한 특성행렬 F 가 복원된 스펙트럼의 계수가 비음수일 가능성을 높인다.
PPT Slide
Lager Image
복원된 반사스펙트럼을 구성하는 기저함수의 계수를 구하기 위해서 식 (4)를 식 (6)과 같이 나타낼 수 있다. 위 식을 그대로 풀면 복원된 스펙트럼이 급격한 변화를 보이기 때문에, 스펙트럼을 평탄화하기 위한 항과 계수를 추가해 식 (7)로 나타낼 수 있다.
PPT Slide
Lager Image
식 (7)을 least square로 풀어 구한 기저함수의 계수 σ 로 식 (2)에 의해 모델기반 반사 스펙트럼을 구할 수 있다.
5. 실험 결과 및 분석
실험에는 Vieworks VC-12MC로 4096x3072의 해상도를 갖는 3채널 RGB 카메라와 power LED 번들, 컬러체커 차트가 사용되었고 사용한 조명 수와 영상의 수는 2개이다. 조명은 적, 황, 녹, 청, 백 5개의 색을 적, 녹과 청, 백, 황 2개의 조합으로 구성했다. 이 2개의 조명 조합은 카메라의 RGB 채널에서 각 조명의 파워가 주파수 대역에서 겹치지 않도록 조합되었다.
PPT Slide
Lager Image
Scene pictured with suggested illumination. (a) red and green, (b) blue, white, and amber.
Fig. 4 는 비음수 PCA로 구한 반사 스펙트럼과 비음수 최소자승법을 적용해서 구한 스펙트럼이 음수값이면 흰색으로 표시해 비교했다. 비음수 PCA만 사용한 반사 스펙트럼보다 제약조건을 잘 지켰음을 확인할 수 있었고 제약조건이 지켜지지 않은 영역은 정반사와 노이즈의 영향을 받은 곳으로 제약조건이 대부분 지켜짐을 보였다.
PPT Slide
Lager Image
Negative spectrum is shown in white. Estimated spectrum by nonnegative PCA with (a) least Square, (b) nonnegative least square.
Fig. 6 는 제안한 방법대로 계산한 스펙트럼과 비음수 PCA의 결과, 그리고 참값과 비교한 것이다. 계산된 스펙트럼 결과와 참값의 차이가 크지 않고 이전의 방법보다 성능이 떨어지지 않음을 확인할 수 있다. 스펙트럼 특성행렬 복원방법에 기반한 제안한 방법과 최소자승법만 적용한 평균제곱오차를 Table 2 에 나타내었다.
PPT Slide
Lager Image
Relighted scene by characteristic matrix with unmeasured camera and illumination.
PPT Slide
Lager Image
Recovered spectral reflectance with suggested method. ground truth (red), nonnegative least square (blue), least square (green).
The performance for negative spectrum by nonnegative PCA with least square, nonnegative least square.
PPT Slide
Lager Image
The performance for negative spectrum by nonnegative PCA with least square, nonnegative least square.
The performance for estimated spectrum by nonnegative PCA with least square, nonnegative least square
PPT Slide
Lager Image
The performance for estimated spectrum by nonnegative PCA with least square, nonnegative least square
6. 결 론
이 논문은 조명의 파워 스펙트럼과 카메라의 응답특성을 따로 측정하지 않고 컬러체커를 이용해서 반사 스펙트럼을 구할 수 있음을 보였다. 또한, 비음수 조건을 추가함으로서 양수의 스펙트럼을 가져야 하는 제약조건을 지킬 가능성을 높였고 복원된 스펙트럼의 오차도 증가하지 않고 유지시킬 수 있었다. 아울러 제안된 방법은 조명의 자세한 스펙트럼과 카메라의 종류에 영향을 받지 않으며 조명의 개수와 기저함수의 개수에 따라 향상된 성능을 보일 수 있으므로 정확한 스펙트럼 복원에 유용하게 사용될 것으로 기대된다.
BIO
심 규 동
2015년 한양대학교 융합전자공학부 공학사
2015년∼현재 한양대학교 컴퓨터 소프트웨어학과 공학석사 과정
관심분야 : 영상처리/비전, 컬러보정, 증강현실
박 종 일
1987년 서울대학교 전자공학과 공학사
1989년 서울대학교 전자공학과 공학석사
1995년 서울대학교 전자공학과 공학박사
1992년∼1994년 일본 NHK방송기술연구소 객원연구원
1995년∼1996년 한국방송개발원 선임연구원
1996년∼1999년 일본 ATR지능영상통신연구소 연구원
1999년∼현재 한양대학교 공과대학 컴퓨터공학부 교수
ORCID : http://orcid.org/0000-0003-1000-4067
관심분야 : 증강현실, 계산사진학, 3차원 컴퓨터비전, 인간 컴퓨터상호작용
References
Lee M. , Seo D. , Seo B. , Park J. 2009 "Optimal Illumination for Discriminating Objects with Different Spectra," Optics Letters 34 (17) 2664 - 2666    DOI : 10.1364/OL.34.002664
Park J. , Lee M. , Grossberg M.D. , Nayar S.K. "Multispectral Imaging using Multiplexed Illumination," Proceeding of IEEE 11th International Conference on Computer Vision 2007 1 - 8
Jiang J. , Gu J. "Recovering Spectral Reflectance under Commonly Available Lighting Conditions," IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops 2012 1 - 8
Lee M. , Ryu I. , Park J. 2012 "Fast Modelbased Multispectral Imaging using Nonnegative Principal Component Analysis," Optics Letters 37 (11) 1937 - 1939    DOI : 10.1364/OL.37.001937
Zass R. , Shashua A. "Nonnegative Sparse PCA," Advances in Neural Information Processing Systems 2006 1561 - 1568
Parkkinen J.P.S. , Hallikainen J. , Jaaskelainen T. 1989 "Characteristic Spectra of Munsell Colors," Journal of the Optical Society of America A 6 (2) 318 - 322    DOI : 10.1364/JOSAA.6.000318
Lawson C.L. , Hanson R.J. 1974 Solving Least Squares Problem Prentice-hall New Jersey, Englewood Cliffs
Maeng M. , Kim J. , Ko Y. 2014 “Image alignment method based on CUDA SURF for multispectral machine vision application,” Journal of Korea Multimedia Society 17 (9) 1041 - 1051    DOI : 10.9717/kmms.2014.17.9.1041