본 논문에서는 이색성 반사 모델에서 분할 과정을 없애는 동시에 카메라의 잡음을 제거함으로써 광원을 보상하는 방법을 제안한다. 일반적으로 고휘도 영역의 화소는 광원에 대한 많은 정보를 포함하게 된다. 따라서 고휘도 영역을 분석함으로써 광원의 특성을 쉽게 분석할 수 있다. 이때 기존의 방법은 고휘도 영역 분할이 필요하고, 이로 인해 영역 분할의 정확성이 광원 추정의 결과에 영향을 미치게 된다. 본 논문은 고휘도 영역에 대해 안정도를 평가함으로써 영역 분할 과정을 생략할 수 있다. 또한 이 과정에서 잡음 및 센서의 불균일에 따른 정확성 감소의 요인들은 제거하였다. 인간은 임의의 조명하의 물체에 대하여 종합적인 판단을 통해 그 광원을 추정할 수 있다. 즉, 사람에게 보여지는 장면은 인간 시각 시스템을 통해 보정된다 [1] . 그림 1 에서와 같이 다양한 조명하의 영상이 있다. 인간의 시각은 그 환경 속에서 각 물체의 색을 정확히 인지할 수 있지만, 영상으로 보여질 경우, 완전히 다른 영상처럼 인지될 수 있다. 특히 영상 시스템은 원래의 광원에 대한 정보가 없다면 원 영상을 복원할 수 없다. 그렇기 때문에 카메라 시스템에서는 칼라 항상성과 같은 시각 시스템을 응용함으로써 광원에 대한 영향을 보정을 하였다. 영상에서 광원을 보정하기 위한 많은 연구들이 진행되어왔다. Land의 Retinex 이론 [2] 은 3 채널의 평균 벡터가 영상의 광원의 색도값을 제공한다는 Gray-World 가정을 이용하여 입력 3자극치를 분석하였다. Shafer [3] 는 영상을 표면반사와 몸체반사 두 벡터로 표현함으로써 영상내 색도값을 추정하는 이색성 반사모델을 제안하였다. Lee [4] 는 image path search (IPS) 방법을 이용함으로써 영상에서 광원을 추정하기 시도하였으나, 실영상에서 정확성은 다소 미흡하였다. Lehmann [5] 은 a color line search (CLS) 를 제안함으로써 실영상에서 나타나는 잡음의 문제를 해결하고자 하였다. 최근에 Tan et al. [6] 은 역-밝기(inverse-intensity) 색도 공간을 사용함으로써 밝기와 색도를 동시에 고려하여 정확도를 높이는 알고리즘을 제안하였다. 그러나, 실영상에서 광원 추정이 어려운 이유는 기존의 주요 원인인 잡음뿐만 아니라 센서의 불균일성 및 혼합된 표면에서의 영역 분할 등의 과정에서 정확성을 떨어뜨리기 때문이다. 따라서 본 논문에서는 이러한 문제를 해결하기 위해 고휘도 영역에 대한 적합도를 평가함으로써 영역 분할 없이 광원 추정을 수행하는 알고리즘을 제안한다. 또한 적합도 평가 단계에서 고휘도 영역에서 최적화된 화소들만을 선택함으로써 광원 추정의 정확도를 향상시키고자 하였다. 본 논문에서 사용되는 고휘도 영역을 이용한 광원 추정은 Lee의 이색성 반사모델에 기초하고 있다. 이색성 반사 모델은 물체에 반사된 빛의 특성이 몸체 반사와 표면 반사로 이루어짐으로써 영상의 값이 색도 좌표계에서 두 성분으로 표현되는 현상으로 설명된다. 이때 색도 좌표계에 표현되는 영상내 영역은 일반적으로 고휘도 영역을 사용하게 되는데, 이것은 일반적으로 영상에서 휘도가 높은 영역이 광원에 대한 정보를 많이 포함하고 있기 때문이다. 그림 2 는 고휘도 영역을 이용한 광원 추정의 흐름도를 보여주고 있다. 먼저 영상내에서 고휘도 영역을 검출한다. 광원 추정을 위한 화소를 결정하기 전에 검출된 고휘도 영역에서 광원 추정을 위한 화소들을 결정하기 위해서 영역을 분할한다. 영역 분할된 화소들을 이용하여 색도좌표계에서 분석하고, 최종적으로 이색성 반사 모델을 적용함으로써 광원의 색도값을 추정할 수 있다. 고휘도 영역을 이용한 색도 추정에서 각각의 고휘도 영역의 화소를 선택할 때 다른 표면들이 포함되는 것을 피하기 위하여 분할 과정을 거치게 된다. 이것은 전체 알고리즘의 복잡성을 증가시키는 원인이 된다. 게다가 실영상에서 많이 발생하는 카메라의 잡음은 광원 추정의 정확성을 감소시키는 중요한 요소이다. 따라서 본 논문에서는 이 두 가지 요인을 하나의 과정에서 처리함으로써 과정의 복잡도를 줄임과 동시에 추정의 정확성을 향상하는 알고리즘을 제안한다. 이를 위해 먼저 밝기를 기준으로 고휘도 영역을 선택하고 선택된 고휘도 영역에서 유효화소를 결정한다. 결정된 유효 화소들은 카메라의 잡음 모델링을 통해 결정함으로써 잡음 변수에서 강인한 특성을 가지게 된다. 다음으로 고휘도 영역의 유효화소를 이용하여 적합도를 평가함으로써 다양한 표면으로 이루어진 고휘도 영역을 배제할 수 있다. 최종적으로 선택된 고휘도 영역의 유효 화소들을 이용함으로써 영역 분할 과정없이 광원 추정을 정확도를 향상시킬 수 있다. 일반적으로 카메라의 성능은 영상의 획득된 영상으로부터 광원을 추정하는데 많은 영향을 주게 된다. 특히 센서의 불균일성은 동일 표면이 입력되었다 할지라도 다른 색으로 나타나게 되는 원인이다. 따라서 본 논문에서는 카메라의 색도 모델링을 통해 색도 잡음으로 인한 문제를 해결하였다. 그림 3 은 표준 멕베스 칼라 체커(Macbeth Color-Checker)를 카메라로 획득하여 색도 좌표계로 표현한 결과이다. 그림에서 보듯이 색도 좌표계에서 군집으로 표현된 것을 확인할 수 있다. 이상적인 경우 각 패치는 색도 공간에서 하나의 점으로 표현되어야 하지만, 실제는 센서의 불균일성 즉, 색도 잡음이 발생하여 군집화로 나타나게 된다. 이때 군집을 모델링하기 위해서 사용되는 것이 마할라노비스(Mahalanobis) 거리이다. 마할라노비스 거리는 점과 군집사이의 거리를 계산할 수 있는 도구로써 군집화의 경계와 중심(평균)사이의 거리를 계산할 수 있다. 즉, 군집이 분포되어 있는 거리를 모델링함으로써 카메라의 성능을 정의하고 이를 벗어난 화소들을 잡음으로 판단하게 된다. 색도 잡음을 모델링하기 위해서 본 논문에서는 그림 2 에서와 같이 멕베스 칼라 차트를 중심으로 군집화된 색도들을 다음과 같은 마할라노비스(Mahalanobis) 거리로 분석한다. 여기에서 Md 는 군집의 경계점과 중심 사이의 마할라노비스 거리(Mahalanobis distance)이고, C 는 임의의 화소의 위치 벡터, 는 군집의 평균 벡터, Σ ^-1 은 군집의 공분산이다. 만약 Md 가 특정 임계치보다 작다면, 이 화소는 유효화소로써 카메라가 성능내의 화소로 볼 수 있으며, 만약 임계치보다 큰 값이라면, 색도 잡음으로 판단하게 된다. 카메라 성능을 표현하기 위한 색도 군집의 임계치를 결정하기 위해 다음과 같은 실험을 수행한다. 먼저 동일 광원 조건에서 균일한 패치에 대해 영상을 획득한다. 다음으로 색도 좌표계에서 군집의 최외각 화소와 평균화소의 마할라노비스 거리를 계산한다. 색도 좌표계에서 대표적인 색에 대해 위 과정을 반복한다. 표 1 은 위 실험을 통해 멕베스 칼라 차트 24색에 대한 마할라노비스 거리의 임계치를 나타낸 것이다. 전체 카메라의 성능을 모델링하기 위해서 24색에 대한 임계치를 평균함으로써 간단히 표현할 수 있다. 이상적인 경우에 센서 불균일에 의한 색도 잡음이 없을 때 이 값은 0으로 표현된다. 최종적으로 표 1 에서 결정된 임계치에 기반하여 고휘도 영역에서 유효화소를 선택할 수 있다. 다음으로 고휘도 영역에 기반한 색도 추정과정에서 필수적으로 거쳐야 하는 과정은 영역 분할(segmentation)이다. 이것은 선택된 영역에서 하나의 표면에 의한 화소들을 찾는 과정으로 만약 이 과정에서 다른 표면의 화소들이 섞이게 된다면 최종적으로 추정 오차가 커지게 된다. 본 논문에서는 적합도 평가만을 통해 고휘도 영역에 대한 분할 과정 없이 광원의 색도를 추정하는 알고리즘을 제안한다. 먼저 일반적인 이색성 반사 모델 [6] 은 다음과 같다. 여기에서 V_i 는 채널별 카메라 응답이고 ,α and β 기하학적 요소, θ 는 입사각, V_S 와 V_B 는 각각 표면반사와 몸체반사이다. 이때 표면반사는 모든 각도에 대해 동일하다고 가정하고 이를 RGB 채널로 표시하면 다음과 같이 나타낼 수 있다. 위 벡터를 색도공간으로 표현하면 다음과 같이 표현된다. 수식 (6)과 (7)을 기반으로 이색성 반사모델로 표현하면 다음과 같은 선형 방정식으로 나타낼 수 있다. 여기에서 단일 표면에 의한 고휘도 영역의 화소는 이상적인 경우 수식 (7)과 같이 선형 함수로 표현할 수 있다. 그러나 일반적인 경우, 고휘도 영역의 화소들은 타원형과 유사한 형태로 군집을 이루며 분포한다. 그래서 본 논문은 다음과 같이 이심률을 계산함으로써 고휘도 영역이 하나의 표면으로 이루어졌는지 아닌지를 판단한다. 여기에서 ψ 와 ζ 는 각각 군집의 단축과 장축이고, E 는 이 군집의 이심율이다. 만약 고휘도 영역에 대해 E 가 임계치보다 작다면 이것은 고휘도 영역이 하나의 표면이 아닌 다양한 표면에 의해서 섞여진 영역이라는 의미이다. 마지막으로 광원 추정의 단계에서 적합도 평가에 사용되는 화소들은 색도 잡음을 고려한 유효 화소들로 결정된다. 그림 4 에서 유효 화소 기반 고휘도 영역의 적합성 평가 방법을 보여주고 있다. 밝기를 기준으로 선택된 하나의 고휘도 영역은 잡음 및 표면의 특성으로 인해서 실선과 같이 불규칙적인 타원형으로 분포하게 된다. 기존 방법은 실선의 경계선 부분의 화소들을 이용할 가능성이 있기 때문에 이를 배제하기 위하여 카메라 색도 모델링에 의한 유효화소들을 선택한다. 먼저 고휘도 영역의 화소들을 밝기 기준으로 세 부분으로 나누고 그에 따라 3개의 대표값을 결정한다 [7] . 이 대표값을 중심으로 표 1 에서 결정된 마할라노비스 거리에 따라 화소들을 선택함으로써 유효화소들을 결정할 수 있다. 확대된 그림에서 붉은 점은 군집의 평균인 대표 값 중의 하나이며, 이 주위의 화소들이 바로 유효화소들이다. 선택된 유효 소들을 기반으로 다시 군집을 구성하면 점선의 타원형과 같은 결과를 얻을 수 있다. 이때 이 고휘도 영역의 화소들을 광원 추정에 사용할 것인지 결정하기 위하여 수식 (7)을 이용하여 적합도 평가를 수행한다. 즉, 다양한 표면으로 이루어진 고휘도 영역은 광원추정에서 제외되어야 하며 그것은 이심률의 크기가 큰 영역을 검출함으로써 판별이 가능하다. 이 과정을 통해서 영역 분할 과정이 없이도 간단히 광원 추정이 가능하다. 최종적으로 선택된 고휘도 영역의 유효 화소를 이용하여 색도 공간에서 이색성 반사 모델을 적용함으로써 광원의 색도 값을 추정할 수 있다. 고휘도 영역에서 단일 표면에 의한 적합도 평가를 위한 임계치 실험을 다음과 같이 수행하였다. 실험을 위해 다양한 영상에서 하나의 표면에 의한 고휘도 영역을 50개를 검출하였다. 그림 4 는 실험에 사용된 고휘도 영역들이다. 이들을 색도 공간에서 분포를 분석하여 이심률을 계산한다. 이때 각 고휘도 영역의 크기는 50×50의 크기를 이용하여 검출하였다. 표 2 는 그림 5 의 각 고휘도 영역에 대한 이심률의 결과이다. 표 2 를 기반으로 적합도 판별을 통해 고휘도 영역을 결정할 수 있다. 즉 이심률 문턱치 이하의 고휘도 영역은 하나의 표면으로 이루어져 있지 않거나 혹은 하나의 표면이라 할지라도 원과 유사하여 색도 추정에 오차를 크게 만들 수 있는 요소가 있다. 이것은 영역 분할 과정에서 정확도 떨어짐에 따라 광원 추정의 오차가 크게 되는 것과 같은 맥락이다. 다시 말하면 이심률의 문턱치를 높이는 것은 영역 분할 과정에서 정확도를 높이는 것과 동일한 효과를 발휘한다. 그림 6 은 선택된 고휘도 영역에서 광원 추정 단계에서 사용되는 화소들을 나타낸다. 파란색은 기존의 고휘도 영역의 모든 화소들이며, 붉은 색은 카메라 색도 잡음 모델링을 통해 선택된 유효 화소들이다. 두 군집을 비교하면 유효 화소들의 군집이 보다 이상적인 타원형에 가깝고 더 나아가 이색성 반사모델의 형태인 선형 함수와 유사함을 알 수 있다. 제안한 알고리즘을 평가하기 위하여 다양한 조건의 실내외 영상을 이용하였다. 표 3은 광원 추정의 오차를 비교함으로써 기존 방법과의 성능을 비교한 결과이다. 광원 추정의 특성상 r-g 색도 공간에서 추정 오차를 비교하였으며, 오차는 RMSE(root mean square error)를 바탕으로 계산하였다. 제안한 방법은 A 광원하의 역-밝기 변환의 결과를 제외한 대부분의 결과에서 기존 방법들보다 오차가 줄어듦을 확인할 수 있다. 최종적으로 추정된 광원으로 복원된 실내외 영상의 결과를 그림 7 과 8 에 나타내었다. 그림 7 에서 제안한 방법은 기존의 CLS 및 IPS 방법에 비해 색도의 복원력이 향상되었음을 확인할 수 있다. 제안한 방법에 대해 다양한 그림의 결과는 그림 8 에서 보여준다. 그림 8 의 위쪽 행은 입력 영상이며, 아래 행은 제안한 방법으로 추정된 광원을 이용하여 복원한 영상이다. 입력 영상의 광원은 좌측 영상부터 TL84, D65, reddish, A, Daylight 광원을 사용하였다. 이때 표준 차트는 오차 비교를 위해서만 사용된다. 제안된 방법은 매질의 변화 및 실내외 광원의 변화에 대하여 견실한 결과를 나타냄을 확인할 수 있다. 본 논문은 고휘도 영역 기반의 이색성 반사모델에서 고휘도 영역 적합도 평가를 통해 영역 분할 과정없이 광원을 추정하고 복원하는 방법을 제안한다. 일반적으로 광원 추정에서 영향을 주는 요인으로는 카메라 센서의 불균일성에 의한 잡음 및 영역 분할 정확성이 주요한 요인이 된다. 따라서 본 논문에서는 색도 잡음을 모델링함으로써 잡음에 강인하도록 하였으며, 적합성 평가를 통해 영역 분할의 정확성 및 복잡성에 대한 문제를 해결하였다. 실험 결과 제안한 방법은 추정의 오차가 감소함을 확인하였으며, 추정된 광원으로 영상 복원 결과 실내외 영상에서 견실한 결과를 보여주었다. 권 오 설 - 2008년 8월 : 경북대학교 전자공학과 박사 - 2008년 9월 ~ 2010년 8월 : New York University 박사후연구원 - 2010년 9월 ~ 2011년 8월 : 삼성전자 영상디스플레이사업부 책임연구원 - 2011년 9월 ~ 현재 : 창원대학교 제어계측공학과 조교수 - 주관심분야 : 칼라영상처리, 컴퓨터비전, 영상시스템