카메라 초점에 의해 발생하는 흐림(blur)의 변화는 깊이값을 측정하는데 사용한다. DFD(Depth from Defocus)는 깊이값과 흐림의 비례 관계를 이용하여 흐림의 양을 측정하는 기술이다. 기존 DFD 방법은 입력으로 두 장의 비초점 영상(defocused image)을 사용하는데, 기술적인 문제로 낮은 품질의 복원된 초점 영상(infocused image)과 깊이맵을 얻고 있다. 상기 문제점을 해결하는 방법으로 초점 영상과 비초점 영상을 이용함으로써 복원된 초점 영상의 품질 저하를 해결한다. 제안 방법에서는 Subbaro가 제안한 DFD 방법에 새로운 에지 흐림 측정 방법을 결합하여 보다 정확한 흐림 값을 구한다. 또한 명암의 변화가 적은 영역에서는 흐림의 양을 측정하기가 어렵기 때문에, 관심맵(saliency)을 이용하여 비에지 영역을 채울 수 있도록 하였다. 실험에서는 초점 조절 기능이 있는 카메라로부터 20장의 2K FHD 해상도의 초점 및 비초점 영상을 생성한 후에 제안 방법을 이용하여 깊이맵을 생성하고, 마지막으로 입력 초점 영상과 깊이맵으로부터 3D 입체영상을 제작하였다. 3D 모니터로 시청한 결과 안정된 3D 공간감과 입체감을 얻을 수 있었다. 3D 입체영상을 얻기 위해 다양한 방법이 활용되고 있다. 두 개의 센서가 장착된 3D 입체 카메라를 이용하여 직접 좌우 입체영상을 얻는다. 깊이 카메라(depth camera)와 RGB 카메라를 사용하여 깊이맵을 얻은 후에, 입체영상 또는 다시점영상을 생성할 수 있다 [1] . 2D-to-3D 변환은 한 장의 영상으로부터 깊이맵을 추출한 후에, 입체영상을 생성한다. 그러나 한 장의 영상으로부터 얻어진 깊이맵은 저하된 성능으로 만족할 수 있는 3D 입체영상을 얻는 것이 어렵다. 다른 방법인 DFD(Depth from Defocus) 기술은 흐림(blur)이 존재하는 두 장의 비초점 영상(defocused image)으로부터 자동 초점으로 촬영한 흐림이 없는 복원 초점 영상(infocused image)과 깊이맵을 얻는 기술이다 [2 - 7] . 깊이는 영상의 흐림(blur)에 비례하기 때문에, DFD는 모노 카메라(monoscopic camera)에서 초점(focus)을 조절하면서 영상의 흐림을 측정하여 깊이맵을 생성한다. 본 논문에서는 DFD을 기반으로 깊이맵을 얻은 후에, 이를 이용하여 입력 초점 영상으로부터 우수한 화질의 입체영상을 생성할 수 있는 방법을 제안한다. Pentland는 조리개를 조절하여 흐림이 다른 영상들을 획득한 후에, 매칭되는 픽셀의 흐림의 양을 구하는 방법을 이용하였다 [2] . Wei 등은 마찬가지로 두 장의 흐림 영상으로부터 상대적 흐림과 확산 방정식을 이용하여 흐림 영상의 모델을 만든 후에, 이로부터 깊이를 구한다 [4] . Namboodir 등은 확산 방정식 및 MRF(markov random field)를 이용하여 비초점 영상으로부터 깊이 영상을 생성하였다 [5] . Subbaro 등은 초점을 변경하면서 얻은 두 장의 영상에서 라플라시안 함수를 이용하여 흐림의 양을 측정하였다 [7] . 기존 DFD 방법은 일반적으로 두 장의 비초점 영상으로부터 초점 영상과 깊이맵을 추출하는데, 기술적인 문제로 복원된 초점 영상 및 깊이맵의 성능 저하가 발생하는 단점이 있다. 따라서 이로부터 3D 입체영상을 생성하면 당연히 입력 데이터의 문제 때문에 낮은 품질을 얻게 되어서, 실제 상용화에 적용하기가 어렵다. 이를 극복하기 위해서 자동 초점(auto-focus)에서 얻은 초점 영상과 초점을 조절하여 얻은 흐림이 있는 비초점 영상으로부터 깊이맵 및 입체영상을 생성한다. 깨끗한 화질의 초점 영상을 사용하기 때문에 생성된 입체영상도 비례적으로 좋은 화질을 가지게 된다. 또한 상기 기존 방법들만을 사용하면 측정된 흐림값의 성능이 좋지 않은 결과가 얻어지는데, 이를 해결하기 위해서는 한 가지 방법을 사용하는 것 보다는, 이 방법의 단점을 보완할 수 있는 새 방법을 동시에 구현하고, 이들을 통합하면 성능 개선을 얻을 수 있다. 제안 방법에서는 먼저 Subbaro가 제안한 DFD 알고리즘을 기반으로 에지(edge)에서의 흐림의 양(blur amount)을 추출하는데 [7] , 이 방법의 단점인 에지에서의 흐림 측정값의 성능 저하를 보완하기 위해서 에지에서의 흐림의 양을 측정하는 방법을 추가하여 Subbaro 방법을 보완한다. 또한 명도(intensity) 값의 변화가 적은 영역의 깊이값을 얻기 위해서 관심맵(saliency map)을 활용하는데, 별도의 저주파 필터링 없이 입력 데이터인 초점 영상과 비초점 영상을 직접 활용하도록 하여 연산량을 줄인다. 상기 제안 방법의 전체 블록도는 그림 1 에서 보여진다. 본 논문의 구성은 다음과 같다. 먼저 Ⅱ장에서는 그림 1 의 제안 방법을 자세히 소개한다. Subbaro의 DFD, 이를 보완하는 에지값의 차이를 이용한 기법 및 관심맵에 대해 설명한다. Ⅲ장에서는 제안 방법으로부터 얻어진 실험결과를 보여주고, 마지막으로 Ⅳ장에서 결론을 맺는다. 그림 1 의 제안 방법에서 먼저 두 장의 입력 RGB 영상을 얻는 방법은 다음과 같다. 한 대의 카메라로부터 초점(focus)을 조절하면서 먼저 깨끗한 초점 영상을 촬영하고, 다음에 초점을 조절하여 흐림(blur)이 있는 비초점 영상을 촬영하여 두 장을 저장한다 ( 그림 2 ). 이 두 장의 영상으로부터 각 픽셀(pixel)에 존재하는 흐림의 양(blur amount)을 측정한다. 이 흐림의 양이 크면 객체가 카메라로부터 가까운 거리에 있고, 반대로 흐림이 작으면 먼 거리에 있기 때문에, 이로부터 깊이맵을 만들 수 있다. 이 흐림의 양을 측정하기 위해서 두 가지 방법을 사용하고, 두 결과를 통합하여 최종 흐림의 양을 얻은 후에 에지에서의 깊이맵을 생성한다. 다음으로 명도의 차이가 없는 비에지 등의 픽셀은 관심맵을 이용하여 채우게 된다. 먼저 기본적으로 Subbaro가 제안한 DFD 방법을 사용한다. 비초점 영상은 g ₁ 이고 초점 영상은 g ₂ 이다. g ₁ 및 g ₂ 에 라프라시안(Laplacian) 연산자를 적용하여 Δ ² g ₁ 및 Δ ² g ₂ 을 구한다. 실제 구현에서는 Δ ² g 는 다음 라플라시안 콘볼류선 필터 L를 이용하여 구하게 된다. 이 필터는 값의 변화가 큰 픽셀을 찾게 된다. 두 라프라시안 연산을 얻은 결과 영상의 평균값을 다음과 같이 구한다. g ₁ 이 가지고 있는 흐림의 양이 σ ₁ 이고, g ₂ 가 가지고 있는 흐림의 양이 σ ₂ 이면 두 흐림의 관계는 다음과 같이 표현된다. 두 영상의 흐림의 차이가 β 라면, 식 (2) ~ 식 (4)로부터 다음 식을 구할 수 있다. 초점 영상의 흐림의 양은 0이므로, 다음 식에 의해 비초점 영상의 흐림의 양 BLUR _S 을 계산할 수 있다. Subbaro의 DFD는 기존 방법들과 유사하게 에지(edge)에서의 흐림이 정확히 얻어지지 않는 경우가 많다. 이는 깊이맵의 성능에 영향을 준다. 이를 보완하기 위해서 에지에서 흐림을 구한 후에, 이 결과와 Subbaro의 DFD 결과를 선형적으로 결합한다. 그림 3 은 에지에서 흐림의 양을 측정하는 방법의 블록도를 보여준다. 먼저 두 영상에 각각 에지 연산자를 적용하여 에지를 구한다. 실험에서는 소벨 에지 연산자를 사용하였다. 에지 연산으로부터 에지 크기(magnitude) 및 방향(orientation)을 구할 수 있는데, 이 중 에지의 크기를 이용하여 흐림의 양을 측정한다. 카메라로부터 가까운 객체와 먼 객체의 에지의 분포는 그림 4 에서 보여진다. 초점 영상보다는 흐림이 존재하는 비초점 영상에서 에지는 상대적으로 부드럽게 변화한다. 에지 프로화일(edge profile)의 그라디언트(gradient)는 기울기(slope)를 의미하는데, 가까운 객체의 그라디언트의 차이값 d ₁ 이 d ₂ 보다 크게 된다. 따라서 이 차이 값에 따라 객체의 상대적 거리 즉 깊이를 측정할 수 있다. 이 방법은 아래에서 자세히 설명한다. 초점 영상과 비초점 영상의 에지에서 흐림을 측정하기 위해서, 각 픽셀에서 흐림의 차이를 계산해야한다. 에지를 계단 에지(step edge)라고 가정했을 경우, 이상적인 계단 에지는 다음과 같이 모델링될 수 있다. 위 식에서 u(x)는 계단 함수(step function)이고, A는 진폭(amplitude), B는 x = 0을 기준으로 했을 때의 계단 함수의 오프(offset)이다. 에지 흐림은 이상적인 에지와 PSF(점확산함수, point spread function)의 회선(convolution)으로 모델링될 수 있다. 1차원 신호의 PSF는 가우시안 커널 g (x, σ)에 의해 모델링 된다. 그러므로 흐려진 에지 e(x)는 아래와 같이 나타낼 수 있다. 여기서 함수 g (x, σ)는 다음의 가우시안 함수이다. 그림 4 에서 보는 것처럼 초점 영상과 비초점 영상의 동일한 위치에서 계단 에지와의 상대적 그라디언트 차이가 계산되는데, 이 차이 값은 흐림의 양에 비례하여 증가하거나 감소한다. 이상적인 계단 에지의 흐림 값은 0이다. 그러나 카메라의 물리적인 제약으로 인해 초점 영상에서도 작은 값의 σ 를 고려해야 한다. 그러므로 초점 영상의 에지 e_i ( x )와 비초점 영상의 에지 e_d ( x )의 그라디언트는 다음과 같이 계산된다. 위 식에서 흐림의 양 σ_i 와 σ_d 는 초점 신호와 비초점 신호의 표준 편차이다. ∇ e_i ( x )와 ∇ e_d ( x )는 그라디언트의 크기이다. σ_d 는 σ_i 보다 크고 σ_i 는 0에 가까운 작은 값이다. 그라디언트의 최대값은 x = 0에서 나타난다. 그러므로 식 (10)과 (11)로부터 다음 결과를 유도할 수 있다. 초점 신호와 비초점 신호의 그라디언트 차이는 다음과 같다. 여기서 는 상수값이다. σ_d 는 σ_i 보다 상당히 크고, σ_i 는 0에 가까운 작은 값이므로, 분모 σ_i σ_d 는 분자인 ( σ_d - σ_i )에 비해 항상 작은 값이다. 그러므로, 그라디언트 차이는 흐림 양의 변화에 비례한다는 사실을 알 수 있다. σ_i 는 작은 값이므로, 그라디언트 차이로부터 변하는 흐림 영상의 흐림의 양 σ_d 를 측정할 수 있다. 이 식은 2D 영상으로 쉽게 응용될 수 있다. 식 (6)과 식 (16)에서 구해진 blur의 가중치 합으로 에지에서의 최종 블러 값을 구한다. 여기서 ω 는 [0, 1]의 가중치이다. 실험에서는 실험영상들을 대상으로 Blur _S 와 Blur _Edge 의 범위를 측정하였고, 가장 좋은 결과는 ω = 0.3에서 얻을 수 있었다. 명암의 변화가 적은 비에지(non-edge) 영역의 흐림 측정은 어려운 문제이다. 왜나하면 이 영역에서는 초점 영상과 비초점 영상에서의 명암 값이 거의 유사하기 때문이다. 이를 보완하기 위해서 관심맵(saliency map)을 이용한다. 관심맵은 그동안 많은 연구가 진행되어 온 분야이다. 이중 제안 기술에 직접 적용이 가능한 관심맵 생성 방법을 이용한다. Achanta 등이 제안한 관심맵을 얻는 공식은 다음과 같다 [8] . 먼저 RGB 영상을 Lab 컬러로 변환한 후에, 다음과 같이 L, a, b의 평균값을 구한다. 여기서, M은 영상 I의 픽셀개수이다. 다음에 L, a, b 영상에 가우시안 저주파 필터 G를 적용한다. 마지막으로 관심맵 SAL은 다음 식에서 구해진다. 이 관심맵 생성 방법이 본 논문의 제안 방법에 적합한 이유는 [8] 에서 사용하는 식 (19)의 가우시안 필터링 단계가 불필요한데, 그 이유는 가우시안 필터링이 적용된 영상( G_L , G_a , G_b )은 비초점 영상을 직접 활용할 수 있기 때문이다. 따라서 소프트웨어 및 하드웨어 관점에서 연산량을 줄일 수 있는 장점이 있다. 평균값 ( , , )는 초점 영상으로부터 구해진다. 식 (17)에서 얻어진 흐림 값의 범위가 Blur=[B _min , B _max ]이고, 관심맵의 범위가 SAL=[S _min , S _max ]이면, [S _min , S _max ]를 [B _min , B _max ]에 선형 변환으로 범위를 같게 한 후에, 두 값의 합으로 최종 깊이맵을 얻었다. 실험에서는 그림 5 의 초점 조절 기능이 있는 카메라를 이용하여 오토 포커스(auto focus)에서 먼저 초점 영상을 촬영하고, 수작업으로 초점 레블(focus level)을 조절하여 또한 장의 비초점 영상을 얻었다. 그림 6 은 초점을 조절하는 카메라 구조를 보여준다. 초점 레블은 [0, 5]의 스케일로 있는데, 실험에서는 깊이맵의 성능은 스케일의 영향을 많이 받지 않는 것으로 판단되었다. 영상 해상도는 1920x1080p FHD 영상이고, 실험실에서 총 20 장의 초점 영상 및 비초점 영상을 생성하였다 ( 그림 7 ). 얻어진 실험 영상에 제안방법을 적용하여 단계별로 흐림값으로부터 얻어진 깊이맵의 성능을 검증하였다. 그림 8 은 전체 20 장 중에서 7 장의 실험영상에 대한 결과를 보여준다. 그림 8 (a)는 초점 영상이고, 그림 8 (b)는 초점을 조절하여 얻은 흐림이 있는 비초점 영상이다. 두 영상을 비교해보면 흐림이 비초점 영상에서 관찰되는 것을 알 수 있는데 그림 9 는 영상 일부를 확대해서 보여준다. 그림 9 (a)는 초점 영상이고, 9 (b)는 비초점 영상이다. 초점을 조절하면 상대적으로 흐림 현상이 더 발생하는 것을 알 수 있다. Subbaro의 DFD로부터 얻어진 흐림 영상은 그림 8 (c)에서 보여진다. 단점은 전경과 배경에서의 블러의 차이가 크지 않아서, 이 깊이맵을 이용하여 얻은 입체영상을 시청하면 전경과 배경의 분리가 뚜렷하지 않게 된다. 그림 8 (d)는 에지 크기를 이용하여 얻은 흐림을 보여준다. 에지에서의 흐림이 객체의 거리에 비례하여 변화되는 것을 관찰할 수 있다. 이 차이는 실제 입체영상으로 시청할 때의 객체들의 거리감으로 보여지는데, Subbaro의 DFD보다는 개선된 입체감을 얻을 수 있다. 그림 10 의 확대 영상을 보면, 그림 10 (a) 영상의 적색 사각형 내부에서 Subbaro의 DFD에서 얻은 흐림 영상은 그림 10 (b)에서 보여지고, 에지 흐림 측정 방법에서 얻은 흐림 영상은 그림 10 (c)에서 보여진다. 전자의 방법은 경계 및 비에지 영역에서도 신뢰성이 낮은 데이터를 주는데 반해서, 후자에서는 에지에서 상대적으로 우수한 성능의 흐림 측정 결과를 얻을 수 있다. 또한 그림 10 (c)의 세 영역 A, B, C를 관찰하면, 카메라로부터의 거리에 따라서 흐림의 양이 달라짐을 알 수 있다. 실험영상에 적용하여 얻어진 관심맵은 그림 8 (e)에서 보여진다. 주 목적이 비에지 등의 명암 변화가 적은 영역을 채우는 것이므로, 가능하면 앞에 있는 전경 객체에는 큰 관심도 값이, 반대이면 적은 값이 얻어지는 것이 가장 좋다고 할 수 있다. Image 6의 (f)를 제외하면 전체적으로 만족스러운 관심맵이 얻어진다. 마지막으로 그림 8 (f)의 최종 깊이맵을 관찰하면 전체적으로 거리감을 알 수 있는 안정된 깊이를 보여줌을 알 수 있다. 실험에서는 상기 3가지 방법에서 구해진 깊이값을 적절하게 조합하여 최종 깊이값을 계산하였다. 이 깊이맵과 원 초점 RGB 영상을 사용하여 얻어진 인터레이스 포맷의 입체영상은 그림 11 에서 보여진다. 이 영상들을 3D 모니터로 시청하였는데, 전체적으로 시각적 불편함 없이 우수한 공간감 및 거리감을 얻을 수 있었다. 본 논문에서는 DFD 기반으로 초점 및 비초점 영상으로부터 깊이맵을 얻는 방법을 제안하였다. 두 장의 비초점 영상으로부터 흐림이 없는 초점 영상 및 깊이맵을 생성하는 기존 방법과 달리, 초점 영상을 입력으로 사용함으로써 입체영상의 화질을 유지할 수 있었다. Subbaro의 DFD의 성능 문제를 보완하기 위해서 두 영상의 에지 크기를 이용하는 흐림 측정 방법을 제안하였는데, 실험에서 보였듯이, 에지에서의 흐림 측정이 매우 향상되는 것을 관찰할 수 있었다. 또한 명암의 변화가 적은 영역의 흐림 측정은 정확한 값을 얻기가 어렵기 때문에, 관심맵을 이용하여 비에지 영역을 채울 수 있도록 하였다. 이 관심맵 계산에서 필요한 가우시안 필터링을 수행하지 않고 직접 비초점 영상을 활용하는 방법을 이용하여 소프트웨어 및 하드웨어 측면에서 깊이맵 생성 시간을 단축할 수 있었다. 실험실에서 촬영한 20 장의 영상을 실험한 결과, 전체적으로 안정된 3D 공간감 및 입체감을 얻을 수 있었다. DFD에서 측정된 흐림의 양은 카메라 촬영시 발생하는 조명 변화, 카메라 노이즈 때문에 정확도가 낮아지는 문제가 있는데, 향후 연구의 주요 사항은 얻어진 흐림 데이터에 후처리를 이용하여, 깊이맵의 화질을 개선하는 것이다. Saeed Mahmoudpour - 2007년 9월 : B.S degree, Islamic Azad University, Iran - 2011년 9월 : M.S degree, Islamic Azad University, Iran - 2013년 3월 ~ 현재 : Ph.D student, Kangwon National University, Repubic of Koera - 주관심분야 : 3D image processing, 3D human factor, human detection 김 만 배 - 1983년 : 한양대학교 전자공학과 학사 - 1986년 : University of Washington, Seattle 전기공학과 공학석사 - 1992년 : University of Washington, Seattle 전기공학과 공학박사 - 1992년 ~ 1998년 : 삼성종합기술원 수석연구원 - 1998년 ~ 현재 : 강원대학교 컴퓨터정보통신공학과 교수 - 주관심분야 : 3D영상처리, 깊이맵처리, 입체변환