Advanced
Reduction of Block Artifacts in Haze Image and Evaluation using Disparity Map
Reduction of Block Artifacts in Haze Image and Evaluation using Disparity Map
Journal of Broadcast Engineering. 2014. Sep, 19(5): 656-664
Copyright © 2014, The Korean Society of Broadcast Engineers
  • Received : June 23, 2014
  • Accepted : August 26, 2014
  • Published : September 30, 2014
Download
PDF
e-PUB
PubReader
PPT
Export by style
Share
Article
Author
Metrics
Cited by
TagCloud
About the Authors
오설 권
osk1@changwon.ac.kr

Abstract
안개 영상은 영상의 대비가 밝은 영역에 치우쳐 있기 때문에 영상의 정보를 전달하기 어렵다. 이러한 이유로 안개 제거 알고리즘이 연구되고 있다. 일반적으로 안개가 포함되기 전 상태의 영상을 획득하는 것이 어렵기 때문에 알고리즘의 성능을 평가하기 위해 결과 영상을 정성적으로 분석하였다. 본 논문에서는 영상의 변위 정보를 이용하여 안개 영상을 생성함으로써 정량적으로 오차를 비교하는 방법을 제안한다. 또한 이때 은닉 랜덤 마코프 모델(HRMF)에 기반한 기대값 최대화(EM) 알고리즘을 이용하여 블록 결함을 제거하였다. 다양한 합성영상 및 자연영상에 대하여 결과를 비교함으로써 제안한 알고리즘의 성능을 확인하였다.
Keywords
Ⅰ. 서 론
일반적으로 영상에서 잡음을 포함한 다양한 외부의 요소들은 영상의 정보를 감소시키는 역할을 한다. 특히 외부 영상의 경우 태양광 및 날씨에 따라 영상 정보는 불안정해지게 된다. 이 중에서 안개 영상은 빛이 흡수 및 산란되는 과정에서 색 정보 및 깊이 정보가 달라져 영상 분야에 응용에 적용하지 못하게 되는 경우가 있다. 이 때문에 안개 영상으로부터 안개를 제거하는 알고리즘들이 지속적으로 연구되어 왔다 [1 - 2] .
이러한 방법들 중에서 한 장의 영상만을 이용하여 안개를 제거하는 방법은 여러 가지 제약을 두던 과거 방법에 비해 현실적이기 때문에 많이 연구되고 있다. Tan [3] 은 안개가 있는 영상은 낮은 대비(contrast)를 가진다는 특성과 안개에 의한 영향은 급격하게 변하지 않는 특성을 이용하여 안개를 제거하였다. 그러나 이 방법은 과도한 대비증가로 인하여 일부 영역에서 포화 현상이 일어나며, 후광 효과(halo effect)가 발생하는 단점이 있다. Fattal [4] 은 일정 영역 안에서 반사율은 일정하다고 가정하였다. 일반적으로 안개가 없는 영상의 벡터 방향은 일정한 반사율에 비례한다. 또한 빛의 전달량은 안개의 밀도와 깊이정보에 영향을 받는다는 사실에 기초하여 ICA(Independent Component Analysis)를 적용하였다. 그러나 이 방법은 안개가 짙은 영역에서는 오차가 커지는 문제가 발생하고 또한 반사율이 일정하다는 가정이 적용되지 않는 영상의 경우 알고리즘의 복잡성이 증가하게 된다. 다음으로 He는 Dark Channel Prior(DCP)를 이용한 안개제거 알고리즘을 제안하였다 [5] . 이 방법은 안개가 없는 깨끗한 영상에서 일정 구간 내에 적어도 한 채널의 화소는 항상 0에 가까운 밝기를 가진다는 가정에 기반을 두고 있다. 이 가정은 대부분의 영상에서 적용되며, 매우 깨끗한 결과영상을 가질 수 있게 된다. 그러나 He 방법을 이용할 시 패치 기반의 처리 방법 때문에 일부 영역에서는 블록현상이 일어나게 된다. 이러한 문제를 보완하기 위해서 최근에 He는 Guided Filtering 방법을 제안하여 블록 현상의 문제점을 볼 수 보완하였다 [6] . 그러나 이러한 알고리즘의 성능 향상에도 불구하고 대부분 그 결과를 입력 영상에 대한 결과 영상의 분석인 정성적인 방법에 의존할 수 밖에 없다. 그 이유는 안개가 제거된 원본 영상을 획득하는 것이 일반적으로 어렵기 때문이다. 따라서 본 논문에서는 변위 정보를 이용하여 안개 영상을 생성하고 알고리즘에 의해 복원된 영상에 대한 오차를 계산함으로써 정성적 및 정량적 평가를 통해 안개 영상을 제거하는 결과를 분석하고자 한다. 더 나아가 은닉 마코프 모델 기반의 기대값 최대화 알고리즘을 이용하여 영상의 블록 결함을 최소화하고 디테일 개선을 향상시켰다. 본 논문에서는 성능을 평가하기 위하여 다양한 합성 영상 및 자연 영상에 대한 실험을 통해 제안한 알고리즘의 우수성을 평가하였다.
Ⅱ. DCP 방법을 이용한 안개 제거
한 장의 영상을 이용하여 안개를 제거할 때 공통적으로 다음과 같은 안개 모델링 식을 이용한다.
PPT Slide
Lager Image
여기서 I ( x )는 안개가 포함된 영상이며, J ( x )안개가 없는 원본 영상의 밝기값을 뜻한다. A 는 대기광을 나타내며, t ( x )는 전달량(transmission)으로 산란되지 않은 빛이 카메라로 도달된 정도를 나타낸다. 또한 수식 (1)은 R,G,B 각 채널에 적용된다.
본 논문에서는 안개 제거를 위해 기본적으로 Dark Channel Prior(DCP) 방법을 이용한다. DCP 방법의 기본적인 개념은 안개가 없는 깨끗한 영상의 경우, 일정 구간 내 적어도 한 채널의 화소는 항상 0에 가까운 밝기를 가진다는 것이다.
PPT Slide
Lager Image
식 (2)에서 Jc J 의 컬러 채널을 의미하고 Ω ( x )는 x를 중심으로 하는 일정 구간을 의미한다. 관측에 의해 하늘 영역을 제외한 영역에서의 Jdark 는 대부분 0의 값을 가진다. 즉, Jdark ≈ 0 이라고 놓을 수 있다. 여기서 우리는 A가 주어졌다라고 가정을 하고 일정 영역 Ω ( x )에서의 전달량 또한 일정하다고 가정을 한다. 영역에서의 전달량을
PPT Slide
Lager Image
라 하고 식 (1)에 min 연산자를 취해주면
PPT Slide
Lager Image
위 식을 A로 나눠주면
PPT Slide
Lager Image
그리고, 위 식을 rgb채널에 따라 min 연산자를 취하면 다음과 같다.
PPT Slide
Lager Image
식 (2)와 관측에 의해 J 가 들어간 항을 0으로 가정할 수 있으므로 우리는 최종적으로 안개 영상의 전달량
PPT Slide
Lager Image
를 아래와 같이 얻을 수 있다.
PPT Slide
Lager Image
따라서 안개제거는 입력 영상 I ( x )로부터 A t ( x )를 구하고 이를 이용하여 원본 영상의 밝기값 J ( x )를 구하는 과정으로 수행된다. 그러나 이 방법은 패치 기반으로 처리하기 때문에 영상의 경계와 불일치하는 블록문제가 발생하게 된다. 그림 1 은 DCP 방법에 의한 안개 영상 복원시 발생하는 블록 현상 및 제안한 방법에 의해서 블록 현상이 제거된 예를 보여주고 있다.
PPT Slide
Lager Image
블록 결함의 예; (a) 안개 영상, (b) DCP 방법 Fig. 1. Example of block artfiact; (a) haze image and (b) DCP method
III. HMRF-EM을 이용한 전달맵 수정
안개 영상에서 추정된 전달맵에서 블록을 제거하기 위하여 본 논문에서는 HMRF-EM 알고리즘을 사용한다. 이 알고리즘은 확률모델에 기반하여 DCP 방법에 의해서 발생하는 블록결함을 가우시안 필터링을 수행함으로써 블록 현상을 제거하는 방법이다. 이를 위하여 다음과 같이 입력 영상을 수식화 한다. 먼저, 전달맵의 밝기 yi 에 대한 영상 y = ( y 1 ,…, yN )이 있다. HMRF를 이용해 우리는 수정된 전달맵 x = ( x 1 ,…, xn )의 배열을 다음과 같이 추론한다 [7] .
PPT Slide
Lager Image
이때, xi L 이며 L은 밝기의 모든 가능한 수이다. 또한 사전 확률 P ( x )는 Gibbs 분포이며, 공동 우도 확률은
PPT Slide
Lager Image
위 식에서 P ( yi | xi , Θxi )는 변수 Θxi = ( μxi , σxi )의 가우시안 분포이다. Θ = [ Θl |l∈ L ]은 EM 알고리즘을 이용해 얻은 변수집합이다. 변수집합을 구한 후 Θl = ( μl , σl )변수를 이용하여 가우시안 분포 함수 G ( z ; Θl )를 나타내면,
PPT Slide
Lager Image
HMRF-EM 알고리즘을 적용하기 위해서는 2 가지의 가정이 필요하다. 첫 번째로, 사전 확률 분포를 아래와 같이 가정한다.
PPT Slide
Lager Image
위 식에서 U (χ) 이전 에너지 함수이다. 두 번째 가정은 다음의 수식이 이용된다.
PPT Slide
Lager Image
두 가정을 이용해서 HMRF-EM 알고리즘을 정의한다.
처음으로 초기 변수 Θ (0) 을 설정한다. 그리고 확률 분포 P (t) ( yi | xi , Θxi )를 계산한다. 설정해 두었던 Θ (0) 을 이용하여 수정된 전달맵을 계산한다. 최종적으로 이진 영상 기반의 윤곽선 검출을 통해 i 번째 화소가 경계선이면 zi = 1, 그렇지 않으면 0인 이진 경계 맵 z 가 있다고 가정하면 아래와 같이 식을 이용하여 안개 영상의 전달량을 수정할 수 있다.
PPT Slide
Lager Image
Ⅳ. 실험 결과
제안된 알고리즘의 성능을 평가하기 위하여 변위 맵을 이용한 안개 합성 영상하였다. 이 과정을 통해 안개 영상 복원에 대한 정량적인 검증을 할 수 있다. 그림 2 는 변위 맵을 이용한 안개 영상의 생성 과정을 나타낸다. 먼저 장면의 전달맵을 생성하기 위하여 영상의 변위 맵을 수정한다. 이때 영상 및 그에 해당하는 변위 정보는 Hirschmller et al. 데이터를 이용하였다 [8] . 변위 맵을 밝기에 따라 반비례하게 적용함으로써 전달맵을 구할 수 있다. 마지막으로 이를 원본 영상에 적용시키면 가중치에 따라 그림 2 (c) 및 2 (d)와 같은 안개 영상이 생성된다. 이때 감마는 안개의 정도를 조절하는 지수 변수로써 감마가 커짐에 따라 안개가 짙어지게 된다. 그림 3 은 DCP 방법 수행시 발생한 블록 결함이 제안한 방법에 의해서 제거되는 것을 보여주고 있다. 확대된 영상에서 보듯이 제안한 방법은 패치 기반의 방법에 의해 발생된 블록을 효과적으로 제거하고 있음을 알 수 있다. 다음으로 그림 4 에서 각각의 알고리즘에 의한 안개 제거의 결과를 보여주고 있다. 시각적으로 보기에 유사한 결과를 나타내기 때문에 안개가 포함되지 않은 원본 영상과의 오차를 그림 5 와 같이 계산하였다. 그림 5 는 각 알고리즘에 대한 성능을 시각적으로 확인할 수 있도록 오차 영상을 반전시킨 결과이다. 전체적으로 DCP 방법의 성능이 다소 떨어지는 것을 알 수 있으며 특히, 두 번째 줄의 왼쪽 벽면을 살펴보면 Guided 필터링에 비해 제안한 방법이 오차가 크지 않음을 확인할 수 있다. 또한 세 번째 영상의 중앙 상단 부분에서도 DCP 방법 및 Guided 필터링 방법에 비해 제안한 방법의 성능이 향상됨을 보여준다. 이러한 결과를 정량적으로 확인하기 위해 RGB 공간에서 평균 오차를 계산한 결과를 표 1 에 나타내었다.
PPT Slide
Lager Image
변위맵을 이용한 안개 생성; (a) 원본 영상, (b) 변위 맵, (c) 안개 영상(γ = 1), (c) 안개 영상(γ = 2.5) Fig. 2. Creation of haze image using depth map; (a) haze-free image, (b) disparity map, (c) haze image(γ = 1), and (d) haze image(γ = 2.5)
PPT Slide
Lager Image
블록 결함 제거 비교; (a) DCP 방법, (b) 제안한 방법, (c) (a)의 확대, (d) (b)의 확대 Fig. 3. Comparison of block artfiact reduction; (a) DCP method, (b) proposed method, (c) zooming of (a), and (d) zooming of (b)
PPT Slide
Lager Image
결과 영상 비교 (a) 안개 영상 (b) DCP 방법 (c) Guided 필터링 (d) 제안한 방법 Fig. 4. Comparison of result images; (a) input image (b) DCP method (c) Guided filtering, and (d) proposed method.
PPT Slide
Lager Image
오차 반전 영상; (a) DCP 방법 (c) Guided 필터링 (d) 제안한 방법 Fig. 5. Comparison of inverted error images; (a) DCP method (c) Guided filtering, and (d) proposed method
정량적인 오차 비교
PPT Slide
Lager Image
Table 1. Quantitative comparison of three algorithms
4 가지 실험 영상에서 전반적으로 제안한 알고리즘의 오차가 감소됨을 확인할 수 있다. 그림 6 은 알고리즘에 따라 전달량 추정을 비교한 결과이며 표 2 는 영상 전체의 전달량 오차를 이용하여 정량적으로 알고리즘을 비교하였다. 전달량의 결과를 분석할 때 유의해야 할 점은 균일한 깊이 맵에서는 에지가 감소할 때 우수한 결과이며, 경계영역에서는 에지가 강조되는 것이 좋은 결과를 나타낸다는 것이다. 이러한 현상이 서로 상충하여 각 알고리즘의 결과에 나타나기 때문에 일부분을 분석함으로써 결과를 판단하는 것은 쉽지 않다. 다만, 결과 영상에서 경계영역이 아니라, 균일 변위 영역이 더 시각적으로 비교하기 쉽다는 점이다. 마지막으로 자연 영상에 대한 제안한 알고리즘의 성능 결과가 그림 7 에 나타내었다. Fattal의 방법은 일부 포화되는 영역이 발생하여 자연스럽지 못한 반면, 제안한 방법은 안개 제거에 의한 대비 효과 개선 시 전반적으로 자연스럽게 대비가 향상됨을 확인할 수 있다.
PPT Slide
Lager Image
전달맵 추정 결과 (a) DCP 방법 (b) Guided 필터링 (c) 제안한 방법 Fig. 6. Comparison of transmission maps; (a) DCP method (b) Guided filtering, and (c) proposed method.
전달량에 대한 정량적인 오차 비교
PPT Slide
Lager Image
Table 2. Quantitative comparison of transmission errors
PPT Slide
Lager Image
자연 영상의 안개 제거 (a) 입력 영상, (b) Fattal 방법 (c) Guided 필터링 (d) 제안한 방법 Fig. 7. Dehazing results for natural images (a) input image, (b) Fattal’s method, (c) Guided filtering, and (d) proposed method
Ⅴ. 결 론
본 논문에서는 기존의 DCP 방법에 의한 안개 영상 복원시 발생하는 블록 문제를 해결하기 위하여 HMRF-EM 알고리즘을 이용함으로써 성능을 개선하고자 하였다. 또한 알고리즘의 성능을 평가하기 위해 변위 맵을 이용하여 안개 영상을 생성하였다. 이를 통해 전달량 추정 및 안개 제거 결과 단계에서 정량적인 분석이 가능하게 되었다. 실험 결과 제안한 방법의 성능이 기존 알고리즘에 비해 성능이 우수하였으며, 다양한 합성 영상 및 자연 영상에 대한 결과 영상에서 시각적인 대비의 개선 및 화질의 향상을 확인할 수 있었다.
BIO
권 오 설
- 2008년 8월 : 경북대학교 전자공학과 박사
- 2008년 9월 ~ 2010년 8월 : New York University 박사후연구원
- 2010년 9월 ~ 2011년 8월 : 삼성전자 영상디스플레이사업부 책임연구원
- 2011년 9월 ~ 현재 : 창원대학교 제어계측공학과 조교수
- 주관심분야 : 칼라영상처리, 영상시스템, 컴퓨터비전
References
Narasimhan S. G. , Nayar S. K. 2003 “Contrast restoration of weather degraded image” IEEE trans. Pattern Anal. Mach. Intell. 25 (6) 713 - 724    DOI : 10.1109/TPAMI.2003.1201821
Nayar S. K. , Narasimhan S. G. 1999 “Vision in bad weather” Proc. ICCV Kerkyra, Greece Sep. 820 - 827
Tan R. 2008 “Visibility in bad weather from a single image” Proc. CVPR Anchorage, USA June 1 - 8
Fattal R. 2008 “Single image dehazing” ACM Trans. Graphics 27 (3) 1 - 9    DOI : 10.1145/1360612.1360671
He K. , Sun J. , Tang X. 2011 “Single image haze removal using dark channel prior” IEEE Trans. Pattern Anal. Mach. Intell. 33 (12) 2341 - 2353    DOI : 10.1109/TPAMI.2010.168
He K. , sun J. , Tang X. 2013 “Guided imaging filtering” IEEE trans. Pattern Anal. Mach. Intell. 35 (6) 1397 - 1409    DOI : 10.1109/TPAMI.2012.213
Wang Q. 2012 "HMRF-EM-image: Implementation of the hidden markov random field and its expectation-maximization algorithm" arXiv: 1207. 3510 [cs.CV]
Hirschm H. , Scharstein D. 2007 "Evaluation of cost functions for stereo matching" Proc. CVPR Minneapolis, USA 1 - 8