Advanced
Study on Efficient Image Restoration using Reference Image
Study on Efficient Image Restoration using Reference Image
Journal of the Korea Institute of Information and Communication Engineering. 2015. Mar, 19(3): 645-650
Copyright © 2015, The Korean Institute of Information and Commucation Engineering
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License(http://creativecommons.org/li-censes/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
  • Received : January 02, 2015
  • Accepted : January 28, 2015
  • Published : March 31, 2015
Download
PDF
e-PUB
PubReader
PPT
Export by style
Share
Article
Author
Metrics
Cited by
TagCloud
About the Authors
인택 김
taek.kim@gmail.com
타엽 와압

Abstract
영상 획득 시 렌즈의 부정확한 초점이나 영상 획득 시스템의 흔들림 등으로 인해 영상 복원이 요구된다. 이런 영상 복원 문제는 하나의 열화 영상에서 원 영상을 추출해야 하는 부적절하게 정립된 역 문제 (ill-posed reverse problem)이다. 본 논문은 기준 영상을 도입하여 기존의 영상 복원 방법과 비교할 때 복원 영상의 신호잡음비를 유사하게 유지하면서 계산 속도를 향상시키는 방법을 제안하였다. 제안된 방법은 새로운 비용 함수를 통해 영상과 커널을 몇 단계의 갱신을 통해 영상 열화에 사용되었다고 추정되는 커널을 얻는다. 위너 필터는 전 단계에서 구한 커널과 기준 영상을 이용하여 원 영상의 추정치를 구하였다.
Keywords
Ⅰ. 서 론
영상 열화는 영상 획득 과정에서 필연적으로 발생한다. 이렇게 획득된 영상은 열화 정도에 따라서 영상의 소기 목적을 얻지 못하는 경우도 발생할 수 있다. 예를 들어 도로변에 설치된 과속차량 카메라로 영상을 얻을 때 바람이나 차량의 진동으로 인해 해독하기에 부적절한 영상을 얻기도 한다.
열화 영상으로부터 더 나은 영상을 추출하는 작업으로는 영상 개선 (image enhancement)과 영상 복원(image restoration)이 있다. 이 두 영역 간에는 겹쳐지는 부분이 있으나 영상 개선은 주관적인 처리인데 비해 영상 복원은 객관적인 처리이다 [1] . 복원은 열화 현상에 대한 사전 지식 (prior knowledge)을 활용하여 열화영상을 재구성하거나 복구를 하는 작업이다. 여기서 사전 지식으로 열화 함수와 잡음 등을 예로 들 수 있다. 따라서 복원은 열화 과정의 역순을 적용하여 원 영상(original image)을 얻어내는 작업이다.
영상 복원이 요구되는 열화 현상은 영상을 획득할 때 렌즈의 부정확한 초점 (out of focus), 영상 시스템이 촬영도중 움직이거나 촬영 대상 물체가 움직일 때 발생하는 움직임에 의한 흐려짐(motion blur)으로 나누어 생각할 수 있다.
본 논문은 부정확한 초점과 움직임에 의한 흐려짐 또는 블러링 (blurring)으로 생성된 열화 영상을 복원하는 방법을 제안한다. 앞에서 설명했던 과속차량 카메라로 얻은 열화 영상이 있다고 가정할 때, 복원하는데 주어진 정보는 열화 영상 밖에 존재하지 않는다. 이런 경우 블라인드 디컨볼루션 (blind deconvolution)을 사용하여 영상을 복원한다. 이는 부적절하게 정립된 역 문제(ill-posed inverse problem)로 한 장의 열화 영상에서 원 영상에 가까운 영상을 얻는 일이다.
열화 영상은 영상 획득 당시의 상황에 기인한다. 만일 과속차량 카메라가 차량과 바람 등이 없는 상황에서 영상을 획득한다면 이 영상 안에는 차량이 없으나 그 주변의 영상은 초점이 잘 맞고 흔들림이 없이 상당히 안정적이다. 본 논문에서는 이 영상을 기준 영상(reference image)이라 정의하고, 블라인드 디컨볼루션 이후에 사용함으로써 기존의 방법보다 비슷하거나 더 나은 영상복원 방법을 제시한다.
본 논문에서는 II 장에 관련 연구를 소개하고, 영상복원에 대한 기본적인 수학적 표현을 III 장에서 제시한다. IV 장은 본 논문에서 제안한 새로운 영상 복원 방법을 소개하고, 그 실험 결과와 결론을 각각 V 장과 VI 장에서 각각 서술한다.
Ⅱ. 관련 연구
영상 복원을 위한 블라인드 디컨볼루션은 잘 알려진 문제로 이미 많은 연구가 진행되어 왔다. 비교적 초기 방법으로 TV(total variation)를 최소화한 Chan의 연구가 있다 [2] .
Almedia 등은 에지 탐지 (edge detection) 방법을 사용하여 열화 영상을 복원하였는데, 이 방법은 주로 부정확한 초점에 의한 열화 영상에만 적용할 수 있다 [3] . 열화 함수를 찾기 위한 방법으로 영상 에지 분포에 대한 확률적 사전 지식을 적용하는 방법이 제안되었다 [4] .
이런 방법의 문제점은 가정에 사용되었던 확률적인 사전 지식이 일반적인 영상에 잘 적용되지 않았다. 이를 개선하기 위해 에지 분포를 가우시안 혼합 모델(Gaussian mixture model)로 표현하기도 했다 [5] .
전술한 바와 같이 흐려진 영상을 복원하는 작업은 부적절하게 정립된 문제 (ill-posed problem)이기 때문에 다양한 방법이 시도되었다. 조성현 등 [6] 은 영상 추정과 열화 함수 추정에 영상의 미분 값을 예측에 사용하여 빠른 복원방법을 제안하였는데, 이 방법은 어도비의 포토샵 차기 버전에 도입될 예정으로 알려져 있다.
한편 최근 들어 눈에 띄는 논문으로 Krishnan 등 [7] 과 Wang 등 [8] 을 꼽을 수 있다. 블라인드 디컨볼루션을 위해 regularization 항이 사용하는데, 비용 함수를 최소화 시키는 복원 영상이 반드시 원 영상에 근접하는 최적의 영상이 아니었다. 이에 Krishnan의 연구는 제목에 언급된 정규화 된 (normalized) sparsity measure를 사용하여 기존의 방법보다 나은 성능을 보여준다. 한편 Wang의 논문은 블라인드 디컨볼루션을 위한 적응 필터 (adaptive filter)를 사용했다. 이 필터는 초기 열화 함수 추정에 영상의 잡음을 줄여 강건한 열화 함수를 찾는데 도움을 준다.
본 논문은 새로운 비용함수와 기준 영상을 제안하고, 영상 복원 결과의 우수성을 증명하기 위해 최근 두 논문 [7 - 8] 의 결과와 비교하였다.
Ⅲ. 영상 복원
- 3.1. 영상 복원
영상 복원은 열화 영상에서 원 영상을 추출하는 작업으로 열화과정에 대한 모델은 식(1)과 같이 표현된다.
PPT Slide
Lager Image
여기서 g ( x , y )는 열화 영상, f ( x , y )는 원 영상, h 는 열화 함수, 그리고 n ( x , y )는 잡음이다. 영상 복원의 목표는 원 영상의 추정치
PPT Slide
Lager Image
를 구하는 것이다. 일반적으로 열화 함수 h 가 선형적으로 동작한다고 가정하여 아래와 같이 식 (2)로 표현되기도 한다. 이를 주파수 영역에서 표현하면 식 (3)과 같다.
PPT Slide
Lager Image
PPT Slide
Lager Image
식 (2) 또는 (3)에서 살펴본 바와 같이 열화 과정에 대한 정보, 즉 h ( x , y ) 또는 H ( u , v )에 대한 정보가 있으면 역 필터링 (inverse filter), 위너 필터링 (Wiener filtering), 또는 제한 최소 제곱 필터링 (constrained least squares filtering)에 의해 원 영상의 추정치
PPT Slide
Lager Image
를 쉽게 구할 수 있다 [1] .
본 논문에서 언급하는 영상 복원의 문제는 g ( x , y ) 또는 G ( u , v )가 주어졌을 때 f ( x , y ) 또는 F ( u , v )를 구하는 작업이다. 따라서 식 (2)에서 잡음 항이 없다하더라도 g ( x , y )만을 이용하여 h ( x , y )와 f ( x , y )를 구해야 하는 부적절하게 정립된 문제 (ill-posed problem)가 된다.
한편 식 (2)에서 설명한 h ( x , y )는 영상 열화에 사용한 열화 함수로 이를 PSF(point spread function)이라고도 하며, 본 논문에서는 커널(kernel)이라는 표현으로 사용한다. 영상 복원 알고리듬의 중요한 목표 중 하나는 복원에 사용되는 PSF를 적절하게 추정하는 일이다. 만일 PSF에 대한 구체적인 지식이 없는 경우, 블라인드 디컨볼루션 알고리듬을 사용한다.
- 3.2. 블라인드 디컨볼루션 (Blind Deconvolution)
블라인드 디컨볼루션을 적용하여 동시에 식 (2)의 원 영상 f ( x , y )와 커널 h ( x , y )를 구할 수 없다. 따라서 블라인드 커널 추정을 실시한 후, 이 커널을 이용하여 원 영상을 얻게 된다. 이 절에서는 관련 연구에서 설명한 바와 같이 블라인드 디컨볼루션 알고리듬 중 가장 최근 논문 [7] 에서 사용한 방법을 소개하고자 한다. 블라인드 커널 추정은 아래의 식과 같은 비용함수를 최소화함으로써 얻어진다.
PPT Slide
Lager Image
여기서 f 는 미지의 원 영상이며, h 는 미지의 커널함수이며 모두 2차원 행렬이다. 여기서 ║ f 1 과 ║ f 2 는 각각 f l 1 , l 2 norm이다. 식 (4) 는 세 개의 항으로 구성되어 있다. 첫째 항은 식 (1)을 최소화하는 우도(likelihood)이며 둘째 항은 복원할 때 scale-invariant sparsity를 위한 f 에 대한 l 1 / l 2 regularizer 항이다. 마지막 항은 커널의 잡음을 줄이기 위한 h 에 대한 l 1 regularizer이다.
식 (4)의 값을 최소화하는 f h 를 구하기 위해서 각각의 값을 갱신하는 반복된 과정을 수행해야 한다. 이에 대한 자세한 내용은 다음 장에서 기술한다.
식 (4)를 만족하는 커널 h 를 구한 후에는 영상 복원 문제가 더 이상 부적절하게 정립된 역 문제가 아니다. 왜냐하면 식 (2)에서 g , h 가 존재하므로 이제는
PPT Slide
Lager Image
를 쉽게 구할 수 있다. 논문 [7] 에서는 실제로 Richardson-Lucy 알고리듬을 사용하였다.
Ⅳ. 기준 영상을 활용한 영상 복원 방법
- 4.1. 새로운 가정
본 논문에서 블라인드 디컨볼루션을 이용하여 추정치
PPT Slide
Lager Image
를 얻는다. 그러나 서론에서 언급했던 기준영상이라는 여분의 정보가 있다는 가정 하에 새로운 방법을 제안한다. 기준 영상 t ( x , y )은 그림 1 (c)와 같이 원 영상의 일부분의 정보만을 가진다.
PPT Slide
Lager Image
테스트 영상 1:(a) 원 영상, (b) 열화 영상, (c) 기준 영상, (d) 논문 [7]의 결과, (e) 논문 [8]의 결과, (f) 본 논문 결과 Fig. 1 Test Image Set 1: (a) original image, (b) blurred image, (c) reference image, (d) image by [7], (e) image by [8], (f) image by proposed method
- 4.2. 제안된 비용 함수
새롭게 제안된 비용 함수는 Krishnan 등 [7] 의 식(4)에 새로운 항 한 개가 첨가되어 아래와 같다.
PPT Slide
Lager Image
앞의 세 항은 식 (4)와 동일하여 f , h , g 는 각각 원 영상, 열화 함수, 열화 영상을 각각 표현한다. λ , ψ 는 최적화를 위해 영상에 따라 설정해야 하는 값들이다. 식 (5)의 네 번째 항 CR 은 기준 영상 r ( x , y )의 자기상관함수로 복원된 f ( x , y )의 잡음을 줄이는데 기여한다.
- 4.3. 영상과 커널 갱신
식 (5)를 적용함에 있어 최초 영상과 커널은 다운샘 플링을 통해 축소된 영상( f (1) )과 커널( h (1) )을 사용한다. 갱신이 이루어질 때마다 선형 보간법 (bilinear interpolation)에 의해 영상과 커널의 크기를 증가시킨다. 즉 f (1) h (1) f (2) →…→ f (n) h (n) 로 갱신되어 최종 f (n) h (n) 은 영상과 커널 추정치
PPT Slide
Lager Image
ĥ 가 된다.
- 4.3.1. 영상f갱신
식 (5)으로부터 영상을 갱신하는 식은 아래와 같다.
PPT Slide
Lager Image
식 (6)을 풀기 위한 방법으로 iterative shrinkage thresholding 알고리듬 [9] 를 사용하였다. 이와 같이 영상 f 갱신이 종료되면 이 결과를 커널 h 를 갱신하는데 사용한다.
- 4.3.2. 커널 추정치h갱신
영상 갱신과 동일하게 식 (5)으로부터 커널을 갱신에 사용되는 항은 아래의 식으로 표현된다.
PPT Slide
Lager Image
식(7)을 풀기 위한 방법으로 iterative re-weighted least squares 알고리듬 [10] 을 사용하였다.
- 4.4. 위너 필터의 적용
앞에서 영상과 커널을 갱신함으로써 궁극적으로는 원 영상을 열화시키는데 사용했던 커널 추정치를 얻었다. 이 과정을 통해 이제는 잘 알려진 위너 필터 [1] 를 사용하여 시간을 단축시킬 수 있었다.
PPT Slide
Lager Image
간략하게 표현하기 위해 H ( u , v )를 H 로 표시하였으며, Sn Sf 는 각각 g ( x , y )- r ( x , y ), r ( x , y )의 전력 스펙트럼(power spectrum)이다. 여기서 f ( x , y )에 대한 근사치로 r ( x , y )를 사용했다.
- 4.5. 알고리듬
앞에서 설명한 과정이 아래의 표 1 과 같다.
제안된 영상 복원 알고리듬Table. 1 Proposed Image Restoration Algorithm
PPT Slide
Lager Image
제안된 영상 복원 알고리듬 Table. 1 Proposed Image Restoration Algorithm
Ⅴ. 실험 및 결과
본 장에서는 제안된 기준 영상을 활용한 영상 복원 방법의 성능을 검증하기 위해 도로에서 얻은 영상, 그림 1 그림 2 를 이용하여 실험하였다. 그림 1 의 테스트 영상은 1280×720이며 그림 2 의 테스트 영상은 250×175의 크기를 가졌다. 성능 비교를 위해 최근 연구된 알고리듬 [7 , 8] 을 동일한 PC에서 matlab을 사용하여 그 결과를 관찰하였다.
PPT Slide
Lager Image
테스트 영상 2: (a) 원 영상, (b) 열화 영상, (c) 기준 영상, (d) 논문 [7]의 결과, (e) 논문 [8]의 결과, (f) 본 논문 결과 Fig. 2 Test Image Set 2: (a) original image, (b) blurred image, (c) reference image, (d) image by [7], (e) image by [8], (f) image by proposed method
그림 1 그림 2 의 (a)~(f)를 살펴보면 (a)는 원 영상, (b)열화 영상, (c)기준 영상이다. 기준 영상은 영상 내에서 관심의 대상이 되는 물체가 존재하지 않았을 때 원 영상 수준으로 선명하게 얻은 영상이다.
성능 비교를 위해, Krishnan 등 [7] 와 Wang 등 [8] 의 결과가 각각 (d)와 (e)에 보였다. 본 논문의 결과는 (f)에 주어졌다. 결과를 살펴보면 제안 방법의 신호대잡음비(SNR)은 기존의 방법과 유사하거나 조금 나은 정도이나 연산 시간은 2배 이상 단축되었음을 표 2 에서 확인할 수 있다.
성능 비교Table. 2 Comparision of Performance
PPT Slide
Lager Image
성능 비교 Table. 2 Comparision of Performance
Ⅵ. 결 론
본 논문에서는 블라인드 디컨볼루션을 이용하여 열화 영상으로부터 원 영상에 대한 추정치를 구하는 방법을 제안했다. 이 방법을 최근의 연구 [7 , 8] 와 비교해 본 결과, SNR 측면에서는 큰 차이가 없었으나 영상 복원 연산 시간이 2 배 이상 줄었음을 확인할 수 있었다. 이와 같이 연산 시간 단축은 기준 영상(reference image)의 활용에 기인한다. 기준 영상의 autocorrelation 값을 최적화에 사용하는 비용 함수로 사용하고, 커널 추정치를 구한 후 위너 필터에 기준 영상에서 구한 Sn / Sf 항으로 사용했기 때문이다. 따라서 연산 측면에서 볼 때, 본 연구는 열화 열상에 블라인드 디컨볼루션을 적용한 디블러링 방법의 실시간 적용에 기여했다고 볼 수 있다.
향후 연구가 실시간 적용에 근접하는 알고리듬의 개발에 있다면, 효과적인 커널 추정치를 구할 수 있는 비용 함수를 개발하는 것이 필요하다. 한편 더 나은 원 영상의 추정치를 얻기 위해서라면 영상이나 커널 추정치 갱신에 있어 크기를 늘리는 정도를 세분화하면 좋은 결과가 있을 것이다. 그러나 이 방법은 궁극적으로 처리 속도가 늘어나는 단점을 발생시킬 수 있다.
Acknowledgements
이 논문은 2014년도 명지대학교 교내연구비 지원사업에 의하여 연구되었음.
BIO
김인택(Intaek Kim)
1992. 12: 미국 조지아텍 공학박사
1993. 2~1995. 2: 금성 중앙연구소 선임연구원
1995~현재: 명지대학교 정보통신공학과 교수
※관심분야 : 영상처리, 최적화
타엽 와압(Tayyab Wahab Awan)
2015. 2: 명지대학교 정보통신공학과 석사
※관심분야 : 지능로봇, 신호처리, 패턴인식, 물체인식
References
Gonzalez R. C. , Eddins S. L. 2002 Digial Image Processing 2nd ed. Prentice-Hall Upper Saddle River, NJ
Chan T. F. , Wong C. K. 1998 “Total variation blind deconvolution,” IEEE Trans. on Image Processing 7 (3) 370 - 375    DOI : 10.1109/83.661187
Almeida M. S. C. , Almeida L. B. 2009 “Blind and semi-blind deblurring of natural images,” IEEE Trans. on Image Processing 19 (1) 36 - 52    DOI : 10.1109/TIP.2009.2031231
Joshi N. , Szeliski R. , Kriegman D. “PSF estimation using sharp edge prediction,” in IEEE Conf. on Computer Vision and Pattern Recognition 2008 1 - 8
Fergus R. , Singh B. , Hertzmann A. , Roweis S. T. , Freeman W. T. 2006 “Removing Camera Shake from a Single Photograph,” ACM Trans. on Graphics 25 (3) 787 - 794    DOI : 10.1145/1141911.1141956
Cho S. , Lee S. 2009 “Fast motion deblurring,” ACM Trans. Graphics Article 145 28 (5)    DOI : 10.1145/1618452.1618491
Krishnan D. , Tay T. , Fergus R. “Blind deconvolution using a normalized sparsity measure,” in IEEE Conf. on Computer Vision and Pattern Recognition 2011 233 - 240
Wang F. , Li Y. “Robust Kernel Estimation for Single Image Blind Deconvolution,” in Internation Conf. on Pattern Recognition (ICPR 2012) 2012 481 - 484
Beck A. , Teboulle M. 2009 “A fast iterative shrinkage thresholding algorithm for linear inverse problem,” Journal on Imag. Sciences 183 - 202    DOI : 10.1137/080716542
Levin A. , Fergus R. , Durand F. , Feeman W. 2007 “Image and depth from a conventional camera with a coded aperture,” ACM Trans. on Graphics Article 70 26 (3)    DOI : 10.1145/1276377.1276464