Advanced
Image Restoration Algorithm using Lagrange Interpolation in Mixed Noise Environments
Image Restoration Algorithm using Lagrange Interpolation in Mixed Noise Environments
Journal of the Korea Institute of Information and Communication Engineering. 2015. Feb, 19(2): 455-462
Copyright © 2015, The Korean Institute of Information and Commucation Engineering
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License(http://creativecommons.org/li-censes/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
  • Received : October 24, 2014
  • Accepted : November 29, 2014
  • Published : February 28, 2015
Download
PDF
e-PUB
PubReader
PPT
Export by style
Share
Article
Author
Metrics
Cited by
TagCloud
About the Authors
세익 권
남호 김
nhk@pknu.ac.kr

Abstract
최근, 영상 매체는 멀티미디어의 핵심 서비스의 일환으로 인터넷, 컴퓨터, 디지털 카메라 등에 활용되고 있다. 디지털 가전과 개인 컴퓨터의 응용 소프트웨어의 발달로 디지털 영상은 쉽게 획득하고 처리할 수 있게 되었다. 그러나 디지털 영상을 획득, 처리, 전송하는 과정에서 여러 외부 원인에 의해 영상의 열화가 발생되며, 영상 열화의 주된 원인은 잡음에 의한 것으로 알려져 있다. 따라서 본 논문에서는 복합잡음을 제거하기 위해 잡음 판단 후, 임펄스 잡음은 Lagrange 보간법, 가우시안 잡음은 거리에 따른 공간가중치를 적용하여 처리하는 영상복원 필터 알고리즘을 제안하여 시뮬레이션하였다. 제안한 알고리즘은 임펄스 잡음( P = 60%) 및 가우시안 잡음( σ = 10)에 훼손된 Girl 영상을 적용하여 처리한 결과, 기존의 A-TMF, AWMF, MMF에 비해 각각 8.77[dB], 8.83[dB], 10.02[dB] 개선되었다.
Keywords
Ⅰ. 서 론
최근, 영상 매체는 멀티미디어의 핵심 서비스의 일환으로 인터넷, 컴퓨터, 디지털 카메라, HDTV, 휴대폰, PDA(personal digital assistants), PMP (portable multimedia player), CT(computer tomography) 등에 활용되고 있다. 디지털 가전과 개인 컴퓨터의 응용 소프트웨어의 발달로 디지털 영상은 쉽게 획득하고 처리할 수 있게 되었다. 그러나 디지털 영상을 획득, 처리, 전송하는 과정에서 여러 외부 원인에 의해 잡음이 첨가되어 영상의 열화가 발생한다 [1 , 2] .
복합잡음을 제거하기 위하여 많은 기법들이 제안되었고 대표적인 공간영역 기법에는 A-TMF(alphatrimmed mean filter), AWMF(adaptive weighted median filter), MMF(modified median filter) 등이 있다. 그러나 이러한 필터들은 잡음의 밀도가 높을 때, 잡음 제거 특성이 저하된다 [3 - 5] .
따라서 본 논문에서는 영상에 첨가되는 복합잡음의 영향을 완화하기 위하여, 잡음판단을 통하여 임펄스 잡음은 Lagrange 보간법, 가우시안 잡음은 거리에 따른 공간가중치를 적용하여 처리하는 영상복원 필터 알고리즘을 제안하였다. 그리고 제안된 알고리즘의 잡음제거 성능의 우수성을 입증하기 위해, PSNR (peak signal to noise ratio)을 이용하였으며, 기존의 방법들과 그 성능을 비교하였다 [6 - 8] .
Ⅱ. 기존의 방법
- 2.1. A-TMF
필터링 마스크 x 라 정의하고, x 내의 n 개의 화소를 오름차순으로 정렬하였을 경우, 식 (1)과 같이 나타낸다.
PPT Slide
Lager Image
여기서 x 1 은 최소값이고, xn 은 최대값이다.
A-TMF는 정렬된 요소의 처음과 끝 부분을 α 값에 따라 요소들 일부를 절단하여 평균하는 필터로 식 (2)와 같이 표현된다.
PPT Slide
Lager Image
여기서 [‧]는 올림 함수를 나타내고, α 값의 범위는 0 ≤ α ≤ 0.5이다. 이에 따라 A-TMF는 변수 α 값에 따라 필터 특성이 변화된다 [3] .
- 2.2. AWMF
마스크 x 내의 각 화소와 화소들의 메디안 값과의 차이에 따른 파라메타 f 와 적응 가중치를 식 (3)과 같이 구한다.
PPT Slide
Lager Image
여기서, ( p , q )는 마스크 내부좌표를 나타내고 Med 은 마스크의 메디안 값이다.
마스크 x 와 적응 가중치 w 를 이용한 AWMF의 최종출력은 식 (4)와 같다.
PPT Slide
Lager Image
AWMF는 저주파 영역에서는 우수한 잡음제거 특성을 나타내지만, 화소값이 급격히 변하는 고주파 영역에서는 잡음제거 특성이 다소 미흡하다 [4] .
- 2.3. MMF
MMF는 xi,j 를 중심으로 하여 3 × 3 마스크를 취하고 3 × 3 영역의 잡음 유무를 식 (5)와 같이 판단한다 [5] .
PPT Slide
Lager Image
M 1 의 요소들이 잡음이 아닌 경우, 화소는 원상태로 마스크 M 1 에 대입하며 식 (6)과 같다.
PPT Slide
Lager Image
M 1 의 요소들이 잡음인 경우, 그 잡음 화소를 중심으로 3 × 3 마스크 M 2 를 취하며 식 (7)과 같다.
PPT Slide
Lager Image
여기서, k , l 은 잡음화소의 위치를 나타낸다.
마스크 M 2 의 메디안 값 구하고 식 (8)과 같이 M 1 에 저장한다.
PPT Slide
Lager Image
필터 처리를 거쳐 형성된 최종 마스크 M 1 의 메디안 값을 이용하여 최종 출력을 식 (9)와 같이 구한다.
PPT Slide
Lager Image
Ⅲ. 제안한 알고리즘
본 논문에서는 영상에 첨가되는 복합잡음을 완화하기 위하여 잡음 판단을 거친 후, 임펄스 잡음과 가우시안 잡음 두 부분으로 나누어 처리한다. 임펄스 잡음의 경우, 방향성 마스크를 설정하고 비임펄스 잡음 화소의 수가 많은 두 방향을 선택한다. 선택된 두 방향의 잡음 화소에 유효화소들의 메디안 값으로 대입하고 Lagrange 보간법을 이용하여 원 화소를 추정한다. 가우시안 잡음의 경우, 3 × 3 마스크를 설정하여 거리에 따른 공간 가중치 함수를 적용하여 가우시안 잡음의 영향을 완화하고 에지 보존 특성을 향상시킨다.
- 3.1. 잡음판단
복합 잡음에 의하여 훼손된 영상에서 i , j 의 위치에 있는 화소 x ( i , j )는 식 (10)과 같다.
PPT Slide
Lager Image
여기서 x 0 ( i , j )는 원 영상의 화소값을 나타내며, x ( i , j )는 잡음 영상의 화소값, n ( i , j )는 가우시안 잡음의 크기, P 는 임펄스 잡음의 확률이다. 또한 임펄스 잡음 판단은 식 (11)과 같이 표현된다.
PPT Slide
Lager Image
여기서 α 는 2진 형태이며, 1과 0은 각각 임펄스 잡음과 가우시안 잡음을 나타낸다.
- 3.2. 임펄스 잡음제거
Step 1. 중심화소가 임펄스 잡음으로 판단된 경우, 5 × 5 마스크의 임펄스 잡음을 제외한 집합을 S 라고 정의하고, S 의 평균은 식 (12)와 같다.
PPT Slide
Lager Image
여기서 K 는 5 × 5 마스크 내 비임펄스 잡음의 수이고, 5 × 5 마스크가 모두 임펄스 잡음이면, Avg 를 128로 정의한다.
Step 2. 그림 1 과 같이 방향성 마스크를 정의하며 네개의 방향 집합, Fm ( m = 1 : 4)는 식 (13)과 같다.
PPT Slide
Lager Image
PPT Slide
Lager Image
방향성 마스크(회색 블록은 임펄스 잡음) Fig. 1 Directional Mask(The gray blocks is impulse noise)
여기서, C 는 임펄스 잡음에 훼손된 중심화소이다.
Step 3. 그림 1 에서와 같이 방향성 마스크에서 임펄스 잡음의 수가 적은 순서로 정렬하여 두 방향을 선택(예 : F 2 , F 4 )한다.
Step 4. 선택된 두 방향(예 : F 2 , F 4 )을 각각 NF 1 , NF 2 에 저장한다. Lagrange 보간법을 적용하기에 앞서 선택된 두 방향에 임펄스 잡음의 영향을 완화하기 위해 비임펄스 잡음의 메디안 값을 구하고 임펄스 잡음의 위치에 대입한다. NF 1 , NF 2 가 3 × 3 마스크 내의 중심화소를 제외한 5 × 5 영역 화소들이 잡음일 경우, 잡음화소를 중심으로 3 × 3 크기의 마스크를 설정한다. 그리고 3 × 3의 임펄스 잡음을 제외한 집합을 s , 요소수를 k 라 정의하고 메디안 값을 구하여 잡음화소의 위치에 대입한다.
k 가 홀수인 경우, 비잡음 신호들을 오름차순으로 정렬한 후 메디안 값을 구하며 식 (14)와 같다.
PPT Slide
Lager Image
k 가 짝수인 경우, 비잡음 신호들을 오름차순으로 정렬한 후 메디안을 구하기 위해 식 (15)와 같이 표현된다.
PPT Slide
Lager Image
k 가 0인 경우, 마스크 내의 화소가 모두 임펄스 잡음이므로 Avg Med 에 대입한다.
Step 5. 3 × 3를 제외한 모서리 요소( SE 1 , SE 4 , NE 1 , NE 4 )가 임펄스 잡음일 경우, 그림 2 의 영역들을 Step 4와 같이 메디안 값을 구하여 잡음화소의 위치에 대입한다.
PPT Slide
Lager Image
모서리 요소 (a) SE1 (b) NE4 (c) NE1 (d) SE4 Fig. 2 Corner elements (a) SE1 (b) NE4 (c) NE1 (d) SE4
Step 6. 3 × 3를 제외한 중간 요소( E 1 , E 4 , N 1 , N 4 )가 임펄스 잡음일 경우, 그림 3 의 영역들을 Step 4와 같이 메디안 값을 구하여 잡음화소의 위치에 대입한다.
PPT Slide
Lager Image
중간 요소 (a) SE1 (b) NE4 (c) NE1 (d) SE4 Fig. 3 Middle elements (a) SE1 (b) NE4 (c) NE1 (d) SE4
Step 7. 보정된 NF 1 , NF 2 를 이용하여 Lagrange 보간법으로 중심화소를 추정하며 식 (16)과 같이 표현된다.
PPT Slide
Lager Image
여기서, 보간하고자 하는 독립변수 r 는 3이다.
Step 8. 방향성 마스크 Fm 에 의해 얻어진 NF 1 , NF 2 를 Lagrange 보간법으로 구한 최종 출력은 식 (17)과 같다.
PPT Slide
Lager Image
- 3.3. 가우시안 잡음제거
Step 1. 중심화소가 가우시안 잡음으로 판단된 경우, 3 × 3 마스크로 처리하며, 식 (18)과 같이 정의한다.
PPT Slide
Lager Image
Step 2. M 마스크 내의 요소들이 임펄스 잡음인 경우 0, 비임펄스 잡음인 경우 현재 화소값을 적용하며, 식 (19)와 같이 표현한다.
PPT Slide
Lager Image
Step 3. M 마스크의 잡음 유무를 확인하기 위한 U 는 식 (20)과 같이 표현한다.
PPT Slide
Lager Image
Step 3. 거리에 따른 가중치 마스크는 그림 4 와 같으며, 공간적 거리함수는 식 (21)과 같이 정의한다.
PPT Slide
Lager Image
가중치 마스크 Fig. 4 Weighted mask
PPT Slide
Lager Image
여기서, d 1 = 0, d 2 = 1,
PPT Slide
Lager Image
이다.
Step 5. 임펄스 잡음이 제거된 M 마스크와 가중치 마스크 W U 를 사용하여 정규화한 최종 출력값은 식 (22)과 같이 구한다.
PPT Slide
Lager Image
여기서 N 은 양의 정수 1의 값을 가진다.
Ⅳ. 시뮬레이션 및 결과
본 논문에서는 512⨉512 크기의 8 비트 그레이 영상인 Girl, Goldhill에 대해 복합잡음을 첨가하여 시뮬레이션하였으며, 또한 영상의 개선 정도를 평가하기 위하여 PSNR을 사용하여 기존의 A-TMF, AWMF, MMF로 성능을 비교하였다. 제안한 알고리즘은 식 (11)을 이용하여 잡음판단을 하고 임펄스 잡음과 가우시안 잡음에 따라 식 (17), (22)을 이용하여 최종 출력을 구한다. 그리고 PSNR은 식 (23), (24)와 같이 표현된다.
PPT Slide
Lager Image
PPT Slide
Lager Image
여기서 R, C는 이미지 가로, 세로크기를 나타낸다.
그림 5 는 제안한 알고리즘의 우수한 잡음 제거 특성을 입증하기 위해, Girl영상에 고밀도의 임펄스 잡음( P = 60%)과 가우시안 잡음( σ = 10)을 첨가하여, 기존의 방법들과 제안한 방법의 시뮬레이션하였다.
PPT Slide
Lager Image
Girl 영상에 대한 시물레이션 결과 (a) 원 영상 (b) 잡음 이미지 (c) A-TMF (d) AWMF (e) MMF (f) PFA Fig. 5 Simulation result of Girl image (a) Original image (b) Noise image (c) A-TMF (d) AWMF (e) MMF (f) PFA
그림 5 에서 (a)는 원 영상이고, (b)는 임펄스 잡음( P = 60%) 및 가우시안 잡음( σ = 10)에 훼손된 영상이며, (c)는 A-TMF(5 × 5), (d)는 AWMF(5 × 5), (e)는 MMF(5 × 5), (f)는 제안한 필터 알고리즘(PFA: proposed filter algorithm)로 처리한 결과이며, 복합잡음에 훼손된 영상을 복원함에 있어서 제안한 알고리즘의 잡음제거 우수성을 확인하기 위해, 그림 6 에서 Girl 영상에 (200, 200) 화소를 중심으로 상하좌우 각각 50화소 영역을 확대한 영상으로 나타내었다.
PPT Slide
Lager Image
확대 영상(Girl) (a) 원 영상 (b) 잡음 이미지 (c) A-TMF (d) AWMF (e) MMF (f) PFA Fig. 6 Zoom image(Girl) (a) Original image (b) Noise image (c) A-TMF (d) AWMF (e) MMF (f) PFA
확대 영상으로부터, A-TMF는 고밀도 잡음 환경에서 잡음제거 특성이 미흡하고 에지 보존 특성이 미흡하였다. AWMF는 우수한 잡음제거 특성을 보였지만 에지 보존 특성이 다소 미흡하였다. MMF는 우수한 에지 보존 특성을 보였지만, 잡음제거 특성이 다소 미흡하였다. 제안한 알고리즘은 기존의 방법들에 비해 복합잡음 환경에서 잡음제거 특성과 에지 보존 특성이 우수하였다.
그림 7 , 8 은 각각의 필터들에 의해 복원된 영상에 대한 PSNR을 비교한 것이다. 표 1 , 2 는 각각 Girl, Goldhill 영상을 사용하여 처리한 결과를 수치로 나타낸 것이다. 여기서, 기존의 방법들은 잡음밀도가 적은 경우 잡음제거 특성이 우수하였으며 잡음 밀도가 40% 이상으로 높아짐에 따라 잡음제거 특성이 급격히 미흡해지는 특성을 나타내었다. 그리고 제안한 알고리즘은 잡음 밀도가 낮은 영역 및 높은 영역에서도 우수한 PSNR을 나타내었다.
PPT Slide
Lager Image
Girl 영상의 PSNR 그래프 Fig. 7 PSNR graph for Girl image
PPT Slide
Lager Image
Goldhill 영상의 PSNR 그래프 Fig. 8 PSNR graph for Goldhill image
Girl 영상의 각 PSNR[dB] 비교Table. 1 Each PSNR[dB] comparison for Girl image
PPT Slide
Lager Image
Girl 영상의 각 PSNR[dB] 비교 Table. 1 Each PSNR[dB] comparison for Girl image
Goldhill 영상의 각 PSNR[dB] 비교Table. 2 Each PSNR[dB] comparison for Goldhill image
PPT Slide
Lager Image
Goldhill 영상의 각 PSNR[dB] 비교 Table. 2 Each PSNR[dB] comparison for Goldhill image
Ⅴ. 결 론
본 논문은 임펄스 잡음과 가우시안 잡음이 중첩된 복합잡음 제거에 우수한 영상복원 알고리즘을 제안하였다. 제안한 알고리즘은 잡음판단을 통해 임펄스 잡음일 경우, 방향성 마스크에서 비임펄스 잡음 요소수가 많은 두 방향에 대해서 Lagrange 보간법을 적용하여 원 화소를 추정하고, 가우시안 잡음일 경우, 영상의 에지 영역에 몽롱화 현상을 완화하기 위해 거리에 따른 공간 가중치를 적용하여 처리하였다.
시뮬레이션 결과, 제안한 알고리즘은 확대 영상에서 기존의 방법들보다 우수한 에지 보존 특성을 나타내었고, 잡음 밀도 변화에 따른 잡음 제거 특성이 기존의 방법들보다 우수한 PSNR 결과를 나타내었다. 그리고 표 1 의 결과에서, 임펄스 잡음( P = 60%) 및 가우시안 잡음( σ = 10)에 훼손된 Girl 영상은 28.17[dB]의 높은 PSNR을 보이고 있고, 기존의 A-TMF, AWMF, MMF에 비해 각각 8.77[dB], 8.83[dB], 10.02[dB] 개선되었다. 향후 제안한 알고리즘을 개선하여 우수한 성능을 얻을 수 있는 알고리즘에 관한 연구를 진행할 예정이다.
BIO
권세익(Se-Ik Kwon)
2014년 8월 부경대학교 졸업
2014년 9월∼현재 부경대학교 대학원 제어계측공학과 석사과정
※관심분야 : 영상처리
김남호(Nam-Ho Kim)
제19권 제1호 참조
1992년 3월∼현재 부경대학교 공과대학 제어계측공학과 교수
※관심분야 : 영상처리, 통신시스템, 적응필터와 웨이브렛을 이용한 잡음제거 및 신호복원
References
Plataniotis K. N. , Venetsanopoulos A. N. 2000 Colir Image Processing and Applications Springer Berlin, Germany
Gonzalez R. C. , woods R.E. 2007 Digital Image Processing Prentice Hall
Long Xu , Kim Nam-Ho 2013 "Modified Median Filter for Impulse Noise Removal" JKIICE 17 (2) 461 - 466
Wang Jiahui , Hong Jingxing "a New Selt-Adaptive Weighted Filter for Removing Noise in Infrared images," IEEE Information Engineering and Computer Science, ICIECS International Conference 2009
Long Xu , Kim Nam-Ho 2014 "A Study on Directionally Weighted Filter Algorithm in Impulse Noise Environments" JKIICE 18 (7) 1734 - 1739
Yinyu Gao , Kim Nam-Ho 2011 "A study on Removing Impulse Noise using Modified Adaptive Switching Median Filter" JKIICE 15 (11) 2474 - 2479
Long Xu , Kim Nam-Ho 2013 "A Study on the Spatial Weighted Filter in AWGN Environment" JKIICE 17 (3) 724 - 729
Quan-hua T. , Jun Y. , Jin-e L. , Zhou Y. "A New Image Denosing Method" IEEE International Conference on Intelligent Computation Technology and Automation Oct. 2008 Vol. 2 78 - 82