최근 IT 기술의 발전에 따라 디스플레이 등 영상장치들에 대한 요구가 갈수록 높아지고 있다. 일반적으로 영상은 전송과정에서 여러 원인으로 열화가 발생하며 이러한 잡음을 제거하기 위해 활발한 연구가 진행되고 있다. 따라서 본 논문에서는 salt & pepper 잡음을 제거하기 위해 잡음 판단 후, 비잡음인 경우 원 화소로 대치하고, 잡음인 경우 잡음 밀도에 따라 처리하는 알고리즘을 제안하였다. 제안한 알고리즘은 salt & pepper 잡음(
P
= 60%)의 고밀도 잡음에 훼손된 Goldhill 영상은 30.49[dB]의 높은 PSNR을 보이고 있고, 기존의 CWMF, SWMF, A-TMF에 비해 각각 17.74[dB], 11.52[dB], 13.76[dB] 개선되었다.
Ⅰ. 서 론
디지털 영상처리는 사무자동화, 의료산업, 위성사진, 공장자동화, 영상검지 또는 영상인식 시스템, 로봇 등 넓고 다양한 분야에서 활용되고 있다. 그러나 영상 데이터는 획득, 전송, 처리하는 과정에서 여러 외부 원인에 의해 잡음이 첨가되어 영상의 열화가 발생한다. 영상에 첨가되는 잡음은 발생되는 원인과 형태에 따라 다양한 종류가 있으며, 주로 AWGN (additive white Gaussian noise), salt & pepper 잡음이 대표적이다
[1]
.
Salt & pepper 잡음의 주요 원인으로는 채널 전송 에러 등이 있으며, 에지 검출이나 분할 등의 영상 처리 작업이 수행되기 전에 salt & pepper 잡음의 제거는 필수적이다
[2]
. 이러한 salt & pepper 잡음을 제거하기 위하여 많은 기법들이 제안되었고 대표적인 공간영역 기법에는 CWMF(center weighted median filter), SWMF(switching median filter), A-TMF(alpha-trimmed mean filter) 등이 있다. 그러나 이러한 필터들은 고밀도 잡음이 첨가된 경우 잡음 제거 특성이 저하된다
[3
,
4]
.
따라서 본 논문에서는 영상에 첨가되는 salt & pepper 잡음의 영향을 완화하기 위하여, 잡음판단을 통해 비잡음인 경우 원 화소로 대치하고, 잡음인 경우 잡음 밀도에 따라 Newton 보간법, 공간 가중치 및 메디안 필터로 처리하는 알고리즘을 제안하였다. 그리고 제안된 알고리즘의 잡음제거 성능의 우수성을 입증하기 위해, PSNR(peak signal to noise ratio)을 이용하였으며, 기존의 방법들과 그 성능을 비교하였다
[5
,
6]
.
Ⅱ. 제안한 알고리즘
본 논문에서는 영상에 첨가되는 salt & pepper 잡음의 영향을 완화하기 위하여 중심 화소에 대해 잡음 판단을 거친 후 비잡음인 경우, 원 화소 그대로를 출력하고 잡음인 경우, 5 × 5 국부 마스크 내의 잡음 밀도에 따라 처리하며 잡음 밀도가 50% 이하인 경우, Newton 보간 다항식, 50%~90%인 경우, 공간 가중치 필터
[5]
, 90% 이상인 경우, 메디안 필터
[6]
로 처리하고, 5 × 5 국부 마스크가 모두 잡음인 경우, 이미 처리된 인접 화소로 처리하는 알고리즘을 제안하였다.
- 2.1. Salt & pepper 잡음
Salt & pepper 잡음에 의하여 훼손된 영상에서
i
,
j
의 위치에 있는 화소
xi, j
는 식 (1)과 같다.
여기서
P
는 잡음 밀도를 나타내며,
S
은 salt & pepper 잡음에 훼손된 화소값을 나타내고,
I
는 원영상의 화소값을 나타낸다.
본 논문에서 salt & pepper 잡음을 제거하는데 salt & pepper 잡음 신호의 화소값은
x
min
과
x
max
를 가진다.
- 2.2. Newton 보간법
Newton 보간법은 미정 계수법의 단점인 긴 계산 과정과 오차를 줄이기 위하여 고안된 다항식에 의한 보간법으로 (
n
-1)차 다항식은 식 (2)와 같다.
선형 또는 2차 보간법과 마찬가지로 데이터 점은 계수
b
1
,
b
2
, ᠁ ,
b
n
을 계산하는데 사용된다.
(
n
-1)차 다항식에서는
n
개의 데이터 점들 [
x
1
,
f
(
x
1
)], [
x
2
,
f
(
x
2
)], ᠁ , [
x
n
,
f
(
x
n
)]이 필요하게 된다. 계수는 식 (3)과 같이 구할 수 있다.
여기서, [ ]로 표시된 함수는 유한제차분을 나타내며 1차 유한제차분은 식 (4)와 같다.
이와 같이 계산된 계수값들을 (
n
-1)차 다항식에 대입하면 Newton 보간 다항식을 식 (5)와 같이 구할 수 있다.
- 2.3. 잡음판단
Salt & pepper 잡음을 제거하기 위하여 중심화소의 잡음 판단은 식 (6)과 같다.
식 (6)에서 0과 1은 각각 잡음 신호와 비잡음 신호를 나타낸다.
- 2.4. 잡음제거
잡음판단을 통해 중심화소가 비잡음 신호로 판단된 경우, 식 (7)과 같이 원 화소로 대치한다.
잡음판단을 통해 중심화소가 잡음 신호로 판단된 경우, 5 × 5 국부 마스크를 식 (8)과 같이 설정한다.
여기서,
p
,
q
는 마스크 인덱스이다.
5 × 5 국부 마스크의 잡음 밀도
ɸ
를 계산하고, 잡음 밀도
ɸ
에 따라 임계치 ,
t
1
,
t
2
를 사용하여 처리한다. 여기서,
t
1
,
t
2
는 각각 0.5, 0.9이다.
- 2.4.1.ɸ˂t1인 경우
5 × 5 국부 마스크의 잡음 밀도가 50% 이하인 경우, Newton 보간법으로 처리하며 다음과 같다.
Step 1. 중심화소
C
를 중심으로 수직, 수평 방향, 좌우 대각선 방향을 식 (9)와 같이 정의한다.
Step 2. Salt & pepper 잡음의 수가 적은 순서로 정렬하여 두 방향
을 식 (10)과 같이 처리한다.
Step 3. 5 × 5 국부 마스크
M
의 메디안 값을
의 잡음 요소에 대입한다.
Step 4. Newton 보간법을 적용하며 식 (11)과 같다.
여기서,
l
= 1 : 2이고,
r
은 보간하고자 하는 독립변수로 3이며,
k
는 방향 벡터의 인덱스로 [1, 2, 4, 5]이다.
Step 5. Newton 보간법을 적용하며 최종 출력은 식 (12)와 같이 구한다.
- 2.4.2.t1˂ɸ˂t2인 경우
5 × 5국부 마스크의 잡음 밀도가 50%~90%인 경우, 공간 가중치를 적용하며 다음과 같다.
Step 1. 공간 가중치
W
p
,
q
는 식 (13)과 같이 설정한다.
여기서,
t
는 가중치의 크기를 결정하는 중요한 파라미터이다.
공간 가중치는 중심 화소와 주위 화소의 공간적 거리에 따라 각각 다르게 적용된다. 즉, 공간적으로 중심 화소와 인접한 화소에 대해서는 큰 가중치를 적용하고, 중심화소와의 공간 거리가 증가됨에 따라 가중치를 감소시킴으로써 처리된 영상에 에지 특성을 향상시킨다.
Step 2. 잡음화소 검출에 의해 5 × 5 국부 마스크를 2 진화 형태로 나타낼 경우, 식 (14)와 같이 표현된다.
Step 3. 공간 가중치를 적용한 최종 출력은 식 (15)와 같이 구한다.
- 2.4.3.ɸ˃t2인 경우
5 × 5 국부 마스크의 잡음 밀도가 90% 이상인 경우, 메디안 필터로 처리하며 다음과 같다.
Step 1. 5 × 5 국부 마스크 내의 비잡음 요소의 집합을
Ω
, 그 요소수를
d
로 정의한다.
Step 2.
d
가 홀수인 경우, 비잡음 신호들을 오름차순으로 정렬한 후 최종 출력은 식 (16)과 같다.
k
가 짝수인 경우, 비잡음 신호들을 오름차순으로 정렬한 후 최종 출력은 식 (17)과 같이 구한다.
- 2.4.4.ɸ= 1
5 × 5 국부 마스크의 모든 화소가 잡음이므로 이미 처리된 최종 출력을 이용하여 구하며 식 (18)과 같다.
Ⅲ. 시뮬레이션 및 결과
본 논문에서는 512⨉512 크기의 8비트 그레이 영상인 Goldhill에 대해 salt & pepper 잡음을 첨가하여 시뮬레이션하였으며, 또한 영상의 개선 정도를 평가하기 위하여 PSNR을 사용하여 기존의 CWMF, SWMF, A-TMF로 성능을 비교하였다. PSNR은 식 (19), (20)과 같이 표현된다.
여기서,
I
i
,
j
는 원 영상을 나타내고
O
i
,
j
는 출력 영상이며
R
,
C
는 영상의 가로, 세로 크기를 나타낸다.
그림 1
에서 (a)는 원 영상이고, (b)는 salt & pepper 잡음(
P
= 60%)에 훼손된 영상이다. 훼손된 영상으로부터 제안한 알고리즘의 우수한 잡음 제거 특성을 입증하기 위해, 기존의 방법들과 제안한 방법을 시뮬레이션하였다.
그림 2
에서 기존의 방법과 제안한 필터 알고리즘(PFA: proposed filter algorithm)으로 처리한 결과를 나타내었고, 제안한 알고리즘의 잡음제거 특성을 확인하기 위해, Goldhill 영상에 (250, 150) 화소를 중심으로 상하좌우 각각 50화소 영역 확대하여 나타내었다.
Goldhill 영상 (a) 원 영상 (b) 잡음 영상 Fig. 1 Goldhill image (a) Original image (b) Noise image
Goldhill 영상에 대한 시물레이션 결과 (a) CWMF (b) SWMF (c) A-TMF (d) PFA Fig. 2 Simulation result of Goldhill image (a) CWMF (b) SWMF (c) A-TMF (d) PFA
그림 2
에서 (a)는 CWMF(5 × 5), (b)는 SWMF(5 × 5), (c)는 A-TMF(5 × 5), (f)는 제안한 필터 알고리즘으로 처리한 결과이다.
시뮬레이션 결과로부터, CWMF, SWMF 및 A-TMF는 고밀도 잡음 환경에서 다소 미흡한 잡음제거 특성을 나타내고 있으며, 제안한 알고리즘은 고밀도 잡음 환경 에서 우수한 잡음 제거 특성을 나타내고 있다.
그림 3
은 각각의 필터들에 의해 복원된 Goldhill 영상에 대한 PSNR을 비교한 것이며, 수치를
표1
에 나타내었다.
Goldhill 영상의 PSNR 그래프 Fig. 3 PSNR graph for Goldhill image
Goldhill 영상의 각 PSNR[dB] 비교Table. 1 Each PSNR[dB] comparison for Goldhill image
Goldhill 영상의 각 PSNR[dB] 비교 Table. 1 Each PSNR[dB] comparison for Goldhill image
여기서, 기존의 방법들은 잡음밀도가 적은 경우 잡음 제거 특성이 우수하였으며 잡음 밀도가 40% 이상으로 높아짐에 따라 잡음제거 특성이 급격히 미흡해지는 특성을 나타내었다.
그리고 제안한 알고리즘은 잡음 밀도에 따라 Newton 보간법, 공간 가중치, 메디안 필터를 이용하여 잡음 밀도가 낮은 영역 및 높은 영역에서도 우수한 PSNR을 나타내었다.
Ⅳ. 결론 및 향후 연구 과제
본 논문에서는 영상에 첨가되는 salt & pepper 잡음의 영향을 완화하기 위하여 잡음 판단을 거친 후, 비잡음인 경우 원 화소로 대치하고, 잡음인 경우 잡음 밀도에 따라 Newton 보간법, 공간 가중치, 메디안 필터로 처리하는 알고리즘을 제안하였다.
시뮬레이션 결과, 제안한 알고리즘은 salt & pepper 잡음(
P
= 60%)의 고밀도 잡음에 훼손된 Goldhill 영상에서 30.49[dB]의 높은 PSNR을 나타내었으며 기존의 CWMF, SWMF, A-TMF에 비해 각각 17.74[dB], 11.52[dB], 13.76[dB] 개선되었다. 그리고 salt & pepper 잡음 밀도 변화에 따른 잡음 제거 특성이 기존의 방법들보다 우수한 PSNR 결과를 나타내었다.
향후 제안한 알고리즘을 개선하여 우수한 성능을 얻을 수 있는 알고리즘에 관한 연구를 진행할 예정이다.
Acknowledgements
This work was supported by the Brain Busan 21 Project in 2015.
BIO
권세익(Se-Ik Kwon)
2014년 8월 부경대학교 공과대학 제어계측공학과 졸업
2014년 9월∼현재 부경대학교 대학원 제어계측공학과 석사과정
※관심분야 : 영상처리
김남호(Nam-Ho Kim)
제11권 제1호 참조
1992년 3월∼현재 부경대학교 공과대학 제어계측공학과 교수
※관심분야 : 영상처리, 통신시스템, 적응필터와 웨이브렛을 이용한 잡음제거 및 신호복원
Gonzalez R. C.
,
woods R.E.
2007
Digital Image Processing
Prentice Hall
Kwon Se-Ik
,
Kim Nam-Ho
2015
"A Study on Modified Spatial Weighted Filter in Mixed Noise Environments,"
JICCE
19
(1)
Öten Remzi
,
De Figueiredo Rlui J P
2004
"Adaptive Alpha-Trimmed Mean Filters Under Deviations From Assumed Noise Model"
IEEE Trans, Image Processing
13
(5)
627 -
639
DOI : 10.1109/TIP.2003.821115
Long Xu
,
Kim Nam-Ho
2013
"An Improved Weighted Filter for AWGN Removal"
JKIICE
17
(5)
1227 -
1232
Hong Sang-Woou
,
Kim Nam-Ho
2015
"A Study on Median Filter using Directional Mask in Salt & Pepper Noise Environments"
JKIICE
19
(1)
203 -
236