본 논문은 효과적인 열화영상의 복원을 위해 쿼드트리 구조를 갖는 다중-스케일 블록 지역적 이진 패턴 기반의 영역검출기를 제시하고, 이를 통한 구간적 잡음 제거 기법을 제안한다. 구간적 잡음 제거 기법은 영상 내 전체 화소를 일정한 블록 단위의 영역으로 나누어 화소의 변화량에 따라 검출을 수행하는 다중-스케일 블록 영역 검출기를 쿼드트리 형태로 제시하고 검출된 영역 특성에 맞게 영상분석을 진행한다. 처리되는 영역들은 강한 변화량을 갖는 영역, 약한 변화량을 갖는 영역, 평탄한 영역의 세 가지로 분류되며 차례로 주성분분석, 양방향 필터, 구조-텍스쳐 영상 분해의 기법들이 잡음제거를 위해 적용된다. 객관적 실험결과를 통하여 기존 알고리즘들 보다 제안하는 구간적 잡음 제거 기법이 최대 신호-대-잡음비 측면에서 이득을 가지며, 주관적 화질 비교를 통해 세부정보들이 최대한 보존되어 있음과 동시에 평탄한 영역에 대해서도 왜곡이 거의 없는 향상된 복원영상이 얻어지는 것을 확인할 수 있었다. 잡음제거 기법은 왜곡된 열화영상으로부터 원 신호를 복원하여 해당화질을 향상 시키는 것에 중점을 두고 진행한다. 다양한 잡음제거 기술들의 성능 판단 기준은 잡음이 얼마나 효율적으로 제거되면서, 세부특성이 보존되었는지에 따른다. 효과적인 잡음제거를 위해서는 잡음특성이 우선적으로 고려되어야하는데, 다중해상도 (Multiresolution) 잡음 제거 기법은 잡음 성분들의 특성을 고려하여 열화영상을 복원하는 방안의 하나로, 웨이블릿 변환을 통해 비교적 간단하게 수행가능하다 [1] . 변환을 통해 분해된 부대역 단에서 분석이 이루어지며 고주파, 저주파 성분에 따라 처리기법을 다양하게 적용시킬 수 있어 손실되는 원 영상의 정보량을 최소화할 수 있다. 허나 해상도가 높아짐에 따라 다중해상도 기법 이상으로 영상을 세분화해서 분석할 수 있는 방안이 요구되고 있다. 대부분의 동영상 압축 표준에서는 영상 내 공간적 유사도를 최대한 활용하기 위해 일정 크기의 블록을 이용한 처리가 진행되며, 고해상도 화질을 갖는 영상의 압축을 위해서는 가변적인 블록 크기를 지원하기도 한다 [2] . 열화영상을 압축표준에서 시행되는 것처럼 일정한 블록으로 나누어 본다면 고주파 특성을 띄는 블록뿐만 아니라 평탄한 블록들도 존재할 것이다. 일정 영역들이 갖는 특성에 맞게 영상분석을 진행한다면, 단순히 4 개의 부대역으로 나누었을 때와 비교하여도 높은 효율을 얻을 수 있을 것이다. 기존의 지역적, 공간적 특성에 따라 잡음제거를 수행하는 알고리즘들 [3 , 4] 은 영상 내 일정 범위를 정하고 그 안에서 상관도가 큰 블록들을 축적하여 가중치를 각기 다르게 얻어낸 뒤 동일한 방식으로 처리하는 형태를 갖는다. 패치를 모아 가중치를 얻어내는 방법은 화소 간 상관도에 따른 이 점을 극대화 할 수 있지만, 유사한 블록을 찾고 변환하는 과정에서 복잡도가 증가된다. 또한 처리되는 알고리즘이 동일하기 때문에 해당 기법이 반복되는 패턴에서의 잡음에 강하다면, 평탄한 영역들에 대해서는 원치 않는 왜곡이 발생될 수 있으므로 이러한 문제점들을 최소화 하기위한 새로운 방법의 접근법이 필요하다. 이를 위해 본 연구에서는 영상의 세부 영역별 분석이 선행되며, 해당 블록의 특성에 맞는 알고리즘이 수행되는 구간적 (Piecewise) 잡음 제거 기법을 제안하고자 한다. 또한 잡음 추정치가 정확하지 않은 경우 발생될 수 있는 over-smoothing 왜곡의 최소화를 위해 정확한 잡음 추정방법 또한 제안하고자 한다. BayesShrink 는 웨이블릿 임계값 추정과정 중 하나로 가우시안 특성을 가지는 웨이블릿 계수들의 분포를 Bayesian 방식에 입각하여, 해당 임계값을 결정하게 된다 [5] . 열화영상에서의 잡음과 원 신호를 서로 독립적으로 가정하면 분산으로 표현된 임의의 관측모형은 σ ² _Y = σ ² _X + σ ² 과 같고, 이때 σ ² _Y 는 열화 된 영상신호의 분산 값, σ ² _X 는 원신호의 분산 값, 그리고 σ ² 는 잡음신호의 분산 값으로 대입시킬 수 있다. 위 관측모형의 임계 값 추정을 위한 분산 값 σ ² 의 계산은 웨이블릿 변환 과정을 통해 얻어진 HH 부대역에 robust median estimator 를 적용하여 구한다 [6] . Median (| Y_ij |)는 절대 평균 편차 (Mean Absolute Deviation, MAD) 로 영역 내 웨이블릿 계수 절대치의 중간 값으로 계산되며 Y_ij 가 zero-mean 이라면, σ ² _Y 는 식 (2)와 같이 얻어지는데, A_ij 는 n × n 의 크기를 가지는 3 개의 디테일 부대역들로 영역 성분에 따라 적응적인 임계화 처리가 가능하도록 한다. 위와 같은 과정으로 계산한 σ ² _Y 를 관측모형에 대입하여 식 (3) 과 같이 원신호의 표준편차 값인 σ_X 를 추정한다. 각 고주파 부대역에 따라 3 개의 임계값이 결정되며, 위와 같은 과정으로 도출된 임계 값은 소프트 임계화 기법으로 처리된다. Smoothing 필터에 속하는 Gaussian 필터를 개선시켜 에지성분이 보존되는 특징을 갖는 잡음제거 필터 중 하나이다 [7] . 일정 블록 내 잡음을 제거하고자 하는 화소의 주변 값들에 의한 가중 합을 이용하며, 가중치는 화소간의 거리와 값에 따라 결정된다. 복원되는 화소를 x 로, 영역 내 화소 y 로, 이웃화소 영역을 N ( x )로 가정했을 때 Bilateral 필터의 수식은 아래를 따른다: 화소간 거리에 따른 가중치의 조정은 매개변수 σ_d 를 통하며, 해당 화소 값 차이에 따른 가중치의 조정은 σ_r 로관여하게 되는데, 잡음제거 알고리즘으로 사용되는 경우 추정된 잡음 표준편차 값을 σ_r 로 이용하기도 한다. C 는 정규화 상수를 의미한다. PCA 는 일정량의 분포를 가지는 데이터 내, 분산이 가장 큰 방향벡터인 주성분을 찾는 것으로 잡음제거를 위해서는 복원하고자 하는 화소 주변영역을 설정하여 기준화소가 위치한 블록과의 차이가 적은 블록을 축적하여 행렬을 생성하는 LPG 방식을 취한다 [8] . 획득한 열화영상 데이터 집합 X 에서 하나의 행은 찾아진 블록의 샘플벡터이며, 해당 벡터의 평균값 μ 를 제하여 행렬 를 얻는다. 의 공분산 행렬 Ω 는 식 (7) 을 통해 구해지며, 고유 값 분해를 진행하여 정규직교한 고유벡터 행렬 Փ , 고유값을 대각원소로 가지는 대각행렬 Λ 를 얻는다. 이 때의 고유벡터는 주성분 벡터 P 로 사용되며, P 를 곱하는 것으로 PCA 변환된 를 출력한다. 잡음제거는 LinearMinimum Mean Square-error Estimation 을 이용하여 가중치를 구하는 형태로 위너필터의 계산방식과 유사하게 계산된다 [9] . 원 영상과 잡음 간 상관관계가 없어 독립적이며, 잡음 평균이 0 인 정규분포 특성을 가진다면, 수식 (10) 과 같이 의 분산 값에서 잡음의 분산 값을 제하여 잡음이없는 행렬의 분산을 추정할 수 있다. 이를 통해 위너필터와 동일한 방식으로 가중치 ω 를 얻어내며, 해당 가중치를 주성분분석 변환을 통해 얻어낸 행렬에 곱하고 다시 역변환을 진행하는 것으로 잡음이 제거된 영상 데이터 집합 을 획득한다. 역변환 시 주성분벡터는 정규직교 성질을 갖는 고유벡터를 사용하므로 해당 역행렬을 전치행렬로 대신하여 계산한다. 영상 내 텍스쳐 (Texture) 분류를 위해 개발된 MB-LBP (Multi-scale Block LBP) 는 얼굴 검출 혹은 인식 등의 다양한 분야에서 사용되고 있다 [10] . 전체영상에 대해 수행되며 9×9 블록 내 3×3 블록마다 화소 값 평균을 저장하고, 중앙블록을 기준으로 이웃하는 평균값들 간의 밝기 차를 통해 이진 패턴을 얻어내는 형태이다. 그림 1 을 통해 예를 들어보면 중앙 블록의 평균값인 4 를 기준으로 큰 평균값을 가지면 1, 나머지는 0 을 출력하여 비트로 표현하고 이를 시계방향으로 읽어드려 01101001 의 이진패턴을 획득하게 된다. MB-LBP 는 비교적 큰 텍스쳐 정보도 획득 가능하며 영상의 밝기 변화에 좀 더 무관하게 추출할 수 있어, 반복되는 패턴이 넓은 범위에 존재하는 경우라면 물체를 검출하는 관점에서도 적합한 성능을 갖는다. 영상은 강한 에지 정보를 갖는 구조 (Structure) 와 반복되는 패턴이나 작은 화소 변화를 갖는 텍스쳐 (Texture) 로 구성되어 있으며, 각각은 해당 특성에 따라 영상 분해를 통한 구조 추출 방식 (Structure-Texture Image Decomposition) 을 통해 분리하는 것이 가능하다. RTV (Relative Total Variation) 를 이용한 구조 추출 알고리즘의 경우, 영상의 텍스쳐와 구조부분 특성에 따라 나타나는 화소 변화량 차이를 영상분해 시 가중치로 사용한다 [11] . 변화량의 측정은 일정 윈도우내 화소 값으로부터 계산되며, 식 (13) 에서 보이듯 영역 내 모든 변동을 축적하는 총 변동 (Total Variation, TV) 과 영역 내 고유 변동 (Inherent Variation, IV) 의 두 가지가 사용된다. 여기서 q 는 윈도우 W ( p )내 화소, p 는 해당 영역의 중심화소를 의미하여 ∂_xS 는 x 축 방향으로의 변화율을나타내고, ω_p,q 는 가중치 함수로 화소간의 거리에 따라 조정된다. y 축에 대한 형태도 동일하게 진행되므로 본 논문에서는 x 에 대한 부분만 기재하였다. 최종적으로 간략화 된 가중치는 원본영상에 위와 같이 적용된다. v_S 와 v_I 는 입력 영상 I , 결과 영상에 S 대한 벡터 표현으로 해당과정을 반복 수행할 경우 v_I 의 자리에 이전 v_S 결과 값을 넣어 연산한다. λ 는 스무딩 정도를 조정하는 매개변수, ℒ는 앞서 최적화한 가중치의 행렬 연산 표기로 C_x 와 C_y 는 Toeplitz 행렬 형태로 정의된 각 방향에 대한 영상의 기울기 (gradient operators) 를 의미한다. 지금까지 기술한 수식들을 통해 얻어진 구조영상은 벽의 질감이나 모자이크 균열같이 변동이 적거나 반복되는 패턴이 거의 완벽하게 제거되어 나타난다. 본 연구에서는 영상 내 영역특성을 고려하지 않는 기존 알고리즘으로 인해 발생할 수 있는 왜곡현상을 최소화 하고자, 원 영상을 일정크기의 구역으로 나누어 영역검출을 수행하는 쿼드트리 구조 검출기를 제안하고, 영역별 특성에 맞게 알고리즘이 적용되는 구간적 잡음제거 기법을 제시한다. 제안하는 알고리즘에서 얻고자 하는 영역특성 정보는 해당 블록 내 화소변화량에 관한 것으로 정확한 이진패턴정보 보다는 이진화 과정에서 얻어지는 출력 값을 필요로 한다. 중심블록의 평균값을 기준으로 이웃블록의 출력이 0, 1 로 계속 변동되어 나온다면 해당 블록은 화소 변화가 다양한 것으로 가정할 수 있다. 허나 기존 MB-LBP 으로는 차이의 정도를 알기에 어려움이 있으므로, 변화량 획득에 유리하도록 임의의 문턱값을 지정하여 기준 값과 이웃블록 간의 절대치가 문턱값보다 큰 경우 1 을 출력하고 작은 경우 0 을 출력하여 이진화를 수행한다. 출력된 결과는 영역 내 1 이 나온 횟수를 RDB 블록에 저장하는 데 사용되며, 그 값이 작을 수 록 평탄한 블록임을 알 수 있다. 이를 수식으로 표현하면 다음과 같다. 제안하는 블록의 크기는 영상압축 시 주로 사용되는 형태를 따라 실험을 진행하였으며 앞서 언급된 조건에 따라 설계된 검출기는 그림 2 의 형태를 띄며, 각각의 크기에 따라 검출된 블록정보를 시각적으로 출력해보면 그림 3 과 같은 결과를 얻는다. 검출결과에서 어두울수록 저주파 성분을 갖는 영역임을 의미하며, 검출기의 크기에 따라 영역의 구분이 확연히 달라지는 것을 확인할 수 있다. 정확도와 처리속도 면에서 상호보완적인 관계를 가지기 때문에 이득의 최대화를 위해 쿼드트리 형태를 적용하여, 상위크기의 검출기를 우선적으로 수행하고 검출블록의 값이 0 이 아닌 영역에 대해서만 추가적인 검출을 진행한다. 그림 4 의 (c) 는 실험영상의 크기에 맞게 2 단계의 검출기만 적용시킨 것으로 앞선 결과들보다 높은 정확도를 가지며 좋은 검출 효율을 나타낸다. 제안하는 알고리즘의 흐름도는 그림 5 를 따르며, 영상 특성 파악이 용이 하도록 고주파신호의 잡음을 제거하기 위하여 BayesShrink 기법이 원 영상의 정보손실 최소화를 위해 하드 임계화로 변경하여 처리된다. 또한 기존 robust median estimator 을 통해 추정된 값이 잡음생성 시 사용되는 표준편차 값보다 크게 예측되는 결과가 관측되어, 아래와 같이 매개변수를 추가함으로서 해결하고자 한다 [15] . 웨이블릿 임계화를 거친 열화영상은 LPGPCA [8] 진행을 위한 데이터 집합생성에 활용되며, 원 신호의 보존을 위해 집합 X 로 구해지는 가중치를 원 영상에 적용시키기는 것으로 변경하여 진행한다. 입력영상 X_I 에 대해서도 PCA 를 진행하여 주성분벡터 P_I , 변환된 결과 를 얻으며, ω 는 임계화 처리된 영상 X 에 대한 PCA 변환 결과를 의미한다. 개선된 잡음제거 과정은 에 가중치를 곱하고 입력영상의 PCA 변환 과정에서 얻어지는 고유벡터와 평균치를 이용해 다시 복원하는 것으로 일차적으로 영상전체에 대해 잡음이 제거된 결과를 얻는다. 이제까지 얻어진 영상을 이용하여 앞 절에서 설명한 영역검출 과정이 진행되며, 0 부터 최대 12 의 값을 가지는 RDB 를 통해 영역특성을 분류할 수 있다. 영역은 실험을 통해 중간 값인 6 을 기준으로 RDB 값이 7 이상일 때 강한 변화량을 갖는 영역, 1 부터 6 일 때 약한 변화량을 갖는 영역, 0 일 때 평탄한 영역으로 지정하며 각 영역별 검출결과의 일부는 그림 6 과 같이 나타난다. 위 세 영역에 대한 잡음제거 과정은 다음의 알고리즘을 따르며, ω 값은 일종의 가중치로 Blocking artifact 을 방지하기 위해 사용되었으며 잡음의 정도가 심할 수 록 1 에 가까운 값을 선택하여야 잡음제거의 효과를 얻을 수 있다. 4 장에서 제안한 부분들에 따른 출력결과의 변화를 관찰 하기위해 실험을 진행하였으며 객관적 분석 자료로는 PSNR 값을 제시하고, 시각적인 판단 자료로 잡음제거 알고리즘들을 통해 복원된 영상을 나열한다. 실험에 이용된 잡음은 Additive White Gaussian Noise (AWGN) 로 가정하고, 모든 잡음제거 과정의 구현은 Matlab R2013a 으로 진행하였다. 기존 알고리즘에 따른 매개변수 설정은 논문에 기재된 최적화 수치를 대부분 사용하였으며 다음의 표 1 을 따른다. 양방향 필터의 σ_n 은 잡음의 표준편차를 의미하며, 제안된 알고리즘에서는 LPGPCA 를 통한 잡음제거 후 남아 있는 잡음 정도를 다시 추정하여 구한다 [8] . T_MBRD 와 ω 값은 추정된 잡음의 정도 에 따라 결정되며, MBRD 는 512 × 512의 영상크기에 맞춰 16 × 16에서 분할을 시작하도록 설정하였다. 표 2 의 결과를 바탕으로 PSNR 의 평균치를 비교해보면 기반으로 사용된 알고리즘들 보다 작게는 +0.76dB 에서 최대 +2.35dB 만큼의 상승이 있음을 알 수 있으며, 이득의 평균치가 가장 큰 영상의 경우 기존 알고리즘들 대비 약 +1.5dB 의 증가를 보인다. 그림 7 부터 8 까지의 결과영상들은 표 2 에서 σ_n 이 20 일 때에 해당되는 복원영상들로 객관적 수치에 따른 주관적 화질 비교를 위해 삽입되었다. 대체적으로 평탄한 영역에 대해 왜곡 없이 복원이 수행되며, 세부정보들이 최대한 보존되어 주관적 화질이 향상됨을 확인가능하다. 또한 영역별로 처리됨에도 ω 값 덕분에 blocking artifact 가 발생되지 않음을 볼 수 있다. PSNR 수치가 가장 높은 BM3D 알고리즘의 경우 제한하는 기법대비 +0.5dB 의 상승치를 가지지만 그림 8 의 주관적 화질비교 영상을 살펴보면, 상대적으로 적은 변화량을 갖는 하늘 등의 영역에서 복원 시 구름의 형태가 부자연스럽거나 화소 값이 변경되어 나타나는 왜곡현상이 관측된다. 제안된 기법에서는 이러한 부분들이 개선된 결과가 얻어졌으며 영역별 처리를 통해 (c), (d) 영상의 좌측하단 지붕패턴의 세부정보도 보다 양호하게 보존되었다. 그림 9 는 실제 잡음 영상에 대한 처리결과로 야간 촬영 시 저조도 환경으로 인해 영상전체에 발생된 잡음 대부분이 제거되어 화질이 향상된 것을 확인할 수 있다. 각 칼라채널마다 동일하게 실험을 수행한 것으로 채널별 최적화된 설정을 지정하거나 매개변수를 수정한다면 보다 높은 잡음 제거 효율 및 주관적 화질 향상을 기대할 수 있을 것으로 예상된다. 본 논문에서는 기존 잡음제거 알고리즘의 성능개선을 통해, 향상된 복원영상을 얻을 수 있는 효율적인 잡음제거 수행에 중점을 두고 두 가지를 제시하였다. 첫째로, 영상 내 지역적 특성을 고려하지 않아 발생되는 왜곡을 최소화하기 위해 영역검출기 MBRD 를 제안하여 해당 검출결과를 보임으로 그 효율성을 증명하였으며, 둘째로, 영역특성에 맞는 처리기법을 채택한 구간적 잡음제거 알고리즘의 제안을 통해 각각의 기법들이 개별로 사용된 것보다 융합하여 사용하였을 때 얼마만큼의 이득이 발생되는 지 분석해보았다. 이러한 결과로 볼 때 제안된 기법은 구간적 처리의 특성을 향상시키는 알고리즘의 결합들로 보다 개선될 수 있으며, Multigrid 형태의 검출블록을 사용한다면 영역특성에 맞게 검출되는 정확도가 증가함에 따른 이득을 얻을 수 있을 것이다. 이 지 현 - 2013년 8월 : 세종대학교 정보통신공학과 학사 - 2015년 8월 : 한양대학교 전자컴퓨터통신공학과 석사 - ORCID : http://orcid.org/0000-0002-2102-7531 - 주관심분야 : 영상처리, 영상압축 정 제 창 - 1980년 2월 : 서울대학교 전자공학과 졸업 - 1982년 2월 : KAIST 전기전자공학과 석사 - 1990년 : 미국 미시간대학 전기공학과 공학박사 - 1980년 ~ 1986년 : KBS 기술연구소 연구원 (디지털 및 뉴미디어 연구) - 1990년 ~ 1991년 : 미국 미시간대학 전기공학과 연구교수 (영상 및 신호처리 연구) - 1991년 ~ 1995년 : 삼성전자 멀티미디어 연구소 (MPEG, HDTV, 멀티미디어 연구) - 1995년 ~ 현재 : 한양대학교 전자컴퓨터통신공학과 교수 (영상통신 및 신호처리 연구실) - 1998년 11월 : 과학기술자상 수상 - 1990년 12월 : 정보통신부장관상 수상 - 2007년 : IEEE Chester Sall Award 수상 - 2008년 : ETRI Journal Paper Award 수상 - 2011년 5월 : 제46회 발명의 날 녹조근정훈장 수훈 - ORCID : http://orcid.org/0000-0002-3759-3116 - 주관심분야 : 영상처리, 영상압축, 3DTV