기존 히스토그램 평활화 방법을 사용하여 영상의 명암대비를 증가시킬 경우 과도한 밝기 변화로 인한 과포화 현상(overenhancement), 계조현상(false contouring) 및 영상의 세부 정보가 없어지는 등의 왜곡이 발생한다. 특히 밝기 분포가 특정한 밝기 레벨에 밀집되어 있는 경우 이러한 왜곡이 두드러지게 나타나게 된다. 이러한 문제를 해결하기 위하여 임계치를 이용한 히스토그램 클리핑을 통해 입력 히스토그램을 변형하는 개선된 평활화 방법들이 제시되었지만, 입력영상의 히스토그램 특성을 고려하지 않고 전체 히스토그램에 대해 동일한 임계치를 적용하기 때문에 명암대비 향상효과가 감소하고, 입력 영상의 특성을 유지하지 못해 부자연스러운 영상이 얻어지기도 한다. 본 논문에서는 기존 방식에서 발생하는 문제를 해결하기 위하여 입력영상의 히스토그램의 빈도수에 따른 차별적 압축방법을 적용하여 과도한 밝기 변화가 발생하는 문제를 억제하면서도 입력영상의 특성을 유지하는 새로운 평활화 방식을 제안한다. 또한 입력영상의 특성에 따라 압축률의 강도를 제어하여 보다 효과적으로 명암대비 향상을 수행하는 방법을 제시한다. 영상의 명암대비 개선은 디지털 영상처리 분야에서 매우 중요한 분야 중 하나이다. 영상의 명암대비는 입력 영상의 화소를 더 좋아보이게 하는 화소로 바꿈으로써 개선시킬 수 있다. 이러한 명암대비 개선 기술은 가전제품, 의료 영상처리 등 다양한 영상처리 응용분야에서 사용된다. 영상의 명암대비를 향상시키는 대표적인 방법으로 히스토그램 평활화(Histogram Equalization) 방법이 있다. 그러나 일반적인 히스토그램 평활화 방법은 입력영상의 히스토그램이 특정 밝기값에 집중적으로 분포하는 경우 과포화 현상과 계조현상이 발생하고, 발생 빈도수가 적은 히스토그램에 해당하는 밝기값은 명암대비 향상처리가 수행되지 않거나 해당 밝기값이 없어지게 되어 작은 영상영역의 세부정보가 손실되는 현상이 나타난다. 따라서 이러한 문제점을 해결하기 위하여 히스토그램 평활화의 변형된 방법에 대해 다양한 연구가 이루어지고 있다. 과포화 현상에 의한 영상의 과도한 밝기 변화를 방지하기 위한 대표적인 방법으로 입력영상의 히스토그램을 클리핑(clipping)하여 특정 밝기값에 집중되어 있는 히스토그램을 분산하여 과도한 밝기변화를 제한하는 방법들 [1] - [8] 이 제안되었다. CLAHE(Contrast-Limited Adaptive Histo- gram Equalization) [1] 는 분할된 영상영역에 대해 히스토그램을 클리핑하여 특정 밝기값에 집중되어 있는 히스토그램을 분산하여 과도한 밝기변화를 막는 평활화 방법을 수행하였다. SAPHE(Self-Adaptive Plateau Histogram Equalization) [2] 과 MSAPHE(Modified SAPHE) [3] 는 클리핑 임계치(clipping threshold)를 입력 히스토그램의 국소 최대값(local maxima)들의 median으로 선택하고 임계치를 넘는 히스토그램을 클리핑 처리하여 히스토그램을 변형하고, 변형된 히스토그램을 이용하여 평활화를 수행하였다. BUBOHE(Histogram Equalization with Bin Underflow and Bin Overflow) [4] 의 경우는 사용자 제어변수에 의해 상한과 하한에 대한 임계치를 정의하고 임계치를 벗어난 히스토그램을 제거한 후 변형된 히스토그램을 이용하여 히스토그램 평활화를 수행하였다. WTHE(Weighted and Thresholded Histogram Equalization) [5] 의 경우는 BUBOHE와 같이 상한과 하한에 대한 임계치를 벗어난 히스토그램을 제거하고, 임계치 사이에 있는 히스토그램에 대해서는 정규화된 지수법칙 함수(normalized power law function)을 사용하여 히스토그램을 변형한 후 평활화를 수행하였다. GC-CHE(Gain-Controllable Clipped Histogram Equalization) [6] 은 클리핑 처리에 의해 제거된 히스토그램을 global gain에 따라 전체 밝기 영역에 재분배하고, local gain에 따라 밝은 영역과 어두운 영역에 추가적으로 재분배하여 변형된 히스토그램을 만드는 방식을 제시했다. BHEPL(Bi-Histogram Equalization with a Plateau Limit) [7] 은 입력영상의 평균 밝기값을 유지하기 위하여 입력 영상의 평균값을 기준으로 2개의 밝기영역으로 히스토그램을 분할 한 후 각각의 영역에 대해 독립적으로 클리핑처리에 의한 히스토그램 평활화를 수행한다. QDHE (Quadrants Dynamic Histogram Equalization) [8] 은 입력영상의 밝기에 대한 빈도수를 기준으로 입력 히스토그램을 4등분하고, 각각의 히스토그램 영역에 포함된 화소수를 기준으로 각 영역의 출력 밝기값 범위를 결정한 후 각각의 영역에 대해 독립적으로 클리핑 처리된 히스토그램을 사용하여 평활화를 수행한다. 또한 HE 처리에 따른 over-enhancement 현상을 억제하고 지역적 명암대비(local contrast) 향상을 위해 입력 밝기레벨(gray-level)마다 sub-bin을 설정하고, 입력 화소와 주변화소에 특정한 matric을 사용하여 빈도수가 많은 밝기레벨의 히스토그램 성분을 sub-bin에 할당하는 Neighborhood Metric 방법들이 제안되었다 [9] - [11] . HENM (Histogram Equalization with Neighborhood Metric) [9] 은 voting metric을 사용하고, EHENM (Enhancement of Histogram Equalization with Neighborhood Metric) [9] 는 contrast difference metric을 사용한다. BHENM (Bi-Histogram Equalization with Neighborhood Metric) [11] 은 히스토그램을 입력영상의 평균 밝기값 (mean brightness)을 기준으로 2개의 영역으로 나누고, 각 영역에 대해 독립적으로 밝기레벨 당 2040개의 sub-bin을 할당하고 distinction metric을 사용하여 평활화하였다. 하지만 이 방법들은 추가적인 메모리와 주변 화소에 대한 metric 연산을 요구한다. 기존의 클리핑 기반의 히스토그램 평활화 방식들은 입력영상의 히스토그램이 과포화 현상과 계조현상의 발생을 억제하는 효과가 있지만, 히스토그램의 특성을 고려하지 않고 전체 히스토그램에 대해 동일한 임계치를 적용하기 때문에 명암대비 향상효과가 감소하고, 입력 영상의 특성을 유지하지 못해 자연스럽지 못한 영상이 얻어지기도 한다. 또한 과포화 현상을 막기 위해 빈도수를 제한하는 과정에서 과도한 제한으로 인해 명암대비 효과가 좋지 못하거나 연산량이 적지 않아 실시간 연산에 적합하지 않다는 단점이 존재한다. 따라서 본 논문에서는 히스토그램의 빈도수에 따라 히스토그램을 차등 압축하는 방법을 사용하여 과도한 명암대비 증가로 인한 과포화 현상을 억제하면서도 입력영상의 특성을 유지하는 차별적 압축 방법 기반의 히스토그램 평활화를 이용한 영상의 명암대비 향상 기법을 제시한다. 본 논문의 구성은 다음과 같다. 2장에서 기존의 히스토그램 평활화 알고리즘에 대해 언급을 하고, 3장에서는 제안하는 차별적 압축 방법 기반의 히스토그램 평활화 방법을 적용한 새로운 명암대비 개선 방법에 대해서 언급을 한다. 그리고 4장에서 제안한 방법에 대한 실험 및 결과분석을 하고 5장에서 결론을 맺는다. 히스토그램은 영상의 가장 어두운 영역부터 가장 밝은 영역의 범위를 나타내며 범위가 넓어지면 영상의 명암비가 증가하며 영상을 더욱 상세히 볼 수 있게 된다. 히스토그램 평활화(Histogram Equalization)는 영상의 누적 히스토그램 분포를 변환함수로 이용하여 밝기값을 재분배하는 방법으로, 빠르고 쉽게 구현이 가능하여 많이 활용되는 방법이다. 히스토그램 평활화는 입력 영상을 전체 영역으로 매핑하는 역할을 수행하며 원영상의 휘도값에 대한 매핑함수를 이용하여 새로운 출력 휘도값으로 매핑한다. 히스토그램 평활화 방법의 과정은 다음과 같이 진행된다. 첫 번째, 영상의 히스토그램을 구한다. 두 번째, 구해진 히스토그램을 영상의 전체 픽셀수로 나누어 정규화된 히스토그램인 확률밀도함수 PDF(Probability Distribution Function)을 구한다. 화소수가 N이고 밝기값의 범위가 [X0, XL-1]인 입력영상 X의 확률밀도함수는 식 (1)과 같다. 여기서 nk는 입력영상에서 gray level이 Xk인 전체 화소 수로 Xk에 대한 히스토그램이다. 다음 단계에서는 구해진 확률밀도함수를 이용하여 누적분포함수 CDF(Cumulative Distribution Function)를 구한다. 입력영상 X의 누적분포함수는 식 (2)와 같다. 식(2)에서 구한 누적분포함수를 이용하여 히스토그램 평활화에 사용되는 mapping 함수를 식(3)과 같이 구할 수 있다. 이와 같이 히스토그램 평활화는 특정 밝기 영역에 집중되어 있는 픽셀들의 밝기 값을 재조정하여 보다 넓게 분포하도록 함으로써 명암 대비를 향상시켜 화질을 개선시킨다. 하지만 히스토그램 평활화 적용 시에 밝기 분포가 한곳에 집중되어 있는 경우에는 과도한 밝기 변화로 인하여 overenhancement 현상이나 false contouring 현상이 발생하게 된다. 반면에 빈도수가 적은 밝기값은 이웃한 밝기값과 합쳐져서 작은 영상 영역의 정보가 손실되는 level-saturation 현상이 발생하게 된다. 이러한 문제를 해결하기 위하여 다음 절에서 차등 압축을 통한 히스토그램 변형방법에 기반한 히스토그램 평활화를 수행하는 방법을 제안한다. 본 논문에서는 제안하는 차별적 압축방법 기반의 히스토그램 평활화 기법은 입력영상의 히스토그램의 각 명암도 레벨에 대한 평균 빈도수를 이용한 차별적 압축 방법을 수행하고 압축에 의해 손실된 화소에 대한 보상과정을 통해 히스토그램을 변형하고, 변형된 히스토그램을 이용하여 mapping function을 구하여 히스토그램 평활화를 수행한다. 그림 1 은 본 논문에서 제안하는 방법의 히스토그램 변형 방법을 보여준다. (a)는 입력영상의 히스토그램 h( X _k )이고, (b)는 평균빈도수 T 단위로 구간을 나눈 것을 보여준다. (c)는 구간별로 히스토그램에 대한 압축 결과를 나타낸 것으로 각 구간별로 1/2, 1/3, 1/4, ⋯ 로 압축을 수행하여 구한 히스토그램의 예를 보여준다. (d)는 압축과정에 의해 소실된 히스토그램의 총합을 모든 레벨에 대해 일정하게 재분배하여 얻어진 최종적으로 변형된 히스토그램을 보여준다. 입력영상의 각 명암도 레벨에 대한 평균 빈도수 T는 식 (4)과 같이 구한다. 여기서 L은 입력영상이 표현 가능한 최대 밝기값으로 8bit 디지털영상은 L = 256이고 h( X _k )는 명암도 레벨 X _k 에 대응하는 히스토그램 값이다. 히스토그램 압축 방법은 그림 1 의 (c)와 같이 입력영상의 히스토그램 h( X _k )을 각 레벨에 대한 평균 빈도수 T를 이용하여 각 구간별로 차등 압축을 수행할 경우 압축된 히스토그램 h′( X _k )는 식 (5)에 의해 구할 수 있다. 여기서 m = ⌊ h( X _k )/ T ⌋으로 h( X _k )를 평균빈도수 T로 나눈 몫을 의미하고, λ는 압축강도를 조정하는 압축률 변수이다. 이러한 압축과정 수행 후 식(6)을 이용하여 손실된 히스토그램(입력 히스토그램에서 압축된 히스토그램을 뺀 빈도 수)을 그림 1 의 (d)와 같이 모든 밝기 레벨에 대해 동일하게 재분배한다. 이 과정을 통하여 빈도수가 매우 적은 히스토그램에 해당하는 밝기값이 평활화에 의해 제거되는 level-saturation 현상을 억제할 수 있다. 다음 단계로 변형된 확률분포함수에 대한 누적분포함수와 매핑함수를 식(7)과 식(8)을 이용하여 구하고, 매핑함수를 이용하여 최종 출력 영상을 구한다. 그림 2 는 압축률 변수 λ에 따른 제안된 차등 압축 히스토그램 평활화 방법의 처리 결과를 보여준다. λ가 0인 경우 처리결과는 일반적인 히스토그램 평활화 처리결과와 같다. 이와 같은 경우에는 과도한 밝기 변화로 인한 over-enhancement 현상과 false-contouring 현상이 나타나는 것을 확인할 수 있다. 제안하는 방법인 λ에 따른 압축방법을 보면 λ가 증가할수록 over-enhancement 현상과 false-contouring 현상은 줄어들지만, contrast 향상이 감소함을 확인할 수 있다. 반대로 λ가 매우 크면 CLAHE에서 사용되는 기본적인 clipping 방법과 유사하게 된다. 그림 3 과 그림 4 는 λ에 따른 변형된 확률밀도함수와 출력영상의 히스토그램을 보여준다. 그림 3 을 보면 λ가 증가함에 따라 clipping 처리된 확률밀도함수가 점점 비슷한 모양을 갖는데, λ가 4보다 크면 λ가 증가하더라도 변형된 확률밀도함수의 변화가 거의 없다. 히스토그램 압축에 의한 히스토그램 변형에 있어 압축률 결정 파라미터 λ의 선정은 제안방법에서 처리 결과영상의 화질에 중요한 영향을 미친다. 영상의 히스토그램이 특정 히스토그램이 매우 많은 빈도수를 갖는 경우 과도한 밝기 변화가 생겨서 over-enhancement 현상과 false-contouring 현상이 나타날 가능성이 높다. 따라서 입력 영상의 확률밀도함수의 표준편차가 클 경우 히스토그램 평활화에 의한 왜곡이 발생할 가능성이 높으므로 압축률 변수 λ를 큰 값으로 설정하는 것이 바람직하다. 제안된 차별적 압축 방법 기반의 히스토그램 평활화 기법에서 사용되는 압축률 변수 λ는 사용자의 선택에 의해 결정하거나 영상의 특성에 따라 자동으로 결정하도록 할 수도 있다. 자동으로 압축률을 선택하도록 하는 방법은 영상의 확률밀도함수의 표준편차를 이용하여 구현할 수 있다. HE 처리된 영상의 밝기 변화는 입력영상의 히스토그램에 비례한다. 만일 특정 히스토그램이 매우 많은 빈도수를 갖는 경우 과도한 밝기변화가 생겨서 over-enhancement 현상과 false contouring 현상 등 왜곡이 생길 가능성이 높다. 따라서 식 (9)의 입력 pdf의 표준편차가 큰 경우는 HE에 의한 왜곡이 발생할 가능성이 높으므로 압축률 파라미터 λ를 큰 값으로 설정하는 것이 바람직하다. 식 (9)의 σ_p 의 최소값은 히스토그램이 uniform 분포일 때 0이고, 최대값은 impulse일 때 0.0625이다. 한편 그림 3 에 나타난 바와 같이 압축률 파라미터 λ가 0일 때 압축을 하지 않고, λ > 5인 경우는 λ가 커지더라도 변형된 pdf의 변화가 거의 없다. 따라서 압축률 파라미터의 추정값 λ _est 는 식 (11)과 같이 결정한다. 또한 실험을 통한 분석을 통해 대부분의 영상에 적절한 λ의 범위는 0.5 ~ 2.0 사이임을 확인할 수 있었다. 따라서 간단한 구현을 위해 본 논문에서는 식 (11)에 따라 최종적으로 히스토그램 압축에 적용하는 λ를 구한다. 이러한 특성을 기반으로 입력 영상의 확률밀도함수의 표준편차를 기준으로 압축률 변수 λ를 자동적으로 선택하는 방법을 구현할 수 있다. 또한 연산량을 줄이기 위해서는 압축 과정에 대해 압축률 변수 λ를 특정 값들에 대해서만 적용하도록 하고 이에 대한 값을 Look Up Table(LUT)을 사용하여 구현하면 연산을 줄일 수 있다. 제안하는 차별적 압축 방법 기반의 히스토그램 평활화를 이용한 명암대비 향상 방법의 성능을 검증하기 위해 기존의 SHE, CLAHE, WTHE, BHEPL, QDHE, BHENM, MSAPHE의 8가지 방법과 비교 평가한다. 평가 방법은 명암대비 향상 결과에 대한 객관적, 주관적 성능을 비교 평가한다. 실험 결과는 각 알고리즘에 대한 Matlab 코드를 이용한 프로그램의 결과를 사용하였다. 먼저 객관적 성능을 평가로 출력영상의 표준편차 값인 GSD(Global Standard Deviation)를 이용한다. GSD가 높다는 것은 영상의 명암대비가 크게 향상되었다는 것을 의미한다. 또한 객관적 성능평가를 위하여 AE(average entropy)를 이용한다. AE가 높다는 것은 영상의 디테일이 잘 나타난다는 것을 의미한다. AE는 아래와 같이 정의된다. 여기서 pout(Xk)는 밝기값 k에 대한 명암대비 향상 결과 영상의 pdf이다. 마지막으로 제안하는 방법의 연산량을 측정하기 위하여 평균 수행시간을 이용하여 비교 평가한다. 수행시간은 Matlab 프로그램에서 영상 크기가 1024*768인 영상 50장에 대한 평균 수행시간이다. 표 1 은 각 알고리즘의 그림 5 , 7 , 9 , 11 에 대한 결과를 평균한 객관적 성능 분석 결과이다. 제안 방법은 영상의 디테일을 유지하고 과포화 현상을 억제하면서 영상의 명암대비를 개선하는 것을 목적으로 하는데, GSD는 일반적인 Global 히스토그램 방법들보다 낮지만 영상의 디테일을 유지하기 위한 Local 히스토그램 방법인 CLAHE보다 높음을 확인할 수 있다. AE를 보면 CLAHE, BHENM의 방법이 높게 나오고 그 다음으로 제안하는 방법이 높게 나왔다. AE가 높게 나올수록 영상의 디테일이 잘 나타나고 local enhancement가 잘 되었다는 것을 의미하는데, CLAHE, BHENM은 local enhancement를 목적으로 하기 때문에 높은 결과가 나온 것으로 분석된다. 하지만 두 방법은 연산량이 다른 방법들에 비해 매우 많고, 주관적 성능 분석 결과에서 두드러진 화질열화가 발견되었다. 수행시간에 있어서는 기본 히스토그램을 제외하고 제안하는 방법이 가장 빠른 수행시간을 보였다. 영상을 통하여 주관적 성능 분석을 한 결과 SHE는 히스토그램이 집중되어 있는 경우 과도한 밝기 변화로 인하여 과포화 현상이 나타나는 것을 확인할 수 있다. 그림 5 를 보면 하늘과 건물 지붕에서, 그림 7 에서는 가로등 및 오른쪽 계단 등이 있는 곳에서, 그림 11 에서는 오른쪽 하단 및 아래 작은 건물 쪽에서 영상의 정보가 사라진 것을 확인할 수 있다. 그림 9에서는 과도한 밝기 변화로 하늘에서 계조 현상이 나타남을 확인할 수 있다. CLAHE는 영상의 세부적인 특성을 잘 살리지만 명암대비 향상 효과가 부족하게 나타났다. BHEPL은 평균 밝기값으로 히스토그램을 분할하여 평활화 하기 때문에 영상이 어둡거나 밝은 쪽으로 몰려있으면 몰려있는 영역의 밝기 분산이 이루어지지 않게 된다. 그림 5 , 7 , 11 을 보면 밝은 영역은 명암대비 향상이 어느 정도 잘 이루어진데 반해 어두운 밝기의 영역이 크게 확장되지 못하여 영상의 정보가 손실됨을 확인할 수 있고, 그림 9 에서는 역시 계조현상이 나타남을 확인할 수 있다. WTHE의 경우에는 클리핑 방법을 이용하여 과도한 밝기 변화를 방지하면서도 영상의 특성을 유지한 채 명암대비를 향상시키긴 하였으나 마찬가지로 집중된 영역에 대한 과포화 현상이 나타났고, 전체적인 명암대비 향상이 제안된 방법에 비해 부족함을 보인다. QDHE는 WTHE와 마찬가지로 클리핑 방법을 이용하되 영역을 4분할하여 적용하였는데, 이 방법 또한 클리핑을 통한 영상의 특성 유지는 어느 정도 이루어진 것처럼 보이지만 영상의 명암대비 향상 결과가 부족함을 보였다. 그리고 영역별로 확장이 다르게 적용되어 전체적인 밝기값의 뭉치는 현상도 발견된다. BHENM은 특성상 영상의 세부적인 부분의 보존 효과는 뛰어났으나, 평균값 밝기에 대한 분할을 적용하여 BHEPL과 마찬가지로 과포화와 계조현상이 나타났다. MSAPHE는 CLAHE와 같이 클리핑 방법을 적용하여 영상의 세부적인 특성은 잘 보존하지만 명암대비 향상 효과가 부족함을 보였다. 제안하는 방법은 히스토그램의 빈도수에 따라 차별적 압축을 수행하므로 입력히스토그램의 형태를 유지하므로 영상의 세부적인 특성을 잘 보존하면서도 효과적인 명암대비 향상 효과를 보였고, 기존 방법들과 비교하여 과포화 및 계조 현상 등 두드러진 화질열화 없이 매우 자연스러운 명암대비 향상 결과를 보인다. 영상의 명암도 대비를 향상시키기 위하여 히스토그램 평활화 관련 연구가 많이 진행되어왔다. 하지만 표준 히스토그램 평활화 방법을 사용하여 영상의 명암대비를 향상시킬 경우 과도한 밝기변화로 인한 과포화 현상, 계조 현상 및 영상의 세부정보가 없어지는 등의 화질열화가 나타난다. 이러한 문제 해결을 위하여 다수의 변형된 방법이 제안되었지만 이 방법들도 영상의 특성을 반영하지 못해 부자연스러운 영상이 얻어지는 단점을 보였다. 본 논문에서는 기존 방법들에서 나타나는 화질열화를 억제하기 위하여 차등 히스토그램 압축 평활화 기법을 제안하였다. 제안된 방법은 입력 히스토그램의 특성을 유지하기 위해 히스토그램 클리핑 방법 대신 각 레벨에 대한 평균 빈도수에 따른 차별적 히스토그램 압축을 이용하여 히스토그램을 변형하고, 히스토그램 변형으로 인해 손실된 빈도수에 대한 보상을 수행한 후 구해진 매핑함수를 이용하여 평활화 한다. 실험을 통한 기존방법과의 비교분석을 통해 제안된 방법은 기존의 방법들에서 나타나는 급격한 밝기 변화로 인한 과포화 현상이나 계조 현상 등의 화질열화를 억제하면서도 명암대비가 향상된 자연스러운 영상을 얻을 수 있었다. 이 재 원 - 2004년 3월 ~ 2009년 2월 : 전남대학교 전자컴퓨터공학부 학사 - 2009년 3월 ~ 2012년 2월 : 전남대학교 전자컴퓨터공학과 석사 - 2012년 3월 ~ 현재 : 전남대학교 전자컴퓨터공학과 박사과정 - 주관심분야 : 영상처리, 컴퓨터 비전, 멀티미디어시스템 홍 성 훈 - 1988년 2월 : 영남대학교 전자공학과 공학사 - 1991년 2월 : 한국과학기술원 전기및전자공학과 공학석사 - 1999년 2월 : 한국과학기술원 전기및전자공학과 공학박사 - 1991년 ~ 2000년 7월 : LG전자 DTV 연구소 책임연구원 - 2007년 ~ 현재 : 전남대학교 전자컴퓨터공학부 교수 - 주관심분야 : 의료영상처리, 영상부호화, 멀티미디어시스템