일반적인 히스토그램 평활화는 화질향상을 위한 명암대비 향상 효과가 뛰어나다. 하지만 과도한 밝기 값의 변화가 나타나기 때문에 영상의 평균밝기가 프레임 단위로 변화하는 TV와 같은 동영상 응용분야에 적용하기에는 부적합하다. 이러한 단점을 해결하기 위하여 히스토그램 평활화의 변형된 방법에 대한 다양한 연구가 이루어져 왔다. 그러나 기존의 방법들은 과포화현상(over-enhancement), 계조현상(false-contouring)과 같은 화질 열화를 보인다. 본 논문에서는 차별적 히스토그램 압축방법을 기반으로 하는 목표 평균 밝기값을 이용한 분할 히스토그램 평활화를 통해서 개선된 명암대비 향상 기법을 제안한다. 제안한 방법은 평균 밝기값을 기준으로 히스토그램을 분할하고, 각 영역에 대해 히스토그램을 빈도수에 따라 차별적으로 압축한다. 그리고 변형된 히스토그램을 목표 평균 밝기값 기준으로 평활화한다. 이를 통하여 화질 열화를 억제하고, 동영상의 각 프레임의 평균밝기 변화를 유지하면서 명암대비를 개선시킨다. 실험결과 제안방법은 기존 방법에 비해 동영상에서 각 프레임의 평균밝기를 잘 유지하고, 화질 열화 없이 좋은 명암대비 향상 효과를 보였다.
Ⅰ. 서 론
디지털 영상처리 응용분야 중에서 영상의 명암대비 향상분야는 사람의 시각적 특성에 있어서 매우 중요한 분야 중의 하나이다. 그로인해 명암대비 향상을 위하여 기존에 많은 연구들이 진행되어 왔다. 그 중에서 영상의 명암대비를 향상시키는 대표적인 방법으로 많이 알려진 히스토그램 평활화(histogram equalization)
[1]
방법은 영상의 누적 히스토그램 분포를 변환함수로 이용하여 밝기값을 재분배하는 방법으로, 빠르고 쉽게 구현이 가능하여 많이 활용되는 방법이다. 그러나 이 방법은 변환함수를 구하고 명암대비를 향상시키는 과정에서 밝기값의 수가 매우 많은 영역의 과도한 확장으로 인해 영상의 배경에 보이지 않았던 잡음, 계조현상(false contouring)이 나타나거나 특정 밝기 영역에서의 과포화 현상(over-enhancement)이 나타나는 단점이 나타난다. 또한 빈도수가 적은 밝기 값들이 하나의 밝기 값으로 뭉치면서 영상의 세부정보가 사라지는 등의 단점이 나타난다. 특히 밝기 변환 후 영상의 평균 밝기가 과도하게 변화(mean shift)하기 때문에 TV, 스마트폰과 같은 프레임 단위의 동영상을 사용하는 응용분야에는 적용하기가 어렵다. 이러한 문제를 해결하기 위하여 평균 밝기를 유지하면서 히스토그램 평활화를 수행하는 다양한 변형된 방법이 연구되었다.
제안된 방법 중 대표적인 방법은 입력영상의 히스토그램을 둘 혹은 여러 영역으로 분할하고 각 영역마다 각각의 변환함수를 통해 히스토그램 평활화를 수행하여 영상의 평균 밝기값이 변화하는 것을 방지하면서 명암대비를 개선하는 방법이다. 이와 같은 방법들에는 평균(mean) 밝기값을 기준으로 2분할하는 BBHE(Brightness preseving Bi-Histogram Equalization)
[2]
, 중간(median) 밝기값을 기준으로 2분할하는 DSIHE(Dualistic Sub-Image Histogram Equalization)
[3]
, 평균 밝기값을 기준으로 반복적 분할을 수행하는 RMSHE(Recursive Mean-Separate Histogram Equalization)
[4]
, 중간 밝기값을 기준으로 반복적 분할을 수행하는 RSIHE (Recursive Sub-Image Histogram Equalization)
[5]
등이 있다. BHEPL (Bi-Histogram Equalization with a Plateau Limit)은 입력영상의 평균 밝기값을 유지하기 위하여 입력 영상의 평균값을 기준으로 2개의 밝기영역으로 히스토그램을 분할 한 후 각각의 영역에 대해 독립적으로 클리핑처리에 의한 히스토그램 평활화를 수행한다
[6]
. BHENM(Bi- Histogram Equalization with Neighborhood Metric)은 히스토그램을 평균 밝기값으로 2등분하고 각 영역에 대해 독립적으로 밝기레벨 당 2040개의 sub-bin을 할당하고 distriction metric을 사용하여 평활화를 수행한다
[7]
. 이러한 히스토그램 분할 방식 기법들은 영상의 평균밝기 값은 유지되나 영상이 너무 어둡거나 밝은 영상에 적용 시에 분할된 영역의 범위가 좁은 영역에서는 명암대비 개선 효과가 나타나지 않고, 범위가 넓은 영역에서는 단일 영역을 사용하는 방법에서 나타나는 과포화 현상이 나타나거나 영상의 세부정보가 사라지는 단점이 나타난다. 또한 반복적 분할을 하는 방법의 경우 최적의 분할 횟수를 자동으로 산정하기 어려울뿐 아니라, 분할 횟수가 증가할수록 결과 영상의 평균 밝기는 유지되지만 영상 개선 효과는 점점 줄어드는 단점이 있다. DHE(Dynamic Histogram Equalzation)는 히스토그램을 지역적 최소값을 기준으로 동적 분할하여 서브 히스토그램(sub-histograms) 단위로 평활화를 수행한다
[8]
. 이 방법은 분할 과정에서 연산량이 많고, 지역적 최소값을 잘 못찾는 경우가 많다. BPDHE(Brightness Preserving Dynamic Histogram Equalzation)는 히스토그램을 지역적 최대값으로 분할하고 서브히스토그램 단위로 평활화를 수행한 후 출력영상의 평균 밝기가 입력 영상의 평균 밝기와 유사하도록 밝기에 대한 정규화를 수행한다
[9]
. BPDHE는 DHE의 영역 분할과정에서의 문제점을 보완하였고, 평균 밝기값을 유지하는 방법을 제안하였다. 하지만 평균 밝기를 유지를 위한 후처리 과정에서 잘못된 명암대비 개선 결과가 나타난다. QDHE (Quadrants Dynamic Histogram Equalization)는 입력영상의 밝기에 대한 빈도수를 기준으로 입력 히스토그램을 4등분하고, 각각의 히스토그램 영역에 포함된 화소수를 기준으로 각 영역의 출력 밝기값 범위를 결정한 후 각각의 영역에 대해 독립적으로 클리핑 처리된 히스토그램을 사용하여 평활화를 수행한다
[10]
. 기존 방식들의 가장 큰 문제점은 영상의 평균 밝기를 유지할 수는 있으나 영상의 밝기값이 한 쪽으로 치우친 경우에 영상의 트렌드를 유지하지 못하고 결과영상이 원 영상의 특성을 유지하지 못한채 명암대비가 개선되는 점이다. 방송과 같은 동영상 관련 응용분야에서는 영상의 트렌드를 유지하는 것이 매우 중요한데, 기존 방식들은 트렌드를 유지하지 못하기 때문에 적용되기 어렵다.
본 논문에서는 기존 방식들에서 발생하는 문제를 해결하기 위하여 입력영상의 히스토그램에 대해 빈도수가 많은 히스토그램 성분에는 압축을 많이 하고, 빈도수가 상대적으로 작은 히스토그램 성분에 대해서는 압축을 적게 하는 방법과 추가적으로 목표 밝기값을 이용하여 평활화를 수행하는 방법을 혼합 적용하는 차별적 압축 기반 분할 히스토그램 평활화(BHEDC) 방식을 제안한다. 여기서 압축이란 입력 히스토그램의 분포특성을 유지하기 위하여 기존의 CLAHE나 QDHE 방법과 같이 히스토그램을 특정 값에 의해서 클리핑하는 것이 아니라 입력 히스토그램의 각 명암도 레벨에 대해 평균 빈도수를 이용하여 차별적으로 다르게 클리핑 하는 것을 의미한다. 이와 같은 방법을 수행함으로써 제안하는 방법은 기존의 클리핑을 사용하는 방법에 비해 입력영상의 특성을 더욱 잘 유지하면서도 더 좋은 명암대비 효과를 제공 가능하고, 과도한 밝기 변화에 의한 과포화 현상이나 잡음, 계조 현상이 나타나는 문제를 억제할 수 있다. 또한 기존 분할 방법에서 사용하는 평균 기준 히스토그램 분할 방법은 히스토그램이 한 쪽으로 치우친 경우에 치우친 쪽의 밝기 값들은 좁은 범위에서 평활화 되고 넓은 쪽으로 치우친 쪽의 밝기값들은 넓은 범위에서 평활화 되면서 평활화 정도가 달라 전체적인 영상이 분할되어 보여지는 단점이 나타난다. 제안하는 방법에서는 평균 밝기값과 표현 가능한 최대 밝기의 중간값의 가중평균값인 새롭게 제안하는 목표평균값을 사용하는 분할 히스토그램 평활화 방법을 사용함으로써 영상의 밝기값이 한 쪽으로 치우친 경우에도 기존 방법에 비해 더욱 자연스럽게 영상을 개선시킬 수 있다.
본 논문의 구성은 다음과 같다. 2장에서는 제안하는 분할 차별적 압축 히스토그램 평활화 방법에 대해서 차별적 압축 방법과 이를 기반으로 분할 히스토그램 평활화하는 방법을 설명한다. 이어서 3장에서 실험결과 및 평가에 대해서 언급하고, 4장에서 결론을 맺는다.
Ⅱ. 제안하는 분할 히스토그램 압축 평활화 기법(BHEDC)
제안하는 분할 히스토그램 압축 평활화 방법은 두 가지 과정을 포함한다. 하나는 히스토그램 압축 변형 과정이고, 다른 하나는 압축된 히스토그램을 평균 밝기값을 구분으로 나눠서 목표 평균 밝기값에 맞춰서 평활화하는 과정이다.
- 1. 히스토그램 압축 변형
첫 번째 과정인 히스토그램 압축 변형은 히스토그램의 분포를 기준으로 각각 다른 압축 비율에 맞춰서 히스토그램을 변형하는 과정을 의미하며 히스토그램 분할 평활화 방법인 두 번째 과정에 포함되어 진행되는 과정이다. 기존의 CLAHE나 QDHE에서는 전체 히스토그램에서 빈도수가 너무 큰 밝기값들이 평활화 수행시에 너무 많은 평활화 범위를 차지하게 되고 이로 인해 빈도수가 작은 밝기값들이 통합되게 되면서 영상의 전체적인 세부정보가 사라지게 되고, 빈도수가 높은 밝기값들이 너무 과도하게 평활화 되는 단점이 나타나는 것을 해결하기 위하여 영상의 평균 밝기값인 단일 값을 이용하여 히스토그램을 클리핑하는 방법을 사용하였다. 하지만 단일값으로 히스토그램을 클리핑하는 방법은 영상의 전체적인 히스토그램 분포특성을 고려하지 않고 히스토그램을 제한하기 때문에 평활화된 영상이 원영상의 특성을 제대로 유지하지 못한 채 평활화 되는 단점을 나타내기 때문에 본 논문에서는 이를 보완한 압축 변형 방법을 기반으로 하는 히스토그램 평활화 방법을 제안한다. 기존 단일값으로 클리핑하는 방법은 빈도수가 높은 히스토그램들에 대하여 원래의 빈도수에 상관없이 단일값으로 히스토그램을 제한하게 되는데, 이런 경우 빈도수 높은 값들이 과도하게 평활화되지 않아 영상을 자연스럽게 평활화가 가능하지만, 동일한 값으로 제한하였기 때문에 각 밝기값들의 평활화된 정도가 원영상의 특성에 따라 수행되지 못하고 동일한 비율로 개선되게 된다. 반면 제안하는 방법은 빈도수가 높은 히스토그램들에 대해 각각의 비율을 고려하여 제한하기 때문에 기존 방법의 영상의 세부 정보 유지나 과도한 평활화 방지를 할 수 있으면서도 원영상의 특성까지도 고려하여 평활화가 가능하다.
히스토그램 압축 변형 수행 방법은 다음과 같다. 먼저
그림 1
의 (b)와 같이 입력 영상의 히스토그램인
그림 1
의 (a)에 대해서 평균 빈도수 T를 구한다. 그리고
그림 1
의 (c)와 같이 입력영상의 히스토그램
h
(
Xk
))을 각 레벨에 대한 평균 빈도수 T를 이용하여 차별적으로 압축을 수행하여 얻을 수 있고 압축된 히스토그램
h′
(
Xk
)는 식 (1)에 의해 구할 수 있다.
차별적 압축 히스토그램 변환 과정 Fig. 1. Procedure of differential compression histogram transformation
여기서
h
(
Xk
)는 입력영상의 히스토그램이고,
m
=⌊
h
(
Xk
)/
T
⌋으로
h
(
Xk
)를 평균빈도수 T로 나눈 몫을 의미한다. T는 입력영상의 전체 히스토그램 수의 합을 밝기값의 개수로 나눈 히스토그램의 평균빈도수 값이다. 이러한 압축과정 수행 후 손실된 히스토그램(입력 히스토그램에서 압축된 히스토그램을 뺀 빈도수)을
그림 1
의 (d)와 같이 모든 밝기 레벨에 대해 동일하게 재분배하여 변형된 히스토그램을 구할 수 있다. 손실된 히스토그램을 모든 밝기 레벨에 대해 동일하게 재분배하는 과정은 기존 클리핑 방법인 CLAHE방법에서 사용되는 과정을 동일하게 적용한 것으로, 낮은 빈도수의 히스토그램을 가진 밝기값에 대해 히스토그램을 추가함으로써 빈도수가 적은 밝기 값들이 평활화시에 빈도수가 적어 다른 밝기값들과 합쳐지고 그로인해 영상의 세부정보가 사라지는 단점을 해결해준다. 이와 같은 히스토그램 압축 변형을 통해서 평균 빈도수보다 매우 높은 빈도수의 히스토그램은 압축되어 기존의 히스토그램 평활화 수행 시에 나타나는 과포화 현상과 영상이 억제되고, 낮은 빈도수의 히스토그램의 수는 증가됨으로써 영상의 세부정보는 더욱 명확히 나타나게 된다.
그림 1
은 본 논문에서 제안하는 방법의 히스토그램 변형 방법을 보여준다. (a)는 입력영상의 히스토그램
h
(
Xk
)이고, (b)는 평균빈도수 T 단위로 구간을 나눈 것을 보여준다. (c)는 구간별로 히스토그램에 대한 압축 결과를 나타낸 것으로 각 구간별로 1/2, 1/3, 1/4, … 로 압축을 수행하여 구한 히스토그램의 예를 보여준다. (d)는 압축과정에 의해 소실된 히스토그램의 총합을 모든 레벨에 대해 일정하게 재분배하여 얻어진 최종적으로 변형된 히스토그램을 보여준다.
- 2. 히스토그램 분할 및 평활화
제안하는 방법의 두 번째 과정은 히스토그램 분할 및 평활화 과정으로 평균 밝기값을 기준으로 분할된 영역에 대해 첫 번째 과정을 통해 압축 변형된 히스토그램을 얻고 각 영역의 변형된 히스토그램을 이용하여 평균 밝기값과 표현 가능한 최대 밝기의 중간값의 가중평균값인 목표 평균밝기값을 기준으로 평활화하는 방법이다. 여기서는 1절에서 구해진 압축 변형된 히스토그램 분포
h′
(
Xk
)를 이용하여 분할된 영역별 히스토그램 평활화를 수행한다. 기존의 BBHE, BHEPL, BHENM과 같은 분할 히스토그램 평활화 방법은 평균 밝기값을 기준으로 히스토그램을 이분할하고 각 영역에 대해서 각자의 방법을 이용하여 히스토그램 평활화를 수행한다. 이러한 경우 일반적인 영상에 대해서는 평균밝기값을 잘 유지하면서도 영상을 개선 가능하지만, 밝기값이 어둡거나 밝은쪽으로 크게 치우친 영상에 대해서는 분할된 지점이 너무 한쪽으로 쏠리게 되어 좁은 공간과 넓은 공간의 히스토그램 평활화 정도가 크게 차이나고 이로 인해 영상이 끊어진 듯 한 느낌의 매우 부자연스러운 결과를 얻게 된다. 이를 해결하기 위하여 본 논문에서는 최대한 영상의 평균 밝기값을 유지하되 영상을 자연스럽게 평활화 시킬 수 있는 방법을 제안한다. 제안하는 방법은 기존의 방법과 달리 평균밝기값과 영상의 최대 밝기값의 중간값의 가중평균값인 목표 평균밝기값을 기준으로 히스토그램을 이분할하고 히스토그램 평활화를 수행한다. 이 때 영상의 평균밝기값 유지 정도는 가중치에 따라 조절 가능하고 가중치가 1이면 기존 방법과 동일하게 평균밝기값을 기준으로 평활화를 수행한다. 이 방법은 입력 영상의 평균 밝기값을 정확하게 유지하지는 못하여도 좀 더 자연스러운 영상이 제공 가능하고 히스토그램이 치우친 영상에 대해 안정적으로 수행이 가능하다. 게다가 평균 밝기값을 정확하게 유지하려면 가중치를 조절하면 되고, 또한 입력영상의 히스토그램 쏠림정도와 연동하여 입력영상에 적응적인 분할 히스토그램 평활화도 가능하다.
제안하는 히스토그램 평활화 방법 과정 Fig. 2. Procedure of proposal histogram equalization method
제안하는 히스토그램 분할 및 평활화 방법은 다음과 같이 세 단계로 구성된다. 첫 번째 단계는 평균 밝기값과 목표 평균 밝기값을 구하는 단계로 평균 밝기값은 입력 영상의 평균 밝기값을 의미한다. 목표 평균 밝기값은 표현 가능한 최대밝기의 중간값이 L/2(8bit 디지털영상은 L/2 = 128)로 식(2)에 의하여 구해진다.
여기서 가중치 α = 1이면 목표 평균 밝기값은 입력영상의 평균밝기와 같고, 사용자의 제어에 의해 조절 가능하며, α가 클수록 입력영상의 평균 밝기값을 유지하면서 명암대비를 향상 시키지만 명암대비 개선 효과가 작고, α가 작을수록 영상의 명암대비가 높아지지만 과도한 밝기변화로 인해 과포화 현상이 발생할 수 있다. 본 논문에서는 α는 0.5로 설정하였다.
두 번째는 평균 밝기값을 기준으로 히스토그램 영역을 분할한 후 각 영역에 대해 독립적으로 히스토그램 압축과 재분배 과정을 수행하여 변형된 히스토그램을 얻는다. 첫번째 과정인 히스토그램 압축 변형 방법을 이용하여 평균 밝기값을 기준으로 나눠진 각각의 영역에 대해 압축 및 재분배를 통해 변형된 히스토그램 구한다.
마지막으로 각 영역별로 변형된 히스토그램을 기준으로 목표 평균 밝기값을 이용하여 히스토그램 평활화를 수행하여 새로운 결과 영상을 얻는다. 제안하는 목표 평균값을 기준으로 히스토그램 평활화를 수행하는 방법은 다음과 같다.
먼저 분할된 히스토그램 영역에 대해 식(3)과 같이 각 영역의 화소수를 계산한다.
여기서
h′
(
Xk
)는 압축 변형된 히스토그램이고 mean은 평균 밝기값을 의미한다. 다음으로 각 영역에 대해 식 (4)와 같이 정규화된 히스토그램(normalized histogram)과 식 (5)과 같이 정규화된 히스토그램의 누적분포함수(CDF :Cumulative Distribution Function)을 구한다.
평균 밝기값
mean
을 기준으로 분할 변형된 각 영역의 구해진 누적분포함수를 이용하여 식 (6)과 같이 목표 평균 밝기값
meanT
에 맞춰서 히스토그램 평활화를 수행한다.
여기서
Y
(
Xk
)는 입력 밝기값이
Xk
일 때 출력 밝기값을 의미한다.
그림 3
은 기존 방법들의 문제점과 제안하는 방법을 통해 해결된 결과영상과 히스토그램을 보여준다.
그림 3
을 통해 영상의 밝기값이 한쪽으로 치우친 영상의 경우 기존의 분할 히스토그램 평활화 방법의 단점을 확인할 수 있다. 기존의 방법은 어두운 영역의 밝기값들이 평균 밝기값을 넘지 못하여 영상이 자연스럽지 못하고 분할되어 보이는 평활화된 결과를 얻게 되었음을 확인할 수 있다.
분할 히스토그램 평활화의 결과 비교 Fig. 3. Comparison of result of Bi-histogram equalization
반면, 평균 밝기값을 기준으로 영역을 분할하고 목표 평균 밝기값에 맞춰 평활화를 수행한 경우 몰려있던 밝기값 들이 확장할 수 있는 영역이 넓어지면서 보다 자연스럽게 평활화된 결과를 얻게 되었다.
본 논문에서 제안하는 방법의 차별적 압축 기반의 분할 히스토그램 평활화는 압축과정을 통하여 영상의 세부적인 정보를 유지하면서, 과포화나 계조현상의 문제점을 해결하고, 목표 평균 밝기값을 사용하는 분할 히스토그램 평활화 방법을 통하여 분할 영역의 범위가 좁아 명암대비와 함께 영상의 분할되어 보이는 단점을 해결한다.
Ⅲ. 실험 결과 및 분석
제안하는 분할 압축 히스토그램 평활화를 이용한 명암대비 향상 방법의 성능을 검증하기 위해 다양한 방법의 명암대비 향상 알고리즘을 적용하여 히스토그램과 결과영상을 비교한다. 실험결과에 대한 성능평가를 위하여 SHE(Standard Histogram Equalization), BBHE, RMSHE, BHEPL, QDHE, BHENM, DHE, BPDHE, DSIHE의 방법들과 제안방법(α=1), 제안방법(α=0.5)의 결과들을 비교 분석하였다.
제안하는 방법의 성능 분석을 위한 객관적 평가를 위하여 입력 영상과 결과 영상의 목표 평균 밝기값의 차이를 보여주는 ATMBE(Absolute Target Mean Brightness Error)와 영상의 명암대비 개선 정도를 파악하기 위한 GSD(Global Standard Deviation), 영상의 세부정보 포함 정도를 나타내는 AE(Average Entropy), 그리고 연산량 비교를 위한 수행시간 결과를 사용한다. ATMBE는 기존의 평가 방법인 AMBE에서 조금 변형된 제안하는 평가방법으로 식(7)과 같이 입력영상에 대한 목표 평균 밝기값과 출력 영상의 평균 밝기값의 절대값을 나타낸다. 이 때 Meantarget은 목표 평균 밝기값으로 기존방법은 목표 평균 밝기값은 입력영상의 평균 밝기값을 의미하게 되고 제안하는 방법은 α값에 따라 결정된 목표 평균 밝기값을 의미하게 된다.
GSD는 출력영상의 표준 편차값이다. 이는 전체적인 명암대비 개선 정도를 나타내며 이 값이 높을수록 명암대비 개선이 잘 되었음을 의미한다.
AE는 영상의 세부 정보의 포함 정도를 나타내는 것으로 AE가 높다는 것은 영상의 세부 정보가 잘 나타난다는 것을 의미한다. AE는 아래와 같이 정의된다.
여기서 pout(Xk)는 밝기값 k에 대한 명암대비 향상 결과 영상의 pdf이다. 마지막으로 제안하는 방법의 연산량을 측정하기 위하여 평균 수행시간을 이용하여 비교 평가한다.
표 1
은 각 알고리즘의
그림 4
,
6
,
8
,
10
,
12
에 대한 결과를 평균한 객관적 성능 분석 결과이다. ATMBE는 BPDHE, QDHE, RMSHE에 이어 낮은 수치가 나왔다.
Table. 1. Result of Objective performance analysis
‘White House’ 영상에 대한 명암대비 개선 결과 Fig. 4. Contrast enhancement results for the image ‘White House’.
‘White House’ 영상에 대한 명암대비 개선 결과의 히스토그램 Fig. 5. Histogram of Contrast enhancement results for the image ‘White House’.
‘Korean Actress’ 영상에 대한 명암대비 개선 결과 Fig. 6. Contrast enhancement results for the image‘Korean Actress’.
‘Korean Actress’ 영상에 대한 명암대비 개선 결과의 히스토그램 Fig. 7. Histogram of Contrast enhancement results for the image ‘Korean Actress’.
‘School’ 영상에 대한 명암대비 개선 결과 Fig. 8. Contrast enhancement results for the image‘School’
‘School’ 영상에 대한 명암대비 개선 결과의 히스토그램 Fig. 9. Histogram of Contrast enhancement results for the image ‘School
‘Apartment’ 영상에 대한 명암대비 개선 결과 Fig. 10. Contrast enhancement results for the image ‘Apartment’
‘Apartment’ 영상에 대한 명암대비 개선 결과의 히스토그램 Fig. 11. Histogram of Contrast enhancement results for the image‘Apartment’
TMD 결과 비교(영화 ‘마이너리티 리포트’ 중) Fig. 12. Comparion for result of TMD(in movie‘minority report’)
전체적인 수치 비교 시에 타 방법들과 비교하였을 때 제안하는 방법은 평균밝기를 잘 유지함을 보여준다. GSD는 기존의 방법들과 비교 했을 때 높은 수치는 아니지만 영상의 극단적인 평활화 결과를 제한하기 때문에 낮게 나온 것으로 판단된다. AE는 local 히스토그램 평활화 방법인 BHENM의 방법 다음으로 제안하는 방법이 가장 높게 나왔다. AE가 높게 나올수록 영상의 디테일이 잘 나타나고, local enhancement가 잘 되었다는 것을 의미하는데, BHENM은 local enhancement를 목적으로 하기 때문에 높은 결과가 나온 것으로 분석된다. 하지만 이 방법은 수행 시간이 다른 방법에 비해 상당히 느림을 파악할 수 있다. 수행시간 결과를 보면 제안하는 방법의 연산량이 성능에 비해 많지 않음을 보여준다.
그림 4
에서의 SHE는 명암대비 개선과 함께 건물의 흰 부분이나 하늘에서 과포화 현상이 나타났다. BBHE, RMSHE, BHEPL은 영상의 세부정보가 잘 나타나지 못한 결과와 우측 상단 하늘에서의 부자연스러운 결과를 보였다. QDHE, DHE, BPDHE는 영상의 세부정보가 잘나타나지 않고, 명암대비 개선정도가 좋지 않은 결과를 보였다. BHENM은 하늘에서의 부자연스러운 결과와 영상의 세부 정보가 잘 나타나지 않은 결과를 보였다. DSIHE는 SHE와 같이 건물의 흰색부분에서 과포화 현상이 나타났다. 제안하는 방법은 영상의 세부정보를 잘 나타내고 전체적인 명암대비 개선이 잘 이루어졌으며 하늘에서의 부자연스러움도 나타나지 않았다.
그림 6
에서 SHE는 확실히 명암대비를 개선하였지만 얼굴이나 손에서 과포화 현상이 나타났다. BBHE, RMSHE, BHEPL의 기존 분할 히스토그램 평활화 방법들은 영상이 부자연스럽게 분할되어 명암대비 개선이 일어났고, QDHE, BHENM는 명암대비는 개선되었으나 영상의 세부정보가 많이 살아나지 못했으며 부자연스러운 결과 영상을 보였다. DHE와 BPDHE 방법은 명암대비 개선효과가 크게 나타나지 않았으며 영상의 세부정보도 많이 나타나지 않았다. DSIHE는 명암대비 개선효과는 좋으나 SHE와 같이 과포화 현상이 나타났다. 반면 제안하는 방법은 영상의 명암대비 개선 결과가 매우 자연스러우며 영상의 세부정보도 잘 표현되는 결과를 보였다.
그림 8
에서 SHE는 과도한 명암대비 개선 결과가 나타났으며, BBHE, RMSHE, BHEPL의 기존 분할 방법은 평균밝기값에 의한 히스토그램 영역분할로 어두운 영역의 명암대비 개선이 잘 되지 못하고 영상의 세부정보 역시 잘 나타내지 못하였다. QDHE, BHENM, DHE, BPDHE, DSIHE 방법 역시 어두운 부분의 명암대비 개선이 잘 이루어지지 못하였고, QDHE, BHENM은 영상의 세부정보도 잘 나타내지 못하였다. 제안하는 방법은 영상 전체 영역에 대해 골고루 명암대비 개선이 일어났으며 영상의 세부정보 역시 잘 포함하였다.
그림 10
에서 SHE는 과도한 명암대비 개선으로 영상 전역에 과포화 현상이 일어나 매우 부자연스러운 영상을 보였다. BBHE, BHEPL, BHENM은 히스토그램 영역 분할로 인하여 영상이 부자연스럽게 분할되어 명암대비가 개선된 결과를 보였으며 어두운 쪽으로 과포화 현상이 나타났다. RMSHE, QDHE, DHE, BPDHE는 명암대비 개선이 제대로 이루어지지 못하고, 영상의 세부정보 역시 잘 표현하지 못하였다. 제안하는 방법은 영상의 부자연스러운 분할이나 영상의 세부정보가 사라지지 않는 명암대비 개선 결과를 보였다.
제안하는 방법은 정지영상에 대하여 기존 방법들에 비해서 좋은 결과를 보였으며, 동영상에서의 평균 밝기값 유지면에서도 좋은 결과를 보였다. 그림 14는 임의의 동영상(마이너리티 리포트 中)에서 원본영상에 대한 각 프레임별 목표 평균 밝기값과 평활화 결과 영상의 평균 밝기값의 차이인 ATMBE를 보여준다. 목표 평균밝기(meamT)은 다른 알고리즘의 경우는 원본영상의 평균 밝기값이고, 제안 알고리즘의 경우는 식(3)의 목표 평균값으로 이 때 α는 0.5로 수행하였다. α가 1.0일 때에의 목표 평균 밝기값은 입력 평균 밝기값과 같다. 그림 14에서와 같이 제안방법(α가 0.5)은 목표 평균 밝기값에 대해 차이가 매우 적은 것으로 나타났다. 이는 기존 방법과 달리 입력영상의 평균밝기값과 똑같이 출력영상의 평균값을 유지 되는 것을 나타내지는 않지만 영상의 전체적인 평균을 잘 유지함으로써 프레임간 밝기변화를 잘 유지하여 자연스러운 결과를 보일수 있음을 의미한다. 또한 제안방법(α가 1.0)은 다른 알고리즘과 동일하게 입력 평균값에 대해 평균 밝기값을 잘 유지하는지를 보여주는데, 다른 알고리즘들에 비해 DHE와 함께 매우 좋은 결과를 보인다. 이는 입력영상과 매우 유사한 평균 밝기 값을 갖는 영상을 제공하므로 프레임 간 밝기변화가 자연스러운 영상을 얻을 수 있음을 의미한다.
Ⅵ. 결 론
영상의 화질개선을 위해서는 명암도 대비를 향상시켜야하며 이를 해결하기 위하여 히스토그램 평활화 관련 연구가 매우 많이 진행되어왔다. 기본 히스토그램 평활화를 비롯하여 다양한 변형된 방법들이 제안되었는데, 이들은 평균 밝기의 급격한 변화로 인하여 부자연스러운 결과영상을 얻거나, 밝기 값이 한쪽으로 치우친 경우 대비 향상 효과가 낮은 결과를 얻는 단점이 종종 발생한다. 따라서 본 논문에서는 이와 같은 단점을 보완하는 화질향상을 위한 차별적 압축 방법 기반의 분할 히스토그램 평활화 기법을 이용한 명암대비 향상 방법을 제안하였다. 본 논문에서 제안하는 방법은 원본 히스토그램의 특성을 유지하기 위해 히스토그램 클리핑 방법 대신 각 레벨에 대한 평균 빈도수에 따른 히스토그램 압축을 이용하여 명암도 대비를 향상시키고, 동영상에서의 밝기값이 한쪽으로 치우친 영상에서 영역이 좁아 밝기값의 확장이 이루어지지 못하는 단점을 해결하기 위해 평균 밝기값을 기준으로 히스토그램을 분할하고 평활화하는 방법 대신 평균밝기값을 기준으로 분할하고 목표 평균값을 기준으로 히스토그램을 평활화하는 방법을 제안하였다. 이를 통해 기존의 방법에서 나타나는 평균 밝기의 급격한 변화로 인한 부자연스러운 결과나, 대비 향상 효과가 낮은 단점을 해결하여 명암대비 향상 효과가 좋으며 평균 밝기의 급격한 변화가 적은 영상을 얻을 수 있었다.
BIO
이 재 원
- 2004년 3월 ~ 2009년 2월 : 전남대학교 전자컴퓨터공학부 학사
- 2009년 3월 ~ 2012년 2월 : 전남대학교 전자컴퓨터공학과 석사
- 2012년 3월 ~ 현재 : 전남대학교 전자컴퓨터공학과 박사과정
- 주관심분야 : 영상처리, 컴퓨터 비전, 멀티미디어시스템
홍 성 훈
- 1988년 2월 : 영남대학교 전자공학과 공학사
- 1991년 2월 : 한국과학기술원 전기및전자공학과 공학석사
- 1999년 2월 : 한국과학기술원 전기및전자공학과 공학박사
- 1991년 ~ 2000년 7월 : LG전자 DTV 연구소 책임연구원
- 2007년 ~ 현재 : 전남대학교 전자컴퓨터공학부 교수
- 주관심분야 : 의료영상처리, 영상부호화, 멀티미디어시스템
Gonzalez R. G.
,
Woods R. E.
2008
Digital Image Processing
Third Edition
Prentice-Hall
Kim Yeong-Taeg
1997
“Contrast enhancement using brightness preserving bi- histogram equalization”,
IEEE Trans. Consumer Electronics
43
(1)
1 -
8
DOI : 10.1109/30.580378
Wan Y.
,
Chen Q.
,
Zhang B. M.
1999
“Image enhancement based on equal area dualistic sub-image histogram equalization method”
IEEE Trans. Consumer Electronics
45
(1)
68 -
75
DOI : 10.1109/30.754419
Chen S.-D.
,
Ramli A. R.
2003
“Contrast enhancement using recursive mean-separate histogram equalization for scalable brightness preservation”
IEEE Transactions on Consumer Electronics
49
(4)
1301 -
1309
DOI : 10.1109/TCE.2003.1261233
Sim K. S.
,
Tso C. P.
,
Tan Y. Y.
2007
“Recursive sub-image histogram equalization applied to gray-scale images”
Pattern Recognition Letters
28
1209 -
1221
DOI : 10.1016/j.patrec.2007.02.003
Ooi Chen Hee
,
Kong Sia Pik
,
Ibrahim Haidi
2009
“Bi-Histogram Equalization with a Plateau Limit for Digital Image Enhancement”
IEEE Transactions on Consumer Electronics
55
(4)
2072 -
2080
DOI : 10.1109/TCE.2009.5373771
Sengee Nyamlkhagva
,
Sengee Altansukh
,
Choi Heung-Kook
2010
“Image Contrast Enhancement using Bi-Histogram Equalization with Neighborhood Metrics”
IEEE Trans. Consumer Electronics
56
(4)
2727 -
2734
DOI : 10.1109/TCE.2010.5681162
Abdullah-Al-Wadud M.
,
Kabir M. H.
,
Dewan M. A. A.
,
Chae Oksam
2007
“A dynamic histogram equalization for image contrast enhancement”,
IEEE Trans. Consumer Electronics
53
(2)
593 -
600
DOI : 10.1109/TCE.2007.381734
Ibrahim H.
,
Kong N. S. P.
2007
“Brightness preserving dynamic histogram equalization for image contrast enhancement”
IEEE Trans. Consumer Electronics
53
(4)
1752 -
1758
DOI : 10.1109/TCE.2007.4429280
Ooi Chen Hee
,
Isa Nor Ashidi Mat
2010
“Quadrants Dynamic Histogram Equalization for Contrast Enhancement”
IEEE Trans. Consumer Electronics
56
(4)
2543 -
2551
DOI : 10.1109/TCE.2010.5681139