Advanced
Modified Exposure Fusion with Improved Exposure Adjustment Using Histogram and Gamma Correction
Modified Exposure Fusion with Improved Exposure Adjustment Using Histogram and Gamma Correction
Journal of Broadcast Engineering. 2017. May, 22(3): 327-338
Copyright © 2017, The Korean Institute of Broadcast and Media Engineers
This is an Open-Access article distributed under the terms of the Creative Commons BY-NC-ND (http://creativecommons.org/licenses/by-nc-nd/3.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited and not altered.
  • Received : March 06, 2017
  • Accepted : May 19, 2017
  • Published : May 30, 2017
Download
PDF
e-PUB
PubReader
PPT
Export by style
Article
Author
Metrics
Cited by
About the Authors
임재, 박
대준, 박
제창, 정
jjeong@hanyang.ac.kr

Abstract
노출 합성은 두 장 이상의 서로 다른 노출 값을 갖는 좁은 동적 영역 영상을 합쳐 한 장의 넓은 동적 영역을 갖는 결과 영상을 생성하는 알고리듬이다. 본 논문은 블록기반의 지역적 특성을 고려한 노출 조정 기법과 개선된 채도 특성 요소를 이용해 가중치 맵을 생성하는 알고리듬을 제안한다. 제안하는 노출 조정 기법은 인간시각체계의 특성을 고려하여 입력 영상의 노출 값을 보정함으로써 노출 합성 결과 영상 내의 세밀한 부분을 효과적으로 보존한다. 개선된 채도 영상은 입력 영상 내의 포화 영역을 효과적으로 반영한 가중치 맵을 생성한다. 본 논문은 기존의 대표적인 노출 합성 알고리듬과의 주관적 화질과 MEF-SSIM, 수행 시간 비교를 통해 제안하는 알고리듬의 우수성을 입증하였다.
Keywords
Ⅰ. 서 론
동적 영역(dynamic range)이란 장면(scene) 또는 영상(image)이 나타낼 수 있는 가장 밝은 밝기 값과 가장 어두운 밝기 값 사이의 비율을 의미한다. 인간의 시각 체계(human visual system: HVS)는 실세계의 넓은 동적 영역(high dynamic range: HDR)을 갖는 장면들의 세밀한 부분과 동시적인 밝기 부분을 왜곡 없이 받아들인다. 그러나 이러한 장면을 좁은 동적 영역(low dynamic range: LDR)을 갖는 보통의 카메라를 이용해 디지털 영상으로 변환할 경우 동적 영역의 손실 및 세밀한 부분에 왜곡이 발생한다. 또한 기존의 좁은 동적 영역의 출력 장치를 통해 영상을 출력할 경우에도 동적 영역 및 화질에 저하가 발생하게 된다.
넓은 동적 영역의 영상을 활용하기 위해서는 두 가지 방법이 존재한다. 첫 번째 방법은 넓은 동적 영역을 갖는 영상 촬영 장비를 통해 영상을 획득하는 것이다. 그러나 이 방식은 영상 취득 및 출력을 위해 고가의 장비가 필요하기 때문에 일반인들이 활용하기 어렵다. 두 번째 방법은 기존의 좁은 동적 영역을 갖는 카메라를 이용해 동일한 장면에 대해 서로 다른 노출 값을 갖는 여러 장의 영상을 취득하고, 이를 한 장의 결과 영상으로 합성하는 것이다. 이 방식의 대표적인 기법이 노출 합성(exposure fusion)이다. 본 논문에서는 기존의 노출 합성에서 발생하는 인지적 손실을 방지하고 세밀한 부분을 효과적으로 보존하기 위해, 노출 합성의 전처리 과정으로써 인간시각체계의 특성을 고려한 노출 조정(exposure adjustment)을 제안한다. 또한 입력 영상의 색상을 결과 영상에 효과적으로 반영하기 위한 CIELAB 색상모델 기반의 가중치 맵을 생성하는 기법을 제안한다.
본 논문의 구성은 다음과 같다. Ⅱ장에서는 제안하는 알고리듬과 관련된 인간시각체계의 특성에 대한 이론과 기존의 노출 합성 기법에 대해 설명한다. Ⅲ장을 통해 제안하는 노출 합성 기법에 대해서 설명하고, Ⅳ장에서는 실험을 통해 기존의 알고리듬과의 주관적인 화질 및 수행 시간을 비교 하여 본 논문의 우수성을 입증한다. Ⅴ장에서는 결론을 제시하며 본 논문을 마무리한다.
Ⅱ. 배경지식 및 관련연구
- 1. 인각시각체계
Ferwerda [1] 에 따르면 인간시각체계는 인지하는 대상의 주변 환경의 밝기에 따라 인지능력이 달라진다. 인지 대상이 매우 어두운 환경에 존재할 경우, 인간의 시각은 색상 차이를 구별하거나 정밀함을 인지하는 능력이 감소하지만 밝기의 차이를 인지하는 능력은 증가한다. 반대로 매우 밝은 환경의 경우 인간의 시각은 색상 차이와 정밀함을 인지하는 능력은 증가하지만 밝기의 차이를 인지하는 능력은 감소한다. Ferwerda는 인간시각체계의 인지 대상이 매우 어둡거나 밝은 환경이 아닌 적정 수준의 밝기 환경에 존재할 경우 인간시각체계는 색상 구별, 정밀함과 밝기의 차이를 인지하는 능력이 양호함을 보인다. 즉 매우 어둡거나 밝은 환경을 인위적으로 중간 밝기 영역으로 옮긴다면 인지할 수 없었던 요소들을 인지할 수 있다.
기존의 노출 영상 합성 기법들은 이러한 특성을 고려하지 않기 때문에 다중 노출 영상이 어두운 환경 또는 밝은 환경에서 취득되었을 경우 결과 영상 내에 인지적 손실이 발생한다. 본 논문에서는 노출 합성 기법의 전처리 과정으로써 입력 다중 노출 영상마다 지역적인 밝기와 정보량을 분석하여 많은 정보량을 포함함과 동시에 매우 밝거나 어두운 영역의 밝기 값을 보정함으로써 인지적 손실을 감소시키는 노출 조정 기법을 제안한다.
- 2. 기존의 노출 합성 기법
여러 장의 좁은 동적 영역을 갖는 영상을 합성하여 넓은 동적 영역을 갖는 한 장의 결과 영상을 생성하기 위한 연구는 오래전부터 진행되었다. Debevec [2] 이 제안한 방식은 서로 다른 노출 값을 갖는 두 장 이상의 좁은 동적 영역 영상을 취득하고, 각 영상의 노출 값과 센서의 조도(irradiance) 값으로부터 카메라 반응 함수(camera response function)를 유도하여 넓은 동적 영역 장면의 복사 휘도(radiance) 맵을 도출한다. 박태장 [3] 은 두 장의 서로 다른 노출 값을 갖는 영상을 이용해 장면의 밝기에 대한 노출 곡선을 유도하여, 영상간의 밝기 변화에 따른 노출 값을 추정하는 기법을 제안한다. Mertens [4] 이 제안한 방식은 각 입력 영상마다 세 가지 특성 요소(quality measure)에 해당하는 대비(contrast), 채도(saturation), 노출(well-exposedness) 영상을 도출한다. 세 가지 특성 요소를 픽셀 단위 곱으로 가중치 맵을 생성한 후, Burt [5] 가 제안한 입력 영상과 가중치 맵을 영상 피라미드를 이용한 다중 해상도 기법을 이용해 한 장의 높은 화질을 갖는 결과 영상을 생성한다. 길태호 [6] 는 영상의 가시성을 향상시키기 위해 근적외선 영상과 컬러 영상을 이용 영상 합성 기법을 제안한다. 류호형 [7] 은 영상 획득 과정에서 발생하는 블러 잡음을 제거하기 위해 IMU 중력 센서와 다중 노출 영상으로부터 블러 커널을 추정하고, 이를 이용한 비균일 디블러 기법을 제안한다. Li [8] 는 입력 다중 노출 영상마다 픽셀단위 밝기 값의 변화량(gradient)과 가중치를 곱한 벡터영역(vector field)을 생성하고, 벡터영역에 대해서 이차함수형태의 최적화 문제(quadratic optimization problem)를 적용하여 디테일 영상을 추출한다. 추출된 디테일 영상은 Mertens의 방식으로 생성한 노출 합성 영상을 더하여 디테일이 개선된 결과 영상을 얻는다. Ma [9] 가 제안한 방식은 입력된 다중 노출 영상을 패치(patch)로 변환하고, 각 패치마다 신호 세기(signal strength), 신호 구조(signal structure), 중간 밝기(mean intensity) 세 가지 요소를 추출한다. 추출된 요소를 이용해 패치 세기(patch strength)와 노출(exposedness) 요소 영상을 유도하고 이 두 가지 요소를 합성하여 노출 합성 영상을 생성한다. 그러나 위에서 언급한 노출 합성 방식들은 인간시각체계의 특성을 고려하지 않고 영상을 합성하기 때문에 결과 영상 내에 인지적인 손실이 발생한다. Peter [10] 는 인근 픽셀간의 밝기 변화량에 따른 인지 능력의 차이에 대한 이론인 베버 법칙을 고려하여 노출 노정을 통해 입력 영상의 노출 값을 보정하는 기법을 제안하였다. 그러나 이 방식은 앞서 언급한 주변 밝기 환경에 대한 인지능력을 고려한 것이 아니고, 밝기 변화량만 고려하여 주변 픽셀간의 관계를 이용하기 때문에 인간시각체계에 의해 발생하는 인지적 손실을 효과적으로 방지하지 못한다. 또한 모든 픽셀에 대해 3x3 평균 마스크 연산, LoG(Laplacian of Gaussian) 마스크 연산을 적용하기 때문에 불필요한 연산이 포함되어 상당히 많은 계산량을 요구한다.
본 논문은 인간시각체계의 특성을 고려하여 입력 다중 노출 영상을 블록단위로 분할한 후, 블록의 특성에 따라 특정 블록의 밝기 값을 적응적으로 보정하여 인지적 손실을 방지하는 노출 조정 기법을 제안한다. 특정 블록에 한해 노출 조정을 적용하기 때문에 Peter의 방식에 비해 적은 계산량을 요구하며 보다 효과적으로 결과 영상내의 어둡거나 밝은 영역의 세밀한 부분을 보존할 수 있다. 그림 1 은 제안하는 알고리듬의 전반적인 흐름도이다.
PPT Slide
Lager Image
제안하는 알고리듬 흐름도 Fig. 1. Rough flow chart of proposed algorithm
Ⅲ. 제안하는 알고리듬
본 논문은 다중 노출 합성의 결과 영상 내의 디테일과 색상을 효과적으로 보존하기 위한 두 가지 기법을 제안한다. 첫 번째 알고리듬은 블록단위의 지역적 특성을 고려한 노출 개선 기법이다. 이 방식은 Ⅱ장 1절에서 언급한 인간 시각체계의 특성을 고려한 노출 조정 기법으로, 이를 통해 극도로 밝은 영역과 어두운 영역의 디테일이 보존된 노출 합성 영상을 얻을 수 있다. 두 번째 알고리듬은 가중치 맵을 생성하기 위해 사용되는 특성 요소 중 개선된 채도 영상을 도출하는 방식이다. 제안하는 알고리듬은 CIELAB 색상 모델을 기반으로 한다. CIELAB 색상모델은 영상을 밝기 성분을 의미하는 L채널과 색차성분을 의미하는 a채널, b채널로 분리하여 영상을 표현한다. RGB 색상모델 영상을 CIELAB 색상모델 영상으로 변환하기 위해선 아래의 과정을 따른다 [11] .
PPT Slide
Lager Image
PPT Slide
Lager Image
RGB 색상모델을 CIELAB 색상모델로 변환하기 위해서는 먼저 수식 (1)과 (2)를 따라 XYZ 색상모델로 변환해야 한다. RGB 각 픽셀마다 변환행렬을 곱하여 XYZ 색상으로 변환한 후, 0과 1사이의 값으로 정규화 시킨다. XYZ 색상모델로 변환한 다음 아래의 과정을 거쳐 CIELAB 색상모델로 변환한다.
PPT Slide
Lager Image
PPT Slide
Lager Image
PPT Slide
Lager Image
수식(3)~(5)에 따라 XYZ색상모델을 CIELAB 색상모델로 변환하면 L채널을 의미하는 L ′은 0부터 100까지의 값을 갖고 a채널과 b채널에 해당하는 a ′, b ′은 –127부터 127까지의 값을 갖는다. 본 논문에서는 각 채널을 8비트 부호없는 정수형 영상으로 다루기 때문에 모든 채널의 값이 0과 255사이의 값을 갖도록 정규화한다.
PPT Slide
Lager Image
- 1. 노출 조정
노출 조정 기법은 인간시각체계가 주변의 밝기 환경에 따라 영상 내의 세밀한 부분과 색상을 인식하는 능력이 다르다는 특성을 이용한다. 즉, 노출 합성 전에 입력 영상들의 지역적인 특성을 고려하여 노출 값을 조정한 후, 조정된 영상을 노출 합성에 적용한다. 제안하는 노출 조정 기법은 세 가지 단계로 구성된다.
- 1.1 분할
분할단계는 입력 영상을 동일한 크기의 블록으로 분할하는 과정이다. 이 단계에서 모든 입력 영상의 L 채널을 서로 겹치지 않는 32x24 크기의 블록으로 나눈다.
- 1.2 검출
검출단계는 블록 단위 히스토그램과 3x3 Laplacian 마스크 연산 [12] 의 절대 합을 이용해 노출 값을 조정할 블록을 검출하는 과정이다. 검출되는 블록은 극도로 밝거나 어두운 픽셀들로 구성되어있으며 외곽선이나 물체의 표면과 같이 많은 양의 고주파 성분을 포함한다. 따라서 검출단계에서는 블록마다 밝기 값 히스토그램을 구하고, 가장 높은 빈도를 갖는 밝기 값을 문턱치(threshold) 값과의 비교를 통해 극도로 밝거나 어두운 블록으로 분류한다.
PPT Slide
Lager Image
B ( n )는 한 장의 입력 영상 내의 n번째 블록을 의미한다. Bd 는 해당 블록이 극도로 어두운 픽셀로 구성된 블록임을 의미하고, Bb 는 극도로 밝은 픽셀로 구성된 블록을 의미한다. bin max 는 해당 블록의 히스토그램에서 최대 빈도수를 갖는 픽셀 값(bin)을 의미한다. 실험을 통해 Thd 는 30, Thb 는 230으로 설정하였다.
다음으로 블록이 갖는 정보량을 계산한다. 이때 연산량을 감소시키기 위해 모든 블록이 아닌 Bd , Bb 에 대해 3x3 Laplacian 마스크 연산의 절대 합을 구한다. 마찬가지로 각 블록의 Laplacian 마스크 연산의 절대 합이 ThHF 보다 높은 경우 해당 블록을 노출 조정 블록으로 결정한다.
PPT Slide
Lager Image
Bselected Bd , Bb 임과 동시에 Laplacian 마스크 연산의 절대 합이 ThHF 이상인 블록을 의미한다.
abs ( • )는 입력된 매개 변수의 절대 값 연산을 의미한다. Laplacian ( B ( n ))은 n번째 블록에 3x3 Laplacian 마스크 연산의 결과를 의미한다. ThHF 는 모든 Bd , Bb 의 누적 Laplacian 절대 합을 Bd , Bb 블록의 개수로 나눈 평균으로 결정하였다.
- 1.3 노출 조정
노출 조정단계는 검출단계에서 결정된 블록에 대해 감마 보정(gamma correction)을 적용하여 해당 블록의 전반적인 밝기를 조정한다. 감마보정은 영상의 전반적인 밝기를 조절하는 대표적인 방법이다. 이 단계 역시 모든 픽셀이 아닌 검출단계에서 선택된 블록에 대해 감마보정을 적용함으로써, 불필요한 과정을 생략하여 연산량을 감소시킨다.
PPT Slide
Lager Image
PPT Slide
Lager Image
d ( x, y )는 노출 값이 조정된 픽셀 값을 의미한다. x, y 는 현재 픽셀의 좌표 값을 의미하고, I ( x, y )는 영상의 픽셀 값을 의미한다. γ 는 감마보정을 적용하지 않는 Bo 의 경우 1.0으로 설정하고, Bd , Bb 의 경우 해당 블록의 우세한 밝기 값과 정보량에 따라 가변적으로 설정한다.
수식 (10)에 따라 γ 는 블록의 상태에 따라 가변적으로 결정된다. LBn 는 n번째 블록의 우세한 밝기 값을 의미하고, 블록 히스토그램에서 최대 빈도수를 갖는 밝기 값으로 결정한다. L max 는 픽셀이 갖는 최대 밝기 값을 의미하고 본 논문에서는 255로 설정하였다. ibfoBn 는 n번째 블록의 정보량으로 검출단계에서 계산한 블록에 대한 Laplacian 마스크 연산의 절대 합을 의미한다. info max 는 한 영상 내에 존재하는 Bd , Bb 이 갖는 정보량 중 최대 정보량을 의미한다. 어두운 블록인 Bd 의 경우, γ 를 1.0 이상으로 설정하여 해당 블록의 밝기 값을 밝게 보정한다. 이때 γ 가 3.0 이상인 경우 원본 영상의 밝기 값이 심하게 왜곡되고 잡음이 증폭되는 현상이 발생하므로 γ 의 최댓값을 2.5 로 설정하였다. 밝은 블록인 Bb 의 경우 γ 를 1.0 이하로 설정하여 전반적인 블록의 밝기를 어둡게 보정한다. 마찬가지로 블록의 우세한 밝기 값과 정보량을 고려하여 γ 을 설정하나, γ 가 0.1 이하의 값을 갖는 경우 원본의 밝기 값이 심하게 왜곡됨으로 최솟값을 0.2로 결정하였다.
그러나 (9)은 각 블록에 대해 독립적인 연산이기 때문에 이를 직접 영상에 적용할 경우 블록킹 현상이 발생한다. 그림 2 의 (b)는 블록킹 현상이 발생한 경우를 보인다. 이와 같은 현상을 제거하기 위해 거리 가중치 함수(distance weighting function)를 이용한 블러링 기법을 도입한다. 거리 가중치 함수를 이용한 블러링 기법은 Duan [13] 이 제안한 개선된 지역 히스토그램 평활화를 이용한 톤 매핑 기법에서 블록킹 현상을 제거하기 위해 사용한 기법이다. 본 논문에서는 Duan의 기법을 감마보정에 적합하도록 개선하여 적용한다. 거리 가중치 함수를 이용한 블러링 기법은 수식 (11)와 같다.
PPT Slide
Lager Image
노출 조정 결과 영상 (a) 입력 영상 (b) 블록킹 현상이 발생한 결과 영상 (c) 블록킹 현상을 제거한 결과 영상 Fig. 2. Exposure adjustment result (a) original input LDR image (b) result image with blocking artifacts (c) result image without blocking artifacts
PPT Slide
Lager Image
k 는 현재 블록과 이웃한 블록의 인덱스를 의미하며, 현재 블록을 중심으로 이웃한 5x5 블록을 의미하는 25로 설정하였다. Gamman [ I ( x, y )]는 n번째 블록의 x, y 좌표에 해당하는 픽셀에 수식(9)를 통해 감마보정을 적용한 밝기 값이다. wd ( n )은 거리 가중치 함수를 의미한다. wd ( n )는 아래의 수식을 따른다.
PPT Slide
Lager Image
un 은 현재 픽셀과 이웃한 블록의 중심좌표간의 유클리디언 거리이다. σd 는 스무딩 강도를 결정하는 요소이다. σd 는 Duan의 방식과 마찬가지로 20으로 설정하였다. 그림 2 의 (c)는 영상 거리 가중치 함수를 이용한 블러링 기법을 적용해 블록킹 현상이 제거된 영상이다. 본 논문에서는 연산량을 감소시키기 위해 미리 계산해 놓은 wd ( n ) LUT (look up table)을 이용하였다.
- 2. 특성 요소 추출 및 가중치 맵 생성 과정
특성 요소 추출 및 가중치 맵 생성 과정(quality measure processing)은 노출 값이 조정된 영상마다 특성 요소를 추출하고 가중치 맵을 생성하는 과정이다. 본 논문은 가중치 맵을 생성하기 위한 특성 요소로 대비(constrast), 채도(saturation) 특성 요소를 사용한다.
대비 특성 요소는 영상 내의 밝기 값 대비가 존재하는 영역을 의미한다. 본 논문은 대비 특성 요소를 도출하기 위해 노출 조정 영상에 Laplacian 마스크 연산을 적용하고 절대 값 연산을 취한다. 아래의 수식에서 C 는 대비 특성 요소를 의미하고, L *는 수식 (11)을 통해 노출 조정된 L채널 영상을 의미한다.
PPT Slide
Lager Image
채도 특성 요소는 영상 내에서 적절하게 포화된(saturated) 영역을 나타낸다. 적절하게 포화된 영역은 픽셀 자체의 색상 값을 보존한다. 그러나 과포화(over-saturated)된 영역의 경우 카메라로부터 많은 노출 값을 받은 픽셀로 구성되어 해당 영역의 대부분의 픽셀의 색상은 하얀 색으로 표시된다. 저포화(under-saturated)된 영역은 카메라로부터 적은 노출 값을 받으므로 대부분의 픽셀은 검은 색으로 표시된다. 채도 특성 요소를 생성하기 위해 입력 영상에 아래와 같은 수식을 적용한다.
PPT Slide
Lager Image
S 는 채도 특성 요소를 의미하고, a *와 b *는 각각 CIELAB 색상모델에서 색차성분에 해당하는 a채널과 b채널을 의미한다. ma mb 는 각각 a채널과 b채널이 갖는 값의 범위 내 중간 값을 의미한다. 본 논문에서는 앞서 a채널과 b채널이 갖는 값의 범위를 0부터 255로 정규화하였기 때문에 ma mb 는 127로 설정하였다.
대비 특성 요소와 채도 특성 요소를 이용해 가중치 맵을 생성한다. 가중치 맵은 아래와 같은 수식에 따라 대비 영상과 채도 영상의 픽셀 단위 곱으로 생성된다.
PPT Slide
Lager Image
PPT Slide
Lager Image
Wxy, i 는 가중치 맵을 의미하고 x,y 는 픽셀의 좌표, i i 번째 입력 영상을 의미한다.
PPT Slide
Lager Image
는 정규화된 가중치 맵을 의미한다. N 은 입력 영상의 개수를 의미한다.
- 3. 합성 과정
합성과정(fusion processing)은 노출 조정된 영상과 정규화 가중치 맵을 이용해 결과 영상을 생성한다. 과정은 Mertens의 방식과 동일하다.
PPT Slide
Lager Image
L [ • ] l 은 입력 매개변수 영상에 대한 l 레벨의 Laplacian 피라미드 영상을 의미하고, G [ • ] l l 레벨의 Gaussian 피라미드 영상을 의미한다. R 은 노출 합성 결과 영상을 의미하며, 최종 결과 영상은 Burt의 방식과 마찬가지로 R 의 Laplacian 피라미드를 복원하여 얻을 수 있다. 컬러영상을 복원하기 위해서는 L *영상에 사용한 것과 동일한 가중치 맵을 a채널과 b채널에 적용하여 수식(17)을 수행하고, 복원된 각 채널을 하나로 합쳐 CIELAB 색상모델 영상으로 복원한다.
Ⅳ. 실험 결과 및 분석
본 실험은 제안하는 알고리듬과 기존의 대표적인 노출 합성 알고리듬과의 주관적 화질, MEF-SSIM, 수행 시간 비교를 통해 진행하였다. 실험 영상으로는 Peter가 사용한 실험 영상과 동일하게 Yeganeh [14] 이 사용한 7개의 실험 영상 시퀀스을 사용하였고, 추가로 14개의 넓은 동적 영역 영상을 생성하기 위해 사용된 서로 다른 노출 값을 갖는 좁은 동적 영역 영상 시퀀스를 사용하였다. 제안하는 알고리듬과 비교 노출 합성 알고리듬인 Mertens과 Peter의 방식은 Visual C++와 OpenCV 3.1 라이브러리를 기반으로 구현하였고, 실험은 Window 8.1 64-bit 플랫폼, 인텔 코어 i7-4790 CPU, 8GB RAM 하드웨어 환경에서 수행하였다.
그림 3 은 기존의 노출 합성 알고리듬을 통한 결과 영상과 제안하는 알고리듬에 의해 생성된 결과 영상을 나타낸다. Mertens의 방식은 인각시각체계의 특성을 고려하지 않고, 단순히 RGB 색상모델에서 가중치 맵을 생성하기 때문에 세밀한 부분이 효과적으로 보존되지 않는다. Peter의 방식은 극도로 밝거나 어두운 영역이 아닌 모든 픽셀에 대해 노출 조정을 수행하기 때문에 불필요한 노출 조정 연산이 수행되었다. 또한 기존의 채도 영상이 입력 영상의 색상을 적절하게 반영하지 못하기 때문에 결과 영상의 색상이 효과적으로 보존되지 않는다. 제안하는 방식의 경우 블록기반의 지역적 특성을 고려한 노출 조정을 수행한 후, 노출 합성을 통해 생성된 결과 영상이 다른 알고리듬에 비해 세밀한 부분을 더 잘 보존하는 것을 확인할 수 있다. 그림 3 의 첫 번째 영상의 경우 제안한 알고리듬의 결과에서 건물 외벽과 구름의 디테일의 보존이 다른 알고리듬에 비해 우수함을 확인할 수 있다.
PPT Slide
Lager Image
노출 합성 영상 부분 확대 (a) Mertens[4] 방식 (b) Peter[10] 방식 (c) 제안하는 알고리듬 Fig. 3. Locally extension image of exposure fusion result (a) Mertens[4] (b) Peter[10] (c) proposed algorithm
표 1 은 Mertens, Peter, 제안하는 노출 합성 알고리듬에 대해 MEF-SSIM [15] 을 측정한 결과이다. MEF-SSIM은 노출 합성 알고리듬의 성능을 평가하기 위해 사용되는 객관적인 화질 측정 지표로써 결과 영상을 대비(contrast) 측면과 구조(structure) 측면으로 분석한다. MEF-SSIM이 1.0 에 가까울수록 객관적 화질이 우수함을 나타낸다. MEF-SSIM 측면에서 총 21개의 실험 영상 중 13개의 영상에서 제안하는 알고리듬이 우수함을 보인다.
기존의 알고리듬과 제안하는 알고리듬에 대한 MEF-SSIMTable 1. MEF-SSIM of proposed and conventional algorithm
PPT Slide
Lager Image
기존의 알고리듬과 제안하는 알고리듬에 대한 MEF-SSIM Table 1. MEF-SSIM of proposed and conventional algorithm
표 2 는 Mertens의 알고리듬을 기준으로 Mertens, Peter, 제안하는 알고리듬의 전체적인 수행 시간 비교 결과이다. Mertens는 가중치 맵을 생성하기 위해 대비, 채도, 노출에 해당하는 세 가지 특성 요소를 사용한다. 그러나 Pedersen [16] 에 따르면 노출 특성 요소는 특정 픽셀의 값을 과증폭(over- amplify)시키는 잡음이 발생한다. Peter는 과증폭 잡음을 방지하기 위해 노출 특성 요소를 제외한 대비와 채도 특성 요소를 사용하여 가중치 맵을 생성한다. 그러나 Peter의 방식은 노출 조정 과정에서 모든 픽셀에서 3x3 평균 마스크 연산, LoG 마스크 연산을 수행하기 때문에 상당히 많은 연산량을 요구한다. 따라서 Mertens와 전체적인 알고리듬 수행 시간을 비교하였을 때 상당히 많은 시간이 소요된다. 제안하는 알고리듬은 대비, 채도 요소 두 가지 요소만 사용하기 때문에 가중치 맵을 생성하기 위해 요구되는 계산량이 적을 뿐만 아니라 노출 요소에 의해 발생하는 과증폭 잡음을 방지한다. 그러나 노출 합성의 전처리 과정으로써 노출 조정을 수행하기 때문에 영상의 크기와 특성에 따라 Mertens보다 많은 연산량을 요구한다.
기존의 알고리듬과 제안하는 알고리듬의 전체적인 노출 합성 수행 시간 비교Table 2. Comparing processing time of proposed and conventional algorithm
PPT Slide
Lager Image
기존의 알고리듬과 제안하는 알고리듬의 전체적인 노출 합성 수행 시간 비교 Table 2. Comparing processing time of proposed and conventional algorithm
PPT Slide
Lager Image
주관적 화질 비교 (a) Mertens[4] 방식 (b) Peter[5] 방식 (c) 제안하는 알고리듬 Fig. 4. Subjective comparison (a) Mertens[4] (b) Peter[5] (c) proposed algorithm
표 3 은 제안하는 알고리듬과 Peter의 방식간의 노출 조정 수행 시간 비교 결과이다. 위에서 언급한 것과 같이 Peter의 노출 조정은 모든 픽셀에 대해 3x3 평균 마스크연산과 LoG 마스크 연산을 적용한다. 이 방식은 불필요한 영역까지 마스크 연산을 수행함으로 때문에 상당히 많은 계산량을 초래한다. 제안하는 알고리듬은 블록단위로 지역적 특성을 고려하여 해당 블록만 노출 조정을 수행하기 때문에 불필요한 연산을 감소시켰다.
기존의 알고리듬과 제안하는 알고리듬의 노출 조정 수행 시간 비교Table 3. Comparing exposure adjustment time of proposed and conventional
PPT Slide
Lager Image
기존의 알고리듬과 제안하는 알고리듬의 노출 조정 수행 시간 비교 Table 3. Comparing exposure adjustment time of proposed and conventional
Ⅴ. 결 론
본 논문은 블록단위 지역적 특성을 고려한 노출 조정 기법과 개선된 채도 영상을 이용한 가중치 맵 생성 알고리듬을 제안하였다. 제안하는 노출 조정 기법은 주변 밝기에 따라 밝기 값의 미세한 차이, 색상의 차이, 세밀함을 인지하는 능력이 다른 인간시각체계의 특성을 이용한다. 즉 입력 영상을 블록단위로 분할하고 히스토그램과 감마보정을 이용해 극도로 밝거나 어두운 블록의 노출 값을 조정한다. 또한 제안하는 개선된 채도 영상은 입력 영상내의 포화 영역을 적절히 반영한 가중치 맵을 생성한다. 실험을 통해 주관적인 화질과 수행 시간 비교를 통해 제안하는 알고리듬이 디테일 보존에 효과적이고 자연스러운 영상을 생성함을 확인하였다.
이 논문은 2015년도 정부(미래창조과학부)의 재원으로 한국연구재단의 지원을 받아 수행된 기초연구사업임(NRF-2015R1A2A2A01006004).
BIO
박임재
- 2016년 2월 : 강남대학교 컴퓨터미디어정보공학과 졸업 (학사)
- 2016년 3월 ~ 현재 : 한양대학교 전자컴퓨터통신공학과 (석사과정)
- 주관심분야 : 영상처리, HDR
박대준
- 2011년 2월 : 한양대학교 전자통신컴퓨터공학부 졸업 (학사)
- 2011년 3월 ~ 현재 : 한양대학교 전자컴퓨터통신공학과 석박사통합과정 (박사과정)
- 주관심분야 : 비디오 압축, 영상처리, HDR
정제창
- 1980년 2월 : 서울대학교 전자공학과 (학사)
- 1982년 2월 : KAIST 전기전자공학과 (석사)
- 1990년 : 미국 미시간대학 전기공학과 (공학박사) - 1980년 ~ 1986년 : KBS 기술연구소 연구원 (디지털 및 뉴미디어 연구)
- 1990년 ~ 1991년 : 미국 미시간대학 전기공학과 연구교수 (영상 및 신호처리 연구)
- 1995년 ~ 현재 : 한양대학교 전자컴퓨터통신공학과 교수 (영상통신 및 신호처리 연구실)
- 1990년 12월 : 정보통신부장관상 수상
- 1998년 11월 : 과학기술자상 수상
- 2007년 : IEEE Chester Sall Award 수상
- 2008년 : ETRI Journal Paper Award 수상
- 2011년 5월 : 제 46회 발명의 날 녹조근정훈장 수훈
- 주관심분야 : 영상처리, 영상압축, 3DTV
References
Ferwerda J. A. , Pattanaik S, N. , Shirley P. , Greenberg D. P. 1996 A model of visual adaptation for realistic image synthesis ACM Proceedings of the 23rd annual conference on Computer graphics and interactive techniques 249 - 258
Debevec P. E. , Malik J. 1997 Recovering high dynamic range radiance maps from photographs SIGRAPTH 1997: Proceedings of the 24th annual conference on Computer graphics and interactive techniques 369 - 378
Park T. , Park I. 2011 HDR Image Acquisition from Two LDR Images Journal of Broadcast Engineering 16 (2) 247 - 257    DOI : 10.5909/JEB.2011.16.2.247
Mertens T. , Kautz J. , Van Reeth F. 2009 Exposure fusion: A simple and practical alternative to high dynamic range photography Computer Graphics Forum 28 (1) 161 - 171    DOI : 10.1111/j.1467-8659.2008.01171.x
Burt P. , Adelson E. 1983 The Laplacian pyramid as a compact image code IEEE Transactions on communications 31 (4) 532 - 540    DOI : 10.1109/TCOM.1983.1095851
Kil T. , Cho N. 2016 Image Fusion using RGB and Near Infrared Image Journal of Broadcast Engineering 21 (4) 515 - 524    DOI : 10.5909/JBE.2016.21.4.515
Ryu H. , Song B. 2016 Non-uniform Deblur Algorithm using Gyro Sensor and Different Exposure Image Pair Journal of Broadcast Engineering 21 (2) 200 - 209    DOI : 10.5909/JBE.2016.21.2.200
Li Z. G. , Zheng J. H. , Rahardja S. 2012 Detail-Enhanced Exposure Fusion IEEE Transactions on Image Processing 21 (11) 4672 - 4676    DOI : 10.1109/TIP.2012.2207396
Ma K. , Wang Z. 2015 Multi-exposure image fusion: A patch-wise ap- proach IEEE International Conference on Image Processing 1717 - 1721
Peter S. , Androutsos D. , Kyan M. 2015 Adaptive exposure fusion for high dynamic range imaging IEEE International Conference on. Image Processing 4679 - 4683
Color conversions http://docs.opencv.org/ 3.1.0/de/d25/imgproc_color_conversions.html#color_convert_rgb_lab
Gonzalez R. C. , Woods R. E. 2010 Digital image processing Pearson New Jersey
Duan J. , Bressan M. , Dance C. , Qiu G. 2010 Tone-mapping high dynamic range images by novel histogram adjustment Pattern Recognition 43 (5) 1847 - 1862    DOI : 10.1016/j.patcog.2009.12.006
Yeganeh H. , Wang Z. 2013 Objective quality assessment of tone-mapped images IEEE Transactions on Image Processing 22 (2) 657 - 667    DOI : 10.1109/TIP.2012.2221725
Ma K. , Zeng K. , Wang Z. 2015 Perceptual quality assessment for multi-exposure image fusion IEEE Transactions on Image Processing 24 (11) 3345 - 3356    DOI : 10.1109/TIP.2015.2442920
Pedersen M. 2014 Exposure fusion algorithm based on perceptual contrast and dynamic adjustment of well-exposedness Springer International Publishing International Conference on Image and Signal Processing 183 - 192