Advanced
Elaborate Image Quality Assessment with a Novel Luminance Adaptation Effect Model
Elaborate Image Quality Assessment with a Novel Luminance Adaptation Effect Model
Journal of Broadcast Engineering. 2015. Dec, 20(6): 818-826
Copyright © 2015, The Korean Society of Broadcast Engineers
  • Received : September 02, 2015
  • Accepted : September 23, 2015
  • Published : December 30, 2015
Download
PDF
e-PUB
PubReader
PPT
Export by style
Share
Article
Author
Metrics
Cited by
About the Authors
성 호 배
문 철 김
mkim@ee.kaist.ac.kr

Abstract
인간 시각 체계(Human Visual System: HVS)의 영상 화질 인지 특성을 정교하게 반영하는 객관적 영상 화질 측정(Image Quality Assessment: IQA)방법들이 최근 활발히 연구되어 왔다. 이와 관련된 HVS의 특성 중, 광적응(Luminance Adaptation: LA)효과는 HVS의 왜곡에 대한 민감도가 영상 배경 밝기에 따라 달라지는 특성을 가리키며, 이 효과는 베버의 법칙(Weber’s law) 모델을 통해 많은 IQA 방법들에 반영되어져 왔다. 본 논문에서는 처음으로 이러한 베버의 법칙 모델을 기반으로 하는 기존 IQA 방법들이 LA 효과를 부정확하게 반영해 왔다는 점을 수학적/정신물리학적 분석을 통해 밝힌다. 이러한 분석을 기반으로 우리는 IQA 방법에 LA 효과가 정교하게 적용될 수 있는 새로운 LA 효과 기반 국부 가중치 함수(LA effect-based Local weight Function: LALF)를 제안한다. 우리는 제안 LALF를 SSIM(Structural SIMilarity) 및 PSNR 척도(metric)에 적용하여 제안 방법의 효과를 검증하였다. 실험 결과, LALF가 적용된 SSIM은 기존 SSIM 대비 측정된 주관적 화질 점수와의 스피어 랭크 순위 상관계수 기준 약 5% 포인트가 향상될 정도로 제안 방법의 큰 효과성을 입증하였다. 또한, 제안한 LALF는 PSNR에 적용된 경우에도 기존 PSNR 대비 약 2.5% 포인트의 성능 향상을 보였다.
Keywords
Ⅰ. 서 론
영상의 화질을 객관적으로 측정하는 알고리즘은 영상처리 및 컴퓨터 비전 분야에서 매우 중요하게 사용된다 [1] . 예를 들어, 객관적 영상 화질 측정(Image Quality Assessment: IQA) 방법은 영상 처리 및 컴퓨터 비전 알고리즘을 통해 획득된 복원 영상의 화질을 쉽고 빠르게 측정하기 위한 척도로 사용된다 [2] [3] . 또한, 객관적 IQA 방법은 영상 복원 문제에 있어서 인지적으로 높은 화질 영상을 복원할 때 영상화질 최적화 문제의 목적함수 또는 사전지식으로 사용되거나, 계산 복잡도를 줄이기 위한 국부-선택적인 영상복원 방법에 적용될 수 있다 [4] [5] .
객관적 영상 화질 측정 방법은 참조 영상 정보의 사용가능성 정도에 따라 완전 참조(Full-Reference: FR) IQA 방법, 감소 참조(Reduced-Reference: RR) IQA 방법, 무 참조(No-Reference: NR) IQA 방법으로 나뉜다 [6] . 본 논문에서는 완전 참조 IQA(FR-IQA) 방법만을 다룬다.
PSNR(Peak to Signal Noise Ratio) 및 MSE(Mean Squared Error)는 대표적인 완전 참조 방법으로, 계산이 간단하고 최적화 문제에 적용하기 좋은 수학적 특성들 (예를 들어, 유효 거리 척도성, 미분가능성 및 볼록성)을 가지고 있기 때문에 널리 이용되어 왔다. 그러나 이러한 객관적 FR-IQA 방법은 신호의 통계적 특성에만 의존할 뿐 인간 시각 체계(Human Visual System: HVS)의 인지 화질 특성을 반영하지 않기 때문에, 주관적 화질과의 상관관계가 높지 않다 [1] .
이를 극복하기 위해, 최근 SSIM(Structural SIMilarity)을 포함하여 왜곡 영상에 대한 주관적 인지 화질과 상당히 높은 일관성을 가지는 FR-IQA 방법들이 활발히 연구되어 왔다 [6] - [10] . 이 중 많은 방법들이 배경 밝기에 대한 왜곡 인지 민감도 변화 특성을 반영하기 위해 베버의 법칙(Weber’s law)을 따르는 광적응(Luminance Adaptation: LA) 효과 모델을 도입하였다 [6] - [9] . 베버의 법칙은 인간시각 체계(Human Visual System: HVS)의 영상 신호에 대한 인지 왜곡민감도가 영상의 배경 밝기에 따라 달라지는 특성을 규정하는 것으로써 [11] 식 (1)과 같이 모델링 된다.
PPT Slide
Lager Image
여기서 δ 는 상수이며, Δ L = L y L x 는 영상의 원본 신호의 광도( L x )와 왜곡 신호의 광도( L y )에 대한 HVS의 최소인지 가능 광도 차이의 크기이다. 식 (1)에서 Δ L 은 최소가지차(Just Noticeable Difference: JND) 임계치라고도 하며, 이때 JND 임계치는 HVS가 JND 임계치보다 낮은 왜곡은 인지하지 못한다는 물리적 의미를 가진다 [11] - [15] . 식(1)은 배경 신호의 광도가 커질수록 JND 임계치도 증가한다는 것을 의미한다. 본 논문에서 우리는 기존의 많은 FR-IQA 방법들에 도입된 베버의 법칙 기반 LA 효과 모델들이 실제 LA 효과를 부정확하게 반영하고 있다는 것을 처음으로 제기하며, 그 이유는 아래와 같은 근거로 정리된다.
  • (i) 최근 정신물리학 연구 결과는 식 (1)의 베버의 법칙모델이 실제 실험값에 정교하게 맞추어지지 않는다는 사실을 밝혔다[16]. 대신, Frese는 제곱 법칙(power law) 모델을 제안했고, 제곱 법칙 모델이 베버의 법칙 모델보다 실험값에 훨씬 잘 맞는다는 것을 정신 물리학 실험을 통해 검증했다[16].
  • (ii) 기존 대부분 IQA 방법들은 픽셀 강도(pixel intensity)에 대해 적용되도록 개발되었다. 그러나 베버의 법칙(또는 제곱 법칙) 모델들은 모두 광도(luminance) 영역에서 제안된 모델이다. 감마 교정 함수(gamma correction function)로 인해 광도값과 픽셀 강도 값은 비선형적으로 맵핑되기 때문에 광도 영역에서 개발된 기존 LA 효과 모델들은 픽셀 강도 영역에서는 동일하게 동작하지 않을 수 있다[12].
그림 1 은 대표적인 FR-IQA 방법인 SSIM이 LA 효과를 잘 반영되지 못한다는 것을 단적으로 보인다. 우리는 그림 1 에서, 배경 영역( bg ) 과 중심 영역( R 1 ) 으로 구성된 3개의 단순한 테스트 영상( 그림. 1 -(a), -(b), -(c))을 사용했다. 여기서 3개 테스트 영상의 배경영역( bg )은 공통적으로 8비트-심도 영상 포맷 기준 127의 평균 픽셀 강도 값( μ )을 가지며, 중심 영역( R 1 )은 그림 1 -(a), -(b), -(c)에서 각각 μ = 10, 75, 245의 값을 가지도록 설정 하였다. 각각의 테스트 영상의 중심 영역( R 1 )에 인공 백색 가산 가우시안 노이즈(pseudo-Addictive White Gaussian Noise: AWGN)를 삽입하였다. 그림 1 -(d), -(e), -(f)는 각각 그림 1 -(a), -(b), -(c)로부터 동일한 SSIM 값, 즉 SSIM = 0.9348이 되도록 AWGN을 삽입한 그럼이다. 그림 1 -(d), -(e), -(f)에서 보듯이, 3개 왜곡 영상은 동일한 SSIM 값을 가짐에도 불구하고 R 1 에서 μ = 75의 값을 가지는 그림 1 -(e)와 R 1 에서 μ = 245의 값을 가지는 그림 1 -(f)에서는 왜곡이 쉽게 인지되지만, R 1 에서 μ = 10의 값을 가지는 그림 1 -(d)에서는 왜곡이 상대적으로 덜인지된다. 따라서이그림은SSIM이 LA 효과를정교하게 반영하고 있지 못하고 있다는 것을 명확히 보여준다. 이러한 현상은 대부분 FR-IQA 방법에서도 비슷하게 관찰된다.
PPT Slide
Lager Image
LA 효과가 SSIM에 잘 반영되지 못했다는 것을 보이는 단적인 예 Fig. 1. An simple example for the case that LA effect is not well-reflected into SSIM
본 논문은 위에서 언급한 베버의 법칙 기반 LA 효과 모델이 기존 많은 FR-IQA 방법에 있어서 부정확하게 반영되어 왔다는 점을 보이고, 이에 대한 깊은 분석을 통해 효과적인 해결 방법을 제안한다. 즉, 본 논문은 아래의 2가지 새로운 내용을 포함한다.
  • (i) 우리는 처음으로 기존의 많은 FR-IQA 방법들이 LA 효과를 정교하게 반영하지 못하는 근거를 수학적/정신물리학적 분석을 통해 보인다.
  • (ii)우리는 (i)에서 수행한 심층적인 분석을 기반으로, FR-IQA 방법들에 LA 효과가 정교하게 적용되기 위한 새로운 LA 효과 기반 국부 가중 함수(LA effect-based Local weight Function: LALF)를 제안한다. 이 방법은 FR-IQA가 국부 영상에 대해 예측한 시각적 화질 값을 하나의 전체 영상에 대한 단일 시각적 화질 예측 값으로 풀링할 때, 국부 영상의 예측 화질값 마다 LA효과에 기반하는 적응적인 국부 가중치(local weight)를 할당하도록 한다.
본 논문은 다음과 같이 구성된다. 2장은 SSIM을 포함하는 많은 FR-IQA 방법들에 베버의 법칙 기반 LA효과가 반영되어 있다는 것을 수학적으로 증명한 다음, 수학적/정신 물리학적 분석을 통해 이러한 베버의 법칙기반 FR-IQA 방법들이 실제 LA 효과를 정교하게 반영하지 못한다는 점을 보인다. 3장에서는 2장의 문제를 해결하기 위해 LALF를 제안하며, 이 방법은 FR-IQA 방법에 LA효과가 정교하게 적용될 수 있도록 한다. 4장은 제안하는 LALF를 검증하기 위해 제안 LALF를 SSIM과 PSNR에 결합하여 주관적 화질 예측 성능실험을 수행한다. 5장은 본 논문의 결론을 맺는다.
Ⅱ. 관련 연구
- 1. SSIM의 구조 리뷰
SSIM은 FR-IQA 방법 연구에 있어서 하나의 이정표(mile stone)로 평가되어진다 [1] . 왜냐하면, 이 방법은 ‘HVS는 영상의 구조적 정보를 추출하는데 상당히 적응되어 있다’는 새로운 가정과 원본과 왜곡 신호 간 새로운 유사도 측정 모델을 기반으로 기존 FR-IQA 방법들이 보였던 영상화질 예측 성능을 괄목할 만한 수준으로 향상 시켰기 때문이다 [7] . 위에서 언급한 SSIM의 HVS 특성에 대한 새로운 가정과 유사도 측정 모델은 많은 FR-IQA 방법들에도 동일하게 도입되어 왔기 때문에 [8] - [10] , 본 논문에서는 SSIM의 구조를 먼저 고찰한다. SSIM은 HVS의 광도(luminance), 대비(contrast), 구조(structure) 특징과 관련된 3개의 구성요소들에 대한 유사도 측정 모델들의 곱으로 국부(local) SSIM 값을 측정한다. 원본 영상 X 와 왜곡 영상 Y 에 대한 국부 영상들 x X , y Y 의 국부 SSIM 값은 식 (2)와 같이 계산된다.
PPT Slide
Lager Image
여기서 l (·), c (·), s (·)는 각각 광도, 대비, 구조 대한 유사도 측정 모델을 의미한다. 광도에 대한 유사도 측정 모델은 다음과 같다.
PPT Slide
Lager Image
여기서 μ x , μ y 는 각각 x y 의 평균 픽셀 강도값을 의미하며, C 1 l (·)의 분모가 0이 될 때의 불안정한 결과를 억제하기 위해 도입한 안정화 상수이며, C 1 =(0.01· M ) 2 의 값을 가진다 [7] (여기서 M 은 영상 픽셀강도의 동적범위). 식 (3)의 l (·)은 μ x μ y 가 동일할 때 1의 값을 가지며, μ x , μ y 간 상대적인 값의 차이가 클수록 l (·)은 감소한다. 식 (2)의 c (·)와 s (·)는 아래와 같은 식으로 결합된다.
PPT Slide
Lager Image
여기서 σ x , σ y 는 각각 x y 의 표준 편차값을 의미하며, σ xy x y 간 PLCC(Pearson linear correlation coefficient)이다. 식(4)의 C 2 는 식 (3)의 C 1 과 마찬가지로 cs (·)의 분모에 대한 안정화 상수이며, C 2 =(0.03· M ) 2 의 값을 가진다 [7] . 왜곡 영상 Y 의 전체 국부 영상에 대한 최종 SSIM 값은 모든 국부 SSIM 값을 아래와 같이 평균으로 풀링(pooling)함으로써 얻어진다.
PPT Slide
Lager Image
여기서 j 는 하나의 전체 영상에서 j -번째 국부 영상의 색인이며, J 는 하나의 전체 영상이 가지는 국부 영상의 총 개수를 의미한다.
- 2. SSIM에 반영된 베버의 법칙
SSIM에서 사용되는 식 (3)의 광도 유사도 측정모델은 다른 많은 FR-IQA 방법에서도 동일하게 사용된다 [7] - [9] . 우리는 우선 이러한 FR-IQA 방법들이 베버에 법칙을 반영하고 있다는 사실을 수학적으로 증명한다. 이를 위해, 식 (3)에서 C 1 μ x 2 보다 상대적으로 매우 작은 값이라고 가정한다(즉 C 1 / μ x 2 ≈0). 식 (3)의 μ y μ y = μ x μ 으로 치환한 다음 재정리하면 아래와 같은 식 (6)이 도출된다.
PPT Slide
Lager Image
여기서 l (·)이 고정된 값일 때 Δ μ / μ x 또한 상수여야 하므로 (식 (1)에 따라 Δ μ / μ x 가 상수일 때 베버의 법칙 성립), SSIM을 포함한 많은 FR-IQA 방법들은 베버의 법칙을 따른다고 할 수 있다.
- 3. 기존 FR-IQA 방법에 반영된 LA 효과의 부정확성 원인 분석
식 (3)의 광도 유사도 모델은 실제로 LA 효과를 잘 반영하지 못할 수 있다. 본 논문은 그 이유를 2가지로 분석했다. 첫 번째 이유는, 베버의 법칙 모델은 실제로 다양한 광도에서 측정된 JND 임계치(왜곡 가시성 임계치)를 정교하게 예측하지 못하기 때문이다. Frese는 이러한 사실을 정신 물리학 실험을 통해 증명했다 [16] . Frese는 더 나아가 이를 해결하기 위해 제곱 법칙 (power low) 모델을 새롭게 제안하였고, 제안한 제곱 법칙 모델이 정신 물리학 실험을 통해 측정한 다양한 광도에서의 JND 임계치를 상당히 잘 예측한다는 것을 보였다 [16] . Frese가 제안한 제곱 법칙 모델은 아래 식 (7)과 같다.
PPT Slide
Lager Image
여기서 η , ξ , L Ref 는 모두 양의 값을 가지는 상수이다. 따라서 식 (1)의 베버의 법칙과 비교해 볼 때, 베버의 법칙에서 는 Δ L / L x 가 상수인 반면, 제곱 법칙에서는 Δ L / L x L x 에 대한 단조감소 함수로써 나타난다.
두 번째 이유는, 대부분의 FR-IQA 방법들은 픽셀 강도 영역(pixel intensity domain)에서 계산이 수행되지만, 베버의 법칙(또는 제곱 법칙) 모델은 광도 영역(luminance domain)에서 측정된 실험 결과에 의해 만들어진 모델이기 때문이다. 따라서, 광도 영역의 베버의 법칙(또는 제곱 법칙)은 픽셀 강도 영역에서는 부정확할 수 있다. 픽셀 강도 값과 광도 값은 감마 교정으로 인해 비선형의 관계를 가진다 [12] . 이러한 관계는 감마 교정 함수에 의해 아래와 식 (8)과 같이 표현된다.
PPT Slide
Lager Image
여기서 α , β , γ 는 감마 교정 함수와 관련된 모수이다.
Ⅲ. 정교한 FR-IQA 방법을 위한 LA 효과 모델 제안
- 1. 픽셀 강도 영역에서의 LA효과 모델 유도
대부분의 FR-IQA 방법들이 픽셀 강도 영역에서 동작하기 때문에, 픽셀 강도 영역에서의 LA 효과 모델을 이론적으로 유도할 필요가 있다. 본 논문에서는 이를 위해 식 (7)의 제곱 법칙 모델과 식 (8)의 픽셀 강도-광도의 관계 함수를 이용한다. 식 (8)의 L x μ x 에 각각 L x L μ x μ 를 대입한 다음, 1차 테일러 시리즈 확장(first-order Taylor series expansion)을 수행하면 아래 식 (9)가 도출된다.
PPT Slide
Lager Image
여기서 식(7)의 Δ L 를 식 (9)에 대입하고, 대입한 식에 다시 식 (8)의 L x 를 대입하면 아래 식 (10)과 같은 평균 픽셀 강도에서의 LA 효과에 대한 JND 모델(LA-JND 모델)이 도출된다.
PPT Slide
Lager Image
여기서 a 1 , a 2 , a 3 , a 4 는 본 논문에서 유도된 제안 LA-JND 모델의 모수이다. 식 (10)에서 a 2 ∉{0, 1}일 때 JND 값은 μ x 에 대해 비선형 곡선을 가진다.
우리는 식 (10)의 모수를 찾기 위해 [15] 로부터 다양한 배경 픽셀 강도에 대해 측정된 JND값을 사용하였다. [15] 에서 측정된 값에 대해 최소 자승법(least square solution)을 이용하여 식 (10)의 모수를 예측한 결과, a 1 = -2.655, a 2 = 0.9259, a 3 = -1.709, a 4 = 21.73을 얻었다. 그림 2 [15] 에서 측정된 다양한 배경 픽셀 강도에 대한 JND 임계치와 이에 맞춰진(fitted) 제안 LA-JND 모델의 곡선을 보인다. 그림 2 에서 보듯이, 픽셀 강도 영역에서의 JND 임계치는 중간 크기의 배경 픽셀 강도(배경 밝기가 회색인 경우)에서 가장 낮은 JND 임계치를 가지며, 배경 픽셀 강도가 감소하거나 증가할수록(배경 밝기가 어둡거나 밝아지는 경우) 높은 JND 임계치 가지는 것을 확인할 수 있다. 이 결과는 HVS가 회색의 배경 영역에서 왜곡에 대해 가장 민감하고, 밝기가 어두워지거나 밝아질수록 왜곡에 대한 민감도가 감소한다는 것을 의미한다. 이러한 측정값은 광도 영역에서의 베버의 법칙모델이나 제곱 법칙모델로는 설명되어 질 수 없다. 반면 제안한 식 (10)의 LA-JND 모델은 [15] 의 측정 결과를 매우 정교하게 맞추고 있는 것을 확인할 수 있다. 이는 우리가 유도한 LA-JND 모델이 픽셀 강도 영역에서 측정된 실제 JND값을 정교하게 반영할 수 있는 모델임을 의미한다.
PPT Slide
Lager Image
[15]에서 측정된 JND 임계치와 이에 맞춰진 식 (10)의 제안 LA-JND 모델 곡선 Fig. 2. The measured JND thresholds in [15], and their fitted curve by our LA-JND model in (10)
- 2. 제안하는 LALF
식 (10)의 유도된 LA-JND 모델을 FR-IQA 방법에 효과적으로 적용하기 위해, 우리는 LA 효과 기반 국부 가중 함수(LALF)를 제안한다. 이를 위해 우리는 우선 시각적으로 왜곡에 민감한 영상 국부 영역은 그렇지 않은 국부 영역보다 시각 인지 화질에 있어서 더욱 중요한 역할을 한다고 가정한다. 이는 합리적 가정으로서, 그 이유는 HVS가 시각적으로 왜곡에 민감한 영상 영역에서 왜곡을 더 쉽게 발견할 수 있기 때문이다 [11] - [15] . 왜곡에 대한 시각 민감도는 왜곡-임계치의 역수에 비례하기 때문에 [12] , 제안하는 LALF는 영상 국부 영역( x )에 대해 아래 식 (11)과 같이 모델링 되었다.
PPT Slide
Lager Image
여기서 b >0, p >0는 LALF의 모수이다. 원본 영상( X )과 왜곡 영상( Y )에서 j -번째 국부 영상 영역에 대한 LALF는 각각 w x , w y 의 두 값을 가진다. 이 중 대표 값은 j -번째 국부 영상 영역에 대한 LALF 값 w ( x , y )을 w x w y 중 큰 값으로 결정된다. 결과적으로, FR-IQA 방법이 국부 영역의 영상화질 예측 점수를 풀링할 때, LALF는 국부 영상 영역마다 왜곡 인지 민감도에 따른 적응적인 가중치를 할당함으로써 LA 효과를 효과적으로 FR-IQA 방법에 반영하게 된다. 제안하는 LALF기반 FR-IQA방법은 아래 식 (12)와 같이 표현된다.
PPT Slide
Lager Image
여기서 f (·)는 FR-IQA 방법에서 국부영역에 대해 예측한 화질 점수 값(예를 들어, 식 (2)의 국부 SSIM)을 의미하며, W 는 정규화 요소로 하나의 영상에 대한 모든 j =1, 2,..., J -번째 국부 영상 영역에서 w ( x , y )값들의 총 합이다.
우리는 LALF의 효과를 확인하기 위해 실제 원본과 왜곡 영상의 쌍들에 대한 LALF 맵을 도시한다. 그림 2 는 TID2008 데이터 세트 [17] 에서 획득한 두 쌍의 원본영상 영상( X i ,여기서 i =1, 2 는 i -번째 영상에 대한 색인을 나타냄) 및 AWGN 왜곡 영상( Y i )에 대한 LALF 맵( W i )을 보인다. 여기서 LALF 맵은 가시성 확보를 위해 최소값, 최대값의 범위가 [0,255]가 되도록 조절 되었다. 그림 2 에서 각 영상의 동일한 위치에 존재하는 적색 사각형 영역들과 청색 사각형 영역들은 각각 LALF값이 상대적으로 작은 영역(어둡거나 밝은 밝기를 가지는 영역)과 LALF값이 상대적으로 큰 영역(중간 정도의 밝기를 가지는 영역)을 나타내며, 각각의 작은 박스 우측의 큰 박스는 작은 박스의 영상 영역을 확대한 그림이다. 그림 2 의 원본 영상 (a), (d) 및 왜곡 영상 (b), (e)에서 보듯이, 중간 밝기를 가지는 영역(청색 박스 영역)의 왜곡은 어둡거나 밝은 밝기를 가지는 영역(적색 박스 영역)의 왜곡보다 시각적으로 더욱 확연히 인지되며, 결과적으로 이 영역들은 시각적 화질 열화 인지에 더 크게 기여한다. 그림 2 -(c) 및 -(f)의 LALF 맵들( W 1 , W 2 )은 위에서 분석한 HVS의 시각적 왜곡 민감도 특성과 상당히 일관된 결과를 보이는데, 여기서 LALF는 시각적으로 왜곡에 둔감한 영역(적색 박스 영역)에 대해 상대적으로 낮은 값을 생성하며, 시각적으로 왜곡에 민감한 영역(청색 박스 영역)에 대해서는 상대적으로 높은 값을 생성한다. 따라서 제안하는 LALF는 HVS의 LA 효과를 FR-IQA 방법에 정교하게 반영할 수 있는 방법이 될 수 있다.
PPT Slide
Lager Image
원본영상 영상(Xi, 여기서 i=1, 2) 및 AWGN-왜곡 영상(Yi)에 대한 LALF 맵(Wi) Fig. 2. The LALF maps (Wi, where i=1, 2) obtained from the original images (Xi) and their AWGN-distorted images (Yi)
Ⅳ. 실험 결과
본 논문에서 제안하는 LALF의 성능을 검증하기 위해 주관적 화질 예측 성능 실험을 수행한다. 실험에 사용한 데이터는 TID2008 IQA 데이터로, 이는 25개의 참조 영상에 대해 17 종류의 다른 왜곡 종류를 가지는 총 1700개의 왜곡된 영상과 이 왜곡 영상에 대해 측정한 주관적 화질 점수값(Mean Opinion Score values)을 포함하고 있다 [17] . 제안하는 LALF는 그 성능을 검증하기 위해 SSIM과 PSNR에 적용되었다. LALF가 적용된 SSIM과 PSNR은 원래의 방법들과의 구분을 위해 LA-SSIM, LA-PSNR으로 표기된다. SSIM의 경우 식 (3)의 광도 유사도 측정 모델이 부정확하게 LA 효과를 반영하고 있기 때문에, 광도 유사도 측정 모델을 LA-SSIM 계산에서 제거하였다. 본 논문에서는 실험적으로 LA-SSIM에 대한 LALF의 모수를 b =1.5×10 -3 , p = 1로, LA-PSNR에 대한 LALF의 모수를 b = p = 0.55으로 설정하였다.
성능 검증을 위해, 본 논문에서는 4개의 성능 지표를 도입하였다: SROC(Spearman Rank-Order Correlation coefficient), KROC(Kendall Rank-Order Correlation coefficients), PLCC(Pearson Linear Correlation coefficient), RMSE(Root Mean Squared Error). 여기서 SROC, KROC, PLCC는 IQA 방법을 이용해 예측한 화질 값과 실제 측정한 주관적 화질 값 간의 상관도를 나타내는 것으로, 클 값을 가질수록 IQA방법이 더 좋은 성능을 가진다고 할 수 있다. 반면 RMSE(Root Mean Squared Error)의 경우 IQA 방법으로 예측한 결과 값과 실제 측정한 주관적 화질 점수 간 평균 유클리디언 거리를 나타내는 것으로, 이 거리가 0에 가까울수록 IQA 방법이 주관적 화질 점수를 더 정확하게 예측한다고 할 수 있다. FR-IQA 방법의 예측된 값과 실제 측정한 주관적 화질 점수 간 단조-비선형 관계를 가질 수 있기 때문에, 로지스틱 회귀 모델 [18] 을 사용하여 예측한 화질값을 측정값 주관적 화질 점수에 매핑한 후 PLCC와 RMSE을 측정하였다. 4가지 성능 측정 지표 중, SROC가 FR-IQA 방법의 성능을 측정하기 위한 대표적인 성능 지표로 사용된다 [6] .
표 1 은 TID2008 데이터베이스 상에서 기존 SSIM, PSNR과 제안하는 LA-SSIM, LA-PSNR의 성능 비교를 보인다. 여기서 기존 FR-IQA 방법과 LALF가 적용 된 제안하는 FR-IQA 방법 중 더 좋은 성능은 굵은 글씨로 강조되었다.
TID2008 데이터베이스 상에서의 기존 SSIM(PSNR)과 LA-SSIM (LA-PSNR)간 성능 비교Table 1. Performance comparison on TID2013 database between SSIM (PSNR) and LA-SSIM (LA-PSNR)
PPT Slide
Lager Image
TID2008 데이터베이스 상에서의 기존 SSIM(PSNR)과 LA-SSIM (LA-PSNR)간 성능 비교 Table 1. Performance comparison on TID2013 database between SSIM (PSNR) and LA-SSIM (LA-PSNR)
표 1 에서 보이듯이, 제안하는 LA-SSIM 및 LA-PSNR은 기존 SSIM 및 PSNR 대비 모든 성능 측정 지표들(SROC, KROC, PLCC 및 RMSE)에서 성능 향상을 보였다. 특히 SSIM의 경우, 기존 LA-SSIM 대비 SROC 기준 약 5% 포인트의 큰 성능 향상을 보였다. LA-PSNR의 경우도 마찬가지로 기존 PSNR 대비 SROC 기준 약 2.5% 포인트의 성능 향상을 보였다.
Ⅴ. 결 론
본 논문에서는 처음으로 기존 베버의 법칙 모델 기반 LA 효과 모델이 픽셀 강도 영역에서 부정확하게 동작하는 이유를 분석하고, 이 분석을 기반으로 새로운 픽셀 강도 기반 LA 효과 모델을 감마 교정 함수와 제곱-법칙 모델로부터 유도하였다. 유도한 픽셀 강도 기반 LA 효과 모델을 이용해 우리는 LA효과를 FR-IQA 방법에 정교하게 적용할 수 있는 LALF를 제안하였다. 제안하는 LALF의 효과를 검증하기 위해 제안 LALF를 SSIM과 PSNR에 적용한 다음 주적 화질 예측 성능 실험을 수행하였다. 실험 결과, 제안하는 LALF가 적용된 SSIM과 PSNR이 그렇지 않은 기존 방법들 대비 훨씬 더 강력한 주관적 화질 점수 예측력을 보였다. 이 결과는 제안하는 픽셀 강도 영역에서의 LA 효과 모델을 기반으로 하는 LALF로 인해 LA 효과가 FR-IQA 방법들에 매우 효과적으로 반영되었다는 것을 의미한다.
BIO
배 성 호
- 2011년 2월 : 경희대학교 컴퓨터공학 및 전자공학과 학사
- 2012년 8월 : 한국과학기술원 전기및전자공학부 석사
- 2012년 9월 ~ 현재 : 한국과학기술원 전기및전자공학부 박사과정
- ORCID : http://orcid.org/0000-0000-8961-7204
- 주관심분야 : Human Visual Perception based Computational Vision
김 문 철
- 1989년 2월 : 경북대학교 전자공학과 학사
- 1992년 12월 : University of Florida, Dept. of Electrical and Computer Engineering, 석사
- 1996년 8월 : University of Florida, Dept. of Electrical and Computer Engineering, 박사
- 1997년 1월 ~ 2001년 1월 : 한국전자통신연구원 방송미디어 연구부, 선임연구원
- 2001년 2월 ~ 2009년 2월 : 한국정보통신대학교 공학부 조교수/부교수
- 2009년 3월 ~ 현재 : 한국과학기술원 전기및전자공학부 부교수/정교수
- ORCID : http://orcid.org/0000-0003-0146-5419
- 주관심분야 : Perceptual Video Coding, SDR/HDR Image/Video Quality Assessment and Modeling, Super-Resolution, Image/Video Analysis and Understanding, Pattern Recognition, Machine Learning
References
Wang Z. , Bovik A. C. 2009 “Mean squared error: Love it or leave it? A new look at signal fidelity measures,” IEEE Signal Process. Mag. 26 (1) 98 - 117    DOI : 10.1109/MSP.2008.930649
Bae S.-H. , Kim J. , Kim M. , Cho S. H. , Choi J. S. 2013 “Assessments of subjective video quality on HEVC-encoded 4K-UHD video for beyond-HDTV broadcasting services,” IEEE Trans. on Broadcast. 59 (2) 209 - 222    DOI : 10.1109/TBC.2013.2247171
Choi J.-S. , Bae S.-H. , Kim M. “Single image super-resolution based on self-examples using context-dependent subpatches,” IEEE Int. Conf. on Image Proc Sept. 27-30, 2015 accepted for publication
Choi J.-S. , Bae S.-H. , Kim M. “A no-reference perceptual blurriness metric based fast super-resolution of still pictures using sparse representation,” Proc. SPIE Mar. 2015 vol. 9401 94010N.1 - 94010N.7
Kim J. , Bae S.-H. , Kim M. 2014 “An HEVC-compliant perceptual video coding scheme based on JND models for variable block-sized transform kernels,” IEEE Trans. Circuits Syst. Video Technol. in press
Zhang L. , Zhang L. , Mou X. , Zhang D. “A comprehensive evaluation of full reference image quality assessment algorithms,” Proc. 19th IEEE Int. Conf. Image Process. Sep./Oct. 2012 1477 - 1480
Wang Z. , Bovik A. C. , Sheikh H. R. , Simoncelli E. P. 2004 “Image quality assessment: from error visibility to structural similarity,” IEEE Trans. on Image Process. 13 600 - 612    DOI : 10.1109/TIP.2003.819861
Wang Z. , Li Q. 2011 “Information content weighting for perceptual image quality assessment,” IEEE Trans. Image Process. 20 (5) 1185 - 1198    DOI : 10.1109/TIP.2010.2092435
Wang Z. , Simoncelli E. P. , Bovik A. C. “Multiscale structural similarity for image quality assessment,” Proc. 37th Asilomar Conf. Signals, Syst., Comput. Nov. 2003 1398 - 1402
Bae S.-H. , Kim M. “A novel image quality assessment based on an adaptive feature for image characteristics and distortion types,” Dec. 13-16, 2015 IEEE Video Comm. and Image Proc. accepted for publication
Bae S.-H , Kim M. 2013 “A novel DCT-based JND model for luminance adaptation effect in DCT frequency,” IEEE Signal Process. Lett. 20 (9) 893 - 896    DOI : 10.1109/LSP.2013.2272193
Wei Z. , Ngan K. N. 2009 “Spatio-temporal just noticeable distortion profile for grey scale image/video in DCT domain,” IEEE Trans. Circuits Syst. Video Technol. 19 (3) 337 - 346    DOI : 10.1109/TCSVT.2009.2013518
Bae S.-H. , Kim M. “A new DCT-based JND model of monochrome images for contrast masking effects with texture complexity and frequency,” IEEE Int. Conf. on Image Proc Melborne, Australia Sept. 15-18, 2013 431 - 434
Bae S.-H , Kim M. 2014 “A novel generalized DCT-based JND profile based on an elaborate CM-JND model for variable block-sized transforms in monochrome images,” IEEE Trans. on Image Process. 23 (8)
Chou C.-H. , Li Y.-C. 1995 “A perceptually tuned subband image coder based on the measure of just-noticeable distortion profile,” IEEE Trans. Circuits Syst. Video Technol. 5 (6) 467 - 476    DOI : 10.1109/76.475889
Frese T. , Bouman C. A. , Allebach J. P. “A methodology for designing image similarity metrics based on human visual system models,” Proc. SPIE 1997 vol. 3016 472 - 483
Ponomarenko N. , Lukin V. , Zelensky A. , Egiazarian K. , Carli M. , Battisti F. 2009 “TID2008-A database for evaluation of full-reference visual quality assessment metrics,” Adv. Modern Radioelectron. 10 30 - 45
2000 Final Report From the Video Quality Experts Group on the Validation of Objective Models of Video Quality Assessment VQEG. Available: