Advanced
Adaptive Image Interpolation Using Pixel Embedding
Adaptive Image Interpolation Using Pixel Embedding
Journal of Korea Multimedia Society. 2014. Dec, 17(12): 1393-1401
Copyright © 2014, Korea Multimedia Society
  • Received : September 15, 2014
  • Accepted : October 20, 2014
  • Published : December 30, 2014
Download
PDF
e-PUB
PubReader
PPT
Export by style
Share
Article
Author
Metrics
Cited by
TagCloud
About the Authors
규필 한
Dept. of Computer Eng., Kumoh Nat’l Institute of Tech.
kphan@kumoh.ac.kr
길호 오
Dept. of Computer Eng., Kumoh Nat’l Institute of Tech.

Abstract
This paper presents an adaptive image interpolation method using a pixel-based neighbor embedding which is modified from the patch-based neighbor embedding of contemporary super resolution algorithms. Conventional interpolation methods for high resolution detect at least 16-directional edges in order to remove zig-zaging effects and selectively choose the interpolation strategy according to the direction and value of edge. Thus, they require much computation and high complexity. In order to develop a simple interpolation method preserving edge’s directional shape, the proposed algorithm adopts the simplest Haar wavelet and suggests a new pixel-based embedding scheme. First, the low-quality image but high resolution, magnified into 1 octave above, is acquired using an adaptive 8-directional interpolation based on the high frequency coefficients of the wavelet transform. Thereafter, the pixel embedding process updates a high resolution pixel of the magnified image with the weighted sum of the best matched pixel value, which is searched at its low resolution image. As the results, the proposed scheme is simple and removes zig-zaging effects without any additional process.
Keywords
1. 서 론
최근 SD(standard definition)급의 공중파 텔레비전 방송 송출이 중단되고 대부분의 멀티미디어 장치들이 full HD(high definition)급으로 변경되고 있다. 또한, 텔레비전 제조사들은 한발 더 나아가 full HD의 4배(4K) 해상도인 UHD(ultra HD) TV를 앞 다투어 출시하고 있는 상황이다. 그러나, UHD급 수상기의 보급이 확대되어도 동급으로의 방송장비 교체가 이루어져야지만 사용자들이 진정한 UHD 방송 화질을 접할 수 있을 것이다 [1] . 그러므로, 과거 HD급 수상기의 보급은 이루어졌지만 SD급 방송을 송신할 때와 마찬가지로, UHD급 수상기에는 full HD급 LR(low resolution) 영상을 열화(degradation) 없이 UHD급 HR(high resolution) 영상으로 확대할 수 있는 보간(interpolation)기법이 필요할 것이다. 10여년전 SD영상을 HD로 변환할 때의 영상 크기는 현재보다 매우 작았고 프레임 활성화율도 낮았지만, 현재 TV는 영상의 크기뿐만 아니라 프레임 활성화율도 120~240Hz로 높기 때문에 UHD 화질을 얻기 위해서는 고속 및 고성능의 영상보간 기법이 필요하다.
전통적인 보간기법은 고려하는 주변 화소의 폭에 따라 0차에서 3차까지 활용되고 있으며, 이 중에서 양방향 1차(bi-linear)와 3차(bi-cubic) 보간법이 많이 사용되고 있다 [2] . 차수가 낮을수록 속도는 빠르지만 블록현상(block artifact)의 발생이 심하며, 고차에서는 경계(edge)영역에서 고주파성분이 많이 차단되어 선명도가 떨어지는 단점이 있다. 또한, 차수와 무관하게 대부분의 보간법은 수평 및 수직 양방향(bi-direction)만 고려하므로 경계부분의 화질열화가 심하다. 그러므로, 경계를 보존하는 다양한 보간 및 복원기법들이 제안되었다 [2 - 5] . 이들은 영상에서 경계를 추출하여 그 방향에 적합한 보간기법을 선택적으로 사용하기 때문에 성능은 개선되었지만 계산량이 많다는 단점이 있다.
최근 10년 동안 HD급 멀티미디어 장비들이 보편화됨에 따라, 많은 연구자들은 초고해상도인 수퍼해상도(SR : super resolution) 분야 연구를 활발히 하고 있다. 왜냐하면, 현재 반도체 기술이 광학 필름해상도에 근접하는 영상 센서의 크기 40μm 2 (0.35μm CMOS공정)를 추월하였지만, 인간은 보다 더 높은 해상도를 요구하기 때문이다 [5] . 과거 SR 연구는 여러 장의 LR영상으로부터 한 장의 SR영상을 얻는 방법 [6] 이 보편적이었으나, 최근 한 장의 LR영상에서 SR영상을 획득하는 방법이 다양하게 제시되고 [7 - 10] 있어서 영상보간과 SR 영상복원기법의 경계가 불분명해지고 있다. 한 장의 LR영상에서 SR영상을 복원하는 기법은 데이터베이스에 다양한 SR영상을 보관한 후, LR영상의 특정 patch에 가장 적합한 SR영상 부분의 예제를 활용하여 LR영상을 확대 및 갱신한다. 복원 과정에서 학습 [7 - 9] 과 구조적 해석 [7 , 10] 등을 이용하고 최적 예제 patch 화소에 가중치를 두어 현재 patch 화소 값을 이웃삽입(neighbor embedding) 방식으로 갱신한다. 이들 방식은 데이터베이스에 저장된 예제 영상을 작은 patch로 분리하는 과정, 저해상도로 변환하는 과정, 영상 정합을 통해 가장 적합한 예제를 찾는 과정 및 patch 갱신과정 등에서 막대한 계산시간이 요구되므로 시간제약이 없는 곳에서 활용되고 있다.
본 논문에서는 HD급 해상도 영상으로부터 4K또는 16K급의 초고해상도 영상을 획득하는 환경에 적용가능하게 하기 위해, 기존의 SR분야에서 활용되는 패치기반 이웃삽입 기법을 화소기반에 변형적용하여 부수적인 처리없이 경계부분의 계단현상이 나타나지 않는 단순한 보간기법을 제시하려고 한다.
2. 관련 연구
- 2.1 영상보간기법
전통적인 보간기법의 단점을 보완하기 위해, 경계의 방향을 활용하는 방법 중, 본 절에서는 참고문헌 [2] (방법 1)과 [3 , 4] (방법 2)의 방법을 언급하기로 한다. 각 방법의 순서는 다음과 같다.
[방법1]
1) LR영상에서 local covariance를 계산함
2) LR영상을 HR영상으로 split함[ X ( i , j ) = Y (2 i , 2 j )], 여기서 X H × W 크기의 LR영상이고 Y 는 2 H ×2 W 크기의 HR영상임(0≤ i H , 0≤ j W )
3) 수평/수직 방향의 홀수점 Y (2 i +1, 2 j +1)을 LR영상의 local covariance와 동일한 HR영상의 covariance 계수를 기하학적 쌍대성(geometric duality) 성질을 적용하여 예측함, 이 때 평가척도는 MMSE(minimum mean squared error)를 이용함
[방법2]
1) LR영상이 래스터 스캔으로 입력될 때, 현재 화소이전에 입력된 주변점(past causal neighbors)을 이용하여 예측모델을 정의함, 현재 화소 위치가 ( i , j )이면 주변점은 ( i -1, j -1),( i -1, j ),( i -1, j +1),( i , j -1)임
2) 모든 화소에서 1)과정의 국부평균과 분산을 계산하여 평균보다 큰 화소와 작은 화소 그룹으로 분리한 후, 각각 그룹의 평균과 분산을 계산하여 그룹별 평균과 분산을 이용하여 경계를 판단함.(참고문헌 [4] 의 경우는 Sobel연산자를 이용하여 경계를 추출함)
3) 경계화소의 경우, 경계방향을 추출하여 방향성 보간을 적용하고 비경계화소는 bi-linear 보간을 적용함
방법 1은 경계방향 정보를 보간기법에 처음 적용 하였지만, 보간기법을 제외하더라도 기하학적 규칙성을 계산하기 위해 covariance 행렬의 국부 고려폭이 M 인 경우, LR영상에서 M 2 × H × W 만큼의 계산이 필요하다 [3] . 방법 2(참고문헌 [3] 의 경우)는 경계 예측을 위해 4개의 화소가 활용되어져서 복잡도가 방법 1에 비해 감소되었지만, 4개화소의 평균과 분산 및 2개(평균보다 큰 화소 및 작은 화소들) 그룹의 평균과 분산을 다시 계산하므로 여전히 계산량이 많다. 또한 이들의 결과를 보면, 경계의 방향성이 45° 간격으로 보간된 것 같은 특징이 있어 방향성 분해능력을 선할 필요가 있다. 참고문헌 [4] 의 방법 2의 경우에는 Sobel 연산자를 사용하므로 tan -1 (수직강도/수평강도) 함수를 활용하면 연속적인 경계 방향을 얻을수 있지만, 이 방법 또한 계산량이 크게 감소되지는 않는다.
- 2.2 수퍼해상도 기법
과거 SR기법은 연속적인 프레임이나 동일 위치에서 획득된 여러 장의 LR 영상에서 ‘관측 위치가 미세하게 이동되었다는 가정’하에서 소수점(sub-pixel) 단위의 이동 위치를 영상 정합으로 찾은 후, 확대된 정수 차원의 HR 영상을 획득한다 [5 , 6] . SR 복원 기법은 전통적으로 nonuniform interpolation, frequency domain, regularization 접근법 등으로 나누어지며 [5] , 최근에는 아래와 같이 이웃삽입을 이용한 예제 기반 접근방법이 제시되고 있다 [7 - 10] .
[예제기반 SR 복원 방법]
1) 입력 LR영상은 M × M , 예제 SR영상은 2 M ×2 M patch로 분할하고, SR영상의 patch를 decimation 하여 M × M patch를 획득함(이와 반대로 LR영상을 보간하여 2 M ×2 M patch를 획득하는 경우도 있음 [9] )
2) 각 patch에서 특징(경계정보, 주파수성분, 히스토그램, 평균 및 분산 등)을 추출하여 여러 그룹으로 분류함
3) 최적의 patch를 탐색하고 patch를 구성하는 각 화소에 대해 embedding 가중치를 학습하거나 Maximum likelihood 또는 최소비용 함수를 사용하여 예측한 뒤, 기존 LR patch가 단순 보간법으로 확대된 2 M ×2 M patch를 갱신하여 SR patch를 복원함
예제기반 SR 복원은 Freeman [7] 에 의해 처음 제시된 후, 현재까지 다양한 연구가 진행되어오고 있지만 기본적인 알고리즘 순서는 유사하다. 이들의 결과는 데이터베이스에 확보된 예제에 의존적이며 [7] 1장에서 언급된 것과 같이 많은 계산량을 요구한다는 단점이 있다.
3. 제안한 적응적 영상보간 기법
제안한 기법은 Fig. 1 에서와 같이 3단계로 구성된다. 먼저 LR영상에서 경계정보를 빠르게 추출하기 위해서 가장 단순한 Haar 웨이브릿 변환을 거친다. 그 다음 웨이브릿 변환의 HH, HL 및 LH 채널 값에따라 방향성 적응보간을 수행한 후 초기 HR영상을 획득한다. 마지막으로 초기 HR 영상의 각 화소는 LR 영상의 인접 위치에서 정합오차가 가장 작은 patch의 중심 화소 값과의 가중치 합으로 갱신된다.
PPT Slide
Lager Image
Block diagram of the proposed algorithm.
- 3.1. Haar wavelet transform
Haar 웨이브릿 변환은 잘 알려진 것과 같이 산업계에서 유일하게 사용되는 웨이브릿 변환이며 JPEG 2000 표준안에 포함된 가장 단순한 웨이브릿 변환이다. Haar 웨이브릿의 1D analysis 필터는
PPT Slide
Lager Image
와 같이 표현되고 기본적으로 2-화소 단위로 계산된 다. 2D 영상의 경우 2×2 블록당 수평방향의 2행에 대한 h ( n )의 상승적분(convolution)은 평균계산과 같기 때문에 덧셈 2회와 나눗셈(bit shift 연산으로 구현가능) 2회, g ( n )은 평균과의 차이이므로 뺄셈 2회가 필요하다. 이 결과에 대해 수직방향의 2열에 동일하게 적용하면, 2×2 블록(4-화소)당 총 12번의 연산이 적용되므로 화소당 3회의 평균연산량이 필요하다. 기존의 경계 방향성을 이용한 기법 중 가장 단순한 기법은 Sobel 연산자를 활용하는 경우인데, Sobel 연산자는 1화소당 3×3크기의 수평 및 수직 윈도우를 각각 상승적분해야 한다. 영상 좌표 ( x , y )에서의 수평 및 수직 경계 강도를 각각 Sh , Sv 라고 한다면, 식 (2) 및 (3)과 같이 경계 강도( Es )와 각도( Ea )를 다시 계산해야만 하므로 Haar 웨이브릿 보다 많은 계산량을 요구한다.
PPT Slide
Lager Image
PPT Slide
Lager Image
Sobel 연산자와 식(3)을 이용하면, 연속적인 경계의 각도를 계산할 수 있다는 장점이 있다. 그러나, 제안한 기법은 웨이브릿 변환을 사용하여 HL채널에서는 수직경계, LH채널에서는 수평경계 그리고 HH채널에서는 대각선 경계 정보를 추출하므로 Fig. 2 (b)에서처럼 8-방향 경계 정보만을 활용할 수 있다는 단점이 있지만, 최종 단계인 화소 삽입 단에서 부족한 경계 방향성이 보상되므로, 단순하면서 연속적인 경계 방향이 고려된 효과가 있다.
PPT Slide
Lager Image
Diagram of the adaptive directional interpolation. (a) LR image (b) Interpolation neighbors in HR image.
- 3.2 적응적 영상보간
LR 영상으로부터 초기 HR영상을 얻기 위해서 Haar 웨이브릿 변환의 고주파 성분인 HL, LH, HH 채널 값을 이용하여 아래와 같이 4단계의 적응보간 과정을 거친다. up-sample된 4개 화소사이에 12개의 화소가 보간되므로, 2×2 LR영상의 4개 화소( Fig. 2 (a))가 4×4 HR영상의 16개 화소( Fig. 2 (b))가 된다.
Step 1. LR영상을 1옥타브(↑2) up-sampling하여 split함
Step 2. HH 채널 값을 이용하여 홀수 행과 열의 4개 화소에 대해서 대각선 방향 보간을 수행함
Step 3. LH 채널 값을 이용하여 짝수 행 및 홀수열의 4개 화소에 대해서 수평방향 보간을 수행함
Step 4. HL 채널 값을 이용하여 홀수 행 및 짝수열의 4개 화소에 대해서 수직방향 보간을 수행함
웨이브릿 변환에서 대각선 경계정보를 포함하는 HH 채널 값은 수평 및 수직정보가 포함된 LH 및 HL 채널에서도 응답이 나타나므로, 중복 보간을 피하기 위해 가장 먼저 대각선 보간을 수행한다. Fig. 2 (b)의 3개의 회색 사각형 블록은 웨이브릿 변환의 down scaling 함수에 의해 불연속이 발생되는 부화소(sub-pixel) 영역이다. 이는 down sampling 연산이 생략된 RDWT(redundant discrete wavelet transform) 방법으로 최초 제안된 algorithme à trous [11] 를 사용하면 불연속 블록을 제거할 수 있다. 그러나 웨이브릿 변환 연산이 4배 증가되는 단점이 있으므로, 본 논문에서는 보간 기법의 단순화를 위해서 LR영상의 화소가 확장된 흰색 블록의 HL, LH, HH 채널 값을 3개의 불연속 회색 부화소 영역의 경계정보로 활용하여 초기 HR영상에 보간하게 하였다.
방향성 적응보간은 고주파 성분 값이 문턱치 이상인 강한 경계에 대해서 경계 방향으로 1차 보간을 적용한다. 왜냐하면 경계 방향을 가로질러 보간을 수행할 경우, 경계가 무너지거나 계단현상이 발생되기 때문이다 [2] . Fig. 2 (b)에서처럼, HR 영상에서 1옥타브로 up-sampling된 점들 사이의 12개의 점을 Step 2~4에 각각 해당하는 d, h, v 그룹으로 분류한다. 먼저 d 그룹에 속한 화소 dn (1≤ n ≤4)은 Fig. 3에서처럼 대각선으로 가장 가깝게 up-sample된 4개의 화소 pi 를(1≤ i ≤4) 활용하여
PPT Slide
Lager Image
와 같이 계산된다. 여기서 fHH THd 는 각각 웨이브릿 변환의 HH채널 값과 대각선 경계 판단 문턱치이다. 그러므로, 식(4)는 대각선 경계로 판단된 화소의 대각선 방향으로 1차선형보간을 수행하고 평탄영역이면 양방향 1차선형보간을 수행한다.
다음 단계의 수평방향 보간은 식(5)에서처럼 수평 경계발생시( fLH > THh ) 경계방향으로 1차보간을 수행한다. h 그룹에 속한 한 화소 h 1 의 수평 인접화소가 p 1 p 2 라고 한다면,
PPT Slide
Lager Image
와 같이 계산되며, fLH 는 웨이브릿 변환의 LH채널 값이고 THh 는 수평 경계 판단 문턱치이다. Fig. 3의 수직보간에 해당하는 v 1 은 식(6)과 같으며, 개념은 식(5)와 동일하다.
PPT Slide
Lager Image
식(5)와 (6)이 적용되면 수평과 수직 방향의 평탄 화소만 남게 되는데, 식(4)에 의해 모든 대각선 화소가 계산되었으므로 이들 화소들은 기존 양방향 1차 선형보간을 수행하여 Fig. 4 (c)와 같이 초기 HR영상을 획득한다.
PPT Slide
Lager Image
Aquisition steps of the initial HR image. (a) Upsampling (b) Diagonal interpolation (c) Horizontal/vertical interpolation.
Fig. 4 5 는 512×512 원본 ‘Lena’영상을 256×256으로 decimation(LPF+subsampling)한 후, 제안한 기법의 적응적 방향성 보간으로 획득한 초기 HR영상과 기존 보간기법의 결과이다. Fig. 5 의 기존 보간기법과 비교할 때, 확실하게 계단현상이 감소된 것을 확인할 수 있다. 특히, 양방향 3차보간은 LR영상에서 4개의 화소(보간 화소기준 좌우 2개 화소) 값을 사용하여 중간 화소를 계산하기 때문에, 평탄영역에서는 저차보간법 보다 좋은 특성이 있으나 오히려 경계의 번짐현상은 큰 인접 고려 화소 크기로 인해 양방향 1차보간 보다 심하다.
PPT Slide
Lager Image
Conventional interpolations. (a) Zero-order (b) Bi-linear (c) Bi-cubic.
- 3.3 Pixel embedding
2.2절에 언급된 예제기반 SR 기법의 이웃화소 삽입은 최적으로 선택된 patch의 모든 화소가 각각 다른 가중치 합으로 현재 patch 화소에 누적된다. 이는 고해상도 장면이 저해상도 장치로 표본화되면서 세부 고주파 성분이 소실되었다고 가정하여, 원래의 고해상도 영상을 복원하는 개념이다. 그러나 제안한 방법의 화소삽입은 보간 관점에서 LR영상에서의 경계기울기 보존과 평탄영역의 부드러운 변화를 HR영상에서도 유지시키기 위한 것이다.
최대한 경계를 잘 보존하려면 경계 기울기 분해능이 커야하지만, 이는 보간 시스템의 복잡도를 높이게 된다. 제안한 기법의 적응적 방향성 보간 방식은 시스템의 단순성을 위해 45°단계(8방향)를 사용하므로, Fig. 6 (b) 예제 영상의 어깨나 모자부분을 살펴보면 6 (a)의 1차보간보다는 결과가 좋지만 수평, 수직 및 대각선 45°를 벗어난 각도의 경계에서는 계단현상이 미세하게 발생된다. 그러므로, 초기 HR영상의 보간 화소들은 LR위치의 -1~1 화소범위 내에서 가장 닮은 화소값을 반영하여야만 한다. 왜냐하면 Fig. 3의 p 1 p 2 사이에 수직 경계가 있는 것으로 웨이브릿 응답이 발생되었을 때, 식(6)에서처럼 v 그룹 화소결정은 용이하지만 h 그룹 화소 결정은 경계의 위치에 따라 판단이 달라진다. 만약 경계가 p 2 에 가깝다면 h 1 p 1 이, 반대로 p 1 에 가깝다면 h 1 p 2 가 0차 보간되어야만 오차(계단 경계현상)를 줄일 것이다. 이 문제는 v d 그룹에 속한 화소에서도 동일한 문제를 가지며, LR영상에서 1/2-화소를 예측(half-pixel estimation)하여 해결할 수 있지만 이는 복잡한 계산을 요구한다. 그러므로 제안한 방법은 판단이 용이한 화소를 중심으로 단순 보간을 수행하여 초기 HR영상을 획득한 후, LR영상에서 –1~1화소 거리를 탐색하여 최적 정합 LR화소를 HR화소에 반영하는 효율적인 화소 삽입방식을 제시한다. LR영상에서 상하좌우 1화소 거리차이에서 찾은 최소오차 화소를 pLR 이라고 하면, HR영상의 한 화소
PPT Slide
Lager Image
와 같이 표현된다. 여기서, we 는 삽입 가중치이며 최적정합 화소와의 차이가 가중치 비율만큼 현재 화소에 반영된다. 최적 정합 화소를 찾기 위해 탐색창의 크기가 커지면 창의 크기 전체에 평균적으로 동작되므로, 경계영역에서 정확한 정합화소를 찾으려면 창의 크기가 작아야만 한다 [12] . 그러므로, 제안한 기법에서는 작은 3×3창과 오차척도로 SAD(sum of absolute difference)를 사용한 BMA(block matching algorithm)을 적용하였다. 식(7)의 화소 삽입을 적용한 결과는 Fig. 6 (c)에 나타내었고 6 (b)에서 나타난 미세한 경계현상이 제거된 것을 확인할 수 있다. 만약 식(7)의 we 가 1이면 LR영상의 화소 pLR pSR 을 대체시키게 되고, 이 경우의 결과인 Fig. 7 을 보면 경계부분의 급격한 변화는 잘 유지하지만 부드러운 영역에서 계조가 줄어든 것과 같이 거짓 윤곽선(false contour)이 발생하게 된다.
PPT Slide
Lager Image
Comparison examples of the pixel embedding. (a) Bi-linear (b) Before pixel embedding of the proposed method (c) After embedding (d) Original.
PPT Slide
Lager Image
Results when the embedding weight is 1.
- 3.4 칼라 영상 적용
칼라 TV는 과거 흑백 TV에서의 Y(휘도: luminance) 신호에 색차신호를 추가하여 구현하였기 때문에, 최근 멀티미디어 장비와 관련된 JPEG, MPEG, 디지털HD(ITU-R BT.709) 및 UHDTV(ITU-R BT. 2020) 표준안에서도 YCbCr(감마보정된 Y’CbCr/YPbPr 포함)을 칼라영상 형식으로 사용한다. 또한, 제시한 기법은 HD와 UHD 환경 적용을 목적으로 하기 때문에, 칼라 영상은 Y신호에만 적용하였다. RGB 영상인 경우 YCbCr=4:4:4로 변환된 Y신호에 대해 적응적 방향성 보간을 수행하면, Y영상의 표본화율이 4화소에서 16화소로 1옥타브 증가되지만 색차신호는 4에 머물게 되어 YCbCr=16:4:4, 즉 YCbCr=4:1:1형식으로 HR칼라영상이 복원된다.
4. 실 험
제안한 방법의 성능을 평가하기 위해 실험에 사용된 영상은 Fig. 8 에서처럼 특성이 다른 4개 영상을 이용하였다. Fig. 8 (a)는 급격한 변화가 있도록 인공적으로 만든 문자 흑백 이진영상, Fig. 8 (b)는 꽃 경계를 제외하고는 변화가 완만한 칼라영상, Fig. 8 (c)는 직선이 포함된 칼라영상, Fig. 8 (d)는 색의 변화가 강렬한 칼라영상이다.
PPT Slide
Lager Image
Experimental images. (a) BW1 (b) Color1 (c) Color2 (d) Color3.
주관적 화질평가는 명확한 척도가 불분명하기 때문에 [13] 결과 영상을 판단하며, 객관적화질을 비교하기 위해서 PSNR(peak-signal-to-noise-ratio)과 SSIM(structural similarity index measure) [14] 을 결과영상의 평가척도로 활용하였다. 먼저 PSNR은 크기 H × W 인 영상 f, g 에 대해
PPT Slide
Lager Image
PPT Slide
Lager Image
로 표현된다. 그러므로, PSNR은 객관적인 단순 품질 척도로써 8-bit 최대값(peak)에 대해 원본과 비교영상의 MSE(mean squared error)가 작을수록 큰 값을 dB로 나타내는 척도이다. HVS(human visual system) 의 인지정도가 고려된 객관적 평가척도인 SSIM은
PPT Slide
Lager Image
PPT Slide
Lager Image
PPT Slide
Lager Image
PPT Slide
Lager Image
와 같으며, 식(11-13)은 휘도, 대조(contrast) 및 구조적(structural) 비교함수의 곱으로 정의된다. 식(11)은 두 영상의 평균이 같을 때 1이 되고, 식(12)는 대조를 나타내는 두 영상의 표준편차가 동일할 때 1이 되며, 식(13)은 상관분산(covariance, σfg )으로 측정된 상관계수(correlation coefficient)가 1일 때 최대 1이 되며 상관성이 없으면 0이 된다. 그러므로 SSIM 값은 [0,1] 사이이며, f = g 이면 SSIM = 1이다. 3개의 상수 Ci 는 분모가 0이 되는 것을 방지하는 상수이다.
실험에 사용된 문턱치 THd =0, THh =60, THv =50을 사용하였다. 대각선 문턱치를 0으로 설정한 이유는 웨이브릿 변환이 수행 순서인 HL(수직경계), LH(수평경계), HH(대각선 경계) 순으로 고주파 성분 값이 감소되고 대각선 경계가 중요하기 때문에, HH 채널 값이 존재하면 모두 대각선 경계로 판단하기 위함이다. 또한 화소 삽입 가중치인 we 는 실험을 통하여 얻은 최적 값 0.4로 설정하였다. Fig. 9 ~ 12 은 각 실험영상에 대한 기존 보간기법과 제안한 방법의 결과이며, Table 1 은 결과에 대한 객관적 평가 척도 값이다. 기존 보간 방식의 결과는 Fig. 9 (a)~(c)의 문자 곡선부분이나 기울기가 수평/수직이 아닌 부분, Fig. 10 (a)~(c)의 꽃잎 경계부분, Fig. 11 (a)~(c)의 건물 직선부분 및 Fig. 12 (a)~(c)의 꽃 수술부분에서 계단현상이 심한 것을 확인할 수 있다. 반면, 제안한 방식에서는 이들 부분에서 계단현상이 없어진 것을 알 수 있다. 실험결과에서 보듯이 Table 1 의 객관적인 화질평가척도에서는 제안한 방법이 미세하게 우수하지만, 사선을 포함한 경계 주변의 계단현상을 획기적으로 줄이는 결과를 볼 때, 제안한 방법은 주관적 화질을 크게 개선하는 단순한 기법이라고 할 수 있다. 또한, 제안한 기법은 Haar 웨이브릿 변환을 사용하여 경계정보를 추출하기 때문에 기존의 Sobel 연산자를 이용하는 기법과의 수행시간을 Table 2 에 나타내었다. 실험에 사용한 컴퓨터는 Intel i5-2500 쿼드코어 CPU, clock 3.3GHz, RAM 4GB이며, 실험영상은 HD급 color1-3을 사용하여 각 10회 수행한 평균 시간을 기록하였다. Table 2 에 나타낸 것과 같이 기존 방식은 경계정보를 추출하기 위해서 식(2-3)을, 제안한 방식은 식(1)을 각각 수행한다. 그 결과 제안한 방식의 경계정보 추출 시간이 Sobel연산자 보다 32.8ms 작게 소요되었으며, 전통적인 보간 기법과의 비교를 위해 Bi-cubic 기법의 수행속도를 같이 표시하였다.
PPT Slide
Lager Image
Results of BW1. (a) 0-order (c) Bi-linear (d) Bicubic (d) The proposed method.
PPT Slide
Lager Image
Results of color1. (a) 0-order (b) Bi-linear (c) Bi-cubic (d) The proposed method (e) Original.
PPT Slide
Lager Image
Results of color2. (a) 0-order (b) Bi-linear (c) Bi-cubic (d) The proposed method (e) Original.
PPT Slide
Lager Image
Results of color3. (a) 0-order (b) Bi-linear (c) Bi-cubic (d) The proposed method (e) Original.
The comparison of objective quality metrics for experimental images
PPT Slide
Lager Image
The comparison of objective quality metrics for experimental images
The comparison of computation time
PPT Slide
Lager Image
The comparison of computation time
5. 결 론
본 논문에서는 full HD급 이하 해상도 영상으로부터 4K또는 16K급의 초고해상도 영상을 획득하는 환경에 적용할 수 있는 복잡도가 낮고 경계 왜곡이 작은 영상 보간 기법을 제안하기 위해, 가장 단순한 Haar 웨이브릿 변환을 채택하여 적응적 방향성 보간을 수행하였다. 또한, 기존 수퍼해상도 영상복원에서 활용되는 패치기반 이웃삽입 기법을 변형 적용한 새로운 화소기반 삽입 기법을 제시하였다. 제안한 방식은 평균과 뺄셈 연산만으로 경계의 유무를 단순하게 판단할 수 있는 Haar 웨이브릿 변환을 사용하여 upsampling된 화소 주변점을 방향성에 따라 보간한 후, 저해상도 영상의 -1~1 화소간격에서 탐색된 최적 정합 화소 값과의 가중치 합으로 고해상도 화소를 갱신하는 새로운 화소기반 임베딩 방식을 제안하였다. 그 결과, 실험에서 객관적 화질 척도에는 약간의 개선이 있었으나, 단순하면서 부수적인 처리없이 경계부분이 잘 보존되는 보간 결과를 보여주었다.
BIO
한 규 필
1993년 경북대학교 전자공학과 공학사
1995년 경북대학교 전자공학과 공학석사
1999년 경북대학교 전자공학과 공학박사
2000년 3월 ~현재 금오공과대학교 컴퓨터공학과 교수
관심분야 : DSP, 컴퓨터비전, 영상처리, 컴퓨터그래픽스, 증강 및 가상현실
오 길 호
1980년 서울대학교 전기공학과 공학사
1982년 서울대학교 컴퓨터공학과 공학석사
1992년 Univ. of Florida, 컴퓨터공학과 공학박사
1983년 3월 ~현재 금오공과대학교 컴퓨터공학과 교수
관심분야 : 객체지향 시스템, 병렬/분산처리 소프트웨어 공학, 임베디드 시스템
References
Choi H. , Jeong S. , Choi J. 2010 “The Present Status and the Prospects of UHDTV Technologies,” Korea Multimedia Society 14 (2) 16 - 23
Li X. , Orchard M. T. 2001 “New Edge-directed Interpolation,” IEEE Transaction on Image Processing 10 (10) 1521 - 1527    DOI : 10.1109/83.951537
Kwon H. , Jeon G. , Jeong J. 2007 “Low Complexity Hybrid Interpolation Algorithm Using Weighted Edge Detector,” Journal of Korea Information and Communications Society 32 (3) 241 - 248
Jeong J. , Jeong W. , Jin S. , Koo J 2009 Apparatus and Method for Restoring Loss Pixel Using Directional Interpolation, 1008866470000 Korea
Park S.C. , Park M.K. , Kang M.G. 2003 “Superresolution Image Reconstruction: a Technical Overview,” IEEE Signal Processing Magazine 20 (3) 21 - 36    DOI : 10.1109/MSP.2003.1203207
Sha N. R. , Zakhor A. 1999 “Resolution Enhancement of Color Video Sequences,” IEEE Transaction on Image Processing 8 (6) 879 - 885    DOI : 10.1109/83.766865
Freeman W.T. , Jones T.R. , Pasztor E.C. 2002 “"Example-based Super-resolution,” IEEE Computer Graphics and Applications 22 (2) 56 - 65    DOI : 10.1109/38.988747
Xiong Z. , Xu D. , Sun X. , Wu F. 2013 “Example-based Super-resolution with Soft Information and Decision,” IEEE Transaction on Multimedia 15 (6) 1458 - 1465    DOI : 10.1109/TMM.2013.2264654
Kim C. , Choi K. , Ra J.B. 2013 “Example-based Super-resolution via Structure Analysis of Patches,” IEEE Signal Processing Letters 20 (4) 407 - 410    DOI : 10.1109/LSP.2013.2249514
Taniguchi K. , Ohashi M. , Han X.H. , Iwamoto Y. , Sasatani S. , Chen Y.W. “Examplebased Super-resolution Using Locally Linear Embedding,” Proceeding of 6th International Conference on Computer Sciences and Convergence Information Technology 2011 861 - 865
Dutilleux P. 1989 “An Implementation of the Algorithme à Trous to Compute the Wavelet Transform,” inWavelets: Time-Frequency Methods and Phase Space Springer-Verlag Berlin, Germany 298 - 304
Okutomi M. , Kanade T. 1993 “A Multiplebaseline Stereo,” IEEE Transaction Pattern Analysis Machine Intelligence 15 (4) 353 - 363    DOI : 10.1109/34.206955
Farrell J. E. 1999 Image Quality Evaluation in Colour Imaging: Vision and Technology John Wiley Chichester, UK 285 - 313
Wang Z. , Bovik A. C. , Sheikh H. R. , Simoncelli E. P. 2004 “Image Quality Assessment: from Error Visibility to Structural Similarity,” IEEE Transaction on Image Processing 13 (4) 600 - 612    DOI : 10.1109/TIP.2003.819861