Advanced
Hybrid Super Resolution Based on Curve Subdivision Interpolation and Neighbor Embedding
Hybrid Super Resolution Based on Curve Subdivision Interpolation and Neighbor Embedding
The Transactions of The Korean Institute of Electrical Engineers. 2015. Sep, 64(9): 1369-1373
Copyright © 2015, The Korean Institute of Electrical Engineers
This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/3.0/)which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
  • Received : March 20, 2014
  • Accepted : August 27, 2015
  • Published : September 01, 2015
Download
PDF
e-PUB
PubReader
PPT
Export by style
Article
Author
Metrics
Cited by
TagCloud
About the Authors
의 열 오
Dept. of Electrical and Electronic Engineering, Yonsei University, Korea
용 건 이
Dept. of Electrical and Electronic Engineering, Yonsei University, Korea
지 은 이
Dept. of Electrical and Electronic Engineering, Yonsei University, Korea
윤 식 최
Corresponding Author : Dept. of Electrical and Electronic Engineering, Yonsei University, Korea E-mail :yschoe@yonsei.ac.kr

Abstract
Curve subdivision interpolation reconstructs edge well with low complexity, however it lacks of ability to recover texture components, instead. While, neighbor embedding is superior in texture reconstruction. Therefore, in this paper, a novel Super Resolution technique which combines curve subdivision interpolation and neighbor embedding is proposed. First, edge region and non-edge regions are classified. Then, for edge region, the curve subdivision algorithm is used to make two polynomials derived from discrete pixels and adaptive weights are adapted for gradients of 4 different sides to make smooth edge. For non edge region, neighbor-embedding method is used to conserve texture property in original image. Consequently results show that the proposed technique conserves sharp edges and details in texture better, simultaneously.
Keywords
1. 서 론
초고해상도 알고리즘은 하나 혹은 다수의 저해상도 영상으로부터 고해상도 영상을 만들어 내는 기법이다. 대부분의 초고해상도 알고리즘은 같은 장면의 여러 저해상도 영상에 기반을 두어왔지만 본 논문에서는 여러 실험 영상의 도움으로 하나의 저해상도 이미지로부터 고해상도 영상을 복원한다. 이러한 하나의 이미지를 사용한 초고해상도 복원기법의 응용은 최근 실세계에서도 많은 경우 일어나고 있다.
이러한 초고해상도 영상 복원에 대한 요구에 의하여 최근 초고해상도 영상을 얻기 위한 많은 다양한 기법들이 연구되고 있다. 이러한 기법들은 구현방법에 따라, 보간에 기반을 둔 방법, regularization에 기반을 둔 방법, 학습에 기반을 둔 방법 등으로 나눌 수 있는데, 영상 데이터베이스로부터 제공받는 정보를 활용하는 학습 기반 방법 외에 나머지 두 가지 방법은 단일 영상으로부터 고해상도 영상을 복원한다.
보간에 기반을 둔 방법은, 입력 영상을 조정하는 registration 단계를 거친 뒤, 보간하고 그 후에 deblurring 절차를 거친다. 가장 대표적인 예로는 Nearest Neighbor 알고리즘이 있는데, 이 알고리즘은 보간 해야 할 화소를 주변 화소 값과 똑같이 가져감으로써 적은 연산으로 수행될 수 있다는 장점이 있다. 하지만 고주파수 성분을 고려하지 않았기에 전체적으로 blur한 영상을 얻는다. Regularization에 기반을 둔 방법의 기본적인 개념은 고해상도 영상의 사전정보를 포함하는 것이다. 고해상도 영상은 확률 분포의 통계치를 통해 예측되는데, 주로 이것은 저해상도 영상과 사전정보로부터 제공되는 정보를 활용하여 Bayesian 추론에 적용한다. 학습에 기반을 둔 초고해상도 알고리즘은 입력으로 주어진 저해상도 영상의 지역 특징에 기반을 둔 영상 샘플들을 훈련함으로써 얻어지는 정보에 근거하여 고해상도 영상을 복원한다. 학습에 기반을 둔 초고해상도 알고리즘은 off-line 학습 단계와 초고해상도 영상 복원 단계로 크게 나뉘는데, off-line 학습 단계에선 영상 패치들은 ground truth로써 작용하며 영상 획득 모델을 모의실험하기 위해 만들어지는데 사용된다. 이 후, 저해상도 영상 패치와 그에 해당되는 고해상도 영상 패치들과 비교한다. 그리고 가장 잘 부합되는 것을 다양한 방법(예, Nearest distance)으로부터 골라 고해상도 영상을 복원해낸다 [1] .
본 논문에서는 복합기법을 위하여 적은 복잡도로 영상의 세밀한 영역을 복원해 내는 보간에 기반을 둔 방법과 텍스쳐 복원력이 뛰어난 학습기반 Neighbor Embedding [2] 초고해상도 알고리즘을 제시하였다. 보간에 기반을 둔 방법으로서는 곡선 부-분할 방법 [3] 을 사용하였는데, 이 기법은 보간 할 화소의 변위 값을, 분리된 두 화소 사이를 연결하는 곡선 2개의 2차 다항식으로 모델링하고, 생성된 두 개의 곡선을 화소의 네 방향의 기울기를 사용하여 각각 다른 가중치 합을 적용하여 영상이 가진 특징을 반영하도록 한 것이다. 특히 영상의 특성에 맞는 가중치를 사용함으로써, 윤곽선 복원력이 크고 연산량이 적은 장점을 지닌다. 하지만 이러한 곡선 부-분할 기법은 윤곽선의 방향성이 복잡한 텍스쳐를 섬세하게 복원해내지 못하는 약점이 있는데, 따라서 이러한 영역에 대해서는 주변 화소와의 기울기를 이용해서 보간하는 방법 대신, 데이터베이스에서 미리 학습된 패치를 사용하는 학습기반의 Neighbor Embedding 학습 보간 기법을 적용한다.
2. 본 론
본 장에서는 비윤곽선 영역에 대해 학습기반 방법인 Neighbor Embedding, 윤곽선 영역에 대해 수행하는 보간기반 곡선 부-분할 방법에 대한 서술로 구성된다. 마지막 절에서는 윤곽선 영역과 비 윤곽선 영역을 나누기 위해 사용하는 알고리즘에 대하여 설명한다.
- 2.1 비 윤곽선 영역에 대한 Neighbor Embedding 학습 보간
Neighbor Embedding [1] 학습 보간 기법에서는 복수의 후보 저해상도 영상을 Gradient-Feature에 기반을 두어 채택한 후, Least mean square 기법으로 각 후보의 가중치를 정한다. 최종 고해상도 영상은 채택된 후보 저해상도 영상들에 대응되는 고해상도 영상들의 가중 합(weighted sum)을 통해 합성한다. 따라서 Neighbor-Embedding 알고리즘은 다음과 같이 요약할 수 있다.
단계 1. 입력 저해상도 영상 패치 xt 에 대하여
  • (a)K개의 가까운 저해상도 후보 집합N을 사전S에서 찾는다.
  • (b) 입력 저해상도 영상xt와의 에러를 최소화하는 후보 집합N의 복원 가중치ω를 계산한다.
  • (c) 저해상도 후보 집합N에 대응되는 고해상도 영상의 가중합으로 고해상도 영상 패치yt를 합성한다.
단계 2. 합성된 고해상도 영상 패치들을 중첩(overlap) 시켜 고해상도 영상 y 를 복원한다.
단계 1-(a)의 집합 N 은 특징 벡터(feature vector)간의 유클리드 거리로 찾는다. 단계 1-(b)의 복원 가중치는 다음의 에러 방정식 (1)을 최소화 시키는 벡터로 정한다.
PPT Slide
Lager Image
PPT Slide
Lager Image
PPT Slide
Lager Image
PPT Slide
Lager Image
PPT Slide
Lager Image
5x5 저해상도 블록 Luminance 값 Fig. 1 5x5 low-resolution block luminance value
Gradient-Feature는 1차, 2차 미분 값 (2), (3)을 취하기 때문에 윤곽선(Edge) 같은 고주파(High-frequency) 성분을 찾는데 적합한 특징이다. 하지만 비윤곽선(Non-Edge) 영역에 속하는 텍스쳐의 경우 패치의 주성분이 고주파가 아니기 때문에 Gradient-Feature를 통해서는 적절한 Neighbor가 찾아지지 않는다. 따라서 이 경우, Gradient-Feature 대신 Norm-Feature를 사용한다. Norm-Feature는 패치의 평균값을 뺀 특징벡터이다. Norm-Feature는 식 (4)와 같이 계산된다. Norm-Feature는 모든 주파수 성분을 고려해 유사한 Neighbor를 찾기 때문에 비윤곽선 영역에서 Gradient-Feature보다 좋은 성능을 발휘한다.
Neighbor-Embedding 기법에서는 가중치의 합이 1 이라는 제약 조건이 있을 뿐, 부호에 대한 제약 조건은 없다 [4] . 따라서 Norm-Feature를 사용할 경우 가중치의 크기(norm)로 인한 과증폭(over-amplification)이 발생하는 경우가 생긴다. 따라서, 이런 잡음을 제거하기 위해 가중치의 크기(norm)에 대한 제약을 줄 필요가 있다. 본 논문에서는 가중치의 크기가 정해진 문턱치 보다 클 경우, 각 neighbor 패치에 동일한 가중치를 적용하여 잡음을 제거하였다. 비윤곽선 영역에 대한 학습 보간 순서도는 그림 2 와 같다.
PPT Slide
Lager Image
학습 보간 순서도 Fig. 2 Flow chart of example-based super-resolution
- 2.2 윤곽선 영역에 대한 곡선 부-분할 보간
본 논문에서는 윤곽선 영역에서 영상의 구조적 특징을 주변의 기울기와 기울기를 사용한 가중치를 반영하여 보다 자연스런 윤곽선을 보이는 곡선 부-분할(Curve Sub- Division) [3] 방법을 이용하였다. 곡선 부-분할 알고리즘에서는 분리된 두 화소 사이를 연결하는 곡선 상에서 기울기가 거리에 의해 변하는 것을 반영하기 위해서 실제 분리된 두 점을 지나는 곡선을 기울기와 보간 할 화소와 주변 화소로부터의 거리로 표현되는 다항식으로 모델링하여 보간 할 화소의 변위를 정확히 예측하였다.
고해상도 영상을 P ( i , j )라 하였을 때, 보간 해야 할 화소의 위치 p ( i , j )을
PPT Slide
Lager Image
t ∈[0, 1],
PPT Slide
Lager Image
로 나타낸다.
여기서, i , j 는 각각 영상의 행, 열 vector를 의미하며 wi,j,L w i,j + 1,R 는 주변의 화소들을 이용한 가중치를 나타낸다. mi,j,L m i,j + 1,R (
PPT Slide
Lager Image
)는 pi,j p i,j+1 로부터 각각 화소의 거리 t 에 따른 변위 값이다. 거리 t 에 따라 변위 값에 대한 곡선을 2차 다항식으로 표현하면 다음과 같다.
PPT Slide
Lager Image
PPT Slide
Lager Image
이때, 영상의 구조적인 특성 또는 지역적으로 화소 간의 상관 관계를 표현하기 위해 가중치 계산을 주변 화소의 영향을 고려해 다음과 같이 계산한다.
PPT Slide
Lager Image
PPT Slide
Lager Image
PPT Slide
Lager Image
즉, 가중치는 (8), (9), (10)과 같이 계산되며 이는 각각 보간 할 화소의 좌, 우 기울기를 고려한 것이다. a 는 실험적으로 8을 택하였으며 t = 0.5이다.
a 는 가중치의 값을 보정해주는 변수로서 a 가 클수록 보간 할 화소의 가중치의 영향은 분리된 두 화소 사이의 기울기보다는 두 화소사이의 기울기를 제외한 보간 할 화소의 주변 화소들의 변화량에 민감해지고 작을수록 분리된 두 화소 사이의 변화량이 가중치에 더 크게 영향을 준다. 대각선 방향의 영상 보간은 수직, 수평 각각의 방향에 대해 모두 계산하면 복잡도가 증가하기에, 두 방향 중 변화량이 작은 쪽을 선택하여 계산한다. 따라서 윤곽선 방향과 가장 근사하게 보간을 수행하게 되어 시각적으로 덜 두드러지는 화소 값을 보간 함으로 눈에 거슬리지 않는 영상을 얻을 수 있게 된다.
- 2.3 윤곽선/ 비윤곽선 영역 구분 방법
입력 저해상도 지역 패치마다 gradient의 크기 G (11)를 측정해 정해진 문턱치 보다 작을 경우 비윤곽선 패치, 클 경우 윤곽선 패치로 분류한다. 수식에서 Gx 는 수평 방향의 1차 미분 값이고, Gy 는 수직 방향의 1차 미분 값이다. 각 패치 분류를 마치면 그림 3 과 같은 윤곽선지도가 만들어진다. 윤곽선 영역의 일관성을 위하여 비윤곽선 영역 복원은 해당 패치가 비윤곽선 패치이고, 주변에 윤곽선 패치가 없을 경우에만 적용한다. 비윤곽선 영역 복원이 끝나고 남은 영역은 윤곽선 영역으로 분류하고, 곡선 부-분할 윤곽선 기반 보간 기법을 적용한다.
PPT Slide
Lager Image
PPT Slide
Lager Image
윤곽선 지도와 입력 저해상도 영상 Fig. 3 Edge map and corresponding low-resolution input image
3. 실험 및 결과 고찰
- 3.1 실험 시뮬레이션 개요
본 논문의 알고리즘 흐름은 그림 4 와 같다. 입력 영상의 윤곽선 영역을 추출한 뒤, 우선적으로 비윤곽선 영역을 NE 기법으로 복원한다. 다음으로 복원되지 않은 윤곽선 영역을 곡선 부-분할을 이용해 복원함으로써 영상 업-스케일링 과정을 마친다. 본 실험에서는 확대 계수를 2로 설정하였고, 128x128 저해상도 영상을 256x256 고해상도 영상으로 업-스케일링 하는 실험을 수행하였다. NE 보간 기법 적용 시의 조건은 다음과 같다. 저해상도 영상 패치의 크기는 3x3으로 설정하였고, 저해상도 영상 패치 간의 중첩 간격은 연산량을 고려해 1pixel로 설정하였다. NE 보간 기법 시 사용된 사전의 패치 수는 19220개다.
PPT Slide
Lager Image
제안 알고리즘 전체적인 흐름 Fig. 4 Flow of proposed algorithm
- 3.2 실험 결과
실험 결과, 제안 기법은 곡선 부-분할을 통해 에지를 샤프하게 복원할 수 있었고, 텍스쳐 성분의 자세한 정보를 보존 할 수 있었다. 그림 5 , 그림 6 실험영상의 빨간색 상자는 윤곽선 영역으로 곡선 부-분할 기법으로 복원된 영역이고, 파란색 상자는 비윤곽선 영역으로 NE(Neighbor Embedding) 기법으로 복원된 영역이다. 그림 5 , 그림 6 에서 살펴볼 수 있듯이 윤곽선 영역은 곡선 부-분할을 이용해 복원함으로써 Norm-Feature 기반 NE보다 윤곽선이 세밀하게 복원됐음을 관찰할 수 있다. 또한 비윤곽선 영역은 Norm-Feature 기반 NE를 적용함으로써 곡선 부-분할기법의 blurring artifact를 줄이면서 텍스쳐의 세밀함을 복원 할 수 있었다. 표 1 에서 보듯이, 제안 기법의 PSNR과 SSIM [5] 수치는 곡선 부-분할기법보다 높고, NE(Norm)보다는 작다. 하지만 HVS(Human Visual System) 관점에서 볼 때, 제안한 복합기법은 중요한 윤곽선과 텍스쳐를 각 기법의 장점들을 혼합해 효과적으로 복원함으로써 주관적인 화질을 효율적으로 개선할 수 있었다.
PPT Slide
Lager Image
실험 결과(1) Fig. 5 Experiment result(1)
PPT Slide
Lager Image
실험 결과(2) Fig. 6 Experiment result(2)
실험 결과 비교Table 1Experiment result comparison
PPT Slide
Lager Image
실험 결과 비교 Table 1 Experiment result comparison
4. 결 론
본 논문에서는 곡선 부-분할 보간 기법과 Neighbor-Embedding 학습 보간 기법을 혼합한 초해상도 기법을 제안한다. 곡선 부-분할 보간 기법이 상대적으로 에지 영역 복원에 우수하고, NE(Norm) 기법이 텍스처 영역 복원에 우수하다는 특성을 활용하였다. 복원입력 영상을 윤곽석/비윤곽선 영역으로 구분한 뒤 윤곽선 영역에 대해서는 곡선 부-분할 보간 기법을 적용하고, 비윤곽선 영역에 대해서는 NE(Norm) 기법을 적용하였다. 실험 결과 에지 영역은 곡선 부-분할 기법 수준으로 샤프하게 복원되었고, 텍스처 영역 역시 NE(Norm) 기법 수준으로 세밀하게 복원되었다. 두 기법의 장점들을 혼합함으로써 복원 영상의 주관적인 화질을 개선시킬 수 있었다.
Acknowledgements
본 연구는 미래창조과학부 및 정보통신기술진흥센터의 대학ICT연구센터육성 지원사업의 연구결과로 수행되었음(IITP-2015-H8501-15-1001)
BIO
오 의 열 (Euiyeol Oh)
1987년 연세대학교 전자공학과 졸업. 1989년 연세대학교 전자공학 석사 졸업. 2013년~현재 연세대학교 전기전자공학 박사과정.
<관심분야> LCD/OLED 디스플레이 영상처리 및 보상 알고리즘
Tel : 031-933-5170
Fax : 031-933-4174
E-mail : eyoh4421@yonsei.ac.kr
이 용 건 (Yonggun Lee)
2013년 연세대학교 전자공학과 졸업. 2013년~현재 연세대학교 전기전자공학 석사과정
<관심분야> 영상 신호 처리
Tel : 02-2123-2774
Fax : 02-313-0960
E-mail : ygl2@yonsei.ac.kr
이 지 은 (Jieun Lee)
2013년 강릉대학교 전자공학과 졸업. 2015년 연세대학교 전기전자공학 석사
<관심분야> 영상 신호 처리
Tel : 02-2123-2774
Fax : 02-313-0960
E-mail : jieun_lee@yonsei.ac.kr
최 윤 식 (Yoonsik Choe)
1979년 연세대학교 전기공학과 졸업. 1984년 Case Western Reserve대학 시스템공학과 석사. 1987년 Pennsylvania 주립대학 전기전자공학과 석사. 1990년 Purdue대학 전기공학과 박사. 1993년~현재 연세대학교 전기전자공학 교수.
<관심분야> 비디오/영상 신호 처리 및 해석
Tel : 02-2123-2774
Fax : 02-313-0960
E-mail : yschoe@yonsei.ac.kr
References
Jing Tian , Ma Kai-Kuang 2011 "A survey on superresolution imaging." Signal, Image and Video Processing 5 (3) 329 - 342    DOI : 10.1007/s11760-010-0204-6
Chang H. , Yeung D.-Y. , Xiong Y. 2004 "Superresolution through neighbor embedding.” Proc. IEEE Conf. Comput. Vis. Pattern Class. 1 275 - 282
Jeon Keun-Bae 2013 'Image Interpolation algorithm using simple 4-side local Gradient based curve subdivision model.' Master Thesis Dept. Electrical & Electronic Eng., Yonsei University
Bevilacqua M. , Roumy A. , Guillemot C. , Morel M.-L.A. 2012 “Neighbor embedding based single-image superresolution using semi-nonnegative matrix factorization.” Acoustics, Speech and Signal Processing (ICASSP), 2012 IEEE International Conference on 1289 - 1292
Wang Z. , Bovik A. C. , Sheikh H. R. , Simoncelli E. P. 2004 "Image quality assessment: From error visibility to structural similarity." IEEE Transactions on Image Processing 13 (4) 600 - 612    DOI : 10.1109/TIP.2003.819861
Liu C. , Luo X. 2011 "Image enlargement via interpolatory subdivision." IET image processing 5 (6) 567 - 571    DOI : 10.1049/iet-ipr.2010.0223
Levin David , Gregory John A. 1987 "A 4-point interpolatory subdivision scheme for curve design." Computer aided geometric design 4 (4) 257 - 268    DOI : 10.1016/0167-8396(87)90001-X
Floater Michael S. , Hormann Kai 2009 "Four-point curve subdivision based on iterated chordal and centripetal parameterizations." Computer Aided Geometric Design 26 (3) 279 - 286    DOI : 10.1016/j.cagd.2008.09.006
Liang L. , Zou B. , Zhao H. , Qiu X. 2008 "Image interpolation via tangent-control subdivision." Congress on Image and Signal Processing IEEE 102 - 106
Park Sung Cheol , Park Min Kyu , Moon Gi Kang 2003 "Super-resolution image reconstruction: a technical overview." Signal Processing Magazine, IEEE 20 (3) 21 - 36    DOI : 10.1109/MSP.2003.1203207