영상 보간법은 영상의 크기 변환에서 나타나는 새로운 좌표의 화소의 값을 결정하는 방법이다. 영상 콘텐츠가 대용량화 되면서 고속으로 개선된 결과 영상을 생성할 수 있는 영상 보간법이 요구된다. 따라서 본 논문에서는 영상 해상도 개선을 위한 고속 다중 혼합 영상 보간법을 제안한다. 제안하는 방법은 입력 영상의 4개의 부영상으로부터 12개의 예상되는 부족분을 추정하고, 추정된 부족분과 입력 영상을 결합한 후 보간 함수를 거쳐서 결과 영상을 생성한다. 제안하는 방법은 비교 방법들보다 PSNR에서 최대 1.9dB, SSIM에서 최대 0.052 개선된 결과를 나타내었으며, 주관적 화질 비교에서도 우위에 있음을 실험을 통해서 알 수 있었다. 알고리즘의 동작속도 비교를 통해서 기존의 방법들보다 최소 3배 이상 빠르게 동작하는 것을 알 수 있었다. 제안하는 방법은 영상 해상도 개선을 위한 응용 환경에서 유용하게 사용될 수 있다. 영상 보간법은 영상의 크기 변환으로 발생하는 새로운 좌표의 화소 값을 결정하는 방법이다. 영상 보간법은 다양한 응용 분야에서 영상 개선의 기초 기술이나 영상 분석을 위한 기반 기술로 사용되어 왔다. 전통적인 영상 보간법은 구현이 용이하여 실제 응용 환경에서 많이 사용되고 있다. 최근접화소보간법, 선형보간법, 회선보간법, 스플라인보간법 등이 대표적인 전통적인 보간 방법들이다. 전통적 보간법의 개선을 통해서 더 좋은 화질의 결과 영상을 생성하려는 연구들이 많이 이루어졌다. 이런 방법들은 적응적 보간법으로 분류되는데, 영상의 지역적 특성을 반영하거나 윤곽선 영역의 변화에 중점을 두어 영상 보간을 수행한다 [1] . 비교적 좋은 성능을 보이는 방법으로는 에지의 방향성 기반의 보간법이 있다 [2 ~ 6] . 에지 방향성 보간법은 EDI를 시작으로, 이를 개선한 NEDI가 연구되었다. 이후 더욱 개선된 연구들로 INEDI, ICBI 방법 등이 있다. 최근에는 MEDI, FCBI, FNEDI, DCCI 등의 개선된 에지 방향성 연구들이 이루어졌다. 본 논문에서는 개선 함수의 개선에 초점을 두는 기존의 연구와 달리 부족분을 줄여 영상 보간의 결과를 향상시키고자 한다. 부족분은 보간 결과 영상과 원본 영상의 차이를 의미하는데, 보간 결과 영상은 원본 영상보다 화질이 좋지 못하기 때문에 원본 영상에 미치지 못하다는 의미로 부족분이라는 용어로 정의한다. 부족분을 줄이기 위한 방법은 입력 영상의 개선을 통해서 이루어진다. 즉, 부족분이 발생한다고 가정했을 때, 이 부족분에 대한 ‘예상 부족분(predictive shortfall)’을 추정하여 입력 영상에 적용하여 부족분이 보정된 입력 영상을 생성한다. 보정된 입력 영상은 개선 함수와의 결합을 통해서 최종적인 결과 영상을 생성하게 된다. 기존의 연구들이 개선 함수의 부정확성 개선에 초점을 둔 반면, 제안하는 방법은 입력 영상의 불확실성 보정을 통해서 영상 해상도 개선을 이루어내는 것에 가장 큰 차이가 있다. 따라서 예상-부족분 추정이 핵심 사항이 되며, 이를 위해서 본 논문에서는 입력 영상의 부영상 집합을 이용한다. 이 추정과정에서는 전통적 보간 함수를 사용하여 계산복잡도를 최소화 하였고, 정확성을 높이기 위해서 다중 부영상을 반복하여 사용하였다. 기존의 대부분의 영상 보간 함수들은 복원 영상과 원본 영상의 차이를 나타낸다. 이런 차이가 발생하는 것은 개선함수의 부정확성과 열화 영상의 불확실성에서 기인한다. 지금까지 대부분의 연구들은 개선 함수의 정확성을 향상시키기 위한 접근이 이루어진 반면, 본 논문에서는 열화 영상의 불확실성을 개선할 수 있는 방법에 초점을 맞추고 있다. 복원 영상에서 부족분이 발생하는 것은 열화 과정에서 부족분에 해당하는 특성이 소실되었기 때문이다. 따라서 열화 영상에 소실된 부족분을 보정해주어 개선 함수와 결합한다면 개선된 결과 영상을 생성할 수 있다. 원본 영상을 Y , 열화 영상을 X , 영상 복원을 위한 개선 함수를 E , 복원 영상을 이라고 정의했을 때, Y와 사이에는 차이 ε 이 존재한다. 이 과정을 식 (1)에 나타내었다. 고정된 개선 함수를 사용한다고 가정했을 때, 본 연구의 기본 개념은 따라서 열화 영상에 추정 부족분을 더해서 개선 함수를 통과시킨다. 이 과정을 식 (2)에 나타내었다. 여기에서 는 복원 영상, ξ는 추정 부족분을 각각 의미한다. 추정 부족분 ξ는 열화 영상의 부영상으로부터 계산할 수 있다. X의 부영상을 Z라 할 때, Z는 X의 부표본화를 통해서 얻어지며 가로와 세로로 각각 1/2씩 부표본화 하는 경우에 4가지 경우의 부표본화 방법에 의해서 Z ₁ ~Z ₄ 까지의 부영상 집합을 생성할 수 있다. 각각의 부영상은 보간 함수를 통해서 열화 영상과 동일한 해상도를 가지도록 만들어 줄 수 있다. 이 과정을 식 (3)에 나타내었다. 는 부영상의 보간된 결과 영상, I 는 보간 커널을 각각 의미한다. 즉, linear, cubic, spline의 3개 보간커널과 Z ₁ ~Z ₄ 까지의 4개 부영상 집합의 결합을 통해서 보간된 결과 영상 12개를 생성할 수 있다. 이 생성된 _m 으로부터 추정 부족분을 얻어낼 수 있다. 이 과정을 식 (4)에 나타내었다. 추정부족분 ξ는 식 (2)에 대입하여 최종 결과 영상을 생성할 수 있다. 여기에서 추정 부족분은 결합 가중치를 적용하여 사용하여야 한다. 추정 부족분은 열화 영상의 밝기가 급격하게 변하는 부분에서 매우 큰 값을 가지게 된다. 따라서 가중치로 오차의 강도를 조절할 수 있는데, 가중치가 너무 낮게 설정되면 입력 영상의 불확실성 완화 정도가 낮아져서 결과 영상의 개선 정도가 적으며, 가중치가 너무 높게 설정되면 결과 영상에서 잡음으로 작용하게 된다. 결합 가중치를 적용한 최종 결과 영상은 식 (5)를 통해서 생성할 수 있다. 여기에서 α는 결합가중치를 의미한다. 하며, 스칼라 값이다. 실험적인 방법을 통해서 0.05에서 가장 좋은 결과를 나타내는 것을 알 수 있었다. 이상 기술한 것과 같이 본 논문에서는 영상 해상도 개선을 위한 고속 다중 혼합 영상 보간법을 제안하였다. 그림 1 에서는 제안하는 방법의 흐름도를 나타내었다. 제안하는 방법은 Intel Core2 2.4Ghz와 4G RAM으로 구성된 컴퓨터에서 실험되었고, MATLAB 8.0 버전으로 구현되었다. 실험 영상은 PNG 포맷의 512×512 크기의 8비트 명암도 영상을 사용하였다. 이 실험 영상을 원본으로 하여, 3×3크기의 표준편차 1의 가우시안 블러 마스크를 사용하여 블러링한 후, 가로와 세로로 각각 1/2씩 다운샘플링하여 획득 영상을 생성하였다. 부족분들의 결합 가중치 α는 0.05를 사용하였고 개선 함수로는 spline 보간 함수를 사용하였다. 그림 2 에서는 실험 영상을 나타내었다. 객관적 평가를 위한 척도로는 PSNR(peak signal to noise ratio)과 SSIM(structural similarity)를 사용하였다. 비교방법으로는 Li의 NEDI [2] , Asuni의 INEDI [3] , Giachetti의 ICBI [4] , Giachetti의 FCBI [5] , Zhou의 DCCI [6] 등이 사용되었다. 표 1 에서는 PSNR을 비교한 결과를 나타내었다. 모든 실험 영상에 대해서 제안한 방법이 가장 높은 값을 가지는 것을 알 수 있다. 평균 PSNR을 기준으로 NEDI에서 1.9dB, INDEI에서 1.2dB, FCBI에서 1.6dB, ICBI에서 1dB, DCCI에서 1.2dB 개선된 결과를 나타내고 있다. 표 2 에서는 SSIM을 비교한 결과를 나타내고 있다. 비교방법에 따라서 차이는 있지만 제안한 방법이 약 0.03~0.05 만큼 더 높은 값을 나타내고 있다. 그리고 모든 실험 영상에 대해서 제안한 방법이 가장 높은 SSIM을 가지는 것도 알 수 있었다. 이상의 객관적 화질 평가를 통해서 제안한 방법이 비교 방법들보다 객관적 화질이 우수한 것을 검증할 수 있었다. 다음은 알고리즘의 동작속도를 측정하여 표 3 에 나타내었다. INEDI와 ICBI와 비교했을 때 100배 이상의 시간차이가 나며, 비교 방법에서 가장 빠른 FCBI와 비교했을 때에도 3배 이상 빠르게 동작하는 것을 알 수 있다. 따라서 대용량 영상 콘텐츠의 해상도 개선을 위한 방법으로 기존의 방법들보다 효과적으로 적용할 수 있다. 다음으로 제안한 방법과 비교 방법들의 결과 영상을 그림 3 에서 비교하였다. 제안한 방법의 결과 영상에서는 다른 비교 방법에서 나타나는 흐려짐 현상이 크게 완화된 것을 확인할 수 있고, 문자식별도 용이한 것을 알 수 있다. 본 논문에서는 영상 해상도 개선을 위한 고속 다중 혼합 영상 보간법을 제안하였다. 제안하는 방법은 입력 영상에 특정 오차 정보를 결합하여 보간 영상과 원본 영상의 유사도를 증가시킨다. 또한 기존의 최적화된 보간 함수를 사용하여 계산복잡도를 최소화하면서도 결과 영상의 해상도를 향상 시킬수 있다. 객관적 및 주관적 화질과 알고리즘의 동작속도를 평가하여 비교 방법들보다 모두 개선되었음을 실험을 통해서 확인할 수 있었다. 제안하는 방법은 최근 대용량화 되고 있는 영상 콘텐츠의 해상도 향상을 위한 고속 알고리즘으로 유용하게 사용될 수 있다.