본 논문에서는 저해상도 영상들 사이의 움직임 정보를 사용하지 않고 서로 다른 형태의 열화영상들로부터 초해상도 영상을 복원하는 기술을 제안한다. 초해상도 영상 복원을 위해서 직사각형 조리개 마스크를 90도 회전하여 두 장의 영상을 취득하기 위한 렌즈시스템을 제안한다. 제안한 기술은 저해상도 영상에서 발생한 초점열화를 프레임마다 추정할 필요가 없고, 조리개 마스크 형태에 해당하는 초점열화만 추정하면 된다. 취득한 영상 간에는 평행 이동이 없기 때문에 영상정합이 필요하지 않다. 직사각형 조리개 마스크를 직교하여 취득한 두 장만의 영상으로 충분히 배타적인 정보를 얻을 수 있다. 따라서 저해상도 영상들 사이의 정합오류와 정합을 위한 계산량을 감소시킬 수 있기 때문에 고해상도 영상을 추정하기에 용이하다. 또한 기존의 카메라 렌즈 시스템에 조리개 마스크를 추가하여 적용할 수 있기 때문에 새로운 형태의 렌즈 시스템을 제작할 필요 없이 초해상도 영상을 복원할 수 있는 카메라 시스템으로 확장 가능하다. 마지막으로 본 논문에서 제안한 방향성 직사각형 열화를 사용한 초해상도 영상복원 기술의 성능을 검증하기 위해서 기존의 초해상도 영상복원 기술과 비교하였으며, 그 결과 해상도가 상당히 개선되었음을 보였다. 초해상도(superresolution) 영상복원 기술은 다수의 저해상도 영상을 사용해서 고해상도 영상을 추정하는 기술이다. Tsai와 Huang은 저해상도 영상 프레임들을 사용하여 고해상도 영상을 복원하는 초해상도 영상복원 기술을 최초로 제안했다 [1] . 이후 수십 년 동안 초해상도 영상복원을 위한 많은 연구가 꾸준히 수행되고 있다 [2 , 3] . 초해상도 영상복원을 위해서는 각각의 저해상도 영상들에 포함된 배타적인 정보를 활용해야 고해상도 영상을 추정할 수 있다. 예를 들면 저해상도 비디오에서의 움직임 정보를 사용하기 위해서 영상들의 움직임 정보를 부화소 단위로 정확히 추정하여 정합한다. 한편 영상들의 움직임 정보를 사용하지 않는 경우에는 저해상도 영상에서의 조명 위치의 변화나 서로 다른 초점 열화와 같은 광학적인 변화를 사용한다. 일반적으로 초해상도 영상을 복원하기 위해서는 다수의 저해상도 영상 프레임 간의 움직임을 부화소 단위로 추정하고 정합하여 고해상도 영상을 추정한다. 그러나 저해상도 영상 프레임들의 움직임 추정과 정합 과정에서의 오차는 고해상도 영상을 추정하는데 오차를 유발하고 비교적 많은 계산량이 필요하므로 움직임이 없는 영상 프레임들을 사용하는 초해상도 영상복원 기술들이 제안되었다. Elad와 Feuer는 저해상도 영상들에서 상대적인 움직임이 존재하지 않지만, 열화의 형태가 서로 다른 경우에는 초해상도 영상 복원이 가능하다는 것은 증명했다 [4] . 또한, 움직임 정보를 사용하지 않고 고해상도 영상을 추정하기 위해서 서로 다른 열화(blur)를 갖는 저해상도 영상들과 조명 변화에 의한 광학적 단서(photometric cues)를 사용하여 고해상도 영상을 추정하는 연구도 수행되었다 [5] . 최근에는 코드화된 조리개를 사용하여 해상도를 개선하고 깊이 영상을 추정하는 계산사진학에 대한 연구도 활발히 진행되고 있다 [6 , 7 , 8 , 9 , 10] . Mohan은 조리개 마스크의 위치를 조정하며 촬영한 여러 장의 영상에서 고해상도 영상을 추정했다 [6] . 이와 같이 초해상도 영상복원 기술은 촬영한 비디오의 영상프레임들 사이의 움직임 정보를 부화소 단위로 추정하여 사용하거나, 카메라를 고정하고 서로 다른 초점열화로 촬영한 저해상도 영상에서 초점열화를 가우스 함수로 가정하고 매개변수를 추정하면서 고해상도 영상을 복원할 수 있다. 본 논문에서는 움직임 정보를 사용하지 않고 초해상도 영상을 복원하기 위해서 서로 다른 형태의 열화영상들로부터 고해상도 영상을 취득하는 방법을 제안한다. 구체적으로 설명하면 영상열화를 발생시키는 커널 계수의 무게 중심은 동일하지만 서로 다른 방향의 직사각형 점확산함수로 초점열화된 저해상도 영상들로부터 고해상도 영상을 추정한다. 따라서 저해상도 영상들 사이에 전역적 움직임이 없고 서로 다른 방향성 열화만을 가지기 때문에 부화소 단위의 움직임 추정과 정합과정을 생략할 수 있다. 결과적으로 저해상도 영상들 사이의 정합오류와 정합을 위한 계산량을 감소시킬 수 있기 때문에 고해상도 영상을 추정하기에 용이하다. 본 논문에서 제안하는 초해상도 영상복원 기술의 특징은 다음과 같다. 첫째, 부화소 단위의 움직임 추정 및 정합 과정이 필요 없는 초해상도 영상복원 기술을 구현한다. 둘째, 일반적으로 초해상도 영상을 추정하기 위해서 다수의 저해상도 영상을 사용하지만 제안한 방법은 최소 두 장의 저해상도 영상으로 고해상도 영상의 추정이 가능하다. 셋째, 단순한 반복적 구조로 고해상도 영상을 추정하기 때문에 구현이 간단하다. 본 논문의 구성은 다음과 같다. 2절에서는 초해상도 영상 복원을 위한 방향성 초점열화와 조리개 마스크 모델을 제시한다. 3절에서는 저해상도 영상 열화모델을 제시하고 초해상도 영상 복원 기술에 대해 설명한다. 4절에서는 실험 결과를 제시하고, 마지막으로 5절에서 결론을 맺는다. 카메라의 초점이 물체에 정확히 맞지 않았을 때 발생하는 열화를 초점열화(out-of-focus blur)라고 한다. 초점열화는 카메라 렌즈, 조리개, 센서 등의 영향에 의해서 발생할 수 있다. 그림 1 a에서는 얇은 렌즈가 사용되는 경우의 초점열화 발생에 대한 원리를 보여준다. Din에 위치한 객체의 한 점에서 반사된 광선이 렌즈와 조리개를 통과하여 카메라 센서의 한 점에 초점이 맺힌다. 한편 Dout에 위치한 객체의 한 점에서 반사된 광선이 카메라 센서에 맺히는 경우에는 초점열화가 발생하여 확산원(circle of confusion)의 형태로 영상이 생성된다. 그림 1 b는 부분 조리개 마스크를 사용하여 렌즈의 일부 영역에만 광선을 통과시키기 위한 얇은 렌즈 모델의 구조이다 [6] . 이 예에서는 일부러 카메라 센서에 초점이 맞지 않게 조절하여 초점열화가 발생하도록 설정하였다. 초점열화에 의한 확산원의 크기는 조리개를 완전히 개방했을 경우 센서에서 화소 한 개의 크기라고 가정한다. 따라서 그림 1 b에서와 같이 조리개 마스크를 렌즈 크기의 1/3만 빛을 통과시키도록 설정한 경우에는 센서에서의 확산원 크기도 각각 1/3로 감소한다. 보다 구체적으로 설명하면 조리개 마스크 Am을 통과한 광선은 Cm의 확산원을 형성하고 Au와 Al을 통과한 광선을 각각 Cl과 Cu의 확산원을 형성한다. 결과적으로 Au와 Al를 통과한 영상은 Am에 의한 영상을 아래와 위쪽으로 센서화소 크기의 1/3씩 평행 이동시킨 결과를 나타낸다. 그림 1 b의 조리개 마스크를 사용한 렌즈 모델은 조리개 마스크를 사용하여 초점열화가 발생한 영상을 평행이동 시키는 역할을 수행하기 때문에 해당 조리개 마스크를 사용하여 취득한 영상들 사이에는 부화소 단위의 움직임이 존재하고 이 정보를 정합하여 초해상도 영상복원이 가능하다. 한편 움직임이 존재하지 않는 영상들에서 초해상도 영상 복원을 추정하는 Elad [4] 의 방법은 저해상도 영상들에서 서로 다른 초점열화가 존재해야 하므로 영상을 취득할 때마다 렌즈의 설정을 바꾸어야 하고 복원 과정에서 각각의 초점열화를 추정해야 하는 복잡한 구조로 되어 있다. 본 논문에서는 앞서 언급한 기존의 방법들의 문제를 해결하여 초해상도 영상복원을 구현하기 위해 그림 2 와 같은 모델을 제안한다. 그림 2 는 직사각형 조리개 마스크를 90도 회전하여 두 장의 영상을 취득하기 위한 렌즈시스템의 예이다. 직사각형 조리개 마스크를 직각으로 회전하기 때문에 열화의 방향이 변하여 서로 다른 방향성 초점열화를 발생시킨다. 보다 구체적으로 설명하면, 약간의 초점열화를 발생하도록 촬영한 두 장의 저해상도 영상은 각각 수직방향과 수평방향의 직사각형의 초점열화가 발생하여 에일리어싱된 성분을 포함한다. 결과적으로 저해상도 영상들의 에일리이싱 성분으로부터 초해상도 복원이 가능하다. 또한, 조리개 마스크를 회전시켜 촬영하는 경우에는, 초점열화 커널의 무게 중심이 동일하기 때문에 취득한 영상들 사이에서의 전역적 움직임은 없다. 결국, 이처럼 취득한 저해상도 영상들 사이에는 서로 배타적인 정보를 담고 있으면서 평행이동의 움직임은 존재하지 않기 때문에 초해상도 영상복원을 위해서 영상을 정합할 필요가 없다. 그림2 에서 점선은 가로 방향의 직사각형 조리개 마스크 Ah와 이에 해당하는 광선과 초점열화 Ch를 나타내고, 실선은 세로 방향의 직사각형 조리개 마스크 Av와 초점열화 Cv를 나타낸다. 제안하는 방향성 조리개 마스크 모델의 장점은 다음의 세 가지로 설명할 수 있다. 첫째, 저해상도 영상에서 발생한 초점열화를 프레임마다 추정할 필요가 없고, 조리개 마스크 형태에 해당하는 초점열화만 추정하면 된다. 둘째, 취득한 영상 간에는 평행 이동이 없기 때문에 영상정합이 필요하지 않다. 셋째, 직사각형 조리개 마스크를 직교하여 취득한 두 장만의 영상으로 충분히 배타적인 정보를 얻을 수 있다. 본 절에서는 조리개 마스크 렌즈에 대한 영상열화 모델을 수학적으로 정의하고 초해상도 영상복원을 위한 구조에 대해 설명한다. 본 논문에서 제안하는 초해상도 영상복원 방법은 저해상도 영상들이 서로 다른 형태의 영상열화를 포함한다는 가정이 필요하다. 일반적으로 다양한 형태의 영상열화를 포함한 저해상도 영상들을 사용할 수 있지만, 본 논문에서는 영상 취득 및 정합 과정의 단순화를 위해서 직사각형의 초점열화 커널을 사용한다. 저해상도 영상들로부터 고해상도 영상을 추정하기 위한 방법을 기술하기 위해서 고해상도 영상이 저해상도 영상으로 열화되는 과정을 모델링한다. N × N 크기의 고해상도 영상이 부표본화, 초점열화, 잡음이 차례로 적용되어서 M × M 크기의 저해상도 영상으로 열화된다고 가정한다. 이러한 저해상도 열화 과정을 벡터-행렬 수식으로 표현하면, 와 같다. 여기에서 y_k 와 η_k 는 각각 M ² ×1 길이를 가지며 사전순(lexicographical)으로 배열된 k 번째의 저해상도 영상 및 잡음을 나타내는 벡터를 의미하며, x 는 N ² ×1 길이를 갖는 고해상도 영상 벡터를 의미한다. H_k 는 N ² × N ² 크기의 영상열화 행렬을 나타내며, D는 고해상도의 영상을 저해상도 영상으로 부표본화하는 행렬로 M ² × N ² 의 크기를 가지며 와 같이 표현한다. 수식 (1)에서와 같이 고해상도 영상 x 가 영상열화 과정을 거쳐 생성된 저해상도 영상 y_k 는 H_k 의 열화 커널에 따라서 열화된다. 취득한 저해상도 영상이 두 장인 경우, 다음 수식과 같이 열화 커널 H ₁ 은 수직 방향의 직사각형 배열을 가지며, H ₂ = H ₁ ^T 라고 가정한다. 여기에서 T 는 행렬의 전치를 나타낸다. 일반적으로 영상복원 문제에 있어서 저해상도 영상 y_k 에 인가된 미소한 오차 혹은 변화가 일반적으로 그의 해 x 에 심각한 변화를 초래하는데 이를 ill-posedness라 하고, 이 문제를 해결하여 well-posedness가 되도록 안정화하는 것을 정칙화(regularization)라고 한다. 본 논문에서는 수식 (1)에서 고해상도 영상 x 를 추정하기 위해서 정칙화 영상복원방법을 사용한다. 영상복원 문제를 정칙화하기 위해서 선험적 평활도(a priori smoothness) 제약조건을 적용하여 정칙화 방식으로 해를 구하기 위해서 와 같은 범함수(functional)를 최소화시킴으로써 구할 수 있다. 여기에서 C 는 고주파통과필터를 나타내며 본 논문에서는 라플라시안 연산자를 사용했고, ∥ C χ ∥를 최소화시키는 과정은 주로 증폭된 잡음에 의한 고주파 성분을 억제하여 복원된 신호의 에너지를 제한하는 역할을 하므로 안정화 함수(stabilizing functional)라 한다. 또한 λ는 평활도 제약조건의 양을 조절하는 정칙화 매개변수(regularization parameter)를 나타낸다. 정칙화 접근 방식에 의한 식(4)의 해는 정칙화 매개변수를 조절하여 잡음이 증폭된 신호와 평활한 신호 사이의 적절한 값을 결정한다. 식(4)의 해를 구하기 위해서 반복적 방법을 사용하면 다음과 같이 해를 구할 수 있다. 여기에서 n은 반복 횟수를 나타내고, β 는 반복적 결과의 수렴 속도를 조절하는 상수이다. 제안한 알고리듬의 성능을 평가하기 위해서 몇 가지 형태의 조리개 마스크를 가진 렌즈 시스템을 가정하여 실험했다. 첫째로 조리개의 형태에 의한 초점열화 영상 한 장만을 사용한 고해상도 영상복원 결과를 비교하였다. 둘째로는 초해상도 영상복원 결과를 비교하기 위해서 Mohan [6] 이 제안한 정사각형 조리개 마스크를 사용한 초해상도 방법과 본 논문에서 제안한 방법의 결과를 비교하여 제시했다. 본 실험에서 사용된 조리개의 형태는 일반적인 카메라에서 사용되는 원형 조리개, 정사각형 조리개, 직사각형 조리개의 세 가지이다. 공정한 비교를 위해서 조리개 마스크에 의해 발생한 초점열화의 크기를 비슷하게 모델링하여 열화의 정도를 균일화 했으며, 초해상도 복원 과정은 식 (5)의 방법을 사용하여 같은 조건으로 반복적으로 계산했다. 저해상도 영상을 얻기 위해서 식 (1)에 따라서 원 영상에 조리개 마스크의 형태를 고려한 초점열화를 적용하고 1/2 크기의 영상을 취득하기 위해서 부표본화를 수행했다. 본 실험에서 사용한 원영상과 세 가지 형태의 조리개 시스템에 의해 발생된 초점열화 영상을 그림 3 에 제시했다. 이 실험에서 사용한 원형 조리개 마스크에 의한 초점열화는 반지름이 3이라고 가정했고, 정사각형 조리개 마스크에 의한 초점열화는 5×5 크기의 균일한 점확산함수를 사용했다. 마지막으로 본 논문에서 제안한 직사각형 조리개 마스크에 해당하는 점확산함수는 9×3 크기를 사용했다. 세 가지 조리개 마스크에 의해 발생한 초점열화의 면적 중 정사각형 점확산함수의 경우 25가 된다. 결과적으로 본 실험에서 사용된 초점열화의 정도는 작은 차이이지만 원형 조리개 마스크, 정사각형 조리개 마스크, 직사각형 조리개 마스크의 순서로 초점열화가 많이 발생된다는 것을 예상할 수 있다. 본 논문의 실험에서는 공정한 결과 비교를 위해서 식 (5)의 매개변수는 β = 0.1, λ = 0.1, n = 20 등의 동일한 일한 조건으로 실험을 수행했다. 그림 4 에서는 조리개 마스크의 형태에 따라서 발생한 초점열화 영상의 고해상도 복원결과를 비교하기 위해서 한 장의 저해상도 영상만을 사용하여 식 (5)를 통해서 반복적으로 고해상도 영상을 추정한 결과를 제시했다. 각각의 결과는 저해상도 영상을 두 배 확대한 결과이다. 첫 번째 열에는 원형조리개 마스크 초점열화를 복원한 영상, 두 번째 열은 정사각형 조리개 마스크 초점열화를 복원한 영상, 세 번째 열에는 가로 방향의 직사각형 조리개 마스크 초점열화를 복원한 영상을 제시했다. 각 그림 아래의 숫자는 PSNR을 나타낸다. 그림 5 에서는 제안한 초해상도 복원 기술과 기존의 초해상도 영상복원 기술의 성능을 비교한 결과를 제시했다. 첫 번째 열은 Mohan이 제안한 정사각형 조리개 마스크 초점열화 영상을 식 (5)의 반복적 초해상도 영상복원 알고리듬을 사용하여 복원했다. 이 실험에서는 정사각형의 조리개 마스크를 렌즈 중심에서 서로 겹치지 않게 평행 이동하여 네 장의 영상을 촬영하는 것을 가정하여 저해상도 영상을 생성했다. 결과적으로 생성된 네 장의 저해상도 영상들은 동일한 조리개 마스크를 사용하여 촬영한 영상을 광축을 중심으로 평행 이동하여 촬영한 결과와 같다. 두 번째 열에 제시한 결과는 본 논문에서 제안한 방향성 직사각형 조리개 마스크 초점열화를 가정하여 수평과 수직 방향의 초점 열화가 발생한 두 장의 저해상도 영상을 사용한 초해상도 복원 결과이다. 마지막 열에는 0°, 30°, 60°, 90° 방향 등의 네 개 방향성 직사각형 초점열화에 의해 생성된 네 장의 저해상도 영상을 복원한 결과를 제시했다. 그림 5 의 세 가지 실험 결과의 조건을 비교하면, 그림 5 a와 5 c에서는 네 장의 저해상도 영상을 사용했고, 그림 5 b에서는 두 장의 저해상도 영상을 사용했다. 그러나 그림 5 a와 5 b의 결과 영상을 주관적으로 비교하면 거의 동등한 결과를 나타내는 것을 볼 수 있었다. 특히 그림5 의 두 번째 줄의 배 영상을 살펴보면 배에 적힌 글자나 돛의 윤곽선을 보면 제안한 방법이 우수함을 알 수 있다. 그림 5 c의 네 방향의 직사각형 열화 저해상도 영상을 사용한 결과는 다른 결과 영상에 비해서 고해상도 영상을 얻을 수 있음을 확인했다. 본 논문에서는 움직임 정보를 사용하지 않고 초해상도 영상을 복원하기 위해서 방향성 직사각형 초점열화가 발생한 저해상도 영상들로부터 고해상도 영상을 복원하는 방법을 제안했다. 저해상도 영상들 사이에 전역적 움직임이 없고 서로 다른 방향성 열화만을 가지기 때문에 부화소 단위의 움직임 추정과 정합과정을 생략할 수 있다. 정합오류와 계산량을 감소시킬 수 있기 때문에 기존의 초해상도 영상복원 기술에 비하여 고해상도 영상을 추정하기에 용이하다. 또한 기존의 초해상도 영상복원을 위한 방법과 실험 결과를 비교한 결과, 제안한 방법의 우수성을 확인할 수 있었다. 제안한 초해상도 영상복원 기술의 실제 적용을 위해서 카메라 렌즈 외부에 회전이 가능한 직사각형 조리개 마스크를 회전하여 두 장의 영상을 촬영하는 방법을 적용하면, 저해상도 영상을 취득할 때마다 조명의 움직임이나 초점열화를 다르게 설정할 필요 없는 단순한 형태의 초해상도 계산카메라의 구현이 가능할 것으로 기대한다. 신 정 호 - 1994년 : 중앙대학교 전자공학과 학사 졸업 - 1998년 : 중앙대학교 전자공학과 석사 졸업 - 2001년 : 중앙대학교 첨단영상대학원 영상공학과 박사 졸업 - 1993년 12월 ～ 1995년 8월 : (주)기아자동차 중앙기술연구소 연구원 - 1999년 12월 ～ 2001년 6월 : 테네시대학교 전기 및 컴퓨터공학과 방문연구원 - 2001년 7월 ～ 2001년 10월 : 존스홉킨스대학교 방사선과 연구원 - 2002년 2월 ～ 2002년 5월 : 한국과학재단 연구원 - 2002년 6월 ～ 2003년 3월 : 한국과학기술기획평가원 선임연구원 - 2003년 4월 ～ 2006년 7월 : 중앙대학교 첨단영상대학원 연구교수 - 2013년 2월 ～ 2014년 1월 : 노스캐롤라이나대학교 전기 및 컴퓨터공학과 방문연구원 - 2006년 8월∼ 현재 : 한경대학교 컴퓨터웹정보공학과 교수 - 주관심분야 : 영상처리, 영상복원, 계산사진학