Advanced
Frame rate up conversion method using bilateral motion estimation based on texture activity and neighboring motion information
Frame rate up conversion method using bilateral motion estimation based on texture activity and neighboring motion information
Journal of Korea Multimedia Society. 2014. Jul, 17(7): 797-805
Copyright © 2014, Korea Multimedia Society
  • Received : March 10, 2013
  • Accepted : June 09, 2014
  • Published : July 28, 2014
Download
PDF
e-PUB
PubReader
PPT
Export by style
Share
Article
Author
Metrics
Cited by
TagCloud
About the Authors
윤호 정
Dept. of Mechatronics Engineering, Chungnam National Univ.
진형 김
Dept. of Mechatronics Engineering, Chungnam National Univ.
윤호 고
Dept. of Mechatronics Engineering, Chungnam National Univ.

Abstract
In this paper we propose a new frame rate up conversion scheme which is used to overcome the motion blur problem of liquid crystal display caused by its slow response. The conventional bilateral motion estimation method which is mainly used in the frame rate up conversion scheme has a drawback that it cannot find true motion vector if there are blocks with simple texture in the search range. To solve this problem, a texture adaptive bilateral motion estimation method that increases cost value of block with simple texture is proposed. Also a motion estimation scheme that utilizes neighboring motion vector effectively is proposed to reduce computation time required to estimate motion. Since the proposed scheme does not apply all available motion vectors within the search range, the execution time of frame rate up conversion can be reduced dramatically. Experimental results show that the interpolated frame image quality of the proposed method is improved in subjective as well as objective view point compared with that of the conventional method.
Keywords
1. 서 론
프레임률 증가 기법(Frame Rate Up Conversion : FRUC)은 동영상의 프레임간에 새로운 프레임을 삽입함으로써 프레임률을 증가시키는 기법이다. 프레임률 증가 기법은 서로 다른 프레임률을 가지는 영상간의 호환성을 지원하거나 동영상 압축 등에 주로 사용되어 왔다. 한편 평판 TV들 중 가장 많이 사용되고 있는 LCD(liquid crystal display) TV에서는 동영상 재생시 모션블러(motion blur)라는 단점이 발생한다 [1 , 2] . 프레임률 증가 기법은 이러한 문제를 해결하기 위한 방법들 중 하나로도 주목받고 있는데 영상의 휘도를 감소시키지 않고 모션블러를 해결할 수 있다 [3 , 4] .
기존 프레임률 증가 기법은 크게 두 부류로 구분할 수 있다. 첫 번째 부류는 영상에 포함된 움직임 정보를 이용하지 않고 프레임의 단순 반복이나 프레임간 선형 보간 방법을 통해 프레임률을 증가시키는 방법이다. 이러한 방법은 그 구현이 단순하지만 물체의 경계에서 몽롱화 현상을 발생시키거나 움직이는 객체가 부자연스럽게 움직이는 것과 같은 문제(jerkiness)를 야기한다. 반면 두 번째 부류는 영상열을 해석하여 영상에 포함된 객체의 움직임 정보를 기반으로 삽입될 프레임을 구성하는 방법이다. 이러한 접근 방법을 일반적으로 움직임 추정을 이용한 프레임률 증가 기법이라고 한다. 비록 이러한 방법이 첫 번째 부류에 비하여 복잡하지만 고화질의 보간 영상을 만드는데 있어 효과적이기에 본 논문에서는 움직임 추정을 이용한 프레임률 증가 기법의 문제를 다룬다.
움직임 보상을 이용한 프레임율 증가 기법들은 블록단위 연산을 주로 하게 되는데 크게 움직임 추정(ME, motion estimation), 움직임 해석 및 평활화(motion analysis and smoothing), 움직임 보상(MCI, motion compensated interpolation)이라는 세 개의 단계로 구성된다. 먼저 움직임 추정에서는 인접 프레임 정보를 이용하여 움직임 정보를 추정한다. 다음으로 움직임 해석 및 평활화 과정에서는 추정된 움직임 정보를 바탕으로 보다 신뢰성 있는 정보가 되도록 움직임 정보를 정제한다. 끝으로 움직임 보상에서는 움직임 정보에 따라 주관적 화질에 이득이 되도록 보간 영상을 실제 구성한다. 이러한 세 개의 단계 중 움직임 추정은 프레임율 증가 기법의 성능에 가장 큰 영향을 주는 과정이다
초기 프레임율 증가 기법들에서는 영상 압축분야에서 사용되는 BMA(Block Matching Algorithm)를 이용하여 움직임을 추정하였다 [5] . 현재 프레임의 각 블록을 중심으로 이전 프레임으로부터 움직임 벡터를 찾은 후 이 움직임 정보에 따라 중간 프레임을 보간하는 방식이기 때문에 중간 프레임에서 겹치는 중첩(overlap) 영역과 보간 되지 않는 홀(hole) 영역이 생기게 된다. 이러한 홀과 중첩 영역을 해결하기 위해 중간값 필터를 이용하거나 [6] , 공간 방향으로의 보간 기법을 이용하거나 [7] , 인접한 움직임 정보를 이용한 움직임 보상 기법들 [8 , 9] 이 있었다. 하지만 이러한 방법들은 복잡한 연산을 요구할 뿐 보간 영상에 바람직하지 않은 화질 저하를 피할 수 없는 근원적 문제점을 가지고 있다.
이러한 문제를 해결하기 위해 고안된 것이 양방향 움직임 추정(Bilateral Motion Estimation : BME) 이다 [10] . 양방향 움직임 추정 기법은 중간 프레임의 각 블록을 기준으로 이전 프레임과 현재 프레임으로부터 움직임 벡터를 찾는 방법으로 중첩 부분과 홀이 생기지 않는 방법이다. 이러한 양방향 움직임 추정 기법의 성능 향상을 위한 방법들이 제안되어 왔다. SMD(side match distortion)를 사용하는 방법에서는 예측된 블록과 이웃 예측된 블록의 경계가 일치하는 정도를 추가로 이용하여 블록간 움직임을 유사하게 하였다 [11] . 하지만 반복 연산을 수행하여야 하므로 수렴할 때까지의 연산량이 방대하여 실제 시스템에 응용하는데 한계가 있을 뿐 아니라 움직임 평활화 과정을 통해 움직임 벡터를 정제하는 방법에 비하여 성능 향상이 크지 않은 문제점을 가진다. EBME(Extended Bilateral Motion Estimation) 기법에서는 BME를 한 번 수행한 다음 블록의 그리드를 영상의 가로축과 세로축 방향으로 블록 크기의 반만큼 이동하여 새로운 블록들을 형성하고 이에 대해 다시 한번 BME를 수행하여 중첩된 영역에서 얻어지는 2개의 움직임 벡터 중 더 나은 움직임 벡터를 사용하는 방법이다 [12] . 이러한 방법 역시 기존 BME에 비해 2배 이상의 연산량이 소요되는데 반해 얻을 수 있는 성능 향상의 정도가 크지 않다. 또 다중 프레임 기반의 양방향 움직임 추정 기법에서는 세 개 이상의 프레임을 사용하여 움직임 벡터의 정확성을 증가시키고자 하였다 [13] . 하지만 이러한 기법은 영상을 저장할 추가 메모리 영역이 필요할 뿐만 아니라 수행시간이 크게 증가하는 단점을 가진다.
이처럼 기존 양방향 움직임 추정을 개선하기 위한 기법들에서는 움직임 벡터의 정확성 향상을 위해 추가적인 많은 연산량이 요구되고 있다. Full HD급 이상의 LCD가 보편화 되고 있는 상황에서 하드웨어적인 복잡도와 연산량을 고려한 움직임 추정 기법이 중요하게 대두되고 있다. 이에 본 논문에서는 기존 양방향 움직임 추정 기법의 문제점을 분석하고 이를 해결할 수 있는 새로운 움직임 추정 방법을 제안한다. 제안된 방법은 기존 양방향 움직임 추정 시 사용되는 비용함수에 질감 활성도를 추가로 반영하여 탐색 영역 내 단순한 질감 영역으로 인한 잘못된 움직임 벡터 추정을 방지한다. 또한 움직임 추정 시 주변 움직임 벡터를 효율적으로 이용하여 기존 양방향 움직임 추정 기법보다 연산량을 크게 감소시킬 수 있는 2단계의 구조를 가지는 고속 움직임 추정 기법을 제안한다.
본 논문의 구성은 다음과 같다. 2장에서는 본 논문에서 제안하는 새로운 움직임 추정 기법을 기술하고 3장에서는 기존 기법과의 비교를 통한 제안 기법의 성능을 평가한다. 끝으로 4장에서는 결론을 맺는다.
2. 본 론
- 2.1 질감 활성도를 고려한 양방향 움직임 추정
- 2.1.1 기존 양방향 움직임 추정의 문제점
기존에 사용되어 왔던 양방향 움직임 추정 기법은 중간 프레임의 각 블록을 기준으로 특정 움직임 벡터를 대칭적으로 적용하여 이전 프레임과 현재 프레임의 대응되는 블록이 가지는 화소 값의 차이 정도를 SBAD(Sum of Bilateral Absolute Differences)로 평가한다. 이후 탐색 영역 내의 모든 가능한 움직임 벡터 중 가장 작은 SBAD를 보이는 움직임 벡터를 해당 블록의 최종 움직임 벡터로 선정한다. 구체적으로 보간하고자 하는 중간 프레임의 i j 열에 해당하는 블록 B i,j 에 대한 움직임 벡터 v i,j 는 다음의 식 (1)을 통해 얻어진다 [9] .
PPT Slide
Lager Image
여기서 ( dx , dy )는 특정 움직임 벡터를 나타내고, f n-1 f n+1 은 이전 프레임과 현재 프레임을 의미한다. Sxy 는 움직임 벡터의 가능한 집합으로 탐색 영역에 해당한다. Fig. 1 은 이러한 양방향 움직임 추정을 그림으로 도시한 것이다.
PPT Slide
Lager Image
Bilateral motion estimation,
이러한 기존 양방향 움직임 추정은 영상 내 단순 패턴이 존재하는 영역에서 움직임 벡터의 빈번한 오 검출을 야기할 수 있다. 영상열 내에 물체와 배경은 장면이 진행됨에 따라 여러 가지 원인으로 인해 그 밝기 값과 형태가 일부 변하게 된다. 따라서 실제 움직임에 해당하는 움직임 벡터에 대해서도 그 SBAD값이 완벽하게 0일 수 없고 밝기 값 등의 변화에 따라 일정 크기를 가지는 SBAD값이 나타나게 된다. 한편 이전 영상과 현재 영상의 탐색 범위 내에 단순 패턴이 넓게 분포하는 경우 실제 움직임이 아닌 움직임 벡터에 대해서도 SBAD값이 극히 낮게 발생할 가능성이 높다. 이로 인해 단순 패턴으로 이루어진 블록이 탐색 범위 내에 다수 존재하는 경우 움직임 벡터가 빈번하게 오 검출되는 문제가 발생한다.
Fig. 2 는 이러한 단순 패턴에 의한 움직임 벡터 오 검출을 도시한 것이다. Fig. 2 의 (a)는 정상적으로 공의 움직임을 추정하는 경우이고, (b)는 탐색 범위내의 단순 패턴에 의해 잘못된 움직임을 추정하는 경우이다. Fig. 2 의 (a)에서와 같이 공이 이전 프레임에서 현재 프레임으로 이동하고 이때 그 밝기 값과 모양에 변화가 없다면 정상적인 움직임 추정이 가능하다. 하지만 실제 영상에서는 공의 밝기 값 변화, 공의 회전, 이동에 따른 배경의 변화 등으로 실제 움직임 벡터에 대한 SBAD값이 일정 크기를 가지게 된다. 이 때 탐색범위 내에 단순 패턴이 넓게 분포하는 경우 Fig. 2 의 (b)에서와 같이 특정 움직임 벡터에서의 SBAD가 실제 움직임 벡터에 대한 SBAD보다 낮은 값을 가질 수 있다. 이로 인해 양방향 움직임 추정 시 Fig. 2 의 (b)에서와 같은 움직임 벡터 오 검출이 일어나게 된다.
PPT Slide
Lager Image
Limitation of the conventional bilateral motion estimation (a) Case of estimating true motion vector (b) Case of estimating false motion vector.
- 2.1.2 질감 활성도를 고려한 양방향 움직임 추정
단순 패턴에 의해 움직임 벡터를 오검출 하는 문제를 해결하기 위해 본 논문에서는 질감 활성도를 고려한 양방향 움직임 추정 기법을 제안한다. 질감 활성도(δ)란 블록 내 화소 변화량 정도를 나타내기 위한 것으로 본 논문에서는 성능 분석 결과와 연산량을 고려하여 식 (2)에서와 같은 대각선 방향의 화소변화량을 사용하였다.
PPT Slide
Lager Image
여기서
PPT Slide
Lager Image
은 보간 프레임으로 식 (3)에서와 같이 정의되며, xmax ymax 는 각각 블록 내 x 축 방향과 y 축 방향의 최대 픽셀 좌표이다.
PPT Slide
Lager Image
d 1 ( x , y )은 왼쪽 위에서 오른쪽 아래 방향으로의 대각선, d 2 ( x , y )는 오른쪽 위에서 왼쪽 아래 방향으로의 대각선에서만 함수값이 1인 함수이다. Fig. 3 은 이러한 질감 활성도를 구하는 대각선 영역을 도시한 것이다. 따라서 질감 활성도는 대각선 방향으로 이전 화소 값과 현재 화소 값의 차를 누적한 값이라고 할 수 있다.
PPT Slide
Lager Image
Texture activity.
질감도가 높은 영역은 질감도가 낮은 영역에 비해 조명이나 기타 원인들로 인해 SBAD가 커질 가능성이 크므로 제안된 방법에서는 SBAD값을 질감 정도가 클수록 감소시킨다. 구체적으로 SBAD값과 배율된 δ값의 차를 SVCT (Similarity Value Considering Texture)라 명하고 식 (4)와 같이 정의한다. 여기서 α 는 질감 활성도의 반영 정도를 결정하기 위한 파라미터로 본 연구에서는 실험적으로 4를 사용하였다. 제안된 질감 정보를 이용한 움직임 추정에서는 수식 (5)에서와 같이 최소 SVCT에 해당하는 벡터를 움직임으로 추정하게 된다.
PPT Slide
Lager Image
PPT Slide
Lager Image
- 2.2 주변 움직임 벡터를 이용한 고속 양방향 움직임 추정
일반적으로 영상 내 동일 객체 내부 영역은 유사한 움직임을 가지고 있다. Fig. 4 에서와 같이 카드는 시계 방향, 선인장은 왼쪽, 배경은 정지되어 있는 것을 확인 할 수 있다. 여기서 각 점들은 블록의 중심 위치를 나타내고 선은 추정된 움직임 벡터의 크기와 방향을 나타낸다.
PPT Slide
Lager Image
Object motion in an image.
아래 그림에서 볼 수 있듯이 특정 객체 내 인접한 블록들의 움직임 벡터는 동일한 움직임을 가지게 될 가능성이 매우 높다. 이러한 특성을 이용해 움직임을 추정하고자 하는 블록에 이미 추정된 주변 움직임 벡터들을 적용하여 정해진 기준을 만족하면 이를 해당 블록에 대한 움직임 벡터로 사용할 수 있다.
구체적으로 특정 주변 움직임 벡터가 현재 블록에 적용 가능하기 위해서는 해당 주변 움직임 벡터를 현재 블록에 적용했을 때 얻어진 SVCT값이 일정 기준치 이하여야 한다. 이 때 이러한 조건을 만족시키는 다수의 주변 움직임 벡터가 존재하는 경우 가장 작은 SVCT 값이 나온 벡터를 현재 블록의 움직임 벡터로 선정하게 된다. 만약 이러한 조건을 만족시키는 주변 움직임 벡터가 존재하지 않는다면 이는 서로 다른 객체일 가능성이 크다. 이 경우 질감 활성도를 고려한 양방향 움직임 추정 기법을 사용하여 움직임 벡터를 추정하게 된다.
이러한 방법은 탐색범위 내의 가능한 모든 움직임 벡터에 대하여 SBAD 또는 SVCT값을 연산하지 않아도 되기 때문에 빠른 움직임 추정을 가능하게 한다. 또한 주변 움직임 벡터를 이용한 움직임 추정은 일정한 영역의 움직임이 같은 움직임을 가지게 하는 움직임 벡터 평활화(motion vector smoothing : MVS)의 효과를 함께 얻을 수 있는 부가적 이점이 있다.
주변 움직임 벡터를 이용한 움직임 추정과정은 통상적인 영상처리 과정과 같이 좌측상단에서부터 순차적으로 수행된다. 따라서 특정 블록에 대한 움직임 추정 시 8개의 인접한 모든 주변 블록에 대한 움직임 벡터가 존재하지 않을 수 있다. 따라서 본 연구에서는 2단계 과정을 거치는 주변 움직임 벡터를 이용한 움직임 추정을 제안한다. 즉 첫 번째 단계에서는 Fig. 5 와 같이 4개의 주변 움직임 벡터를 이용하고 두 번째 단계에서는 Fig. 6 에서와 같이 8개의 주변 움직임 벡터를 이용하게 된다.
PPT Slide
Lager Image
First phase of motion estimation using neighbor motion vector
PPT Slide
Lager Image
Second phase of motion estimation using neighbor motion vector.
주변 움직임 벡터를 이용한 움직임 추정의 첫 번째 단계에서는 식 (6)에 따라 움직임 벡터를 선정한다. 식 (6)의 각 파라미터는 식 (7)과 같다.
PPT Slide
Lager Image
PPT Slide
Lager Image
여기서 S v1 은 첫 번째 단계에서 사용 가능한 이미 움직임 추정이 완료된 주변 움직임 벡터들의 집합이다.
PPT Slide
Lager Image
는 ( i , j )번째 현재 블록에 대하여 S v1 의 원소인 주변 움직임 벡터를 적용 시 얻을 수 있는 가장 작은 SVCT값이다. ε 1 은 주변 움직임 벡터 사용 여부를 결정하는 기준치 값이고
PPT Slide
Lager Image
는 현재 블록 ( i , j )이전까지 구한 SVCT값들의 평균값이다. NPB i,j 는 현재 블록 이전까지 움직임 추정을 수행한 블록의 개수, τ 는 블록 내 화소의 총 개수로 블록크기를 반영하도록 만들어진 기준치의 여유분을 나타낸다. i max 는 영상 내 x 축 방향의 최대 블록 좌표이고 j max 는 블록 내 y 축 방향의 최대 블록 좌표이다. 예를 들어, 주변 움직임 벡터를 이용한 양방향 움직임 추정 기법의 첫 번째 단계를 나타낸 Fig. 6 에서 현재 블록의 위치는 (2,2)이며, 이 때 NPB i,j 값은 영상의 가장자리 움직임 벡터를 제외한 6이 된다.
주변 움직임 벡터를 이용한 양방향 움직임 추정기법의 첫 번째 단계를 수행하면 모든 블록에 대한 움직임 벡터정보가 존재하게 된다. 따라서 두 번째 단계에서는 Fig. 6 에서와 같이 현재 블록 주변 8개 블록의 움직임 벡터를 모두 사용하여 움직임 벡터를 갱신하게 된다. 주변 움직임 벡터를 이용한 양방향 움직임 추정의 두 번째 단계에서는 식 (8)에 따라 움직임을 갱신한다. 식 (8)의 각 파라미터는 식 (9)와 같다.
PPT Slide
Lager Image
PPT Slide
Lager Image
두 번째 단계에서는 새로운 기준치 ε 2 를 만족하는 경우 주변 움직임 벡터에 의해 해당 블록의 움직임 벡터가 선정된다. 이를 만족하지 못하는 경우 질감 활성도를 이용한 양방향 움직임 추정 기법을 통해 움직임 벡터를 추정 한다. 이 때 첫 번째 단계에서 이미 이 과정을 수행한 블록인 경우 중복 계산을 피하기 위해 추정된 움직임 벡터를 그대로 사용하게 된다. 기준치 ε 2 값이 클수록 주변 움직임 벡터와 동일한 움직임 벡터가 선정될 가능성이 커지므로 일종의 움직임 벡터 평활화 효과를 기대할 수 있다. 하지만 지나치게 크면 실제 움직임과 다른 움직임 벡터가 선정될 가능성이 커진다. 본 논문에서는 실험적으로 첫 번째 단계에서 얻은 가장 최종의 SVCT 평균값인
PPT Slide
Lager Image
에 기준치의 여유분인 8 τ 를 을 더한 값을 사용하였다.
3. 실험 결과
제안된 프레임율 증가 기법의 성능 평가를 위해 다양한 움직임 특징이 포함된 5개의 FullHD급(1920×1080) 무압축 영상열을 사용하였다. 실험에 사용된 영상열과 그 주요 특징은 각각 Table 1 Table 2 와 같다.
Sample of test sequences
PPT Slide
Lager Image
Sample of test sequences
Characteristic of test sequences
PPT Slide
Lager Image
Characteristic of test sequences
제안된 프레임율 증가를 위한 움직임 추정 기법의 성능을 비교 평가하기 위해 SBAD를 이용하는 기존 양방향 움직임 추정 기법과 [9] 이의 성능 향상을 위해 블록의 경계 정보를 추가로 이용하는 SMD 기법을 이용하였다 [10] . 움직임 추정을 위해 사용된 블록 사이즈는 24×24이고, 탐색범위는 40×40을 사용하였다.
한편 프레임율 증가를 위한 중간 프레임 생성 시 움직임 추정에 이어 움직임 평활화와 움직임 보상 단계가 일반적으로 사용된다. 각 기법의 움직임 평활화를 위해 주변 움직임 벡터 정보를 이용하여 외부자 움직임 벡터를 선정하고 미디언 필터를 통해 이를 수정하는 움직임 평활화를 사용하였다 [11] . 또한 중간 프레임 생성을 위해 주변 블록의 움직임 벡터를 일정한 윈도우 가중치만큼 적용하여 움직임 보상을 수행하는 중첩된 블록 움직임 보상(overlapped block motion compensation) 기법을 공통적으로 적용하였다 [10] .
제안된 움직임 추정 기법의 객관적 화질 성능 평가를 위하여 Fig. 7 에서와 같은 방법으로 중간 생성된 프레임의 화질을 측정하였다. 원본 영상열의 (n-1)번째 프레임을 이전 프레임으로 하고 (n+1)번째 프레임을 현재 프레임으로 하여 움직임 추정을 수행한 후 (n)번째 프레임을 생성한다. 생성된 (n)번째 프레임과 원본 (n)번째 프레임사이의 PSNR을 구하여 중간 생성된 프레임의 화질 열화 정도를 평가한다. 이 때 움직임 추정은 영상의 휘도 성분(Y)에 대해서만 이루어지고 추정된 움직임 벡터를 이용하여 모든 색상 채널에 대하여 움직임 보상을 수행하여 중간 프레임을 생성한다.
PPT Slide
Lager Image
Evaluation method of objective image quality.
Table 3 은 각 움직임 추정 기법을 사용하였을 때 5개의 영상열에 대한 평균 PSNR 결과이다. 여기서 SBAD는 기존 양방향 움직임 추정 기법을 [9] SMD는 블록의 경계 정보를 추가로 이용하는 움직임 추정 기법을 [11] 의미한다. 기존 SMD를 이용한 기법은 기존 SBAD를 이용하는 기법에 비해 5개의 영상열 중 3개의 영상열에서 우수한 성능을 보이며 평균 0.233dB의 성능 개선을 보이고 있다. 반면 제안된 프레임율 증가 기법은 모든 영상열에서 기존 기법에 비해 우수한 성능을 보이며 SBAD와 SMD 기법에 비해 각각 평균 0.797dB와 0.565dB의 성능 개선을 보이고 있다.
Average PSNR of each sequence
PPT Slide
Lager Image
Average PSNR of each sequence
Fig. 8 은 Kimono1 영상열의 2번째부터 20번째 보간된 프레임 각각에 대한 화질 평가 결과를 도시한 것이다. 제안된 프레임율 증가기법이 기존 기법에 비해 거의 모든 프레임에 걸쳐 우수한 화질 성능을 보여주고 있다. 이러한 성능 향상은 제안된 움직임 추정 기법이 질감 활성도를 고려하여 2개의 인접한 프레임을 이용해 보다 정확한 움직임을 추정하는 것에 기인한다.
PPT Slide
Lager Image
Image quality evaluation for each frame of Kimono1 sequence.
Fig. 9 는 이러한 제안된 기법이 가지는 움직임 추정의 정확성에 대한 예를 보이고 있다. 여기서 각 점들은 블록의 중심 위치를 나타내고 선은 추정된 움직임 벡터의 크기와 방향을 나타낸다. Fig. 9 에서는 움직임 추정 성능의 차이를 명확히 하기 위하여 평활화는 수행하지 않았으며 각 영상은 추정된 움직임 벡터에 의해 생성된 중간 프레임이다. Fig. 9 의 (a)에서와 같이 기존 SBAD 기법은 탐색 영역 내에 기둥과 같은 단순하고 반복적인 패턴에 의해 다수의 잘못 추정된 움직임 벡터가 포함되어 있음을 알 수 있다. 반면 제안된 기법은 질감 활성도 정보를 이용함으로써 Fig. 9 의 (b)에서와 같이 보다 정확한 움직임 추정이 가능하다.
PPT Slide
Lager Image
Subjective evaluation in ParkScene (a) SBAD (b) Proposed method (SVCT).
연산량 측면에서 제안된 기법의 우수성을 보이기 위하여 개인용 컴퓨터에서 각 기법의 수행시간을 비교 측정하였다. Table 4 는 각 영상열에 대하여 프레임별 평균 처리 시간을 비교한 것이다. 여기서 처리시간은 움직임 추정, 움직임 평활화, 움직임 보상을 포함한 것이다. 프레임율 증가를 위한 대부분의 연산 시간은 움직임 추정의 의해 결정되는데 제안된 방법은 질감 활성도를 추가로 이용하여야 하나 주변 움직임 벡터를 이용하여 연산량을 크게 감축할 수 있다. 구체적으로 제안된 방법은 SBAD 기법에 비해 3.26배 빠르게 중간 프레임을 생성할 수 있다.
Execution time per frame of each sequence (s)
PPT Slide
Lager Image
Execution time per frame of each sequence (s)
4. 결 론
본 논문에서는 LCD의 모션블러 현상을 완화하기 위한 프레임률 증가 기법에 사용할 수 있는 새로운 움직임 추정 기법을 제안하였다. 먼저 단순 패턴에 의해 발생할 수 있는 잘못된 움직임 추정을 줄이기 위하여 질감활성도를 이용하는 새로운 움직임 추정 방안을 제안하였다. 모의실험을 통해 제안된 방법은 기존 기법에 비해 약 0.565dB의 성능 향상을 얻을 수 있음을 확인하였다. 또한 본 논문에서는 주변 움직임 벡터를 이용한 2단계 움직임 추정 기법을 제안하였고 이를 통해 기존 기법에 비해 약 3.26배 빠르게 중간 프레임을 생성할 수 있었다.
BIO
정 윤 호
2010년 충남대학교 메카트로닉스공학과 학사 졸업
2012년 충남대학교 메카트로닉스공학과 석사 졸업
2012년~현재 실리콘웍스 주임연구원
관심분야 : 영상압축
김 진 형
2010년 충남대학교 메카트로닉스공학과 학사 졸업
2012년 충남대학교 메카트로닉스공학과 석사 졸업
2012년∼현재 충남대학교 메카트로닉스공학과 박사 과정.
관심분야 : 영상처리, 스테레오비전
고 윤 호
1995년 부산대학교 전자공학과 학사 졸업
1997년 한국과학기술원 전기 및 전자공학과 석사 졸업
2002년 한국과학기술원 전기 및 전자공학과 박사 졸업
2002년~2004년 하이닉스반도체 선임연구원
2004년~현재 충남대학교 메카트로닉스공학과 부교수
관심분야 : 영상신호처리, 컴퓨터비전, 영상인식, 영상압축
References
Someya J. , Okuda N. , Sugiura H. 2006 “The Suppression of Noise on a Dithering Image in LCD Overdrive,” IEEE Transactions on Consumer Electronics 52 (4) 1325 - 1332    DOI : 10.1109/TCE.2006.273152
Kim J. , Ko Y. 2012 “Dual BTC Image Coding Technique for Full HD Display Driver,” Journal of the Institute of Electronics Engineers of Korea 49-SP (4) 1 - 9
Chan S.H. , Wu T.X. , Nguyen T.Q. 2010 “Comparison of Two Frame Rate Conversion Schemes for Reducing LCD Motion Blurs,” IEEE Signal Processing Letters 17 (9) 783 - 786    DOI : 10.1109/LSP.2010.2055238
Kang S.J. , Kim Y.H. 2006 “Performance Comparison of Motion Estimation Methods for Frame Rate Up-conversion,” Proceeding of International Display Workshops 1633 - 1636
Kwon H. 2003 “Multi-Level Motion Estimation Algorithm using Motion Information in Blocks,” Journal of Korea Multimedia Society 6 (2) 259 - 266
Kuo T. , Kuo C.J. 1998 “Motion-compensated Interpolation for Low-bit-rate Video Quality Enhancement,” Proceeding of SPIE Applications of Digital Image Processing Vol. 3460 277 - 288
Kaup A. , Aach T. 1994 “Efficient Prediction of Uncovered Background in Interframe Coding Spatial Extraprediction,” Proceeding of International Conference on Acoustics, Speech and Signal Processing Vol. 5 501 - 504
Schutten R.J. , Haan G.D. 1998 “Real-time 2-3 Pull-down Elimination Applying Motion Estimation/Compensation in a Programmable Device,” IEEE Transactions on Consumer Electronics 44 (3) 501 - 504    DOI : 10.1109/30.713216
Jeon B. , Lee G. , Lee S. , Park R. 2003 “Coarseto-fine Frame Interpolation for Frame Rate Up-conversion using Pyramid Structure,” IEEE Transactions on Consumer Electronics 49 (3) 499 - 508    DOI : 10.1109/TCE.2003.1233761
Choi B. , Lee S. , Ko S. 2000 “New Frame Rate Up-conversion using Didirectional Motion Estimation,” IEEE Transactions on Consumer Electronics 46 (3) 603 - 609    DOI : 10.1109/30.883418
Choi B. , Han J. , Kim C. , Ko S. 2007 “Motioncompensated Frame Interpolation using Bilateral Motion Estimation and Adaptive Overlapped Block Motion Compensation,” IEEE Transactions on Circuits and Systems for Video Technology 17 407 - 416    DOI : 10.1109/TCSVT.2007.893835
Kang S. , Cho K. , Kim Y.H. 2007 “Motion Compensated Frame Rate Up-Conversion Using Extended Bilateral Motion Estimation,” IEEE Transactions on Consumer Electronics 53 (4) 1759 - 1767    DOI : 10.1109/TCE.2007.4429281
Kang S. , Yoo D. , Lee S. , Kim Y.H. 2008 “Multiframe-based Bilateral Motion Estimation with Emphasis on Stationary Caption Processing for Frame Rate Up-Conversion,” IEEE Transactions on Consumer Electronics 54 (4) 1830 - 1838    DOI : 10.1109/TCE.2008.4711242