3D 방송시스템에 대한 다양한 연구 가운데 ATSC-M/H 기반의 융합형 3DTV 방식은 HD 화질의 좌영상과 모바일 화질의 우영상을 결합하는 서비스 호환 3DTV 시스템으로서 이 방식에서는 좌우 영상 사이에 상대적인 화질 차이가 존재하며 이를 해결하기 위해 조건부 대체 알고리즘(Conditional Replenishment Algorithm)이 제안되었다. 조건부 대체 알고리즘에서는 좌우영상 사이의 양안시차 벡터를 추정하고 양안시차 보상된 HD 좌영상과 단순 확장된 모바일 우영상을 선택적으로 사용함으로써 우영상의 화질을 개선한다. 그러나 이 알고리즘은 여러 계층의 양안시차를 추정하는 과정에서 매우 많은 계산이 필요하기 때문에 이를 실제적으로 구현하기 위해서는 고속 알고리즘의 개발이 요구된다. 본 논문에서는 양안시차 벡터의 특성을 고려하여 전역 탐색 대신에 SDSP(Small Diamond Search Pattern) 탐색 방법을 사용하고 탐색의 초기위치를 예측하는 방법을 제안하며 특정 조건 하에서 양안시차 벡터 추정을 생략하는 조기종료 모드를 함께 적용함으로써 복원 영상의 화질을 유지하면서도 조건부 대체 알고리즘의 속도를 향상시키는 기법을 제안하고 모의실험을 통해 이의 성능을 검증하였다. 이용자에게 현실감 넘치는 실감형 서비스를 제공하기 위한 3D 입체영상 기술은 영화산업 분야에서는 이미 보편화 되었다. 그리고 이를 방송의 영역으로 확장하기 위해서도 다양한 측면에서의 노력이 진행되고 있다. 가전업계에서는 3DTV 수상기를 시장에 이미 보급하는 상황이며 프로그램 제작에 있어서도 방송사업자를 중심으로 양안식 3D 방송 콘텐츠의 제작이 제한적이나마 이루어지고 있다. 그러나 3D 콘텐츠를 방송에 적용하기 위해서는 고려되어야 할 과제가 있다. 우선 물리적으로 제한된 방송용 주파수 즉 전송 대역폭이 문제가 된다. 3D 서비스를 제공하기 위해서는 좌우 영상을 모두 전송해야하기 때문에 동일한 수준의 화질을 유지하려면 기존 보다 넓은 전송대역폭을 필요로 한다. 반대로 주어진 전송대역폭 내에서 좌우 영상을 모두 수용하려면 낮은 비트율로 부호화할 수 밖에 없기 때문에 화질이 저하되는 현상이 발생할 가능성이 높다. 또한 새로운 3DTV 방송서비스는 기존의 2D HDTV 환경을 전제로 구성되는 편이 바람직하다. 즉 기존의 방송시스템과의 양립성을 고려해야 한다. 현재 미국 ATSC에서는 3DTV 시스템의 표준화를 위해 다양한 제안들에 대한 검토가 진행되고 있다 [1] . 다양한 제안방식 가운데 ATSC-M/H 환경을 기반으로 하는 융합형 3DTV 시스템은 기존의 HDTV 시스템과 완벽한 양립성을 만족하면서 전송대역폭을 효율적으로 활용하는 방식이다 [2] . ATSC-M/H는 실내 고정수신 용도의 HDTV 서비스와 이동수신이 가능한 모바일 단말기 용도로 다양한 부가 서비스를 함께 제공하는 것을 목적으로 한다. 물리적인 전송 채널로서 기존의 6MHz 대역내에서 19.2Mbps 비트율의 M/H 프레임을 TS(Transport Stream) 패킷과 M/H 패킷으로 시분할하여 사용하는데, TS 패킷은 기존의 방송시스템인 고정수신 환경에서의 지상파 HD 방송 서비스를 제공하고 M/H 패킷은 이동수신의 모바일 단말기에서 수신되어 부가 서비스를 제공하는 방식이다 [3] . ATSC-M/H 기반의 융합형 3DTV 시스템에서 좌영상은 기존의 지상파 방송시스템과 마찬가지로 MPEG-2로 부호화되어 TS 패킷으로 구성되며 우영상은 H.264/AVC로 부호화되어 M/H 패킷으로 구성된다. 그리고 두 개의 스트림은 M/H 프레임 형태로 다중화되어 전송된다. 따라서 이 방식에서는 HD 수신기와 M/H 수신기 각각을 통해서 HD 방송과 모바일 방송의 개별적인 수신이 가능하므로 기존의 방송 시스템에 영향을 전혀 미치지 않는다. 그리고 만일 3D수신기를 보유하고 있다면 HD 좌영상과 모바일 우영상을 각각 얻은 후 이를 결합함으로써 3D 콘텐츠를 시청할 수 있다. 그림 1 및 그림 2 에서는 ATSC-M/H 기반의 융합형 3DTV 시스템의 블록도 [2] 와 테스트베드 환경 [4] 을 각각 나타내었다. 이러한 융합형 3DTV 시스템에서는 좌우영상 사이에 화질의 차이가 존재한다. 즉 좌영상은 1080p의 HD 해상도를 가지는 영상이고 우영상은 240p 또는 480p의 모바일 해상도를 가지는 영상이다. 하지만 입체영상에 대한 인간의 시각특성에 관한 연구결과로서 BSE(Binocular Suppression Effect)가 알려져 있다. 즉 입체영상을 구성하는 두 영상의 해상도가 서로 다른 경우에 합성된 3D 영상의 주관적인 화질은 둘중에 고해상도 영상을 따라간다. 따라서 좌우 영상간 해상도의 차이가 일정 수준을 넘지 않는다면 실제적으로 화질에 미치는 영향은 큰 문제가 되지 않는다 [5] . 그러나 해상도의 차이가 너무 심하거나 부호화에 따른 화질 저하가 두드러진다면 BSE에 의해서도 화질 차이를 극복하지 못할 수 있기 때문에 이러한 경우에는 우영상의 화질을 개선할 필요가 있다. 이를 위해 조건부 대체 알고리즘(CRA, Conditional Replenishment Algorithm)이 제안 되었다 [6] . 조건부 대체 알고리즘에서는 좌우영상 사이의 상관도를 비교하여 추정한 양안시차를 이용한다. 그리고 낮은 해상도의 우영상을 좌영상과 동일한 크기로 확장하기 위해서 단순하게 선형보간된 우영상과 양안시차로 보상된 좌영상 가운데 더 우수한 영상을 사용하여 대체함으로써 3D 영상을 구성하는 우영상의 화질을 개선한다. 하지만 조건부 대체 알고리즘은 여러 계층마다 양안시차를 추정하는 과정에서 많은 계산을 요구하기 때문에 이를 실용화하기 위해서는 알고리즘의 복잡도를 낮추면서도 성능 개선효과를 유지하기 위한 연구가 필요하다. 본 논문에서 조건부 대체 알고리즘의 효율적인 고속화 방안을 제안하고자 한다. 본 논문의 구성은 다음과 같다. Ⅱ장에서는 조건부 대체 알고리즘에 대해서 살펴보고, Ⅲ장에서는 제안하는 고속화 알고리즘을 설명한다. 이어서 Ⅳ장에서는 제안한 방법을 적용한 실험결과를 제시하며 마지막 Ⅴ장에서는 결론을 맺는다. 조건부 대체 알고리즘은 ATSC-M/H 기반의 융합형 3DTV 시스템에서 낮은 해상도의 우영상 화질을 개선하는 알고리즘이다. 이의 기본 개념은 확장된 우영상을 구성함에 있어서 양안시차로 보상된 좌영상과 단순 확장된 우영상을 비교하여 원본 우영상과의 오차가 작은 편을 선택적으로 대체하는 것이다. 따라서 수신기에서 영상을 구성하기 위해서는 어느 편을 선택했는지 나타내는 모드 정보와 좌영상을 선택되는 경우의 양안시차 정보가 필요하며 이를 VEI(Video Enhancement Information)라고 부른다. 본 절에서는 조건부 대체 알고리즘의 특징에 대해서 살펴본다. 양안식의 입체 영상은 두 대의 카메라에서 동시에 같은 화면을 촬영하여 얻어지기 때문에, 공간적 상관도가 매우 높으며 대상이 한쪽 영상에서 가려진 영역에 속하지만 않는다면 다른 영상에서 이에 대응하는 위치가 존재한다. 양안시차란 좌영상 및 우영상에서 임의의 대상이 나타나는 위치의 상대적인 차이를 말한다. 이의 추정은 조건부 대체 알고리즘에서 가장 중요한 과정이다. 만일 3D 카메라의 좌우 정렬상태가 완벽하여 에피폴라(epipolar) 라인이 정합되었다면 양안시차는 이론적으로는 수평방향의 성분만을 가지게 된다. 그러나 실제 3D 콘텐츠에서 수평방향 뿐만 아니라 수직방향의 이격이 존재하는 경우가 적지 않음을 감안하여 조건부 대체 알고리즘에서는 수평 및 수직 성분을 모두 고려한다. 단 수직방향의 이격은 그리 크지 않은 경우가 일반적이기 때문에 탐색 영역의 형태는 수평방향으로 긴 직사각형 모양이다 [7] . 조건부 대체 알고리즘에서 양안시차를 추정하고 보상하는 정사각형 형태의 블록을 처리단위(PU: Processing Unit)라고 한다. 주어진 탐색 영역 내에서 PU를 수평 및 수직방향으로 이동시키면서 블록매칭의 결과로서 가장 작은 오차값을 가지는 위치가 양안시차 벡터에 해당한다. 탐색 영역이 넓을수록 보상 가능한 양안시차의 범위가 커지므로 화질 개선을 더욱 기대할 수 있지만 계산량 역시 증가한다. 한편 양안시차 벡터의 해상도가 높을수록 정밀한 보상이 가능하기 때문에 화질측면에서 유리하다. 양안시차 해상도가 충분하지 않으면 특정한 패턴의 영상에서 이른바 부분함몰 현상이라는 부자연스러운 입체감이 나타날 수 있으며, 이를 방지하기 위해서는 양안시차 해상도를 높이는 것이 유리하다 [8] . 하지만 추정을 정밀하게 한다는 것은 곧 계산량의 증가를 의미하기 때문에 지나치게 높은 해상도의 양안시차를 사용하는 것은 바람직하지 않다. 조건부 대체 알고리즘에서는 두가지 프레임 타입을 정의하고 있으며 프레임 타입에 따라서 허용 가능한 후보 모드에 약간의 차이가 있다. 먼저 현재 프레임 내의 정보만을 이용하는 intra 타입의 경우에는 LD 모드(양안시차로 보상된 좌영상 사용 모드)와 RI 모드(단순 확장된 우영상 사용모드)가 가능하다. 그리고 이전 프레임의 양안시차 벡터를 활용하는 inter 타입에서는 LD 모드와 RI 모드 이외에 PD모드(이전 프레임의 양안시차로 보상된 좌영상 사용 모드)가 새롭게 후보 모드로 추가된다. inter 프레임 타입을 통해 시간적 리던던시를 고려함으로써 VEI의 발생 데이타량을 줄일 수 있으며 intra 프레임 타입을 통해 임의접근(random access)이 가능해진다. LD 모드에서는 추가적으로 양안시차 벡터가 전송되어야 하지만 RI 모드에서는 단순히 모드 정보만 알려주면 된다.그리고 PD 모드에서도 이전 프레임의 양안시차 정보를 이미 알고 있으므로 양안시차 벡터를 추가적으로 전송할 필요는 없다. 이를 표 1 에서 정리하여 나타내었다. 한편 전송해야 할 양안시차 벡터는 시공간적인 주변 PU의 안시차를 이용하여 예측을 한 후 수평 및 수직 방향의 차이성분을 지수골롬(Exponential Golomb) 부호를 이용하여 부호화한다. 임의의 PU에 대한 최적 모드는 각각의 후보 모드에 대해서 식 (1)과 같이 주어진 비용함수를 계산하여 가장 작은 값을 가지는 모드로 결정한다. 여기서 D는 원본 우영상과 해당 모드로 복원된 우영상 사이의 MAD(Mean Absolute Difference)이며 R은 각 모드에서 사용되는 데이터량을 의미한다. 그리고 λ 는 RD(Rate Distortion) 최적화를 위한 라그랑지안 곱수(Lagrange multiplier)에 해당한다. 조건부 대체 알고리즘에서는 전송채널의 환경에 따라 λ 값을 조정함으로써 VEI 데이터량을 제어한다. 조건부 대체 알고리즘에서 하나의 PU는 동일한 양안시차를 가지는 것으로 간주한다. 따라서 PU의 크기가 작으면 양안시차의 추정이 세밀하게 이루어지기 때문에 복원되는 우영상의 화질이 개선될 가능성이 높아지지만 부가정보의 양이 늘어난다는 문제점이 있다. 반면에 PU의 크기가 크면 부가정보의 양은 줄일 수 있지만 화질 개선의 측면에서는 한계가 있고 경우에 따라서는 입체감이 부자연스럽게 나타날 수도 있다. 따라서 PU의 크기는 영상내의 객체의 특성에 따라 그리고 부가정보의 전송대역폭에 따라 적응적으로 결정될 필요가 있다 [9] . 그리고 크기가 가변적인 정사각형 모양의 PU들을 표현하기에는 쿼드트리(quadtree) 구조가 적합하다. 이 구조에서는 한 계층에서 하나의 부모노드가 다음 계층에서 네 개의 자식노드로 분할되는 과정이 반복되는 형태로 나타난다 [10] . 최적의 PU 크기를 결정하는 단계에서도 식 (1)에서 주어진 비용함수가 사용된다. 즉 PU의 최적 크기는 부모노드의 비용함수와 자식노드 비용함수의 합을 비교하여 적은 비용함수 값을 가지는 방향으로 결정된다. 이를 위해서는 양안시차가 계층별로 추정되어야 한다. 여기서 계층이란 PU의 크기에 따라 정해지는데, 계층0은 1×1 화소크기의 PU에 해당하며 계층1은 2×2 그리고 계층2는 4×4 와 같이 계층이 올라갈 때마다 PU의 크기는 수평과 수직으로 각각 두배씩 커진다. 낮은 계층은 영상의 세밀한 표현에 유리하고 높은 계층은 VEI의 부호화 효율을 높이는 데에 유리하다. 따라서 계층의 깊이를 깊게하여 PU 크기가 변하는 범위를 늘릴수록 성능 측면에서는 유리하다. 하지만 각 계층마다 양안시차를 추정해야 하기 때문에 이는 곧 계산량의 부담으로 이어진다. 그림 3 에서는 조건부 대체 알고리즘으로 분할된 쿼드트리 구조의 예를 나타내었다. 그림 3 (a)는 원본 영상이고 (b)는 분할된 영상이다. 그림 (b)로부터 나뭇잎이나 에지성분이 많은 영역에서는 적은 크기의 PU가 선택되어 세밀하게 분할되었음을 확인할 수 있다. 그림 (b)에서 검은색으로 표시된 PU는 RI 모드를 나타내고 나머지 PU는 LD 모드를 나타낸다. 도로 또는 하늘과 같이 에지나 텍스쳐 성분이 없이 배경이 되는 영역에서는 양안시차를 사용하여도 화질이 크게 개선되지 않기 때문에 대부분 RI 모드가 선택되었음을 알 수 있다. 조건부 대체 알고리듬에서는 양안시차를 구하는 과정에서 가장 많은 계산시간이 사용된다. 이 주된 원인은 우선 모든 계층마다 양안시차를 추정해야 하기 때문이다. 계층의 깊이를 늘릴수록 알고리듬 성능의 향상을 기대할 수 있지만 계산량과 소요시간이 늘어나며 이는 PU의 크기가 작은 계층에서 특히 문제가 된다. 그리고 주어진 계층에서 양안시차를 추정하기 위해서는 다양한 방법을 사용할 수 있는데, 그 가운데 성능 측면에서 가장 유리한 방법은 전역탐색 방법이다. 하지만 이 방법은 설정된 범위 내의 모든 위치를 탐색하기 때문에 복잡도 측면에서는 불리하며 특히 탐색범위가 넓을수록 계산시간도 선형적으로 증가한다. 또한 화질 개선 효과를 담보하기 위해서는 탐색의 해상도가 낮으면 곤란하다는 점도 알고리듬의 속도 측면에서는 부담이 되는 요소 가운데 하나이다. 다음의 표 2 에서는 조건부 대체 알고리즘에서 가장 많은 계산을 차지하는 과정을 살펴보기 위해 전체 인코딩 시간에서 모듈별로 차지하는 시간 비율을 분석 하였다. 비교기준을 삼기 위해 이 실험에서는 전역탐색 방법을 사용하였으며, 탐색 영역의 범위는 수평방향으로는 ±127, 수직방향으로는 ±7이고 1/2 화소 단위로 양안시차를 추정하였다. 실험 영상에 대해서 30 프레임을 IntelⓇ VTune Amplifier XE 2011을 사용하여 평균을 통해 시간 비율을 확인하였다. 표 2 로부터 계층별로 양안시차를 추정하는 Disparity Search 모듈이 가장 많은 계산 시간을 필요로 함을 알 수 있다. 이어서 모드 결정을 위한 Mode Decision 모듈, 양안시차를 보상을 Disparity Compensation 모듈, 지수골롬 부호화를 수행하는 Golomb Coding 모듈, 그리고 나머지 기타 모듈의 순서로 계산 시간을 차지하지만, 주어진 실험 환경에서 85%라는 대부분의 시간이 양안시차 추정에 소요된다. 따라서 조건부 대체 알고리즘을 고속화하기 위해서는 양안시차의 추정 방법을 개선해야 한다. 이 장에서는 본 본문에서 사용한 세가지 고속화 기법을 설명한다. 양안시차를 구하는 문제는 동영상 부호화에서 움직임 벡터를 구하는 문제와 매우 유사하다. 움직임 벡터 추정 속도를 향상하기 위한 방법 가운데 SDSP(Small Diamond Search Pattern) 패턴 [11] 이 제안된 바 있는데 본 논문에서는 기본적으로 SDSP를 활용하면서 1/2 화소 단위까지 양안시차를 추정하는 2단계 탐색방법을 제안한다. 1단계 과정은 정수 화소 단위의 탐색으로서 그림 4 (a)에서 이를 나타내었다. SDSP 탐색에서는 기준 화소를 중심으로 상, 하, 좌, 우, 중앙 5개의 위치에서 MAD를 비교한다. 5개의 위치 가운데 MAD가 가장 작은 위치를 새로운 기준 위치로 삼아 다시 상, 하, 좌, 우, 중앙에서 MAD를 비교하는 과정을 반복적으로 수행해가면서 최종적으로 MAD가 더 이상 작아지지 않는 위치에 이르면 이를 양안시차 벡터로 간주한다. 그림에서는 (0,0)를 시작으로 중심 위치가 이동하여 사각형으로 표시된 (3,-3)까지 이동하는 경로를 나타내었다. 2단계 과정은 1/2 화소단위의 탐색이다. 1단계에서 정수 단위의 위치가 구해지면 이 기준 위치를 중심으로 주변의 1/2 화소 단위로 상, 하, 좌, 우, 우상, 좌상, 우하, 좌하 위치를 포함한 9개의 위치에서 MAD를 비교하여 MAD가 가장 작은 위치를 최종적인 양안시차 벡터로 선택한다. 그림 4 (b)에서는 1단계에서 구한 (3,-3) 위치가 우상방향으로 다시 이동하여 (3.5,-2.5) 위치가 선택되었음을 나타내었다. SDSP를 이용한 2단계 양안시차 탐색방법은 전역탐색에 비해 탐색 범위를 상당히 줄일 수 있다. 하지만 이 방법에서는 기준 화소의 위치를 계속 이동해나가야 하므로 탐색을 시작하는 초기 위치와 실제 양안시차 위치와의 차이가 큰 경우에는 계산량과 시간이 늘어나게 된다. 다른 한 가지 문제점은 경로를 따라 이동하는 도중에 local minima를 만날 수 있다는 점으로서 이 경우에는 화질 측면에서 고속 알고리듬의 성능이 저하될 가능성이 있다. 따라서 양안시차 탐색 과정에서 적절한 위치에서 시작하는 것은 소요 시간과 성능 측면에서 모두 매우 중요한 문제이다. 즉 탐색의 초기 위치와 실제로 추정되는 양안시차 위치를 가능한 한 가깝게 할 필요가 있다. 초기 탐색 위치를 선정하기 위해서는 양안시차의 상관성을 고려한다. 양안시차는 움직임벡터와 마찬가지로 시간적으로 그리고 공간적으로 상관성이 매우 높다. 따라서 시간적으로는 이전 프레임에서의 동일 위치 PU의 양안시차 정보를 활용할 수 있고 공간적으로는 현재 프레임에서 주변 PU의 양안시차 정보와 함께 계층간 상관성을 고려하여 상위 계층에서 구한 양안시차 정보를 활용할 수 있다. 본 논문에서는 초기 탐색 위치의 후보로서 다음과 같이 4개의 양안시차를 사용한다. 그림 5 에서 초기 탐색위치의 후보들을 설명한다. 그림 5 (a)에서는 이전 프레임의 양안시차 정보를 이용한 예측 과정을 나타내었다. 임의의 PU에 대해 이전 프레임과 현재 프레임의 쿼드트리 구조가 동일하다면 이전 프레임의 동일 위치 양안시차를 그대로 사용한다. 그리고 만일 분할 구조가 서로 다른 경우에는 그림에서 나타낸 바와 같이 이전 프레임에서 좌상에 위치한 PU의 양안시차를 사용한다. 다음으로 그림 5 (b)는 상위 계층의 양안시차를 이용한 예측과정을 나타낸다. 상위 계층에서 하나의 PU는 현재 계층에서 네 개의 PU에 해당하므로 그림에서 보인 바와 같이 네개의 PU가 동일한 양안시차 정보를 후보로 사용한다. 그리고 그림 5 (c)는 현재 프레임, 동일 계층에서의 예측과정을 나타낸다. 양안시차 추정을 이미 마친 PU 가운데 위쪽 PU의 양안시차와 바로 왼쪽 PU의 양안시차가 세 번째와 네번째 후보가 된다. 본 논문에서는 4개의 후보위치에서 각각의 양안시차에 해당하는 MAD를 계산하여 이 가운데 가장 작은 MAD를 가지는 후보를 초기 탐색 위치로 선택하는 방법을 사용한다. 조건부 대체 알고리듬에서 최적의 분할 구조를 결정하기 위해서는 가장 하위 계층에서 가장 상위 계층에 이르기까지 모든 계층에서의 PU마다 양안시차를 구하는 과정이 필요하다. 본 논문에서는 양안시차를 추정하는 계층을 제한함으로써 양안시차를 추정해야 할 PU의 숫자를 줄이기 위해 조기종료 모드를 사용한다. 임의의 계층에서 임의의 PU가 다음과 같은 조기종료 조건을 만족하면 하위 계층에서 해당 PU 영역에서의 양안시차 추정을 생략하는 것이다. 여기서 PSNR_dc 는 임의의 PU에 대한 양안시차를 추정한 후 이를 이용하여 좌영상으로부터 보상한 우영상의 PSNR이며 PSNR_si 는 작은 크기의 우영상을 단순하게 확대 보간하여 얻은 우영상의 PSNR을 의미한다. 즉 조기종료 모드를 도입한 의미는 양안시차 보상을 통해 원하는 일정 수준 이상의 PSNR 이득을 얻은 경우에는 더 이상 추가적으로세부적인 탐색을 수행하지 않는다는 것이다. 이러한 조기종료 모드를 도입함으로써 화질이 낮아지는 것을 가능한한 방지하면서 알고리즘의 수행 시간을 단축할 수 있다. 제안방법의 성능을 살펴보기 위해 그림 6 에서 보인 바와 같이 3종류의 동영상 시퀀스에 대한 실험 결과를 제시하였다. 원본 동영상의 해상도는 모두 1080p이며 각 시퀀스마다 120 프레임씩을 사용하였다. 실험 영상 가운데 (b)의 경우는 배경 영역에 세밀한 성분이 포함되어 있으며 (c)의 경우는 상대적으로 움직임이 많은 동영상에 해당한다. 조건부 대체 알고리즘의 응용대상인 ATSC-M/H 기반융합형 3DTV 시스템의 서비스 시나리오에 따라 좌영상은 12Mbps의 데이터율로 MPEG-2 main 프로파일을 사용하여 부호화하였으며 우영상은 해상도를 축소한 후에 600kbps의 데이터율로 H.264/AVC baseline 프로파일을 사용하여 부호화하였다. 표 3 에서 좌우 영상의 해상도, 압축방식, 데이터율 등 실험조건을 정리하여 나타내었다. 그리고 표 4 에서는 조건부 대체 알고리즘을 이용하여 VEI를 구하기 위한 실험조건을 나타내었다. 본 논문에서는 제안하는 고속 알고리즘의 성능을 전역탐색의 경우와 비교하였는데, 전역탐색을 위해 두 개의 탐색 범위를 사용하였다. 첫 번째 범위는 수직방향으로는 ±7, 수평방향으로는 ±127의 직사각형 모양이며 두 번째 범위는 수직방향은 동일하고 수평방향으로는 반으로 줄인 ±63의 직사각형 모양이다. 탐색영역의 범위가 넓어지면 더욱 정확한 양안시차를 얻을 수 있다는 점에서 화질 측면에서는 유리하지만 처리시간은 더 많이 소요된다. 그리고 양안시차 탐색의 해상도는 1/2 화소단위이며, 쿼드트리 구조에서 계층의 수는 총 8개로서 가장 작은 PU의 크기는 1×1이고 가장 큰 PU의 크기는 128×128이다. VEI는 부가정보의 형태로 전송되어야 하므로 발생 데이터량을 가능한 한 적게 유지하는 것이 바람직한데 실험에서는 240kbps를 사용하였다. 본 논문에서 제안하는 고속 알고리즘의 성능을 살펴보기 위해 VEI를 구하는 과정에서 소요되는 수행시간과 함께 최종적으로 얻어진 확장된 우영상의 PSNR을 비교하였다. 실험에서는 IntelⓇ Core(TM) i5-4670 CPU 3.40 GHz, DDR38GB 메모리 규격의 PC를 사용하였으며, Windows 7 64bit OS 환경에서 부호화 사이클을 측정하였다. 또한 수행시간 측정을 위해 IntelⓇ VTune Amplifier XE 2011을 사용하였다. 보다 객관적인 성능 평가를 위해 동일한 조건에서 10번의 실험을 반복하였으며 가장 적게 걸린 시간과 가장 오래걸린 시간을 제외한 나머지 8개의 실험 데이터를 사용해 분석하였다. 표 5 에서는 VEI를 구하는 데에 소요된 수행시간을 나타내었다. 전역탐색 1은 (±7,±127)의 탐색범위를 그리고 전역탐색 2은 (±7,±63)의 탐색범위를 가진다. 이어서 제안방법 1은 전역탐색 대신 2단계 이동형 SDSP를 사용한 경우, 제안방법 2는 2단계 이동형 SDSP와 초기위치 예측을 함께 사용한 경우, 그리고 제안방법 3은 이 두 방법에 더하여 조기종료 조건까지 사용한 경우에 해당한다. 실험에서는 식(2)로 주어진 조기종료 조건에서 임계값으로서 3dB를 사용하였다. 실험결과는 사용한 영상에 따른 편차가 없이 거의 동일한 경향성을 보인다. 쉽게 예상할 수 있듯이 전역탐색 2는 전역탐색 1에 비해서 탐색범위가 반으로 줄어들었기 때문에 수행시간 역시 거의 반으로 줄어드는 것을 알 수 있다. 그리고 본 본문에서 제안하는 고속 알고리즘을 적용하는 경우를 살펴보면, 가장 단순한 제안방법 1만을 사용해도 전역탐색 1에 비해서 99.5% 이상의 시간이 줄어드는 것을 확인할 수 있다. 제안방법 내에서 비교한다면, 제안방법 1을 사용하면 평균 2.0초가 그리고 제안방법 2는 평균 1.7초가 소요되었다. 즉 SDSP의 초기 위치를 예측함으로써 약 15%의 시간이 줄어드는 결과를 보였다. 이에 더하여 조기종료 조건까지 도입한 제안방법 3을 사용하면 평균 소요시간을 1.2초가 되어 약 40%의 시간이 줄어들었다. 조기종료 조건을 사용할 때 소요시간이 줄어드는 원인은 상위 계층에서 조기종료 모드가 설정되면 해당 PU의 영역에 속하는 하위 계층의 모든 PU에서 양안시차 추정이 생략되기 때문이다. 따라서 시간이 감소되는 비율은 조기종료 모드의 개수와 밀접한 관련이 있다. 다음의 표 6 에서는 각각의 실험영상에 대해서 계층마다 조기종료 모드로 판정된 PU의 개수를 나타내었다. 먼저 각 계층에서 PU의 개수에 대해 살펴보자. 실험 영상의 해상도가 1872×1080이기 때문에 이를 128×128 크기의 정수배로 만들기 위해 일단 1920×1152 해상도로 확장한다. 따라서 계층 7에서는 15×9=135개의 PU가 존재한다. 그리고 상위 계층에서 하나의 PU는 다음 계층으로 내려가면 네 개가 되기 때문에, 이 과정을 반복해서 계층 0까지 내려가면 최종적으로 총 PU는 2,949,075개가 된다. 그리고 제안 방법을 적용한 결과의 예를 살펴보면, seq_1의 경우에는 계층 7에서 128×128 크기의 PU 가운데 하나가 조기종료 모드가 되고, seq_2의 경우에는 하나도 없으며 seq_3의 경우에는 3개가 조기종료 모드에 해당한다. 최종적으로 seq_1 영상의 경우에는 총 1,899,528개의 PU에서 양안시차 추정이 생략되어 생략된 PU의 비율이 약 64.41%에 해당되고, seq_2 및 seq_3 영상의 경우에는 각각 70.65% 및 72.89%에 이른다. 표 5 에서 제안방법 3을 사용할 때 seq_3의 경우에 시간 감소 비율이 가장 높은 이유가 바로 조기종료 모드의 개수가 많기 때문이다. 다음으로 살펴볼 것은 우영상의 화질을 나타내는 PSNR로서 이를 표 7 에 나타내었다. 먼저 조건부 대체 알고리즘을 통한 화질 개선효과를 보이기 위해서 양방향 선형보간만을 수행한 경우의 PSNR을 sequence 항목의 괄호안에 표시하였다. VEI를 적용하기 전후의 PSNR을 살펴보면 평균적으로 27.82dB에서 33.53dB로 향상되어 5.5dB 이상의 이득을 보였다. 그리고 화질이 가장 좋은 전역탐색 1과 비교하여 PSNR이 평균적으로 감소된 정도를 괄호안에 나타내었다. 전역탐색 1과 전역탐색 2를 비교하면 수평방향의 탐색범위가 반으로 줄어들면서 성능이 약간 떨어짐을 알 수 있다. 하지만 seq_3의 경우에는 동일한 PSNR을 보였는데 이는 seq_3의 양안시차가 전역탐색 2의 탐색범위 내에 있기 때문으로 판단된다. 그리고 제안방법 1을 사용하면 평균 1.04dB, 제안방법 2를 사용하면 평균 0.09dB의 PSNR 감소를 나타내었는데, 제안방법 2의 경우에 감소량이 줄어드는 현상은 적절한 양안시차 벡터의 초기위치를 추정하여 시작 위치로 삼으면서 SDSP의 이동 경로에 존재할 가능성이 있는 local minima에 빠지는 것을 피할 수 있기 때문이다. 한편 조기종료 모드를 사용하는 제안방법 3의 경우의 PSNR 성능은 제안방법 2의 경우와 완전히 동일하다. 즉 조기종료 모드를 채택하면 수행시간이 상당히 줄어들면서도 PSNR 성능은 유지됨을 알 수 있다. 본 논문에서 ATSC-M/H 기반의 융합형 3DTV를 위한 조건부 대체 알고리즘의 속도를 개선하는 방법을 제시하였다. 물리적으로 동일채널로 전송되나 좌영상과 우영상의 부호화 방식 및 해상도가 서로 다른 상황에서 조건부 대체 알고리즘은 낮은 해상도의 우영상의 화질을 효과적으로 향상시킬 수 있는 방법이다. 하지만 이는 여러 계층마다 좌우영상간의 양안시차를 구해야 하므로 많은 계산을 요구한다. 이를 해결하기 위해 본 논문에서는 전역탐색 대신에 SDSP를 이용한 이단계 탐색방법을 제안하여 각 PU의 양안시차를 추정하는 과정에서 계산의 부담을 줄였으며, 양안시차 벡터가 가지는 시공간적, 계층적 상관관계를 이용하여 탐색의 초기위치를 추정하여 사용함으로써 local minima에 빠질 가능성을 줄였다. 그리고 조기종료 모드를 도입하여 하위 계층에서 양안시차 벡터의 계산을 생략함으로써 추가적으로 소요시간을 단축하였다. 모의실험에서는 제안방법을 통해 처리 시간은 (±7,±127) 범위의 전역탐색 방법에 비해 약 99.75% 만큼 단축하면서도 PSNR 감소는 0.09dB에 불과한 우수한 성능을 보였다. ATSC-M/H 기반의 융합형 3DTV는 기존의 방송 시스템과 양립하면서 전송대역폭 측면에서 유리한 장점을 가지고 있기 때문에 조건부 대체 알고리즘과 본 논문에서 제안하는 고속화 방안이 함께 적용된다면 융합형 3DTV의 상용화에 긍정적인 영향을 미치리라 기대된다. 또한 실시간 부호화를 고려한다면 향후 알고리즘의 최적화 및 병렬화 기법 등이 추가적으로 연구 과제가 될 수 있다. 이 동 희 - 2012년 2월 : 국민대학교 전자공학과 학사 - 2014년 2월 : 국민대학교 전자공학과 석사 - 주관심분야 : 비디오 코딩, 영상처리 김 성 훈 - 1996년 ~ 2000년 : LG전자 주임연구원 - 2008년 : 국민대학교 전자공학과 박사 - 2000년 ~ 현재 : 한국전자통신연구원 책임연구원 - 주관심분야 : 지상파 방송시스템, 3DTV 방송시스템, 3D/UHDTV 전송기술 이 주 영 - 2003년 2월 : 아주대학교 미디어학부 학사 - 2006년 2월 : 한국과학기술원 전산학과 석사 - 2006년 2월 ~ 현재 : 한국전자통신연구원 선임연구원 - 주관심분야 : 멀티미디어 데이터베이스, 3DTV 방송 기술, 지상파 방송 기술 강 동 욱 - 1986년 2월 : 서울대학교 전자공학 졸업 - 1988년 2월 : 서울대학교 대학원 전자공학과 석사 - 1995년 2월 : 서울대학교 대학원 전자공학과 박사 - 1995년 ~ 현재 : 국민대학교 전자공학부 교수 - 2000년 9월 ~ 2001년 8월 : Lucent Technology MTS - 주관심분야 : 비디오 코딩, 영상통신 정 경 훈 - 1987년 2월 : 서울대학교 전자공학 졸업 - 1989년 2월 : 서울대학교 대학원 전자공학과 석사 - 1996년 2월 : 서울대학교 대학원 전자공학과 박사 - 1991년 12월 ~ 1997년 2월 : 한국영상산업진흥원 선임연구원 - 1997년 3월 ~ 2005년 2월 : 한동대학교 전산전자공학부 교수 - 2005년 3월 ~ 현재 : 국민대학교 전자공학부 교수 - 주관심분야 : 멀티미디어신호처리, 디지털 방송