양안식 3D 비디오의 효율적인 압축을 위해 다양한 기술들이 연구되었으며, 그 중 좌우영상으로 상이한 해상도의 영상을 사용하는 방식은 인간의 시각 시스템이 혼합 해상도의 양안식 영상을 높은 쪽 영상의 품질에 가깝게 인지하는 특성을 이용한 대표적인 비트레이트 절감 방식이다. 그러나 혼합 해상도 양안식 영상에서 좌우안 영상 해상도 차이가 일정 범위 이상일 경우 3D 영상의 품질 저하가 발생한다. 이에 다양한 연구에서 혼합 해상도 양안식 영상의 좌우해상도 차이에 따른 화질 저하 정도를 측정하려는 시도가 이루어졌으나, 기존 연구에서는 시청거리를 고려하지 않고 단순 좌우 영상의 크기만을 고려하여 실험하였으며 이에 각 연구별로 상이한 실험 결과가 도출되었다. 본 연구에서는 인간의 시각 시스템을 고려하여 최적 시청거리를 계산하고, 이에 기반하여 좌우영상 비율 별 주관적 화질평가를 수행하였다. 또한 실험 결과 분석을 통해 혼합 해상도 영상 기반의 고정 및 이동 융합형 3DTV 기술이 고품질 3D 서비스를 제공할 수 있음을 보인다. 최근 디지털 기술의 발전에 따라 3D 콘텐츠 제작과 3D 디스플레이 기술의 완성도가 높아지고 사실감과 현장감을 제공하는 실감미디어에 대한 소비자의 요구가 증가하면서, 양안식 3DTV 비디오의 효율적인 저장 및 압축을 위한 다양한 기술들이 연구되고 있다. 대표적으로 HEVC와 같은 고효율 압축 코덱을 이용하여 압축 성능을 높이고자 하는 연구가 진행되었으며 [1] , 좌우 영상 간의 상관관계를 이용한 MVC (Multiview Video Coding)와 같은 표준 기술도 개발되었다 [2] . 또한 깊이영상을 활용한 3D 영상의 효율적인 전송 방식도 연구되었다 [3] . 비디오 코딩을 통한 3D 영상 압축과는 별도로 상이한 해상도의 좌우 영상을 이용하여 비트레이트를 절감하려는 연구도 함께 진행되고 있다. 인간의 시각 시스템은 양안 시차 억제(Binocular Rivalry Suppression) 현상에 의해 혼합 해상도의 양안식 영상을 높은 쪽 영상의 품질에 가깝게 인지하는 특성이 있다 [4] . 이에 한쪽 영상으로 고화질 영상을 사용하고 다른 영상을 일정 정도의 저화질 영상을 이용할 경우, 시청자는 이를 고화질 영상에 가깝게 인지하므로 두 개의 고화질 영상으로 이루어진 양안식 3D 영상에 비해 일정량의 비트레이트를 절감할 수 있다. 그러나 좌우 영상간의 해상도 차이가 특정 한계를 넘을 경우 저해상도 영상이 양안식 3D 영상의 주관적 화질에 미치는 영향이 커지게 된다. 따라서 특정 해상도 조합에 대해 어느 정도의 주관적 화질 저하가 발생하는지에 대한 확인이 필요하다. 본 연구에서는 좌영상을 HD급 방송 콘텐츠로 가정하고 우영상을 이동 방송 콘텐츠로 가정한 후, 좌우영상의 해상도 비율 별 화질평가를 수행하여 각 조합의 서비스 활용 가능성을 검증하였다. 본 논문의 구성은 다음과 같다. 2장에서는 본연구의 배경이 되는 시스템인 고정 및 이동 융합형 3DTV 방송 시스템을 소개하고 해당 시스템의 특성인 혼합 해상도 좌우 영상에 대한 주관적 화질 검증의 필요성을 기술한다. 3장에서는 본 연구에서 수행한 주관적 화질 평가를 위한 최적 시청거리 계산방식 및 실험환경을 기술하고 실험결과를 분석하며, 4장에서 결론을 맺는다. 고정 및 이동 융합형 3DTV 방송시스템은 기존 방송시스템과 역호환성을 유지하며 주파수 효율성을 극대화한 방식으로 고화질 3D 방송, 고화질 2D 방송, 이동 방송 서비스를 6MHz 한 채널 대역폭 내에 동시에 제공하는 시스템이다 [5] . 북미 지상파 방송 환경에서 방송 스트림은 6MHz의 채널 대역폭을 통해 19.39Mbps의 데이터 전송율로 제공되며, 북미 지상파 방송사가 이동 방송 서비스를 제공할 경우 6MHz의 채널 대역폭을 분할하여 고정형 고화질 2D 방송 스트림과 이동 방송 스트림을 전송한다. 이와 같은 방송 환경에서 고정 및 이동 방송 서비스를 제공하는 북미 방송사가 3DTV서비스를 함께 제공하는 경우, 고정 및 이동 방송 스트림으로 구성된 채널에 부가영상 스트림 전송을 위한 대역을 추가로 확보해야 한다. 그러나 3D 서비스 제공을 위해 부가영상용 대역을 할당할 경우, 가용한 기존 2D 영상스트림의 데이터 전송률을 낮추게 되므로 영상의 품질을 저하시킬 수 있으며 3D 방송의 품질 뿐만 아니라 기존 고화질 2D 방송의 시청에 문제를 유발할 수 있다. 고정 및 이동 융합형 3DTV 방송시스템은 상기 문제를 해결하기 위해 그림 1 과 같이 한 쪽 영상 스트림을 기존의 고화질 2D 방송망을 이용하여 전송하고, 다른 쪽 영상 스트림을 이동 방송망을 이용하여 전송하여 부가적인 대역폭 할당 없이 주파수 효율성을 극대화한 방식으로 3DTV 서비스를 제공한다. 고정 및 이동 융합형 3DTV 방송시스템의 좌우영상을 구성하는 고정 및 이동 방송 스트림은 ATSC A/53 [6] 및 A/153 [7] 규격에 따라 전송되며, 이는 기존 고정 및 이동 2D 방송 수신 기기들과의 호환성을 보장한다. 북미 지상파 표준화 단체인 ATSC는 고정 및 이동 융합형 3DTV 방송시스템에 대한 기술 표준화를 진행하고 있으며, 해당 기술 규격은 현재 A/104 Part 5 표준의 Candidate Standard 단계로 2015년 상반기 중에 완료될 것으로 예상된다. 고정 및 이동 융합형 3DTV 방송시스템은 HD 급 이상의 고정 방송용 고화질 영상과 SD 급 이하의 이동 방송용 저화질 영상을 3D 서비스를 위한 좌우영상으로 이용하기 때문에 좌우영상 간에 해상도 차이가 발생한다. 사람이 두 눈을 통해 해상도가 다른 좌우안 영상을 보는 경우 두뇌는 양안 시차 억제 (Binocular Rivalry Suppression) 현상에 의해 높은 해상도에 가깝게 입체영상을 인지하므로, 일반적으로 혼합 해상도 양안식 영상은 시청 품질에 영향을 주지않는다. 고정 및 이동 융합형 3DTV는 상기 양안 시차 억제 현상에 기반하여 고품질 3DTV 서비스를 제공할 수 있다. 그러나 혼합 해상도 영상에서 좌우영상의 해상도 차이가 커질 경우 저화질 영상이 3D 영상 품질에 점차 영향을 미치게 된다 [8] . 다양한 연구에서 혼합 해상도 3D 영상의 좌우해상도 차이에 따른 화질 저하 정도를 측정하려는 시도가 이루어졌으나 [8] [9] [10] , 기존 연구에서는 시청거리를 고려하지 않고 단순 좌우 영상의 해상도 차이만 고려하여 실험하였으며 이에 따라 각 연구별로 상이한 실험 결과가 도출되었다. 즉 [8] , [9] , [10] 의 연구에서는 어느 정도의 해상도 차이가 수용 가능한지를 측정하기 위해 비대칭 영상의 주관직 화질평가를 수행하였으며, 각각 2.1-2.4H, 4H, 3.3H의 거리에서 실험을 수행하였다. 4H의 시청거리를 사용한 [9] 의 연구에서는 1/4 (가로 및 세로 해상도 기준) 해상도의 저화질 영상을 사용한 양안식 영상의 경우에도 좌우영상으로 원영상을 이용하는 경우와 비슷한 주관적 평가 결과를 얻은 데 반해, 2.1-2.4H의 시청거리를 사용한 [8] 의 연구에서는 1/4 해상도의 저화질 영상을 이용한 경우 원영상을 이용하는 경우에 비해 확연히 낮은 평가 결과를 보였다. 이와 같이 시청거리는 비대칭 해상도 양안식 영상의 주관적 화질평가 결과에 큰 영향을 미치는 요소이므로, 일관된 기준에 의해 결정되어야 한다. 본 연구에서는 인간의 시각 시스템을 고려하여 최적 시청거리를 계산하였으며, 이를 기반으로 좌우영상 해상도 비율 별 화질평가를 수행하였다. 비대칭 좌우영상의 주관적 화질평가를 위해 다음과 같은 방식으로 시청 거리를 계산하고, 이에 따라 고해상도의 좌영상과 저해상도의 우영상으로 구성된 양안식 3D 영상에 대한 주관적 화질평가를 수행하였다. 영상의주관적화질평가에널리사용되는ITU-R BT.500 [11] 또는 ITU-T P.910 [12] 의 경우, 시청 거리에 대한 엄격한 기준이 없다. 이에 비대칭 영상의 화질평가에 대해 연구한 [8] , [9] , [10] 에서는 실험 디스플레이의 세로 길이를 기준으로 각각 2.1-2.4H, 4H, 3.3H의 시청거리에서 실험을 진행하였으며, 먼 시청거리를 사용한 연구일수록 좋은 평가 결과를 얻었다. 이는 시청 거리가 길어질수록 영상의 디테일을 감지하기 어려워짐에 따라 좌우영상의 해상도 차이가 주관적 화질에 미치는 영향도 줄어들기 때문이다. 이와 같이 영상 디테일의 유실에 따라 피실험자가 좌우 해상도의 비대칭 정도를 실제보다 낮게 인지하는 것을 방지하기 위해 시청거리는 충분히 가까울 필요가 있다. 반면 시청거리가 지나치게 가까워질 경우, 시청자가 인지하는 고화질 영상의 품질 저하를 유발하게 되며 이는 평가 결과에 영향을 미칠 수 있으므로 충분한 시청 거리를 확보할 필요도 있다. 즉 피실험자가 인지하는 좌우영상 해상도의 비대칭 정도와 고화질 영상의 품질을 동시에 유지할 수 있는 최적 시청거리에 대한 계산이 필요하다. 그림 2 는 상기 조건을 만족하는 최적 시청거리를 도식화한 것이다. 본 연구에서는 식 (1)과 같이 인간의 시각 인지 능력을 고려하여 비대칭 영상의 주관적 화질평가를 위한 최적 시청거리를 계산하였다. 식 (1)에서 최적 시청거리는 정상적인 시력을 가진 사람이 구별할 수 있는 최소 시야각을 기반으로 계산되며, 여기서 최소 시야각은 인접한 두 개의 분리된 빛을 구별할 수 있는 최소 각을 의미한다. 본 연구에서 정상적인 시력은 1.0의 시력(유럽의 20/20 또는 미국의 6/6 시력과 동일)으로 가정하였으며 [14] [15] , 최소 시야각은 시력 1.0인 사람의 최소 시야각인 1 분각(arcminute; 1/60도)으로 산정하였다 [13] . 즉 고화질 영상 내 구성 픽셀 간의 거리가 피실험자의 1분각 시야에 매칭되는 거리를 최적 시청거리로 계산하였으며, 이를 통해 고화질 영상의 품질을 유지하면서도 피실험자로 하여금 좌우 해상도 차이를 충분히 인지하도록 하였다. 식(1)에서 PW와 PH는 각각 고화질 영상의 가로해상도외 세로해상도를 의미하고 DHS와 DVS는 각각 디스플레이 고유의 가로 길이와 세로 길이를 의미한다. 식(1)에서 디스플레이 고유의 가로 또는 세로 길이를 영상의 가로해상도 또는 세로 해상도로 나눈 값은 영상을 구성하는 각 픽셀 간의 거리를 의미하며, 이 값을 tan(1/60)로 나누어서 최적 시청거리를 계산한다. 식(1)에서 가로축 또는 세로축을 기준으로 계산한 값 중 최소값을 선택하는 것은 영상 해상도의 종횡비와 디스플레이 사이즈의 종횡비가 상이할 수 있기 때문이며, 이 때 더 가까운 거리를 시청거리로 선택하는 것이 좌우영상 해상도 차이에 따른 효과를 더 명확히 측정할 수 있기 때문이다. 그림 3 은 55 인치 디스플레이를 통해 출력되는 높은 쪽 해상도 영상이 HD(1920x1080)인 경우의 식(1)에 대한 입력 파라미터를 도식화한 것이다. 표 1 은 식 (1)에 따라 계산된 디스플레이 사이즈 및 영상 해상도에 따른 최적 시청거리 예를 나타낸 것이다. 실험을 위해 그림 4 와 같이 네 개의 테스트 시퀀스(“Band”, “BMX”, “Musicians”, “Poker”)를 이용하였다. 테스트 시퀀스는 표 2 와 같이 1920x1080 사이즈로 구성되었으며, 10초짜리 영상 하나와 8초짜리 영상 셋으로 구성되었다. 각 시퀀스의 프레임레이트는 29.97 fps였다. 영상의 특성을 확인하기 위해 ITU-T P.910 권고안 [12] 에 따라 영상의 공간 인지정보(SI; Spatial perceptual information)과 시간 인지 정보(TI; Temporal perceptual information) 값을 계산하였으며, 권고안에 따라 그림 5 와 같이 다양한 공간 및 시간 인지정보의 영상을 사용하였다. 화질 평가에서 네 시퀀스의 좌영상은 1920x1080 해상도의 원영상을 사용하였으며, 우영상은 830x480, 640x368, 416x240 세 가지 해상도 (이하 480p, 360p, 240p)로 다운스케일링 된 영상을 사용하였다. 세 가지 우영상 해상도는 ATSC A/153 이동 방송 규격을 사용하는 북미 이동 방송사업자들이 주로 사용하는 영상 포맷이다. 각 테스트 시퀀스에 대해 레퍼런스 클립 영상을 포함한 네 개의 테스트 클립을 생성하여 총 16개의 테스트 클립에 대한 주관적 화질평가를 수행하였다. 실험 디스플레이는 55인치 LG 3D 디스플레이(55LM9600)를 사용하였으며, 시청거리는 식(1)의 계산에 따라 218Cm (3.18H)로 설정하였다. 실험은 DSIS (Double Stimulus Impairment Scaling) [11] 방식에 따라 진행하였으며, 일관된 실험 결과를 얻기 위해 테스트 영상의 재생 이전에 훈련 영상을 재생하였다. DSIS에서는 좌우 원영상으로 구성된 레퍼런스 클립과 테스트 대상 클립을 번갈아가며 한번 씩 평가자에게 보여준 후, 테스트 영상의 화질열화 정도를 다섯 등급으로 평가하도록 한다. 실험에는 전체 23명의 평가자가 참여하였으며, 평가자의 평균 나이는 34.6세였다. 19명의 평가자는 좌우시력이 동일하다고 응답하였으며, 3명은 좌안 시력이, 1명은 우안 시력이 우수하다고 응답하였다. 평가자의 평균 시력은 0.94로 앞서 언급한 정상적인 시력인 1.0 시력에 매우 근접하였다. 그림 6 은 비대칭 영상의 주관적 화질평가 결과인 MOS(Mean Opinion Score) 평균값과 95% 신뢰구간을 나타낸다. 그림 6에서 좌우영상 모두 원영상을 사용한 레퍼런스 클립과 우영상으로 480p 다운스케일링 영상을 사용한 테스트 클립은 모든 테스트 시퀀스에 대해 거의 동등한 평가결과를 얻었다. 즉 480p 해상도의 우영상을 사용한 클립의 경우 양안 시차 억제 현상에 따라 좌우 해상도 차이로 인한 영상 품질 저하가 발생하지 않음을 확인하였다. 반면 360p 해상도의 우영상을 사용한 클립의 경우 레퍼런스 영상 클립에 비해 비교적 낮은 평가 결과를 보였으며, 이는 평가자들이 360p 우영상 사용에 따른 좌우 화질 차이를 어느 정도 인지하는 것을 의미한다. 그러나 360p 우영상을 사용한 테스트 영상의 클립도 대부분 MOS 4.0 또는 그 이상의 양호한 평가 결과를 보였다. 240p 해상도의 우영상을 사용한 테스트 클립의 경우 테스트 시퀀스 종류에 따라 편차가 큰 평가 결과를 얻었다. 특히 높은 SI 값을 가진 “Musicians”와 “Poker”의 경우 레퍼런스 클립에 비해 확연히 낮은 평가를 받았으며, 반면 낮은 SI 값을 가진 “Band”와 “BMX”의 경우 상대적으로 양호한 평가를 받았다. 또한 높은 TI 값을 갖는 “BMX”의 경우 240p 해상도의 우영상을 사용하였음에도 불구하고 레퍼런스 영상과 거의 동등한 평가 결과를 얻었다. 이는 영상의 움직임이 크기 때문에 평가자가 좌우 화질 차이를 느끼기 힘든 것으로 유추된다. 즉, 비대칭 해상도 양안식 영상에서 좌우영상의 해상도 차이가 클 경우, 시간복잡도가 낮고 공간복잡도가 높을수록 피실험자가 인지하는 화질 저하가 커짐을 확인할 수 있었다. 상기 실험 결과를 종합하면 HD 영상과 480p 영상을 양안식 3D 영상의 좌우 영상으로 사용하는 경우 두 개의 HD 영상을 사용한 양안식 3D 영상 대비 주관적 화질 저하가 없으므로 고품질 3D 방송 서비스를 제공할 수 있다. 반면, HD와 240p 영상을 사용한 경우 시간복잡도가 높고 공간복잡도가 낮은 일부 시퀀스에 한해 서비스가 가능할 것으로 예상된다. 본 연구에서는 인간의 시각 시스템을 고려하여 혼합 해상도 양안식 영상의 주관적 화질평가를 위한 최적의 시청거리를 계산하고, 이를 기반으로 좌우영상의 해상도 비율별 화질평가를 수행하였다. 특히 좌영상을 고정형 HD 방송 콘텐츠로 가정하고, 우영상을 이동 방송 콘텐츠로 가정함으로써, 실험 결과가 향후 고정 및 이동 융합형 3DTV 방송 서비스에 활용될 수 있도록 하였다. 주관적 화질평가를 수행한 결과, HD 해상도의 고화질 영상과 480p 해상도의 다운스케일링 영상을 양안식 영상의 좌우영상으로 이용할 경우 모든 테스트 시퀀스에 대해 매우 우수한 주관적 화질평가 결과를 얻었으나, 반면 240P 해상도의 우영상을 이용하는 경우 움직임이 적고 복잡한 영상일수록 좌우 영상 비대칭 해상도에 따른 주관적 화질 저하가 더 크게 발생하였다.고정 및 이동 융합형 3DTV 기술은 향후 360p 또는 480p 이상 해상도의 모바일 방송 서비스를 주로 활용하여 고품질의 3DTV 서비스를 제공할 수 있을 것으로 예상되며, 더불어 본 연구 결과는 향후 고정 및 이동 융합형 3DTV 서비스를 구성하는 방송 서비스의 해상도를 결정하는 데에 중요한 척도가 될 것으로 예상된다. 이 주 영 - 2003년 2월 : 아주대학교 미디어학부 학사 - 2006년 2월 : 한국과학기술원 전산학과 석사 - 2006년 2월 ~ 현재 : 한국전자통신연구원 선임연구원 - 주관심분야 : 멀티미디어 데이터베이스, 3DTV 방송 기술, 지상파 방송 기술 김 성 훈 - 1996년 ~ 2000년 : LG전자 주임연구원 - 2008년 : 국민대학교 전자공학과 박사 - 2000년 ~ 현재 : 한국전자통신연구원 책임연구원 - 주관심분야 : 지상파 방송시스템, 3DTV 방송시스템, 3D/UHDTV 전송기술 정 세 윤 - 1995년 2월 : 인하대학교 전자공학과 학사 - 1997년 2월 : 인하대학교 대학원 전자공학과 석사 - 2014년 현재 : 한국과학기술원 전기 및 전자공학과 박사 과정 중 - 1996년 12월 ~ 현재 : 한국전자통신연구원 책임연구원 - 주관심분야 : Video Coding, UHDTV, Mobile Broadcasting 최 진 수 - 1990년 2월 : 경북대학교 전자공학과 학사 - 1992년 2월 : 경북대학교 전자공학과 석사 - 1996년 2월 : 경북대학교 전자공학과 박사 - 1996년 5월 ~ 현재 : 한국전자통신연구원 책임연구원 / 영상미디어연구실장 - 주관심분야 : 영상통신, UHDTV 방송, 3DTV 방송, 데이터 방송 강 동 욱 - 1986년 2월 : 서울대학교 전자공학 졸업 - 1988년 2월 : 서울대학교 대학원 전자공학과 석사 - 1995년 2월 : 서울대학교 대학원 전자공학과 박사 - 1995년 ~ 현재 : 국민대학교 전자공학부 교수 - 2000년 9월 ~ 2001년 8월 : Lucent Technology MTS - 주관심분야 : 비디오 코딩, 영상통신 정 경 훈 - 1987년 2월 : 서울대학교 전자공학 졸업 - 1989년 2월 : 서울대학교 대학원 전자공학과 석사 - 1996년 2월 : 서울대학교 대학원 전자공학과 박사 - 1991년 12월 ~ 1997년 2월 : 한국영상산업진흥원 선임연구원 - 1997년 3월 ~ 2005년 2월 : 한동대학교 전산전자공학부 교수 - 2005년 3월 ~ 현재 : 국민대학교 전자공학부 교수 - 주관심분야 : 멀티미디어신호처리, 디지털 방송 김 진 웅 - 1981년 2월 : 서울대학교 공과대학 전자공학과 학사 - 1993년 8월 : 미국 Texas A&M 대학교 전기공학과 박사 - 2004년 7월 ~ 2005년 6월 : 미국 Columbia 대학교 객원연구원 - 1983년 3월 ~ 현재 : 한국전자통신연구원 책임연구원 / 실감방송미디어연구부장 - 주관심분야 : 디지털 방송 기술, 3DTV 방송, UHDTV 방송, Audio 및 Video 압축부호화, 멀티미디어 시스템, 홀로그램 기술