멀티스크린 서비스(Multi-screen service)는 하나 이상의 미디어를 복수개의 단말에서 동시에 또는 차별적으로 소비하는 서비스로서, 이러한 멀티스크린 서비스는 기존 TV의 스마트화 및 스마트 단말의 보편화에 따라 그 활용성이 더욱 높아지고 있다. 또한 방송통신 융합 환경인 하이브리드 방송(Hybrid Broadcasting) 환경에 적용할 경우, 여러 개의 화면을 통해 여러 소스의 콘텐츠를 소비하여 다양한 사용자 경험(User experience)을 제공할 수 있다. 하이브리드 방송 환경에서 멀티스크린 서비스를 제공하기 위한 요소기술로서 장면구성 기술을 활용할 수 있다. 장면구성 기술은 미디어가 소비되는 시간과 화면상의 공간을 특정함으로써 다수의 미디어를 복합적으로 소비하는 방법으로서, 해당 기술을 통해 제공되는 멀티스크린 서비스는 단말 간의 연계를 통한 복수 미디어의 시공간적 제어 및 소비를 제공할 수 있다. 하지만 기존의 장면구성 기술은 적용 가능한 환경의 제약과 다양한 단말에 대한 적용이 어렵다는 점, 활용의 복잡성 등으로 인해 하이브리드 방송 환경에 쉽게 적용하기 어려운 점이 존재한다. 이러한 문제점을 해결할 수 있는 새로운 환경으로 HTML5를 고려할 수 있다. HTML5는 개방형 네트워크를 활용하는 다양한 스마트 단말에 공통적으로 적용될 것으로 기대되며, 기존 HTML에 비해 다양한 종류의 미디어의 소비를 지원한다. 이에 본 논문에서는 하이브리드 방송환경이 적용될 다양한 스마트기기에서 사용될 것으로 예상되는 HTML5을 기반으로 한 장면구성 및 멀티스크린 서비스 기술을 제안한다. 이를 위해, 본 논문에서는 HTML5 및 멀티스크린 서비스와 관련된 기술을 소개하고, HTML5의 요소 및 속성의 확장을 통한 장면구성 및 멀티스크린 서비스 정보 제공 방법과 멀티스크린 서비스를 위한 단말 간 미디어 시그널링 및 동기화 방법을 제안하였다. 또한, 제안된 HTML5 기반 장면구성 및 멀티스크린 서비스 적용 방안을 구현 및 실험을 통해 검증하였다. 하이브리드 방송(Hybrid Broadcasting) 환경은 IPTV, 위성방송, 케이블TV, 지상파 방송 등 방송망과 인터넷을 포함하는 유무선 통신망을 선택적으로 결합하여 방송콘텐츠를 제공하는 방송통신 융합 환경이다. 이러한 하이브리드 방송은 기존의 전송망을 활용하기 때문에 시스템 구축에 필요한 비용과 시간이 비교적 경제적이며, 단일 망에 비해 다수의 콘텐츠를 다양하게 전송할 수 있는 장점을 가지고 있다. 현재는 스마트TV를 필두로 방송망과 IP망을 결합한 하이브리드 방송환경이 가장 먼저 조성되어 다양한 서비스가 나타나고 있으며, 더 나아가 스마트폰 및 태블릿PC와 같은 타 스마트기기에 적용되어지고 또한 DMB와의 연동을 통한 새로운 하이브리드 방송 신규서비스가 나타날 것으로 전망된다. 이와 같은 하이브리드 방송 환경이 신규 방송 서비스의 플랫폼으로 고려되어짐에 따라, 국내의 OHTV(Open Hybrid TV), 국외의 HbbTV(Hybrid Broadcast Broadband TV), ATSC 2.0(Advanced Television Systems Committee)과 같이 하이브리드 방송환경 관련 표준 기술들이 등장하였고 [1] 이들의 차기 버전(OHTV 2.0, HbbTV 2.0, ATSC 3.0)에 대한 표준화가 활발히 진행 중 이다. 국제 표준화단체 MPEG (Moving Picture Expert Group) 또한 새로운 방송전송표준인 MMT(ISO/IEC 23008-1 MPEG Media Transport)에서 하이브리드 방송환경을 고려한 표준화를 진행 중에 있다 [2] . 하이브리드 방송환경을 효율적으로 활용하기 위한 방법으로는 멀티스크린 서비스를 고려할 수 있다. 멀티스크린 서비스는 하나 이상의 미디어를 복수 단말을 통해 소비하는 기술로서 차별적인 사용자 경험(User experience)을 제공할 수 있는 기술이다. 이러한 멀티스크린 서비스는 기존의 단일 수신 환경하에서 메모리 기반의 일률적인 화면을 제공하는 TV 환경에서 벗어나, 복수의 전송 채널을 통해 전달되는 다수의 미디어를 동시 또는 차별적으로 하나 이상의 화면 또는 단말에서 제공하기 때문에, 다수의 미디어를 다수의 단말에서 제공하기 위한 시공간적 구성 및 동기화가 요구되어진다. 이에 따라 현재 멀티스크린 서비스를 제공하기 위해 상용화된 요소기술에는 DLNA(Digital Living Network Alliance) [3] 와 Apple의 Airplay [4] , Wi-Fi Direct [5] 등이 있다. 하지만 이들 기술들은 단순 미디어 공유 혹은 화면 공유의 서비스 형태로, 단말 간 연계를 통한 다수 미디어 활용 및 미디어간의 동기화된 소비와 같이 방송통신 융합의 하이브리드 방송환경에 적합한 서비스는 제공하지 못하는 실정이다. 따라서 본 논문에서는 하이브리드 방송환경에 적합한 멀티스크린 서비스를 제공하기 위한 요소기술로 장면구성 기술을 고려한다. 장면구성은 미디어가 소비되는 시간과 화면상의 공간을 특정함으로써 다수의 미디어를 복합적으로 소비하는 기술이다. 이와 같은 장면구성 기술을 통해 멀티스크린 서비스를 하이브리드 방송환경에 적용한다면, 다수 미디어의 시공간적 소비뿐만 아니라 단말간 연계를 통한 미디어의 동기적 소비 및 하이브리드 방송환경의 양방향성을 활용한 선택적 미디어 소비를 제공할 수 있다. 현재 표준화된 장면구성 기술에는 MPEG의 BIFS(ISO/ IEC 14496-11 Scene description and application engine) [6] 와 LASeR(ISO/IEC 14496-20 Lightweight Application Scene Representation (LASeR) and Simple Aggregation Format (SAF)) [7] , W3C의 SMIL(Synchronized Multimedia Inte- gration Language) [8] 등이 있다. 하지만 이러한 장면구성 기술들은 각각의 장점이 존재함에도 적용가능한 환경의 제약과 다양한 기기에 대한 적용이 어려운점, 활용의 복잡성 등의 이유로 하이브리드 방송환경에 적용하기에 어려움이 존재한다. HTML5(Hypertext Markup Language 5) [9] 는 기존의 HTML에서 제공하는 기능에서 발전하여 보다 다양한 종류의 미디어를 활용할 수 있으며, 미디어의 화면상 공간구성 및 사용자 상호작용을 통한 양방향 서비스 기능 제공이 가능하다. 이와 같은 기능적 장점과 다양한 단말에서 활용도가 높을 것으로 예상하여 본 논문에서는 하이브리드 방송환경에 적용될 멀티스크린 서비스를 위한 장면구성 [10] 기반기술로 고려하였다. 그러나, HTML5가 웹 문서를 제작하기 위한 마크업 언어로 개발되었기 때문에 다양한 소비 환경을 고려한 복수 장면기술이 불가능하며, 다수 미디어간의 시간구성 방법이 정의되어 있지 않으며, 또한 스크립트 및 스타일언어 사용으로 인한 복잡성 및 멀티스크린 서비스를 위한 단말 간 미디어 시그널링 방법 부재 등과 같은 점이 HTML5을 하이브리드 환경 하에서의 멀티스크린 서비스를 위한 장면구성 기술로 바로 적용하기에 어려운 점이라고 파악되어진다. 따라서 본 논문에서는 HTML5을 멀티스크린 서비스에 활용하기 위한 확장방안을 제안한다. 하이브리드 방송 환경 하에서의 멀티스크린 서비스를 위한 장면구성 기술을 위한 본 논문의 구성은 다음과 같다. 본 논문의 2장에서는 HTML5와 멀티스크린 서비스에 관하여 소개하고, 3장에서는 장면구성을 제공하기 위한 HTML5의 확장 방법을 제시하며, 4장에서는 멀티스크린 서비스 제공을 위한 HTML5기반 단말 간 미디어 시그널링 및 동기화 정보 제공방법에 대해 제시한다. 5장에서는 HTML5의 확장을 통해 제안한 장면구성 및 멀티스크린 서비스 기술의 구현 및 검증 결과를 제시하고, 그에 따른 결론을 6장에서 기술한다. HTML5의 확장을 통한 장면구성 기술과 이를 통한 멀티스크린 서비스 방법을 제안하기 위해, 본 장에서는 HTML5와 멀티스크린 서비스에 대해 소개한다. 1절에서는 장면구성을 위해 활용될 수 있는 HTML5의 미디어 공간구성 기능과 이외에 요구되는 기능에 대해 기술한다. 2절에서는 멀티스크린 서비스의 소개와 더불어 현재 상용화된 기술의 한계와 다양한 활용범위에 대해 기술한다. HTML은 하이퍼텍스트를 표현하기 위한 마크업 언어로 정의할 수 있으며, 하이퍼텍스트란 독자가 하나의 문서에서 타 문서로 즉시 접근할 수 있도록 링크 기능을 제공하는 텍스트이다. 네트워크 환경이 발전하고 웹이 활성화됨에 따라 초기의 HTML이 텍스트와 이미지의 소비만을 제공했던 것과 달리 현재는 비디오, 오디오, 이미지, 그래픽 등과 같이 다양한 미디어의 소비를 제공하게 되었다. HTML5는 HTML의 다섯 번째 버전으로 W3C (World Wide Web Consortium)에서 표준화가 진행 중이며, 현재 Candidate Recommendation이 공표된 상태이다 [9] . HTML5는 다양한 미디어를 기술할 수 있도록 여러 요소를 제공한다 [9] . 텍스트의 경우,

, , 등의 요소를 통해 스타일과 사용방법에 따라 서로 다른 요소를 제공하며, 이미지는 요소, 비디오는