디지털 방송 서비스가 시작되고, 기존의 방송 서버에서 사용자에게 방송 콘텐츠를 제공하는 단 방향 방송이 아닌 통신망을 이용하여 사용자가 방송 서버에 정보를 전달하는 양 방향 방송서비스가 가능해졌다. 이에 사용자는 개인이 원하는 장면을 원하는 시간대에 시청하는 맞춤형 방송 서비스에 대한 요구가 생겨나게 되었다. 이러한 맞춤형 방송 서비스에서는 사용자가 입력한 데이터를 바탕으로 검색하기 위한 메타데이터 정보가 중요하다. 본 연구는 기존의 사용자가 원하는 장면별로 시청하는 맞춤형 방송 서비스에서 원하는 장면 뿐 만 아니라 사용자가 보고 싶은 객체를 원하는 카메라 시점에서 시청할 수 있는 객체 중심의 맞춤형 영상미디어 서비스를 위한 메타데이터에 관리 모듈에 대한 연구이다. 본 연구를 통하여 기존의 맞춤형 방송 서비스에 없었던 객체에 대한 세그먼트 정보를 제공해 줌으로써 사용자에게 시청의 폭을 넓혀 시청 만족도를 높일 수 있다. 디지털 방송 서비스는 기존의 아날로그 방송 비해 다채널 및 고화질 구현이 용이 하고 데이터 수신이 가능하여 널리 보급되고 확대 되었다. 디지털 방송 서비스가 보급되고, 통신망이 빠르게 발전 하면서 양방향 방송 서비스가 가능하게 되었는데, 기존의 방송 서버에서만 사용자에게 방송 콘텐츠를 제공하는 방법에서 통신망을 이용하여 사용자에게 제공되는 방송 콘텐츠뿐만 아니라 사용자의 인터랙션 정보 및 피드백 정보를 방송 서버에 보낼 수 있게 되었다. 사용자는 기존의 단 방향 방송 서비스가 아닌 양방향 서비스가 가능해 짐에 따라, 원하는 정보나 개인에 성향에 맞춘 맞춤형 방송 서비스에 대한 요구가 생겨나게 되었고 [1] , 이러한 양방향 맞춤형 데이터 서비스는 통신망을 통해 전달된 데이터를 이용하여 사용자와 콘텐츠를 제공하는 서버간의 인터랙션으로 사용자가 원하는 맞춤형 서비스를 제공할 수 있게 되었다. 이에, 사용자에게 선호하는 방송과 정보에 대한 서비스를 제공할 수 있는 환경을 구축할 수 있게 되었다 [2] . 기존의 디지털 방송은 프로그램 제작자가 만들어놓은 순서대로 시청하는 선형적인 구조지만, 맞춤형 방송 서비스는 프로그램의 정보들을 모아놓은 메타데이터를 이용하여 사용자가 원하는 장면별로 시청 할 수 있는 비선형 구조로 본인이 원하는 방법으로 원하는 시간에 다양한 형태의 프로그램을 시청할 수 있게 하는 서비스이다 [3] [4] [5] . 맞춤형 방송 서비스에서 메타데이터는 사용자가 원하는 정보를 얻기 위해 입력한 데이터를 바탕으로 메타데이터를 검색하고 해당 정보를 제공하는 이유로 맞춤형 서비스를 제공하기 위하여 굉장히 중요하다 [6] [7] . 본 연구는 다중 카메라 영상에서 사용자가 관심을 가지는 객체 중심의 맞춤형 통합 영상 미디어를 제공 하기위한 메타데이터 관리 모듈에 대한 연구이다. 기존 방송에서는 프로그램 제작자가 만들어놓은 순서대로 방송을 볼 수 있고, 기존의 맞춤형 방송 서비스에도 사용자가 원하는 장면별로 시청 할 수 있는 반면에 본 연구에서는 장면뿐만 아니라 사용자가 보고 싶은 객체를 원하는 카메라 시점에서 시청할 수 있다. 이를 위하여 메타데이터 - 관심 객체가 카메라 별로 등장했다가 사라지는 시작 프레임부터 끝 프레임까지의 단위를 세그먼트로 볼 때의 세그먼트의 정보와 등장 객체에 대한 정보 장면 정보 등의 데이터 - 들을 맞춤형 방송 서비스의 규격을 통일하여 규정하고 있는 TV-Anytime에 Part 3. Metadata 부분을 기반으로 확장하여 사용한다. 본 연구는 기존 방송, 맞춤형 방송 서비스에 없었던 등장 객체에 대한 세그먼트 정보를 제공해 줌으로써 사용자의 시청 선택 폭을 넓혀 주게 되어 사용자의 방송 시청 만족도를 높일 수 있다. TV-Anytime은 모든 사용자가 자신의 필요와 개인 취향에 맞는 다양한 소스의 콘텐츠를 접근할 수 있으며, 원하는 시간 다양한 형태의 프로그램을 시청 할 수 있게 하는 것을 서비스 목표로 하고 있다. TV-Anytime part 3. Medtadata는 콘텐츠에 대한 정보를 저장하는 부분으로 많은 부분이 MPEG-7에서 정의된 내용을 차용하여 사용하고 있다. TV-Anytime 포럼의 Metadata 규격에는 크게 콘텐츠, 프로그램 개체, 사용자 측면의 정보를 기술하는 메타 데이터로 나뉘어 질수 있고, 프로그램을 세그먼트로 단위로 분할한 세그먼트에 대한 정보까지 기술하고 있다. 메타데이터는 그림 1 과 같이 프로그램 기술 정보 메타데이터 ( 콘텐츠 기술 메타데이터와 인스턴스 기술 메타데이터로 구성), 그리고 사용자 기술 메타데이터로 구성되어 있다 [8] . 그림 2 는 CreditsItem에 대한 메타데이터 스키마이다. CreditsItemType은 contents에 대한 credit 정보를 포함하는 형식으로 참조된 사람의 이름을 저장하는 요소와, 참조된 사람을 식별하는 ID, 참조된 기관의 이름과 ID를 저장하는 요소로 구성되어 있다. 그림 3 은 SegmentInformationTable에 대한 메타데이터 스키마이다. SegmentInformationTable은 모든 세그먼트와 관련된 메타 데이터를 유지하기위한 구조를 정의한다. 테이블에 저장되는 세그먼트 목록을 나타내는 SegmentList 요소와 세그먼트를 그룹화 하는 SegmentGroupList로 구성된다. 그림 4 는 SegmentInformation에 대한 메타데이터 스키마이다. SegmentIformation은 각각의 세그먼트에 대한 정의를 나타내고, 시작시간과 지속시간의 관점에서 프로그램내에 세그먼트 위치를 알아낸다. MPEG-7 데이터 유형으로 정의된 SegmentLocator는 프로그램 내에 세그먼트의 위치를 저장하고, KeyFrameLocator요소는 프로그램 내의 세그먼트의 키프레임의 위치를 저장한다. 객제 중심 영상의 메타데이터는 등장 객체에 대한 정보를 검색 추출이 가능한 표현 기술 구조이다. 메타 데이터는 국제 방송 규격인 TV-Anytime part 3. Metadata 부분을 확장하여 사용한다. 그림 5 는 객체 중심 영상 미디어 메타데이터의 메인 형태를 나타낸다. 장면에 대한 정보를 저장하는 필드는 TVA에 ProogramInformationTable 필드를 확장하여 사용하였고, 세그먼트, 카메라에 대한 정보를 저장하는 필드는 TVA에 SegmentInfromationTable필드를 사용하였다. 장면에 대한 정보를 저장하는 ProgramInformationTable에 대한 구조는 그림 6 과 같다. 그림 6 은 프로그램(콘텐츠)에 대한 정보 메타데이터스키마를 정의한다. 해당 필드에는 등장 객체에 대한 정보, 프로그램에 대한 정보, 제목, 장면 식별 번호를 포함한다. 기존 TV-Anytime ProgramInformationTable 규격에 장면별로 고유 식별 번호를 부여하는 필드인 Scene_num 필드와 고해상도 지원 여부를 정의하는 Resol_type 필드 그리고 다중카메라 지원 모드를 정의하는 필드인 Multi_cam_type 필드를 추가, 확장하였다. 세그먼트, 세그먼트 그룹, 카메라에 대한 정보를 저장하는 SegmentInfromationTable에 대한 구조는 그림 8 과 같다. 그림에서 보는 바와 같이 SegmentInformationTable필드는 아래 하위 요소 2개의 메타데이터를 포함한다. AV 스트림내의 일정 구간을 정의하고 접근하고 다룰 수 있는 것이 세그멘테이션이다. 이러한 세그멘테이션 과정을 통해 얻은 잘려진 AV를 세그먼트라 부르고 생성된 세그먼트를 묶은 것이 세그먼트 그룹이다. 본 연구에서는 세그먼트에 대한 정보를 저장하는 SegmentList필드와 세그먼트를 그룹화 하고, 카메라 정보를 저장하는 SegmentGroupList 필드를 사용하였다. 그림 9 는 세그먼트의 정보를 저장하는 SegmentInformation에 대한 형태를 나타낸다. 본 연구에서는 등장 객체에 대한 정보와 프로그램에 대한 정보, 객체가 카메라 별로 등장했다가 사라지는 시작 프레임부터 끝 프레임까지의 단위를 세그먼트라 정의한다. 기존의 TV-Anytime에 정의되어 있는 SegmentInformation 필드에 시작 프레임과 끝 프레임을 저장하는 필드를 추가 확장하여 사용한고, 각 세그먼트에 등장 객체의 고유 아이디를 부여하는 필드를 추가, 확장하여 사용한다. 그림 10 은 세그먼트 그룹에 대한 정보와 카메라 정보를 저장하는 SegmentGroupInformation에 대한 형태를 나타낸다. 세그먼트를 그룹화 하는 Segments 필드와 카메라 대표 이미지 URL을 저장하는 MediaLocator필드에 카메라 대표 썸네일, 카메라 속성 정보를 저장하는 필드를 추가, 확장하여 사용하였다. 객체중심 맞춤형 영상 미디어 관리를 위한 메타데이터 관리 모듈 구조는 그림 11 과 같다. 메타데이터 관리 시스템은 객체 영상 객체 추출 및 추적을 통하여 얻은 객체에 대한 정보, 세그먼트 정보와 카메라에 대한 정보 등의 정보를 미리 생성한 객체 중심 영상 미디어 메타데이터 구조 해당 필드에 저장해주는 메타데이터 생성 및 저장 모듈과 생성한 메타데이터를 이용하여 객체에 대한 식별/분류에 대한 질의에 대하여 해당 정보를 추출하여 주는 객체 식별/분류 및 검색 모듈로 나눌 수 있다. 메타데이터 생성 및 저장 모듈은 객체 추출 및 추적을 통하여 얻은 정보들에 대하여 분석하고 수집하는 Data parser와 수집된 정보들을 미리 정의된 객체 중심 영상 미디어 메타데이터 구조에 저장 해주는 Metafile generator, 그리고 생성된 메타파일을 업데이트 해주는 Update 모듈을 포함한다. Data parser를 통해 객체에 대한 정보를 분석하고, Metafile generator에서 분석된 정보를 이용하여 최종적으로 메타파일이 생성되고, Update 모듈을 이용하여 생성된 Metafile을 업데이트 하게 된다. 다중 카메라 영상에서 객체 중심의 맞춤형 통합 영상 미디어 메타데이터 생성 및 저장 모듈의 정의는 그림 12 와 같다. 메타데이터 생성 및 저장 모듈을 통해서 생성된 메타파일을 기반으로 객체 식별/분류 및 검색 모듈에서는 메타파일내의 메타데이터를 분석하는 Metadata parser와 사용자로부터 다중 키 기반의 검색 질의에 대하여 메타파일에서 해당 정보를 검색 해주는 Search 모듈을 포함하고 있다. 메타데이터 생성 및 저장 모듈을 통하여 객체 중심 맞춤형 영상 미디어 서비스를 위한 메타 파일을 생성하게 되고 객체 식별/분류 및 검색 모듈을 통하여 서비스를 위한 메타데이터를 추출하여 사용자에게 관심 객체에 대한 영상 미디어 서비스를 제공할 수 있게 된다. 그림 13 은 객체 추출 및 추적을 통하여 얻은 객체에 대한 정보와 프로그램 정보를 메타데이터 생성 및 저장 모듈을 통하여 미리 정의된 프로그램 정보 메타데이터를 나타낸다. Scene_num 필드를 통하여 현재 장면을 식별하고 프로그램에 대한 정보를 추출 할 수 있으며, 객체에 대한 정보를 저장하고 있는 CreditsList 필드에는 객체에 대한 이름과 객체에 대한 고유 아이디를 부여하고, 객체 고유 아이디를 이용하여 객체에 대한 정보를 추출할 수 있다. 그림 14 는 객체 추출 및 추적을 통하여 얻은 세그먼트에 대한 정보 메타데이터를 나타낸다. SegmentId를 통하여 각 세그먼트를 식별하고, SegmentLocator를 이용하여 시작시간과 지속시간의 관점에서 프로그램 내에 세그먼트 위치를 알아낸다. PersonNameIDRef 요소로 현재 세그먼트의 등장하고 있는 객체에 대한 정보를 저장한다. 객체 식별/분류 및 검색 모듈은 장면번호, 객체 ID, 객체별 세그먼트 번호를 이용한 다중 키 기반의 검색에 대한 메타데이터 추출 모듈이다. 그림 15 와 16 은 실험 영상에 대한 다중 키 기반의 검색에 대한 정보를 이용하여 추출한 장면이다. 그림 15 는 관심 객체에 대하여 카메라 시점을 선택하여 장면을 추출한 결과이고, 그림 16 은 등장 객체 중 하나의 객체에 대하여 세그먼트를 검색한 결과이다. 위 결과에서 보이듯이 객체 중심 메타데이터에서 관심 객체에 대하여 원하는 정보만 추출 할 수 있다. 본 논문은 다중 카메라 영상에서 사용자가 관심을 가지는 객체 중심의 맞춤형 통합 영상 미디어를 제공 하기위한 메타데이터 관리 시스템에 대한 연구이다. 메타데이터 관리 시스템을 구현하기 위하여 메타데이터 구조를 맞춤형 방송 규격인 TV-Anytime part3. Metadata 기반으로 확장하여 사용하였고, 미리 정의한 구조에 객체 영상 객체 추출 및 추적을 통하여 얻은 객체에 대한 정보, 세그먼트 정보와 카메라에 대한 정보 등의 정보를 저장하는 메타데이터 생성 및 저장 모듈과 메타데이터에서 객체에 대한 식별/분류에 대한 질의에 대하여 해당 정보를 추출하여 주는 객체 식별/분류 및 검색 모듈을 구현하였다. 기존의 맞춤형 방송 서비스는 사용자가 원하는 장면별로 시청 할 수 있는 비선형 구조로 본인이 원하는 방법으로 원하는 시간에 다양한 형태의 프로그램을 시청할 수 있게 하는 서비스이다. 본 연구를 통해 기존 방송, 맞춤형 방송 서비스에 없었던 등장 객체에 대한 세그먼트 정보를 제공해 줌으로써 사용자의 시청 선택 폭을 넓혀 주게 되어 사용자의 방송 시청 만족도를 높일 수 있다. 변 성 우 - 2014년 : 상명대학교 디지털미디어학과 이학사 - 2014년 ~ 현재 : 상명대학교 컴퓨터과학과 석박사 연계과정 - 주관심분야 : 멀티미디어처리, 인공지능 이 소 민 - 2014년 : 상명대학교 디지털미디어학과 이학사 - 2014년 ~ 현재 : 상명대학교 컴퓨터과학과 석사과정 - 주관심분야 : 멀티미디어처리, 인공지능 이 석 필 - 1990년 : 연세대학교 전기공학과 공학사 - 1992년 : 연세대학교 전기공학과 공학석사 - 1997년 : 연세대학교 전기공학과 공학박사 - 1997년 ~ 2002년 : 대우전자 영상연구소 선임연구원 - 2002년 ~ 2012년 : KETI 디지털미디어연구센터 센터장 - 2010년 ~ 2011년 : 미국 Georgia Tech. 방문연구원 - 2012년 ~ 현재 : 상명대학교 미디어소프트웨어학과 교수 - 주관심분야 : 멀티미디어 검색, 디지털신호처리, 인공지능