Advanced
A New Watermarking Algorithm for 3D Stereoscopic Image based on Depth and texture images
A New Watermarking Algorithm for 3D Stereoscopic Image based on Depth and texture images
Journal of the Korea Institute of Information and Communication Engineering. 2014. Mar, 18(3): 551-561
Copyright © 2014, The Korea Institute of Information and Commucation Engineering
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License(http://creativecommons.org/li-censes/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
  • Received : December 25, 2013
  • Accepted : January 28, 2014
  • Published : March 31, 2014
Download
PDF
e-PUB
PubReader
PPT
Export by style
Share
Article
Author
Metrics
Cited by
TagCloud
About the Authors
영호 서
College of Liberal Arts, Kwangwoon University, Seoul, 139-701, Korea
보라 김
Department of Electronic Materials Engineering, Kwangwoon University, Seoul, 139-701, Korea
동욱 김
Department of Electronic Materials Engineering, Kwangwoon University, Seoul, 139-701, Korea
dwkim@kw.ac.kr

Abstract
3차원 영상을 생성하기 위해 깊이영상과 텍스쳐 영상의 활용이 보편화되면서 이들 영상에 대한 보호도 많은 관심을 받고 있다. 본 논문에서는 깊이와 텍스쳐 영상으로부터 임의의 시점에 생성되는 스테레오 및 다시점 영상의 소유권을 보호하기 위한 워터마킹 기법을 제안한다. 3D 워핑을 이용한 DIBR을 통해서 워터마크가 보존될 수 있도록 대상 영역을 설정한 이후에 2차원 DCT를 통해서 텍스쳐 영상을 주파수 계수로 변환한다. 이 계수의 일부를 양자화하여 워터마크를 삽입한다. 삽입된 워터마크는 확인이 되지 않기 때문에 비가시성을 확인할 수 있었고, 일반적인 영상처리 공격에 의해서 강인함을 확인하였다.
Keywords
Ⅰ. 서 론
3차원 입체 영상(stereoscopic image)은 다양한 방식으로 생성될 수 있다. 가장 보편화된 방법으로는 스테레오 및 다시점(multiview) 카메라를 이용하여 다수 개의 영상을 획득한 후에 이를 이용하여 3차원 입체 영상을 만드는 것이다. 최근에는 깊이 영상을 이용하여 원하는 시점의 영상을 생성한 후에 이 영상들을 이용하여 3차원 입체 영상을 만드는 것이 보편화되고 있다. 또한 다수의 영상과 깊이 영상을 활용한 3차원 입체 영상도 이용되고 있다. 이러한 깊이영상과 텍스쳐 영상의 활용이 보편화되면서 이들 영상을 부호화하기 위한 연구가 활발히 이루어지고 있다 [1] . 기본적으로 영상과 같은 디지털 정보는 이동, 저장이 용이하다는 장점을 가진 반면, 복제 및 변조가 용이하다는 단점 또한 갖고 있어 불법적 복제 및 위/변조를 방지하고 소유권을 효과적으로 보호하기 위한 디지털 워터마킹 (digital watermarking) 기술에 대한 연구가 깊이영상과 텍스쳐 영상 기반의 3차원 입체 영상에서도 이루어지고 있다 [2 - 4] .
1990년도 초반, Tanaka [4] , Caronni [5] 등이 디지털 영상에 워터마킹을 도입하면서 이에 대한 연구가 시작 되었고, Tirkel에 의해 처음으로 워터마킹이라는 용어가 사용되었다. 초기의 연구는 영상의 공간정보를 이용하여 워터마킹을 수행하는 방법이 주로 사용되었다 [6] . 이 방법은 공간영역 상에서 영상의 화소 값을 직접 변화시켜 워터마킹을 수행하는 방식이었다. 영상을 크기가 같은 두 집합으로 나누고 두 집합에 속한 화소들의 차를 이용하여 검출하는 방법이 Pitas [7] 에 의해 제안되었다. 또한 Kutter [8] 는 특정 화소의 정보를 변화시켜 이웃 화소들과 비교함으로 워터마크를 검출하는 방법을 제시하였다. 그러나 공간 영역에서의 워터마킹은 공격에 약한 단점을 가진다.
워터마킹 기술이 발달함에 따라 워터마크 적용영역이 공간영역에서 주파수 영역으로 점차 변화하였다. 공간영역에서의 방식에 비해 주파수영역에서 수행되는 방식이 공격에 강한 특성을 가지지만 주파수의 특성상 워터마크 삽입 위치를 정확히 선정할 수 없는 단점이 있었다. 주파수 영역에서의 워터마킹은 주파수 계수를 변화시켜 워터마크를 삽입하는 것이다. Ruanidh [9] 은 DFT(Discrete Fourier Transform)를 이용하여 위상에 워터마크를 삽입하는 방법을 제안하였고, Cox [10] 와 Barni [11] 등은 DCT(Discrete Cosine Transform)를 이용하여 주파수 영역의 중요한 계수를 선택한 후 계수의 크기 순으로 워터마크를 삽입하는 방법을 제안하였다.
다시점 및 자유시점 비디오 서비스는 사용자의 요구에 따라 새로운 가상시점을 제공한다. 이때 가장 중요한 요소 중의 하나는 정확한 깊이정보인데, 여기에 사용된 깊이정보는 공간상에서 카메라 시점을 기준으로 대상 물체까지의 거리로 정의된다. 깊이정보 추출의 기본원리는 각각의 눈에서 따로 관찰되는 물체의 상을 대뇌에서 분석 및 종합하여 물체의 원근을 인지하는 인각 시각 시스템(Human Visual System, HVS)에 근거를 두고 있다. 망막에 맺힌 각각 다른 물체의 상을 공학적으로 해석한 것이 스테레오 영상이다. 3차원 입체 영상이 보편화되기 시작하면서 스테레오 영상에 대한 보호에 대한 연구들이 진행되어 왔다 [2 - 4] [12 - 14] . 이들 중에서 본 논문에서 제안한 연구 분야와 관련이 있는 것들에 대해서 간단히 논의하면 다음과 같다. Lee [2] 는 DTCWT(dual-tree complex wavelet transform)를 수행한 후에 DIBR(depth-image-based rendering)의 특성을 고려하여 계수들을 선택하고 이들을 양자화하여 워터마킹을 수행하였다. Niu [3] 은 SIFT(scale invariant feature transform)를 이용하여 다양한 공격에 대해서 거의 변화하지 않는 영역을 선정하고, 이 영역에 대해 DCT를 수행한 후에 계수들에 스프레드 스펙트럼 기법을 이용하여 워터마크를 삽입하였다. Wu [4] 는 DIBR로부터 생성된 임의의 시점에서의 영상에서 삽입된 워터마크가 훼손되지 않게 하기 위해 깊이 정보를 이용하여 전경에 해당하는 부분을 선택하고 이 중에서 객체에 해당하는 정보를 추출하여 워터마크를 삽입하는 기법을 제안하였다. 본 논문에서는 깊이와 텍스쳐 영상으로부터 생성되는 3차원 영상의 소유권을 보호하기 위한 워터마킹 기법을 제안한다. 3D 워핑(warping)을 이용한 DIBR을 통해서 워터마크가 보존될 수 있도록 대상 영역을 설정한 이후에 DCT를 통해서 텍스쳐 영상을 주파수 계수로 변환한다. 이 계수의 일부를 양자화하는 방법을 이용하여 워터마크를 삽입한다.
본 논문은 다음과 같이 구성된다. 2장에서는 워터마킹의 기본 이론에 대해서 소개하고 3장에서 3D 워핑을 이용한 3차원 입체 영상을 생성하는 방법을 설명한다. 4장에서는 깊이 및 텍스쳐 기반의 입체 영상에 적용할 수 있는 워터마킹 기법을 제안한다. 5장에서 실험 결과를 보이고 6장에서 결론을 맺는다.
Ⅱ. 디지털 워터마킹
워터마킹 기법은 영상 및 음성을 비롯한 멀티미디어 데이터 안에 특정한 정보를 은폐시키는 기술을 말하며, 멀티미디어 저작권에 관한 효과적인 보호를 할 수 있는 차세대 수단이다. 워터마크는 단지 파일 뒤에 첨가되는 것이 아니라 완전히 파일의 내용과 함께 뒤섞이게 되므로 원래 파일에서 용량의 증가와 파일 포맷의 변화가 일어나지 않는다.
워터마크 삽입 과정은 원래의 정보 I에 대해 원래의 정보와 추가하고자 하는 정보 W, 그리고 이들의 함수적 관계 f(I, W)에 의한 값을 원래의 정보 에 삽입하는 방법이라 할 수 있다. 이때 워터마킹이 수행된 정보 I'은 다음 수식 (1)과 같이 표현된다.
PPT Slide
Lager Image
워터마킹을 효과적으로 사용하기 위해서 여러 가지 특징이 요구되는데 기본적으로 세 가지 정도의 조건을 만족해야 한다. 먼저 외부에서 가해지는 필터링, 기하학적 변형, 그리고 여러 형태의 압축 등과 같은 공격에 강해야 하는데 이를 강인성(Robustness)이라 한다. 둘째로 원래의 정보에 워터마크가 삽입되었는지 안되었는지를 인간의 지각에 의해 판별할 수 없는 비가시성(Invisibility)을 가져야 한다. 마지막으로 문제 발생 시 추출된 워터 마크의 확실한 소유권을 판별할 수 있는 명확성(Unambiguity) 및 낮은 에러확률(Low Error Probability)을 가져야 한다 [15] .
Ⅲ. 다시점 영상 생성
카메라의 기하학적 구조에 기반한 가상시점 영상을 생성하기 위해서는 영상의 깊이 정보와 카메라의 내,외부 파라미터를 이용하여 영상의 실제 3차원 좌표를 산출하고, 가상 카메라를 정의하여 가상 카메라 위치에 산출된 3차원 좌표를 투영하면 가상시점 영상이 생성된다.
- 3.1. 카메라의 기하학적 구조
영상을 획득하는 카메라의 기하학적 구조는 그림 1 의 핀홀 카메라(pinhole camera) 모델로 설명된다. 그림 1(a) 는 핀홀 카메라의 3차원 구조를 나타내고, 그림 1(b) 는 2차원 구조를 나타낸다. 일반적으로 핀홀 카메라에 맺히는 상은 Z축의 -f 위치에 역상으로 생긴다. 하지만 이 경우 3차원 좌표 상에서 해석하기가 쉽지 않기 때문에 영상이 맺히는 평면을 Z축상의 카메라 초점 거리 f로 옮겨 해석한다.
실제로 3차원 좌표상의 물체가 영상 평면에 투영되는 관계는 그림 1(b) 과 같이 삼각 비례 법으로 해석이 가능하고, 수식으로 표현하면 식 (2)와 같다 [16] .
PPT Slide
Lager Image
여기서 x, y는 영상 평면에 물체가 투영되는 2차원 좌표이고, K는 카메라 내부(intrinsic) 파라미터, R과 T는 카메라의 회전(rotation)과 이동(translation)에 대한 카메라 외부(extrinsic) 파라미터로 식 (3)와 같이 나타낼 수 있다.
PPT Slide
Lager Image
그리고 X, Y, Z는 투영되는 물체의 3차원 좌표를 나타낸다. 일반적으로 깊이 영상은 물체의 깊이를 0~255의 값으로 변환하여 표현한다. 가상시점 영상을 생성하기 위해서는 영상의 실제 3차원 좌표 X, Y, Z를 획득해야 하는데, 이때 Z를 산출하기 위하여 식 (4)을 이용한다.
PPT Slide
Lager Image
PPT Slide
Lager Image
다시점 카메라와 가상시점 카메라 Fig. 1 Multi and virtual viewpoint camera system
여기서 Z(i, j)는 카메라에서 객체까지의 실제 거리를 나타내고, P(i, j)는 깊이 영상의 화소 값이다. MinZ와 MaxZ는 Z값이 가지는 최소, 최댓값을 나타낸다.
영상의 실제 3차원 좌표를 산출하기 위해서 식 (2)의 양변에 K의 역행렬을 이용하여 식 (5)를 구하고, R은 직교행렬이므로, 양변에 R의 전치행렬을 적용하여 α , β , γ 에 관한 식 (6)를 유도한다. 이때, α , β , γ 는 식 (6)의 중간 항에 의해 산출 되고, 식 (7)과 (8)로 나타낼수 있다.
PPT Slide
Lager Image
PPT Slide
Lager Image
PPT Slide
Lager Image
PPT Slide
Lager Image
식 (7), (8)을 X, Y에 관하여 정리하면 식(9), (10)과 같다.
PPT Slide
Lager Image
PPT Slide
Lager Image
- 3.2. 가상시점 영상 생성
가상시점으로 영상을 투영시키기 위해서는 먼저 가상시점 카메라를 정의하고, 식 (9), (10)를 통해 산출된 영상의 실제 3차원 좌표 X, Y, Z와 카메라 내, 외부 파라미터를 이용해서 실제 기준시점의 영상을 가상시점 카메라 위치로 투영시켜 생성한다. 그림 2 는 다시점 카메라와 가상시점 카메라를 나타낸 그림이다. 1, 2, 3번 카메라는 실제 기준시점 카메라이고, 4번 카메라는 기저선상의 중간시점 카메라를 나타낸다. 그리고 5번 카메라는 기저선상 외의 가상시점 카메라를 나타낸다.
PPT Slide
Lager Image
기저선상에 생성된 가상시점 영상 (a) 홀이 있는 경우, (b) 홀 처리된 경우 Fig. 2 Virtual viewpoint image on the baseline (a) with hole and (b) after hole filling
기저선상의 중간시점 영상을 생성하기 위하여 먼저 가상시점 카메라를 정의해야 한다. 가상시점 카메라는 좌, 우의 기준시점 카메라 사이에 위치하고, 카메라 내, 외부 파라미터는 좌, 우 카메라의 파라미터를 이용하여 선형적으로 생성한다. 식 (11)은 가상시점 카메라의 내, 외부 파라미터를 구하는 식이다.
PPT Slide
Lager Image
여기서 υ는 가상시점을 L , R 은 각각 좌, 우 시점을 의미한다. (빈이미지)은 0부터 1까지의 값을 가지며 좌, 우 카메라 사이의 거리 비율을 의미한다. 생성된 가상시점 카메라의 내, 외부 파라미터를 가지고 식 (12)을 이용하여 가상시점 영상을 생성한다 [17] .
PPT Slide
Lager Image
PPT Slide
Lager Image
그림 3 은 깊이와 텍스쳐 영상의 예를 나타낸다. 이 영상들은 본 연구팀이 깊이 카메라와 RGB 카메라를 이용하여 촬영하고 후처리한 것이다. 그림 3(a) (c) 는 깊이 영상이고 그림 3(b) (d) 는 텍스쳐 영상이다.
PPT Slide
Lager Image
깊이 및 텍스쳐 영상 Fig. 3 Depth and texture images
그림 4 그림 3(a) (b) 를 이용하여 깊이와 텍스쳐 영상에 의해서 생성된 다시점 영상의 예를 나타내고 있고, 그림 5 그림 3(c) (d) 를 이용하여 생성된 다시점 영상의 예를 나타낸다. 다시점 영상은 3D 워핑을 이용하여 DIBR을 수행한 것이다.
PPT Slide
Lager Image
생성된 다시점 영상(사물) (a) -6 (b) -4 (c) -2 (d) 중간 (e) +2 (f) +4 (g) +6시점 Fig. 4 The generated multiview image(objecgts); view point of (a) -6 (b) -4, (c) -2 (d) middle (e) +2 (f) +4 (g) +6
Ⅳ. 제안한 워터마킹 기법
- 4.1. 시점 생성에 의한 효과
그림 6(a) 가 깊이 영상에서 어느 에피폴라 선의 단면을 나타내고 있다고 가정하자. 이 깊이 영상은 중간 시점이라 할 수 있는데 이 깊이 영상을 이용하여 그림 6(b) 의 텍스쳐 영상에 대해 3D 워핑을 수행하여 좌와 우 시점을 생성한다면 그림 6(c) (d) 와 같은 스테레오 영상을 얻을 수 있다. 그림 6(c) (d) 에서 검은색 부분은 안보이던 영역이 새롭게 나타나는 것을 의미한다. 그림 6(c) 에서 오른쪽으로 시점을 이동하게 되면 깊이 차이에 의해서 중간 시점에서는 안 보이던 부분이 나타나게 된다. 이 영역은 비폐색영역이라하고 다양한 영상처리 기법을 이용하여 보상한다.
이러한 영역이 나타나는 것과 동시에 보이던 영역이 안보이게 되는 폐색영역이 함께 존재하게 된다. 그림 6(c) 에서는 빨간색 영역이 일부 사라졌고, 그림 6(d) 에서는 파란색 영역이 일부 사라졌다. 즉, DIBR 과정에서 시점의 이동으로 인해 일부 영역이 사라지게 되는데 이 영역에 워터마크가 삽입된다면 시점 이동과 함께 자동으로 워터마크가 훼손되는 것이므로 이러한 가능성이 있는 영역은 워터마크 삽입 영역에서 제외되어야 한다.
PPT Slide
Lager Image
생성된 다시점 영상(사람) (a) -6 (b) -3 (c) 중간 (d) +3 (e) +6시점 Fig. 5 The generated multiview image(men); view point of (a) -6 (b) -3 (c) middle (d) +3 (e) +6
PPT Slide
Lager Image
시점생성에 의한 비폐색영역 (a) 깊이 영상의 한 단면 (b) 텍스쳐 영상, (c) 우영상, (d) 좌영상 Fig. 6 Disocclusion by view generation (a) a section of depth image, (b) texture image, (c) right image, (d) left image
- 4.2. 워터마크 삽입
그림 7 에 워터마크 삽입 알고리즘을 나타냈다. 먼저 깊이 영상은 가능한 먼 시점으로 왼쪽 및 오른쪽으로 3D 워핑을 수행한다. 그리고 이를 겹쳐서 DIBR에 의해 사라질 가능성이 있는 영역을 검출한다. 텍스쳐 영상은 가로 방향으로만 윤곽선 추출 과정을 수행한다. DIRB의 시점 이동은 가로 방향으로만 수행되기 때문에 세로 방향으로 윤곽선 추출 과정을 통해 생성된 정보는 필요없기 때문이다. 이렇게 깊이 영상과 텍스쳐 영상으로부터 얻어진 정보를 결합하여 워터마크를 삽입할 영역을 선정한다.
PPT Slide
Lager Image
워터마킹 영역 선택 및 삽입 알고리즘 Fig. 7 Region selection and embedding flow of watermark
즉, DIBR 과정을 통해서도 사라지지 않으면서 적절한 변화율을 갖는 영역을 워터마킹 영역을 선정하는 것이다. 변화율이 높은 영역은 윤곽선 영역에 해당하는데 텍스쳐의 변화에 의한 윤곽선 영역은 좋은 워터마킹 영역이 될 수 있지만 이것이 다른 거리에 있는 부분에 해당한다면 폐색영역이 되어서 좋은 워터마킹 영역이 될수 없기 때문에 이러한 영역을 선택하는 것이다. 선택된 영역을 최대한 포함하는 영역에 대해서 DCT를 수행한 후에 중간 주파수 영역에 해당하는 계수에 워터마크를 삽입한다. 워터마크를 삽입하는 방식은 그림 8 과 같다. 그림 8 의 과정은 양자화 과정에 해당한다. Celing()/floor()는 가장 가까운 큰/작은 정수로 만드는 함수이고, q는 양자화 크기를 의미한다. C는 워터마크가 삽입된 계수를 나타낸다. 예를 들어 계수가 48.3이고 q가 32일 때 워터마크가 0이면 C는 40이고, 워터마크가 1이면 C는 50이 된다.
PPT Slide
Lager Image
워터마크 삽입 알고리즘 Fig. 8 Watermark embedding algorithm
그림 9 에는 DIBR을 통해서 생성된 영역에 대한 예를 나타낸다. 그림 9(a) 는 텍스쳐 영상이고, 그림 9(b) 는 깊이 영상이다. 그림 9(c) 는 DIBR을 통해 얻어진 좌우시점의 스테레오 영상을 겹쳐서 워터마크가 삽입되어서 는 안되는 영역을 나타냈다. 그림 9(c) 의 영역에서 검은색으로 표시된 부분에 워터마크가 삽입된다면 시점의 이동과 함께 자동으로 워터마크가 소실되는 결과를 가져온다.
PPT Slide
Lager Image
시점생성에 대한 강인성 (a) 텍스쳐 영상 (b) 깊이 영상 (c) 다시점 공통영역 Fig. 9 Robustness for view generation (a) texture image (b) depth image (c) multiview common region
그림 10 에는 가로방향으로 윤곽선 추출 기법을 적용한 결과이다. 그림 10(a) 는 윤곽선 추출을 수행한 결과이고, 그림 10(b) 는 추출된 윤곽선 정보에서 비교적 변화율이 낮은, 즉 3D 워핑에서 사라지지 않을 정도의 깊이를 가지면서 다소 고주파 성분을 가지고 있는, 영역을 선택한 것이다. 그림 9(c) 그림 10(b) 의 교집합을 구한 것이 그림 10(c) 에 해당한다. 이 영역이 워터마크가 삽입될 영역의 기준이 되는 위치에 해당한다.
PPT Slide
Lager Image
워터마크 삽입 영역 (a) 경계추출 (b) 경계 및 저변화도 공통영역 (c) 워터마킹 영역 Fig. 10 Watermark embedding region (a) edge detection (b) overlapping region between edge and low variance region (c) watermarking region
- 4.3. 워터마크 추출
워터마크의 추출 과정은 기본적으로 워터마크의 생성과정과 거의 유사하다. 워터마크 삽입 과정과 동일하게 워터마크가 삽입된 영역을 선정하고 그 영역에 대해서 DCT를 수행한다. 그리고 워터마크 추출 과정을 통해서 워터마크를 찾아내어 영상의 소유권을 확인한다. 워터마크 추출 과정은 그림 11 에 나타냈는데 그림의 윗 부분은 워터마크 삽입 과정과 동일한 것을 볼수 있다. 그림 12 는 워터마크 추출 알고리즘에 해당한다. 앞서 예를 든 것과 같이 DCT 계수가 40이라면 판별기준에 의해서 (40 mod 32)는 8이므로 16보다 작게되어 참이되고, 판별된 워터마크는 0에 해당한다. DCT 계수가 50이라면 (50 mod 32)는 18이므로 16보다 크기 때문에 판별기준에 따라 거짓 조건이 되어 워터마크는 1로 판별된다. 이와 같이 워터마크를 판별할 수 있는데 이때 워터마크가 삽입된 계수가 훼손되어도 양자화 영역안에 포함된다면 워터마크의 판별이 가능하다. 그러나 양자화 영역을 벗어나서 다른 양자화 영역에 속하게 된다면 워터마크는 잘못 판별될 것이다. 이때 양자화 크기인 q의 크기를 크게 해준다면 양자화 영역의 크기가 커지기 때문에 워터마크의 강인성은 커지게 된다. 즉, q의 크기를 통해서 워터마킹 알고리즘의 강인도를 조절할 수 있다.
PPT Slide
Lager Image
워터마킹 영역 선택 및 추출 방법 Fig. 11 Region selection and extracting flow of watermark
PPT Slide
Lager Image
워터마크 추출 알고리즘 Fig. 12 Watermark extracting algorithm
표 1 에는 q가 13인 경우에 다양한 DCT 계수에 대한 워터마킹 결과를 예시하였다.
워터마킹에 의한 값의 조정 (q=13)Table. 1Value change by watermarking process (q=13)
PPT Slide
Lager Image
워터마킹에 의한 값의 조정 (q=13) Table. 1 Value change by watermarking process (q=13)
Ⅴ. 실험 결과
본 장에서는 몇 가지 영상에 대해 제안한 알고리즘에 대한 실험을 수행한 결과를 나타냈다. 그림 13 은 1,920×1,080 크기의 Poznan street 영상에 대한 결과이다. 워터마크의 삽입과 추출에 Edge_TH는 70을 사용하였고, 양자화 크기 q는 15를 사용하였다. 3D 워핑에서 좌 및 우 영상을 만들 때 각각 4.77907의 크기만큼 이동한 시점을 생성하였다. 그림 13(a) (b) 는 각각 텍스쳐 영상과 깊이 영상을 나타내고, 그림 13(c) (d) 는 스테레오 영상으로부터 얻어진 워터마크 영역과 텍스쳐 영상으로부터 얻어진 윤곽선 추출 영역을 나타낸다. 그림 13(e) 그림 13(d) 를 이용하여 얻어진 정보이고 이들을 바탕으로 그림 13(f) 의 워터마킹 대상 영역이 얻어진다.
PPT Slide
Lager Image
Poznan street(1,920×1,080)에 대한 실험 결과 (Edge_TH : 70, q = 15) (a) 텍스쳐 (b) 깊이 (c) 다시점 공통 (d) 경계 (e) 경계 및 저변화 공통 (f) 워터마킹 영역 Fig. 13 Experimental results of Poznan street(11,920 ×1,080) (Edge_TH : 70, q = 15) (a) texture (b) depth (c) multiview overlapping (d) edge (e) edge and lowvariance overlapping (f) watermarking region
그림 14 는 1,024×768 크기의 Poznan carpark 영상인데 Edge_TH는 70을 사용하였고, 마찬가지로 q는 15를 사용하였다. 3D 워핑에서는 좌우 영상의 생성에 대해서 7.965116과 4.77907의 값을 사용하였다. 그림 14 의 각 영상에 대한 소개는 그림 13 의 영상과 동일하므로 생략하도록 한다.
PPT Slide
Lager Image
Poznan carpark(1,024×768)에 대한 실험 결과 (Edge_TH : 70, q = 15) (a) 텍스쳐 (b) 깊이 (c) 다시점 공통 (d) 경계 (e) 경계 및 저변화 공통 (f) 워터마킹 영역 Fig. 14 Experimental results of Poznan street(1,024 ×768) (Edge_TH : 70, q = 15) (a) texture (b) depth (c) multiview overlapping (d) edge (e) edge and low-variance overlapping (f) watermarkingregion
그림 15 에는 세 가지 영상에 대해서 워터마크를 삽입한 결과를 나타냈다. 원래 RGB 컬러 영상을 YUV로 변형한 후에 워터마킹을 수행하고 이를 다시 RGB 컬러 영상으로 변환한다. 그림 15(a) 는 Y 영상이고 그림 15(b) 는 RGB 영상이다. 컬러 포맷을 변형하면서 일부화소 크기의 변화가 발생하여 워터마크의 훼손이 발생하는 문제가 있을 수 있다.
PPT Slide
Lager Image
워터마킹 삽입 결과 (a) Y (b) 컬러 영상 (PSNR : 38, 76, 52.46, 51,26) Fig. 15 Watermarking embedding result (a) Y (b) color image (PSNR : 38,76, 52.46, 51,26)
이러한 컬러 포맷의 변환이 워터마킹 알고리즘 성능에 중요한 역할을 할 수 있기 때문에 정교한 변환식을 사용해야 한다. q를 15로 사용했기 때문에 비교적 약한 수준의 양자화를 수행한 것이라 할 수 있다. 따라서 영상에서 워터마크의 삽입 정도를 전혀 확인하기 어렵다.
PPT Slide
Lager Image
공격이후의 영상 (a) 원래 영상 (b) JPEG(15) (c) median(3) (d) 선명화 Fig. 16 Attacked images (a) original (b) JPEG(15) (c) median(3) (d) sharpening
그림 16 에는 워터마크를 삽입한 이후에 몇 가지 공격을 수행한 결과를 나타낸다. 그림 16(a) 는 원래의 영상 이고 그림 16(b) 는 JPEG 압축을 수행한 것이다. JPEG 압축은 Stirmark를 이용하였고, 강도는 15이다. 그림 16(c) (d) 는 각각 median 필터와 선명화 필터를 적용한 결과이다. 표 2 는 각 공격에 대한 강인성을 나타내고 있다. JPEG 공격에 대해서는 추출된 워터마크가 5.91의 오차율을 보였고, median 필터를 적용한 경우에는 4.55, 그리고 선명화 공격에 대해서는 3.51의 오차율을 보였다.
강인성 실험 결과Table. 2Experimental result for robustness
PPT Slide
Lager Image
강인성 실험 결과 Table. 2 Experimental result for robustness
Ⅵ. 결 론
본 논문에서는 깊이와 텍스쳐 영상으로부터 임의의 시점에 생성되는 스테레오 및 다시점 영상의 소유권을 보호하기 위한 워터마킹 기법을 제안하였다. 3D 워핑을 이용한 DIBR을 통해서 워터마크가 보존될 수 있도록 3D 워핑을 수행한 후에 영역을 겹쳐서 DIBR 과정에 의해서 사라지지 않을 영역을 선택하고 2차원 DCT를 통해서 텍스쳐 영상을 주파수 계수로 변환하였다. 이 계수의 일부를 양자화하여 워터마크를 삽입하였다. 삽입된 워터마크는 비가시적인 특성을 보였고, 일반적인 영상처리 공격에 의해서 평균 4.7의 오차율을 보여 강인함을 확인할 수 있었다.
Acknowledgements
이 연구는 2012년도 정부(교육과학기술부)의 재원으로 한국연구재단의 지원을 받아 수행된 기초연구사업임(NRF-2010-0013468).
BIO
서영호(Young-Ho Seo)
1999년 2월 : 광운대학교 전자재료공학과 졸업(공학사)
2001년 2월 : 광운대학교 일반대학원 졸업(공학석사)
2004년 8월 : 광운대학교 일반대학원 졸업(공학박사)
2003년 9월 ~ 2004년 6월 : 한국전기연구원 연구원
2005년 9월 ~ 2008년 2월 : 한성대학교 조교수
2008년 3월 ~ 현재 : 광운대학교 교양학부 부교수
※관심분야 : 2D/3D 영상 및 비디오 처리, 디지털 홀로그램, SoC 설계, 워터마킹/암호화
김보라(Bo-Ra Kim)
2012년 2월 : 목포해양대학교 전자공학과 졸업(공학사)
2013년 3월 ~ 현재 : 광운대학교 일반대학원 석사 과정
※관심분야 : 3D 영상처리, 워터마킹, 디지털 홀로그램
김동욱(Dong-Wook Kim)
1983년 2월 : 한양대학교 전자공학과 졸업(공학사)
1985년 2월 : 한양대학교 공학석사
1991년 9월 : Georgia공과대학 전기공학과(공학박사)
1992년 3월 ~ 현재 : 광운대학교 전자재료공학과 정교수
2000년 3월 ~ 2001년 12월 : 인티스닷컴(주) 연구원
2006년 3월 ~ 현재 : (사)실감미디어산업협회 이사
2009년 3월 ~ 현재 : 광운대학교 실감미디어 연구소 소장
※관심분야 : 3D 영상처리, 디지털 홀로그램, 디지털 VLSI Testability, VLSI CAD, DSP 하드웨어 설계
References
Ho Yo-Sung 2012 “3D video encoding trend of standard technology” TTA Journal 142 89 - 94
Kim Hee-Dong , Lee Ji-Won , Oh Tae-Woo , Lee Heung-Kyu 2012 "Robust DT-CWT Watermarking for DIBR 3D Images" Broadcasting, IEEE Transactions on http://dx.doi.org/10.1109/TBC.2012.2206851 58 (4) 533 - 543    DOI : 10.1109/TBC.2012.2206851
Wang Shen , Cui Chen , Niu Xiamu 2014 "Watermarking for DIBR 3D images based on SIFT feature points" Measurement http://dx.doi.org/10.1016/j.measurement.2013.10.028 48 54 - 62    DOI : 10.1016/j.measurement.2013.10.028
Lin Yu-Hsun , Wu Ja-Ling 2011 "A Digital Blind Watermarking for Depth-Image-Based Rendering 3D Images," Broadcasting, IEEE Transactions on http://dx.doi.org/10.1109/TBC.2011.2131470 57 (2) 602 - 611    DOI : 10.1109/TBC.2011.2131470
Tanaka K. , Nakamura Y. , Matsui K. 1990 "Embedding Secret Information into a Dithererd Multilevel Image" Proceeding of 1990 IEEE Military Communications Conference 216 - 220
Caronni G. 1993 "Ermitteln Unauthorisierter Verteiler von Maschinenlesbaren Datch", Technical Report ETH Zurich
Pitas I. 1995 "A Method for Signature Casting on Digital Image" Proceeding of IEEE conference on Image Processing 215 - 218
Kutter M. , Jordan F. , Bosson F. 1997 "Digital Signature of Color Images using Amplitude Modulation" Proceeding of SPIE 3022 518 - 526
Ruanaidh J. O. , Dowling W. I. , Boland F. M. 1996 "Phase Watermarking of Digital Images" Proceeding of ICIP'97 1 239 - 242
Cox I. J. , et al. 1997 "Secure Spread Spectrum Watermarking for Multimedia" IEEE Transactions on Image Processing et al. http://dx.doi.org/10.1109/83.650120 6 1673 - 1687    DOI : 10.1109/83.650120
Barni M. 1997 "Image Watermarking of Secure Transmission over Public Networks" Proceeding of COST 254 Workshop on Emerging Techniques for Communication Terminal Toulouse, Francem 290 - 294
Niu Yaqing , W. Souidene , A. Beghdadi "A visual sensitivity model based stereo image watermarking scheme," Visual Information Processing (EUVIP), 2011 3rd European Workshop on 4-6 July 2011 211 - 215
Lee Min-Jeong , Lee Ji-Won , Lee Heung-Kyu 2011 "Perceptual Watermarking for 3D Stereoscopic Video Using Depth Information" Intelligent Information Hiding and Multimedia Signal Processing (IIH-MSP), 2011 Seventh International Conferenc 14 (16) 81 - 84
Seo Young-Ho , Koo Ja-Myung , Kim Dong-Wook 2012 "A New Watermarking Algorithm for Copyright Protection of Stereoscopic Image" Journal of the Korea Institute of Information and Communication Engineering http://dx.doi.org/10.6109/jkiice.2012.16.8.1663 16 (8) 1663 - 1674    DOI : 10.6109/jkiice.2012.16.8.1663
Xia X. G. , Boncelet C. G. , Arce G. R. 1997 "A Multiresolution Watermark for Digital Images" Proc. of IEEE ICIP 3 548 - 551
Hartley Richard , Zisserman Andrew 2003 “Multiple View Geometry” Cambridge University 152 - 247
Mori Y. , Fukushima N. , Fujii T. , Tanimoto M. “View Generation with 3D Warping Using Depth Information for FTV” 3DTV Conference: The True Vision - Capture, Transmission and Display of 3D Video 28-30, May 2008 229 - 232