Advanced
Digital Watermarking on Image for View-point Change and Malicious Attacks
Digital Watermarking on Image for View-point Change and Malicious Attacks
Journal of Broadcast Engineering. 2014. May, 19(3): 342-354
Copyright © 2014, The Korean Society of Broadcast Engineers
  • Received : December 31, 2013
  • Accepted : April 25, 2014
  • Published : May 30, 2014
Download
PDF
e-PUB
PubReader
PPT
Export by style
Share
Article
Author
Metrics
Cited by
TagCloud
About the Authors
보라 김
영호 서
동욱 김
dwkim@kw.ac.kr

Abstract
본 논문에서는 사용자 측에서 임의의 시점 영상을 렌더링하여야 하는 초다시점 또는 자유시점 영상서비스를 타겟으로 소유자의 지적재산권을 보호하기 위한 디지털 워터마킹 방법을 다룬다. 본 논문의 주된 목적은 기존방법들에 비해 우수한 방법을 제안하는 것보다는 시점이동 공격을 이겨내는 워터마킹 방법이 얼마나 어려운지를 보이는 것이다. 따라서 대상 영상은 시점이동을 포함한 다양한 공격을 가한 영상이다. 본 논문은 먼저 2D영상에 대한 워터마킹 방법 중 2DDCT(2D discrete cosine transform)를 사용하는 방법과 2DDWT(2D discrete wavelet transform)를 사용하는 방법의 기본적인 scheme으로 시점이동이 추출한 워터마크 데이터의 오차율을 얼마나 높이는 지를 보인다. 시점이동된 영상에 대한 워터마킹의 어려움은 이동된 시점을 모르기 때문이며, 따라서 본 논문에서는 이동된 시점을 찾는 방법을 제안한다. 이 방법은 원시점의 영상과 해당 깊이정보를 사용한다. 또한 이 방법을 사용한 non-blind 워터마킹 방법을 제안하여, 이동된 시점을 복원하는 것이 추출된 워터마크의 오차율에 큰 영향을 미친다는 것을 보인다. 제안한 방법과 기존 방법의 성능을 비교하여, 비록 non-blind 방법이기는 하지만 기존 방법보다 비가시성 및 강인성에서 우수함을 보인다.
Keywords
Ⅰ. 서 론
최근 스테레오스코픽 3차원(stereoscopic 3-dimensional, S3D) 영상/비디오가 고부가 서비스로 자리매김함에 따라 시청자들은 S3D에서 주어진 시점뿐만 아니라 좌우(또는 위아래)의 원하는 시점을 볼 수 있는 서비스를 요구하고 있다. S3D 영상은 주어진 시점으로 정보가 제한되어 있기 때문에 이런 서비스를 제공하기 위해서는 좌우 또는 위아래 시점에 해당하는 정보를 시청자 측으로 보내야 한다. 즉, 시청자는 하나의 스테레오 시점이 아니라 여러 시점의 정보를 갖고 시청자가 원하는(시청자의 움직임에 따른) 시점을 디스플레이하여야 한다 [1] .
이것이 다시점(multi-view) 디스플레이며, 이것은 세 개 이상의 시점을 디스플레이하고, 그 중 두 개의 시점을 스테레오로 시청하는 방식이다. 따라서 다시점 영상의 시점이 증가할수록 전송하여야하는 데이터 량은 비례적으로 증가한다. 다시점 영상의 단점은 다시점 영상을 모두 디스플레이해야 하기 때문에 영상의 해상도가 시점 수만큼 감소한다. 또한 제공된 시점수가 충분하지 않으면 좌우 또는 위아래로 시점을 변경할 때 끊김현상이 발생한다. 이런 현상을 없애기 위해서는 이론상으로 무한대의 시점이 제공되어야 하는데, 실제의 경우 그렇게 많은 시점의 데이터를 전송하는 것은 불가능하다.
그래서 시청자의 시점을 추적하여 해당 시점의 영상 또는 S3D를 디스플레이하는 오토스테레오스코피(auto-stereoscopic) 3D 기술이 발전하고 있는데 [2] , 이것은 이 전의 자유시점(free-view) 영상의 개념을 S3D로 확장한 것이다. 시청자가 원하는 시점을 디스플레이해야 하기 때문에 이론적으로는 무한대의 시점이 필요하므로 다시점에서 시점수가 증가할 때 발생하는 문제와 동일한 문제를 갖는다. 이 문제는 최근 시청자 측에서 원하는 시점을 생성하여 디스플레이하는 방법으로 발전하고 있으며, 다양한 방법으로 원하는 시점의 영상을 생성하는 방법이 연구되고 있다. 그 중 깊이영상-기반 렌더링(depth-image-based rendering) 방법 [3] 이 가장 널리 사용되고 있으며, 여기에는 보통 3차원 워핑(warping)과 홀-필링(hole-filling) 방법이 사용된다. 즉, 원하는 시점의 영상을 임의로 시청자 측에서 생성되는데, 3D 영상 자체가 고부가가치 영상임을 감안하며 시청자가 생성한 영상에 대한 지적재산권 문제가 더욱 심각해질 것은 자명한 일이다.
이에 최근 임의로 생성된 영상에 대한 디지털 워터마킹 방법에 대한 연구가 진행되고 있다 [4 - 6] . 일반적으로 디지털 워터마킹은 압축과 같은 비악의적 공격과 블러링(blurring)이나 샤프닝(sharpening)과 같은 악의적 공격에 대해 소유권자의 정보를 추출하여 소유권을 주장할 수 있도록 하는 기술이다. 그러나 시점이 이동된 영상에서는 시점이동 자체가 또 다른 형태의 공격으로 작용하여 소유권자의 정보를 추출하는데 훨씬 더 큰 어려움을 주고 있다. 이런 어려움 때문에 DIBR로 생성된 영상에 대한 워터마킹 방법에 대한 연구 결과가 많지 않다. 이 분야의 연구는 시점이동에 영향을 주지 않는 화소나 영역을 찾는 것과 시점이동이 되어도 워터마크 데이터를 잃어버리지 않도록 워터마크를 삽입 또는 설정하는 것에 초점이 맞춰져 있다. H-D. Kim 등은 dual-tree complex wavelet 변환(DT-CWT)를 사용하여 변환된 부대역 중 시점이동에 덜 민감한 부대역을 사용하여 블라인드(blind) 워터마킹하는 방법을 제안하였다 [4] . 이 방법은 참조패턴과 시점이 일치하는 경우에는 6% 이하의 BER(bit error rate)를 보였지만 일치하지 않는 경우 40%이상의 BER을 보여, 미리 가정하지 않은 시점에서의 워터마크 데이터 추출이 용이하지 않음을 보이고 있다. Y-H. Lin 등은 엔코딩 과정에서 이미 시점이동된 영상들을 사용하였으며, 중간시점 뿐 아니라 좌, 우 시점영상에도 워터마크 데이터를 넣는 방법을 제안하였다 [5] . 세 영상에는 각각 두 개의 쌍씩 직교한 참조데이터를 사용하였다. 이 방법 역시 주어진 시점에서는 5% 이하의 BER을 보이고 있으나 baseline distance가 1%만 달라져도 30% 정도의 BER을 보이고 있다. J-W Lee 등은 영상에 특정 필터링을 수행하여 원 영상과의 차이영상을 만들고, 이 영상을 수평방향으로 자른(slice) 각 데이터에 평균을 이동시킨 Gaussian 잡음을 첨가하는 방법을 제안하였다 [6] . 이 방법은 깊이정보(가장 가까운 깊이값)가 변화하더라도 0.85 이상의 NCC(normalized cross correlation)값을 보여 [4] 에 비해 좋은 결과를 보이고 있으나, stirmarkmark bench tool [7] 에 의한 quality 15(최저화질)에서 100(최고화질)까지의 화질을 기준으로 quality 30(100 스케일)의 JPEG압축에서 NCC값이 0.7 정도이고 Gaussian 잡음의 분산이 변화하면 0.5 이하의 낮은 NCC값을 보이고 있다. 즉 이 방법은 워터마크를 추출할 때 깊이정보와 Gaussian 잡음정보가 필요한 non-blind 워터마킹 방법이라 볼 수 있다.
이상의 기존 연구에서 보듯이, 임의의 시점이동에 강인한 워터마킹이 용이하지 않다. 본 논문에서는 시점이동이 디지털 워터마킹에 얼마나 큰 어려움을 제공하는지를 보이고자 한다. 그 방법으로, 시점이동을 고려하지 않았을 때 주로 사용하였던 두 가지 블라인드 워터마킹 방법을 시점이동에 적용하고, 시점이동 후 삽입된 워터마크 데이터를 추출하여 BER을 계산한다. 두 가지 방법은 영상의 국부에 대한 변환 방식인 DCT(discrete cosine transform)과 전역적 변환방식인 DWT(discrete wavelet transform)을 각각 사용하는 방법이다. 또한 본 논문에서는 블라인드 워터마킹의 어려움을 감안하여 원 영상의 정보를 사용하여 이동된 시점을 찾는 방법을 제안하고, 이를 이용한 non-blind 워터마킹 방법을 제안한다.
본 논문의 구성은 다음과 같다. 2장에서는 2D영상에 적용한 워터마킹 방법을 시점이동 영상에 적용하여 시점이동 영상에 대한 워터마킹의 어려움을 설명하고 3장에서는 이동된 시점을 NCC 값으로 찾는 방법을 설명한다. 이를 토대로 4장에서는 시점이동 영상을 대상으로 시점추적을 포함하는 non-blind 워터마킹 방법을 고안한다. 이에 대한 실험을 5장에서 실시하고, 그 결과를 토대로 6장에서 결론을 맺는다.
Ⅱ. 시점이동 영상에 2D 영상의 워터마킹 방법 적용
- 1. 3D 워핑에 의한 임의시점 영상 렌더링
그림 1 에 3D 워핑(warping) 방법으로 기준시점 영상으로부터 원하는 시점의 영상을 렌더링하는 방법을 간략히 도시하였다. 3D 워핑은 기준시점의 RGB영상의 좌표계를 깊이영상으로 world 좌표계로 변환했다가 원하는 시점의 카메라 영상 좌표계로 변환하는 방법이다 [8] . 3D 워핑 결과는 원영상에서는 보이지 않지만 시점이동된 영상에서는 보이는 부분이 나타나는데, 이 영역을 비폐색(dis-occlusion)영역이라고 한다. 이 영역은 주변의 영상정보로 채워줘야 하는데, 이 과정을 홀-필링(hole-filling)이라고 하며( 그림 1 (a) 참조), 임의시점 영상 생성분야에서 가장 많은 연구가 진행되고 있는 분야이기도 하다 [9] . 그림 1 (c)는 그림 1 (b)의 원본 영상을 우로 시점이동한 워핑결과를 보이고 있는데, 그림에서 초록색으로 표시한 부분이 비폐색영역이다. 이 영상을 홀-필링한 결과를 그림 1 (d)에 보이고 있다.
PPT Slide
Lager Image
3D 워핑에 의한 임의시점 영상 렌더링, (a) 렌더링 과정, (b) 원본영상, (c) 3D 워핑된 영상, (d) 홀-필링된 영상 Fig. 1. Aritrary viewpoint image rendering by 3D warping, (a) rendering procedure, (b) original image, (c) 3D warped image, (d) hole-filled image
- 2. 2D영상 워터마킹 방법의 적용 예
2D영상에 적용한 워터마킹 방법은 공간영역에서 워터마킹을 수행하는 방법 [10] 과 주파수 영역에서 워터마킹을 수행하는 방법 [11 - 12] 으로 크게 나눌 수 있고, 주파수 영역에서도 국부적 변환인 DCT(discrete cosine transform) [10] 과 전역적 변환인 DWT(discrete wavelet transform) [12] 을 사용하는 방법이 있다. 여기서는 주파수변환을 이용하는 두 방식에서 가장 기본적인 방법으로 시점이동에 대한 워터마킹의 어려움에 대해 설명한다. DCT와 DWT를 이용한 방법을 그림 2 (a)와 (b)에 각각 나타내었다.
PPT Slide
Lager Image
2D 영상 워터마킹 방법의 시점이동영상에 적용; (a) 2DDCT 이용 방법, (b) 2DDWT 이용 방법 Fig. 2. Applying 2D image watermarking methods to viewpoint change image using; (a) using 2DDCT, (b) 2DDWT
- 2.1 DCT를 이용한 방법
2차원 DCT(2DDCT)를 이용하는 워터마킹 방법은, 그림 2 (a)에 나타낸 바와 같이 영상을 p × q 블록으로 나누어 각 블록에 대해 2DDCT를 수행한다. 이 결과는 각 블록의 주파수 성분을 2차원으로 분리하여 각 계수로 나타나는데, 이 중 워터마킹에 가장 유리한 계수를 선택하여 워터마크 데이터를 삽입한다. 여기서는 8×8 2DDCT를 사용하며, 변환된 계수 중 DC를 제외한 가로방향 최저주파수 계수를 워터마킹 위치로 선정한다.
다음은 워터마킹을 수행하는 단계인데, 일반적으로 소유자 정보, 즉 워터마크 데이터를 삽입하는 방법과 영상의 정보를 추출하여 그것을 워터마크로 사용하는 두 가지 방법을 주로 사용한다. 후자의 경우 영상마다 다른 워터마크 정보를 갖게 되기 때문에 각 영상에 해당하는 워터마크 정보를 모두 보유하고 있어야 한다. 따라서 일반적으로는 전자를 더 선호하며, 여기서도 전자를 선택한다. 워터마크 데이터는 2진(binary)의 32×24 영상으로 하며, 각 2진 비트는 하나의 해당 2DDCT 계수에 삽입하는데, 여기서는 각 DCT 블록에서 DC를 제외한 수평방향의 최저주파수 계수를 선택한다. 2DDCT 계수 ci 를 워터마크 데이터 wi 가 삽입된 계수 ciw 로 변환하는 방법은 식 (1)과 같다.
PPT Slide
Lager Image
여기서 q 는 워터마크를 얼마나 강하게 삽입할지를 결정하는 scaling factor이며, ci ′ = ⌊⌈ c / q ⌉⌋를, ⌈ x ⌉와 ⌊ x ⌋는 각각 x 의 ceiling 함수와 floor 함수이다. 2DDCT 블록들 중 32×24개의 워터마크가 삽입될 블록은 영상의 가운데에 위치한 블록들을 선택한다. 워터마크가 된 각 2DDCT 블록은 역변환하여 워터마크가 삽입된 영상으로 만든다.
워터마크가 삽입된 영상은 실험을 위하여 여러 가지 공격을 가하는데, 여기에는 비악의적 공격인 압축, 시점이동, 블러링(blurring), 샤프닝(sharpening) 공격을 가한다. 그 결과 영상을 대상으로 삽입된 워터마크 데이터를 추출한다. 그 방법은 삽입과 동일하게 p × q (여기서는 8×8) 2DDCT를 수행하고 그 결과에서 DC를 제외한 수평방향의 32×24개의 최저주파수 계수 ciw ′으로부터 식 (2)와 같이 워터마크 데이터 wi ′을 추출한다.
PPT Slide
Lager Image
여기서 x mod y x 의 modulus y 함수이다.
- 2.2 DWT를 이용한 방법
2차원 DWT(2DDWT)를 이용하는 워터마킹 방법은 그림 2 (b)에 나타낸 바와 같이, DCT 를 이용하는 방법과 순서는 같다. 단, 국부적 2DDCT대신 Mallat-tree 2DDWT를 r -레벨 수행하고, 그 결과 부대역 중 최저주파수 대역의 LSB에서 세 번째 비트평면(bit plane)을 워터마크 데이터로 치환하는 방법으로 워터마킹을 수행한다. 최저주파수대역이 워터마크 데이터의 크기보다 클 경우 워터마크는 그 부대역의 중앙에 위치하도록 하였다. 워터마킹을 수행한 후 역변환하여 워터마킹된 영상을 만든다.
이 영상을 대상으로 DCT의 경우와 마찬가지로 여러 가지 공격을 가하고, 그 결과 영상으로부터 워터마크 데이터를 추출한다. 워터마크 추출을 위해서 이 경우에도 삽입과 동일하게 r -레벨 2DDWT를 수행하고 최저주파수 대역의 LSB로부터 세 번째 비트평면을 추출한다.
- 2.3 실험결과 및 분석
그림 2 의 2DDCT와 2DDWT를 이용한 워터마킹 방법을 실험하였다. 대상 영상은 표 1 에 보였으며, 2DDCT방법의 경우 좌상위 8×8 블록부터 32×24개에 삽입하였고, 2DDWT의 경우 5-레벨 수행한 후 최저주파수 대역의 LSB부터 세 번째 비트평면의 좌상위 32×24를 워터마크와 치환하였다.
실험에 사용한 영상들
PPT Slide
Lager Image
Table 1. Images used in experiments
실험은 그림 2 의 (a) 또는 (b)에서 워터마크 추출을 시점 이동 전과 후에 각각 수행하여 비교하였다. 시점이동 이 외의 공격으로는 JPEG 압축, 블러링, 샤프닝 공격만 가하였고, 기하학적 공격(회전, 뒤틀림 등)은 하지 않았다. 압축공격은 실제 상황에 맞게 시점이동 전에 수행하였으며, 블러링과 샤프닝 공격은 시점이동 후 가하였다. JPEG 압축은 photoshop을 이용하여 가장 압축률이 높은 quality 0(12점 척도)으로 하였고, 블러링과 샤프닝은 공격이 가해진 것을 육안으로 확인할 수 있을 정도로 하였다.
표 2 에 실험결과를 전체 영상에 대한 평균값으로 나열하였다. 시점은 우측으로 7.8[cm] 이동한 경우만 대표적으로 보이고 있는데, 이것은 baseline distance(영상의 너비에 대한 시점이동 거리의 비율) [4 - 6] 약 5%에 해당한다. 그림 3 은 BER에 따는 추출된 워터마크의 예를 보이고 있는데, BER이 10%를 넘으면 소유권을 주장할 수 없을 만큼 워터마크가 많이 손상되는 것을 알 수 있다. 표에서 시점이동 후의 PSNR 값들은 기준영상에 대한 값들이므로 큰 의미는 없으나, 시점이동 후 원 영상과의 차이를 확인할 수는 있다. 표에서 보는 바와 같이 시점이동 전에는 모든 공격에 대해 5% 이하의 BER을 보이고 있으나, 시점이동 후에는 모든 경우에서 30%가 넘는 BER을 보여 워터마킹으로서의 역할을 할 수 없음을 알 수 있다.
실험결과 평균 BER에 사용한 영상들
PPT Slide
Lager Image
Table 2. Average BER from experimental results
PPT Slide
Lager Image
추출된 워터마크 예; BER= (a) 0%, (b) 5.86%, (c) 10.35%, (d) 38.18% Fig. 3. Examples of extracted watermark: BER= (a) 0%, (b) 5.68%, (c) 10.35%, (d) 38.18%
표 2 에서 시점이동한 경우 BER이 너무 매우 높은 것은 기본적으로 시점이동으로 인해 그림 1 (b)의 예에서 보는 비폐색영역과 폐색(occlusion)영역(기준시점에서는 보이나 시점이동 후 가려져 보이지 않는 영역)이 발생하기 때문이다. 즉, 기준영상에 있던 영상부분이 없어지거나 기준영상에는 없던 영상부분이 생성되기 때문에 워터마크 정보가 소실되거나 엉뚱한 정보가 워터마크 정보로 추출된다. 이것은 국부적 변환을 수행하는 DCT이 경우 더욱 심한데, DCT의 경우는 한 행이 추가되거나 소실되면 DCT 블록 자체가 변화하므로 DCT 결과에 큰 영향을 미친다. DWT의 경우도 전역적 변환이기는 하지만 특정 비트평면 또는 그 일부분을 워터마크 데이터로 치환하기 때문에 시점이동으로 소실되거나 추가되는 화소들의 영향을 직접 받는다. 표 2 의 데이터에 의하면 DCT의 경우가 DWT의 경우보다 BER이 낮은 것을 볼 수 있는데, 그것은 DCT 불록이 변화하더라도 DCT를 수행하기 때문에 간접적으로 영향을 받으며, 그것이 DWT의 직접적인 영향보다 다소 작은 것을 알 수 있다.
워터마킹을 수행할 때 깊이정보가 제공된다고 볼 수 있고, 여기서도 그렇게 가정하였다. 깊이정보가 주어졌기 때문에 시점이동 시 폐색영역이나 비폐색영역이 발생하지 않는 영역에 워터마킹을 수행할 수도 있을 것이다. 문제는 이런 영역의 분포가 영상마다 다르며 이런 영역이 시점이동하는 양에 따라 영상에sksms서의 위치가 결정된다는 것이다. 즉, 사용자측에서 원하는 시점을 생성할 때 그 시점에 따라 영상이 변화하기 때문에, 더욱이 워터마크를 추출할 때 깊이 정보를 사용할 수 없다면(blind 워터마킹) 임의의 시점에서 그 영역들을 정확히 찾아내기가 어렵다.
Ⅲ. NC 값을 이용한 시점 추적
시점이동된 영상의 이동된 시점을 알 수 있다면 삽입된 워터마크 추출이 한층 쉬워질 수 있다. 이를 위해서는 기준 영상과 해당 깊이정보를 알아야 하기 때문에 blind 워터마킹이 될 수는 없다. 본 논문에서는 non-blind 워터마킹을 염두에 두고 시점을 찾는 방법을 제안한다. 제안하는 방법은 기준영상과 시점이동된 영상의 상관도를 계산하고 이 값들의 추이로 시점을 찾는 방법이다. 상관도는 여러 가지를 사용할 수 있으나, 여기서는 NCC값을 사용한다.
- 1. 시점이동 및 공격에 대한 NCC값의 변화 추이
그림 4 에 시점이동 및 여러 가지 공격을 가했을 때의 NCC 값 추이를 보이고 있다. 그림에서 횡축이 시점이동 양을 나타내고 있고, 이 그래프는 시점을 15 Δ 이동한 영상에 대해 여러 시점 영상의 NCC값을 보이고 있다. 또한 B(1)은 σ =1의 블러링, S(3)은 강도 3의 샤프닝, N(10)은 10%의 salt-and-pepper 잠음, J(0)은 photoshop에서의 JPEG quality가 총 12점 척도에서 화질이 0(최저화질)에서 12(최고화질)까지라할 때 quality 0 공격을 가한 것을 각각 나타내고 있다.
PPT Slide
Lager Image
시점이동 및 여러 가지 공격에 대한 NCC값의 추이 Fig. 4. NCC value trends for viewpoint translation and various attacks
그림에서 보듯이, 공격 중 블러링 공격과 salt-and-pepper 잡음 공격은 NCC값을 증가시키고, 샤프닝 공격은 NCC값을 감소시키며, JPEG 압축 공격은 NCC값을 거의 변화시키지 않는 것을 볼 수 있다. 그러나 어떤 공격을 가하건 해당 시점에서 가장 큰 NCC값을 보인다는 것을 알 수 있다. 따라서 NCC가 최고치를 나타내는 시점을 찾는다면 그 시점이 현재의 시점임을 알 수 있다.
- 2. NCC값을 이용한 시점 추적
임의의 시점으로 이동한 영상의 시점을 NCC값으로 찾는 것은 상대적인 값으로 찾아야 하기 때문에 절대적인 연산으로 찾을 수는 없다. 따라서 본 논문에서는 점진적인 방법(rough-to-fine)으로 찾는 방법을 제안한다. 그림 5 에 이 방법을 도시하였다.
PPT Slide
Lager Image
NCC값을 이용한 시점추적 Fig. 5. Viewpoint tracking with NCC value
앞에서 언급하였듯이 본 논문에서는 non-blind 워터마킹을 가정하기 때문에 워터마크를 추출할 때 시점이동 및 공격한 영상뿐만 아니라 원 기준시점의 영상과 깊이정보가 제공되는 것으로 한다. 또한 이 방법에서는 좌우방향으로 최대로 이동할 수 있는 양( Δ max , 이것을 ‘최대 시점이동 거리’로 명명함)을 가정하는데, 홀-필링 방법의 정확성을 고려할 때 어느 정도 이상의 시점이동이 이루어지면 비폐색 영역의 양이 너무 많아 영상으로서의 가치를 잃어버리기 때문이다. 추적 방법은 기준영상을 해당 깊이정보로 여러 시점으로 이동시키고 그 영상과 대상영상의 NCC값을 구하여 최대치를 갖는 시점을 찾는 것이다. 이 과정을 처음에는 이동량을 크게하고 그 중 NCC값이 가장 높은 시점에서 더 세분하여 시점을 찾으며, 이 과정을 반복하여 정확한 시점을 찾는다. 그림 6 에 한 예를 보이고 있다. (a)에서는 시점이동 단위를 4[cm]( Δ 1 = 4[ cm ])로 하여 가장 높은 NCC값을 같는 5 Δ 1 시점을 찾고, (b)에서는 이 시점에서 이동단위를 1[cm]( Δ 2 = 1[ cm ])로 하여 5 Δ 1 +2 Δ 2 시점을 찾았으며, (c)에서는 이동단위를 0.2[cm]( Δ 3 = 0.2[ cm ])로 하여 5 Δ 1 +2 Δ 2 +1 Δ 3 를 찾고 있다.
PPT Slide
Lager Image
시점추적 예; (a) Δ1 = 4[cm], (b) Δ2 = 1[cm], (c) Δ3 = 0.2[cm] Fig. 6. Example of viewpoint tracking; Viewpoint tracking (a) Δ1 = 4[cm], (b) Δ2 = 1[cm], (c) Δ3 = 0.2[cm]
Ⅳ. 시점추적에 의한 non-blind 워터마킹 방법
이 장에서는 앞장에서 설명한 시점추적 방법을 이용한 non-blind 워터마킹 방법을 제안한다. 이 방법은 그림 7 에 삽입과정(a)와 추출과정(b)을 따로 나타내었다.
PPT Slide
Lager Image
최대 시점이동 거리에 대한 좌우측 비폐색영역의 크기 Fig. 7. amount of left and right dis-occlusion regions for maximum translation distance
- 1. 워터마크 삽입
앞에서 언급한 바와 같이 본 논문에서는 시점이동 거리에 제한을 두는 것으로 하고 이것을 최대 시점이동 거리라고 하였다. 카메라의 광각이 θ 이고 중심에서 좌측과 우측의 영상크기를 각각 Hl Hr 일 때 좌( Dl ) 또는 우( Dr )로 시점이동한 거리에 대해 영상의 좌( ΔHl ) 또는 우측( ΔHr )에 나타나는 비폐색영역의 크기는 식 (3)으로 계산할 수 있고(좌측의 경우 j = l , 우측의 경우 j = r ), 최대 시점이동 거리는 식 (4)로 구할 수 있다( 그림 7 참조). 최대 이동거리에 따른 비폐색영역의 크기는 3D 워핑방법으로 시점이동하여 구할 수도 있다.
PPT Slide
Lager Image
PPT Slide
Lager Image
그림 8 (a)의 워터마크 삽입의 첫 단계는 기준시점 영상을 해당 깊이정보로 최대 시점이동 거리만큼 좌우로 이동시키고, 그 결과로 발생하는 좌우측의 비폐색영역을 제거한다. 그림 9 그림 1 (b) 영상에 대해 좌우로 최대 시점이동 거리만큼 이동한 결과(a, b)와 좌우측의 비폐색영역을 제거한 영상(c)을 보이고 있다. 여기서는 최대 시점이동 거리를 약 18.56%(24.28cm, 너비가 1,024화소인 영상의 경우 190화소)로 한 결과이다.
PPT Slide
Lager Image
제안한 non-blind 워터마킹 방법; (a) 삽입, (b) 추출 Fig. 8. Proposed non-blind watermarking method; (a) embedding, (b) extraction
PPT Slide
Lager Image
최대 시점이동 거리dp 대한 비폐색영역 제거; (a) 우로 이동한 영상, (b) 좌오 이동한 영상, (c) 좌우 비폐색영역 부분을 제거한 영상 Fig. 9. Removing the dis-occlusion regions by maximum viewpoint translation, (a) image translated right, (b) image translated left, (c) resulting image from removing the left and right dis-occluded region parts
좌우의 비폐색영역을 제거한 기준영상에 대해 그림 2 (a) 또는 (b)(여기서는 p × q 2DDCT와 r -레벨 2DDWT 모두를 고려함)와 동일하게(워터마크 삽입위치 선정, 삽입되는 워터마크 데이터의 양, 삽입방법) 워터마크를 삽입한다. 그 결과를 역변환하여 워터마크가 삽입된 기준시점 영상을 얻는다. 이 영상은 해당 깊이정보와 함께 사용자측으로 송신된다. 이 때 데이터 압축이 이루어지는데, 본 논문에서도 압축공격은 이 단계에서 이루어지는 것으로 하였다.
사용자측에서 원하는 시점으로 시점이동을 수행하고, 또 악의적 공격인 블러링, 샤프닝, 잡음첨가 공격이 이루어지는데, 이 악의적 공격은 시점이동 후 이루어지는 것으로 하였다.
- 2. 워터마크 추출
비악의적(압축, 시점이동) 또는 악의적 공격을 가한 영상을 대상으로 워터마크 데이터를 추출하는 방법은 그림 8 (b)에 나타내었다. 먼저 앞 장에서 설명한 방법으로 이동된 시점을 찾고, 그 시점에서 기준시점으로 역 시점이동을 수행한다. 이 영상을 대상으로 삽입할 때와 같이 최대 시점이동 거리를 시점이동시킨 영상으로 좌우의 비폐색영역을 제거한다. 그 결과 영상을 대상으로 그림 2 의 (a) 또는 (b)와 동일하게 워터마크 데이터를 추출한다.
Ⅴ. 제안한 방법에 대한 실험 및 결과
비악의적(압축, 시점이동) 또는 악의적 공격(블러링, 샤프닝, 잡음첨가)을 가한 영상을 대상으로 워터마크 데이터를 추출하는 실험을 진행하였다. 먼저 기준시점 영상에 워터마크를 삽입하고 그 영상을 시점이동한 영상에 대해 워터마크를 추출하여 BER 을 측정한 결과를 그림 10 에 보이고 있다. 여기서 Lin-1은 [5] 의 방법을 16×16 불록으로 수행한 것이고, Lin-2는 같은 방법을 64×64 블록으로 수행한 것이며, Kim은 [4] 의 방법을 나타내고 있다. 본 논문에서의 방법은 2DDCT를 사용하는 방법을 Ours-DCT, 2DDWT를 사용한 방법을 Ours-DWT로 각각 나타내었으며, 시점이동은 [4] [5] 와 같이 baseline distance로 하였다. Lin의 두 방법은 5% 이동한 시점을 우측 기준영상으로 설정하였다.
PPT Slide
Lager Image
Baseline distance에 따른 BER 비교 Fig. 10. BER comparison for the baseline distance
그림에서 보듯이 Lin 방법은 해당 시점을 벗어나면 BER이 급격히 증가하는 것을 볼 수 있다. Kim 방법과 제안한 두 방법 모두 시점을 이동할수록 BER이 증가하는데, 증가 속도는 제안한 방법 중 DWT를 사용하는 방법이 가장 빠르고, 제안한 DCT 방법이 가장 느렸다. 따라서 제안한 DCT 방법이 시점이동에 대한 강인성이 가장 우수하다고 할 수 있다.
표 3 에 제안한 방법(2DDCT와 2DDWT를 사용하는 방법)에 대하여 baseline distance 5%의 시점이동을 수행하고 공격을 가한 후 워터마크를 추출하여 구한 평균 BER을 나열하였다. 시점이동 이외의 공격은 공격 후 영상이 심하게 훼손되지 않는 정도로 하였다. 시점이동에 대해서는 이동된 시점에서 원 시점으로 시점복원(viewpoint recovery)을 하지 않은 경우(without)와 복원한 경우(with)를 구분하여 나타내었다. 표에서 보는 바와 같이 시점복원을 하지 않았을 때의 BER은 상당히 높으며, 대부분의 경우 그림 3 의 BER에 따른 추출된 워터마크와 비교하면 워터마크로서의 기능을 할 수 없을 정도이다. 시점복원된 경우 BER이 현저히 낮아지는 것을 볼 수 있는데, 특히 2DDCT를 사용한 방법은 아주 낮은 BER을 보이고 있고, 2DDWT를 사용하는 방법은 다소 높은 BER을 보였다. 공격에 대해서는 잡음첨가 공격이 가장 높은 BER을 보였고, JPEG 압축공격이 가장 낮은 BER을 보였다.
제안한 방법에 대한 실험결과 평균 BER (시점이동 5%)
PPT Slide
Lager Image
Table 3. Average BERs as the result from experiments for the proposed method (5% viewpoint translation)
표 4 에는 기존 방법과 공격에 대한 실험결과를 비교하였다. 비교대상은 그림 10 의 방법과 동일하다. Kim의 방법과 Lin의 방법 모두 본 논문과 달라서 공격방법이 다른 것들은 비교대상에서 제외하였으며, 본 논문과 같은 JPEG 압축공격과 잡음첨가 공격만을 비교하였다. 표의 두 번째 행은 비가시성에 대한 비교인데, 이것은 워터마크를 삽입한 영상을 baseline distance 5%만큼 시점이동한 영상에 대한 PSNR 값이다. 표에 의하면 두 제안한 방법 모두 높은 PSNR을 보이고 있는데, 이것은 제안한 방법의 워터마킹 강도가 비교대상 방법들에 비해서 약했다는 것을 나타내고 있다. 잡음첨가와 JPEG압축 모두에서 Lin의 두 방법이 가장 높은 BER을 보였다. Kim의 방법에 비해서 제안한 방법 중 2DDWT 방법은 JPEG압축 공격에 대해서는 더 우수한 성능을 보였으나, 잡음첨가 공격에 대해서는 약간 낮은 성능을 보였다. 그러나 제안한 2DDCT 방법은 잡음첨가와 JPEG압축 모두에서 더 우수한 성능을 보였다.
JPEG압축공격에 대한 평균 BER 비교 (시점이동 5%)
PPT Slide
Lager Image
Table 4. BER Comparison for JPEG compression attack (viewpoint translation 5%)
Ⅵ. 결론
본 논문에서는 다시점 또는 자유시점 영상서비스를 타겟으로 임의의 시점을 사용자측에서 렌더링하여 시청하는 경우 시점이동된 영상의 디지털 워터마킹에 대해 다루었다. 시점이동의 경우 기존에 고려하였던 공격들보다 훨씬 강한 비악의적 공격임을 보였고, 따라서 디지털 워터마킹도 그만큼 어렵다는 것을 보였다.
일반적으로 blind 워터마킹 방법이 선호되지만, 시점이동에 대한 어려움을 감안하여 본 논문에서는 워터마크 데이터 추출 시 원영상 정보를 필요로 하는 non-blind 워터마킹 방법 두 가지를 제안하였다. 이 두 방법은 2DDCT를 사용하는 방법과 2DDWT를 사용하는 방법이었으며, 2D영상 워터마킹 방법의 가장 기본적인 scheme만을 사용하였다. 그러나 시점이동에 대해서는 기준시점 영상과 해당 깊이영상이 주어진다고 가정하고 이동된 시점을 찾아서 원 시점으로 되돌리는 방법을 사용하였다. 이동된 시점을 찾는 방법은 NCC값을 사용하였다.
제안한 방법에 대한 실험결과 2DDWT를 사용하는 방법은 기존 방법에 비해 시점이동과 잠음공격에 대해 다소 낮은 성능을 보였으나 JPEG 압축공격에 대해서는 더 우수한 성능을 보였다. 한편 2DDCT 방법은 모든 공격에서 기존방법보다 우수한 성능을 보였다.
그러나 제안한 방법은 워터마크 추출 시 기준시점 영상과 해당 깊이정보가 필요한 non-blind 워터마킹이고 비교대상이었던 기존방법들은 이런 정보가 필요없는 blind 워터마킹이기 때문에 제안한 방법이 우수하다고 단정적으로 말하기는 어렵다. 서론에서 언급한 바와 같이 본 논문의 목적이 시점이동에 대한 워터마킹의 어려움을 알리는 것이므로 본 논문에서는 이동된 시점을 복원한 경우와 복원하지 않은 경우를 비교하여 시점이동에 대한 blind 워터마킹의 어려움을 보여주는 것으로 만족하고자 한다. 또한 향후 시점이동을 포함한 영상에 대한 워터마킹을 연구하는 연구자들에게 시점이동을 사전에 면밀히 검토하여야 한다는 것을 알리는 것도 본 논문의 중요한 역할이라 생각한다.
BIO
김 보 라
- 2013년 2월 : 목포해양대학교 전자공학과 졸업(공학사)
- 2013년 3월 ~ 현재 : 광운대학교 공학석사
- 주관심분야 : 3D 영상처리, watermarking
서 영 호
- 1999년 2월 : 광운대학교 전자재료공학과 졸업(공학사)
- 2001년 2월 : 광운대학교 일반대학원 졸업(공학석사)
- 2004년 8월 : 광운대학교 일반대학원 졸업(공학박사)
- 2005년 9월 ~ 2008년 2월 : 한성대학교 조교수
- 2008년 3월 ~ 현재 : 광운대학교 교양학부 부교수
- 주관심분야 : 실감미디어, 2D/3D 영상 신호처리, 디지털 홀로그램, SoC 설계
김 동 욱
- 1983년 2월 : 한양대학교 전자공학과 졸업(공학사)
- 1985년 2월 : 한양대학교 공학석사
- 1991년 9월 : Georgia공과대학 전기공학과(공학박사)
- 1992년 3월 ~ 현재 : 광운대학교 전자재료공학과 정교수
- 2009년 3월 ~ 현재 : 광운대학교 실감미디어 연구소 연구소장
- 주관심분야 : 3D 영상처리, 디지털 홀로그램, 디지털 VLSI Testability, VLSI CAD, DSP설계, Wireless Communication
References
Zhao G, Q 2005 “A Simple 3D face Tracking Method based on Depth Information“ Int'l Conf. on Machine Learning and Cybernetics 5022 - 5027
Wang C. X. , Li Z. Y. 2008 “A New Face Tracking Algorithm Based on Local Binary Pattern and Skin Color Information” ISCSCT Vol. 2 20 - 22
Yang M. H. 2002 "Detecting Faces in Images; A Survey" IEEE Trans. on Pattern Analysis and Machine Intelligence 24 (1) 34 - 58    DOI : 10.1109/34.982883
Kim H-D. , Lee J-W. , Oh T-W. , Lee H-K 2012 "Robust DT-CWT Watermarking for DIBR 3D Images" IEEE Trans. on Broadcasting 58 (4) 533 - 543    DOI : 10.1109/TBC.2012.2206851
Lin Y-H. , Wu J-L. 2011 "A Digital Blind Watermarking for Depth-Image-Based Rendering 3D Images" IEEE Trans. on Broadcasting 57 (2) 602 - 611    DOI : 10.1109/TBC.2011.2131470
Lee J-W. , Kim H-D. , Choi H-Y. , Choi S-H. , Lee H-K. 2012 "Stereoscopic Watermarking by Horizontal Noise Mean Shifting" Proc. of SPIE Vol. 8303 830307-1, pp. --
2004 Stirmark Benchmark 4.0 [Online] Available: .
Schreer O. , Kauff P. , Sikora T. 2005 3D Video Communication John Wiley and Sons Inc. The Atrium, England
Solh M. , Alregib G. 2012 “Hierarchical Hole-Filling for Depth-based View Synthesis in FTV and 3D Video” IEEE J. of Selected Topics in Signal Processing 6 (5) 495 - 504    DOI : 10.1109/JSTSP.2012.2204723
Yu Y. , Ling H. , Zou F. , Lu A. , Wang L. (2012) “Robust Localized Image Watermarking based on Invariant Regions” Digital Signal Processing 22 170 - 180    DOI : 10.1016/j.dsp.2011.09.005
Lini S. D. , Shie S-C. , Guo J. Y. (2010) “Improving the Robustness of DCT-based Image Watermarking against JPEG Compression” Computer Standards & Interfaces 32 54 - 60    DOI : 10.1016/j.csi.2009.06.004
Bhatnagar G. , Wu Q. M. , Raman B. (2012) “Robust Gray-scale Logo Watermarking in Wavelet Domain” Computers and Electrical Engineering 38 1164 - 1176    DOI : 10.1016/j.compeleceng.2012.02.002