본 논문은 디지털 홀로그램에 2D 영상에서의 Fresnel 변환의 특성을 이용하여 워터마킹 기법을 제안했다. Fresnel 변환을 2D 영상에 적용할 경우 거리에 따라서 가운데로 집중되는 현상을 가진다. Fresnel 변환을 디지털 홀로그램에 적용할 경우 초점이 맞는 거리에서 객체의 상이 맺히며 2D 형태의 회절 패턴을 만든다. 이러한 Fresnel 변환의 특성을 이용하여 디지털 홀로그램을 Fresnel 변환을 이용하여 2D형태의 회절패턴을 생성하고 여기에 다시 Fresnel 변환을 수행함으로써 영상 주변부로 워터마크 영역을 생성한다. 이러한 워터마크 영역에 Fresnel 변환을 수행한 워터마크를 삽입하고 추출한다. 워터마크를 삽입한 홀로그램에 블러링, 샤프닝, 압축등의 공격을 가한 뒤 추출하였을 때 워터마크가 홀로그램 복원 하였을 때 손상된 정도에 비하여 충분히 가시성을 가진다. 디지털 홀로그램 기술은 광원으로 사용되는 파(Reference light wave)와 이 파가 객체에 반사되어 오는 파(Object light wave)의 간의 간섭현상을 홀로그램 필름이 아닌 CCD(Charge Coupled Device)에 기록하는 것이다. CCD를 통하여 기록된 홀로그램을 복원하기 위해 SLM(Spatial Light Modulator)에 홀로그램을 로딩 시키고 같은 파장의 레퍼런스 파를 조사 시키면 기록할 때와 같은 거리에 객체가 복원된다 [1 - 3] . 홀로그램 콘텐츠는 기록 장치부터 매우 값비싼 콘텐츠이기 때문에 여러 연구팀들이 워터마킹 관련 연구가 진행 되고 있다 [7 - 11] . 일반적인 영상의 워터마킹 기법 중 워터마크 적용 영역이 주파수 영역(frequency domain)인 기법들이 공간영역(spatial domain)보다 여러 공격에 강한 특성을 가진다 [4 - 6] . 하지만 이는 일반적인 2D 기반의 영상에 해당하고 홀로그램 영상의 특성상 고주파 영역이 2D 영상보다 월등히 많다. 따라서 일반적인 2D 영상에서 사용하는 워터마킹 기법을 홀로그램에 적용하기 어렵다. 홀로그램은 광원에 대한 정보 및 CCD의 화소와 같은 광학 장비의 파라미터가 존재하기 때문에 이를 이용하여 워터마킹 기법을 적용하는 연구가 진행되기도 했다 [7 - 9] . 대만의 Wen-Tsum Dai의 팀은 일반 2D 영상의 홀로그램의 특성을 이용하여 워터마크를 삽입하는 알고리즘을 제안하였다 [7] . 이는 홀로그램 콘텐츠에 워터마크를 적용한 것이 아니라 2D영상에 홀로그램의 특성을 이용만 하였다. Bahram Javidi는 홀로그램 취득 과정에서 워터마크가 되는 객체를 삽입함으로써 워터마크 삽입 알고리즘을 제안 하였다 [8] [9] . 이는 이미 생성된 홀로그램 또는 2D형태의 워터마크는 삽입이 불가능하다. 또한 홀로그램을 주파수 영역으로 변하여 이를 이용하여 다시 2D 영역에서 사용되는 워터마킹 기법을 통한 연구도 진행되었다 [10] [11] . 본 논문에서는 Fresnel 변환의 특성(2D 영상에 적용할 경우 에너지 집중)을 이용하여 복원된 홀로그램 영상(2D 영상의 형태)에 워터마크를 삽입하는 방법을 제안하였다. 2장에서는 Fresnel 변환을 통한 Fresnel 회절 모델에 대하여 설명하고, 3장에서는 워터마크 삽입 및 추출 방법을 제안한 다. 4장에서 실험 결과를 보이고 5장에 결론으로 마무리한다. 디지털 홀로그램을 복원하려면 CCD를 통해 획득한 간섭 패턴을 SLM에 로드하여 복원한다. 이때 참조 파가 SLM에 디스플레이 되는 홀로그램의 회절 현상에 의해 복원된다. 이 회절 현상을 수학적으로 모델링 한 식이 Fresnel 변환이다 [12] . 식 (1-5)은 하나의 점광원으로부터 Fresnel 변환에 대한 식을 구하는 과정이다. 식(1)에서 전기장 수식에서 E ( u , v ,0)은 하나의 점광원의 좌표에 해당하고 ( x , y , z )는 하나의 점광원으로부터 z 만큼 떨어진 평면에서의 x , y 좌표의 회절에 의한 밝기이다. k 는 파수로 2 π /λ이고, λ는 점광원에 파장으로 홀로그램에 사용한 레이저의 파장과 같다. r 은 하나의 점광원으로부터 x , y , z 까지 실제 거리로 r = 이다 [12] . 위에서 r 은 ρ ² = ( x - y ) ² ＋ ( y - v ) ² 를 통하여 r = = z 으로 나타낼 수 있다. 만약 λ ≪ z , λ ≪ ρ , ρ ≪ z 를 만족할 경우 이를 Fresnel 영역이라 하고 Fresnel 근사 화를 수행할 수 있다 [12] . 식 (2)와 같이 r 은 Taylor 급수를 통하여 나타낼 수 있는데 위 가정을 통하여 3차 항 이후는 생략하여 식 (3)과 같이 나타낼 수 있다 [12] . 식 (3)을 식 (1)에 대입하여 정리하여 식 (4)에 나타내었다. 이때 u , v 를 p = , q = 로 대체하면 식 (5)와 같이 푸리에 변환 형태로 나타낼 수 있다 [12] . 디지털 홀로그램에 Fresnel 변환을 적용하기 위해서 식 (4)를 이산 화하여 식 (6)과 같이 나타 낼 수 있다. du , dv 는 광원의 화소의 크기이고 dx , dy 는 회절 평면의 화소의 크기이다. 식 (6)에서 du = , dv = 로 대체하면 식 (5)와 같이 이산 푸리에 변환 식으로 나타낼 수 있다. 이처럼 λ와 광원의 해상도( N , M )는 고정되어 있는 값이기 때문에 광원의 화소와 회절 평면의 화소의 크기는 거리에 따라서 반비례 관계이다. 이 관계는 2D 영상에 Fresnel 변환을 적용할 경우 에너지가 가운데로 모이는 중요한 특성의 요소인데 2.1절에서 설명하도록 한다. 그림 1 은 2D 영상의 평면에서 z 만큼 떨어진 회절 평면을 도식화 하였다. 2D 영상은 평면으로 회절 평면과는 평행을 이루고 있다. 따라서 2D 영상을 평면 형태의 광원으로 볼 수 있다. 따라서 2D 영상으로부터 z 만큼 떨어진 회절 평면의 회절 패턴은 2D 영상과 유사한 크기로 나타난다. 그러나 2D 영상 평면과 회절 패턴의 화소의 크기는 앞에서 설명한 식 (7)에 관계식에 의하여 파장, 거리 그리고 영상에 크기에 의해 서로 다르다. 따라서 회절 평면의 N × M 의 실제 크기는 다르다. 그림 1 의 사각형 (a)는 회절 평면의 화소의 크기가 영상 평면의 화소 크기보다 클 경우이고 (c)는 작을 경우를 나타내었다. 사각형 (b)는 실제 회절 패턴이 생기는 영역이다. 그림 2 는 2D 영상에 Fresnel 변환을 거리에 따라 나타내었다. 광원의 파장은 633 nm 이고 2D 영상은 1,024 × 1,024크기이고 화소 크기는 24.86 μm 로 1 m 일 때 회절 평면의 화소의 크기와 같도록 하였다. 그림 2 (a)는 입력 영상이고 (b-e)는 각각 1 m ,1.5 m ,2 m ,3 m 의 거리만큼 떨어진 회절 평면을 나타내었다. 위 거리일 때 관계식에 의해서 회절 평면에 화소의 크기는 각각 24.86 μm , 37.30 μm , 49.73 μm , 74.60 μm 이고, 거리가 멀어짐에 따라 회절 패턴이 가운데로 모이는 것을 확인할 수 있다. 홀로그램을 광학 장치를 이용하여 복원할 경우 생성한 거리에 상이 그대로 맺힌다. 이는 Fresnel 변환과 같이 평면이 아니고 실제 거리가 존재하기 때문에 Fresnel 변환을 적용할 경우 상이 맺히는 거리와 회절 평면이 일치할 경우 초점이 맞춰지고, 일치하지 않을 경우 초점이 맞지 않기 때문에 흐림(De-focusing)현상이 생기는데 이를 그림 3 에 나타내었다. 그림 3 (a)는 홀로그램을 생성하기 위한 깊이 영상이고 (b-c)는 Fresnel 변환결과의 실수부와 허수부 (d-f)는 변환 결과의 복소수의 크기를 나타내었다. 그림 3 (b-c)는 거리를 110 cm 에 맞추고 생성한 홀로그램을 Fresnel 변환한 영상이고 (d-f)는 각각 50 cm , 110 cm , 150 cm 에 맞추어 Fresnel 변환을 수행 후 복소평면의 크기를 구한 영상이다. 앞장에서 홀로그램과 2D 영상에 Fresnel 변환을 적용하였을 때 결과에 대하여 살펴보았다. 먼저 홀로그램에 Fresnel 변환을 적용하면 실수부와 허수부로 결과가 나오는데 이를 극형식(크기와 위상)형태로 변형하면 크기는 2D 형태의 영상으로 복원이 가능하다. 2D형태의 복원 결과를 회절 평면의 화소가 더 작게 파라미터를 조절하여 Fresnel 변환을 다시 수행하면 가운데로 모이는 현상이 생긴다. 이때 가운데로 모이지 않은 주변부가 워터마크 삽입 영역이 되고 다시 역Fresnel 변환을 통하여 삽입한다. 그림 4 는 워터마크 삽입 과정을 나타냈다. 그림 5 는 워터마크 과정에 대한 영상을 나타냈다. 그림 5 (a)는 홀로그램을 Fresnel 변환을 수행하고 극형식으로 변환 한 영상 중 크기에 해당하는 영상이다. 그림 5 (b)는 각각 워터마크를 N 차 Fresnel 변환을 수행한 영상으로 수행할수록 가운데로 모인다. 그림 5 (c)는 그림 5 (a)와 (b)를 대각 이동 후 합성한 영상이고, 그림 5 (e)는 합성한 영상을 역 Fresnel변환을 수행하여 홀로그램을 만들고 이를 복원한 영상이다. 그림 6 에 워터마크 추출 과정을 나타내었다. 워터마크가 삽입된 홀로그램을 Fresnel 변환을 수행 후에 극형식으로 변형하고 그중 크기 성분만 다시 Fresnel 변환을 수행한다. 이때 Fresnel 변환은 삽입할 때 사용한 거리 및 파장 그리고 같은 화소의 크기를 이용하여 수행한다. Fresnel 변환을 통하여 생성된 회절 패턴은 중심에 객체와 주변부의 워터마크의 회절 패턴이 존재하는데 이를 대각 이동시켜 워터마크의 회절 패턴을 중심으로 맞춘다. 이를 역 Fresnel 변환을 하여 중심부의 워터마크를 추출한다. 그림 7 은 워터마크 추출 과정의 중간영상을 나타냈다. 그림 7 (a)는 극형식의 크기 성분을 나타낸 것이고, 그림 7 (b)는 대각이동을 수행한 영상이다. 그림 7 (c)는 N 차 역 Fresnel 변환을 수행하여 추출한 워터마크 영상이다. 표 1 은 워터마크의 크기에 따른 홀로그램과 삽입 후 홀로그램, 그리고 복원 객체와 삽입 후 복원 객체의 PSNR을 비교하였다. 사용한 홀로그램은 1,024 x 1,024 크기로 비교하였고 복원 객체는 복원된 영역을 가지고 비교하였다. 표 1 에서 홀로그램은 워터마크 크기와 상관없이 PSNR이 분포한다. 반면 복원 결과는 워터마크의 크기가 증가함에 따라 감소한다. 그림 8 은 워터마크의 N 차 Fresnel 변환을 수행할 때 거리에 따라 워터마크를 삽입 후 복원한 결과이다. 그림 8 의 결과는 워터마크가 객체에 미치는 영향을 알아보기 위하여 복원 할 경우 생기는 DC 영역을 없애기 위해 복원을 위한 Fresnel 변환 시 평균값이 ‘0’이 되도록 값을 전처리 과정을 수행하였다. 그림 9 는 그림 8 과 같은 거리로 추출 할 경우 추출한 워터마크이다. 그림 8 에 DC영역에 생기는 잡음은 워터마크를 삽입하는 과정 중 생기는 것으로 워터마크에 적용하는 Fresnel 변환의 거리가 가까울 경우 워터마크의 모이는 정도가 적어져서 객체 영역과 겹치는 현상이 생기게 된다. 이 경우 상대적으로 큰 값을 객체에 의해 워터마크영역이 크게 손상될 수 있다. 반대로 거리를 너무 길게 하여 변환을 할 경우 모이는 정도가 많아지기 때문에 객체에 비하여 그 크기가 작아져서 이 또한 워터마크에 손상을 준다. 그림 8 , 9 는 순서대로 워터마킹 거리를 증가시켰다. 표 2 는 워터마크 삽입 이후 삽입 전 홀로그램과의 PSNR를 나타냈다. 그림 10 은 표 2 에 각 공격을 가했을 때 복원 영상을 나타내었다. 홀로그램에 블러링을 수행하면 그림 10 (b)와 같이 중요한 정보인 객체 부분이 크게 손상되는 것을 확인할 수 있다. 또한 샤프닝도 객체 주변에 많은 잡음이 생기는 것을 그림 10 (c)에서 확인할 수 있다. 그림 10 (d)에서 볼 수 있듯이 일반적인 2D영상에 적용되는 압축을 수행할 경우 또한 객체가 많이 손상된다. 이러한 공격을 워터마크 삽입된 홀로그램에 가한 뒤 워터마크를 추출한 것을 그림 11 에 나타냈다. (a)는 공격을 가하지 않고 추출한 워터마크이고 (b-d)는 각각 블러링, 샤프닝, JPEG 압축을 수행후에 추출한 결과이다. 본 논문에서는 홀로그램을 Fresnel 변환을 통해서 2D 형태의 회절 패턴을 생성하고, 2D 영상의 Fresnel 변환 특성을 이용하여 워터마크 삽입영역을 주변 영역으로 확장하여 삽입하는 알고리듬을 제안하였다. 제안한 알고리즘의 파라미터인 거리에 따른 워터마크 삽입을 통하여 최적의 파라미터를 확인할 수 있엇다. 제안한 알고리듬의 비가시성 실험결과 삽입된 워터마크는 충분한 비가시성을 만족하였고, 강인성 검증을 위해 가우시안 블러링, JPEG 압축, JPEG2000 압축 공격을 수행하였다. 그 결과 추출한 워터마크는 충분한 가시성을 가지는 것을 확인하였다. 특히 블러링 및 압축 공격에 강한 것을 알 수 있다. 본 논문에서 제안한 워터마크는 일반적인 2D 영상과는 특성을 가지는 홀로그램의 저작권을 보호하기 위한 방법으로 제시되었으며 광학장치의 정보를 이용하여 새로운 방법의 워터마킹 기법을 제안하였다. 또한 홀로그램을 생성과정이 아닌 생성된 콘텐츠를 대상으로 워터마크 기법을 적용할 수 있고, 비트 평면에 삽입하는 2진 영상이 아닌 워터마크를 삽입하여 추출한 워터마크의 가시성을 통한 기법을 제안하였다. 이 윤 혁 - 2012년 : 광운대학교 전자재료공학과 졸업(공학사) - 2014년 : 광운대학교 일반대학원 졸업(공학석사) - 2014년 ~ 현재 : 광운대학교 일반대학원 박사과정 - 주관심분야 : 디지털 홀로그램, SoC 설계 서 영 호 - 1992년 : 광운대학교 전자재료공학과 졸업(공학사) - 2001년 : 광운대학교 일반대학원 졸업(공학석사) - 2004년 : 광운대학교 일반대학원 졸업(공학박사) - 2003년 ~ 2004년 : 한국전기연구소 연구원 - 2005년 ~ 2008년 : 한성대학교 조교수 - 2008년 ~ 현재 : 광운대학교 교양학부 부교수 - 주관심분야 : 실감미디어. 2D/3D영상 신호처리, 디지털 홀로그램 김 동 욱 - 1983년 : 한양대학교 전자공학과 졸업(공학사) - 1985년 : 한양대학교 전자공학과 졸업(공학 석사) - 1991년 : Georgia 공과대학 전기공학과 졸업(공학박사) - 1992년 ~ 현재 : 광운대학교 전자재료공학과 교수 - 1996년 ~ 2001년 : 반도체 설계 교육센터(IDEC)광운대지역 운영위원 - 1997년 ~ 2000년 : 대학산업기술 자문단 자문위원 - 1998년 ~ 2001년 : IEEE SSCS/EDS Joint Chapter of Korea Section 학술위원장 - 1999년 ~ 2001년 : AP-ASIC 학술위원장 - 2001년 : 대한전자공학회 교육연구위원회 부위원장 - 2005년 ~ 2006년 : 대한전자공학회 협동이사 - 2006년 ~ 2008년 : 3차원영상협회 이사 - 2009년 : 실감미디어산업협회 이사 - 2011년 ~ 2013년 : 한국방송공학회 상임이사 - 주관심분야 : 3D 영상처리, 디지털 홀로그램, 디지털 VLSI Testability, VLSI CAD, DSP 설계, Wireless Communication