Advanced
Signboard Replacement in Video clip
Signboard Replacement in Video clip
Journal of Broadcast Engineering. 2017. May, 22(3): 339-349
Copyright © 2017, The Korean Institute of Broadcast and Media Engineers
This is an Open-Access article distributed under the terms of the Creative Commons BY-NC-ND (http://creativecommons.org/licenses/by-nc-nd/3.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited and not altered.
  • Received : March 14, 2017
  • Accepted : May 02, 2017
  • Published : May 30, 2017
Download
PDF
e-PUB
PubReader
PPT
Export by style
Article
Author
Metrics
Cited by
About the Authors
주현, 김
종일, 박
jipark@hanyang.ac.kr

Abstract
본 논문에서는 비디오 클립에 있는 간판 영상을 다른 간판 영상으로 자연스럽게 교체하는 기법과 이를 수행하기 위한 어플리케이션을 제안한다. 영상에 있는 간판영역을 교체하기 위해서는 이를 추적하고, 간판의 형태변화를 알아내야 한다. 또한 전방 물체에 의하여 가려짐이 발생 했을 때에는 간판 영역만 교체될 수 있도록 가려진 영역을 추출하고, 자연스러운 합성을 위해서 색 보정을 수행하였다. 제안하는 어플리케이션은 알고리즘에 필요한 정보를 사용자로부터 입력받고, 필요한 기능을 설명함으로써 알고리즘이 실질적으로 구현되고 테스트해 볼 수 있는 전체 프로세스를 공개한다. 이는 다양한 미디어 매체에 활용될 수 있는데, 흔히 볼 수 있는 간접 광고를 제거할 수 있는 수단으로도 사용될 수 있고, 광고하고 싶은 영상에 다른 광고 영상을 삽입하여 홍보하는 새로운 광고모델로도 활용될 수 있다.
Keywords
Ⅰ. 서 론
가상 광고는 컴퓨터 그래픽을 이용하여 가상의 광고 이미지를 만든 뒤에 이를 방송 프로그램 도중에 끼워 넣는 광고 기법을 말한다. 즉 광고의 이미지와 촬영된 프로그램의 이미지가 겹치지 않는 기법이다. 예를 들어 야구 경기를 방송할 경우에 직접 경기를 관람하는 관중의 눈에는 광고가 보이지 않지만, 방송을 보는 시청자의 눈에는 보이는 광고를 말한다. 이러한 기법을 적용함으로써 시청자의 눈에는 마치 경기장에 부착된 광고처럼 보이는 것이 특징이다. 이는 기존의 PPL 광고(product placement advertising)와는 다르게 별도의 제품 준비가 필요 없으며 완성된 영상물에 컴퓨터 그래픽으로 작업된 이미지를 덧씌우는 작업만이 필요하다. 최근에는 이러한 기술이 스포츠 경기뿐만 아니라 스포츠 뉴스와 오락에도 허용될 수 있도록 규제 완화를 추진되면서 가상광고에 대한 접근성이 높아졌다.
가상 광고에서 가장 많이 사용되는 기법은 영상에 별도의 그래픽 처리된 영상을 삽입하여 촬영된 영상과의 상호작용 없이 위치를 지정하여 보여주는 방식이다. 이는 아래 그림 (1) 의 좌측에서 볼 수 있는데, 이는 제한적인 위치에만 허용될 뿐만 아니라 노출 시간 또한 제약이 있다. 예를 들어 스포츠 경기 방송의 경우 선수나 심판, 관중 위에 광고를 노출하여서는 안 되며, 노출 시간은 해당 방송프로그램시간의 100분의 5초를 초과할 수 없다는 규제가 있다. 하지만 그림 (1) 의 우측은 미국 프로야구의 중계방송에서 간판 영역에 국내 맥주회사인 카스광로를 삽입한 것으로 이와 같은 형태의 가상광고에는 제약이 없다.
PPT Slide
Lager Image
그래픽을 활용하여 빈 공간에 적용된 가상광고 (좌) 광고 영역에 적용된 가상광고 (우) Fig. 1. Virtual ad applied to blank space using graphics (left) Virtual ad applied to ad area (right)
본 논문에서는 광고판을 대체하는 방식의 가상광고로 활용될 수도 있는 기법을 제안한다. 제안하는 방법은 실시간으로 간판을 교체하는 것이 아닌 교체하고자 하는 장면(Scene)이 담긴 동영상을 로드하여 알고리즘을 수행하고, 간판 영역을 교체한 동영상을 출력하는 방법이다. 이는 간판의 움직임에 따라 정확한 위치에 노출하여야 하고, 합성된 영상이 부자연스럽지 않도록 조명 환경에 맞추어 자연스럽게 합성할 수 있는 별도의 영상처리 기술이 필요하다. 유사한 연구로는 Yan [1] 에서 제안하는 텍스쳐 교체 기법과 Guo [2] 가 제안한 메쉬(mesh)를 사용한 텍스쳐 교체기법이 있지만 동영상에서 간판을 교체하기에 적합하지는 않다. 그 이유는 두 논문에서는 옷에 반복적인 패턴의 텍스쳐로 재구성하는 방법을 제안하고 있는데, 이는 옷의 영역을 분할하고, 영상의 조명을 고려하면 된다. 하지만 간판을 교체하기 위해서는 다른 문제를 해결해야 하는데, 시점에 따른 간판의 형상을 조정하여 합성해야하기 때문이다. 만약 이를 수작업으로 하게 되면 반복 작업이 필요하므로 상당한 시간과 노력을 필요로 하지만 자동화 할 수 있다면 많은 자원을 절약할 수 있으므로 이를 성취하기 위한 노력에 그 가치가 있다고 볼 수 있다. Kim [3] 은 간판 교체 기법을 개념적으로 제안하였고, 본 논문에서는 이를 실질적으로 구현하여 검증한 것이므로 차이가 있다. 간판을 교체하기 위해서는 움직임을 추적하고, 자연스럽게 합성하기 위한 색 보정과 같은 문제를 해결해야 하는데, 이를 세분화 시키면 아래와 같다.
1. 동영상 내에서 간판을 추적해야 하는 문제
2. 간판의 형태를 추정해야 하는 문제
3. 가려짐 영역(Occlusion)을 추출해야 하는 문제
4. 자연스럽게 합성될 수 있도록 색을 보정하는 문제
5. 교체하려는 이미지와 비디오의 간판 관계를 이용하여 합성하는 문제
세분화된 각 문제에 대한 해결 방안은 2장에서 자세히 다루게 될 것이며, 3장에서는 사용자로부터 필요한 정보를 입력받고, 알고리즘을 수행하기 위한 어플리케이션을 제안한다. 4장에서는 제안하는 방법이 동영상에서 적용될 수 있음을 보이는 실험 결과를 기술하였고. 5장은 결론으로 구성되어 있다.
Ⅱ. 간판 교체 기법
제안하는 기법은 비디오 클립을 어플리케이션에 입력하면서부터 시작된다. 영상이 입력되면 사용자는 알고리즘에 필요한 정보를 입력해주어야 한다. 이후에는 간판교체를 위한 알고리즘이 수행되며, 교체된 영상은 비디오로 출력을 하게 된다. 그림 (2) 는 제안된 간판 교체 기법의 순서도이다. 초기 단계에서 사용자가 설정해야 하는 입력 값은 4가지가 있다. 키프레임(Key Frame)과 키프레임에 있는 간판영역, 비디오 내에서 간판이 존재하는 구간 설정 그리고 교체하려는 간판 영상이 필요하다. 키프레임이란 장면(Scene) 영상 내에서 간판이 가장 선명하고, 가려짐이 없으며 간판의 코너(corner)가 모두 보이는 영상이라고 정의한다
PPT Slide
Lager Image
제안하는 기법의 순서도 Fig. 2. Flowchart of proposed technique
아래 그림 (3) 은 키프레임에 있는 간판 영역의 코너들을 사용자가 선택한 것을 보여준다. 이는 정확한 영역을 선택받아야 하는데, 선택된 간판 영역을 정렬하여 다른 프레임에 있는 간판들과 비교에 사용되기 때문이다. 사용자의 개입은 간판 영역을 화소단위로 정확하게 알아내기에는 어렵기 때문에 반드시 필요하다. 다음으로 영상에서 간판 교체 알고리즘이 수행될 구간을 설정해야 하는데, 이는 간판이 존재하지 않는 영상에는 알고리즘이 수행되지 않도록 하기 위함이다.
PPT Slide
Lager Image
사용자로부터 선택된 간판 영역과 정렬된 간판 이미지 Fig. 3. Signboard image aligned with user-selected signboard area
사용자로부터 입력받은 키프레임의 간판영역은 정확하게 정면으로 되어 있는 것이 아니라 일반적으로 시점에 따라 사다리꼴이나 평행사변형등과 같은 형태로 워핑되어 있는 경우가 많다. 알고리즘에 활용되기 위해서는 이를 정렬하여야만 하는데, 이는 선택된 간판 영역 각 코너의 x값과 y값을 비교하여 평행이 될 수 있도록 값을 조절하면 쉽게 만들 수 있다. 초기 값을 입력받았으면, 그림 (2) 의 알고리즘 단계를 수행할 수 있다. 가장 먼저 영상에서의 간판 영역을 추적하고, 정렬된 영상과의 비교를 통하여 간판 형태가 어떻게 되어있는지를 파악한다. 일반적으로 간판은 배경영역에 속하기 때문에 지나가는 사람이나 사물이 있다면 가려짐 영역이 발생하게 되는데 이를 알아내기 위한 작업이 필요하며, 자연스러운 합성을 위하여 교체하려는 간판 영상에 색 보정을 수행하였다. 이후에는 정렬된 간판 영상과 교체하려는 간판 영상 그리고 영상 내의 간판의 호모그래피 관계를 이용하여 간판을 교체하였다. 제안하는 간판 교체 기법은 알고리즘의 복잡도로 인하여 실시간 알고리즘이 아니므로 이미 촬영된 영상을 자동화된 알고리즘으로 작업하기 위한 시스템으로 활용가능하다.
- 1. 연속된 프레임에서 간판 영역 추적
일반적인 기법으로 촬영된 비디오 클립영상은 시점의 변화를 알 수 있다면 물체의 추적이 가능하다. 제안하는 기법은 호모그래피를 사용하여 간판의 관심 영역을 워핑(warping)하여 추적한다. 호모그래피를 사용하는 이유는 평면 물체의 경우, 3차원공간에서 2차원 이미지로의 임의의 원근 투영변환을 두 이미지 사이의 호모그래피로 모델링을 할 수 있기 때문이다. 간판의 관심 영역은 선택된 키프레임 간판영역을 약 5%정도 확장하여 관심영역으로 지정하였으며, 간판의 추적은 초기에 사용자가 선택한 키프레임의 간판 영역에서부터 시작하여 목표 프레임까지 관심 영역을 워핑(warping)하여 추적한다.
호모그래피를 계산하기 위해서 이전 프레임과 현재 프레임의 특징점을 정합하여 계산하였는데, 사용된 특징점은 SIFT [4] 를 사용하였다. 균일한 영역에서 특징점을 추출하기 위하여 영상의 영역을 4분할한 영역에서 특징점을 추출하였으며, 이전 프레임과 현재 프레임에서 추출된 특징점들을 Brute-force 방식으로 탐색하고, KNN(k-nearest neighbors) [5] 을 사용하여 정합하였다. 이렇게 정합을 하더라도 이상점들이 포함될 수가 있는데, RANSAC(Random Sample Consensus) [6] 을 하여 이상점(Outlier)들을 제거하였다. 이렇게 매칭된 점들로부터 호모그래피를 계산하면 2차원 영상에서의 평면 변화를 알아낼 수 있게 되므로 이전 프레임 간판의 관심영역을 워핑하여 현재 프레임에서의 간판 영역을 추적할 수 있다.
PPT Slide
Lager Image
전체 영역에서의 특징점 매칭 및 정합 (현재 프레임(좌), 이전 프레임(우)) Fig. 4. Feature point matching and matching in the entire area (current frame (left), previous frame (right))
- 2. 간판의 형태 추정
간판의 관심영역을 추적하면 영상 내에서 간판의 위치를 알아낼 수가 있지만 간판이 어떤 형태로 되어 있는지는 알 수 없다. 일반적인 간판은 직사각형의 형태이나 시점의 변환에 따라 사다리꼴 모양이나 평행사변형의 형태가 될 수도 있기 때문에 영상 내에서의 간판의 형태를 추정하는 단계가 반드시 필요하다. 제안하는 방법은 추적할 때와 정렬된 간판 영역과 영상 내의 관심영역에 SIFT를 사용하여 특징점을 추출하고 정합한 후에 호모그래피를 계산하였다. 하지만 관심영역에는 항상 간판 영역만 존재할 수는 없기 때문에 배경부분이 포함될 경우 그림 (5) 처럼 RANSAC을 하더라도 이상점이 포함되어 정합되는 경우가 있었다.
PPT Slide
Lager Image
영상에서의 간판과 정렬된 간판의 특징점 정합 (이상점이 포함되지 않은 경우(좌), 이상점이 포함되어 있는 경우(우)) Fig. 5. Feature point matching between signboard in the scene and aligned signboard. (Not containing outliers (left). Containing outliers (right))
이상점이 포함된 채로 계산된 호모그래피 행렬을 사용하면 비정상적인 변환이 일어나게 되므로 이를 감지하기 위한 단계가 필요하다. 만약 비정상적인 호모그래피로 판명될 경우에는 이상점이 포함되지 않도록 관심 영역의 윈도우 크기를 조절하여 특징점을 다시 추출하고, 정합한 뒤에 다시 재판별하였다.
호모그래피가 비정상적인 경우는 3가지로 구분되며, 이는 그림 (6) 에서 볼 수 있다. 비정상적인 호모그래피 변환은 일반적인 3차원 공간에서 물체를 아무리 변형시켜도 나오기 힘든 형태를 말한다. 뒤집힘의 경우에는 발생이 가능할 수도 있지만, 일반적으로 촬영된 연속적인 프레임에서 발생하는 것은 극히 드문 상황이므로 이 또한 비정상적인 변환이라고 볼 수 있다.
PPT Slide
Lager Image
비정상적인 호모그래피 변환 Fig. 6. Abnormal homography transformation
PPT Slide
Lager Image
호모그래피를 판별하기 위해서는 호모그래피 행렬의 각 요소들의 의미를 파악할 필요가 있다. Homogeneous 형태로 표현된 수식 (1)의 3×3 호모그래피 행렬에서 첫 2×2 부분행렬은 회전, 스케일, shearing, reflection을 반영하고, h 3 , h 6 은 평행이동(translation) 그리고 h 7 , h 8 은 원근(perspective)변화를 나타낸다.
PPT Slide
Lager Image
PPT Slide
Lager Image
PPT Slide
Lager Image
PPT Slide
Lager Image
수식 (2), (3), (4), (5)는 판별을 위해 필요한 항목들을 호모그래피의 행렬 요소로부터 계산하였다. 식 (2)는 처음 2×2 부분행렬의 determinant를 계산하기 위한 것이며, 식 (3)의 sx는 2×2 부분행렬에 의하여 x축 단위벡터 [1 0] 의 스케일 변화를 나타내고, 식 (4)의 sy는 y축 단위벡터의 변화를 나타낸다. 식 (5)의 P는 호모그래피의 원근 정도를 계산하기 위하여 사용된다. 비정상적인 호모그래피의 판별을 위한 조건식은 아래와 같다.
PPT Slide
Lager Image
PPT Slide
Lager Image
PPT Slide
Lager Image
PPT Slide
Lager Image
PPT Slide
Lager Image
식(6)의 조건은 점들의 회전 순서가 지켜지지 않아서 뒤집힘 또는 뒤틀림이 발생했는지를 판별한다. 그리고 식 (7)과 식(8)의 sx와 sy는 각각의 x축, y축 스케일요소의 변화를 확인하며, 식(8)은 원근 변화가 나타났는지 아닌지를 판별하는 조건으로 만약 원근 변화가 발생하였다면 사각형이 사다리꼴로 변화하게 되는 것을 말한다. 이 경우에 값은 0보다 큰 값을 갖게 되며, 값이 0에 가까울수록 원근 변화가 없는 것을 의미한다. 스케일의 변화와 원근 변화의 발생 여부를 확인하기 위한 임계값은 환경에 따라 사용자가 지정한 값으로 바꾸어 사용해도 무방하다. 마지막으로 오목 여부를 검사해야 하는데, 식 (10)은 그림 (6) 사각형의 꼭지점 각이 180˚를 넘는지를 판별하기 위한 것이다. 이는 벡터의 외적(cross product)의 성질을 이용하면 쉽게 계산할 수 있다.
- 3. 간판 영역 추출
일반적으로 영상에서 간판 영역은 배경영역에 속하므로 움직이는 물체에 의하여 가려짐(Occlusion)영역이 생기는 경우가 존재한다. 자연스러운 합성을 위해서는 이러한 가려짐이 발생하더라도 화소 단위로 정확하게 전방 물체로 가려진 부분을 구분해내어야 하므로 간판 영역을 추출하는 단계가 반드시 필요하다. 이전에 간판 형태를 추정하는 단계로부터 우리는 정렬된 간판 영상과 영상의 간판의 변환을 나타내는 호모그래피를 계산할 수 있었다. 정렬된 간판 영상은 호모그래피 행렬을 사용하여 워핑하면 영상 내의 간판 영역으로 맵핑이 되므로 색을 비교하여 간판 영역을 추출할 수 있다.
PPT Slide
Lager Image
간판 영역의 경우 색을 비교하면 차이가 적고, 만약 다른 물체에 의하여 가려짐이 발생한 부분의 색을 비교하면 차이가 비교적 크게 발생한다. 식 (11)에서 I T 는 동영상의 간판영역의 한 화소이며, I R 은 정렬된 간판 이미지의 한 화소를 의미한다. 대응되는 화소의 R,G,B의 색 차이와 임계치(threshold)를 비교하여 간판 영역인지 아닌지를 판단한다. 임계치 값은 장면마다 다르게 설정할 수 있는데, 일반적으로 20정도의 값을 사용하였다.
영상 내에서의 간판 영역을 정확하게 알 수 없으므로 정렬된 간판을 전방 사상할 수밖에 없다. 전방 사상을 사용하면 작은 홀(hole)이 필연적으로 생기게 되는데 [7] , 이를 해결하기 위하여 모폴로지(morphology) 연산을 수행함으로써 잡음을 제거할 수 있었다. 영상 내에서 색 비교를 하여 간판 영역을 추출한 이진(binary)영상은 아래 그림 (7) 에서 볼 수 있다. 이렇게 계산된 간판 영역의 이진 영상은 교체를 할 때에 백색 영역에 한하여 후방 사상(backward mapping)기법을 이용하여 간판 교체가 이루어진다.
PPT Slide
Lager Image
간판 영역을 추출한 모습 Fig. 7. Extraction of signboard area
- 4. 색 보정
색 보정은 C.Weng [8] 이 제안한 자동 화이트 밸런스 알고리즘의 이득 값(Gain value)을 역으로 적용하여 자연스러운 합성 결과를 볼 수 있었다. 화이트 밸런스란 촬영할 때의 조명 환경으로 변형된 색상을 정색으로 보정해주는 기술이다. 백색의 피사체는 영상의 광원의 색 온도에 상관없이 해당 피사체를 백색으로 재현해야 하는데, 취득 영상에서는 여러 요인들로 인하여 그와 같은 결과가 되지 않는다. 따라서 화이트 밸런스를 적용한다는 것은 영상의 R(Red), G(Green), B(Blue) 채널의 값을 조정하여 영상을 보정하는 것을 화이트 밸런스라고 한다.
자동 화이트 밸런스 알고리즘은 영상 내에서 백색 영역을 자동으로 탐색하고, 화이트 밸런스를 수행할 때에 조정에 사용되는 이득 값을 영상에 적용하여 보정하게 된다. 이득 값은 조명 환경에 대한 백색의 변화를 나타내고 있으므로 영상의 조명 정보를 반영해 줄 수 있다고 판단하여 이를 영상에 적용하여 화이트 밸런스를 수행하지 않고 교체 간판 영상에 해당 값의 역수를 적용해주어 색 보정을 하였다.
PPT Slide
Lager Image
식 (12)는 자동 화이트 밸런스 알고리즘으로 계산된 이득값을 교체 간판 영상에 역으로 적용하여 색 보정을 수행하기 위해 사용된다. 식 (12)에서 T c (R,G,B)는 교체 간판 영상의 색이 보정된 것이며, R c (R,G,B)는 교체 간판 영상의 원색이다. 그리고 G(R,G,B)는 계산된 이득 값을 나타낸 것이다. 색 보정은 영상의 프레임마다 계산되며, 그 결과는 아래 그림 8 에서 볼 수 있다.
PPT Slide
Lager Image
간판 이미지의 색 보정 결과 (좌 : 비디오 이미지, 가운데 : (교체할) 간판 영상, 우 : (색이 보정된) 간판 영상) Fig 8. Result of color correction of signboard image (left : video image, center : signboard image, right : color-corrected signboard image)
- 5. 간판 교체
간판 교체는 교체하고자 하는 간판 영상의 화소 위치에 대응되는 교체 영상의 위치를 계산하여 수행된다. 제안하는 방법은 영상 내의 간판 영역에서 교체하고자 하는 간판 이미지의 대응되는 위치를 알아내어 수행하는 후방사상 기법을 사용하였다.
후방 사상의 변환 관계는 2개의 호모그래피를 사용하여 계산될 것이다. 동영상 내에서의 간판과 교체하고자 하는 간판 이미지의 위치 변환은 한 번에 계산할 수 없으므로 두 간판의 위치 변화를 중개해 줄 정렬된 간판 영상이 반드시 필요하다. 정렬된 간판과 영상에 있는 간판의 호모그래피와 정렬된 간판과 교체하고자 하는 간판 영상의 호모그래피를 활용하면 사상 관계를 계산할 수 있다.
PPT Slide
Lager Image
영상에 존재하는 간판을 교체하기 위해서 사용되는 호모그래피 관계도 Fig. 9. The homography relationship used to replace the signboard present in the image
PPT Slide
Lager Image
식 (13)에서 P T 는 비디오 영상에서 간판 영역의 화소 위치를 나타내는 3×1 벡터이고, P R 은 교체하려는 간판 영상의 화소 위치를 나타내는 벡터이다. H T 는 비디오의 간판과 정렬된 간판의 호모그래피 행렬, H R 은 정렬된 간판과 교체하려는 간판의 호모그래피 행렬이다. 수식의 의미는 비디오에 있는 간판 영역에 대응되는 정렬된 간판 영상의 위치를 계산하고, 정렬된 간판 영상에 대응되는 교체 간판 영상의 위치를 참조하는 것을 의미한다.
PPT Slide
Lager Image
간판 교체 결과 (좌 : 원본 이미지, 가운데 : 간판 교체된 이미지, 우 : 색 보정된 간판으로 교체된 이미지) Fig. 10. Signboard replacement result (Left: Original image, Center: Signboard replaced image, Right: Image replaced with color-corrected signboard)
Ⅲ. 간판 교체를 위한 어플리케이션
본 논문에서 제안하는 기법은 사용자의 입력을 입력받아야 하므로 이를 원활히 수행하기 위한 기능을 갖춘 UI(User Interface)가 필요하다. UI 개발은 MFC를 사용하였다.
그림 (11) 은 간판 교체를 위한 어플리케이션의 UI를 제안하고 있으며, 반드시 필요한 기능은 총 4가지가 있다.
PPT Slide
Lager Image
제안하는 어플리케이션 UI Fig. 11. Proposed application UI
1. 간판 영역을 화소단위로 정확하게 선택하기 위하여 마우스 포인터의 주변 영상을 확대하는 기능
2. 영상을 프레임 단위로 제어할 수 있는 기능
3. 장면에 대한 간판 교체를 수행하기 위한 데이터 저장 기능
4. 교체된 간판 영상을 비디오로 변환하여 출력하는 기능
그리고 간판 교체를 위해서 사용자의 어플리케이션 조작 순서는 아래와 같다.
· 교체하고자 하는 비디오를 로드한다.
· 장면(scene)에서 키프레임을 찾는다.
· 초기 값(교체하려는 간판 이미지, 간판의 코너, 키프레임, 간판이 존재하는 영상의 구간)을 입력한다.
· 알고리즘을 수행되도록 하는 버튼을 클릭하여 간판 교체를 수행한다.
· 간판교체가 다 이루어졌으면 변환 버튼을 클릭하여 간판 영역이 교체된 비디오를 만든다.
Ⅳ. 실험 결과
실험에는 캘리브레이션이 되지 않은 카메라로 촬영된 영상을 사용하였다. 실험 영상의 크기는 1920×1080 이며, 실험은 동영상에서의 간판 교체 결과를 보이기 위하여 10개의 프레임 간격으로 연속적인 영상을 캡쳐하였으며, 결과는 아래 그림 (12) 와 같다. 어플리케이션이 구동된 데스크탑 환경은 4.0GHz의 인텔i7 쿼드코어 프로세서로 수행되었다.
PPT Slide
Lager Image
비디오 시퀀스에서 간판 교체된 결과 Fig. 12. Signboard replacement result in video sequence
현실적으로 간판 교체 알고리즘을 상용화하기에는 아직 몇 가지의 기술적인 난제들이 존재한다. 제안하는 알고리즘에서 이미지의 간판에는 네 개의 코너가 반드시 존재해야 하며, 블러(Blur)가 존재하지 않아야 한다. 그리고 특징점 추출 및 정합이 잘 이루어지기 위해서 간판에 문양이나 유일한 패턴이 존재할수록 좋은 결과를 보인다.
만약 영상에서 간판 영역이 일부 잃어버리더라도 자연스럽게 합성이 수행되기 위해서는 손실된 영역을 비교적 정확하게 분별해낼 수 있는 기법이 필요하다. 또한 블러가 발생할 경우 특징점의 정합도가 떨어지기 때문에 추적의 정확도가 떨어질 뿐만 아니라 블러된 정도에 맞추어 간판을 자연스럽게 교체하기 위한 해결 방안도 연구가 필요한 부분이다.
Ⅴ. 결 론
본 논문에서는 가상 광고에서 사용될 수 있는 간판 교체 기법을 제안하였다. 제안된 기법은 특징점 정합에 기반하여 계산된 호모그래피를 기반으로 간판 영역을 추적 및 형태를 추정할 수 있었고, 색 비교를 통하여 가려짐 영역을 알아낼 수 있었다. 또한 자동 화이트 밸런스 알고리즘으로부터 계산된 이득 값을 교체하고자 하는 간판 이미지에 역으로 적용함으로써 비교적 자연스럽게 합성된 결과를 볼 수 있었다. 뿐만 아니라 제안된 기법을 수행하기 위해서는 사용자의 초기 값을 입력하는 상호작용이 필요하므로 이를 위한 어플리케이션의 기능을 제안함으로써 가상 광고를 제작하기 위한 전체적인 시스템을 보여주었다. 향후에는 블러가 존재할 때에도 자연스럽게 합성될 수 있는 기법과 영상에서 일부 간판 영역이 없더라도 보이는 영역에 맞추어 간판이 교체될 수 있는 기법을 연구할 계획이다.
본 연구는 미래창조과학부 및 정보통신기술진흥센터의 통신ᆞ방송 연구개발사업의 일환으로 수행하였음. [2014-0-00670, ICT 장비용 SW 플랫폼 구축]
BIO
김주현
- 2013년 : 한양대학교 컴퓨터공학부 공학사
- 2015년 ~ 현재 : 한양대학교 소프트웨어학과 공학석사 과정
- 주관심분야 : 3차원 영상처리/비전, View Synthesis
박종일
- 1987년 : 서울대학교 전자공학과 공학사
- 1989년 : 서울대학교 전자공학과 공학석사
- 1995년 : 서울대학교 전자공학과 공학박사
- 1992년 ~ 1994년 : 일본 NHK 방송기술연구소 객원연구원
- 1995년 ~ 1996년 : 한국방송개발원 선임연구원
- 1996년 ~ 1999년 : 일본 ATR지능영상통신연구소 연구원
- 1999년 ~ 현재 : 한양대학교 공과대학 컴퓨터공학부 교수
- 주관심분야 : 증강현실, 계산사진학, 3차원 컴퓨터비전, 인간컴퓨터상호작용
References
Yan X. , Shen J. , He Y. , Mao X. 2010 Re-Texturing By Intrinsic Video Digital Image Computing:Techniques and Applications (DICTA), 2010 International Conference on IEEE 2010 486 - 491
Guo Y. , Sun H. , Peng Q. , Jiang Z. 2008 Mesh-Guided Optimized Retexturing for Image and Video IEEE Transactions on Visualization and Computer Graphics 14 (2) 426 - 439    DOI : 10.1109/TVCG.2007.70438
Kim J. , Park J. 2017 Signboard Replacement in Video Clip Proceeding of International Workshop on Advanced Image Technology 2017 Penang, Malaysia
LOWE DG. 2004 Distinctive image features from scale-invariant keypoints International journal of computer vision 60 (2) 91 - 110    DOI : 10.1023/B:VISI.0000029664.99615.94
Altman N. S. 1990 An introduction to kernel and nearest-neighbor non- parametric regression The American Statistician 46 (3) 175 - 185
Fischler Martin A. , Bolles Robert C. 1981 Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography Comm. of the ACM 24 (6) 381 - 395    DOI : 10.1145/358669.358692
CHEN Baoquan , DACHILLE Frank , KAUFMAN Arie 1999 Forward image mapping Visualization'99. Proceedings. IEEE 89 - 514
Weng C. , Chen H. , Fuh C. 2005 A novel automatic white balance method for digital still cameras 2005 IEEE International Symposium on Circuits and Systems. IEEE 3801 - 3804