Advanced
Color-Depth Combined Semantic Image Segmentation Method
Color-Depth Combined Semantic Image Segmentation Method
Journal of the Korea Institute of Information and Communication Engineering. 2014. Mar, 18(3): 687-696
Copyright © 2014, The Korea Institute of Information and Commucation Engineering
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License(http://creativecommons.org/li-censes/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
  • Received : December 10, 2013
  • Accepted : January 27, 2014
  • Published : March 31, 2014
Download
PDF
e-PUB
PubReader
PPT
Export by style
Share
Article
Author
Metrics
Cited by
TagCloud
About the Authors
만중 김
현수 강
hskang@cbnu.ac.kr

Abstract
본 논문은 사용자의 입력, 색상 및 깊이 정보를 이용한 의미론적 물체 분할 방법을 제안한다. 의미있는 영역을 깊이영상에서 유사한 깊이 정보와 사용자 스트로크 입력의 중심에 위치한다고 가정한다. 제안된 방법은 스트로크 입력을 이용하여 관심 영역을 설정하고, 색상과 깊이 정보를 이용하여 의미있는 영역을 검출한다. 구체적으로 제안방법은 관심영역에 대해 색상과 깊이 정보를 이용한 과분할 과정과 과분할 영역에 대해 깊이 정보를 이용한 의미론적 물체 추출과정으로 구성되어 있다. 과분할 과정에서 적응적 임계값 적용 및 형태학적 기울기에 대한 적응적인 가중치 적용을 통한 마커 추출 방법을 제안하였다. 의미론적 물체 추출과정에서는 관심영역의 가장자리 영역에서 내부 영역으로의 순서대로 전체 깊이의 평균과 차이를 이용하여 추출하고자 하는 물체 영역인지 아닌지를 결정하도록 하였다. 실험 결과에서 제안한 방법이 효과적으로 의미있는 물체 추출 결과를 얻을 수 있음을 보인다.
Keywords
Ⅰ. 서 론
최근 고성능 카메라를 장착한 스마트폰과 태블릿 PC의 등장으로 인해 사용자들은 언제 어디서나 실시간으로 영상을 얻을 수 있고, 영상을 이용하여 실시간으로 처리 할 수 있는 기술을 요구한다. 사용자의 편의성을 도모하기 위하여 관심 영역에서 의미있는 물체를 자동으로 추출하여 다른 영상에 합성하거나 물체를 편집할 수 있는 기술 또한 요구되고 있다. 또한 스마트폰과 태블릿 PC는 사용자의 터치입력을 기반으로 하고 있기 때문에 의미있는 물체 추출에 사용자의 터치 입력이 활용될 수 있다. 물체를 추출하기 위해서 사용자의 터치 입력으로 물체에 대한 힌트를 입력 받고, 이를 이용하여 효과적으로 물체를 추출할 수 있는 기술이 필요하게 되었다.
본 논문에서 이루고자하는 의미있는 물체 추출이란 사용자가 의도하였던 물체 단위의 추출을 의미한다. 하나의 물체라고 할지라도 물체 내부에는 서로 다른 색상을 가지고 있으며, 이는 하나의 물체에 속하지만 서로 다른 영역으로 분할될 수 밖에 없다. 그러나 본 논문에서는 색상과 깊이정보 그리고 사용자 입력 정보를 이용하여 영역 단위가 아닌 물체 단위의 추출을 이루고자 한다. 물체 단위의 추출을 위해서는 영역분할이 수행되어야 하는데, 대표적인 방법으로는 임계값을 이용한 분할 기법 [1] , 경계 기반 분할 기법 [2] , 영역 기반 분할 기법 [3] , 영역 및 경계 기반의 분할 방법 [4 - 8] 이 있다.
본 논문에서는 사용자가 입력한 스트로크(stroke)를 통해 관심영역을 설정하고 영상의 색상 정보와 깊이 정보의 특성을 이용한 영상 분할을 통해 효과적으로 의미있는 물체를 추출할 수 있는 방법을 설계하였다. 의미있는 물체를 사용자 입력의 중심 부분을 포함한다는 점, 유사한 깊이정보를 가진다는 점, 관심영역에서 가장자리 부분은 배경일 가능성이 높다는 점을 이용하였다.
Ⅱ. 관련연구
- 2.1. 색상-깊이 기반의 분할 방법
최근 스테레오(stereo) 카메라와 깊이 측정이 가능한 카메라가 출연함에 따라 색상과 물체의 깊이 정보를 동시에 이용하여 영상을 분할하는 방법이 활발히 연구되고 있다. Mutto는 그림1 에서처럼 색상 정보를 CIELAB 색공간으로 변환하여 깊이정보와 함께 K-means 군집화 알고리즘을 사용하여 영상을 분할하는 방법을 제안하였다 [11] . 또한 Bleiweiss는 RGB 색상정보와 깊이 정보를 이용한 영상 분할 방식을 제안하였다 [12] . Bleiweiss가 제안한 방법은 XYRGBD로 6D vector로 구성 후 Mean Shift 분할 방식을 사용하여 영역을 분할하여 RGB 색상 모델을 사용한 경우보다 좋은 결과를 획득하였다.
PPT Slide
Lager Image
Mutto의 방법 (a) 색상영상 (b) 깊이영상 (c) 색상정보 기반 분할 (d) 깊이정보 기반 분할 (e) 색상-깊이 기반 분할 Fig. 1 Mutto‘s method (a) color image (b) depth image (c) segmentation on the basis of color information only (d) segmentation on the basis of depth information only (e) segmentation on the basis of color-depth information
- 2.2. 의미론적 분할 방법
최근 의미론적 영상 분할 방법은 다양하게 연구 진행되고 있다. 의미론적 영상 분할을 통하여 영상에서 각각에 의미있는 영역으로 분류하여 다양한 분야에 응용하여 사용할 수 있다. W. Zou가 제안한 방법은 region bank를 만들어 각각의 level에 따라 색상정보를 통해 분할한 영상을 이용하여 SVM(support vector machine)를 통해 영역을 분류하여 병합하는 방법을 제안하였다 [9] . 또한 최근에는 STF(semantic texton forests)를 이용한 방법을 사용하여 트리(tree)를 구성하여 분할하는 방식이 연구되고 있다 [10] . 하지만 이러한 방법들은 색상정보만을 이용한 분할방식은 다양한 색상정보를 포함한 단일 물체를 추출하기에는 부정확할 결과를 보인다.
- 2.3. 분수령 알고리즘
분수령(watershed) 알고리즘은 지형학에서 연구된 것으로 지형도에서 공간적 경사도를 영상의 밝기 값 크기의 고도로 생각하고 영역을 분할하는 방법이다. 분수령 알고리즘은 경계, 영역 기반의 분할 방법으로 담금(immersion) 방식과 강우(rainfall) 방식으로 구분할 수 있다. 본 논문에서는 담금 방식을 사용하여 분수령 알고리즘 구현하였다. 담금 방식은 가장 낮은 고도부터 차례로 담수지역에 물을 채워가면서 다른 국부 최소치(local minima)에 이르면 두 영역에의 수면을 동시에 상승시켜 수면이 다른 담수지역에 넘칠 때까지 상승시킨다. 수면이 넘칠 때 가상의 댐을 건설하여 수면이 넘치는 것을 방지한다. 이 과정을 반복하여 가장 높은 고도가 될 때까지 진행된다. 국부 최소치를 중심으로 하나의 영역이 담수지역이 되고, 이 가상의 댐이 분수령이 된다. 영상의 밝기 값의 크기를 고도로 생각할 경우 담수 지역은 영상의 분할 영역되고 분수령은 경계선이 된다.
- 2.4. 깊이 추정 참조 소프트웨어
깊이영상(depth image)은 객체의 3차원 거리 정보를 이용하여 깊이를 화소 값으로 표현한 영상이다. 깊이영상은 깊이 카메라를 이용하여 획득하는 방법, 스테레오 카메라나 다중 카메라를 사용하여 얻은 다수의 영상을 이용하여 깊이를 획득하는 방법이 있다. 깊이 추정 참조 소프트웨어(Depth Estimation Reference Software : DERS)은 MPEG 3차원 비디오 부호화 그룹에서 3차원 비디오 부호화 기술의 국제 표준을 만들기 위해 깊이 추정 참조 소프트웨어를 개발하였다 [13]. 깊이 추정 참조 소프트웨어는 다중 카메라를 통해 얻은 영상의 상관관계를 이용하여 깊이정보를 추출해주는 소프트웨어다. 이 기술은 일본 Nagoya 대학에 의해 제안되었고 윈도우 기반 초기 변이 추정 및 그래프 컷(graph cut) 기반의 전역 변이 추정 기법이 사용되었다. 깊이 추정 참조 소프트웨어는 계속 발전하여 왔는데 부화소(sub-pixel) 단위 추정 기법 [14] , 색상 영상 분할을 통한 세그먼트 추출을 이용한 기법 [15] 이 추가되어 발전하고 있다. 그림2 는 깊이 추정 참조 소프트웨어를 사용하여 추출한 깊이 영상이다.
PPT Slide
Lager Image
DERS를 이용하여 추정된 깊이영상 (a) 깊이영상1 (b) 깊이영상2 Fig. 2 Depth image estimated by DERS (a) depth image1 (b) depth image2
Ⅲ. 제안방법
본 논문에서는 사용자가 원하는 영역에서 의미있는 물체를 추출하는 방법에 대하여 제안한다. 의미있는 물체는 다음과 같이 가정한다.
  • ① 사용자 입력 영역에서 중심에 위치한다.
  • ② 유사한 깊이 정보를 가진다.
  • ③ 관심영역에서 가장 자리는 배경일 가능성이 높다.
그림3(a) 에서처럼 의미있는 물체는 사용자가 입력한 영역의 중심에 위치할 높은 확률을 가지고 있고, 가장자리 영역은 배경이 될 확률이 매우 높다. 그림 3(b) 그림3(c) 에서처럼 하나의 물체는 유사한 크기의 깊이정보를 가지고 있는 것을 알 수 있다.
PPT Slide
Lager Image
의미있는 물체의 특징 Fig. 3 Features of semantic object
색상-깊이 기반의 평탄영역 추출, 적응적 임계값을 이용한 마커 영역 결정, 관심영역에서 물체 추출 방법을 통하여 사용자가 입력한 영역에서 의미있는 물체를 추출하는 방법을 제안한다. 사용자가 입력한 스트로크를 이용하여 ROI를 설정 한다. ROI 영역에 적응적 임계값을 이용한 분수령 알고리즘을 적용하여 ROI 영역을 과분할(over-segmentation) 하도록 설정한다. 위의 과정에서 색상과 깊이 정보를 이용한 평탄영역을 추출하고 적응적 임계값을 적용하여 마커의 개수가 최대가 되는 임계값을 결정한다. 또한 정확한 경계선 추출을 위해 분수령 알고리즘에 적용 시 색상정보만을 이용한 담금방식을 사용하여 분할 영역을 획득 하였다. 위의 과정에서 얻는 분할 영역은 깊이 정보를 이용하여 관심영역에서 의미있는 물체에 포함되는지를 판정함으로써 의미있는 물체를 추출 하였다. 제안 방법은 그림 4 의 과정으로 이루어져 있다.
PPT Slide
Lager Image
의미있는 물체 추출 과정 Fig. 4 Semantic object extraction process
- 3.1. 색상-깊이 기반의 평탄영역 추출
마커(marker)는 영상에서 동질성을 가지는 화소들에 게 붙여진 라벨(label)로써 같은 특성을 가지는 영역이다. 마커 추출 과정은 형태학적(morphology) 연산을 통한 전처리 과정을 거친 후 형태학적 기울기를 이용하여 결정한다. 형태학적 기울기는 형태학적 필터를 사용하여 구한다. 기존 많은 방법들이 평탄영역 추출 과정에서 색상 정보만을 이용하여 추출하므로 주변 배경과 물체의 색상 정보가 유사할 경우 서로 다른 영역임에도 불구하고 서로 다른 영역으로 분할하지 못한다. 이러한 문제점은 색상정보와 함께 깊이 정보를 함께 이용하면 해결할 수 있다. 따라서 본 논문에서는 색상정보와 깊이정보를 함께 이용한 평탄영역을 추출하였다. 평탄영역 추출에 사용한 세 가지 성분은 식(1)과 같다. 색차성분인 Cb Cr 는 밝기 성분 Y 와 깊이 정보에 비해 그 중 요도가 떨어짐에 따라 평균을 취하여 하나의 성분으로 설정하였다.
PPT Slide
Lager Image
식 (1)에 나타난 세 가지 성분에 대해 형태학적 연산을 수행함으로써 각 성분에 대한 형태학적 기울기를 구할 수 있다. 세 가지의 형태학적 기울기가 얻어지면 이 기울기 값을 기준으로 평탄영역인지를 판정하게 된다. 평탄영역이 일정 크기가 되면 이것이 마커가 된다.
한편 평탄영역인지를 판정하기 위해서는 그 기준이 필요한데 한 가지 성분에 대한 기울기만 존재하는 경우, 식(2)와 같이 정해진다.
PPT Slide
Lager Image
여기서 Rs 은 평탄영역, x ( n,m )은 화소, GRD ( • )은 형태학적 기울기, T 는 문턱값을 나타낸다.
식(2)의 경우와 달리 세 가지의 형태학적 기울기를 가지는 경우에는 어떠한 기준에 의해 평탄영역으로 판정할 것인지가 문제가 된다. 본 논문에서는 세 가지의 기울기에 대해 큰 값을 가질수록 큰 가중치를 주어 합산함으로써 최종적인 기울기(GRD)를 결정하였다. 즉,
PPT Slide
Lager Image
where
PPT Slide
Lager Image
식(3)에서 큰 값을 가질수록 큰 가중치를 주도록 설정한 이유는 세 가지 성분 중 두 가지 성분이 작은 값을 가지더라도 한 가지 성분에서 큰 값을 가지면 이 화소는 평탄영역이 아님이 확실하므로 큰 값을 강조하기 위함이다. 결과적으로 각 성분에 대한 기울기 값을 크기의 순서대로 나열하고 각각에 대해 서로 다른 가중치를 부여함으로써 평탄 영역에 속하는 화소를 보다 정확하기 추출할 수 있다.
- 3.2. 적응적 임계값을 이용한 마커 영역 결정
앞 소절에서 평탄영역에 속하는 화소들을 결정하였다면, 이 평탄영역에 속하는 화소가 형성하는 영역의 크기가 미리 설정된 크기 이상이 되면 이 영역이 마커영역이 된다. 식(2)에 나타난 문턱값은 평탄 영역을 결정하는 요소이므로, 결국 마커 영역을 결정하는 중요한 인자가 된다. 따라서 본 소절에서는 문턱값을 적응적으로 결정하는 방법에 대해 소개한다.
분수령 알고리즘에서 마커의 개수는 분할된 영역의 개수와 동일하다. 마커를 중심으로 미결정 영역 방향으로 담금 처리하기 때문에 마커 추출은 매우 중요하다. 의미있는 물체 추출을 위해서는 분할 영역의 개수가 많을수록 효과적으로 물체를 추출할 수 있다. 이를 위해 마커의 개수가 가능한 많이 추출되도록 임계값을 적응적으로 결정한다.
구체적으로 임계값이 될 수 있는 범위를 설정하고, 각 임계값에 대해 마커를 추출하고 그 마커의 개수가 최대가 되는 임계값을 최적의 임계값으로 결정한다.
형태학적 기울기는 화소들이 유사한 경우 작은 값을 가지고, 경계지점에서는 기울기가 큰 값을 가진다. 이를 이용하여 임계값을 기준으로 마커 영역과 배경영역으로 구분하는 것이다. 임계값이 작을 경우 마커의 개수가 증가하고, 임계값이 큰 경우 주변 기울기 값이 동질성을 가질 확률이 증가하기 때문에 마커의 개수가 줄어든다. 하지만 임계값이 너무 작을 경우 영상에서 색 상이나 깊이 정보의 변화가 다양할 때 형태학적 기울기는 임계값보다 작은 경우가 마커가 생기지 않을 수 있다. 그림 5 은 여러 가지 임계값에 따른 마커 추출 및 영 역 분할 결과이고, 표 1 그림 5 의 마커의 수와 분할된 영역의 수를 나타낸다. 그림 5 에서 볼 수 있듯이 임계값이 너무 작거나 크면 분할된 영역의 개수가 적게 나타남을 알 수 있다. 따라서 가장 많은 분할 영역을 얻을 수 있는 임계값 설정이 필요하다. 결과적으로 임계값이 3일 경우 가장 많은 마커와 영역이 분할된 결과를 얻는 다. 이 사례의 경우 최종적으로 최적의 임계값으로 3을 선택하게 된다.
PPT Slide
Lager Image
임계값에 따른 영역 분할 결과 (a) T=1 (b) T=2 (c) T=3 (d) T=5 (e) T=7 (f) T=10 Fig. 5 Segmentation results according to thresholds (a) T=1 (b) T=2 (c) T=3 (d) T=5 (e) T=7 (f) T=10
그림 5의 마커 추출 결과Table. 1Marker extraction results forFig. 5
PPT Slide
Lager Image
그림 5의 마커 추출 결과 Table. 1 Marker extraction results for Fig. 5
- 3.3. 관심 영역에서 물체 추출 방법
사용자가 입력한 관심영역에 대해 앞 소절에서 얻는 과분할 영역에 대해 깊이 정보를 기반으로 사용자의 관심 물체 영역인지 아닌지를 판정하여, 최종적으로 관심 물체 영역을 추출한다. 그 과정은 그림 6 과 같다.
PPT Slide
Lager Image
의미있는 물체 결정 과정 Fig. 6 semantic object decision process
그림 6 에서 처럼 ROI 전체를 의미있는 물체 영역으로 초기화한다. 가장자리 영역에서 내부 영역의 순으로 각 영역의 평균 깊이와 의미있는 물체로 설정된 영역의 평균 깊이를 비교하여 를 벗어나는 경우(여기서 k 는 사용자 설정 상수, σ 는 의미있는 물체로 설정된 영역의 깊이의 표준편차) 그 영역을 물체 영역에서 제외하여 의미있는 물체 영역을 갱신한다. 단, 제외 대상 예외 영역은 다음과 같다.
  • - 제외 대상 영역이 ROI의 가운데 좌표를 포함하고 있는 경우 제외되지 않는다. 이는 사용자가 추출하기를 윈하는 물체는 사용자 입력의 가운데에 위치한다는 가정에 기반한다.
  • - 제외 대상 영역을 제외하였을 때 ROI 영역의 상당한 부분이 제외되는 결과를 가져올 때 제외되지 않는다.
위에서의 과정을 반복하여 의미있는 물체를 추출 할 수 있다.
한편, 사용자가 2개 이상의 물체를 추출하기를 원하는 경우 ROI가 서로 겹치는 경우가 발생하며, 분할된 영역이 서로 다른 물체 영역에 중복적으로 포함될 수 있다. 이 경우, 그 영역을 평균 깊이와 물체들의 평균 깊이를 비교하여 유사한 물체로 할당한다.
그림 7(a) 는 분할된 영상, 그림 7(b) 그림 7(c) 는 사용자 입력과 깊이 영상이다. 그림 7(d) 그림 7(e) 는 제안한 방법에 따라 관심영역의 가장자리와 사용자 입력 부분을 제거하고, 깊이정보를 통해 의미있는 물체를 추출한 결과이다.
PPT Slide
Lager Image
제안된 방법의 물체 추출 과정 (a) 분할 영상 (b) 사용자 입력 영상 (c) 깊이 영상 (d) 물체 추출 과정1 (e) 물체 추출 과정2 Fig. 7 Object extraction process of the proposed method (a) segmentation image (b) user input image (c) depth image (d) object extraction process 1 (e) object extraction process 2
Ⅳ. 실험결과
제안한 방법의 적용을 위해서는 깊이 정보 추출이 필요함에 따라 스테레오 카메라(BumbleBee2)를 통해 좌, 우 영상을 입력 받아 카메라 렌즈의 왜곡 파라미터 추출 및 카메라 행렬 추출을 수행하였다. 파라미터 추출 단계를 거친 좌, 우 영상을 깊이 추정 참조 소프트웨어(DERS)를 사용하여 영상의 깊이 정보를 획득하였다. 영상의 깊이 정보는 0 ∼ 255 의 값을 가지며, 거리가 가까운 물체 일수록 255 값에 가까워지고, 먼 물체 일수록 0의 값에 가까워진다.
제안된 방법의 성능 평가를 위해 인공적으로 만든 깊이영상과 깊이 추정 참조 소프트웨어를 이용한 깊이 영상을 이용하여 실험을 하였다. 실험결과를 비교하기 위해 물체의 픽셀수와 제안한 방법을 통해 얻는 물체의 픽셀수를 비교하여 에러율(error rate)을 계산하였다.
- 4.1. 색상-깊이 기반 분할 방법과 색상 기반 분할 방법의 물체 추출 비교
그림 8 에서는 제안한 방법과 색상 기반 분할 방법의 물체 추출방식의 시각적인 비교 결과를 보이고 있다. 기존의 분수령 알고리즘을 이용한 영상 분할 방법은 색상 정보만을 이용하여 영역을 분할 하였다. 그림 8(d) 그림 8(f) 기존의 분수령 알고리즘을 이용한 영역 분할 결과와 의미있는 물체를 추출한 결과이다.
PPT Slide
Lager Image
제안된 방법과 기존의 색상 기반 방법의 물체 추출 (a) 실험 영상 (b) 깊이 영상 (c) 제안된 방법의 분할 영상 (d) 색상 기반 방법의 분할 영상 (e) 제안된 방법의 물체 추출 (f) 색상 기반의 물체 추출 Fig. 8 Object extraction of the proposed method and conventional color based method (a) original image (b) depth image (c) segmentation of the proposed method (d) segmentation of the color based method (e) object extraction of the proposed method (f) object extraction of the color method
표 2 그림 8 의 물체 추출 결과에 대한 에러율을 표로 정리한 것이다. 색상 정보만을 이용한 기존의 방법보다 제안한 방법은 표 2 에서 에러율을 통해 정확한 추출 결과를 얻을 수 있는 것을 알 수 있다.
그림 8의 에러율 결과Table. 2Error rate results of theFig. 8
PPT Slide
Lager Image
그림 8의 에러율 결과 Table. 2 Error rate results of the Fig. 8
- 4.2. 적응적 임계값을 이용한 물체 추출 비교
마커 추출 과정에서 임계값을 기준으로 하여 마커 영역을 추출한다. 마커 기반의 분수령 알고리즘은 마커의 숫자에 따라 분할된 영역의 개수가 정해지기 때문에 임계값의 변화에 따라 관심영역의 물체를 추출하는 결과가 다르게 나온다. 그림 9 은 임계값에 따라 분할된 영역 과 물체 추출 결과를 비교한다. 표 3 그림 9 의 결과를 정리한 것으로서 마커의 수가 많은 영상 분할 결과가 가장 우수한 결과를 얻는 것을 볼 수 있다.
PPT Slide
Lager Image
적응적 임계값 변화에 대한 물체 추출 비교 (a) T= 1 (b) T=3 (c) T=5 (d) T=7 (e) T=1 (f) T=3 (g) T=5 (h) T=7 Fig. 9 Object extraction comparison for adaptive threshold (a) T=1 (b) T=3 (c) T=5 (d) T=7 (e) T=1 (f) T=3 (g) T=5 (h) T=7
적응적 임계값 변화 대한 물체 추출 결과Table. 3Object extraction results for adaptive threshold
PPT Slide
Lager Image
적응적 임계값 변화 대한 물체 추출 결과 Table. 3 Object extraction results for adaptive threshold
- 4.3. 물체 추출 실험
본 논문에서 제안한 방법을 통해서 관심 영역에서 물체를 추출하는 실험을 진행하였다. 그림 10 은 입력영상과 인공적으로 만든 깊이 정보를 이용하여 실험을 수행한 결과이다. 이 결과에서 사용자의 관심영역이 2 개 이상 입력되었을 때도 관심 영역 안에서 물체를 효과적으로 추출함을 관찰할 수 있다. 그림 11 은 스테레오 카메라를 통해 얻은 영상을 깊이 추정 참조 소프트웨어를 사용하여 깊이 영상을 획득하고 이를 통해 관심 물체를 추출한 실험 결과이다. 표 4 표 5 그림 10 , 그림 11 의 적응적 임계값을 통해 결정된 마커의 수와 물체 추출 픽셀의 에러율을 나타낸다.
PPT Slide
Lager Image
관심 영역에서 물체 추출 (a) 원 영상 (b) 깊이영상 (c) 물체1 (d) 물체2 (e) 물체3 Fig. 10 Object extraction for region of interest (a) original image (b) depth image (c) object1 (d) object2 (e) object3
PPT Slide
Lager Image
실제 영상에서의 물체 추출 (a) 원 영상 (b) 깊이 영상 (c) 물체1 (d) 물체2 (e) 물체3 (f) 물체4 Fig. 11 Object extraction for actual image (a) original image (b) depth image (c) object1 (d) object2 (e) object3 (f) object4
그림 10의 물체 추출 결과Table. 4Object extraction results of theFig.10
PPT Slide
Lager Image
그림 10의 물체 추출 결과 Table. 4 Object extraction results of the Fig.10
그림 11의 물체 추출 결과Table. 5Object extraction results of theFig.11
PPT Slide
Lager Image
그림 11의 물체 추출 결과 Table. 5 Object extraction results of the Fig.11
Ⅴ. 결 론
본 논문에서는 사용자의 입력, 색상, 깊이 정보를 이용하여 의미있는 물체를 추출하는 방법에 대해 제안하였다. 마커 추출 과정에서 색상 정보와 깊이 정보를 함께 이용함에 따른 형태학적 기울기값에 대한 성분별 가중치 적용과 적응적 임계값 결정 방법을 적용하여 효과적인 과분할 방법을 제안하였으며, 과분할된 영역에 대해 깊이 정보 기반의 영역 제거 방법을 통해 의미있는 물체 추출 방법을 제시하였다. 그 결과 사용자가 원하는 관심 영역에서 의미있는 물체 추출이 이루어졌음을 알 수 있었다.
또한 제안된 방법은 깊이 정보를 하나의 중요한 정보 중 하나로 사용함으로써 부정확한 깊이 추정에 따른 성능 저하가 존재한다. 이에 따라 영역의 경계를 결정할 시에는 색상 정보만을 이용하여 영역 경계를 결정하도록 하여 비교적 정확한 영역 경계가 결정됨을 알 수 있었다.
Acknowledgements
이 논문은 2012년도 충북대학교 학술연구지원 사업의 연구비 지원에 의하여 연구되었음.
BIO
김만중(Man-Joung Kim)
2012년 2월 : 충북대학교 정보통신공학과 (공학사)
2012년 3월 ~ 현재 : 충북대학교 정보통신공학과 석사과정
※ 관심분야 : 멀티미디어, 영상신호처리
강현수(Hyun-Soo Kang)
1999년 2월 : KAIST 전기및전자공학과 졸업 (공학박사)
1999년 : 하이닉스반도체 과장
2001년 : 한국전자통신연구원 선임연구원
2002년 : 중앙대학교 첨단영상대학원 영상공학과 조교수
2005년 3월 ~ 현재 : 충북대학교 전자정보대학 정보통신학과 교수
※ 관심분야 : 영상신호처리, 영상부호화, 등.
References
Weszka J. S. 1978 "Survey : A Survey of Threshold Selection Techniques," Computer Graphics and Image Processing http://dx.doi.org/10.1016/0146-664X(78)90116-8 7 (3) 259 - 265    DOI : 10.1016/0146-664X(78)90116-8
Lim D. H. 2006 “Robust Edge Detection in Noisy Image,” Computational Statistics and Data Analysis http://dx.doi.org/10.1016/j.csda.2004.10.005 50 (3) 803 - 812    DOI : 10.1016/j.csda.2004.10.005
Adams R. , Bischof L. 1994 “Seeded region growing,” IEEE
Beucher S. , lantuejoul C. 1979 “Use of watersheds in contour detection,” Workshop on Image processing Rennes, France
Vinent L. , Solie P. 1991 “Watershed in Digital Spaces: An Efficient Algorithm Based on Immersion Simulations,” IEEE Transactions on Pattern Analysis and Machine Intelligence 583 - 597
Meyer F. 1994 “Topographic Distance and Watershed Lines,” Signal Processing http://dx.doi.org/10.1016/0165-1684(94)90060-4 38 113 - 125    DOI : 10.1016/0165-1684(94)90060-4
Moga A. N. , cramariuc B. , Gabbouj M. 1995 “A parallel watershed algorithm based on rainfalling simulation,” Proceedings 12th European Conference on Circuit Theory and Design Istanbul, Turkey 1 339 - 342
Ruiz V. O. , Llorente J. I. G. , Lechon N. S. , Vilda P. G. 2005 “An improved watershed algorithm based on efficient computation of shortest paths,” Pattern Recognition 3 1078 - 1090
Zou W. , Kpalma K. , Ronsin J. 2012 “Semantic Image Segmentation Using Region Bank,” 21st International Conference on Pattern Recognition Japan
Shotton J. , Johnson M. , Cipolla R. 2008 “Semantic texton forests for image categorization and segmentation,” Proc. CVPR
Mutto C. D. , Zanuttigh P. , Cortelazzo G. M. 2010 “Scene segmentation by color and depth information and its application,” in STreaming Day Udine, Italy
Bleiweiss A. , Werman M. 2009 “Fusing time-of-flight depth and color for real-time segmentation and tracking,” Proc. DAGM Workshop on Dynamic 3D Imaging 58 - 69
Depth Estimation Reference Software[Internet] http://wg11.sc29.org/svn/repos/MPEG-4/test/trunk/3D/depth_estimation/DERS/DERS
2008 “Reference Software of Depth Estimation and View Synthesis for FTV/3DV,” M15836
2009 Depth Estimation Reference Software(DERS) with Image Segmentation and Block Matching, M16092