Advanced
Detection using Optical Flow and EMD Algorithm and Tracking using Kalman Filter of Moving Objects
Detection using Optical Flow and EMD Algorithm and Tracking using Kalman Filter of Moving Objects
The Transactions of The Korean Institute of Electrical Engineers. 2015. Jul, 64(7): 1047-1055
Copyright © 2015, The Korean Institute of Electrical Engineers
This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/3.0/)which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
  • Received : June 04, 2015
  • Accepted : June 16, 2015
  • Published : July 01, 2015
Download
PDF
e-PUB
PubReader
PPT
Export by style
Article
Author
Metrics
Cited by
TagCloud
About the Authors
정식 이
Dept. of Control and Robotics Engineering, Kunsan National University, Korea
영훈 주
Corresponding Author: Dept. of Control and Robotics Engineering, Kunsan National University, Korea. E-mail :yhjoo@kunsan.ac.kr

Abstract
We proposes a method for improving the identification and tracking of the moving objects in intelligent video surveillance system. The proposed method consists of 3 parts: object detection, object recognition, and object tracking. First of all, we use a GMM(Gaussian Mixture Model) to eliminate the background, and extract the moving object. Next, we propose a labeling technique forrecognition of the moving object. and the method for identifying the recognized object by using the optical flow and EMD algorithm. Lastly, we proposes method to track the location of the identified moving object regions by using location information of moving objects and Kalman filter. Finally, we demonstrate the feasibility and applicability of the proposed algorithms through some experiments.
Keywords
1. 서 론
최근 범죄와 테러 등 사건 사고 발생률이 증가함에 따라 사회 안전을 위해 CCTV(Closed Circuit television)를 중심으로 한 지능형 영상 감시 시스템(Intelligent video surveillance system) 개발의 필요성이 중요시 되고 있다 [1] . CCTV나 카메라를 기반으로하는 실시간 지능형 영상 감시 시스템은 기존의 관제 요원이 직접 감시하거나, DVR(Digital Video Recorder)를 이용하여 사후에 검사를 하도록 되어있는 시스템과는 달리 실시간으로 영상을 분석하여 감시 상황에 맞는 이벤트를 발생시킨다. 발생되는 이벤트는 알람, 경보 등으로 담당자에게 온-라인(on-line)으로 알려주는 행동을 수행하며 실시간 대응이 가능하도록 하는 시스템이다. 지능형 영상 감시 시스템은 영상 분석, 컴퓨터 비전, 패턴 인식 등의 기술을 적용하여 재난이나 테러, 방화, 거리 보안, 교통량 측정, DMZ 경계, 불법 주정차 단속 등 많은 분야에 활용되고 있다 [2] . 특히, 범죄로 인한 인명 피해를 예방하기 위해 사람 인식 및 관련 정보를 이용한 침입자 탐지, 추적 기술의 개발이 각광받고 있으며, 실시간으로 영상의 감시와 분석이 가능하기 때문에 영상 처리를 이용한 지능형 영상 감시 시스템의 수요가 매년 증가하고 있다.
지능형 영상 감시는 보통 이동물체의 탐지를 위한 움직임 영역 추출, 감지된 이동물체의 추적을 위한 움직임 영역의 특징 정보 추출, 마지막으로 특징 벡터를 기반으로 한 이동물체의 추적으로 이루어져 있다 [3] . 현재, 연속된 두 개의 영상 차이를 이용하는 움직임 영역 추출 기술은 많은 연구가 진행된 바 있으며 고정된 환경에서 Haritaoglu 등은 입력된 영상의 컬러의 픽셀(pixel) 변화를 학습하여 배경을 모델링하는 방법을 제안하였고 [4] , Barnich 등은 배경의 차를 이용하여 이동물체를 검출하는 방법을 제안하였다 [5] . 상기와 같은 방법들은 배경 모델링 이후 매우 빠른 속도로 움직임 이동물체를 추출 할 수 있는 장점을 갖고 있지만, 조도 변화나, 잡음 등에 민감한 특성을 갖고 있다 [20 - 24] .
또한, 검출된 이동물체를 효과적으로 분석하고, 인식하기 위해서는 추출된 움직임 이동물체만의 고유 특징 벡터가 필요하다. 특징 벡터를 추출하기 위한 방법으로 색상(color), 윤곽선(skeleton), 형태, 질감, 모양 등 많은 연구가 진행된바 있다 [6 - 10] . 이러한 방법 중 Dalal 등은 윤곽선 정보를 이용하여 사람, 자동차 등과 같은 이동물체를 인식하는 방법을 제안하였다 [6] . 이 방법은 에지(edge) 기반을 이용하기 때문에 영상의 밝기 변화나, 조명 변화 등에 덜 민감하다는 장점이 있지만, 내부 패턴이 복잡하지 않으면서 고유의 독특한 윤곽선 정보를 갖고 있어야 하는 단점도 있다.
그리고, 이동물체의 특징 정보를 이용한 추적 알고리즘으로는 희소 추적 방법인 Lukas-Kanade의 optical flow 방법이 제안되었다 [7] . 이 방법은 입력되는 두 영상에 대해 각 영상이 갖고 있는 코너 점의 픽셀에 대한 윈도우(window)를 설정하고, 다음 프레임(frame)에서 이 윈도우와 가장 잘 매칭(matching)되는 곳을 찾는 방법이다. 하지만, 모든 픽셀에 윈도우를 설정하고, 특징점을 매칭한다면 연산량이 많아 인식 속도가 느려지는 단점이 있다. Lowe 등은 영상의 크기와 회전에 불변하는 특징을 추출하는 SIFT(Scale Invariant Feature Transform) 알고리즘을 제안하였다 [8] . SIFT 알고리즘은 크기, 조명, 평행 이동, 회전에 강인한 반면 계산량이 많은 단점이 있다 [9] . 또한, Comaniciu 등은 컬러 분포를 특징 값으로 사용하는 Meanshift 알고리즘을 제안하였다 [10] . Meatshift 알고리즘은 추적하고자 하는 대상 이동물체에 컬러 히스토그램을 데이터베이스에 저장하고, 입력된 영상에서 추출한 이동물체와 가장 유사한 히스토그램을 갖는 윈도우 영역을 찾는다. 그러나, 이 방법 또한 복잡한 계산량에 의해 실시간 추적에는 무리가 따른다. 이러한 문제점을 보완하고, 연속적인 영상에 적용하기 위해 탐색 윈도우의 크기를 조정하는 CAMshift(Continuously Adaptive Mean-Shift) 알고리즘이 제안되었다 [11] . 그러나, 이 방법 역시 조도 변화나 잡음에 영향을 많이 받는 단점이 있다.
따라서, 본 연구에서는 상기 문제점을 보완하고 이동물체의 식별 및 추적 기술의 향상을 위한 시스템을 제안한다. 제안된 시스템은 크게 3 부분으로 나뉘어 진다: 이동물체 추출 (object detection), 이동물체 식별(object recognition), 그리고, 이동물체 추적 (object tracking). 먼저, 이동물체의 추출을 위해 GMM(Gaussian Mixture Model) 기법 [12 , 13] 을 이용하여 배경을 모델링하고, 모델링 된 배경에서 영상의 잡음을 제거하기 위해 기하학적 기법을 제안한다. 그 다음 모델링된 배경에서 다수의 이동물체 영역을 인식하기 위해 라벨링 기법을 사용한다. 그리고, 라벨링 기법을 통해 인식된 다수의 이동물체 식별을 위해 optical flow 기법과 색상정보를 융합한 방법을 제안한다. 마지막으로, 이동물체의 추적을 위해서 칼만필터와 이동물체의 위치 및 이동거리 정보를 이용한 추적 알고리즘을 제안한다. 최종적으로, 본 논문에서 제안한 방법은 여러 실험을 통해 그 응용 가능성을 제시한다.
본 논문의 구성은 다음과 같다. 2절에서는 제안한 전체 시스템 블록도에 대해 설명하고, 3절에서는 이동물체 영역의 추출 및 인식과 인식된 영역의 식별, 그리고 추적 방법에 대해 설명한다. 4절은 실험 및 결과 고찰 순으로 진행되며, 마지막으로 5절에서 본 논문에서 제안한 기법의 응용 가능성 및 결론을 맺는다.
2. 전체 시스템 블록도
본 논문에서 제안하는 optical flow와 EMD 알고리즘을 이용한 다수의 이동물체 식별과 Kalman filter를 이용한 추적 알고리즘의 전체 시스템 블록도는 그림 1 과 같다. 그림 1 은 크게 이동물체 추출, 이동물체 인식 및 식별, 그리고, 이동물체 추적 등 3부분으로 나누어진다.
PPT Slide
Lager Image
제안하는 시스템 블록도 Fig. 1 Block diagram of the proposed system
첫 번째로, 입력받은 RGB(Red-Green-Blue) 영상에서 이동물체를 추출하기 위해 배경을 모델링한다. 배경을 모델링하기 위한 방법으로는 조명 변화나, 이동물체의 모양 변화 등에 적응적이고 강인한 GMM 방법을 이용한다 [12 , 13] . 그리고 모델링 된 배경에서 이동물체가 검출되면, 검출 과정에서 발생하는 그림자 및 잡음으로 인한 인식 오차율을 줄이기 위해 영상의 이진화와 모폴로지(morphology) 기법을 수행한다 [14] . 두 번째로, 추출된 다수의 이동물체의 각 이동 영역을 인식하기 위해 라벨링 기법을 이용한다. 그 다음, 라벨링을 통해 인식된 이동물체를 식별하기 위해 optical flow와 EMD 알고리즘 방법을 융합하여 이동물체를 식별한다. 세 번째로, 식별된 이동물체를 추적하기 위해 칼만필터를 이용하여 이동물체의 추적 위치를 예측, 보정한다. 이때, 이동물체 추적 중 다수 이동물체가 겹쳐져 하나의 이동물체로 인식되거나, 겹쳐진 이동물체가 다시 분리되는 경우에도 지속적인 추적을 위해서 칼만필터에 의해 보정된 추적 위치와 각 이동물체의 위치 및 이동거리 정보를 이용한 추적 알고리즘을 제안한다.
3. 다수 이동물체의 인식 및 추적
- 3.1 GMM과 모폴로지 기법을 이용한 이동물체 추출
본 절에서는 감시 카메라로부터 입력된 RGB 영상에서 이동물체를 추출하기 위해서 먼저 GMM 기반의 전배경(foreground) 분리 방법을 이용하고 이 결과 영상에서 빛의 반사와 그림자를 분리하기 위해 영상에 이진화(binary)를 수행한다. 마지막으로, 모폴로지 기법을 이용하여 노이즈를 제거하여 최종적으로 이동물체를 추출하는 방법을 제안한다.
먼저, 감시 카메라로부터 입력된 RGB 영상에서 움직임 이동물체를 검출하기 위해서 확률 모델을 이용하는 GMM 기반의 전배경 분리 방법을 이용한다. GMM은 복수 개의 가우시안 확률 밀도 함수로 데이터의 분포를 모델링하는 방법이다. 본 논문에서는 먼저 입력영상 내 각 픽셀에 대하여 가우시안 확률 밀도 함수로 모델링한다. 그 다음, 픽셀의 변화에 따라 평균과 분산, 가중치를 적용하여 매 프레임마다 새로 입력되는 값을 적응시켜 학습된 배경을 형성하며, 배경의 학습을 통해 이동물체를 분리하고 검출한다. GMM의 개념도는 그림 2 와 같으며, 수식은 식 (1)과 같다.
PPT Slide
Lager Image
가우시안 혼합 모델 Fig. 2 Gaussian mixture model
PPT Slide
Lager Image
여기서, x 는 입력 데이터, p ( x | ωi , θi )는 평균이 ωi 이고, 분산이 θi 인 확률밀도함수를 의미하고, P ( ωi )는 각 확률밀도함수의 가중치이다.
배경 모델링된 상태에서 이동물체가 검출되었을 때 영상은 이진 영상이기 때문에 빛의 반사와 그림자가 발생한다. 이때 발생하는 그림자와 전배경을 분리하기 위해 임계값(threshold)을 이용한다. 사용된 임계값은 식 (2)와 같다.
PPT Slide
Lager Image
여기서 B ( x , y )는 배경 모델을 나타내며, D ( x , y )은 입력 영상을 나타낸다
그러나, 임계값을 적용하여 그림자 영역을 제거하여도 광원 변화나 카메라의 미세한 흔들림으로 인해 잡음이 발생한다. 이를 처리하기 위해 기하학적 영상 처리 기법인 모폴로지 연산 중 침식(erosion) 연산을 통해 영상의 노이즈를 제거하고, 영상의 침식 과정에서 발생하는 이동물체 영역의 부분적 손실을 팽창(dilation) 연산을 통해 손실된 부분을 복원한다.
제안된 방법을 사용한 결과는 다음과 같다: 그림 3(a) 는 입력 영상이며, 그림 3(b) 는 입력영상 3(a) 를 GMM 기법을 이용하여 이동물체를 추출한 영상이다. 여기서 사각형은 이동물체의 그림자를 나타낸다. 이 그림자를 제거하기 위해 이진화 기법을 사용한 결과는 그림 3(c) 와 같다. 본 그림에 의하면 그림자가 완전히 사라졌음을 나타낸다. 그러나 그림 3(c) 에서 볼 수 있듯이 아직 노이즈들이 존재한다. 그림 3(d) 는 이러한 노이즈는 모폴로지 기법을 이용하여 제거한 영상을 나타낸다.
PPT Slide
Lager Image
이진화와 모폴로지 연산을 이용한 이동물체의 노이즈 제거 Fig. 3 Noise elimination of the moving object by using binary and morphology
- 3.2 다수의 이동물체 영역 인식 및 식별 방법
모폴로지 연산을 통해 얻어진 다수의 이동물체 영역을 인식하기 위한 방법으로 라벨링을 수행 한다 [15] . 라벨링 기법은 입력 영상의 각 블롭들(blobs)에 대해 4 방향 또는 8 방향 커널을 적용하여 이웃 픽셀로 뭉쳐있는 영역을 찾아내는 방법이다. 본 연구에서는 라벨링 된 영역중 일정한 크기를 넘지 못하는 라벨은 잡음으로 간주하였다.
다음 그림 4 는 라벨링 기법을 통해 이동물체를 인식한 결과이다.
PPT Slide
Lager Image
이동물체 추출 영역에 대한 라벨링 수행 결과 Fig. 4 Labeling result in extraction area of the moving object
다음, 그림 4 와 같이 라벨링 기법을 통해 인식된 다수의 이동물체를 식별하기 위해서는 각 이동물체만의 고유 특징 정보를 알아야 하며, 이들의 행동을 분석하고 추적하기 위해서 특징 정보를 분석하는 과정이 선행되어야 한다. 따라서 본 연구에서는 이동물체 간의 고유 특징 정보를 알기 위해 영상의 왜곡에 강인한 특징점을 추출하여 optical flow 기법을 적용하며, 추출된 특징점을 기반으로 색상 정보 분석을 통한 다수의 이동물체 식별 방법을 제안한다.
먼저 특징점을 추출하기 위해 인식된 이동물체에 대하여 Shi와 Tomasi가 제안한 특징점 추출 방법을 이용하며 특징점은 다음 수식을 만족하는 점들로 주어진다 [17] .
PPT Slide
Lager Image
식 3은 Harris [16] 가 제안한 방법으로, β 는 미리 정의된 임계값, λ 1 , λ 2 는 두 고유벡터 방향에 대한 실제 영상 변화량을 의미한다. 여기서 λ 1 , λ 2 중 최소값이 β 보다 크면 특징점으로 식별하며 본 논문에서는 식별된 특징점을 F b(x, y) ( b = 1 ⋯⋯ d )라 정의한다.
그 다음 추출된 특징점을 이용해 optical flow 알고리즘을 적용한다. optical flow 알고리즘이란 입력되는 두 영상에 대해 각 영상이 갖고 있는 특징점을 추출하고, 잘 매칭된 특징점들에 대한 픽셀 이동량을 나타내는 방법이다 [17] . 여기서, 입력 영상의 모든 픽셀 정보를 구하면 연산량이 크게 증가하는 문제를 갖고 있다. 따라서 이러한 문제점을 해결하기 위해 이동물체 영역 주변에 관심영역을 지정하고, 관심영역 내에서만 픽셀 이동량을 계산함으로써 전체적인 연산량을 줄여 실시간 검출이 가능하도록 한다. 다음 그림 5 는 optical flow 기법을 통해 이전 이동물체 특징점 추출과 현 이동물체의 특징점 추출결과에 대해 두 영상을 매칭한 결과를 도시한 그림이다. 먼저, 그림 5(a) 5(c) 는 이전 영상과 현재 영상에 대하여 인식된 이동물체 추출 영역이다. 그리고 5(b) 5(d) 는 각 이동물체 추출 영역에 지정된 관심영역에 대해 optical flow 기법을 적용한 결과를 나타낸다. 여기서, optical flow 기법을 적용하여 매칭된 특징점 F b(x, y) 는 검정색 원으로 도시한다.
PPT Slide
Lager Image
두 영상간의 특징점 매칭 결과 Fig. 5 Matching results of feature points between two images
다음으로, 다수 이동물체의 식별을 위해 매칭된 특징점을 기반으로 색상 정보를 분석한다. 여기서, 특징점에 대해 색상정보를 분석하기에 앞서 이동물체로부터 추출된 가장 의미 있는 특징점을 선정한다. 본 논문에서는 이동물체의 강인한 식별을 위해서는 여러 실험을 통해 최소 3개 이상의 특징점이 필요하다고 판단하였다. 또한 매칭된 모든 특징점 영역에 대해 매 프레임마다 색상 정보를 분석하게 되면 이동물체 영역의 식별 성능은 향상되지만, 연산량이 매우 많아지는 문제점이 있다. 따라서 이동물체의 실시간 추적을 위해 가장 의미 있는 특징점 4개를 선정하였으며, 특징점을 선정하는 기준은 이동물체의 움직임 변화량이 가장 적은 부분으로 이동물체 영역의 무게중심으로부터 가장 가까운 특징점을 선택하였다. 이동물체의 무게 중심과 특징점간에 거리는 각각 식 4과 식 5와 같이 구한다.
PPT Slide
Lager Image
PPT Slide
Lager Image
여기서, ( Mokx , Moky )는 k 번째 이동물체 Mok 의 무게중심을 의미하며, Nm k 번째 이동물체 영역의 x 축의 영역의 픽셀의 수, Nn k 번째 이동물체 영역의 y 축 영역의 픽셀의 수를 의미한다. Eudb k 번째 이동물체 Mok 와 특징점(F)간의 Euclidean 거리를 의미하며, ( Fbx , Fby )는 b 번째 특징점 F b(x, y) 의 좌표를 의미한다.
다음 그림 6(a) 는 이동물체 추출 영역이며, 6(b) 는 색상 정보를 분석하기 위해 이동물체의 무게중심(검정색 원)으로부터 4개의 특징점에 대하여 관심영역을 지정한 결과를 나타낸다. 여기서, 지정된 관심영역은 검정색 Box로 도시한다.
PPT Slide
Lager Image
특징점 중심으로부터의 관심영역 지정 결과 Fig. 6 Pixel information with the matched feature points and the region of interest
다음으로, 관심 영역 내의 색상 정보 분석을 위한 방법으로 조명의 변화에 강인한 EMD 알고리즘을 적용한다 [18] . 여기서 EMD는 비교대상이 되는 두 개의 히스토그램이 있을 때 이 중 특정한 히스토그램과 일치시키기 위해 얼마나 많은 양을 옮겨야 하는지 계산한다. 이 때 필요한 최소 작업량( WORK )을 이용하여 두 히스토그램의 유사도를 판단한다. 식 (6)과 같이 두 히스토그램 P Q 를 정의한다.
PPT Slide
Lager Image
여기서, pi qj 는 색상을 의미하며, wpi wqj 색상에 대한 비율을 의미한다.
이때, 히스토그램 P Q 의 거리는 P Q 의 히스토그램과 일치시키기 위해 들어가는 최소 WORK 양을 계산함으로써 측정할 수 있으며, 식으로 표현하면 다음과 같다.
PPT Slide
Lager Image
여기서, WORK 는 히스토그램에서 옮겨진 색상의 거리 dij (ground distance)와 옮겨진 색들의 양 fij 의 곱으로 나타낸다. dij pi qj 로 이동시키기 위해 이동하여야 하는 거리를 의미하며, 본 논문에서는 이동 거리 척도를 색상(Hue)과 채도(Saturation) 값으로 이루어진 2차원 히스토그램에서의 Euclidean 거리로 정의하였다. 또한 fij pi qj 로 이동시키기 위한 일의 양으로 정의된다. 두 히스토그램을 일치시키기 위한 값 dij , fij 와 식 (7)의 결과가 최소값이 되도록 하는 값으로 EMD가 정의되며, 다음과 같은 제약 조건이 적용된다.
PPT Slide
Lager Image
PPT Slide
Lager Image
PPT Slide
Lager Image
PPT Slide
Lager Image
EMD는 전체 흐름에 대한 정규화 작업을 통해 다음 식 (11)과 같이 정의한다.
PPT Slide
Lager Image
본 논문에서는 이동물체 영역을 식별하기 위해 이동물체로부터 추출된 특징점을 기반으로 4개의 관심 영역에 대해 히스토그램을 계산하며, 각 각의 히스토그램으로부터 계산된 EMD 값을 바탕으로 사용자가 지정한 임계값을 통하여 이동물체의 유사도를 판별하고, 식별한다. 여기서 그림 6(a) 는 데이터베이스에 저장된 이동물체에 대하여 4개의 관심영역 중 한 개 영역의 색상과 채도 히스토그램이며, 그림 6(b) 도 마찬가지로 현재 입력 영상에서 식별하기 위한 이동물체의 히스토그램을 나타낸다. 다음 그림 7(c) 는 두 개의 히스토그램에 대하여 EMD 계산을 통해 유사도를 판별하여 Mo 1 을 식별한 결과를 도시한 그림이다. 또한 식별된 이동물체가 감시영역에 머무른 시간을 알 수 있도록 시간( t )를 적용하며, Mo k(t) 와 같이 정의하였다. 여기서 Mo k(t) k 번째 이동물체가 감시 영역에 머무르는 시간을 의미한다.
PPT Slide
Lager Image
EMD 값을 이용한 Mo1의 유사도 판별 및 식별 Fig. 7 Result of the similarity and identification of Mo1 using the EMD algorithm
상기와 같은 식별 과정을 매 프레임마다 수행함으로써 영상에서의 이동물체 영역을 식별하였으며, 이는 다수의 이동물체에 대해서도 식별이 가능함을 실험을 통해 보인다.
- 3.4 칼만필터와 이동물체의 위치 및 이동거리 정보를 이용한 추적
본 절에서는 앞서 식별된 이동 물체의 추적을 위한 방법으로 칼만필터를 이용한다 [19] . 여기서, 이동물체의 식별된 위치에 대하여 칼만필터를 적용하기 위한 시스템은 다음과 같이 모델링 하였다. 먼저, 이동물체의 추적 위치 ( x , y )와 속도( vx , vy )를 식 13과 같이 상태벡터로 나타낸다.
PPT Slide
Lager Image
여기서, 시간 t 에서의 상태 벡터 Xt 는 식 14와 같이 나타내며, 전이 행렬 A 는 식 15와 같다.
PPT Slide
Lager Image
PPT Slide
Lager Image
여기서, B 는 사용자 입력에 의한 상태 전이 행렬, wt 는 예측 노이즈 공분산 행렬 Qt 를 가지는 가우시안 분포 wt N (0, Qt )를 따르는 잡음 오차를 의미한다.
그 다음 측정값 zt 는 인식된 이동물체의 위치이며, 식 16과 같이 측정 방정식을 나타낼 수 있다.
PPT Slide
Lager Image
여기서, zt 는 인식된 이동물체의 위치만을 가지며 vt 는 측정노이즈 공분산 행렬 Rt 를 가지는 가우시안 분포 vt N (0, Rt )를 따르는 잡음 오차를 의미한다. 따라서 상태 행렬 H는 상태 벡터에서 속도를 나타내는 요소는 제거하고, 위치를 나타내는 요소만 적용하여 다음 식 17과 같이 나타낼 수 있다.
PPT Slide
Lager Image
상기와 같은 처리 과정을 통해 칼만필터를 적용하여 이동물체의 추적 위치를 보정한다. 하지만, 그림 8 과 같이 다수의 이동물체 영역이 겹쳤을 경우에는 두 물체의 영역이 하나의 이동물체로 인식되는 경우가 있다. 여기서, 인식된 이동물체 영역에 대해서만 식별하고, 추적하기 때문에 겹쳐진 이동물체는 추적에 실패하는 경우가 발생한다. 원인은 겹쳐진 물체의 위치를 갱신하지 못하기 때문이다. 따라서, 본 논문에서는 이와 같은 문제점을 해결하기 위한 방법을 제안한다.
PPT Slide
Lager Image
이동물체의 겹침 현상 Fig. 8 The overlap phenomenon of object
그림 9 는 본 논문에서 제안하는 다중 이동 물체의 인식, 물체의 식별 및 추적에 대한 전체 알고리즘을 도시한 그림이다. 그림 9 에 도시된 알고리즘은 크게 3 부분으로 나누어지며, 설명은 다음과 같다:
PPT Slide
Lager Image
이동 물체 추적을 포함한 제안된 전체 알고리즘 Fig. 9 The proposed algorithm including object tracking
1) 이동물체 인식 및 식별 : GMM 기반의 모델링 된 배경 영상에서 이동물체가 인식되었을 경우 이동물체를 식별하기 위해 optical flow와 EMD 기법을 이용하며, 다음과 같은 식별 과정은 매 프레임마다 수행된다. 만약 이동물체 영역의 식별이 완료되면 이동물체의 시간변수 T 는 입력 영상으로부터 식별이 처음 완료된 시간을 갱신하게 된다. 그리고 인식된 이동물체 식별에 실패 할 경우에는 위치 추정 단계를 수행한다.
2) 칼만필터를 이용한 추적 및 겹침 여부 판단 : 식별된 이동물체의 위치는 칼만필터를 이용하여 추적 위치를 보정한다. 그 다음, 다수의 이동물체가 겹쳐진 경우를 판단하기 위한 방법으로 Euclidean 거리를 이용하며 식 18과 같이 나타낸다.
PPT Slide
Lager Image
여기서, i j 는 식별된 이동물체의 번호를 의미하고, 두 이동물체의 distance 와 사용자 정의 거리 δ 1 를 이용하여 겹침 여부를 판단한다. 만약 이동물체가 겹쳐지지 않은 경우 해당 이동물체 영역의 위치를 갱신하고, 추적하게 된다.
3) 이동물체의 위치 추정 : 인식된 이동물체의 식별에 실패하거나, 다수의 이동물체가 겹쳐진 경우에는 위치 추정 알고리즘을 수행한다. 본 연구에서는 위치 추정을 위해 칼만 필터로 보정된 이전 영상에서의 추적위치
PPT Slide
Lager Image
(Previous object)와 식별에 다시 성공된 현재 이동물체 영역
PPT Slide
Lager Image
와의 Euclidean 거리를 이용하며 식 19와 같이 나타낸다.
PPT Slide
Lager Image
여기서, 두 이동물체의 거리 오차 Error 가 사용자 정의 거리 δ 2 보다 작을 경우 식별된 이동물체 영역은 동일 물체로 추정하여
PPT Slide
Lager Image
의 위치는
PPT Slide
Lager Image
의 위치로 갱신된다. 따라서 다음과 같은 방법으로 식별에 실패 할 경우에도 추적 위치를 갱신함으로써 지속적인 추적을 가능하게 한다. 또한 이동물체 영역이 겹쳐져 하나의 이동물체 영역으로 인식될 경우에는 인식된 하나의 물체 영역에 대해서만 식별이 가능하고, 식별된 영역을 추적 할 수 있다. 이때, 식별되지 못한 이동물체 영역의 위치를 추정하기 위한 방법 으로
PPT Slide
Lager Image
로부터 현재 하나로 식별된 이동물체 영역의 위치
PPT Slide
Lager Image
와의 이동 거리 정보를 이용한다. 본 연구에서는
PPT Slide
Lager Image
의 위치가 이동하는 거리만큼
PPT Slide
Lager Image
도 동일하게 이동한다고 가정하였으며, 이 가정은 이동물체 영역이 다시 분리될 때 까지 지속된다. 그 다음 이동물체 영역이 분리 되었을 때 분리된 두 영역은 다시 식별된다. 이때, 식별된 이동물체의 위치
PPT Slide
Lager Image
PPT Slide
Lager Image
와의 관계는 식 19를 통해 판단하며, 거리 오차 Error 가 사용자가 정의한 거리 δ 2 보다 작을 경우 식별된 이동물체 영역은 겹쳐졌던 물체로 추정되어
PPT Slide
Lager Image
의 위치는 식별된 이동물체 영역의 위치로 갱신된다.
상기와 같이 제안한 방법을 통해 인식된 이동물체 영역의 식별에 실패하거나, 두 이동물체의 영역이 겹쳐지고 분리되는 과정에서 식별되지 못한 이동 물체 영역의 위치를 추정함으로써 지속적인 추적이 가능함을 알 수 있다. 마지막으로 추적중인 이동물체가 입력 영상에서 사용자가 사전에 정의한 시간 변수 T 만큼 감지되지 않을 경우 해당 이동물체 영역의 식별된 정보와 영상에 머물렀던 시간을 데이터베이스에 저장하고, 이동물체가 사라졌다고 판단한다.
4. 실험 및 결과 고찰
본 논문에서 제안한 Optical flow와 EMD 알고리즘을 이용한 다수의 이동물체 식별과 Kalman 필터를 이용한 추적 알고리즘은 이동물체의 식별 및 추적 기술의 향상을 위해 개발되었으며, 영상에서의 이동물체 영역의 식별과 다수의 이동물체 영역이 겹쳐질 경우에 대하여 실험하였다. 실험 환경은 i5-2500 3.3GHz CPU, 4GB RAM의 PC에서 수행하였고, 640x480 픽셀, 초당 30 프레임의 웹 카메라를 사용하였다. 또한, 실험은 실내 환경에서 진행되었기 때문에 이동물체는 3명으로 하였다.
그림 10 는 각 입력 영상에서 이동물체를 식별하고, 두 이동물체 영역이 겹칠 때와 분리될 경우의 이동물체 추적 결과를 frame 별로 도시한 그림이다. 여기서, 그림 10(a) (b) , (c) 는 각각의 이동물체 영역 Mo 1 , Mo 2 , Mo 3 에 대하여 식별한 결과를 도시한 그림이며, 그림 10(d) ~ (j) 는 다수의 이동 물체 영역이 겹쳐지고 나서 다시 분리되는 과정에도 추적에 성공한 결과를 도시한 그림이다.
PPT Slide
Lager Image
이동물체의 위치 및 이동거리 정보와 칼만필터를 이용한 추적 Fig. 10 Tracking the moving object using position and movement distance information with Kalman filter
그림 10 에서 알 수 있듯이 제안한 방법은 색상 정보 소실로 인한 이동물체 식별에 실패하거나, 겹쳐진 경우에도 지속적인 추적이 가능함을 증명한다.
그림 11 은 같은 입력 영상에서 이동물체 Mo 1 , Mo 2 , Mo 3 의 추적 위치 오차율에 관한 실험 결과이다. 그림 11 의 그래프는 각 Frame별로 이동물체 영역의 실측 위치 GT(Ground Truth)와 칼만필터, 그리고 본 논문에서 제안한 방법을 이용한 추적 오차율을 나타낸다. 여기서, 각각의 원은 Mo 1 Mo 2 가 겹쳐진 경우, 사각형은 Mo 1 Mo 3 이 겹쳐진 경우, 그리고 삼각형으로 표시된 영역은 Mo 2 Mo 3 영역이 서로 겹쳐진 경우를 의미한다. 겹쳐진 경우에 대해 칼만필터를 이용한 방법과 제안한 방법을 이용한 오차율을 비교해 보면, 제안한 방법이 Mo 1 ~ Mo 3 까지 각각 2.04%, 4.54%, 5.56% 낮아졌음을 확인하였다.
PPT Slide
Lager Image
이동 물체 추적 오차 결과 Fig. 11 Tracking error of moving objects
다음 표 1 은 본 실험에 대한 이동물체 영역의 추적 오차율을 나타낸다. 표 1 에 의하면 기존 순수 칼만 필터에 의한 추적 보다 본 연구에서 제안한 알고리즘에 의한 추적 오차가 더 적음을 알 수 있다.
누적된 추적 오차율Table 1Cumulative tracking error rate
PPT Slide
Lager Image
누적된 추적 오차율 Table 1 Cumulative tracking error rate
5. 결 론
본 논문에서는 optical flow와 EMD 알고리즘을 이용한 다수의 이동물체 식별과 Kalman 필터를 이용한 추적 알고리즘을 제안하였다. 제안한 시스템은 고정된 카메라에 입력된 영상에서 추출된 이동물체의 인식을 위해 라벨링 기법을 이용하였으며, 인식된 이동물체의 식별을 위해 optical Flow 알고리즘과 이동물체의 색상 기반 히스토그램 정보를 EMD 알고리즘에 적용하는 방법을 제안하였다. 그 다음 식별된 이동물체 영역의 위치를 추적하기 위해 칼만필터와 이동물체의 위치 및 이동거리 정보를 이용한 알고리즘을 제안하였다. 제안된 방법은 이동물체 영역이 겹쳤을 경우에도 이동물체의 추적율을 높이고, 겹침 현상에도 지속적인 추적이 가능한 시스템을 구현하였으며, 여러 실험을 통해 제안된 알고리즘에 대한 응용 가능성을 증명하였다.
향후 연구로는 같은 색상을 가진 움직임 이동물체가 추출 될 경우 인식률이 떨어지는 단점을 극복하고 다수의 카메라를 이용한 침입자 추적 알고리즘 연구를 통한 보다 진보된 지능형 감시 시스템을 구축할 계획이다.
Acknowledgements
본 연구는 2014년도 지식경제부의 재원으로 한국에너지기술평가원(KETEP)의 지원을 받아 수행한 연구 과제(과제번호: 20144030200590)와 2015년도 정부(교육부)의 재원으로 한국연구재단(과제번호: NRF-2015R1A2A2A05001610)의 지원을 받아 수행된 연구임.
BIO
이 정 식(Jung Sik Lee)
2014년 군산대학교 전자정보공학부졸업. 2015년~현재, 동 대학원 석사과정. 관심분야는 Human-Robot Interaction, 지능형 감시 시스템, 로봇 비젼, 인간-로봇 상호작용.
주 영 훈(Yung Hoon Joo)
1982년, 1984년, 1995년 연세대학교 전기공학과 졸업 (공학사, 공학석사, 공학박사). 1986~1995년 삼성전자 ㈜생산기술센터 팀장. 1995년~현재 군산대학교 제어로봇공학과 교수. 1998년~1999년 미국 휴스턴대학 박사후 과정, 2006년~2007년 제어․로봇시스템학회 편집주간. 2008년~2009년 한국 지능시스템학회 회장. 2009년~2013년 군산대학교 PostBK21 팀장. 2013년~2014년 대한전기학회 부회장, 대한전기학회 정보제어부문 회장, 2014년~현재, International Journal of Control, Automation, and Systems(IJCAS) Editor-in-Chief, 한국지능시스템학회 자문위원, 관심분야는 지능형로봇, 지능제어, 로봇비젼, HumanRobot Interaction, 지능형 감시 시스템, 풍력발전단지제어.
References
Jeon H. S. , Kim S. G. , Joo Y. H. 2011 “Multiple objects tracking for intelligent video surveillance system.” Journal of Korean Institute of Intelligent System (in Korean) 21 (2) 171 - 172    DOI : 10.5391/JKIIS.2011.21.2.171
Kim J. G. , Joo Y. H. , Yeom D. H. 2012 “Object surveillance and unusual-behavior judgment using network camera.” The Transactions of the Korean Institute of Electrical Engineers (in Korean) 61 (1) 125 - 129    DOI : 10.5370/KIEE.2012.61.1.125
Kim J. S. , Joo Y. H. , Yeom D. H. 2010 “Extraction and classification method of the moving object.” The Transactions of the Korean Institute of Electrical Engineers (in Korean) 1832 - 1833
Haritaoglu I. , Harwood D. , Davis L. S. 2000 “W 4: Real-time surveillance of people and their activities.” IEEE Transactions on Pattern Analysis and Machine Intelligence 22 (8) 809 - 830    DOI : 10.1109/34.868683
Barnich O. , Droogenbroeck M. V. 2011 “ViBe: A universal background subtraction algorithm for video sequences,” IEEE Transaction. Image Processing 20 (6) 1709 - 1724    DOI : 10.1109/TIP.2010.2101613
Dalal and N. , Triggs B. 2005 “Histograms of oriented gradients for human detection.” IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR 2005) 1 886 - 893
Barron J. L. , Thacker N. A. 2005 “Tutorial: Computing 2D and 3D optical flow” Online available:
Lowe D. G. 2004 “Distinctive image features from scale-invariant keypoints.” International Journal of Computer Vision 60 (2) 91 - 110    DOI : 10.1023/B:VISI.0000029664.99615.94
Kim S. R. , Yoo H. J. , Shon K. H. 2012 “FAST and BRIEF based real-time feature matching algorithms.” Autumn conference of Korean Society Broadcast Engineering (in Korean) 1 - 4
Comaniciu D. , Meer P. 2002 “Mean shift: A robust approach toward feature space analysis.” IEEE Transactions on Pattern Analysis and Machine Intelligence 24 (5) 603 - 619    DOI : 10.1109/34.1000236
Zhang C. , Fallon Y. E. , Xu C. 2009 “An improved camshift algorithm for target tracking in video surveillance,” Conference of 9th. Information Technology & Telecommunication 19 - 26
Stauffer C. , Grimson W. E. L. 2000 “Learning patterns of activity using real-time tracking.” IEEE Transactions on Pattern Analysis and Machine Intelligence 22 (8) 747 - 757    DOI : 10.1109/34.868677
Zivkovic Z. 2004 “Improved adaptive Gaussian mixture model for background subtraction” Proceedings of the 17th International Conference on Pattern Recognition (ICPR 2004.) 2 28 - 31
Gonzalez R. C. , Woods R. E. , Eddins S. L. 2009 “Digital image processing using MATLAB,” McGraw-Hill Publisher
Chang F. , Chen C. J. , Lu J. J. 2004 “A linear-time component labeling algorithm using contour tracing technique,” Computer Vision and Image Understanding 93 (2) 206 - 220    DOI : 10.1016/j.cviu.2003.09.002
Sun L. , Wang S. , Xing J. 2014 “An improved Harris corner detection algorithm for low contrast image” IEEE Control and Decision(CCDC, 2014) 3039 - 3043
Eduardo R. , Fantoni-coichot I. , Sanchez A. , Sanahuja G. 2009 “Optical flow-based controller for reactive and relative and relative navigation dedicated to a four rotor rotorcraft,” IEEE/RSJ International Conference on Intelligent Robots and Systems 684 - 689
Wojtaszek D. , Laganiere R. 2002 “Tracking and recognizing people in colour using the earth mover’s distance” Proceedings of the IEEE International Workshop Haptic Virtual Environments and Their Applications 91 - 96
Huang S. , Jingxin H. 2011 “Moving object tracking system based on camshift and Kalman filter.” IEEE International Conference on Consumer Electronics, Communications and Networks(CECNet) 1423 - 1426
Kim J. S. , Yeom D. H. , Park J. B. , Joo Y. H. 2010 “Intelligent Unmanned Anti-theft System Using Network Camera” International Journal of Control, Automation, and Systems 8 (5) 967 - 974    DOI : 10.1007/s12555-010-0505-0
Kim J. S. , Yeom D. H. , Joo Y. H. 2011 “Fast and Robust Algorithm of Tracking Multiple Moving Objects for Intelligent Video surveillance” IEEE Transactions on Consumer Electronics 57 (3) 1165 - 1170    DOI : 10.1109/TCE.2011.6018870
Kim M. H. , Joo Y. H. , Park J. B. 2005 “Gesture extraction for ubiquitous robot-human interaction,” Journal of Control, Automation, and Systems Engineering (in Korean) 11 (12) 1062 - 1067    DOI : 10.5302/J.ICROS.2005.11.12.1062
Kim M. H. , Park J. B. , Joo Y. H. 2005 “New fuzzy skin model for face detection,” Lecture Notes in Computer Science 3809 557 - 566
Yeom D. H. , Joo Y. H. , Park J. B. 2010 “Selection of Coefficient for Equalizer on Optical Disc Drive by Golden Search” IEEE Transactions on Consumer Electronics 56 (2) 657 - 662    DOI : 10.1109/TCE.2010.5505984