Advanced
Realtime Vehicle Tracking and Region Detection in Indoor Parking Lot for Intelligent Parking Control
Realtime Vehicle Tracking and Region Detection in Indoor Parking Lot for Intelligent Parking Control
Journal of Korea Multimedia Society. 2016. Feb, 19(2): 418-427
Copyright © 2016, Korea Multimedia Society
  • Received : January 15, 2016
  • Accepted : January 31, 2016
  • Published : February 28, 2016
Download
PDF
e-PUB
PubReader
PPT
Export by style
Article
Author
Metrics
Cited by
About the Authors
승호, 연
Department of Electrical Information Control Engineering, Hongik Univ.
재민, 김
School of Electronic and Electrical Engineering, Hongik Univ.
jmkim@hongik.ac.kr

Abstract
A smart parking management requires to track a vehicle in a indoor parking lot and to detect the place where the vehicle is parked. An advanced parking system watches all space of the parking lot with CCTV cameras. We can use these cameras for vehicles tracking and detection. In order to cover a wide area with a camera, a fisheye lens is used. In this case the shape and size of an moving vehicle vary much with distance and angle to the camera. This makes vehicle detection and tracking difficult. In addition to the fisheye lens, the vehicle headlights also makes vehicle detection and tracking difficult. This paper describes a method of realtime vehicle detection and tracking robust to the harsh situation described above. In each image frame, we update the region of a vehicle and estimate the vehicle movement. First we approximate the shape of a car with a quadrangle and estimate the four sides of the car using multiple histograms of oriented gradient. Second we create a template by applying a distance transform to the car region and estimate the motion of the car with a template matching method.
Keywords
1. 서 론
- 1.1 스마트 주차 시스템
사용자 친화적인 첨단 주차장은 모든 주차장 공간에서 발생하는 이벤트들을 감시하고, 적절한 대처를 하며, 주차장 이용객들에게 여러 가지 편의 서비스를 제공할 수 있어야 한다. 현재 운영되고 있는 첨단 주차장에서 제공하는 이러한 편의 서비스는 빈 주차공간으로 안내하는 서비스나 주차한 차량의 번호판을 인식하여 차량의 주차 위치를 파악하고, 차주가 원하는 경우 주차 위치를 알려주는 서비스 등이 있다.
그러나 현재는 모든 주차 공간에 주차한 차량의 번호판을 인식하는 카메라를 추가로 설치하여야 하는 단점이 있다. 또한 주차된 차량의 상태에 따라 차량의 번호판을 잘못 인식할 수 있다 [1] . 하지만 모든 주차 공간을 감시하는 폐쇄 회로 텔레비전 카메라가 설치되어 있다면, 기존의 폐쇄 회로 텔레비전 카메라를 이용하여 차량을 추적하고 최종 주차 위치를 파악함으로 경제적으로 구현할 수 있다.
- 1.2 어안 렌즈 카메라를 이용한 차량 추적 및 영역 검출
일반적인 영상 감시 시스템은 감시 공간의 천장에 카메라를 설치하여 움직이는 객체를 검출, 추적, 인식한다. 이때 적은 수의 카메라로 넓은 공간을 감시하기 위해 어안렌즈(fisheye lens)를 사용하는 것이 필요하다. 천장에 설치된 카메라에서 어안렌즈를 통하여 획득한 영상에서는, 객체가 카메라와 가까운 영상의 중심에 올수록 객체의 크기가 커지며 중심에서 멀어질수록 크기가 작아진다. 감시대상이 차량인 경우 그 형상이 영상의 중심부에서는 반듯한 직사각형 모양이지만, 영상의 외곽에서는 찌그러진 사각형 모양이 된다. 어안렌즈를 통하여 획득한 동영상에서 객체를 추적하기 위해서는, 각각의 프레임에서 객체의 영역을 갱신하고, 갱신된 영역에서의 추출한 객체 정보를 이용하여 다음 프레임에서 객체의 위치를 추적하는 것이 필요하다.
- 1.3 실시간 차량 추적 및 영역 검출 방법
적은 연산량으로 구현 가능한 객체 추적 방법들은 다음과 같다. 우선 실시간으로 배경을 학습하면서, 학습된 배경과 현 영상의 차이를 이용하여 전경 블랍(foreground blob)을 검출하고, 블랍 단위로 객체를 추적하는 방법이 있다 [2 , 3] . 블랍 단위의 객체 추적은 객체 크기와 형상의 변화에는 강인하지만, 다수의 객체가 하나의 블랍으로 겹쳐지는 경우 블랍을 분리하고 추적하는 추가 과정이 필요하다. 자동차가 헤드라이트를 켜고 움직일 때 차량 영역뿐만 아니라 헤드라이트가 비춘 노면도 전경 블랍으로 검출하는 문제점이 있는데, 차분영상의 히스토그램을 클러스터링하여 헤드라이트가 비춘 노면과 차량을 분리하여 해결하였다 [4] .
적은 연산량으로 객체를 추적하는 다른 방법으로는 이전 프레임의 객체 영역에서 생성한 밝기의 히스토그램을 이용하여 다음 프레임에서 객체의 영역을 갱신하는 캠시프트(Continuously Adaptive Mean Shift) 방법이 있으며 [5] , 객체 영역의 밝기 히스토그램과 배경화소의 밝기 히스토그램을 정보를 융합하여 객체를 추적하는 베이즈 방법(Bayesian method)이 있다 [6 , 7] . 이 방법들은 객체의 밝기 분포와 배경의 밝기 분포가 유사한 경우 객체의 영역이 주변으로 확장되는 단점이 있다.
객체의 색조와 텍스처(texture)가 배경의 색조와 텍스처(texture)와 유사한 경우, 객체 경계면의 에지를 기반으로 객체를 추적하는 방법이 있다. 이 방법은 객체의 영역 내부에서 에지를 추출하여 이진 영상을 만들고, 에지로부터 거리가 멀어질수록 화소의 밝기를 크게 하는 거리 변환(distance transform) [8] 을 이진 영상에 적용하여 그레이 영상을 생성한다. 생성된 그레이 영상기반으로 템플릿 매칭을 수행하여 객체를 추적한다 [9] . 이 방법은 객체의 크기 및 형상의 변화가 일정 범위 이내라는 가정 하에 초기에 설정된 객체의 영역을 갱신하지 않고 계속하여 이용하는 한계가 있다.
실시간 객체 추적 방법 중에서 그 성능이 입증된 최근의 방법으로는 각각의 프레임에서 객체 추적에 적합한 특징을 추출하고, 추출된 특징을 이용하여 객체를 추정하는 방법이 있다 [10 , 11] . 특히 그 성능이 우수한 것으로 알려진 Zhang 등이 제안한 방법 [11] 은 사전에 오프라인으로 학습된 하웨이블릿(Haar wavelet) 기반 특징 풀(feature pool)에서 배경으로 부터 객체를 분리할 수 있는 특징들을 선택하고, 선택된 특징들을 이용하여 베이스 방법(Bayes method)으로 객체를 추적한다. 객체의 형상과 크기의 변화에도 불구하고 객체를 안정적으로 추적할 수 있다. 하지만 객체의 크기가 심하게 변하는 경우 초기에 설정한 객체 크기를 계속하여 적용하는 데는 한계가 있다.
- 1.4 해결하고자 하는 문제점
지하 주차장의 천장에 설치된 어안 렌즈 카메라를 통하여 획득한 동영상에서 헤드라이트를 켜고 움직이는 차량을 적은 연산량으로 검출하고 추적하고자 한다. 실험 환경에서 객체인 차량과 배경인 주차 노면의 색조와 텍스처를 비교하면 다음과 같다. 차량 본체와 주차 노면은 모두 매끄러운 표면을 가져 텍스처를 이용하여 차량과 노면을 차별화하는 것이 쉽지 않다. Fig. 4 . (a1)-(a3) 에서와 같이 천장 조명 기구 바로 아래의 노면은 밝기가 포화되어 흰색이며, Fig. 5 . (c1)-(c3) 에서와 같이 차량 헤드라이트가 집중 조명하는 노면 또한 밝기가 포화되어 흰색이다. 이런 경우 흰색 차량과 포화된 노면의 밝기는 매우 유사하다. 차량의 색과 형상에 관계없이 모든 차량을 안정적으로 추적하여야 하기 때문에 차량의 텍스처와 색조는 객체 추적에 이용하기 어렵다.
어안 렌즈로 획득한 영상에서 차량의 형상과 크기는 Fig. 4 의 (a1)-(a3) 와 Fig. 5 의 (c1)-(c3) 에서와 같이 그 변화가 매우 크다. 때문에 차량의 크기 변화와 형상 변화에 관계없이 차량을 추적하는 방법으로, 차량의 블랍을 검출하고 이를 바탕으로 차량을 추적하는 방법을 첫 번째로 생각해볼 수 있다. 차량이 단독으로 움직이는 경우는 [2 , 3 , 4 , 5 , 6 , 7] 의 방법으로 차량의 블랍을 추출하고 블랍 기반으로 차량을 추적하는 것이 가능하다. 하지만 Fig. 5 의 (c1)-(c3) 와 같이 흰색 차량과 검정색 차량이 마주보고 접근하는 경우에 [2 , 3 , 4 , 5 , 6 , 7] 의 방법으로 전경 블랍을 검출하면, 헤드라이트의 초점이 맺히는 노면과 흰색 차량을 하나의 전경 블랍으로 검출하는 경향이 있다. 두 번째로 [10 , 11] 의 온라인 학습 방법은 추적 성능이 매우 우수하나 차량의 크기의 변화가 심한 경우에는 적용하기 어렵다. 차량의 크기의 변화까지 고려한 다중스케일(multi-scale) 방법을 적용하면 연산량이 급격하게 증가하는 단점이 있다.
- 1.5 제안하는 방법
제안하는 방법은 연속된 영상 프레임에서 차량의 영역을 갱신하고, 갱신된 영역에서 추출된 차량의 정보를 이용하여 차량을 추적한다. 객체 추적 전체 흐름도는 Fig. 1 과 같으며, 다음과 같이 구현된다.
PPT Slide
Lager Image
Flowchart of object tracking.
step 1. 차량의 형상을 사각형으로
PPT Slide
Lager Image
근사화한다. 사각형의 네 경계면을 포함하는 주변 영역에서 방향성 기울기 히스토그램(histogram of oriented gradient)을 생성하고, 히스토그램을 분석하여 차량의 네 경계면을 추정한다.
차량이 흰색일지라도 차량이 천정으로부터 조명을 부분적으로 차단하여 차량 경계 면 주변의 노면에 약한 그림자가 부분적으로 존재한다. 이로 인하여 차량의 경계면 에서는 밝기 기울기(gradient) 값이 차량 내부나 배경보다 상대적으로 크다. 본 논문에서는 이러한 특성을 이용하여 차량의 경계면을 검출하고자 한다.
step 2.1 객체의 움직임 추정을 위하여 현 영상 프레임의 차량 영역 내에서 에지를 추출하여 이진 영상(binary image) E ( t )을 만들고, 생성된 이진 영상에 거리 변환(distance transform)을 적용하여 움직임 추정에 필요한 템플릿(template) IDT ( t - 1)을 생성한다. 본 논문에서는 에지를 추출함에 있어 배경에 의하여 생성된 에지 EBg ( t )는 배제하고 객체에 의하여 생성된 에지 EValid ( t )만을 추출한다.
step 2.2 이전 영상 프레임들에서 추정한 움직임 벡터들을 이용하여 다음 영상 프레임에서 객체가 위치할 후보 영역
PPT Slide
Lager Image
을 설정한다.
step 2.3 설정된 후보 영역에 거리 변환을 적용하여 그레이 영상 IDT ( t )을 만든다.
step 3 현 영상 프레임에서 생성한 템플릿과 다음 영상 프레임에서 생성한 그레이 영상을 템플릿 매칭 (template matching)으로 비교하면서 객체의 움직임
PPT Slide
Lager Image
을 추정한다.
2. 본 론
2.1절에서는 각각의 영상 프레임에서 차량을 사각형으로 근사화하고, 사각형을 이루는 네 경계면을 추정하여 차량의 영역을 갱신하는 방법을 기술한다. 2.2 절에서는 현 영상 프레임과 다음 영상 프레임을 비교하여 차량의 움직임을 추정하는 방법에 대하여 기술한다.
- 2.1 차량 영역의 갱신
천장에서 바라본 차량은 뚜렷한 전후좌우 경계를 가진다. 이러한 특성에 따라 차량의 모양을 사각형으로 근사화할 수 있다. 근사화한 사각형을 구성하는 네 경계면을 추정하여 차량의 영역을 추출한다. 사각형의 각 경계면은 경계면과 그 주변을 포함하는 영역에서 방향성 기울기 히스토그램을 생성하고, 히스토그램을 분석하여 경계면을 이루는 직선 방정식의 변수 값을 추정하여 찾을 수 있다.
- 2.1.1 후보 차량 영역
이전 영상 프레임에서 구한 차량 영역, 추정한 차량의 움직임 벡터, 영상에서 차량 위치 변화에 따른 차량 크기의 변화 등을 고려하여 후보 차량 영역을 설정한다.
이전 영상 프레임과 현 영상 프레임에서 추정한 차량의 움직임 벡터
PPT Slide
Lager Image
는 아래 식 (1)의 자동회귀모델(auto regressive model)로 갱신한다. 차량은 관성이 있어 그 움직임이 서서히 변화하며, 연속된 두 프레임사이에서 추정한 움직임 벡터는 추정 에러를 포함할 수 있기 때문이다.
PPT Slide
Lager Image
α 값은 실험을 통하여 정하였으며, 그 값은 0.6으로 하였다. 차량이 직진 주행하는 경우에는 α 값을 크게 하는 것이 좋으며, 차량이 곡선 주행하는 경우에는 α 을 작게 하는 것이 안정적이다.
차량 후보 영역 생성은 다음과 같다. 우선 Fig. 2 에서 굵은 점선의 사각형으로 표현한 이전 프레임에서의 차량 영역을 식 (1)에서 구한 움직임 벡터
PPT Slide
Lager Image
만큼 이동 시킨다. Fig. 2 에서 굵은 직선으로 표현한 사각형이 이동한 영역을 나타낸다. 초당 15 프레임으로 녹화하는 동영상에서 천천히 움직이는 차량은 연속된 프레임에서 그 크기와 형상의 변화가 크지 않다. 하지만 이전 프레임에서 갱신한 차량 영역에 오차가 있을 수 있으므로 차량 후보 영역을 상대적으로 크게 설정한다. Fig. 2 에서 작은 점선으로 표현한 사각형이 후보 차량 영역이다. 본 논문에서는 이동한 영역을 17% 확장하여 후보 영역으로 선정한다.
PPT Slide
Lager Image
Four boundary regions in which four histograms of oriented gradient are built, respectively.
- 2.2 차량 영역 구성하는 전후좌우 경계면의 추정
전후좌우 네 경계면 중에서 좌우 경계면을 추정하는 방법은 아래와 같다.
step 1. 식 (1)에서 구한 움직임 벡터 방향을 차량의 장축 방향으로 선정한다.
step 2. Fig. 2 .(a)에서 붉은색으로 표시된 영역에서 (a)의 우측에서 예시된 방향성 기울기 히스토그램 H ( y )을 생성한다. 히스토그램 생성은 다음과 같다.
PPT Slide
Lager Image
식 (2)에서 l ( y )는 차량의 진행 방향
PPT Slide
Lager Image
와 평행한 직선으로 히스토그램의 축과 교차할 때 교차점의 좌표 값이 y 이다.
식 (2)는 직선, l ( y ), 상의 각 화소에서 밝기 기울기 벡터 값을 구한 후, 차량의 진행 방향의 성분을 모두 합한 값이다. 합한 값은 직선이 차량의 경계면을 지날 때 가장 큰 값을 가지게 된다.
step 3. 히스토그램이 생성되면 히스토그램을 저역필터로 부드럽게(smoothing)한다.
step 4. Fig. 2 (a)의 히스토그램에서 극대값의 위치를 찾아 좌우 경계면을 결정한다.
전후 경계면은 Fig. 2 (b)의 파란색으로 표시된 영역에서 기울기 벡터 성분 중 차량의 진행 방향과 수직인 성분을 모두 합하여 히스토그램 H ( x )을 생성하고, 히스토그램에서 극대값의 위치를 찾아 전후 경계면을 결정한다.
Fig. 3 의 (d)와 Fig. 4 의 (e1)-(e3), Fig. 5 의 (c1)-(c3)는 제안한 방법으로 찾은 차량의 전후좌우 경계면을 보여주고 있다.
PPT Slide
Lager Image
Object Tracking: (a) input image, (b) Histogram of Oriented Gradient : H(y), (c) Histogram of Oriented Gradient : H(x), (d) four boundaries of a vehicle, (e) valid edges in the current frame, (f) valid edges in the next frame, (g) the result of distance transform in the previsou frame, (h) the result of distance transform in the current frame.
PPT Slide
Lager Image
Object tracking and region update (single car movement). (a1)-(a3) input images, (b1)-(b3) ground truth images, (c1)-(c3) Yeon method[4], (d1)-(d3) Elgammal method[7], and (e1)-(e3) the proposed method.
PPT Slide
Lager Image
Object tracking and region update (two cars moving toward each other). (a1)-(a3) Yeon method[4], (b1)-(b3) Elgammal method[7], and (c1)-(c3) the proposed method.
- 2.3 차량 움직임 추정
어안 렌즈 카메라로 촬영한 영상에서 차량이 움직이면 차량의 크기와 형상이 변화하기 때문에 단순한 템플릿 매칭(template matching) 방법은 신뢰도가 낮다. 본 논문에서는 거리 변환을 적용하여 생성한 그레이 영상간의 템플릿 매칭으로 차량의 움직임을 추정한다.
차량 움직임 추정에 기존의 거리변환 방법 [8 , 9] 을 적용함에 있어 다음과 같은 점을 개선하였다. 현 영상 프레임에서 추출한 에지는 객체인 차량에 의하여 생성된 에지뿐만 아니라 배경에 의하여 생성된 에지도 포함하고 있다. 차량의 경계면에 에지가 추출되지 않는 경우, 배경에 의하여 생성된 에지가 거리변환에 영향을 주는 문제점이 있다. 본 논문에서는 배경에 의하여 생성된 에지는 제거하고 객체에 의하여 생성된 에지만을 거리변환에 사용하였다.
움직임 추정 방법은 다음과 같다.
step 1. 2.1.1절에서 정한 후보 객체 영역에서 에지를 추출한다.
(a) 현 프레임 영상, I ( t ), 에서 밝기 기울기의 절대값이 상위 10%보다 큰 화소를 에지로 선택한다. E ( x,y,t ) = 1.
(b) 학습된 배경 영상, IBg ( t ),에서 밝기 기울기의 절대값이 상위 10%보다 큰 화소를 배경 에지로 선택한다. EBg ( x,y,t ) = 1.
(c) EBg ( x,y,t ) = 1로 선택된 화소 중에서 배경 영상과 현 영상의 화소 밝기 차이가 임계값보다 크면 배경 에지에서 제외시킨다.
PPT Slide
Lager Image
(d) 배경에 의하여 생성된 에지를 제외한 현 프레임에서의 에지를 객체에 의하여 생성된 에지로 판단하고 유효한 에지로 최종 결정한다.
PPT Slide
Lager Image
step 2. 이진 영상에 거리변환을 적용하여 그레이 영상, IDT ( t )을 생성한다.
PPT Slide
Lager Image
IDT ( x,y,t )는 화소, ( x,y )에서, 가장 가까운 유효에지( Evalid ( x′,y′,t ) ≡ 1), ( x′,y′ )까지 거리 이다. 유효 에지에서는 값이 0 이고 에지에서 멀어질수록 값이 증가한다.
step 3. 이전 영상 프레임의 객체 영역에 구한 IDT ( t - 1)을 템플릿으로 선정하고 현 영상의 후보 객체 영역에서 구한 IDT ( t )와 템플릿 매칭을 하여 객체의 움직임 벡터,
PPT Slide
Lager Image
,를 다음과 같이 추정한다.
PPT Slide
Lager Image
식 (6)은 절대오차의 합(sum of absolute difference)을 최소화하는
PPT Slide
Lager Image
을 움직임 벡터로 추정한다.
3. 실험 결과 및 고찰
- 3.1 실험에 사용한 영상 데이터
실내 주차장의 천장에 설치한 어안 렌즈 카메라로 촬영한 동영상을 실험에 사용하였다. 실험에 사용하는 동영상은 환경이 다른 두 곳의 실내 주차장에서 생성하였다. 한 주차장은 조명 기구가 형광등 램프이며, 주차장 바닥은 노란색조의 연회색의 광택 페인트로 표면 처리되어 있다. 이 주차장에서는 단독으로 움직이는 차량의 영역 검출 및 추적에 사용할 실험 데이터를 생성하였다. 다른 주차장은 밝은 회백색 노면에 발광다이오드(LED) 조명을 사용하였다. 이 주차장에서는 마주보며 다가오는 두 차량의 영역 검출 및 추적에 사용할 실험 데이터를 생성하였다.
단독 주행의 경우 검정색 차량과 흰색 차량의 주행을 각각 첫째 둘째 동영상에 녹화하였으며, 검정색 차량과 흰색 차량이 마주보고 주행하는 것은 셋째 동영상에 녹화하였다. 총 3개의 동영상을 실험에 사용하였다.
- 3.2 비교 실험 방법
어안 렌즈 카메라로 획득한 동영상에서 이동하는 객체는 형상과 크기의 변화가 크다. 때문에 각각의 프레임에서 객체의 영역을 갱신하고, 갱신된 영역에서 추출한 정보를 바탕으로 객체의 움직임을 추정하는 방법론을 채택하였다.
차량의 영역은 볼록 선체(convex hull) 형상이므로 차량의 영역이 제대로 갱신된다면 차량의 움직임의 추정은 어려운 문제가 아니다. 때문에 본 논문에서는 연속된 프레임에서 객체 영역을 안정적으로 검출 할 수 있는가에 초점을 맞추었다. 본 논문에서 객체의 움직임 추정은 적은 연산량으로 객체의 움직임을 추정할 수 있는 거리변환 기반의 움직임 추정 방법을 사용하였다.
객체 영역 추출은 제안한 방법과 기존의 두 방법을 비교하였다. 첫 번째 비교 방법은 배경학습기반으로 전경 블랍을 검출한 다음, 배경 영상과 현 영상의 차분 영상에서 히스토그램을 분석하여, 하나의 전경블랍으로 묶여 있는 차량 영역과 헤드라이트가 비춘영역을 분리하여 객체의 영역만을 추출하는 방법이다 [4] . 두 번째 방법은 고전적인 방법으로 이전 프레임에서 객체 영역에서의 밝기 히스토그램과 주변 배경 영역에서의 밝기 히스토그램을 생성하고 이를 바탕으로 현 프레임에서 객체의 영역을 추출하는 방법이다 [6] .
- 3.3 실험 결과
- 3.3.1 제안한 방법의 단독 차량 추적
차량 추정 영역의 경계면이 포함된 탐색 영역에서 식(2)를 바탕으로 Fig. 3 의 (b)와 (c)와 같이 방향성 기울기 히스토그램을 생성하였다. Fig. 3 의 히스토그램은 저역필터를 통과하여 부드럽게 한 것이다. 차량의 네 경계면을 추정하기 위하여 방향성 기울기 히스토그램의 극대값들로 경계면의 직선의 방정식의 변수들을 추정하였다. Fig. 3 의 (d)는 차량의 네경계면을 보여주고 있다. 템플릿 매칭을 위해 이전 프레임에서와 현재 프레임에서의 차량의 에지를 배경의 에지를 제거하고 Fig. 3 의 (e)와 (f)처럼 추출한다. 추출된 에지는 차량의 경계와 차량 내부의 에지만 포함하고 있음을 보여주고 있다. 추출된 에지에 거리 변환을 적용하여 Fig. 3 의 (g)와 (h)와 같이 템플릿 매칭을 위한 그레이 이미지를 생성하였다. 생성된 그레이 이미지를 통해 템플릿 매칭을 하여 다음 프레임에서의 움직임 벡터를 구한다.
- 3.3.2 단독 주행 차량의 추적 및 객체 영역 검출 비교
Fig. 4 Table 1 , 2 는 세 방법 모두 안정적으로 차량을 추적하고 영역을 검출함을 보여 주고 있다. 차량의 밝기와 노면의 밝기 차이에 따라 영역 검출에는 성능에 차이가 있다.
Single black car movement
PPT Slide
Lager Image
Single black car movement
Single white car movement
PPT Slide
Lager Image
Single white car movement
배경인 주차 노면과 밝기 차이가 큰 검정색 차량이 주행하는 동영상에서는, 제안한 방법보다 다른 두 방법이 영역 검출 에러가 작다. 반면에 노면과 밝기 차이가 작은 흰색 차량이 주행하는 동영상에서는, 제안한 방법이 다른 두 방법보다 검출 에러가 작다.
제안한 방법은 차량의 경계에서 밝기 기울기 정보를 이용하기 때문에, 차량과 배경의 밝기 분포에 관계없이 안정적으로 차량 영역을 추출할 수 있다. 하지만 천정에 설치된 카메라에서 본 차량의 형상은 사각형에 가까운 유선형 모양이다. 이를 사각형으로 모델링하고 네 변을 찾아 차량의 영역을 추출하는 제안된 방법은 최적의 네 경계면을 찾아도 영역 추출에 에러를 포함하게 된다.
검정색 차량과 같이 차량과 배경의 밝기 차이가 큰 경우, 제안한 방법은 차량의 네 경계면을 정확하게 검출하였지만 비교 방법들이 정확하게 차량의 영역을 추출하기 때문에, 제안한 방법이 에러가 상대적으로 크다. 흰색 차량과 같이 차량과 배경의 밝기 차이가 작은 경우, 제안한 방법은 좌우 측면 경계면은 안정적으로 찾지만, 차량의 전후 경계면은 차량의 전후 유리창 경계면으로 잘못 찾기도 한다. 하지만 이 에러의 크기는 비교 방법들의 에러에 비하여 상대적으로 작다.
아래 표는 동영상에서 계산한 거짓 양성 오차(false accept rate, FAR)와 거짓 음성 오차(false reject rate, FRR)의 평균값을 보여주고 있다.
PPT Slide
Lager Image
- 3.3.3 마주보고 주행하는 두 차량의 추적 및 객체 영역 검출 비교
흰색 차량과 검정색 차량이 마주보고 주행하는 동영상에서는 제안한 방법만 안정적인 차량 추적과 영역 검출 성능을 보여주고 있다. 마주보고 오는 검정색 차량과 흰색 차량의 헤드라이트가 다른 차량과 그 주변의 노면을 비추면 두 차량과 헤드라이트가 비춘 노면이 전부 하나의 전경 블랍으로 검출된다. 이렇게 생성된 전경 블랍을 히스토그램 클러스터링 방법으로 분해하면, 검정색 차량 영역은 분리되지만 헤드라이트가 비춘 노면과 흰색 차량이 하나의 블랍으로 묶이는 문제점이 있다. 베이즈 방법에서는 흰색 차량의 영역이 헤드라이트가 비춘 노면으로 확장되고 이는 객체 영역 내에서 밝기 히스토그램이 왜곡을 가져오면서 영역 검출 에러가 점차적으로 증가하는 문제점이 발생한다. 본 실험에서는 왜곡된 검출 에러가 점점 증가하여 차량을 추적하지 못하여 Table 3 에서 비교하지 않았다.
Two cars moving toward each other
PPT Slide
Lager Image
Two cars moving toward each other
블랍 기본으로 개체의 영역을 검출하는 비교 방법에 비하여, 제안한 방법은 차량의 네 경계면을 포함할 수 있도록 충분히 큰 영역을 예측하고, 예측된 영역에서 생성된 방향성 기울기 히스토그램을 이용하여 경계면을 추출한다. 이는 차량 경계면에 위치한 화소들의 밝기 기울기 차이를 이용하기 때문에, 마주오는 차량의 헤드라이트의 영향을 받지 않는다.
- 3.4 연산량
추적 및 검출 대상이 되는 차량은 형상이 사각형 모양으로 단조롭고 사이즈가 크기 때문에 저해상도에서도 안정적인 검출이 가능하다. 카메라 영상의 해상도는 1280×960이지만 객체 추적은 320×240 해상도로 줄여서 실험을 하였다. 2.80 GHz core i7 CPU 노트북에서 3468 프레임을 처리하여 연산량을 측정하였다.
제안한 방법은 차량 영역을 갱신하고 움직임 추정을 수행하는데 약 20ms 소요되었다.
4. 결 론
사용자 친화적인 첨단 주차 관제를 위해서는 주차장에 진입한 차량을 추적하여 최종적으로 주차한 위치를 파악해야 한다. 기존의 추적 방법들로는 차량과 헤드라이트와 주차장 노면간의 유사한 색조와 어안 렌즈 카메라로 인한 차량의 크기와 형상 변화로 인해 검출 및 추적이 어려웠다.
본 논문에서는 주차장에 설치된 어안 렌즈 카메라로 획득한 동영상에서 헤드라이트를 켜고 이동하는 차량을 적은 연산량으로 추적하고 검출하는 방법을 제안하였다. 제안한 방법은 우선 색조가 유사한 차량이라도 조명을 부분적으로 차단하여 생기는 그림자의 밝기 기울기가 존재하는 것을 이용하여 방향성 기울기 히스토그램으로 차량의 네 경계면을 찾아 차량의 영역을 갱신하였다. 다음으로 차량의 영역에 거리변환을 적용하여 생성한 템플릿과 다음 프레임의 영상에 거리변환을 적용하여 생성한 그레이 영상간의 템플릿 매칭으로 차량의 움직임을 추정하였다. 실험을 통하여 제안한 방법이 적은 연산량을 사용하여 안정적으로 차량 추적을 구현 가능함을 보여주었다.
BIO
김 재 민
1984년 2월 서울대학교 전기공학과 (공학사)
1994년 8월 Rensselaer Polytechnic Institute 전기공학 (공학박사)
2001년 3월∼현재 홍익대학교 전자전기공학부 교수
관심분야 : 영상처리, 패턴인식, 컴퓨터비전
연 승 호
2007∼2011년 홍익대학교 전자전기공학 학사
2011∼2013년 홍익대학교 전기정보제어공학 석사
2013∼현재 홍익대학교 전기정보제어공학 박사
References
Intelligent Parking Guidance and Automatic Vehicle Positioning System https://www.youtube.com/watch?v=rtwW8e_H_HI
Barnich O. "Improved Adaptive Gaussian Mixture Model for Background Subtraction," IEEE International Conference on Pattern Recognition 2004 Vol. 2 28 - 31
Zivkovic Z. 2011 "ViBe: A Universal Background Subtraction Algorithm for Video Sequences," IEEE Transactions on Image Processing 20 (6) 1709 - 1724    DOI : 10.1109/TIP.2010.2101613
Yeon S. , Kim J. 2015 "Realtime Object Region Detection Robust to Vehicle Headlight," Journal of Korea Multimedia Society 18 (2) 138 - 148    DOI : 10.9717/kmms.2015.18.2.138
Allen J. G. , Xu R.Y.D. , Jin J.S. "Object Tracking Using CamShift Algorithm and Multiple Quantized Feature Spaces," Proceedings of the Pan-Sydney Area Workshop on Visual Information Processing 2004 3 - 7
Comaniciu D. , Ramesh V. , Meer P. 2003 "Kernel-based Object Tracking," IEEE Transactions on Pattern Analysis and Machine Intelligence 25 (5) 564 - 577    DOI : 10.1109/TPAMI.2003.1195991
Elgammal A. , Harwood D. , Davis L. 2002 “Background and Foreground Modeling Using Nonparametric Kernel Density Estimation for Visual Surveillance,” Proceedings of the IEEE 90 (7) 1151 - 1163    DOI : 10.1109/JPROC.2002.801448
Borgefors G. 1986 “Distance Transformations in Digital Images," Computer Vision, Graphics, and Image Processing 34 (3) 344 - 371    DOI : 10.1016/S0734-189X(86)80047-0
Holzer S. , Hinterstoisser S. , Ilic S. , Navab Nassir "Distance Transform Templates for Object Detection and Pose Estimation," Proceeding of Computer Vision and Pattern Recognition 2009 1177 - 1184
Hare S. , Saffari A. , Philip H. , Torr S. "Struck: Structured Output Tracking with Kernels," International Conference on Computer Vision 2011 263 - 270
Zhang K. , Zhang L. , Yang M. 2013 "Real-Time Object Tracking via Online Discriminative Feature Selection," IEEE Transactions on Image Processing 22 (12) 4664 - 4667    DOI : 10.1109/TIP.2013.2277800