Advanced
Indoor Precise Positioning Technology for Vehicles Using Floor Marks
Indoor Precise Positioning Technology for Vehicles Using Floor Marks
Journal of the Korea Institute of Information and Communication Engineering. 2015. Oct, 19(10): 2321-2330
Copyright © 2015, The Korean Institute of Information and Commucation Engineering
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License(http://creativecommons.org/li-censes/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
  • Received : June 29, 2015
  • Accepted : September 11, 2015
  • Published : October 31, 2015
Download
PDF
e-PUB
PubReader
PPT
Export by style
Share
Article
Author
Metrics
Cited by
TagCloud
About the Authors
지훈 박
재성 이
jaesung.lee@ut.ac.kr

Abstract
실내에서 무용지물이 되는 GPS 의 한계로 다양한 실내 측위 기술에 대한 연구가 진행되고 있으나 대부분 사설 무선 네트워크 기반의 실내 측위 방법들로 고가의 설치 및 유지보수 비용, 비실시간성, 그리고 낮은 정확도 때문에 상용화가 어려운 실정이다. 본 논문에서는 기존에 증강현실에 사용되던 마크 인식 알고리즘을 최초로 차량용 실내 측위분야에 적용하였다. 지면에 플로어 마크를 설치하고 마크의 투영 변환 및 정보 디코딩을 통해 마크 내부의 정보(절대 좌표)를 인식하고 기하학적 분석을 통해 차량이 마크로부터 떨어진 정밀한 위치와 접근 방향(상대 좌표)를 인지할 수 있도록 하였다. 실험 결과 5m 단위로 마크를 설치했을 때 약 30 cm 이내의 오차만 발생하였고, 20km/h 의 속도에서 초당 20 프레임의 이미지 중 43.2% 의 마크 인식률을 보여 충분히 상용화 가치가 있음을 확인하였다.
Keywords
Ⅰ. 서 론
국내 ITS (지능형 교통 시스템) 기술은 최근 몇 년간 급속한 발전 및 저변 확대를 이루어 이제는 비단 도로에서 뿐만 아니라 지하 또는 실내 주차장과 같이 Public Network 통신이 제한적인 환경에서도 ITS 기술 도입을 고려하고 있는 추세이다. 그러나 현재는 주차 칸의 점유 유무를 인지해 주차가 가능한 차량 대수를 안내해주는 정도 수준에 머물고 있으며 차량이 주차장 내부로 들어와 주차를 하기 까지 또는 주차된 차가 출차를 할 때까지 정확한 위치를 기반으로 실시간 경로 안내를 해주는 서비스는 아직 상용화되고 있지 않다. 이는 실내에서 무용지물이 되는 GPS (Global Positioning System)의 한계 [1] 때문으로 대안책 마련을 위해 최근 다양한 기술에 대한 연구가 진행되고 있다.
현재 실내에서 GPS를 대체할 기술로 대두되고 있는 대표적인 기술은 사설 무선 통신망(private wireless network)을 이용한 측위 방법이다 [2] .
이 분야에 가장 많이 사용되는 무선 통신 규격들로는 WLAN, Bluetooth, UWB (Ultra-Wideband) 들이 있으며, 주로 Fingerprinting 과 삼각측위 알고리즘을 이용하여 측위를 수행한다.
Fingerprinting 은 다양한 위치에 따른 WLAN 또는 Bluetooth 등의 신호들을 수집하여 측위 모델을 구성한 후 사용자가 임의 위치에서 실 측정한 신호를 그 측위모델과 비교하여 그 위치를 평가하는 기술로 오차는 약 1 ∼ 3 m 를 보인다.
무선통신기반 실내측위 기술들과 비교Table. 1 Comparison between radio-based indoor positioning Technologies
PPT Slide
Lager Image
무선통신기반 실내측위 기술들과 비교 Table. 1 Comparison between radio-based indoor positioning Technologies
Bluetooth 기반 방법은 WLAN와 비교하였을 때, AP (Access Point) 가 소모하는 전력이 적다는 장점이 있고 ibeacon 과 같은 초소형 모듈 형태로 원하는 위치에 AP를 배치할 수 있다는 장점이 있어 WLAN 보다 측위 정확도를 높일 수 있다.
한편 삼각 측위 기술은 단말기와 세 개의 AP간 신호세기를 측정해 현재 위치를 계산해내는 기술인데, WLAN 이나 Bluetooth 같은 일반적인 RF 신호에 삼각측위 기술을 적용하면 신호의 반사와 왜곡 때문에 정확한 위치를 측정하기 어려워 초단파 신호를 채용한 UWB 신호를 사용한다. UWB 의 초단파 신호는 실내의 장애물들을 통과하기 때문에 왜곡이나 신호 반사를 크게 줄일 수 있어 측정 정확도가 높아진다.
그러나 UWB 의 주파수 대역은 예약된(reserved) 영역이 아니어서 근처에 있는 다른 용도의 시스템에서 이미 이용되고 있는 경우가 많아 간섭 문제가 발생할 수 있다. 또한, UWB 를 지원하는 단말기 부품은 다른 무선 통신 부품에 비해 생산 단가가 높아 상용화가 어렵다는 단점이 있다.
무엇보다 이러한 무선 통신 기반 실내 측위 방법들은 공통적으로 두 가지의 치명적인 단점을 갖고 있는데, 첫째 측위를 수행하고자 하는 건물 실내 내부 곳곳에 신호를 송수신할 수 있는 기기를 설치해야 한다는 점이다. 이에 따라 설치 및 유지 보수비용이 크게 증가하게 된다. 특히 fingerprinting 방식의 경우 주기적으로 측위모델을 갱신해줘야 하므로 더 많은 인력이 필요하다. 두 번째는 단말기와 AP들간 연결 지연 시간(hand-over delay)이다. 하나의 AP와 단말기가 새롭게 통신 연결을 완성하기까지는 수백 msec ~ 수 sec 의 시간이 걸리므로 이동 중인 차량이 한 AP의 무선 영역(셀)을 벗어나 새로운 AP의 무선 영역 안으로 들어올 때 새로운 연결수립을 위해 지연 시간만큼 대기해야 하므로 실시간성 측면에서 매우 취약하다.
이런 무선통신기술의 제약조건을 해결하기 위해 영상처리기술을 이용해 실내 측위를 하는 연구들이 최근 시도되고 있다. 시도된 영상처리 기반의 측위 방법은 주로 마크의 패턴을 인식해 위치를 측정하는데, 그 예로는 한국전자통신연구원에서 자체 개발된 D-Mark 기반 실내 측위 기술 [3] 이 있다. 카메라가 지나가는 경로의 바닥 면에 D-Mark를 부착해 기하학적 계산으로 측위를 하는 방식이다. 그러나 D-Mark는 마크의 인식에 있어서는 탁월하지만 별도의 세부 정보를 내포하는 기능이 없어 세부적인 위치 정보(위도, 경도 등) 등을 표현할 수 없다.
본 논문에서는 기존에 증강현실에 사용되던 마크 인식 알고리즘을 최초로 차량용 실내 측위 분야에 적용하여 본다. 지면에 플로어 마크를 설치하고 영상처리기술로 마크의 투영 변환 (Perspective Transformation) 및 정보 디코딩, 그리고 기하학적 분석을 통해 마크 자체의 정보 인식뿐만 아니라 해당 차량의 정밀한 위치(차량이 해당 마크로부터 떨어져 있는 위치)와 접근 방향(차량이 향하고 있는 방향)을 파악할 수 있도록 한다. 이렇게 확보된 정밀 측위 정보는 협소한 실내 주차장 안에서도 주차관리시스템과 내비게이션 간 연동을 통해 입수한 가용 주차 칸 또는 주차장 출입구까지 차량을 안내하고 해당 주차 칸에 주차 시 차량 입사각을 시각적으로 보여줌으로써 운전자에게 편의를 제공하는 데 사용될 수 있게 된다.
본 알고리즘 연산의 실시간성을 보장하기 위해 포인트 프로세싱 위주로 서브 알고리즘들을 구현하여 저연산량을 가지도록 한다. 또한, 마크의 정보 영역에 데이터를 심어 넓고 복잡한 공간에서도 여러 개의 마크를 통해 이동시마다 층, 블록, 주차칸 등 기준 좌표(즉, 절대 좌표)의 갱신이 가능하도록 한다.
Ⅱ. 본 론
실내 주차장에서 자동차의 정밀한 위치를 알아내기 위한 방법은 다음의 절차를 따른다.
차량에 장착된 블랙박스 카메라로 촬영된 주차장 바닥 이미지를 지면 위에서 수직으로 내려다 본 것처럼 바꾸기 위해 투영변환을 수행한다. 이렇게 수직 투영변환을 수행하면 촬영 각도 변화에 따라 나타날 수 있는 다양한 형태의 사각형들을 모두 점검해야 하는 알고리즘적 복잡성을 단순화시킬 수 있다. 그런 다음 영상 내에서 플로어 마크를 찾는다. 마크를 찾는데 있어 다른 이미지와 구별이 쉽도록 정사각형 모양의 마크를 플로어 마크로 이용한다. 이렇게 하면 이미지내에 정사각형이 여럿 발견될 확률은 크지 않으므로 마크의 검지 확률이 매우 높아진다. 마크를 찾아낸 후 마크 내부의 좌표 정보를 읽어 해당 마크가 커다란 주차장 내 어느 위치에 설치된 마크인지 알아낸다. 마지막으로 영상에서 마크의 위치 및 회전각을 인식하여 해당 마크와 자동차 간 떨어진 거리와 자동차의 접근 방향을 알아내 주차장 내에서 운전자 차량의 정확한 위치를 알아낸다.
상기 언급한 과정은 차량이 이동하면서 촬영된 영상을 매 프레임마다 알고리즘 연산을 실시간으로 수행하여야하기 때문에 전 과정에 거쳐 가급적 저연산량을 갖는 연산 방법을 적용하여 수행하였다.
- 2.1. Perspective Transform
그림 1 는 블랙박스 장착 위치에서 촬영된 이미지의 예이다. 이 이미지는 카메라가 지면을 위에서 내려다 본 것이 아닌 차량 정면을 바라보고 촬영한 이미지다.
PPT Slide
Lager Image
블랙박스에서 촬영된 이미지 Fig. 1 The image taken from a black box
즉, 위에서 수직으로 바라본 이미지처럼 마크가 정사각형으로 보이지 않고 납작한 사다리꼴로 보이게 된다. 만일 이대로 마크를 인식한다면 마크에 접근하는 방향에 따라 마크의 모양이 제각각이 되어 다양한 형태의 사각형 이미지에 대해 모두 점검을 해야 하며 이미지 내에 플로어 마크가 아닌 다양한 사각형들에 대해서도 점검을 해야 하므로 그 만큼 연산양이 많아지고 검출 정확도도 떨어지게 된다. 이 문제는 기하 변환(Geometric Transformation) [4] 통해 해결할 수 있다.
기하 변환을 통해 측면에서 촬영된 이미지를 수직 촬영 이미지로 바꿔줌으로써 어느 방향에서 촬영을 하거나 마크가 동일하게 정사각형 형태로 보이도록 한다. 측면 촬영 이미지를 수직으로 투영 변환하는 방법은 여러 기하 변환 알고리즘 중 Perspective Transformation 연산을 수행하면 된다. 그림 1 에 대해 수직 투영변환을 하면 그림 2 의 결과를 얻을 수 있다.
PPT Slide
Lager Image
투영변환수행결과 Fig. 2 Result of Perspective Transform
여기서 수직투영변환을 정확하게 하려면 먼저 카메라의 촬영 각을 계산해야 한다(camera calibration).
이를 위해 바닥에 기준 길이의 정사각형 마크(보통 체크 보드를 사용)를 놓고 카메라로 영상을 촬영한 후 각각의 꼭지 점 좌표를 구한다. 3차원공간상의 한 점 P에 대한 월드좌표를 Pw = ( xw , yx , zw ), 카메라 좌표계에서 좌표를 Pc = ( xc , yc , zc ) 로 봤을 때 회전변환 행렬을 R, 평행이동 벡터를 T라고 했을 때 다음과 같은 변환 관계식이 성립한다.
PPT Slide
Lager Image
카메라의 자세정보를 계산하기위해 카메라 광학축 벡터 Zc = (0,0,1)에 대한 월드좌표 Zw 를 다음과 같이 계산 한다.
PPT Slide
Lager Image
이렇게 계산된 광학축에 대한 월드좌표를 Zw 라 하면 카메라의 tilt 즉 수평선에 대한 카메라방향의 각도는 다음과 같이 구해진다.
PPT Slide
Lager Image
이 각도는 그림 3 과 같이 수평선을 기준(0도)으로 하여 카메라가 tilt된 각도를 의미한다.
PPT Slide
Lager Image
카메라 설치 높이, 촬영 각도, 화각 Fig. 3 Camera Installation Height, Shooting Angle, and Angle of View.
블랙박스 카메라의 좌우화각을 α , 상하화각을 β , 블랙박스의 설치 높이(지면으로부터 수직 높이)를 h 라 할 때 그림 4 의 투영 변환할 시 각도(사다리꼴의 각도)는 다음과 같이 구해진다.
PPT Slide
Lager Image
Perspective Transform 수행 시 이미지 변화 Fig. 4 Image Change after Perspective Transform
참고로 본 논문에서는 그림 3 과 같이 카메라로 촬영된 이미지의 정중앙 수평선을 중심으로 지면 아래쪽 영상만 필요하므로 상하화각이 1/2로 분할하여 그 아래쪽만 사용한다.
PPT Slide
Lager Image
위식의 tan α 뒷부분을 간단히 하기 위해 미분을 수행하면 무한소 분의 무한소 꼴의 극한이므로 로피탈의 정리를 활용해 분모 분자를 각각 미분해 구하면(수식의 편의를 위해 θtilt 대신 θ 로 표기)
PPT Slide
Lager Image
따라서 우리가 투영 변환할시 적용할 사다리꼴의 각도는 σ = tan -1 (tan α ‧cos θtilt )가 된다. 이렇게 구해진 각도로 perspective transform을 수행하면 그림 2 와 같이 마크를 수직으로 내려다보며 촬영한 영상을 얻을 수 있다.
이때 카메라로 촬영된 이미지의 맨 아래 선분과 카메라간 수직 거리 L 은 h cot( β /2+ θtilt )이 된다.
마찬가지 방법으로 이미지의 정중앙 수평선과의 수직 거리는 h cot θtilt 이 된다. 이영역이 투영변환 된 이미지의 범위이므로 투영변환이미지의 세로 범위는 h cot( β /2+ θtilt ) ~ h cot θtilt 이 된다.
이 거리 값을 투영변환이미지의 해상도(픽셀수)로 나누면 한 픽셀 당 실제 물리적 거리를 알 수 있다. 이것을 이용해 마커의 실제 위치를 계산하게 된다.
참고로 Perspective Transformation 연산은 pixel-topixel mapping 알고리즘이므로 원영상의 각 픽셀이 결과영상의 해당 픽셀 위치로 차례대로 대응되기 때문에 해당 좌표 위치를 LUT (Look-Up-Table) 형태로 구현하면 address generation 이외에는 별도 연산이 필요하지 않아 연산량 부담이 없다.
- 2.2. Recognition of Floor Mark
본 논문에서 제시하는 플로어 마크의 형식은 그림 5 와 같으며 이 마크의 올바른 인지를 위한 특징 부여하기 위해 다음과 같은 규격으로 만든다. 우선 최외각 테두리는 본 마크를 정확히 반으로 접었을 때 검정색 영역 및 흰색 영역의 비가 1 : 2 : 1 로 되도록 검은 색으로 칠한다. 가운데 흰색 정사각형 영역 내의 좌측상단에 위치한 큰 검정색 정사각형(이하 ‘기준 심볼’ 로 표기)은 아래쪽의 작은 점들이 내포하고 있는 정보를 올바르게 읽어내기 위한 기준 위치 역할을 수행한다. 이 검정색 정사각형은 이를 포함하고 있는 흰색 사각형의 왼쪽에서 1/4, 위로부터 1/4 지점에 그 중심점을 두고 형성된다. 이러한 플로어 마크를 인식하기 위해 아래의 세부 절차에 따라 알고리즘 연산을 수행한다. ③ 참고로 마크인식과정에 있어 실내조명은 실외의 태양에 비해 역광이나 난반사 문제로부터 비교적 자유로우며 마크를 지속적으로 촬영하면서 모든 프레임에 대해 측위를 성공해야 하는 것은 아니기 때문에 본 논문에서는 illumination variation 극복을 위한 알고리즘을 별도로 구현하지는 않았고 실험 측위 결과도 양호한 편이었다. 그러나, 이 문제가 심각하게 부각될 정도로 실내조명이 강한 주차장에서는 modified census transform [9] 등의 저감 알고리즘들을 추가하면 충분히 극복 가능할 것으로 사료된다.
PPT Slide
Lager Image
본 논문에서 사용된 마크 Fig. 5 Mark Used in this paper
- 2.2.1. Image Thresholding
관심 객체인 마크만을 인식하기 위해 우선 컬러 이미지를 흑백 이미지로 바꾼 후 Thresholding을 통해binary image를 취한다. 이 과정은 다음 단계에서 정사각형의 특징인 동일 길이의 직선 윤곽선을 갖는 객체를 수월하게 찾기 위한 작업이다. 다양한 edge detection 또는 segmentation 방법이 존재하지만 본 연구의 경우 곡선이 아닌 직선의 윤곽선만 적확하게 드러나면 되기 때문에 Thresholding 방법만으로도 충분하며 이 역시 포인트 프로세싱이므로 LUT 로 구현할 수 있기 때문에 연산량이 적어 효율적이다.
이때 단순히 한 가지 기준 값으로 thresholding 처리를 한다면 촬영 환경이 이상적인 경우가 아닌 이상 그림 6 과 같이 영역구분이 명확하지 않을 수 있다. 다시 말해 지하주차장의 조명이 동일하거나 균일하지 않을 뿐만 아니라 다른 차량 라이트의 영향도 받을 수 있으므로 검은색 영역이 흰색으로 인식될 수도, 흰색 영역이 검은색으로 검지될 수도 있는 것이다. 따라서 이러한 외부 조명(luminance)에 의한 변화를 줄이기 위해 Adaptive Thresholding 알고리즘을 적용한다.
PPT Slide
Lager Image
단순 이진화이미지(조명에 취약) Fig. 6 Simple Binary image(vulnerable to luminance)
일반적인 Threshold 방법은 기준 값과 비교해 높거나 낮음을 판단하지만 Adaptive Threshold 알고리즘은 주변 픽셀들의 평균값에서 기준 값을 더해 그 값보다 크거나 작은지를 판단하므로 다양한 조명 환경 하에서도 적용 가능하다. 그림 7 은 Adaptive Threshold 알고리즘을 적용한 결과이다.
PPT Slide
Lager Image
Adaptive Threshold 결과 Fig. 7 Result of Adaptive Threshold
- 2.2.2. Find Contour
본 과정은 그림 7 의 결과에서 일정 길이 이상의 외곽 직선만 추출하는 과정이다. 먼저 그림 7 에서 인접한 픽셀값이 급격히 변하는 경계점을 찾는다. 그림7은 이진화이미지로 해당 픽셀의 인접픽셀들 중 자신과 다른 값이 있는지 찾아 에지유무를 판단한다.
외곽선을 추출하기 위해 그림 8 의 에지이미지에서 라벨링 연산을 수행한다. 라벨링 [5] 이란 서로 인접한 (8-connected) 화소 덩어리마다 번호를 부여하여 하나의 그룹으로 지정하는 것으로서 그 결과는 그림 9 와 같다.
PPT Slide
Lager Image
에지 추출 결과 Fig. 8 Extraction result of edge
PPT Slide
Lager Image
외곽선 추출 결과 Fig. 9 Extraction result of contours
- 2.2.3. Find Mark
찾은 외곽선( 그림 9 의 빨간색 라인)들 중에서 마크 즉, 정사각형으로 생각되는 외곽선을 찾는 방법은 다음과 같다. 우선 모든 외곽선 픽셀들에 대해 다각형 근사화 과정 [6 , 7] 을 수행한다. 본 과정을 수행하면 여러 모양의 다각형 객체들이 추출(다각형을 구성하는 꼭지점들의 좌표 형태로 추출)될 수 있으나 플로어 마크는 정사각형이므로 꼭지점이 4개인 도형이면서 인접한 꼭지점간 좌표 거리가 모두 일정 오차 범위내에서 동일한 도형을 선택한다.
만약 플로어 마크가 손상되어 온전한 정사각형을 모양을 취하지 못하는 경우는 우선 convex hull 알고리즘를 적용하여 정사각형 모양을 복원한다. convex hull 은 2차원 평면에서 주어진 점들을 모두 포함하는 최소 크기의 볼록한 다각형으로 어떤 외곽선이 주어졌을 때 그 외곽선을 고무줄로 감는 것처럼 오목한 부분을 채우는 효과를 보인다. 이를 이용하면 외곽선에서 마크의 변이 손상되었을 경우 어느 정도 복구가 가능하다. 그림 10 은 한쪽 면이 손상된 마크에 convex hull 알고리즘을 적용한 결과이다.
PPT Slide
Lager Image
손상된 마크에 대한 convex hull 적용 결과 Fig. 10 Damaged Mark and the Result of Convex Hull Algorithm Applied
이와 같이 convex hull 알고리즘은 사각형의 변이 훼손되었을 때 복원하는 방법으로는 매우 효과가 뛰어난 것으로 알려져 있다. 그러나 꼭지점이 훼손 되었을 경우에는 regression 기법을 사용하여 복원할 수 있는 있으나 통계적인 방법은 연산량이 많아 실시간 시스템에는 적합하지 않다.
또한 앞서 설명한 바와 같이 마크를 반으로 잘랐을 때 검정색과 하얀 검정 영역너비의 비가 1:2:1이므로 검출된 최외곽의 사각형과 안쪽의 흰색 사각형 영역의 무게 중심 좌표가 거의 일치하고 넓이는 1/4 수준이 되는지 체크한다.
그런 다음 흰색 사각형 내부의 좌상단의 기준 심볼에 대해 흰색 사각형 영역의 위쪽에서 1/4, 왼쪽에서 1/4되는 지점에 그 중심점이 위치하는 지, 또한 기준 심볼의 한 변의 크기는 흰색영역너비의 1/4인지 확인한다. 결과적으로 보면 흰색영역 안에서 넓이가 1/16정도 되는 사각형(즉, 기준 심볼)이 있는지 찾아 그 좌표 정보로부터 플로어 마크의 rotation 정도를 확인한다.
- 2.3. Data Read
플로어 마크의 위치와 기준 심볼로부터 rotation 각도를 인지하였으면 그 각도만큼 역방향 rotation 변환을 통해 그림 12 와 같이 정자세 수평 상태의 정사각형 마크 이미지를 얻은 후 하부에 분포된 dot points 들이 의미하고 있는 내용(데이터)를 읽는다. Data Read 과정은 dot points 들의 배열 모양과 일치하는 격자(grid) 생성하여 덧댄 다음 해당 영역의 픽셀들의 밝기 분포를 파악해 0 또는 1을 판단한다. 그림2 의 원본이미지로부터 오려낸 마크 부분( 그림 11 참조)에 본 과정을 적용한 예제 이미지를 그림 12 에 나타내었다(두 번째와 세 번째 이미지).
PPT Slide
Lager Image
플로어마크 검출 결과 Fig. 11 Recogniton Result of Floor Mark
PPT Slide
Lager Image
데이터비트들의 정확한 위치와 데이터비트 확인결과 Fig. 12 Exact Position of Data Bits and Results of Confirmation of the data bits
본 데이터의 포맷은 가로 4 줄 x 세로 7 줄 = 총 28 비트의 데이터 용량을 가지며, 주로 이 마크가 알리고자 하는 위치 정보(절대 좌표)를 담고 있다. 더 많은 데이터 용량을 가지게 하면 더욱 많은 정보를 심을 수 있으나 데이터가 늘어나는 만큼 dot point 의 크기는 작아지게 되므로 차량 이동 중 촬영시 정확하게 판별하기 어렵고 perspective transformation 과정에서 dot point 가 약간 왜곡되는 점을 감안하면 추가적으로 데이터 밀도를 높이기는 어려울 것으로 판단한다. 다만 마크의 크기를 키우면 데이터 밀도를 높일 수는 있는데 마크가 너무 큰 경우 장애물 또는 오물 등에 가려서 인식이 잘 안될 수 있고 유지보수의 문제도 있기에 크기에 적절한 제약이 필요하다고 본다. 하지만, 현재 데이터비트에서 패리티비트를 8개를 넣는다 해도 2^20 가지의 데이터를 표현할 수 있으므로 건물 내의 절대 좌표를 표현하기에 충분하다고 사료된다.
- 2.4. Analysis of Vehicle’s Position
마크의 물리적 위치(절대 좌표)가 파악되면 이어서 차량의 상대적 위치를 계산해야 한다. 앞서 perspective transformation 수행 결과 영상(즉, 지면을 수직으로 내려 보는 영상)에서 x, y 좌표 체계를 통해 플로어 마크와 자동차간 거리와 방향을 계산할 수 있으며, 또한 마크의 rotation(기울기) 정보로부터 자동차가 접근하는 방향을 알 수 있기 때문에 이를 종합하여 자동차의 위치와 방향을 계산한다.
그림 13 은 마크와 블랙박스간 거리(distance) 및 블랙박스를 중심으로 마크가 존재하는 방향(각 α )을 구하는 방법을 설명하고 있다.
PPT Slide
Lager Image
거리 및 방향각 계산에 이용되는 값들 Fig. 13 Values Used for the Distance and Angle Calculation
큰 사각형은 블랙박스 촬영 이미지를 투영 변환(Perspective Transformation)한 결과 이미지 영역이다. 각 α 는 다음 수식에 의해 계산되며 본 수식을 구성하고 있는 각 길이 성분들은 상기 그림 13 의 우측 부분에 자세히 설명되어 있다.
PPT Slide
Lager Image
거리는 다음의 수식으로 구할 수 있다.
PPT Slide
Lager Image
그림 13 에서 블랙박스 카메라와 투영변환이미지의 하단 테두리 수평선과의 거리를 L 이라고 하며 앞서 투영변환부문에서 L의 픽셀거리를 구한 바 있다.
다음으로는 자동차가 접근하는 방향을 인식하기 위해 마크의 rotation(기울기) 정보인 각 θ 를 구한다. 먼저 투영 이미지에 대한 수직 이등분선과 마크의 수직 이등분선이 교차하는 점에서 생성되는 내각을 β 라 하자. 각 β 는 앞서 Find Mark 과정에서 확보한 마크의 꼭지점 좌표들로부터 rotation 정도(각)를 계산 후 이에 90도를 더하면 구할 수 있다. 삼각형 내각의 합은 180도이므로 180도에서 각 α 와 각 β 를 빼 각도 θ 를 구할 수 있다.
Ⅲ. 실제 측정과 성능평가
블랙박스 카메라 모듈은 1280 x 720의 해상도를 가지며 차량 장착 높이는 150cm, 지평선 아래로 30도의 각도로 기울어져 촬영되도록 설치하였으며, 플로어 마크의 크기는 80cm x 80cm로 설정한 후 본론을 통해 소개한 알고리즘을 OpenCV 로 프로그램을 작성하여 테스트를 수행하였다.
각 거리 간격마다 25번의 횟수로 실험을 수행했다. 표2 의 (D)는 측정 시 마크 속 데이터가 정확히 인식이 됐는지를 의미한다. 간격이 멀리 떨어져 있을수록 오차율이 점점 커지는 것을 볼 수 있는데 그 원인으로는 마크가 작아짐에 따라 마크외곽선이 정확히 인식되지 않는 문제도 있지만 투영변환(Perspective Transform)에서 발생하는 문제도 있음을 확인하였다. 투영변환 결과 먼 곳의 물체는 이미지의 위쪽에 위치하게 되고 가까이 있는 물체는 투영변환이미지의 아래쪽에 위치하게 되는 데 아래쪽 픽셀의 경우는 픽셀이 거의 1:1 로 대응하는 반면 위쪽 픽셀들은 1:다수로 대응되므로 왜곡이 심할 수밖에 없다. 하지만 GPS 오차율이 2 ~ 10m 인 점을 감안하면 표2 의 결과는 상당히 만족스러운 수준이다. 주차장 같이 정밀한 측위를 요구하는 장소에서는 오차율이 매우 민감하므로 마크를 5m 이내 간격으로 배치한다면 mark 의 hand over 상황 등 가혹조건(worst case)이라 할지라도 실험 결과와 같이 약 30 cm 이내의 오차만 발생하므로 쓸 만한 수준으로 판단된다.
거리에 따른 오차Table. 2 Error by distance
PPT Slide
Lager Image
거리에 따른 오차 Table. 2 Error by distance
한편 이동 중에 각 프레임의 마크 속 데이터 인식 성공률은 표3 과 같았다. 이동 속도가 빠른 경우 급격히 인식률이 떨어지는 것을 발견할 수 있는데 실내 주차장안에서 과속을 할 경우는 본 측위 기술을 지원하지 않는다고 가정하면 20km/h상황에서 초당 20~30 프레임 중 절반만 인식해도 일반적인 GPS 수신율 5~10회/초 [8] 를 능가하므로 사용에 문제가 없을 것으로 보인다.
이동속도에 따른 플로어마크 인식률Table. 3 Floor Mark Recognition Rate by Moving Speed
PPT Slide
Lager Image
이동속도에 따른 플로어마크 인식률 Table. 3 Floor Mark Recognition Rate by Moving Speed
기존 연구인 D 마크 [3] 의 실험에서는 약 0.5~0.6m 변의 길이를 갖는 타일들이 격자 형태로 깔려있는 장소에서 측정한 결과 평균 3.3cm 정도의 측의 오차를 보였고 본 논문의 플로어 마크는 1m의 근접거리에서 5.6cm 정도의 오차를 보였기 때문에 측위 정확도 부분에서의 성능은 비슷하다고 할 수 있다. 그러나 본 논문의 플로어 마크는 차량 이동시(0~20km/h)에도 인식이 가능하고 Bit Data를 심어 현재 마크가 설치된 위치(절대 좌표)를 인지할 수 있도록 했다는 점에서 좀 더 우월하다고 볼 수 있다.
Ⅳ. 결 론
지하 및 실내 주차장과 같이 GPS 통신이 불가능한 지역에서의 이동 차량의 실시간 위치 인식을 위해 본 논문에서는 블랙박스의 카메라와 플로어 마크를 이용해 실내 측위를 하는 방법을 제시하였다. 본 논문에서 마크 인식에 사용한 알고리즘들은 기존에 증강현실에 사용되던 알고리즘들로 본 연구에서 최초로 실내 측위분야에 적용해보았다.
또한 실시간 프레임 처리를 위해 각 알고리즘 단계에서 포인트 프로세싱과 같이 가급적 연산양 적은 컴포넌트 알고리즘들을 주로 활용하였다.
이와 유사한 기존 연구인 ETRI D mark 와 비교했을 때 본 논문의 플로어 마크는 투영변환을 함으로써 마크의 인식률을 높였으며 마크 안에 정보를 심어 경도 위도 또는 층, 블록, 주차 칸 등의 정밀한 위치 정보를 넣었을 뿐만 아니라 rotation 정보 등을 활용하여 기존 GPS 로는 인지가 불가능했던 차량의 접근 각도(angle of heading direction)까지 인식할 수 있도록 하였다. 성능 평가 결과 GPS 및 기존 실내 측위 기술보다도 훨씬 정밀한 위치 인식이 가능함을 알 수 있었으며, 실시간 인식율 측면에서도 역시 우수함을 확인하였다.
Acknowledgements
This research was supported by Basic Science Research Program through the National Research Foundation of Korea (NRF) funded by the Ministry of Education, Science and Technology (No. 2012R1A1A1038515), and by the MSIP (Ministry of Science, ICT and Future Planning), Korea, under the C-ITRC (Convergence Information Technology Research Center) (IITP-2015-H8601-15-1008) supervised by the IITP (Institute for Information & communications Technology Promotion).
BIO
박지훈(Ji-hoon Park)
2014년 3월 ~ 현재 한국교통대학교 대학원 석사과정
※관심분야 : 영상 처리, 멀티미디어 SoC 설계
이재성(Jaesung Lee)
2008년 8월 서울대학교 전기컴퓨터공학부 박사
2001년 2월 ~ 2011년 8월 한국전자통신연구원(ETRI) 선임연구원
2011년 9월 ~ 2013년 9월 한국교통대학교 조교수
2013년 10월 ~ 현재 한국교통대학교 부교수
※관심분야 : 영상 처리, 멀티미디어 SoC 설계
References
Liu Hui 2007 "Survey of Wireless Indoor Positioning Techniques and Systems," IEEE Transaction on system, man, and cybernetics - part C: applications and reviews 37 (6)
Gu Yanying 2009 "A Survey of Indoor Positioning Systems for Wireless Personal Networks" IEEE communication surveys & tutorials first quarter 11 (1)    DOI : 10.1109/SURV.2009.090103
Lee Jae Yeong , Yu Wonpil "Robust self-localization of ground vehicles using artificial landmark." Ubiquitous Robots and Ambient Intelligence (URAI), 2014 11th International Conference on. IEEE 2014
Moons T , Van Gool L , Proesmans M , Pauwels E. 1996 “Affine reconstruction from perspective image pairs with a relative object-camera translation in between,” IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE 18 (1)    DOI : 10.1109/34.476015
Stefano L. D. , Bulgarelli A. "A simple and efficient connected components labeling algorithm" in Proceedings of International Conference on Image Analysis and Processing 1999 322 - 327
Urs Ramer (1972) "An iterative procedure for the polygonal approximation of plane curves." Computer graphics and image processing 1 (3) 244 - 256    DOI : 10.1016/S0146-664X(72)80017-0
Douglas, David H. , Peucker Thomas K. (1973) "Algorithms for the reduction of the number of points required to represent a digitized line or its caricature." Cartographica: The International Journal for Geographic Information and Geovisualization 10 (2) 112 - 122    DOI : 10.3138/FM57-6770-U75U-7727
Chen Kongyang , Tan Guang 2015 “Modeling and Improving the Energy Performance of GPS Receivers for Mobile Applications” Shenzhen Institute of Advanced Integ- ration Technology(SIAT), Chinese Academy of Sciences
Froba B. , Ernst A. “Face detection with the modified census transform”, in Proceedings of 6th IEEE International Conference on Automatic Face and Gesture Recognition May 2004 96 - 96