Advanced
Development of USB DVR-Rear Cameras Combined System
Development of USB DVR-Rear Cameras Combined System
Journal of the Korea Institute of Information and Communication Engineering. 2014. Nov, 18(11): 2753-2758
Copyright © 2014, The Korean Institute of Information and Commucation Engineering
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License(http://creativecommons.org/li-censes/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
  • Received : October 01, 2014
  • Accepted : November 05, 2014
  • Published : November 30, 2014
Download
PDF
e-PUB
PubReader
PPT
Export by style
Share
Article
Author
Metrics
Cited by
TagCloud
About the Authors
규현 김
Department of Computer Engineering, Dong-Eui University, Pusan 614-714, Korea
kim33276e@naver.com
종욱 장
Department of Computer Engineering, Dong-Eui University, Pusan 614-714, Korea

Abstract
시중에 운전자의 편의성을 높여주기 위해 Around-View라는 카메라를 이용한 영상처리 장치가 판매되고 있다. 이 시스템은 운전자의 미숙한 조작 또는 운전자의 시야 확보가 불가능하여 발생하는 사고에 대해 사전에 미리 방지하고자 나온 시스템이다. 그런데, 편리한 운전을 위해 나온 시스템이 복잡한 설치 과정, 고가의 설치비용의 문제로 인하여 운전자들에게 널리 보급되지 못하고 있다. 첫째 고가의 장비, 둘째 어려운 개발 환경, 셋째 편한 설치 과정 등의 문제점으로 인하여 운전자들은 이 시스템을 접할 기회가 힘들고 개발자들은 이 시스템을 개발할 엄두를 못 내고 있는 상황이다. 이 중 한 가지 문제점이라도 해결이 된다면 사용자들은 조금 더 저렴한 비용으로 이 시스템을 접할 수 있을 거라고 생각된다. 본 논문에서 제안하고자 하는 AVM(Around-View Monitoring) 시스템은 앞서 말한 세 가지의 문제점 중 고가의 장비, 불편한 설치 과정 이 두 가지 문제를 최소화 시킨 시스템이다. 저렴한 USB 장치와 후방카메라를 이용하여 구매 비용이 많이 발생하는 문제를 해결 하였다. 그리고 불편한 설치과정을 고려하여 최대한 설치가 용이하도록 개발 하였다. 이 시스템으로 인하여 소비자들의 가격 부담을 줄여주려고 한다.
Keywords
Ⅰ. 서 론
운전자의 편리성을 위해 시중에는 차량에 장착할 수 있는 AVM(Around-View Monitoring) 시스템이 보급되고 있다. AVM(Around-View Monitoring) 시스템이란 차량의 전. 후, 좌, 우에 카메라 4대를 장착하여 주위 360°의 화면을 볼 수 있게끔 해주는 장치를 말한다 [1] .
운전자들의 편의를 위해 나온 시스템이 개발 비용, 개발의 어려움, 고가의 설치비용 등의 문제로 인하여 접하기 쉽지 않은 시스템으로 전락하고 말았다. 앞서 말한 3가지의 문제점을 해결하기 위해선 개발자의 노력이 필요하다. 개발 비용이야 AVM(Around-View Monitoring) 시스템이 현직 개발자들도 쉽게 도전할 수 있는 시스템이 아니기 때문에 해결하기 쉽지 않더라도, 나머지 2문제에 대해선 개발자가 기존에 나와 있는 시스템을 가지고 더 좋고 더 쉽게끔 개선시킨다면 충분히해결할 수 있는 문제라고 생각 된다. 기존에 나와 있는 시스템은 오로지 사용자들의 지갑 사정을 배제한 시스템이라고 할 수 있다. 차량에 장비를 설치하는 문제부터 시작하여 장비를 설치한 후, 장비를 세팅해야 하는 다소 복잡한 과정이 뒤따르기 때문이다. 장비 세팅을 간소화 시킨다면 고가의 인건비 문제를 해결할 수 있다고 본다.
본 논문에서 제안하는 AVM(Around-View Monitoring) 시스템은 앞서 말한 세 가지의 문제점 중 고가의 장비, 불편한 세팅 과정 이 두 가지 문제를 최소화 시킨 시스템이다. 우선 첫 번째, 저렴한 USB 장치와 후방카메라를 이용하여 구매 비용이 많이 발생하는 문제를 해결 하였다. 그리고 두 번째 불편한 세팅 과정을 고려하여 최대한 세팅이 용이하도록 개발 하였다. 이 두 가지 요인들만 해결하더라도 소비자들은 저렴한 가격으로 이 시스템을 손쉽게 설치할 수 있고 판매자는 저렴한 가격으로 인하여 시장경제 활성화에 큰 기여를 할 것이라고 예상 된다. 이 시스템으로 인하여 자동차 시장에 큰 기여를 하였으면 한다.
Ⅱ. 본 론
본 논문에서 제시한 AVM(Around-View Monitoring) 시스템은 3가지의 핵심 기술과 저렴한 장비만 있으면 된다. 3가지 핵심 기술 중엔 160°이상의 화각을 제공하는 카메라의 왜곡 현상을 보정 시키는 왜곡 보정 기술과 카메라에서 화면에 보여주는 영상을 2D에서 3D로 변환 시키는 호모그래피 알고리즘, 4개의 영상을 하나의 화면에 보여주도록 정합하는 영상정합 알고리즘 이필요로 하다. 이러한 알고리즘들은 영상처리 라이브러리인 OpenCV를 이용하여야지 적용 가능하다.
AVM(Around-View Monitoring)시스템에서 제일 먼저 적용되는 알고리즘은 왜곡 보정 알고리즘이다. 왜곡보정이 필요로 하는 이유는 카메라가 신속하게 영상을 생성하려면 좀 더 넓은 영역을 통하여 빛을 모아주어야 하며 이 빛이 투영점에 수렴하도록 굴절 시켜야 한다. 이러한 작업을 수행하기 위해서 일반적으로 렌즈를 사용하게 된다. 렌즈는 한꺼번에 많은 빛을 모아줌으로써 빠른 영상을 획득할 수 있게 되지만 왜곡이 발생하게 되는 문제점이 있다 [2] . 영상의 중심에서 점점 멀어질수록 영상이 휘어지는 현상이 발생하는데 이러한 현상을 왜곡이라고 부른다. 그림 1 은 왜곡 현상을 바로 잡기 위해 체스판 무늬를 가진 패턴을 사용한다. 패턴이 필요한 이유는 바닥에 설치하여 영상의 좌표를 정확하게 구해주는 역할을 해주기 때문에 필요하다. 이 역할을 해주기 위해 그림 1 에서 보이는 것과 같이 일곱가지 색깔의 선이 그여서 보여지는 칼리브레이션 기법이 들어가게 된다 [3] .
PPT Slide
Lager Image
좌표를 구하기 위한 칼리브레이션 기법 Fig. 1 Calibration technique for setting coordinates
PPT Slide
Lager Image
왜곡보정 전, 후 영상 Fig. 2 Before and after distortion compensation
두 번째로 호모그래피 기법이 들어가게 되는데 이 기법이 AVM(Around-View Monitoring)시스템에서 제일 어렵고 힘든 개발 부분이라고 할 수 있다. 앞서 말했듯이 호모그래피 기법에 패턴이 필요하다고 했는데 패턴을 이용하여 영상의 각각의 좌표를 구해야지 2D에서 3D영상으로 변환할 수 있다.
그림 3 은 영상을 호모그래피 알고리즘을 이용하여 바꾼 영상이다 [4] .
PPT Slide
Lager Image
영상을 2D에서 3D로 바꾼 영상 Fig. 3 The image transferred 3D from 2D
기존에 시스템은 패턴을 이용하여 구했던 좌표를 사용하여 왜곡 보정을 한 후 다시 또 패턴을 이용하여 호모그래피 알고리즘에 들어갈 좌표를 구하는 번거로운 방법을 사용한다. 이러한 이유는 AVM(Around-View Monitoring)시스템이 운전에 사용되는 시스템이기에 사용자의 안전을 위해서 정확성을 높이기 위함이다. 하지만 이런 번거로운 작업이 이 시스템의 세팅 비용을 높이는 문제점이기도 하다. 그러하여 세팅 비용도 낮추기 위해 한번 구했던 좌표를 다시 또 구하지 않고 재사용하는 방법을 채택하였다. 물론 정확성 문제도 같이 개선하였다.
마지막으로 4개의 영상 모두를 왜곡 보정과 호모그래피 작업을 시행한 후 하나의 영상으로 합치기 위해 영상정합 알고리즘 기법을 사용한다. 영상 정합(image registration)은 이와 같은 서로 다른 영상을 변형하여 하나의 좌표계에 나타내는 처리기법이다 [5] . 그림 4 에서처럼 하나의 영상 안에 4개의 영상과 차량의 이미지를 넣기 위해 사용된다 [6] .
PPT Slide
Lager Image
영상정합 알고리즘을 이용하여 4개의 영상을 합친 영상 Fig. 4 The image which combines 4 images using the image registration algorithm
이번 연구의 중점은 기존의 AVM 시스템보다 얼마나 더 정확하고 저렴하게 개발하여 소비자들이 쉽게접할 수 있도록 하는 것이 중점이라고 볼 수 있을 것이다.
Ⅲ. 시스템 구조 및 설계
- 3.1. 시스템 구조
본 논문에서 설계를 하고자 제안한 AVM시스템을 구현하기 위해선 4대의 카메라, 4대의 후방 카메라, 데스크탑이 필요하다. 차량에 설치할 수 있는 환경이 구축된 상태에서 차량의 전, 후, 좌, 우에 장착된 후방 카메라와 데스크톱간의 데이터 송·수신을 한다. 영상이 차량안에 장착된 네비게이션에 보여지면 AVM(Around-View Monitoring)시스템의 알고리즘(왜곡 보정, 호모그래피, 영상정합)을 적용시킨다. 이 모든 과정이 이루어져 사용자들에게 기존에 나와 있는 시스템보다 더 저렴하고 개선적인 AVM(Around-View Monitoring)시스템을 제공하고자 한다.
PPT Slide
Lager Image
시스템 구조 Fig. 5 System structure
- 3.2. 시스템 설계
이 시스템의 운영은 데스크탑과 후방 카메라 연결의 성공으로부터 시작된다고 볼 수 있다. 데스크탑과 후방 카메라가 연결을 성공하면 프로그램 조작을 통해 4대의 후방 카메라와 접속을 시도 한다. 유선 카메라이지만 접촉 불량의 이유로 1대 또는 모든 카메라와의 접속을 실패할 수도 있다. 그렇기 때문에 사전에 접촉이 제대로 되었는지 꼼꼼히 확인해야 한다. 4대의 카메라에 연결이 모두 성공하면 네비게이션 화면에 영상을 실시간으로 송신하는 상태가 된다. 송신만 한다고 정합된 영상을 바로 볼 수가 없다. 영상 4개 모두가 출력이 제대로 된다면 영상처리 라이브러리인 OpenCV를 이용하여 제일 먼저 왜곡 보정 알고리즘을 적용한다. 왜곡 보정이 되어야 영상이 중심점에서 멀어질수록 휘어지는 현상이 없어지는 평면으로 보이는 영상 4개가 출력이 된다.
그리고 왜곡 보정 알고리즘을 적용하기 전에 구했던 좌표를 이용하여 호모그래피 알고리즘을 적용 시킨다. 2번째 알고리즘이 적용 되면 각각의 영상이 2D에서 3D 화면으로 변환되어 화면에 출력이 된다. 마지막으로 영상정합 알고리즘을 이용하여 4개의 분할 영상들을 하나로 합쳐 네비게이션 화면에 하나로 보여 지게끔 한다. 이 과정들을 거쳐 하나의 시스템으로 만들어 기존의 시스템보다 더 저 저렴한 시스템을 사용자들에게 제공하고자 한다.
PPT Slide
Lager Image
시스템 설계 Fig. 6 Systems design
Ⅳ. 결과 이미지
PPT Slide
Lager Image
이미지 왜곡 현상을 보정하기 위한 화면 Fig. 7 Screen for modifying the image distortion
PPT Slide
Lager Image
이미지 왜곡 보정 후 호모그래피를 이용하여 변환된 역원근 이미지 Fig. 8 After the distortion correction image by using the homography reverse perspective transformed screen
PPT Slide
Lager Image
4개의 영상을 한 개의 영상으로 합친 이미지 Fig. 9 After the distortion correction image by using the homography reverse perspective transformed screen
Ⅴ. 결 론
본 논문에서 후방 카메라와 USB 장치 기반의 영상처리를 이용한 Around-View 시스템은 차량에 4대의 후방카메라를 장착하여 영상처리를 한 후 정면에서 바라보는 영상을 통합시키는 시스템이 아닌 수직에서 아래로 내려다보는 영상을 통합시킨 시스템이다. 일반적인 영상이 아니라 영상을 수정하여 보여주기 때문에 고난이도의 영상처리 작업을 필요로 한다. 시중에 나와 있는 시스템도 고난이도의 개발 작업과 세팅 환경 때문에 구매 비용이 높은 편이다. 제일 먼저 비용을 낮추기 위해 생각한 방법이 세팅 환경을 편하게 만들었다. 반복적인 계산과 수행과정들을 한 번의 과정만으로 해결할 수 있게끔 개발 하였다. 한 번의 과정만으로 발생할 수 있는 정확성 문제도 독자적인 알고리즘을 이용하여 해결하였다.
이번 연구를 통하여 개발에 쓰인 소스 코드들을 라이브러리로 만들어 추후에 이 시스템을 개선시키거나 유사한 시스템을 개발할 개발자들을 위해 제공할 계획이다. 그리고 더 나아가서 이 시스템으로 인하여 운전자들의 안전성에 기여를 하였으면 한다. 저렴한 비용으로 운전자들의 안전을 보장할 수 있는 시스템이 되었으면한다.
추후 이 시스템을 응용하여 운전자들에게 또 다른 편리성과 안정성을 줄 수 있는 시스템을 개발하고자 한다.
Acknowledgements
이 논문은 2014년도 BB21 사업과 동의대학교 2104년도 교내연구과제(2014AA323)에 의해 지원되었음
BIO
김규현(Gyu-Hyun Kim)
2013년 2월 동의대학교 학사과정 졸업
2013년 3월~ 현재 동의대학교 석사과정
※관심분야 : 영상처리, 네트워크 통신, 데이터베이스, 모바일 프로그래밍
장종욱(Jong-Wook Jang)
1995년 2월 부산대학교 컴퓨터공학과 박사
1987년 ~ 1995년 ETRI
2000년 2월 UMKC Post-Doc.
※관심분야 : 유무선통신시스템, 자동차네트워크
References
Kim GyuHyun , Jang JongWook 2013 "Around View algorithm designed using a wireless camera",Korea Information and Communications Society
“[OpenCV] Camera Calibration (# 3 lens distortion, radiation distortion, tangential distortion)” http://carstart.tistory.com/181
"OpenCV tutorial 10 - Chapter 11" http://dasl.mem.drexel.edu/~noahKuntz/openCVTut10.html
Rodrigo's Blog “The COTBLEDTCID approach to object detection and pose estimation, Part IV – Transformation” http://redkiing.wordpress.com/2012/01/07/thecotbledtcid-approach-to-object-detection-and-pose-estimation-part-iv-transform/
Wikipedia "Image Matching" http://ko.wikipedia.org/wiki/%EC%98%81%EC%83%81_%EC%A0%95%ED%95%A9
Bluemembers Content http://bluemembers.hyundai.com/oc/action.do?fw_appName=OC_HLNK&fw_serviceName=KnowledgeQNAFacade.selectQNADetail&sn=51567