Advanced
Design and Implementation of an Around View Monitoring System on MOST150 Network
Design and Implementation of an Around View Monitoring System on MOST150 Network
Journal of the Korea Institute of Information and Communication Engineering. 2014. Nov, 18(11): 2765-2770
Copyright © 2014, The Korean Institute of Information and Commucation Engineering
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License(http://creativecommons.org/li-censes/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
  • Received : October 01, 2014
  • Accepted : November 05, 2014
  • Published : November 30, 2014
Download
PDF
e-PUB
PubReader
PPT
Export by style
Share
Article
Author
Metrics
Cited by
TagCloud
About the Authors
시웅 장
swjang@deu.ac.kr

Abstract
주차나 후진 시에 도움을 주기 위한 후방 카메라는 after-market을 통하여 많이 보급되어 있으나 좌우 측방과 전방의 차량 경계를 확인할 수 없어 많은 불편함이 있다. 차량의 주변을 한 눈에 감시할 수 있는 차량 주변 감시 시스템은 자동차 벤더들에 의해 개발되어 장착되고 있으나 이에 대한 체계적인 연구는 부족한 실정이다. 일본 닛산 자동차의 인피니티 차량에 적용된 AVM이 차량의 사방을 확인하기에 적합한 제품이지만 아날로그 케이블을 사용하여 부가적인 케이블링 작업과 EMI/EMC에 대한 간섭에 따른 화질저하의 단점을 가진다. 본 논문에서 구현된 MOST150 네트워크 기반 차량 주변 감시 시스템은 광 네트워크 기반이므로 EMI/EMC 문제가 없으며 배선이 간단하다는 장점이 있다. 또한 MOST150 네트워크 환경에서는 카메라 노드와 디스플레이 노드를 plug-and-play 형태로 쉽게 장착할 수 있는 장점이 있다.
Keywords
Ⅰ. 서 론
주차나 후진 시에 도움을 주기 위한 후방 카메라는 after-market을 통하여 많이 보급되어 있으나 좌우 측방과 전방의 차량 경계를 확인할 수 없어 많은 불편함이 있다. 차량 주변 상황을 한눈에 감시할 수 있는 차량 주변감시 시스템은 대부분 아날로그 케이블링 방식을 사용하므로 부가적인 케이블링 작업이 요구되며, 아날로그 케이블을 사용하므로 화질 저하 및 전자파 간섭 문제가 있다. 한편, IT 기술의 발전으로 자동차의 전장제품의 비중이 급격히 증가하고 있으며, 모든 제어는 정형화된 자동차 네트워크(CAN, LIN, FLEXLAY)를 통하여 이루어지고 있다 [1 - 3] . 자동차 네트워크를 이용함으로써 기존에 다대다 형태의 케이블이 제거되면서 간편한 형태로 디바이스 간의 연결이 가능해졌다.
자동차와 같은 수송 시스템의 광통신 네트워크화는 세계적인 기술 흐름이며, 선진국에서는 컨소시엄에 의하여 표준화를 진행하고 있다. 차량 주변 감시 시스템을 구축하기 위해 광통신 네트워크인 MOST150 네트워크를 사용할 경우에는 EMI/EMC 문제가 해결되며, 아날로그 케이블에 비해 배선이 간단하다는 장점이 있다. 또한, MOST150 네트워크에 노드를 추가하는 것은 plug-and-play로 자동추가가 가능하다는 장점이 있다 [4 , 5] . 따라서, 본 논문에서는 자동차의 주차, 서행, 후진 시에 자동차의 전·후·좌·우 사방의 모습을 위에서 내려다보는 것처럼 한눈에 모니터링해 주는 MOST150네트워크 기반의 차량 주변 감시 시스템을 설계 및 구현하였다.
Ⅱ. 관련연구
차량 주변 감시 시스템의 설계 및 구현에 관한 연구중 [6] 은 차량 주변 영상을 Car PC 플랫폼에서 구현하는 방법에 대해 설명하였고, [7] 은 주변 영상을 Bird's eye view로 제공하는 방법에 대해 기술하고 있다. [8] 은 차량 주변 영상을 얻기 위해 카메라를 MOST 네트워크로 연결하고, 카메라에서 획득한 영상을 MOST 네트워크를 통해 master 노드에 전달하면 master노드에서 영상을 보정 및 정합하는 방법을 제시하고 있다. [9 , 10] 은 원근감을 제거하기 위해 소프트웨어/하드웨어의 합동적인 구현 방법을 설명하였고, [11] 은 비용 효율적인 Bird's Eye View를 구현하기 위해 FPGA나 ASIC에 기반한 방법을 제안하였으며, [12] 에서는 SoC와 FPGA를 이용해서 Wraparound 뷰 시스템을 구성하는 방법에 대해 기술하였다.
일부 차량 주변 감시 영상을 제공하기 위한 H/W 플랫폼에 대한 연구가 존재하지만 차량 주변 감시 시스템의 EMI/EMC 문제 및 케이블 배선 문제에 대한 연구는 부족한 형편이다. 따라서, 본 연구에서는 EMI/EMC 문제 및 아날로그 케이블의 배선 문제를 해결하기 위해 광네트워크인 MOST150 네트워크를 기반으로 차량 주변 감시 시스템을 설계하고 구현하였다.
Ⅲ. MOST150 네트워크 기반 차량 주변 감시 시스템 설계
이장에서는 MOST150 네트워크의 기반 기술에 대해 살펴본 후 MOST150 네트워크 기반의 차량 주변 감시 시스템의 전체 구조와 각각의 모듈에 대해서 기술한다.
- 3.1. MOST150 네트워크
MOST150 네트워크는 스트리밍 서비스를 위한 동기 채널과 패킷 데이터를 위한 비동기 채널 및 이더넷 포트를 동시에 제공하는 유연한 네트워크로서 차량용 멀티미디어 네트워크라 할 수 있다. 또한 MOST150 네트워크는 광 네트워크 기반으로 Infotainment 장치를 최대 64개까지 단일 네트워크에 접속 가능하다. MOST150 네트워크 환경에서는 노드 추가 시 plug-and-play 형태로 동작이 가능하여 케이블링 작업이 간결하다는 장점을 가진다.
- 3.2. MOST150 네트워크 기반 차량 주변 감시 시스템의 전체 구조
MOST 네트워크를 이용한 차량 주변 감시 시스템은 그림 1 과 같이 180도 이상의 화각을 가지는 초광각 카메라 4대, MOST네트워크로 카메라 영상을 전달하기 위한 4개의 Camera Inetrface Board(CIB), MOST 네트워크를 통해 카메라영상을 수신하여 사용자에게 디스플레이하기 위한 1개의 User Interface Board(UIB)로 구성된다. 4대의 카메라에서 영상 데이터를 입력받으면 영상 데이터는 MOST150 네트워크를 통해 UIB 보드로 전송되고 UIB 보드에서는 4개 영상의 왜곡을 보정하고 역원근 변환을 수행한 후 차량의 원본 영상을 조합하여 차량과 차량의 주변을 하늘에서 보는 것처럼 재구성한다.
PPT Slide
Lager Image
MOST150 네트워크 기반 차량 주변 감시 시스템의 구조 Fig. 1 Architecture of Around View Monitoring system based on MOST150 network
카메라 인터페이스 보드의 시스템 블록도는 그림 2 와 같으며, DSP는 카메라로부터 영상을 입력 받아 인코딩하고, FPGA는 인코딩된 데이터를 MediaLB 포트를 거쳐 MOST 네트워크에 전송하는 역할을 수행한다.
PPT Slide
Lager Image
카메라 인터페이스 보드 Fig. 2 Camera Interface Board
- 3.3. 사용자 인터페이스 보드
사용자 인터페이스 보드의 전체 시스템 블록도는 그림 3 과 같으며, FPGA는 MOST 네트워크로부터 MediaLB 포트를 거쳐 영상을 전달받아 DSP에 전송하면 DSP는 영상정보를 디코딩하여 왜곡 보정하고, 역원근 변환을 수행한 후 4채널의 영상을 정합하여 하나의 이미지로 구성한 후, D/A변환을 수행한 후 LCD에 출력한다.
PPT Slide
Lager Image
사용자 인터페이스 보드 Fig. 3 User Interface Board
- 3.4. 영상 왜곡보정
광각 카메라를 사용하여 영상을 획득하면 직선이 곡선처럼 보이는 왜곡 현상이 발생하는데, 이는 영상에서의 점 위치를 정상적인 위치에 맺히지 못하게 하고, 렌즈 중심에서 방사 방향으로 정상위치의 안쪽 또는 바깥쪽에 맺히는 현상이다. 본 논문에서는 왜곡을 보정하기 위해 구기반의 왜곡보정 방법을 사용하였다.
그림 4 에서 F는 초점 거리, 구면에서 평면으로 투영된 임의의 점(xd, yd)는 왜곡된 영상의 좌표, 점(xu, yu)는 왜곡이 보정된 영상의 좌표라고 정의하고, 구의중심에서 왜곡되지 않은 점까지의 거리 L과 초점거리 F를 이용하여 점(xd, yd)와 점(xu, yu)의 관계는 수식(1)로 표현할 수 있으며, 이를 이용하여 영상을 보정하였다.
PPT Slide
Lager Image
PPT Slide
Lager Image
구 기반의 왜곡 보정 방법 Fig. 4 Distortion correcting method based on sphere
- 3.5. 영상 정합
왜곡된 영상이 보정되어도 원근감은 보정되지 않으므로 본 논문에서는 역원근 변환 모델로 사용되는 호모그래피 변환을 통해 원근감을 해소하고 α-블렌딩 알고리즘을 이용하여 영상을 정합하였다. 본 논문에서는 호모그래피 변환 시 그림 5 와 같이 그리드 패턴 단위로 호모그래피 변환을 수행하여 영상정합의 정확도를 높였다.
PPT Slide
Lager Image
그리드 기반 호모그래피 변환 Fig. 5 Homograph Transformation based on Grid
Ⅳ. MOST 네트워크 기반 차량 주변 감시 시스템의 구현 결과
- 4.1. 실험 환경
본 연구에서는 그림 6 과 같은 미니 전동차를 이용하여 실험환경을 구축하고, 4개의 CIB에 광각카메라를 연결하고, UIB에는 디스플레이를 연결하여 전동차에 장착하였다. 4개의 CIB와 UIB의 연결은 MOST150용 광 네트워크 케이블을 이용하여 링구조로 연결하였다.
PPT Slide
Lager Image
실험에 사용된 전동차의 모습 Fig. 6 Figure of mini motor car used for experiments
- 4.2. 영상이 정합된 모습
그림 7 은 4개의 CIB가 각각의 광각카메라로부터 영상을 입력 받아 UIB로 전달된 4개의 원본 영상을 출력한 모습이다. 원본 영상은 그림 7 에서 보는 것처럼 방사왜곡을 가지는 형태이다.
PPT Slide
Lager Image
방사왜곡을 가진 원본 영상 Fig. 7 Original images with distortion
그림 8 의 왼쪽그림은 CIB로부터 UIB로 전달된 4개의 왜곡된 영상을 보정한 모습이고, 오른쪽 그림은 보정된 영상을 호모그래피 변환을 이용하여 역원근 변환을 수행한 후 α-블렌딩 알고리즘을 이용하여 영상을 정합한 모습이다.
PPT Slide
Lager Image
보정된 4개 영상과 영상이 정합된 모습 Fig. 8 4 Corrected images and a synthesized image
Ⅴ. 결 론
차량 주변 감시 시스템을 구성하기 위해 차량의전·후·좌·우 4곳의 카메라로부터 메인 시스템까지 4개의 긴 케이블을 연결하는 것이 번거롭고 힘든 작업이며, 자동차의 특성상 전자파와 관련된 EMI/EMC 문제가 발생한다. 따라서 본 논문에서는 각 카메라를 하나의 노드로 구성하고 링구조의 네트워크로 연결하여 배선 길이를을 최소화하고 EMI/EMC 문제를 해결한 MOST150 네트워크 기반 차량 주변 감시 시스템을 구현하였다.
MOST150 네트워크는 현대자동차의 제너시스 차량에 장착되어 있으나 오디오 등의 일부에만 이용되고 있는 실정이고 동영상 전달로는 본격적으로 활용하지 않고 있어, MOST150 네트워크를 통한 차량 주변 감시 시스템의 상용화는 시간이 걸릴 것으로 예상하고 있다. 현재 개발된 시스템은 프로토타입 형태로 영상을 보정하고 정합하는 알고리즘을 DSP를 이용하여 구현하였으나, 상용화를 위하여는 FPGA를 이용하여 처리속도 와 영상을 품질을 높이는 것이 필요하다.
Acknowledgements
이 논문은 2014년도 Brain Busan 21사업과 동의대학교 교내 연구비(2014AA490)에 의하여 지원되었음.
BIO
장시웅(Si-Woong Jang)
1984년 부산대학교 계산통계학과 이학사
1993년 부산대학교 전자계산학과 이학석사
1993년 부산대학교 전자계산학과 이학석사
1986년∼1993년 대우통신(주) 종합연구소
2004년∼2005년 University of Texas at Dallas 객원교수
1996년 ∼현재 동의대학교 컴퓨터과학과 교수
※관심분야 : 자동차 IT, 데이터베이스
References
Lee Byoungsoo , Park Min-Kyu , Sung Kum-Gil 2011 “Developing an In-vehicle Network Education System Based on CAN” Transactions of KSAE 19 (4) 54 - 63
Song Young hun , Kim Bong jae , Lee Suk , Lee Kyung chang “Development of FlexRay Communication Controller MCU for in-vehicle network System” Conference of KSAE 2012 812 - 816
Kim Ealgoo “Study of Electrical Load Grouping in Automobile Controller Area Network(CAN) considering Electrical Loads Characteristics” Conference of KSAE 2004 1590 - 1595
http://www.mostcooperation.com
http://www.smsc-ais.com
Jang Si-Woong , Lee Suk-Ja , Chung Lawrence "Design and Implementation of a 4-sided Monitoring Sysyem using a Car PC" International Conference of SDPS 2011
Liu Y. , Lin K. , Chen Y. “Bird's-eye view vision system for vehicle surrounding monitoring,” LNCS, Springer. Proc., the 2nd international conference on Robot vision (RobVis'08). 207 - 218
Jang Si-Woong , Yu Yun-Sik , Jeon Young-Jun "Design of a four-sided monitoring system based on MOST Network" 2009 International Conference of Maritime Information and Communication Sciences.
Luo LinBo , Koh InSung , Park SangYoon , Ahn ReSen , Chong JongWha “A SOFTWARE-HARDWARE COOPERATIVE IMPLEMENTATION OF BIRD’S-EYE VIEW SYSTEM FOR CAMERA-ON-VEHICLE” Proc, IC-NIDC 2009 963 - 967
Luo Lin-Bo , Koh In-Sung , Min Kyeong-Yuk , Wang Jun , Chong Jong-Wha “Low-cost Implementation of Bird’s-eye View System for Camera-on-vehicle” Proc. of Consumer Electronics (ICCE) 2010 311 - 312
Thomas Bijo , Chithambaran Rajiv “Development of a Cost Effective Bird’s Eye View Parking Assistance System” Proc. of Recent Advances in Intelligent Computational Systems (RAICS) 2011 461 - 466
Shimizu Seiya , Kawai Jun , Yamada Hiroshi “Wraparound View System for motor vehicles” Proc, Fujisu 95 - 102