Advanced
Robust Motorbike License Plate Detection and Recognition using Image Warping based on YOLOv2
Robust Motorbike License Plate Detection and Recognition using Image Warping based on YOLOv2
Journal of Broadcast Engineering. 2019. Sep, 24(5): 713-725
Copyright © 2016, Korean Institute of Broadcast and Media Engineers. All rights reserved.
This is an Open-Access article distributed under the terms of the Creative Commons BY-NC-ND (http://creativecommons.org/licenses/by-nc-nd/3.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited and not altered.
  • Received : July 22, 2019
  • Accepted : August 30, 2019
  • Published : September 30, 2019
Download
PDF
Export by style
Article
Author
Metrics
Cited by
About the Authors
순정, 당
응태, 김
etkim@kpu.ac.kr

Abstract
번호판 자동인식(ALPR: Automatic License Plate Recognition)은 지능형 교통시스템 및 비디오 감시 시스템 등 많은 응용 분야에서 필요한 기술이다. 대부분의 연구는 자동차를 대상으로 번호판 감지 및 인식을 연구하였고, 오토바이를 대상으로 번호판 감지 및 인식은 매우 적은 편이다. 자동차의 경우 번호판이 차량의 전방 또는 후방 중앙에 위치하며 번호판의 뒷배경은 주로 단색으로 덜 복잡한 편이다. 그러나 오토바이의 경우 킥 스탠드를 이용하여 세우기 때문에 주차할 때 오토바이는 다양한 각도로 기울어져 있으므로 번호판의 글자 및 숫자 인식하는 과정이 훨씬 더 복잡하다. 본 논문에서는 다양한 각도로 주차된 오토바이 데이터세트에 대하여 번호판의 문자 인식 정확도를 높이기 위하여 2-스테이지 YOLOv2 알고리즘을 사용하여 오토바이 영역을 선 검출 후 번호판 영역을 검지한다. 인식률을 높이기 위해 앵커박스의 사이즈와 개수를 오토바이 특성에 맞추어 조절하였다. 그 후 기울어진 번호판을 검출한 후 영상 워핑 알고리즘을 적용하였다. 모의실험 결과, 기존 방식의 인식률이 47.74%에 비해 제안된 방식은 80.23%의 번호판의 인식률을 얻었다. 제안된 방법은 전체적으로 오토바이 번호판 특성에 맞는 앵커박스와 이미지 워핑을 통해서 다양한 기울기의 오토바이 번호판 문자 인식을 높일 수 있었다.
Keywords
Ⅰ. 서 론
오토바이는 인도, 중국, 태국, 베트남 등등 많은 나라의 대중 교통수긴이다. 뿐만 아니라 한국, 일본 등등 다른 나라에서도 편리성 및 이동성 높기 때문에 오토바이는 지역 배달에 많이 사용되고 있다. 또한 몇 년 전부터 계속 성장하는 오토바이를 이용하여 택시 용도로 그랩 바이크(Grab Bike)도 등장 하였다. 특히 동남아시아에서는 오토바이를 사용하는 인구가 계속 늘어남에 따라 오토바이 번호판 인식에 대한 요구가 증가하고 있다.
최근까지 비디오 감시 시스템(Video Surveillance Systems) 및 지능형 교통시스템(Intelligent Transportation Systems) 등 다양한 환경에서 차량용 번호판을 인식하는 연구들이 많이 진행되고 있다 [1,2,3] . 그 연구들의 경우 정한 배경, 위치, 조명 같은 조건하에서 성능이 개선되어져 왔다. 한편 최근에 다양한 분야 에 심층 학습(Deep learning) 기술이 적용되어 더 좋은 성과들을 보이고 있다. 번호판 인식 분야에서도 Faster R-CNN 및 YOLOv2 같은 심층 합성곱 신경망 (Deep Convolution Neural Network)을 적용하여 인식률이 계속 높아지고 있다. 그러나 기존 딥러닝 기반의 번호판 검출 및 인식 [4,5,6,7,8,9,10] 방식들은 대부분 자동차, 버스, 트럭 대상으로 학습이 되어서 차량 번호판에 대해서는 검출 및 인식이 잘 되나 오토바이를 대상으로 적용 시 오류나 검출이 잘 안 되는 현상이 나타난다. R. Laroca의 논문 [10] 에서 번호판 인식하는 결과를 분석할 때 오류가 주로 오토바이 영상에 생긴다는 것을 밝혀냈다. [10] 의 결과 분석에 따르면 오토바이에 대해서는 충분히 학습되지 않아서 오류가 많이 생긴 것이다.
한편 자동차와 오토바이의 번호판은 다른 점이 있다. 폭이 넓은 자동차의 번호판은 주로 1줄 형식이지만 폭이 좁은 오토바이의 번호판은 주로 2줄 형식이다. 따라서 오토바이의 번호판은 1줄 형식인 자동차의 번호판보다 문자를 인식하는 데에 더 복잡한 것이다.
특히 오토바이는 킥 스탠드를 이용하여 주차하기 때문에 주차할 때 오토바이가 많이 기울어져 번호판도 따라서 상당히 기울어진다. 따라서 기울어진 번호판의 인식률이 낮아지는 현상이 발생한다. 그러므로 다수의 오토바이들이 주차 시에도 빠르게 구별하여 인식할 수 있는 방식이 필요하다. 본 논문에서는 이러한 문제를 해결하기 위해서 2줄 형식의 오토바이 번호판 인식을 위해 YOLOv2 기반으로 번호판에 맞는 앵커박스와 이미지 워핑을 적용하고자 한다.
본 논문의 구성은 다음과 같다. 2장에서는 기존 번호판 검출 관련 연구들을 설명하고, 3장에서는 개선된 YOLOv2 기반 영상워핑을 적용한 번호판 검출 구조를 제안한다. 4장에서는 실험결과 분석을 통해 기존 방식들과 비교한다. 마지막으로 5장에서는 본 연구의 결론을 맺고자 한다.
Ⅱ. 번호판 인식 관련 기존 연구
일반적인 번호판 인식 시스템은 특징 추출, 탐지, 분류, 위치 추정과 같은 단계들로 이루어져 있다. 특히 Edge, Corner, Harr-like, HOG(Histogram of Oriented Gradient) 와 같이 특징들을 사용하였다. 이런 기존 방법은 객체 데이터를 학습하는 과정이 필요 없으므로 구현이 용이한 장점이 있지만, 다양한 환경, 조명, 크기 등 여러 가지 조건들에 따라서 성능이 저하되는 단점도 있다.
한편 최근에 심층학습기술이 발전함에 따라 합성곱 신경망을 적용하여 다양한 영상처리 및 인식 분야에서 좋은 결과를 보이고 있다. 번호판 검출 및 인식하는 데도 마찬가지로 합성곱 신경망을 이용한 연구들이 늘어나고 있다. 심층학습 합성곱 신경망은 전통적인 분류기들과는 달리 기존의 특징벡터들을 사용하지 않으며, 훈련 샘플에 대하여 최적화된 벡터들을 스스로 학습하고, 이를 활용하여 특징맵(Feature Map)을 생성하여 사용하는 것이다. 그래서 객체인식률은 높게 하는 데에 훈련 데이터세트가 중요한 역할을 한다. 현재 번호판 인식하기 위한 SSIG [11] , AOLP [12] , CD-HARD [8] , UFPR-ALPR [10] 등 많은 데이터 세트 등장하였는데 안타깝게 모든 데이터세트는 자동차, 버스, 트럭 위주로 만든 데이터세트이다. 또한 심층학습 합성곱을 사용하여 객체 인식할 때 핵심 요소기술에 경계박스(Bounding box)는 하나이다. 경계박스는 객체가 어떤 클래스인지 및 객체의 좌표 정보들을 담는다. Faster R-CNN 및 YOLOv2 모델에서는 모든 앵커박스를 먼저 설정하여 앵커박스 통하여 bounding box를 찾는 것이다. 앵커박스가 더 많을수록 객체 인식률을 높아지나 연산자가 늘어지기 때문에 속도가 느려진 것이다. Faster R-CNN [13] 에서는 앵커박스가 9개 있으며 YOLOv2 [14] 는 5개만 있다. 번호판은 영상에 비하면 상당히 작은 객체라서 Faster R-CNN는 YOLOv2보다 번호판을 잘 찾지만 속도가 많이 느리다. 빠른 속도로 정확하게 번호판 인식하기 위해 [7,8,9,10] 논문은 번호판 검출은 2단계로 나누었다. 첫 번째는 입력 영상에 차량 찾는 단계이며 둘 번째는 찾은 차량 영상에는 번호판 찾는 단계이다. 2 단계 나눠 번호판 인식하면 번호판은 찾은 차량 사진에 비하여 상당히 적당한 사이즈이라 속도 빠르며 인식률을 많이 높아졌다.
III. 제안된 YOLOv2 기반 오토바이 번호판인식 시스템
그림 1 은 제안된 오토바이 번호판 인식시스템을 나타낸다. 번호판을 놓치지 않기 위해 입력 이미지에서 오토바이를 먼저 검출한 후 검출된 오토바이 영상에서 번호판 찾는 것이다. 번호판 찾은 후 번호판의 문자를 잘 인식하기 위하여 영상워핑 과정을 거쳐서 정면 번호판 영상으로 바꾼다. 마지막 번호판의 문자를 인식하는 단계에는 OCR-net이란 [9] 의 저자가 만든 YOLOv2 모델을 기반해서 만든 CNN을 사용한다.
PPT Slide
Lager Image
제안한 오토바이 번호판 인식시스템 Fig. 1. Proposed Motorbike License Plate Recognition system
- 1. 오토바이 검출 및 번호판 검출
그림 1 에서 보는 바와 같이 제안된 오토바이 번호판을 검출하기 위해서 2개의 CNN 구조를 가진다. 첫 번째는 영상내 오토바이를 인식하기 위한 YOLOv2 모델이며, 두 번째는 검출된 오토바이내 번호판을 인식하기 위해 Fast-YOLOv2 모델이다. 수행 속도 및 인식률을 고려해서 복잡한 배경을 갖는 입력 영상에서 오토바이 인식률이 높이기 위한 YOLOv2 방식을 사용한 후 간단한 배경 가진 오토바이 번호판의 인식 속도를 높이기 위해 Fast-YOLOv2 방식을 사용하였다. 이는 Fast-YOLOv2는 보다 간단한 배경에서 객체를 빨리 인식을 할 수 있으나 복잡한 환경에서는 인식률이 떨어지기 때문이다.
YOLOv2의 네트워크 구조는 그림2 에 나타내었다. YOLOv2의 입력 이미지 크기는 416*416이며 입력 이미지는 13x 13 grid cell로 나눈 것이다 각각의 셀은 객체를 검출하도록 책임이 주어지며 객체의 중심은 셀 안에 있어야 된다. 또한 각각 셀은 B개의 경계박스 및 해당 경계박스의 대한 confidence 점수를 예측한다. 이 confidence 점수는 해당 박스 안에 객체가 있을 확률이 얼마나 되는지, 예측한 박스의 좌표가 얼마나 정확한지에 대한 확률에 대한 점수이며 모델의 예측에 대한 반영이다.
PPT Slide
Lager Image
YOLOv2의 네트워크 구조 Fig. 2. YOLOv2 network architecture
YOLOv2와 Fast-YOLOv2의 각각 모델에는 클래스 수를 맞추기 위한 마지막 콘볼루션 레이어의 필터 수는 바꿔야 한다. YOLOv2의 필터의 개수를 계산 하는 식은 다음과 같다.
PPT Slide
Lager Image
(1)에서 A는 앵커박스 개수이며, 상수 5는 각 경계박스의 4가지 좌표 (x, y, w, h)와 confidence를 포함하고, C는 클래스의 개수이다. (x,y): 경계박스의 중심점을 의미하며, grid cell의 범위에 대한 상대값이 입력된다. (w,h): 전체 이미지의 크기, 높이에 대한 상대값이 입력된다. 측 만약 x가 grid cell의 가장 왼쪽에 있다면 x=0, y가 grid cell의 중간에 있다면 y=0.5이며 경계 박스의 넓이가 이미지 넓이의 절반이라면 w=0.5이다.
그림 2 에는 5개의 경계박스를 이용하여 20개의 클래스를 가진 Pascal VOC 데이터세트에 대한 객체 인식이라 마지막 콘볼루션 레이어의 필터 수는 125이다. 오토바이 인식 및 번호판 인식은 모두 하나의 클래스를 인식하므로 클래스의 개수는 1이고 객체의 다양한 크기를 인식하기 위한 앵커 개수는 6이라면 필터 개수는 36이 된다. 본 논문에서 쓰는 YOLOv2 및 Fast-YOLOv2의 구조는 표 1 표 2 에 표현한다.
오토바이 검출 단계에서 사용하는 YOLOv2 구조Table 1. YOLOv2 architecture used in motorbike detection step
PPT Slide
Lager Image
오토바이 검출 단계에서 사용하는 YOLOv2 구조 Table 1. YOLOv2 architecture used in motorbike detection step
번호판 검출 단계에서 사용하는 Fast-YOLOv2 구조Table 2. Fast-YOLOv2 architecture used in license detection step
PPT Slide
Lager Image
번호판 검출 단계에서 사용하는 Fast-YOLOv2 구조 Table 2. Fast-YOLOv2 architecture used in license detection step
또한, 객체의 위치를 정확히 감출하는 데에 앵커박스의 모양이 중요한 역할이 있다. 앵커박스의 모양은 객체의 모양과 닮을수록 객체의 위치를 잘 검출할 수 있는 것이다. 그러나 기존 YOLOv2의 앵커박스를 자동차와 같은 다양한 객체를 검출하기 위해 만들어졌기 때문에 오토바이 번호판에 대한 최적화 된 크기가 아니다. 오토바이 특성에 맞는 번호판 인식을 위해 그림 3 과 같은 형태의 앵커박스를 사용하였다. 오토바이 및 번호판 인식률을 높이기 위해 앵커박스는 6개 쓰고 사이즈도 실제 정답인 경계 박스들에 대한 k-means 알고리즘 통하여 기존 앵커박스보다 오토바이 모양에 더 적합하게 만들었다. 그림 3 을 보는 바와 같이 기존 앵커박스 보다 오토바이용 앵커박스는 오토바이의 모양은 더 적합하고 번호판용 앵커박스는 더 작은 크기로 설정하였다.
PPT Slide
Lager Image
제안된 앵커박스 Fig. 3. Proposed anchor boxes
- 2. 영상 워핑
그림 1 에서 보는 바와 같이 오토바이 주차할 때 번호판이 항상 기울어짐을 알 수 있다. 이 상황에서 기울어진 문자의 인식률이 떨어질 수 있으므로 번호판 문자 인식 단계 전에 번호판을 이미지 워핑하여 보정해 줄 필요가 있다.
본 논문에서 속도 측면을 고려하여 이미지 워핑하기 위하여 번호판의 4개 꼭짓점을 찾아서 투영변환(Perspective Transformation)을 사용한 기하학적 변형 방법을 사용한다. 4개의 점은 바로 수직인 2개의 테두리 와 수평인 2개의 테두리가 만나는 점이다. 필요한 4개의 점을 그림 4 처럼 여러 단계를 거쳐 찾을 수 있다.
PPT Slide
Lager Image
영상 워핑의 블록도 Fig. 4. Block Diagram of Image Warping Processing
첫 번째 단계는 한 가지 수직 축이나 수평 축 테두리만 검출할 수도 있는 것이다. 이런 번호판의 테두리에 대한 부족한 검출을 예방하기 위해 첫 단계에는 수평 축이나 수칙 축을 검출한 다음 남은 축의 테두리를 찾는 것이다. 먼저 첫 단계를 통하여 찾은 번호판의 테두리의 직선후보들의 원점과 거리를 통하여 번호판의 테두리를 찾을 수 있다. 각 축의 테두리는 2개의 직선 포함하는데 2개의 직선은 후보 직선들 중에서 원점까지의 거리는 항상 하나는 가장 작고 하나는 제일 큰 거리다. 번호판의 수칙 축 테두리와 수평 축 테두리의 각도의 차이는 90도이다. 하지만 번호판이 기울어질 때 각도의 차이는 90보다 더 클 수도 있고 작을 수도 있는 것이라 본 논문에서 각도의 차이 범위는 45도부터 115도까지 이라 정하였다. 그래서 찾은 테두리의 직선의 각도 차이 범위에 있는 각도를 가진 남은 테두리의 직선 후보들만 고른다. 하지만 남은 테두리 직선들을 찾기 전에 노이즈 제거하기 위해 첫 단계에서 찾은 테두리의 2개 직선을 통해 마스크를 만들다. 이 마스크의 역할은 번호판 테두리 영역에만 픽셀 값을 살리고 테두리 영역 외에 픽셀 값을 삭제하는 것이다. 이렇게 하면 배경 노이즈를 제거할 수 있으며 남은 테두리 후보 직선들은 테두리 영역에만 검출함으로 정확성이 높아질 수 있다. 남은 테두리의 후보 직선들을 첫 단계처럼 사용해서 남은 테두리의 2개의 직선을 찾을 수 있다. 이제 테두리의 4개의 직선들을 모두 찾은 후 4개의 직선들은 서로 만나는 4개의 점을 찾을 수 있다. 마지막 단계는 찾은 4개의 점을 사용하여 투영변환을 통해 기울어진 번호판을 정면 번호판으로 바꾸는 것이다. 여기에서 변환하기 위한 사용하는 3x3 매트릭스를 식 (2)처럼 찾는다.
PPT Slide
Lager Image
(2)에서 xi , yi 는 소스 이미지에서 사각형 꼭짓점의 좌표이며 x'i , y'i 는 대상 이미지에서 해당 사각형 꼭짓점의 좌표이며 ti 는 스케일파라미터이고 i 는 0,1,2,3이다. ti =1로 고정되며, MapMatrix의 값은 마지막 단계에서 찾은 4개의 꼭짓점 좌표와 우리가 원하는 직사각형 영상의 4개 좌표 x'i , y'i , ([0, 0], [200, 0], [200, 160], [0,160]) 를 통해 3x3 매트리스 값을 구한 후, 이 매트리스를 대상 영상 전체에 적용해서 아래 식(3) 으로부터 워핑된 영상을 얻게 된다.
PPT Slide
Lager Image
여기서 src는 소스영상, dst는 워핑된 출력 영상이고, Mij , i=0,1,2 j=0,1,2 는 MapMatrix의 배열 원소값이다.
- 3. 문자 인식
최근에 각 문자는 하나의 객체처럼 CNN 통하여 인식하는 연구가 많이 진행되어 있다. 그래서 문자 분할 및 인식을 따로 실행하지 않고 문자 분할 및 인식을 동시에 실행하는 것이다. 특히 논문 [9] 에 YOLOv2 네트워크 수정하여 OCR-net 만들었다. 다양한 나라의 번호판 문자 인식을 잘 하기 위하여 OCR-net는 많은 나라의 번호판과 인공 번호판은 같이 학습 하였다. 본 논문에도 OCR-net을 기반하여 문자 인식하였다. 다만 기존 방식 [9] 는 3:1 비율을 가진 자동차 번호판 인식하기 때문에 OCR-net의 입력 영상 사이즈는 240 x 80인데 본 논문에는 그림 5 처럼 3:2를 비율 가진 오토바이 번호판을 인식하기 때문에 입력 영상 사이즈는 200 x 160으로 바꿨다. 본 논문에서 사용하는 OCR-net 구조는 표 3 으로 나타내있다.
문자 인식 단계에서 사용하는OCR-net 구조Table 3. OCR-net architecture used in character recognition step
PPT Slide
Lager Image
문자 인식 단계에서 사용하는OCR-net 구조 Table 3. OCR-net architecture used in character recognition step
PPT Slide
Lager Image
번호판 모양 Fig. 5. License plate shape
특히 동남아 오토바이는 번호판내 2개 라인을 가지는데 첫 번째 라인은 4가지 문자가 있고 그 중에 첫 번째, 두 번째. 네 번째 위치는 숫자이며 세 번째 자리는 글자이고 두 번째 라인은 문자 4개나 5개는 모두 숫자이다. 만일 숫자이여야 되는 위치에 문자를 인식하면 그 문자와 비슷한 숫자를 찾아서 대입하는 것이다. 구체적으로 아래처럼 바꾸는 것이다.
  • + 첫 번째 줄의 3번째 자리(글자): 0->D, 1->I , 2->Z, 4->L, 5->S, 8->B, 6->G
  • + 모두 줄의 남은 자리(숫자): D->0, I->1, Z->2, L->4, S->5, B->8, G->6
IV. 모의 실험결과
- 1. 오토바이 인식 및 번호판 인식 성능
모의실험을 위해 그림 6 와 같이 다양한 각도의 오토바이 1,230장을 포함하는 2-Lines Motorbike License Plate (2L_MLP) 데이터세트를 만들어 사용하였다.
PPT Slide
Lager Image
2L_MLP 데이터세트의 다양한 기울어진 오토바이 및 번호판 사진 Fig. 6. Various tilted motorbikes and license plates photo of 2L_MLP Dataset
2L_MLP 데이터세트를 사용하여 2-스테이지 YOLOv2 모델기반의 제안된 방식에 대하여 오토바이 및 번호판 인식을 수행한 결과, 오토바이 인식률은 90.91%이며 번호판 인식률은 99.87%인 결과를 얻었다. 또한 오토바이 및 번호판 인식시간은 각각 16.6ms 및 9.5ms가 걸렸다. 표 4 의 결과에서 보듯이 번호판 인식의 경우, 간단한 구조로 더 빠르게 인식할 수 있으며 인식율도 엄청 높은 것을 확인 할 수 있었다.
오토바이 및 번호판 영역 인식률 및 인식 시간Table 4. Motorbike and license plate detection accuracy and time
PPT Slide
Lager Image
오토바이 및 번호판 영역 인식률 및 인식 시간 Table 4. Motorbike and license plate detection accuracy and time
오토바이를 검출한 결과는 그림 7.a 와 같다. 그림 7.a 에서 보면 다양한 각도 및 조건 찍은 오토바이라도 정확히 검출할 수 있는 것을 확인할 수 있었다. 뿐만 아니라 오토바이가 여러 대 있는 영상에서도 정확히 검출할 수 있었다. 번호판을 검출한 결과는 그림 7.b 와 같다. 번호판 검출 모델은 99.87%인 인식률을 얻은 만큼 번호판 다양한 각도로 기울어져도 정확히 검출할 있는 것이다. 특기 그림 7.b 의 결과를 보면 번호판내 문자가 잘 안 보여도 높은 confidence 점수를 얻을 수 있는 것을 확인할 수 있었다.
PPT Slide
Lager Image
오토바이 및 번호판을 검출한 결과 Fig. 7. Results of Motorbike and License detection
다음 그림 8 은 기존 YOLOv2를 사용한 오토바이 검출결과와 비교해 보았다. 첫 번째 줄의 경우에는 오토바이는 3대 있지만 기존 YOLOv2는 둘 다 3대를 정확히 검출할 수 없으나, 제안한 YOLOv2 방식은 3대의 오토바이를 정확히 검출하였다. 두 번째 줄의 경우에는 모두 오토바이를 검출할 수 있으나 제안한 방식이 오토바이의 위치를 더 정확히 검출하였다. 또한 검출 신뢰도 점수도 더 높은 것을 확인 할 수 있었다. 이를 통하여 제안한 앵커박스기반 방식이 더 효율적이라는 것을 확인할 수 있다. 표 5 를 보면 오토바이에 대한 PASCAL VOC 데이터세트와 COCO 데이터세트를 적용한 기존 방법의 인식률들은 각각 85.01%와 88.99%이며, 2L_MLP 데이터세트를 적용한 제안한 방법의 인식률은 90.91%로 개선됨을 확인할 수 있었다.
PPT Slide
Lager Image
오토바이에 대한 기존 앵커박스와 제안된 앵커박스를 적용한 YOLOv2의 검출 결과 비교 Fig. 8. Motorbike Detection Results(Original anchor box vs Proposed anchor box)
오토바이 검출에 대한 기존 방법 및 제안된 방법의 인식률 비교Table 5. Comparison of existing and proposed method for motorbike detection
PPT Slide
Lager Image
오토바이 검출에 대한 기존 방법 및 제안된 방법의 인식률 비교 Table 5. Comparison of existing and proposed method for motorbike detection
또한 번호판은 영상에 비하면 작은 객체라서 잘 찾지 못 할 경우가 많아서 본 논문에서는 번호판을 더 정확히 검출하기 위하여 원본 영상에서 오토바이를 먼저 검출하고, 검출된 오토바이 영상에서 번호판을 찾았다. 이 방법의 효과를 그림 9 의 결과를 보면 확인할 수 있다. 그림 9 에서 기존 1-스테이지 방법을 적용할 때 작은 번호판을 못 찾았지만 제안된 2-스테이지 방법을 적용할 때 오토바이를 찾은 후 오토바이 영역에서 번호판을 잘 검출하었다. 표 6 에서 보는 바와 같이 번호판 영역에 대한 기존 방법 및 제안된 방법의 인식률 비교한 결과 제안된 2-스테이지 방법의 인식률은 기존 1-스테이지 방법보다 24.86%가 더 높은 것을 확인 할 수 있었다.
PPT Slide
Lager Image
번호판 영역 검출에 대한 기존 방법 및 제안한 방법의 비교 Fig. 9. Comparison of existing and proposed method for license plate detection
번호판 영역에 대한 기존 방법 및 제안된 방법의 인식률 비교Table 6. Comparison of existing and proposed method for license plate area detection
PPT Slide
Lager Image
번호판 영역에 대한 기존 방법 및 제안된 방법의 인식률 비교 Table 6. Comparison of existing and proposed method for license plate area detection
- 2. 오토바이 번호판 문자 인식 실험결과
- 2.1. 번호판 워핑 과정
기울어진 문자의 인식률이 떨어질 수 있으므로 번호판 문자 인식 단계 전에 번호판을 이미지 워핑하여 보정해 줄 필요가 있다. 번호판 영상 워핑 과정은 그림 10 에서 보는 바와 같이 진행한다.
PPT Slide
Lager Image
영상 워핑 하는 과정 Fig. 10. Image Warping processing
본 논문에서 제안한 영상 워핑 알고리즘은 그림 11 에서 보는 바와 같이 다양한 사이즈 및 각도를 가진 번호판 영상들을 잘 워핑하고 있음을 알 수 있다. 마스크를 생성해서 적용하기 때문에 배경의 직선들하고 노이즈들이 제거되기 때문에 워핑 효과가 많이 좋아진다. 특히 그림 11 의 마지막 영상처럼 문자가 거의 잘 안 보이더라도 워핑을 통해서 인식을 개선할 수 있게 됨을 알 수 있다.
PPT Slide
Lager Image
다양한 사이즈 및 각도 가진 번호판 워핑의 결과 Fig. 11. Warping results of license plates with various sizes and angles
- 2.2. 문자인식 실험 결과
제안된 방식에서는 Fast-YOLOv2를 수정한 OCR-net를 사용하므로 문자 인식을 위한 경계박스를 찾게 된다. 그림 12 에서 보는 바와 같이 영상 워핑 없이 경계박스를 찾게 되면 번호판은 약간 기울어져 있어도 한 경계박스 안에 한 문자아니라 옆에 있는 문자도 일부 들어가는 현상이 나타나기 때문에 인식이 잘 안 됨을 알 수 있다. 그러나 번호판을 워핑한 후 문자 인식이 잘 됨을 알 수 있다.
PPT Slide
Lager Image
영상 워핑 적용 시 문자인식 결과 Fig. 12. Character recognition result when applying image warping
최종적으로 문자 인식 결과를 표 7 에 나타내었다. 번호판내 모든 문자에 대한 인식률을 비교하면, 워핑이 없는 기존 YOLOv2 방식의 인식률은 47.74%로 낮은 편이다. 이에 반해 영상 워핑을 적용한 제안된 YOLOv2 방식의 인식률은 80.23%를 보였다. 이 결과를 통하여 제안된 YOLOv2기반의 오토바이 번호판 인식 시스템은 전체적으로 오토바이 번호판 특성에 맞는 앵커박스와 이미지 워핑을 통해서 다양한 기울기의 번호판 문자 인식률을 높일 수 있었다.
번호판내 모든 문자들의 인식 성공률Table 7. Recognition accuracy of all characters in license plate
PPT Slide
Lager Image
번호판내 모든 문자들의 인식 성공률 Table 7. Recognition accuracy of all characters in license plate
V. 결 론
본 논문에는 다양한 각도로 주차된 오토바이내 번호판 인식을 위하여 2-스테이지 YOLOv2 기반의 2-라인 오토바이 번호판 인식 시스템을 구현하였다. 영상내 있는 모든 번호판을 정확히 찾기 위해 합성곱 신경망 기반으로 오토바이를 검출한 후 검출된 오토바이 영상에서 번호판을 찾는 것이다. 본 논문의 인식률 및 인식 시간을 같이 고려해서 복잡한 배경을 가진 입력 이미지에서 오토바이를 검출할 때 YOLOv2모델을 사용하며, 간단한 배경 가진 오토바이 이미지에서 번호판을 검출 할 때 Fast-YOLOv2모델을 사용하였다. 이는 Fast-YOLOv2는 간단한 배경 가진 입력 이미지인 경우 YOLOv2의 인식률만큼 높으며 검출 속도가 2배 정도 더 빠르기 때문이다. 또한 오토바이 및 번호판을 잘 찾기 위해 기존 YOLOv2 및 Fast-YOLOv2의 앵커박스 사이즈 및 개수를 조절하였다. 이를 통해 제안된 방식의 오토바이 검출률은 90.91%이며 번호판 영역 검출률은 99.87%이었다. 이를 통해 높은 번호판 검출률을 얻을 수 있음을 확인하였다.
또한 번호판의 문자 인식 시스템에서 매우 중요한 영상워핑 알고리즘을 제안하였다. 번호판을 촬영하는 각도에 따라 번호판은 다양한 각도로 기울어지는데, 특히 오토바이인 경우에는 킥 스탠드를 이용해서 주차하니 기울어진 각도가 더 심하다. 이런 기울어진 번호판은 문자 인식률을 저하시키기 때문에 정면 번호판으로 바꾸는 과정이 필요하다. 영상의 직선 성분을 통하여 번호판의 테두리를 정확히 찾아서 투형 변환을 적용하여 모의실험한 결과, 기존 방법의 인식률은 47.74%에 비해 제안된 오토바이 번호판 인식 방법은 80.23%의 인식률을 얻었다.
향후에 오토바이 뿐 만 아니라 자동차, 버스, 트럭 대상도 인식할 수 있게 적응적인 번호판 인식 방식을 연구하려고 한다.
이 논문의 연구 결과 중 일부는 한국방송·미디어공학회 “2019년 하계학술대회”에서 발표한 바 있음.
BIO
당 순 정
- 2017년 : 한국산업기술대학교 전자공학부 공학사
- 2019년 8월 : 한국산업기술대학교 전자공학부 공학석사
- 주관심분야 : 영상 신호 처리, 딥러닝기반 영상처리
김 응 태
- 1991년 : 인하대학교 전자공학과 공학사
- 1993년 : KAIST 전기및전자공학과 공학석사
- 1999년 : KAIST 전기및전자공학과 공학박사
- 1998년 3월 ~ 2004년 2월 : ㈜LG전자 DTV연구소 책임연구원
- 2004년 3월 ~ 현재 : 한국산업기술대학교 전자공학부 교수
- 주관심분야 : 멀티미디어 신호처리, DTV SOC, 지능형 영상감시 시스템, 딥러닝기반 영상처리
View Fulltext  
Yu Mei , Kim Y.D 2000 An approach to Korean License plate recognition based on vertical edge matching Systems, Man, and Cybernetics. IEEE International Conference 4 8 - 11    DOI : 10.1109/icsmc.2000.884453
He X. , Zheng L. , Wu Q. 2008 Segmentation of characters on car license plate MMSP International Workshop on Multimedia Signal Processing    DOI : 10.1109/mmsp.2008.4665111
Girshick R. , Donahue J. , Darrell T. , Malik J. Rich feature hierarchies for accurate object detection and semantic segmentation 2014 IEEE Conference on Computer Vision and Pattern Recognition    DOI : 10.1109/cvpr.2014.81
Hsi-Jian L. , Si-Yuan C. , Shen-Zheng W. 2004 Extraction and recognition of license plates of motorcycles and vehicle on highways ICPR 17th International Conference on Pattern Recognition    DOI : 10.1109/icpr.2004.1333776
Hsu G. , Zeng S. , Chiu C. , Chung S. 2015 A Comparison study on motorcycle license plate detection 2015 IEEE International Conference on Multimedia & Expo Workshops(ICMEW)    DOI : 10.1109/icmew.2015.7169772
Dongsuk L. , Yoon Sook , Jaehwan L. 2016 Real-Time License Plate Detection Based on Faster R-CNN KIPS Tr. Software and Data Eng. 5 (11) 511 - 520    DOI : 10.3745/ktsde.2016.5.11.511
Yonetsu S. , Iwanmato Y. , Wei Chen Y. 2019 Two-Stage YOLOv2 for Accurate License-Plate Detection in Complex Scenes 2019 IEEE International Conference on Consumer Electronics (ICCE)    DOI : 10.1109/icce.2019.8661944
Montazzolli S. , Jung C. Real-Time Brazilian License Plate Detection and Recognition Using Deep Convolutional Neural Networks 2017 30th SIBGRAPI Conference on Graphics, Patterns and Images    DOI : 10.1109/sibgrapi.2017.14
Montazzolli S. , Jung C. License Plate Detection and Recognition in Unconstrained Scenarios 2018 European Conference on Computer Vision    DOI : 10.1007/978-3-030-01258-8_36
Laroca R. , Severo E. , Zanlorensi L. A. , Oliveira L. S. A Robust Real-Time Automatic License Plate Recognition Based on the YOLO Detector 2018 International Joint Conference on Neural Networks    DOI : 10.1109/ijcnn.2018.8489629
Goncalves G. R. , Gomes da Silva S. P. , Menotti D. , Schwartz W. R. 2016 A Benchmark for License Plate Character Segmentation Journal of Electronic Imaging 25 (5) 1 - 5    DOI : 10.1117/1.jei.25.5.053034
Hsu G.S. , Chen J.C. , Chung Y.Z 2013 Application-Oriented License Plate Recognition IEEE Transactions on Vehicular Technology 62 (2)    DOI : 10.1109/tvt.2012.2226218
Ren S. , He K. , Girshick R. , Sun J. 2017 Faster R-CNN: Towards real-time object detection with region proposal networks IEEE Transactions on Pattern Analysis and Machine Intelligence 39 (6) 1137 - 1149    DOI : 10.1109/TPAMI.2016.2577031
Redmon J. , Farh A. 2017 YOLO9000: Better, Faster, Stronger Computer Vision and Pattern Recognition(CVPR), IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 6517 - 6525    DOI : 10.1109/cvpr.2017.690