본 논문은 자동차 번호판 인식을 위한 이진화 과정을 다루고자 한다. 이진화 과정은 번호판 영상을 이진 영상으로 나타내는 것을 말하며, 많은 경우 이진화 결과가 번호판 문자인식 성능에 결정적인 영향을 미치게 된다. 후면 번호판은 전면 번호판과는 달리 구조적 영향에 의해 번호판에 그림자가 생기는 경우가 많은데, 그림자가 있는 번호판은 기존 이진화 방법을 사용할 경우에 적절하지 못한 결과를 가져올 때가 많다. 본 논문에서는 이 같은 문제점을 해결하기 위해 그림자가 있는 번호판에서 그림자가 있는 부분과 그림자가 없는 부분을 구분한 후, 나눠진 영역에 대해 히스토그램 매칭을 수행한다. 히스토그램 매칭된 두 영상을 다시 붙여서 전체 영상에 대해 이진화한다. 그림자가 있는 번호판 이진화를 위한 기존 방법과 성능을 비교 분석하였고, 그림자 경계선 검출에 오차가 있는 경우 제안하는 방법이 기존 방법에 비해 성능이 우수함을 확인할 수 있다. 컴퓨터 비전 기술의 발전에 따라 차량 번호판 인식, 자동차 검출 및 추적, 자동 주행 등 자동차 관련 영상 인식 기술들이 다방면에서 선보이고 있다. 이 중 번호판 인식은 가장 성숙한 응용분야 중 하나로서 실용 단계에 들어서고 있다. 번호판 인식은 주차 시스템에서 가장 활용도가 높으며 그 외에도 도난 차량 식별, 신호위반, 과속, 불법 주정차 등의 문제를 보다 효과적으로 해결할 수 있는 방법으로 대두되고 있다. 일반적으로 자동차 번호판 인식 과정은 그림 1 에서 나타난 바와 같이 먼저 입력 영상으로부터 자동차 번호판 영역을 찾고, 번호판 영역을 이진화하는 과정을 거친다. 이 후, 번호판 영역에 나타나는 문자를 분할하고 특징을 추출한 후에 해당 문자를 인식하게 된다 [1] . 이 중, 이진화 과정이란 각 화소의 밝기를 특정 문턱값을 기준으로 밝은 영역과 어두운 영역으로 이분하고, 각각 하나의 밝기값, 예를 들면 255와 0의 두 개의 값으로 변환하는 것을 말한다. 이러한 영상의 이진화 과정은 주로 문서 영상에서 압축비를 높이거나 문자인식을 위한 전처리로서 널리 사용된다. 이진화 방법은 전체 영상으로부터 구한 하나의 문턱값을 사용하여 이진화하는 방법과 일정 크기의 윈도우에서 지역적으로 문턱값을 구해 이진화하는 방법으로 크게 나뉠 수 있다 [2 - 10] . 하나의 문턱값을 이용하는 방법으로는 Otsu가 제안한 방법이 가장 널리 사용되고 있다 [3] . 그러나 이렇게 하나의 문턱값을 이용하는 경우는 조명이 균일하지 못한 경우에는 원하는 이진화 결과를 얻기 어렵다. 이를 해결하기 위해 일정 크기의 윈도우를 사용하여 그 윈도우 내에서 문턱값을 구하고 구해진 문턱값을 이용하여 윈도우 내의 영역을 이진화하는 방법을 많이 사용하고 있다 [4 - 7] . 자동차 전면 번호판과 달리 자동차 후면 번호판의 경우에는 자동차 구조적인 문제로 맑은 날에는 그림자가 생기는 경우가 발생한다. 그림자가 있는 번호판의 경우는 조명이 불균일한 경우이므로 하나의 문턱값을 사용하는 Otsu방법으로는 원하는 결과를 얻기 어렵다. Niblack 방법과 같이 지역적으로 문턱값을 구해 이진화하는 경우에는 파라미터를 적절히 선택하면 좋은 결과를 얻을 수 있으나 파라미터 값에 따라 이진화 결과 차이가 큰 단점이 있다 ( 그림 3 ). 이러한 전통적인 이진화 방법 외에도 그림자가 있는 번호판의 이진화 문제를 보다 적극적으로 다루고자 한 시도에서는 그림자 경계선을 추정하고 추정된 그림자 경계선을 중심으로 그림자가 있는 영역과 그림자가 없는 영역으로 분리하여 각 영역에 대해 Otsu의 방법으로 이진화하고자 하였다 [11] . 그러나 그림자 경계선을 추정하는 과정에서는 항상 오류가 발생할 여지가 있는데 이러한 그림자 경계선 추정 오차에 취약한 것으로 나타났다. 본 논문에서는 그림자가 있는 번호판에서 이진화를 수행할 때, 기존에 제안되었던 방법과 유사하게 먼저 그림자 경계선을 추정하여, 번호판을 그림자가 있는 영역과 그림자가 없는 영역으로 구분한다. 그 다음, 그림자가 있는 영역을 그림자가 없는 영역에 대해 히스토그램 매칭을 수행하여 밝기를 조절한다. 히스토그램 매칭은 처리된 영상이 지정된 히스토그램을 갖도록 만드는 처리 방법이다 [2] . 그림자가 있는 영역을 히스토그램 매칭 처리한 후 그림자가 없는 영역과 붙여서 전체 영상에 대해 Otsu방법으로 이진화를 수행한다. 제안된 방법에 따른 이진화는 그림자 경계선 오차에 대해 급격한 성능 저하를 일으키지 않는 장점을 갖고 있다. 본 논문의 구조는 다음과 같다. 2장에서는 가장 널리 사용되는 Otsu 이진화 방법에 대해 설명한다. 3장에서는 그림자가 있는 번호판에 대해 기존 알고리즘을 설명하고, 새로운 알고리즘을 제안한다. 4장에서 그림자 경계선 오차에 따른 기존 방법과 성능을 비교 분석한다. Otsu 방법은 이진화 방법 중 가장 널리 사용되고 있는 방법으로서 영상 전체에서 하나의 문턱값을 설정하는 대표적인 방법이다 [3] . Otsu의 방법은 클러스터링 기반으로 이진화를 수행하며, 영상이 두 클래스의 밝기값으로 이루어지고 히스토그램 형태가 bimodal이라고 가정한다. 각 클래스의 밝기값이 펴져 있지 않고 모여 있으며, 두 클래스간의 거리가 멀 때 이진화가 잘 이루어진다고 볼 수 있다. 이를 바탕으로 두 클래스 각각의 분산값에 대한 가중합이 최소가 되는 문턱값을 설정하여 이진화한다. 각각의 분산값에 대한 가중합을 최소화하는 문턱값은 클래스간의 분산을 최대로 만들어준다. 그림 2 에 번호판의 그레이 영상과 Otsu 방법으로 이진화한 결과를 나타내었다. 그림자가 있는 번호판의 경우에는 Otsu 방법을 통해 이진화를 수행하면 그림 2 -(d)와 같이 원하는 결과를 얻기가 힘들다. 이는 그림자가 있는 영역과 없는 영역 사이의 조명차이 때문에 나타나는 결과이다. 불균일 조명 환경에서의 이진화를 위해서는 전체 영상에 대해 하나의 문턱값을 사용하지 않고 영상에 작은 크기의 윈도우를 씌워 각 윈도우 내에서의 문턱값을 구해 이진화를 하는 방법을 적용하여 개선을 시도해 볼 수 있다. 이러한 지역적 문턱값을 사용한 이진화의 대표적인 방법은 Niblack에 의한 방법이 있는데, 사각형 윈도우를 움직여 가며 윈도우 내의 화소값들에 대해 다음 식으로 문턱값을 구한다 [5] . 위 식에서 크기가 N 인 윈도우에 대해, m 은 윈도우 내 화소값들의 평균을 말하며, s 는 윈도우 내 화소값들의 표준편차를 나타낸다. 그리고 k 는 상수값으로서 윈도우의 크기와 함께 사용자가 정해주어야 할 값이다. 그림 3 에서 그림자가 있는 번호판 ( 그림 2 -(c))에 대해 윈도우 크기 N 과 k 값에 따른 이진화 결과를 표시하였다. 결과에서 보듯이 N 과 k 값에 따라 결과가 다르게 나타나게 되며, 따라서 이러한 파라미터를 잘 설정하는 것이 결과에 큰 영향을 미친다는 것을 알 수 있다. 결과적으로 지역적 문턱값을 이용하는 이진화 방법에서는 파라미터 값을 잘 설정해 주지 않으면 만족스럽지 못한 결과를 얻게 되는 단점을 갖고 있음을 알 수 있다. 최근에는 위와 같은 전통적인 이진화 방법과는 달리 그림자가 있는 번호판의 이진화 문제를 보다 적극적으로 다루고자 하는 시도가 있었다 [11] . 이 시도에서는 우선 그림자가 있는 번호판에서 그림자 경계선을 추정한다. 추정된 그림자 경계선을 바탕으로 그림자가 있는 영역과 그림자가 없는 영역으로 분리한 다음, 각 영역에 대해 Otsu의 방법으로 이진화하고, 이진화된 두 영상을 붙였다. 이 과정에서 그림자 경계선을 검출하는 과정이 필요한데 제안된 논문에서는 녹색 바탕에 흰색으로 글씨가 표시된 번호판에서 히스토그램 결과를 이용하여 그림자 경계선을 추정하였다. 녹색 바탕의 번호판을 그레이 영상으로 변환하면, 그림자가 없는 영역의 흰색 글씨가 가장 밝은 그룹( T ₁ )에 속하며, 그림자 영역의 녹색 바탕이 가장 어두운 그룹( T ₃ )에 속하고, 그림자 영역의 흰색 글씨와 그림자가 없는 영역의 녹색바탕이 중간 밝기값을 갖는 그룹( T ₂ )에 속하게 된다. 이와 같이 히스토그램이 세 그룹으로 나누어지고 이를 이용하여 그림자 경계선을 추정하게 된다. 그러나 최근에는 흰색 바탕에 검은색 글씨가 표시된 번호판이 대다수를 차지하고 있는데 이러한 번호판의 히스토그램을 구해보면, 녹색 바탕에 흰색 글씨 번호판과는 다른 양상을 보인다. 즉, 그림자가 없는 영역의 흰색 바탕이 가장 밝은 밝기 그룹( T ₁ )에 속하고, 그림자가 있는 영역의 흰색 바탕이 중간 밝기 그룹( T ₂ )에 속하며, 검은색 글씨는 그림자의 유무에 관계없이 가장 어두운 밝기값을 갖는 그룹( T ₃ )에 속하게 된다. 이 경우는 검은색 글씨가 그림자 유무에 관계없이 비슷한 밝기값 (어두운 밝기값) 을 가져 히스토그램에서 같은 그룹에 속하여 그림자가 있는 영역과 없는 영역을 구별하기 힘들어진다. 그림 4 에 녹색 바탕 번호판과 흰색 바탕 번호판의 그레이 스케일 히스토그램을 나타내었다. 이에 따라 그림자 경계선을 찾을 때 오차가 발생할 가능성이 커지고 이진화 결과도 만족스럽지 못할 가능성이 커진다. 본 논문에서는 그림자가 있는 번호판에 대해 히스토그램 매칭을 이용하여 이진화하는 방법을 제안한다. 히스토그램 매칭은 두 영상에 대해, 하나를 참조 영상으로 하고, 다른 영상을 수정하고자 하는 영상이라고 할 때, 수정하고자 하는 영상의 히스토그램이 참조 영상의 히스토그램에 가까워지도록 영상의 밝기값을 조정하는 것을 말한다. 히스토그램 매칭을 위해서는 먼저, 두 영상의 밝기값들의 누적분포함수 (cumulative distribution function; CDF)를 구한다. 그림 5 에서 CDF ₁ 이 수정하고자 하는 영상의 누적분포함수이고, CDF ₂ 가 참조 영상의 누적분포함수라고 하자. 밝기값 χ ₁ 에 대하여 χ ₁ 의 수정하고자 하는 영상의 누적분포함수값을 구하고, 참조 영상 누적분포함수 ( CDF ₂ )에서 같은 값을 갖는 밝기값 χ ₂ 를 찾는다. 이런 식으로 0에서부터 255까지의 밝기값에 대해 χ ₁ 을 χ ₂ 로 매핑시키게 되면 히스토그램 매칭이 이루어지게 된다. 이러한 히스토그램 매칭의 한 예로서 영상의 히스토그램을 균일하게 (uniform) 만드는 것을 히스토그램 평활화 (equalization)라고 하는데, 영상의 밝기값이 0에서부터 255까지 골고루 분포하게 함으로써 contrast를 개선하는 효과가 있다. 제안하는 이진화 방법 역시 이전 방법과 마찬가지로 먼저 그림자 경계선을 추정하여야 한다. 추정된 그림자 경계선을 경계로 하여 그림자가 있는 영역과 없는 영역으로 나뉜다. 제안하는 방법은 그림자가 없는 영역의 히스토그램을 참조하여, 그림자가 있는 영역의 히스토그램이 참조 히스토그램과 가까워지도록 그림자 영역의 화소값을 변경한다. 이와 같은 히스토그램 매칭을 수행하게 되면 그림자가 있는 어두운 영역을 그림자가 없는 부분과 같은 정도의 히스토그램을 갖도록 밝게 만드는 효과가 있다. 따라서 그림자를 어느 정도 제거하는 효과를 갖게 되는 것이다. 이렇게 히스토그램 매칭을 수행하고 난 후, 그림자가 있는 영역과 없는 영역을 다시 붙여서 Otsu 이진화를 수행하여 결과를 얻는다. 제안하는 알고리즘을 검증하기 위해서 그림자가 있는 번호판에 대한 이진화 실험을 수행하였다. 실험에 사용된 그림자가 있는 번호판은 비교적 맑은날 촬영된 영상이다. 객관적인 평가를 위해 이진화 결과에 대한 분류 오류를 계산하고자 한다. 이진화 오류는 이진화 참값 0 (검은색)에 대해 1 (흰색)로 잘못 분류된 경우와 참값 1에 대해 0으로 잘못 분류된 경우를 생각해 볼 수 있는데, 각각을 type I, type II 오류로 정의하였다. 이렇게 정의된 두 가지 타입의 오류는 이진화를 위한 문턱값에 따라 trade-off관계를 갖게 된다. 즉, 문턱값이 높아지면 type I 오류는 줄어들지만, type II 오류가 증가하고, 반대로 문턱값이 낮아지면 type I 오류가 증가하고, type II 오류는 감소한다. 이와 같은 분류 오류는 그림자 번호판 영상의 이진화 참값은 그림자 경계선을 수동으로 그려 넣은 다음, 이를 바탕으로 Otsu 이진화한 영상으로부터 구하였다. 그림자 경계선 오차가 발생함에 따라 제안하는 이진화 방법의 성능을 검증하기 위해 다음과 같은 방법으로 실험하였다. 실험을 간단하게 하기 위해, 오차를 포함한 그림자 경계선은 영상에서 수평직선이 되도록 설정하였다. 먼저, 수동으로 그려 넣은 그림자 경계선과 최소 절대 오차를 갖는 수평직선을 구하기 위해 median 값을 구한다. Median 값으로 구해진 수평직선을 기준으로 하여 아래와 위로 화소를 이동하면서 수평 그림자 경계선을 변화시키면서 오차를 변화시킨다. 그림 6 에 수동으로 그려 넣은 그림자 경계선과 median 값으로 구해진 수평직선의 예를 나타내었다. Median 값으로 구한 수평직선을 기준으로 아래로 이동된 화소 수를 j 라고 하였고, 본 실험에서는 –30에서부터 한 화소씩 증가하여 30까지 변화시켰다. j 의 절대값이 클수록 그림자 경계선 오차가 많이 발생하는 것으로 이해할 수 있다. 수평직선으로 그림자 경계선을 추정하므로 j =0 일 때도 오차는 존재한다. 이와 같이 오차가 발생된 그림자 경계선을 바탕으로 기존 방법과 제안하는 방법을 이용하여 이진화한 결과에 대해 두 가지 이진화 오류의 합 (type I 오류 + type II 오류)을 계산하였다. 그림 7 에 세 개의 번호판에 대한 결과를 나타내었다. 번호판 오른쪽에 나타난 그래프는 j 에 대한 이진화 오류의 합을 보여주고 있다. 그림에서 보듯이 그림자 경계선으로 구분된 두 영상을 각각 Otsu 이진화하는 경우는 j 값에 대해 급격하게 오류가 커지는 현상이 나타나는 반면, 제안하는 방법은 완만한 오류 변화를 보여줌을 알 수 있다. 그림 7 의 세 번째 번호판 (15누9367)에 대해 오차에 따른 결과를 그림 8 에 나타내었다. 그림에서 보듯이 j =8 일 때는 기존 방법과 제안하는 방법이 비슷한 이진화 결과를 보이지만, j =10 일 때는 기존 방법은 이진화 오류가 급격히 커지면서 ( 그림 8 오른쪽 상단) 이진화 결과가 문자 인식을 할 수 없을 정도로 나빠지는 반면 제안하는 방법은 이진화 오류에 큰 변화가 없으며 그에 따라 이진화 결과도 j =8 일 때와 비슷하게 좋은 결과를 나타낸다. 앞에서 설명한 Niblack의 방법 외에도 여러 적응적 이진화 방법이 제안되었는데, 그 중에 많이 알려진 두 가지 방법을 이용하여 실험한 결과를 그림 9 에 나타내었다. 이러한 적응적 이진화 방법들은 그림 3 의 Niblack 결과에서도 나타나듯이 탐색 윈도우의 크기를 설정해주어야 하는 단점을 갖고 있다. 적응적 이진화 방법은 문서 이진화에서는 윈도우 크기에 대한 고민없이 기본적인 작은 윈도우 (예를 들어, 3x3 또는 5x5)를 사용하여 좋은 결과를 얻을 수 있으나 본 논문에서 대상으로 하는 번호판과 같은 경우는 보다 큰 윈도우를 적용하여야 한다. 그림 9 에서 보듯이 윈도우 크기를 50x50으로 설정하였을 때는 좋은 결과를 얻을 수 있지만, 5x5로 설정하였을 때는 원하는 결과를 얻을 수 없게 된다. 본 논문에서는 자동차 후면 번호판에 그림자가 생길 경우 기존 이진화 방법에서 발생하는 문제점을 해결하기 위해 새로운 이진화 방법을 제안하였다. 제안하는 이진화 방법에서는 그림자 경계선을 중심으로 그림자가 있는 영역과 없는 영역으로 나눈 다음, 그림자가 있는 영역의 밝기값 히스토그램이 그림자가 없는 영역의 히스토그램과 가까워지도록 히스토그램 매칭을 수행한다. 히스토그램 매칭 후 두 영역을 이어 붙인 다음 전체 영상에 대해 Otsu 방법으로 이진화한다. 실험 결과, 제안하는 방법은 히스토그램 매칭을 수행하지 않은 기존 방법에 비해 그림자 경계선 오차에 대해 강인한 이진화 결과를 나타냄을 알 수 있다. 본 논문에서 제안하고 있는 방법과 유사한 방법으로서, 그림자 영역에 대해 히스토그램 평활화 (histogram equalization)를 적용하는 방법을 생각해 볼 수 있다. 그림자 영역에 대해 히스토그램 평활화를 수행함으로써 어두운 영역이 밝은 영역으로 대체될 것으로 기대할 수 있고 그에 따라서 이진화 결과도 향상될 것으로 기대할 수 있다. 그러나 이러한 접근 방법은 히스토그램 매칭과는 달리 그림자가 없는 영역에 대한 고려를 하지 않고 단순히 그림자 영역의 대비를 향상시키는 것으로써 그림자가 없는 영역과의 조명 불균일 문제가 해소되지 않을 가능성이 발생한다. 이와는 달리 본 논문에서 제안하는 방식은 히스토그램 매칭을 사용하여 그림자 영역을 그림자가 없는 영역과 유사한 밝기값 대비를 갖게 함으로써 전체 번호판에 대한 불균일 조명 문제를 적극적으로 해결할 수 있다. 본 논문에서는 그림자 경계선 추정 방법에 대해서는 논하지 않았는데, 그림자 경계선 추정에 대한 내용을 추가하여 전체 이진화 과정에 관한 연구가 추후 진행될 예정이다. 김 정 훈 - 2012년 : 숭실대학교 전기공학부 학사 - 2012년 ~ 현재 : 숭실대학교 전기공학부 석사과정 - 주관심분야 : 영상신호처리 김 기 백 - 1994년 : 서울대학교 전자공학과 학사 - 1996년 : 서울대학교 전자공학과 석사 - 2007년 : 서울대학교 전기컴퓨터공학부 박사 - 1996년 ~ 2000년 : LG전자기술원 연구원 - 2000년 ~ 2003년 : (주)보이스웨어 선임연구원 - 2008년 ~ 2010년 : Univ. of Texas at Dallas, Research Associate - 2010년 ~ 2011년 : 대구대학교 전자공학부 전임강사 - 2011년 ~ 현재 : 숭실대학교 조교수 - 주관심분야 : 음성신호처리, 영상신호처리, 멀티모달신호처리, 어레이신호처리