Advanced
Belief propagation stereo matching technique using 2D laser range finder
Belief propagation stereo matching technique using 2D laser range finder
Journal of Korea Multimedia Society. 2014. Feb, 17(2): 132-142
Copyright © 2014, Korea Multimedia Society
  • Received : November 06, 2013
  • Accepted : January 06, 2014
  • Published : February 28, 2014
Download
PDF
e-PUB
PubReader
PPT
Export by style
Share
Article
Author
Metrics
Cited by
TagCloud
About the Authors
진형 김
준회원, 충남대학교 메카트로닉스공학과
윤호 고
종신회원, 충남대학교 메카트로닉스공학과

Abstract
스테레오 카메라는 거리정보의 획득 이외에 대상의 부가적인 정보를 획득할 수 있는 장점이 있어 향후 지능 로봇 시스템에 필수적인 센서로 각광받고 있다. 하지만 건물의 벽면과 같이 대상 표면에 반복적인 무늬가 있는 영역, 질감도가 낮은 영역 등에서는 기존의 기법으로는 정합이 불가능하다. 이러한 한계를 극복하기 위해 본 논문에서는 2D 레이저 거리 측정기를 활용해 국소적으로 획득된 거리정보를 신뢰도 전파스테레오 정합 기법에 융합하여 정합 성능을 향상시키는 기법을 제안한다. 제안된 기법은 기존의 신뢰도 전파 스테레오 정합 기법의 국부-명백함수에 Quad-tree 기반 영상분할 정보를 참조하여 레이저 측정 정보를 추가하고, 영상의 과분할 정보를 참조하여 국부-적합성 함수를 계산한다. 제안한 기법을 모의 실험영상과 실영상에 적용한 결과 질감도가 낮은 영역에서도 부분적으로 거리정보를 획득할 수 있었으며, 영역분할 정보의 사용으로 깊이 정보의 불연속성이 유지되는 것을 관찰할 수 있었다.
Keywords
1. 서 론
로봇의 새로운 패러다임인 인간친화적 지능로봇은 주변 환경을 스스로 인지하고, 이를 바탕으로 스스로 판단하여 사용자에게 유용한 고수준의 서비스를 수행한다 [1] . 이때 지능형 로봇들이 적절한 서비스를 제공하기 위해서는 근방의 구조물에 대한 위치 정보를 정확하게 파악하는 것이 중요하다.
최근에는 주변의 위치 정보를 파악하기 위한 다양한 센서 중에서 근방의 위치 정보와 대상의 부가 정보를 추가로 획득할 수 있는 비전 기반 센서가 주목받고 있다 [2 , 3] . 대표적인 비전 기반 센서로는 키넥트, ToF(Time of Flight) 카메라, 스테레오 비전이 있다. 마이크로소프트(Microsoft)사에서 개발된 키넥트는 저가의 깊이 카메라로써, 빠른 속도로 깊이 정보 외에 RGB 영상과 관절 추적 정보 등을 제공하므로 게임이나 인간-컴퓨터 상호작용 응용 개발에 많이 사용되고 있다 [4] . 하지만 해상도가 낮고 근원적으로 적외선 구조광을 사용하는 이유로 사용 가능 환경이 자연광이 없는 실내와 근거리에 있는 대상에 대한 것으로 국한된다. ToF 카메라는 카메라 내부에서 발산한 적외선 광분자가 대상 물체에 부딪쳐서 되돌아오는 시간을 카메라 내부 센서가 인지한 후, 측정된 시간을 대상과의 거리로 변환하여 깊이 영상을 생성한다 [5 , 6] . 최근에는 야외에서 사용가능한 제품도 나오고 있고, 원거리(40m)에도 적용가능하며, 거리 해상도도 약 1cm로 높으면서 초당 100장의 거리 영상을 출력할 수 있는 장점이 있다. 그러나 가격이 매우 고가이며, 깊이 영상의 해상도가 낮은 문제가 있다. 마지막으로 스테레오 카메라는 동일 장면에 대한 다시점 영상을 이용해 거리 정보를 획득하는 기법 [7] 으로 깊이 영상의 해상도가 높으며, 야외에서 원거리에 있는 대상에 대한 거리 정보 획득이 가능한 장점이 있다.
스테레오 카메라에서 실세계의 한 점에 대한 각 시점의 카메라에 맺힌 위치의 차이를 시차변이(disparity)로 정의하고 있다. 스테레오 카메라는 대상과의 거리는 시차변이에 반비례한다는 관계를 이용하여 거리 정보를 측정한다. 이때 시차변이를 구하기 위해서는 두 시점에서 얻은 영상에서 동일한 대상에 대한 사상점(projection point)을 찾아야 하는데, 이를 스테레오 정합이라고 한다. 영상 정보만을 이용한 스테레오 정합 기법들은 대부분 기준 영상의 한 점에 대한 비교 영상에서의 상관도가 높은 점을 정합점으로 추정하게 된다. 상관도 추정의 신뢰성은 대상의 질감도에 비례하는 특성이 있다. 따라서 질감도가 낮은 부분에 있어서는 올바른 정합이 이루어지지 않는 문제가 발생한다 [8] . 인간친화적 지능형 로봇은 주로 가정, 사무실과 같이 단조로운 무늬의 벽, 기둥, 칸막이 등이 많이 존재하는 공간에서 동작하게 된다. 지능형 서비스 로봇이 올바른 공간인지를 확보하기 위해서는 위와 같이 질감도가 낮은 영역에서 거리정보를 추정하는 것이 필수적으로 요구된다. 이에 본 논문은 질감도가 낮은 영역에서의 스테레오 정합 성능을 향상시키기 위해 영역분할 정보와 2차원 레이저거리 측정기로부터 획득한 거리 정보를 이용하는 개선된 신뢰도 전파 스테레오 정합 기법을 제안한다.
본 논문의 구성은 다음과 같다. 2장에서는 기존의 신뢰도 전파 기반 스테레오 정합 기법에 대한 개략적인 설명과 그 한계점을 기술하고, 3장에서 제안하는 정합 기법을 설명하며, 4장은 기존 기법과의 비교 실험 결과를 보여준다. 마지막으로 5장에서 결론을 맺는다.
2. 기존 기법과 그 한계점
- 2.1 기존 신뢰도 전파 기반 스테레오 정합 기법
근래에 들어 스테레오 정합 알고리즘은 다양한 사전확률정보를 적용할 수 있는 장점을 가진 베이지안 추론 모델링을 사용하여 전역적으로 최적의 해를 추정하는 기법이 주로 제안되고 있다 [9] . 그 중에서도 Sun이 제안한 스테레오 정합 문제를 마코프 랜덤 필드(Markov Random Field)로 모델링 하여 신뢰도 전파(Belief Propagation)알고리즘을 적용해 정합하는 기법 [10] 이 많이 사용되고 있다.
신뢰도 전파 스테레오 정합 기법은 스테레오 정합문제를 Pair-wise MRF로 가정하여 국소 메시지를 반복적으로 전달하여 노드 사이의 결합 확률을 높임으로써 전역적으로 에너지가 최소화 되는 근사해를 구하는 기법이다. 여기서 메시지는 각 노드가 가지는 후보 양안시차들에 대한 정합 확률을 포함하는 벡터이다. 메시지는 자기 자신의 위치에서 관측된 정보를 토대로 계산되는 국부-명백성 함수와 주변과의 연속성에 의해 결정되는 국부-적합성 함수로 구성된다. 국부-명백성 함수는 기존의 지역적 정합 기법인 SAD(sum of absolute difference), SSD(sum of squared difference), MAD(mean of absolute difference)와 같은 값을 사용하는 지역적 정합 정도를 나타낸다. 국부-적합성 함수는 해당 위치의 후보 양안시차와 인접한 주변의 양안시차의 격차에 대한 비용함수이며, 인접한 위치에서의 양안시차는 급격하게 변하지 않는다는 특성을 내포한다.
- 2.1.1 알고리즘의 진행 과정
신뢰도 전파 기반 스테레오 정합 기법은 크게 세가지 단계로 진행된다. 초기화 후에 반복적으로 메시지를 전파 및 갱신하여 신뢰도를 계산하고, 최종적으로 최대 신뢰도를 가지는 정합점을 추정하게 된다.
먼저 초기화 단계에서는 모든 노드에서의 메시지를 같은 값으로 정한다. 그리고 반복적인 메시지 갱신은 다음 수식 (1)과 같이 진행된다.
PPT Slide
Lager Image
여기서 N ( xs )| xt xt 를 제외한 xs 의 이웃 노드이며 κ 는 정규화 상수이다. 노드 s 에서 노드 t i + 1 번째 반복 수행 때 보내는 메시지는 국부-적합성 함수
PPT Slide
Lager Image
국부-명백성 함수
PPT Slide
Lager Image
를 포함하는 노드 s 의 메시지와 노드 t 를 제외한 인접한 노드로부터의 메시지의 곱으로 구성된다. 국부-적합성 함수는 메시지를 주고 받는 두 노드 사이의 후보 양안시차의 차이에 반비례하는 결합확률을 의미하며, 국부-명백성 함수는 노드 s 의 양안시차가 xs 일 확률을 내포하며 일반적으로 지역적 정합 기법에 사용되는 함수들이 사용된다. 마지막으로 노드 s 에서의 신뢰도는 다음 수식 (2)와 같이 계산된다.
PPT Slide
Lager Image
신뢰도는 노드 s 에서 시차변이 xs 를 가질 주변 확률이며 해당 노드의 국부-명백성 함수와 인접한 모든 노드에서 보내는 메시지의 곱으로 구할 수 있다. 신뢰도 전파 기법은 메시지의 충분한 반복 전파 과정을 거쳐 신뢰도가 수렴하게 되면, 각 노드에서 최대 신뢰도를 가지는 후보 양안시차를 정합점으로 추정한다.
- 2.1.2 알고리즘의 구현
이전 항에서 살펴본 신뢰도 전파 스테레오 정합알고리즘은 지수함수의 곱으로 이루어져 있기 때문에 계산 및 구현이 용이하지 않다. 따라서 구현에 있어서 음의 자연로그를 취하여 식을 상관도의 곱의 형태에서 비용의 합의 형태로 변환 및 간편화 한다. 다음은 변환된 메시지 갱신 수식과 신뢰도 계산 수식이다.
PPT Slide
Lager Image
PPT Slide
Lager Image
여기서 대문자로 표기된 각 항들은 기존 식의 상관도에 자연로그를 취한 비용 함수이다. 이와 같이 변환된 신뢰도는 일종의 비용의 합의 형태이기 때문에 추정되는 양안시차는 최소 비용을 가지는 것으로 결정된다. 다음은 최종적으로 노드 s 에서 추정되는 양안시차를 나타내는 수식이다.
PPT Slide
Lager Image
- 2.2 기존 기법의 한계점
기존의 신뢰도 전파 스테레오 정합 기법은 국부-명백성 함수로 SAD, SSD, MAD, NCC 등을 사용한다. 이러한 지역적 정합 척도는 대응점 사이의 명도 차이에 의해 결정된다. 따라서 지역적으로 마스크 내 질감도가 낮아 후보점들 사이에 명도 차이가 적은 경우나 후보점 탐색 방향으로 반복되는 무늬가 존재 할 경우 지역 최소점 문제가 발생하기 때문에 정합의 정확도가 현저하게 낮아지게 된다. 그림 1 은 NCC 기법을 국부-명백성 함수로 적용한 신뢰도 전파 스테레오 정합 결과 영상으로, 볼링공과 같이 질감도가 낮은 영역에서 정합 결과의 품질이 현저하게 떨어지는 문제점을 보여준다.
PPT Slide
Lager Image
기존 신뢰도 전파 기법을 사용한 스테레오 정합 결과
이러한 문제를 해결하기 위해 Yao는 양안시차 공간에서 오정합 점을 찾아 인접한 정합점을 지지점으로 보간하는 방법을 제시하였다 [11] . 이 방법은 오정합 점이 국소적으로 존재할 때는 그 부분을 효과적으로 채워준다. 하지만 광범위한 영역에 걸쳐 질감도가 낮은 경우에는 지지점이 멀어지게 되어 정합 결과가 실제 양안시차와 상이할 가능성이 높아진다.
또한 Chiu는 Kinect와 스테레오 비전을 융합하여 거리정보를 획득하는 방법을 제안하였다 [12] . 이 방법은 실내에서는 질감도가 낮은 영역에서도 효과적으로 정보를 획득하지만, 자연광과 같은 환경에서는 Kinect를 통한 거리 정보의 획득이 불가능에 가깝다. 또한 Kinect는 적외선 구조광을 조사하여 거리정보를 획득하기 때문에 6m이내의 근거리에서만 거리정보가 유효하여 실외의 원거리에 있는 대상에 대한 거리정보를 획득하는 응용에는 사용할 수 없다. 방법론적으로 Chiu가 제안한 방법은 Kinect로부터 획득한 거리정보를 기반으로 Kinect가 획득하지 못하는 영역을 스테레오 카메라로 획득한 거리정보로 대체하는 방법이다. 즉 두 가지 센서 중에서 하나를 선택하여 거리정보를 획득하는 방식에 가까우므로 실제적인 두 센서의 상호보완적 동작을 기대할 수 없다.
3. 제안하는 정합 기법
앞서 살펴보았듯이 기존의 스테레오 비전은 오직 영상 정보만을 사용하여 거리정보를 획득하기 때문에 광범위한 영역에 걸쳐 질감도가 낮은 객체에 대한 거리 정보의 획득이 불가능하다. 이러한 문제점은 지능형 로봇의 자율주행에 있어 치명적이다. 왜냐하면 지능형 로봇이 활동하는 환경에는 건물의 외벽이나 바닥면 등 질감도가 낮은 영역이 광범위한 객체가 자주 등장하기 때문이다. 따라서 이러한 영역에서 거리정보를 획득하기 위해서는 스테레오 비전 외에 추가적인 거리 측정 센서가 요구된다. 2차원 레이저 거리 측정기는 상대적으로 정확한 거리 정보를 제공하지만 수평 방향의 라인 형태로만 깊이 정보를 제공하므로 그 정보의 양이 제한적이다. 본 논문에서는 질감도가 낮은 영역에 대한 정합 성공률을 높이기 위하여 2차원 레이저 거리 측정기를 스테레오 비전 시스템에 추가적으로 사용하는 신뢰도 전파 기반 스테레오 정합 기법을 제안한다. 제안하는 기법은 신뢰도 전파 알고리즘에 스테레오 비전으로부터의 상관도 비용과 레이저 거리 측정기로부터의 거리정보를 동시에 입력하기 때문에 두 센서가 상호보완적으로 동작하게 한다.
제안하는 기법은 신뢰도 전파 기법에 기반하는 방법으로 그림 2 에 제시된 흐름도와 같이 진행된다. 스테레오 영상 쌍을 입력 받고, 동시에 2차원 레이저거리 측정기를 통해 레이저 거리 측정기의 좌표상의 한 횡축에 대하여 측정된 거리정보를 획득한다. 입력 받은 스테레오 영상 쌍으로부터 NCC(normalized cross correlation)를 계산하여 각 노드의 국부-명백성 함수를 계산하고, 기준 영상에 대하여 Quad-tree 영역분할을 수행한다. 레이저 거리 측정기로부터 획득한 거리 정보를 극좌표계에서 직교좌표계로 변환을 한다. 그 다음은 LRF-CAM(Laser range finder-Camera) Calibration 단계로, 기준 카메라와 레이저 거리측정기 사이의 캘리브레이션 정보를 사용하여 기준 영상 안에 맺힌 레이저 계측점의 위치를 구한다 [13] ]. 다음으로 레이저 측정 깊이 정보를 영상내 레이저 계측 점을 포함하는 분할 영역에 대하여 국부-명백성 함수를 조정하여 해당 위치에서의 레이저 계측을 통한 깊이를 추정하도록 유도한다. 마지막으로 신뢰도 전파를 통해 최적의 정합 해를 추정하게 된다. 여기서 국부-적합성 함수에 영역 분할 정보를 추가하여 메시지의 전파 정도를 조정한다.
PPT Slide
Lager Image
제안하는 기법의 흐름도
- 3.1 국부-명백성 함수로서의 NCC
스테레오 정합을 방해하는 요인 중 하나로 전역 및 지역 밝기값의 변화를 꼽을 수 있다. 전역 및 지역 밝기 변화는 카메라의 제작상의 차이, 카메라의 위치에 따른 대상이 받는 조명의 차이 혹은 카메라 노출의 상이함에 의해 발생한다. 전역 및 지역 밝기 변화 때문에 같은 대상체에 대한 스테레오 영상 쌍은 다른 밝기로 촬영될 수 있다. 이러한 현상 때문에 전역 및 지역 밝기 변화를 고려하지 않는 기존의 국부-명백성 함수를 사용하여 실제 스테레오 비전 시스템을 구현하면 조명과 카메라의 하드웨어적인 요인에 매우 취약한 정합 결과를 획득할 가능성이 높아진다. 따라서 전역 및 지역의 밝기 변화에 강인한 국부-명백성 함수가 요구된다.
NCC는 두 신호의 정규화된 상관도를 의미하며 정규화된 두 값의 곱으로 정의된다. NCC는 영상의 템플릿 정합에 많이 사용되며 –1에 가까울수록 음의 상관도를 가지고, 1에 가까울수록 양의 상관도를 가지게 된다. 또한 0에 가까울수록 두 신호는 관계성이 적다고 할 수 있다. NCC는 비교하는 화소를 각 마스크 안에서의 평균을 제한 다음 지역 마스크 안의 표준편차로 나누어주어 조명의 선형합과 곱에 따른 밝기 변화를 제거해주기 떄문에 기존의 기법에 비해 밝기 변화에 강인하다.
기준영상을 좌측 영상 IL 이라 하면 임의의 위치에서 대응되는 우측 영상 IR 과의 상관도인 NCC는 다음 수식 (6)과 같이 정의된다.
PPT Slide
Lager Image
여기서 M 은 마스크이며, μL 은 좌측 영상에서 마스크 내 평균, μR 은 우측 영상에서의 마스크 내 평균, σL σR 은 각각 좌측 영상과 우측 영상에서 마스크내 표준편차를 의미하고, n 은 마스크 M 에 포함된 화소의 개수를 가리킨다.
앞서 설명한 NCC에서 값이 -1에 가까울수록 음의 상관도를 가진다 하였다. 이는 일반적으로 정 반대의 신호에 대한 상관도를 나타낸다. 스테레오 정합에 있어 조명의 변화가 급격하게 변한다 해도 같은 대상 객체에 대한 영상 쌍이 반전된 색상을 가지지는 않는다. 따라서 스테레오 정합 문제에 있어서 음의 상관도는 매우 낮은 상관도를 표현한다 할 수 있다. 그리고 NCC를 II장 1절 나항에서 설명된 신뢰도 전파 알고리즘의 국부-명백성 함수로 적용하기 위해서는 상관도 함수를 비용함수로 변환해주어야 한다. 이에 본 논문에서는 상관도 함수의 역함수에 선형 이동을 통해 아래 수식 (7)과 같이 비용함수로 표현하였다.
PPT Slide
Lager Image
여기서 λ 는 국부-명백성 함수에 대한 가중치를 나타낸다. 그림 3 λ 가 0.05일 경우에 대한 비용함수의 그래프이다.
PPT Slide
Lager Image
NCC에 대한 비용함수(λ = 0.05)
- 3.2 Quad-tree 기반 영역분할 및 종축 영역확장을 통한 LRF 센서융합
- 3.2.1 2차원 레이저 거리 측정기의 융합
선행지형을 측정하기 위해 사용되는 2차원 레이저 거리 측정 장치는 일종의 라인스캐너로써 직진성이 좋은 레이저 빔을 회전하는 거울에 조사하여 대상에 반사되어 돌아오는 ToF(Time of Flight)를 계산하여 레이저 빔의 진행 방향을 포함하는 특정 평면상에 있는 대상의 거리 정보를 수집한다 [14 , 15] .
레이저 거리 측정기는 대상의 표면의 무늬 또는 질감도에 강인하다. 특히 질감도가 매우 낮은 단색 벽면과 같은 대상에 대한 거리의 정확도가 상당하다. 이러한 특성을 이용해서 본 논문에서는 레이저를 이용해 측정된 거리 정보를 스테레오 정합에 이용하는 방법을 제안한다.
먼저 레이저 거리 측정기로부터 계측된 지점이 영상의 어느 위치에 대응되는지 알아야 한다. 따라서 카메라와 레이저 거리 측정기 사이의 위치관계를 캘리브레이션을 통해 얻는다 [13] . 이 과정에서 얻어진 외부 인자들을 사용해 레이저 거리 측정기의 계측정보를 카메라 좌표계로 변환하고, 카메라 내부 인자를 사용해 영상 좌표계로 변환한다. 일반적으로 2차원 레이저 거리 측정기로 얻은 거리 정보는 극좌표계상의 점이기 때문에 직교좌표계로 변환한 후에 깊이 정보를 추출해서 사용한다. 일련의 과정을 통해 얻어진 깊이 정보 zlrf 는 아래 수식 (8)을 사용해서 양안시차의 형태 dlrf 로 변환한다.
PPT Slide
Lager Image
여기서 b 는 스테레오 카메라의 광축 사이의 거리이며 f 는 카메라의 초점거리이다.
- 3.2.2 Quad-tree 기반 영역분할 및 종축 영역확장
스테레오 카메라를 통해 거리 정보의 획득이 어려운 낮은 질감도를 가지는 벽면, 칸막이, 그리고 기둥은 그 형태의 특성이 수직적이다. 이러한 특성을 고려하여 레이저 거리 측정 정보를 사용하기 위해 본 논문에서는 Quad-tree 기반 영역 분할 방법 [16] 을 변형하여 사용하였다. Quad-tree 기반 분할 기법은 반복적인 분할 후에 동질성이 높은 인접한 영역을 병합하는 알고리즘이다. 본 논문에서는 레이저 거리 측정기로 계측된 산발적인 정보를 영역에 걸쳐 사용하기 위해 레이저 거리 측정 점이 포함된 영역에 대하여 종축 영역 확장을 하였다.
- 1) Quad-tree 기반 영상 과분할
신뢰도 전파 스테레오 정합 기법에 국부-적합성 함수로 사용하기 위해 Quad-tree 기반 영역 분할 기법을 다음과 같이 진행한다. 먼저 주어진 영역의 평균 및 표준편차를 계산한다. 표준편차가 임계값 이상일 경우 주어진 영역을 네 개의 영역으로 분할한다. 분할된 영역에 대하여 위의 과정을 최소 영역 크기에 도달하거나 표준편차가 임계값 이하가 될 때 까지 재귀적으로 반복한다. 별도의 병합 과정을 수행하지 않았으므로 분할된 각각의 영역은 실제 영상의 각 영역보다 세부 영역으로 과분할된 형태를 가지게 된다. 그림 4 는 Quad-tree 기반 과분할된 영상을 보여 준다. 질감도가 낮은 벽면과 같은 영역의 면적이 큰것을 확인할 수 있다.
PPT Slide
Lager Image
Quad-tree 기반 과분할 영상의 예
- 2) 종축 영역확장
2차원 레이저 거리 측정기는 횡축 방향을 따라 동일 평면상을 따라 조사된다. 따라서 이동하지 않는 한 일정 영역에 대한 거리 정보를 획득하기 어렵다. 스테레오 카메라로 획득이 어려운 저질감도 벽면, 기둥, 칸막이 등은 대체로 종축 방향으로 일정한 거리정보를 가진다. 따라서 레이저 계측 점을 포함하는 분할 영역을 종축 방향으로 확장한다. 레이저 계측점을 포함하는 분할 영역과 이 영역에 종축 방향으로 인접한 영역의 평균 밝기값과 표준편차가 비슷하면 인접한 영역을 레이저 계측 점이 포함된 영역에 포함시킨다. 이때 확장은 영역이 아닌 화소 단위로 이루어진다. 이는 계측점이 포함된 영역이 종축 방향으로 인접한 영역보다 폭이 좁을 경우 인접한 영역 전부를 포함하지 않기 위함이다. 평균 밝기값과 표준편자가 비슷한 영역이 종축 방향으로 존재하지 않을 때까지 레이저 계측 점이 포함된 영역의 확장을 수행한다. 그림 5 는 종축 영역확장이 종료된 후의 분할 정보를 보여준다. 영상 중앙에 나열된 점들은 레이저 계측점을 나타내며, 계측점이 포함된 영역을 기준으로 종축 방향으로 인접한 저 질감도 영역에 대한 확장이 진행된 것을 확인할 수 있다.
PPT Slide
Lager Image
종축 영역확장 후 분할영상
- 3) 레이저 계측 정보에 의한 국부-명백함수의 수정
앞서 소개된 거리정보를 양안시차의 형태로 변환하는 식을 사용해 변환된 기준 영상 안의 레이저 계측정보를 해당 계측 점이 포함된 종축으로 확장된 영역에 한하여 추정된 양안시차에 해당하는 국부-명백성 함수의 값을 반으로 줄여주어 초기 추정 정합 비용을 낮춰준다. 이때 질감도가 낮은 영역에 레이저 계측 점이 포함되면, 해당 영역은 넓게 분포하기 때문에 질감도가 낮은 부분의 양안시차를 보다 정확하게 추정할 수 있다. 또한 한 영역에 둘 이상의 레이저 계측 점이 포함되어 있을 경우에는 두 계측 거리가 동일하다면 해당 영역에 대한 거리정보에 대한 비용은 초기 비용의 25%로 낮아지기 때문에 실제 거리에 대한 양안시차를 추정할 가능성이 더욱 높아진다.
- 4) 영역 분할 정보에 의한 국부-적합성 함수의 수정
본 논문에서 제안하는 기법은 기본적으로 영상의 과분할 정보를 포함하고 있다. 과분할된 영역은 일종의 슈퍼픽셀로 사용될 수 있다. 따라서 각 분할 영역내에서는 비슷한 밝기값을 가지며, 비슷한 거리정보를 가진다. 하지만 인접한 영역 사이에 큰 밝기값 변화가 존재하는 곳에서는 깊이 정보의 불연속이 발생할 가능성이 높다. 이러한 특성에 착안하여 인접한 영역의 밝기값이 비슷할수록 신뢰도 전파가 잘 이루어지면서 깊이 정보의 불연속성은 유지되도록 국부-적합성 함수를 수정하였다. 제안하는 정합 기법에서는 영역 분할 정보를 다음 수식 (9)를 인접한 영역과의 연속성에 관계되는 일종의 평활화항으로써 수식 (3)에 포함되어 있는 기존의 국부-적합성 함수( ϕst )에 추가한다.
PPT Slide
Lager Image
여기서 s t 는 인접한 화소의 위치이며 fs ft 는 각 위치에서의 레이블이다. 또한 μfs μft 는 각 화소가 포함된 영역 내 평균 밝기값을 의미하며 I max 는 가능한 최대 밝기값으로 정규화 상수로 사용되었다.
4. 실험 및 분석
제안하는 기법의 성능을 분석하기 위해 두 가지 실험을 진행하였다. 객관적인 성능 평가를 위하여 Middlebury [17] 에서 제공되는 영상들 중에서 부분적으로 질감도가 매우 낮은 영역이 포함되어 있는 영상들을 가지고 실험을 진행하였으며, 주관적인 성능 평가를 위하여 실제 시스템으로부터 얻은 스테레오 영상 쌍과 레이저 거리 측정 정보를 사용한 실험을 진행하였다.
- 4.1 모의 실험
Middlebury에서 제공하는 스테레오 영상들은 모두 실제 시차 지도가 제공되기 때문에 정량적 분석이 용이하다. 제안하는 기법은 레이저 거리 측정 정보를 사용한다. 하지만 Middelbury에서 제공하는 영상에는 레이저 거리 측정 정보가 주어져 있지 않기 때문에 가상의 레이저 거리 측정 정보가 필요하다. 본 논문에서는 실제 시차 지도의 깊이 정보를 이용해서 레이저 계측 정보를 모사하였다. 실험의 편의를 위해 가상의 레이저 거리 측정기는 카메라 광축과 평행한 방향으로 결정하였다.
제안하는 기법은 질감도가 낮은 영역에서의 정합성능의 향상을 목표로 한다. 따라서 Middlebury에서 제공하는 영상들 중에서 질감도가 현저하게 낮은 영역이 지역적으로 넓게 포함되어 있는 Monopoly, Bowling2, Plastic, Midd1 영상에 대하여 실험을 진행하였다. 그림 6 은 실험에 사용된 각 기준영상을 보여준다. 표 1 은 실험 영상에 대한 기존 기법과 제안하는 기법의 성능비교를 보여준다. 여기서 PSNR은 각 기법으로 정합된 결과 영상과 실제 시차 지도의 비교를 통해 계산된 값이며, Bad pixel은 정합 결과와 실제 시차 지도과의 양안시차 차이가 임계값보다 큰 픽셀의 전체 영상에 대한 비율을 나타낸다. 실험 결과를 살펴보면 평균적으로 PNSR은 2.43dB이 증가하였고, Bad pixel은 15.2% 감소한 것을 확인할 수 있다. 질감도가 현저히 낮은 영역이 넓은 범위에 걸쳐 포함되어 있는 Plastic과 Midd1의 경우 기존 기법에 비해 3.08dB, 3.38dB만큼 성능이 상승한 것을 확인할 수 있다. 이에 반해 Bowling2의 경우 약 0.47dB의 성능 향상이 관찰되었는데, 이는 다른 실험영상에 비해 낮은 질감도를 가지는 영역이 상대적으로 좁게 분포하기 때문이며, 이 경우, 기존의 신뢰도 전파 기법만으로도 어느 정도 질감도가 낮은 영역에 대한 오정합이 줄어들기 때문이다.
PPT Slide
Lager Image
실험에 사용된 기준영상
실험 영상에 대한 정량적 성능 비교
PPT Slide
Lager Image
실험 영상에 대한 정량적 성능 비교
그림 7 은 저질감도 영역이 가장 광범위하게 포함되어 있는 Midd1 영상에 대한 정합 결과를 보여준다. 먼저 기존 기법을 적용한 결과인 그림 7 의 (b)를 살펴보면, 배경 부분인 벽면에서 정합이 전혀 이루어지지 않는 것을 확인할 수 있다. 또한 신뢰도 전파를 통해 벽면 부분과 전방에 있는 물체사이의 경계부분에서 잘못된 정보가 전파되어 대상의 경계가 불분명해지고 오정합이 증가하는 것을 확인할 수 있다. 이에 반해 제안한 기법을 적용한 그림 7 의 (c)에서는 배경의 벽면에서 정확한 정합 결과를 보여주며, 영역 분할정보를 사용하기 때문에 신뢰도 전파 알고리즘을 수행해도 각 객체들의 경계가 보존되는 것을 확인할 수 있다.
PPT Slide
Lager Image
Midd1 영상의 정합 결과
- 4.2 실제 시스템에서의 실험
주관적인 성능평가를 위해 그림 8 과 같은 시스템을 구성하였다. Pointgrey사의 IEEE1394a 규격의 Dragonfly2 카메라 두 대를 평행하게 거치시켜 스테레오 비전을 구성하고 2차원 레이저 거리 측정기는 SICK사의 LMS111을 사용하였다.
PPT Slide
Lager Image
스테레오-2차원 레이저 거리측정 융합 시스템
그림 9 는 실험에 사용된 실영상과 그에대한 기존기법의 정합 결과, 그리고 제안하는 기법의 정합 결과를 보여준다. 그림 9 의 (a)는 실험에 사용된 기준영상으로 질감도가 책장의 문짝, 격벽 등과 같이 저 질감도 영역이 넓게 존재하는 사무실 환경에서 촬영된 것을 사용하였다. 또한 본 실험에서는 영상의 중앙 부분을 가로지르도록 레이저 거리 측정기의 위치를 조정하였다. 기존 기법을 적용한 정합 결과인 그림 9 의 (b)에서는 저 질감도 영역에 걸쳐 전반적으로 매우 부정확한 정합 결과를 보여준다.
PPT Slide
Lager Image
실험 결과 영상
특히 영상 중앙에 위치한 격벽, 우측 상단에 보이는 벽면, 그리고 영상 우측의 격벽에 걸려 있는 문서부분에서 부정확한 정합이 이루어지는 것을 볼 수 있다. 또한 좌측 상단의 책장 위에 있는 유리병들과 벽면의 경계부분에서 과한 신뢰도 전파가 발생해 깊이 정보의 불연속성이 유지되지 않는 것을 관찰할 수 있다. 이에 반해 제안하는 기법이 적용된 그림 9 의(c)에서는 부분적으로 저 질감도 영역에서의 정합이 이루어지는 것을 확인할 수 있다. 특히 영상 정중앙 부분의 격벽 부분과 같이 정합이 불가능한 영역에 대한 정확한 정합이 이루어지는 것이 관찰되며, 영상 우측 하단의 격벽에 부착된 문서에서도 깊이 정보가 손실되지 않고 올바르게 추정되는 것을 보여준다. 또한 영역분할 정보로 인해 좌측 상단 부분의 유리병들의 경계 부분에서 벽으로의 신뢰도 전파가 억제되어 깊이 정보의 불연속성이 유지되는 것이 관찰된다.
5. 결 론
본 논문에서는 지능형 로봇을 위한 낮은 질감도에 따른 스테레오 정합 문제를 해결하기 위해 2차원 레이저 거리 측정 장치를 영상내 영역 분할 정보를 사용해 융합하는 기법을 제안하였으며 스테레오-레이저 거리 측정 기구를 구성하여 기존 기법과의 정성적 평가를 수행하였고, 모의 실험을 통해 기존 기법과의 정량적 평가도 수행하였다. 영역 분할 정보의 도움으로 기존 기법 대비 경계부분에서의 깊이 정보의 불연속성이 유지되는 정도가 높아짐을 확인하였고 폐색영역에서의 오정합의 전파로 인한 정합 품질 저하를 막을 수 있었다. 또한 레이저 계측 거리정보에 따른 효과로 부분적으로 낮은 질감도를 가지는 영역에서 거리 정보를 추가적으로 획득할 수 있었다.
BIO
김 진 형
2010년 충남대학교 메카트로닉스공학과 학사 졸업
2012년 충남대학교 메카트로닉스공학과 석사 졸업
2012년~현재 충남대학교 메카트로닉스공학과 박사 과정
관심분야 : 영상처리, 스테레오비전
고 윤 호
1995년 부산대학교 전자공학과 학사 졸업
1997년 한국과학기술원 전기 및 전자공학과 석사 졸업
2002년 한국과학기술원 전기 및 전자공학과 박사 졸업
2002년~2004년 하이닉스반도체 선임연구원
2004년~현재 충남대학교 메카트로닉스공학과 부교수
관심분야: 영상신호처리, 컴퓨터비전, 영상인식, 영상압축
References
김 곤우 , 이 상무 2008 전자공학회지 35 (2) 30 - 39
정 연구 , 이 재연 , 소 정 , 김 계경 , 조 영조 2005 전자공학회지 32 (1) 70 - 80
고 정환 2011 전자공학회지 38 (12) 72 - 78
Han J. , Shao L. , Xu D. , Shotton J. 2013 "Enhanced Computer Vision with Microsoft Kinect Sensor: A Review," IEEE Trans. on Cybernetics 43 (99) 1 - 17
김 대성 , 편 무욱 , 문 수정 , 조 용원 2012 한국지형공간정보학회 춘계학술대회 197 - 198
강 윤석 , 호 요성 2011 대한전자공학회논문지 48 (6) 1 - 7
최 우영 , 박 래홍 1994 전자공학회지 21 (10) 1010 - 1020
김 진형 , 고 윤호 2013 전자공학회논문지 50 (1) 75 - 85
한 희일 , 류 대현 2011 멀티미디어학회논문지 14 (2) 288 - 294
Sun J. , Zheng N.N. , Shum H.Y. 2003 “Stereo Matching using Belief Propagation,” IEEE Trans. on Pattern Analysis and Machine Intelligence 25 (7) 787 - 800    DOI : 10.1109/TPAMI.2003.1206509
Yao L. , Li D. , Zhang J. , Wang L. , Zhang M. 2012 “Accurate Real-Time Stereo Correspondence using Intra- and Inter-scanline Optimization,” Journal of Zhejiang University SCIENCE C 13 (6) 472 - 482    DOI : 10.1631/jzus.C1100311
Chiu W.C. , Blanke U. , Fritz M. 2011 “Improving the Kinect by Cross-Modal Stereo,” Proc. BMVC 116.1 - 116.10
Li G. , Liu Y. , Dong L. , Cai X. , Zhou D. 2007 “An Algorithm for Extrinsic Parameters Calibration of a Camera and a Laser Range Finder using Line Features,” Proc. IEEE/RSJ Int. Conf. IROS 3854 - 3859
김 종덕 , 권 기구 , 이 수인 2012 [ETRI]전자통신동향분석 27 (6) 134 - 143
김 태원 , 김 진형 , 김 성수 , 고 윤호 2012 전자공학회논문지 SC편 49 (1) 64 - 73
Spann M. , Wilson R. 1985 “A Quad-Tree Approach to Image Segmentation which Combines Statistical and Spatial Information,” Pattern Recognition 18 (3) 257 - 269    DOI : 10.1016/0031-3203(85)90051-2
Scharstein D. , Szeliski R. 2002 “A Texonomy and Evaluation of Dense Two-Frame Stereo Correspondence Algorithms,” International Journal of Computer Vision 47 (1-3) 7 - 42    DOI : 10.1023/A:1014573219977