Advanced
Robust Finger Shape Recognition to Shape Angle by using Geometrical Features
Robust Finger Shape Recognition to Shape Angle by using Geometrical Features
Journal of the Korea Institute of Information and Communication Engineering. 2014. Jul, 18(7): 1686-1694
Copyright © 2014, The Korea Institute of Information and Commucation Engineering
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License(http://creativecommons.org/li-censes/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
  • Received : February 25, 2014
  • Accepted : March 31, 2014
  • Published : July 31, 2014
Download
PDF
e-PUB
PubReader
PPT
Export by style
Share
Article
Author
Metrics
Cited by
TagCloud
About the Authors
하은 안
지상 유
jsyoo@kw.ac.kr

Abstract
본 논문에서는 키넥트(Kinect)를 통해 획득한 깊이 영상에서 손가락의 모양을 인식하는 새로운 기법을 제안한다. 각도 변화에 강인하게 하기 위하여 입력 손 영상의 회전 보상 각도를 계산한 뒤 강체(rigid) 변환을 통하여 손 영상을 회전 변환시킨다. 회전 보상 각도를 계산하기 위하여 손 영상의 경계선을 추출한 뒤 경계선을 이루는 화소들의 좌표의 변화를 관찰한다. 제안하는 기법에서는 손가락 모양을 인식하기 위하여 손 영역에서 최 상단, 최 우측, 최 좌측 화소 좌표를 획득한 뒤, 손가락의 기하학적 특징에 착안하여 좌표들 사이의 거리 변화와 좌표들 사이의 각도변화 그리고 손 영역의 화소 면적을 이용하게 된다. 실험을 통해 제안하는 기법이 기존의 기법보다 성능이 우수한 것을 확인하였다.
Keywords
I. 서 론
최근 들어 고전적 입력 장치인 키보드와 마우스를 사람의 신체적 동작으로 대체하는 기술인 HCI(Human Computer Interaction) 시스템에 대한 연구가 활발히 진행되고 있다. 동작 인식 기술은 사람과 컴퓨터간의 상호작용에 있어 매우 중요한 요소이다. 사람의 손은 사용자의 직관적인 생각을 효과적으로 표현 할 수 있기때문에 기존의 입력장치를 바꿀 수 있는 강력한 입력장치로 주목 받아 왔다. 현재 사람의 손동작 인식 기술은 HCI 시스템에서 큰 비중을 차지하고 있다. 최근 기술은 손동작 인식에 관해 발전되어 왔고 그 중에서 특히 손가락 모양을 인식하는 기법들이 활발히 연구되고 있다.
기존 방법 중에는 주성분 분석(principal component analysis)를 이용하는 방법 [1] , 템플릿 매칭(template matching)을 이용하는 방법 [2] , 손가락의 중심으로부터 원을 그려 손가락의 개수를 탐지하는 방법 [3] 그리고 손가락 끝 선을 탐지하여 손가락의 개수를 직접 계산하는 방법 [4 - 7] 등이 연구되어왔다. 주성분 분석을 이용하여 손가락 모델을 인식하는 방법은 손가락 모델을 인식하는 과정에서 연산량이 많고 비슷한 손가락 모양에 대해서는 저조한 인식률을 보인다는 문제점이 있다. 템플릿매칭을 이용하는 방법에서는 인식하고자 하는 손가락모델의 이진 템플릿 영상을 합성 한 뒤 입력 손 영상과의 비교를 통하여 손가락 모델을 인식한다. 이러한 기법은 각도 변화에 민감하여 입력 손 영상의 각도가 회전되었을 때 저조한 인식률을 보인다. 손가락의 중심으로부터 원을 그려 손가락의 개수를 탐지하는 방법과 손가락의 끝 선을 탐지하는 방법도 매 입력 영상마다 탐색 반경을 새로 획득해야 하기 때문에 연산량이 많다. 또한 탐색 반경을 획득 할 때 손가락의 절대적인 길이에만 의존하기 때문에 특정 손가락 모델에 대하여 저조한 인식률을 보이는 문제점이 있다. 이러한 연구 외에도 손가락의 윤곽선을 이용하는 방법 [8] , 손가락의 전체적인 형태를 이용하는 방법 [9 , 10] 과 은닉 마르코프 모델(hidden Markov model)을 이용하는 방법 [11] 등이 연구되어 왔다.
기존의 기하학적 특징을 이용하는 방법 [12] 에서는 입력 손 영상의 각도 변화에 민감하여 높은 인식률을 위해서 정확한 입력 각도가 요구되었다. 이를 해결하기 위하여 제안하는 방법에서는 입력 손 영상이 회전되었다고 가정 한 뒤 회전 보상 각도를 계산하고 강체(rigid)변환을 통하여 각도 보상을 먼저 수행한다. 회전 보상각도를 계산하기 위하여 손 영상의 경계선을 추출한 뒤 경계선을 이루는 화소 좌표의 기울기 변화를 관찰한다. 계산된 회전 각도를 바탕으로 강체 변환을 수행한 뒤 지정된 손가락 모델로 분류한다. 본 논문에서는 다양한 실험을 통해 제안하는 기법이 기존 기법보다 성능이 우수한 것을 확인하였다.
본 논문의 2장에서는 입력 깊이 영상에서 손에 해당하는 영역을 획득하는 방법과 입력 손 영상에 대한 회전 각도 보상 방법에 대하여 소개하고 3장에서는 기하학적 특징을 이용한 손가락 인식 기법에 대하여 기술한다. 4장에서는 실험을 통하여 기존 기법들과 제안하는 기법의 성능 차이를 확인하고 5장에서 결론을 내린다.
II. 손가락 인식을 위한 전처리 과정
- 2.1. 손 영역 획득 방법
키넥트(Kinect)는 적외선 센서를 이용하여 센서로부터 물체가 얼마나 떨어져 있는지를 판단하여 이를 깊이 영상으로 제공한다. 또한 마이크로소프트사에서 제공하는 개발 도구인 키넥트 SDK에서는 사람의 신체를 추상화하여 골격의 형태로 표현하는 기능을 제공한다.
획득한 골격 정보에는 사람의 손에 해당되는 화소 좌표 위치가 포함되며, 해당 화소의 좌표 위치는 손바닥의 중앙 부분에 위치하게 된다. 이를 이용하여 깊이 영상에서 사람의 손에 해당되는 영역을 획득 할 수 있다. 그림 1 는 키넥트로부터 획득한 깊이 영상과 깊이 영상에서 손에 해당하는 영역을 보여주고 있다.
PPT Slide
Lager Image
키넥트로부터 획득한 깊이 영상; (a) 깊이 영상 (b) 손 영역(노란 원에 해당되는 영역) Fig. 1 Depth Image from Kinect; (a) Depth map (b) Hand region
깊이 영상에서 손 영역만을 분리해 내기 위하여 손에 해당되는 화소 좌표를 군집화의 시작점으로 설정한다. 중심 화소를 기준으로 여덟 방향 탐색을 진행하면서 군집화를 진행한다. 이때 손 영역과 배경 영역의 경계지점에서는 깊이 영상의 화소 값의 기울기가 급격히 변하게 되고 이 지점에서 탐색을 멈춤으로써 손에 해당하는 영역을 배경영역에서 분리해 낼 수 있다. 이때 사람의 팔에 해당하는 영역은 손 영역과의 깊이 영상 화소 값의 기울기 변화가 급격하지 않아 팔에 해당하는 영역까지 계속 군집화를 진행하는 문제가 발생할 수가 있다. 이를 방지하기 위하여 군집화의 시작 화소 좌표의 수평축을 탐색 경계로 할당한다. 그림 2(a) 는 군집화의 시작점과 군집화 탐색경계, 그림 2(b) 는 추출된 손 영상의 이진화 영상을 보여준다.
PPT Slide
Lager Image
군집화 예시; (a) 군집화 전 영상(파란 직선은 군집화 탐색경계, 빨간색 원은 군집화 시작 위치) (b) 군집화 완료된 손 영상 Fig. 2 An example of clustering; (a) Hand region before clustering (Blue line presents the boundary of a searching range, and red circle shows the starting point for clustering) (b) Clustered hand region
- 2.2. 각도 변환 방법
그림 3 은 본 논문에서 인식하고자 하는 다섯 가지 손가락 모델과 그에 따른 깊이 손 영상의 이진화 영상을 나타낸다. 제안하는 방법에서는 손가락의 기하학적 특징을 이용하여 손가락 모델을 인식하기 때문에 손가락 모델에 따라 손가락의 길이 혹은 모양 변화 등을 관찰하게 된다. 손 영상의 최 상단, 최 좌측, 최 우측 화소의 좌표를 획득하여 손 영역의 중심 좌표와 가상의 선분을 생성하고 유클리드 거리(Euclidean distance)를 측정하거나 각 선분 사이의 각도 차이를 관찰함으로써 손가락 모델을 인식한다.
PPT Slide
Lager Image
다섯 가지 손가락 모델과 깊이 영상에서 추출한 최 상단, 최 좌측, 최 우측 화소의 좌표 Fig. 3 Five finger models and extracted the most left, right and top placed pixels from the depth image
손 모델의 정확한 인식을 위해서는 입력되는 손 영상의 방향이 그림 3 과 같이 카메라와 최대한 수직이어야 한다. 입력 손 영상의 손가락 방향이 회전된 경우 인식률이 저하되는 문제가 발생하기 때문이다. 손 영상의 손가락 방향이 일정 각도 이상으로 틀어지게 되면 영상내부의 최 상단, 최 좌측, 최 우측의 위치가 바뀌게 되고, 바로 인식률 저하로 이어진다.
그림 4 는 손가락 방향이 회전된 경우에 대한 손 영상과 그에 따른 최 상단( PT ), 최 좌측( PL ), 최 우측( PR ) 화소의 좌표를 나타낸다. 손가락 모델의 인식 성공 여부는 입력 손 영상의 각도 변화에 민감하기 때문에 손가락 모델 인식 과정 전에 입력 영상에 대한 회전 각도 보상 방법이 논의되어야 한다. 본 절에서는 입력 손 영상이 적절하지 않은 각도(−90°≤ϕ≤90°)로 입력되었다고 가정한 뒤 회전 각도 보상을 하는 방법에 대하여 설명한다.
PPT Slide
Lager Image
회전된 입력 영상의 예 Fig. 4 Examples of rotated input images
그림 4 의 5번 모델의 경우에는 손 영상의 회전 각도가 틀어짐에 따른 기하학적 모양의 변화가 타 모델에 비하여 비교적 적다는 특징을 보인다. 따라서 입력 손 영상의 회전 각도 보상을 하기 전에 입력 손 영상이 5번 모델인지 아닌지를 판단한다. 5번 모델의 경우는 손 깊이 영상을 감싸는 사각형의 넓이 대비 사각형 내의 유효 화소( 그림 4 의 노란색 화소 영역)의 비율이 상대적으로 높다는 특징을 지니기 때문에, 이러한 특징을 이용하여 손 깊이 영상을 감싸는 사각형의 면적( Srect ) 대비 유효 화소 면적( Sp )를 구함으로써 5번 모델을 먼저 분류한다. Srect Sp 는 각각 식(1)과 식 (2)에 의해 정의 된다.
PPT Slide
Lager Image
PPT Slide
Lager Image
여기서 f ( x , y )는 유효 화소 존재 여부를 나타내는 함수로써 해당 위치에 유효 화소가 있는 경우 1일 아닐경우 0의 값을 가진다.
표 1 그림 5 는 다섯 가지의 손가락 모델에 대한 Srect 대비 Sp 비를 나타낸다. 5번 손가락 모델은 Srect 대비 Sp 비율이 타 모델에 비하여 큰 경향을 보인다. 또한, 각도 변화에 따른 Srect 대비 Sp 비율의 변화가 적기 때문에 구간 T 내에 적절한 경계 값을 설정함으로써 5번 손가락 모델을 인식 할 수 있다.
모델별Sp/Srect비율의 평균과 표준편차Table. 1Mean and standard deviation ofSp/Srectratio of each model
PPT Slide
Lager Image
모델별 Sp/Srect 비율의 평균과 표준편차 Table. 1 Mean and standard deviation of Sp/Srect ratio of each model
PPT Slide
Lager Image
모델 별 Sp/Srect비율 Fig. 5 Sp/Srect ratio of each model
5번 모델을 제외한 나머지 손가락 모델인 1번부터 4번까지의 모델은 회전 변화에 따른 모양의 변화가 크기때문에 인식하기 위해서는 입력 손 영상에 대한 적절한 각도 보상 과정이 논의되어야 한다. 그림 6 은 각도 보상에 대한 기술의 흐름도를 나타낸다.
PPT Slide
Lager Image
각도 보상 기술 흐름도 Fig. 6 Flow chart for angle compensation
손 영상에서 손가락에 해당하는 영역을 판단하기 위하여 굴곡점(curvature point)들을 검출한다. 검출된 굴곡점들을 토대로 손 영상이 얼마나 회전 되어있는지를 각도로 판단한 뒤, 산출된 각도만큼 강체(rigid) 변환을 수행한다. 손 영상에 대하여 팽창(dilation) 연산을 수행한 뒤, 해당 영상에서 원본 손 영상에 대한 차 연산을 통하여 윤곽선을 추출할 수 있다. 추출된 윤곽선은 시작점과 끝점이 동일한 폐곡선의 형태이며 손가락이라 판단 할 수 있는 지역적 굴곡점들을 검출하기 위하여 추출된 윤곽선을 따라 화소 좌표의 수직 좌표와 수평 좌표에 대한 기울기 변화를 관찰하게 된다.
그림 7 은 추출된 윤곽선 영상과 화소 좌표의 기울기 변화를 관찰하는 과정을 보여준다. 좌측 최 상단 화소의 좌표를 시작으로 탐색을 진행하며, 현재 선택된 화소의 좌표를 기준으로 4방향 인접성(4-adjacency)을 만족하는 화소에 대하여 화소 좌표의 기울기 변화를 계산한다. 처음 시작 화소의 위치인 f 0 부터 마지막 화소의 위치 f n−1 까지 탐색을 진행한다. 윤곽선 영상은 폐곡선의 형태이므로 f 0 = f n−1 을 만족한다. 화소 좌표의 기울기 변화를 버퍼에 저장한 뒤, 손가락의 지역적 굴곡점들을 검출 한다. 식(3)을 이용하여 화소 좌표의 기울기 변화를 계산할 수 있다.
PPT Slide
Lager Image
PPT Slide
Lager Image
손 영상의 윤곽선 관찰 방법; (a) 윤곽선 지도 (b) 화소좌표의 위치 변화 관찰 방법 Fig. 7 Method for examining hand image pixel location changes; (a) Contour map (b) Method for examining pixel location changes
여기서 fk 는 k번째 화소의 x축과 y축의 화소의 좌표를 의미하고 G ( k ) 는 fk 위치에서 화소의 좌표 기울기를 의미한다. 손 영상이 얼마나 회전되어 있는지를 판단하기 위하여 손 영상에서 손가락에 해당되는 영역을 검출한다. 손가락에 해당되는 영역을 검출 시 x축의 기울기 변화와 y축의 기울기 변화를 동시에 관찰하기 위하여 식 (4)로부터 기울기 변화량의 크기 | G ( k )|를 구한다.
PPT Slide
Lager Image
손 윤곽선 영상에서 화소의 좌표 기울기 | G ( k )|에서 임의의 손가락의 시작 점( P 1 )으로부터 일정한 구간까지 | G ( k )|값의 변화가 없는 지점을 탐색하고, 이 점을 중간 점( P 2 )이라 정의한다. 점 P 2 를 변곡 지점으로 지나면서 일정한 구간까지 | G ( k )|값의 변화가 없는 지점을 탐색하고 이 점을 손가락의 마지막 점( P 3 )이라 정의한다. 그림 8 은 손 윤곽선 영상의 화소 좌표 기울기버퍼에서 손가락에 해당되는 영역을 찾는 과정을 나타낸다.
PPT Slide
Lager Image
손가락 영역을 찾는 과정; (a) 윤곽선 영상의 손가락 영역 (b) 손가락 영역 화소의 위치 변화 Fig. 8 Progress for detecting finger region; (a) Finger region in contour image (b) Pixel location changes of the finger region
손가락에 해당하는 영역을 검출할 때 단순히 화소 좌표들의 기울기 변화를 관찰하기 때문에 예상하지 않은 문제점이 발생할 수 있다. 그림 9 와 같은 경우가 대표적인 예이다. 손의 중심좌표의 수평축 좌표 부근에서 발견된다. 이 경우 검출된 세 좌표의 분포가 모두 손가락 영역의 조건을 만족하기 때문에 손가락 영역으로 잘못검출하는 문제를 발생시킨다.
PPT Slide
Lager Image
잘못된 손가락 영역 탐지 Fig. 9 False finger region detection
이러한 문제점을 해결하기 위하여 검출된 P 1 , P 2 , P 3 세 좌표의 무게중심 좌표가 손 바닥 영역에 있는 경우에는 잘못된 탐색으로 판단하고 손가락 영역 탐색을 다시 진행한다. 검출된 P 1 , P 2 , P 3 좌표들을 바탕으로 손영상의 회전 각도를 계산하게 된다.
그림 10 은 검출된 P 1 , P 2 , P 3 좌표들을 보여준다. 입력된 손 영상이 수직 축을 기준으로 어느 방향으로 회전되어있는지 판단을 한 뒤 P 1 P 2 로 정의되는 가상의 직선을 정의하여 직선과 수평 축이 이루는 각도를 계산하여 손가락 영상의 회전 각도로 설정한다. 입력 영상은 왼쪽으로 회전된 영상 혹은 오른쪽으로 회전된 영상 그리고 회전 되지 않은 영상, 세 가지 영상으로 구분 할 수 있다. 회전 되지 않은 영상은 사람이 명확하게 판단 할 수 있으나, 컴퓨터 영상 처리에서는 그 구분이 모호하다.
PPT Slide
Lager Image
검출된 손가락 영역 Fig. 10 Detected finger region
제안하는 기법에서는 입력 되는 손 영상을 수직 축을 기준으로 왼쪽으로 회전 된 영상과 오른쪽으로 회전 된 영상, 두 가지 종류의 영상만으로 가정한다. 계산된 회전 각도를 이용하여 강체(rigid) 변환을 수행한다. 식(5)는 일반적인 강체 변환을 나타낸다.
PPT Slide
Lager Image
여기서 tx ty x y 축에 대한 평행 이동량을 의미한다. 제안하는 방법에서는 입력 손 영상 위치에서의 회전만을 고려하므로 0으로 설정한다. x y 는 변환 전 화소 좌표,
PPT Slide
Lager Image
PPT Slide
Lager Image
는 변환 후 화소 좌표이다. θ 는 회전각도를 의미하여 손 영상의 중심을 기준으로 반 시계방향으로 회전한다.
III. 제안하는 손가락 모델 인식 기법
그림 11 은 제안하는 기법의 손가락 모델 분류 기술의 흐름도 이다. 제안하는 기법에서는 두 단계의 분류 과정을 통해 손가락 모델을 인식한다.
PPT Slide
Lager Image
손가락 모델 인식 기술의 흐름도 Fig. 11 Flow chart for finger model recognition
첫 번째 단계에서는 1, 2번 모델과 3, 4번 모델을 같은 군으로 묶어 분류 한다. 하위 단계에서는 1번과 2번 그리고 3번과 4번을 분류한다. 손가락 모델의 분류는 입력 손 영상의 최 상단 화소 좌표( PT ), 최 좌측 화소 좌표( PL ), 최 우측 화소 좌표( PR )를 획득하는 것으로부터 시작된다. 획득한 각각의 세 좌표로부터 손의 중앙 좌표( PC )의 유클리드 거리 DL , DT , DR 을 계산한다. DL , DT , DR 의 분산(
PPT Slide
Lager Image
)값의 비교를 통해 1, 2번 모델 군과 3, 4번 모델 군을 분리한다. 3번과 4번 모델의 변량 DL , DT , DR 값에 대한 분산은 1번과 2번에 모델의 경우에 비해 상대적으로 작은 경향을 보인다.
표2 는 실험을 통해 산출한 각 모델 별 DL , DT , DR 분산에 대한 평균과 표준편차를 나타낸다. 2번 모델의 경우 종종 그림 12 와 같은 경우를 보이는데 이 경우에는 DL , DT , DR 값들이 모두 비슷하기 때문에 3번과 4번 모델 군으로 분류하는 오류를 보인다.
각 모델별의 평균과 표준편차Table. 2Mean and standard deviation offor each model
PPT Slide
Lager Image
각 모델별 의 평균과 표준편차 Table. 2 Mean and standard deviation of for each model
PPT Slide
Lager Image
오류 발생 예시 Fig. 12 Example of False detection
이러한 문제를 해결하기 위하여 3번과 4번의 모델 군으로 분류된 영상의 PT, PL, PR 의 인접여부를 판단한다. 두 화소의 유클리드 거리가 10 이내의 경우에는 인접한다고 판단하였고 이 경우에 대하여 2번 모델로 인식한다.
두 번째 분류 단계에서는 3, 4번 모델 군을 3번과 4번으로 1, 2번 모델 군을 1번과 2번 모델로 분류한다.
PPT Slide
Lager Image
혹은
PPT Slide
Lager Image
을 탐색라인으로 설정하여 화소 값의 기울기 변화를 관찰하여 3번과 4번 모델을 분류한다. 3번 모델의 경우 모든 손가락에 점 PT, PL, PR 이 할당되기에 기울기의 변화가 없다. 하지만 4번 모델의 경우 4개의 손가락 중 3개의 손가락에만 점들이 할당되기 때문에 그림 13 과 같이 총 4번의 기울기 변화를 가진다.
PPT Slide
Lager Image
3, 4번 모델의 기울기 변화 Fig. 13 and gradient for the 3rd and 4th models
1번 모델과 2번 모델을 분류 하기 위하여 세 유클리드 거리의 합에 대해서 가장 긴 거리의 비율을 관찰한다. 1번 모델의 경우 세 유클리드 거리 DL, DT, DR 중 가장 긴 길이의 값이 나머지 2개 거리의 합보다 큰 모습을 보이는 반면 2번 모델의 경우에는 반대의 경우를 보인다. 유클리드 거리 DL, DT, DR 간의 길이 차이는 카메라와 사람 사이의 거리에 의존적이다. 사람이 카메라에 멀리 떨어질 경우 세 거리의 차이가 매우 적게 되는 문제점이 발생한다.
본 논문에서는 세 거리의 차이를 강조하기 위하여 n 제곱 유클리드 거리를 사용한다. n 의 크기가 커 질수록 유클리드 거리간의 차이를 분명하게 할 수 있지만 컴퓨터 연산에서 표현할 수 있는 범위내인 세제곱 유클리드 거리를 사용하였다. 세제곱 유클리드 거리 중 가장 큰 값을 DMAX 로 설정한 뒤 Dsum 대비 DMAX 의 비율을 통하여 1번 모델과 2번 모델을 분류 한다. 이때 Dsum 은 식 (6)을 통해 계산한다.
PPT Slide
Lager Image
그림 14 는 1번과 2번 모델에 대한 Dsum 대비 DMAX 비율을 나타낸다. 1번 모델의 DMAX 는 2번 모델의 경우에 비하여 길이의 합에 대하여 우세한 특징을 지닌다. 두 모델을 구분하는 구간 내에 경계값을 설정하여 1번 모델과 2번 모델을 분류 할 수 있다.
PPT Slide
Lager Image
1, 2번 모델의 DMAX 대비 Dsum 비율 (%) Fig. 14 DMAX to Dsum ratio(%)for 2nd model
IV. 실험 방법 및 결과
손가락 모델을 인식하기 위해 새로이 제안된 기법은 Microsoft 사의 Microsoft Visual Studio C++ 2010과 OpenCV 2.4.8 라이브러리를 이용하여 구현하고, 3.40GHz의 CPU 응답 속도에서 동작하는 듀얼코어 프로세서 컴퓨터를 이용한다. 카메라 입력 장치는 Microsoft사의 Kinect for Windows를 이용하였으며 Kinect로 촬영되는 깊이 지도의 시각화를 위하여 Kinect SDK 1.7 라이브러리를 이용한다. 카메라는 640x480의 해상도를 제공하며 33fps의 환경에서 실험을 진행하였다.
실험에 필요한 데이터를 수집하기 위하여 5명의 사용자로부터 각 손가락 모델에 해당되는 손가락 모양을 100회씩 입력 받았다. 실험은 키넥트 앞 1m(±10cm) 에서 진행하였고 입력 손가락 모델들은 회전 각도가 없도록 입력 받았다.
손가락 모델 인식 성능을 평가하기 위하여 8명의 사용자가 다섯 개의 서로 다른 모델에 대하여 100번씩 총 4,000회의 손 동작을 취하였다. 그림 15 는 실험자들의 입력 손영상과 본 논문에서 제안하는 기법으로 회전 각도가 보상된 영상을 보여준다.
PPT Slide
Lager Image
입력 손영상(좌행)과 회전 각도 보상 영상(우행) Fig. 15 Input finger images(left column) and after the angle compensation (right column)
표 3 은 기존의 기법들과 제안하는 기법의 인식률을 보여준다. 기존 기법1은 손 영역의 중심으로부터 탐색반경을 획득하여 기울기 변화를 관찰하는 방식으로 손가락 모델을 인식한다 [2] . 기존 기법2는 인식하고자 하는 손가락 모델들의 참조 템플릿을 생성한 뒤 이진화된 입력 손 영상에 대한 템플릿 매칭을 이용하여 손가락 모델들을 인식한다 [3] .
기존 기법들과 제안하는 기법의 인식률 비교Table. 3Performance comparison of the proposed algorithm with old ones
PPT Slide
Lager Image
기존 기법들과 제안하는 기법의 인식률 비교 Table. 3 Performance comparison of the proposed algorithm with old ones
제안하는 기법에서는 입력 영상의 회전여부를 판단하여 회전 각도 보상을 수행한 뒤 손가락의 기하학적 특징을 이용하여 기존의 기법들의 문제를 해결할 수 있었다. 기존 기법2와의 비교에서는 모든 모델에서 제안하는 기법의 성능이 더 우수함을 보였고 1번 모델부터 4번 모델까지 평균 5.43%의 인식률 증가를 확인하였다. 기존 기법1과의 비교에서는 평균 −0.46%의 인식률 감소를 보인다. 하지만 기존 기법1에서는 높은 인식률을 위하여 손가락의 정확한 입력 각도를 요구하고 입력 각도가 조금만 변하여도 심각한 인식률 저하의 문제를 지닌다. 제안하는 기법이 기존 기법1보다 미세하게 저조한 인식률을 나타내지만 각도변화에 강인한 특성을 지닌다는 점에서 기존의 기법보다 제안하는 기법의 성능이 더 우수하다고 할 수 있다.
V. 결 론
본 논문에서는 기하학적 특징을 이용하여 각도 변화에 강인한 새로운 손가락 인식 기법을 제안하였다. 제안하는 기법에서는 먼저 깊이 영상에서 손 영역을 분리하기 위하여 손의 중심점을 시작으로 군집화를 수행하고, 각도 변화에 강인한 인식을 위하여 입력 손 영상을 모두 회전되었다고 가정하여 회전 보상 각도를 계산한 뒤 강체(rigid) 변환을 수행하였다. 마지막으로 손가락 모델을 인식하기 위하여 손 영상의 최 상단, 최 좌 우측좌표를 회득한 뒤 손가락 모델마다 변화하는 좌표 간의 유클리드 거리나 각도 변화 등의 기하학적 특징을 관찰하였다.
디지털 영상내의 사람의 손가락의 길이는 사람마다 상이하고 사람의 손과 카메라와의 거리에 따라 다르게 나타나지만 각 손가락 모델 별 기하학적 특징은 크게 변하지 않기에 이를 이용하여 손가락을 인식할 수 있었다. 실험을 통하여 실시간의 반응속도를 확인하였고 각도 변화에 강인한 특성을 보이는 것도 확인하였다.
Acknowledgements
본 연구는 2013년도 광운대학교 교배 학술연구비 지원본부의 지원에 의하여 이루어진 연구로서, 관계부처에 감사드립니다.
BIO
안하은(Ha-eun Ahn)
2014년 2월 광운대학교 전자공학과 학사
2014년 3월 ~ 현재 광운대학교 전자공학과 석사
※관심분야 : 영상통신, 영산인식, 디지털신호처리
유지상(Jisang Yoo)
1985년 2월 서울대학교 전자공학과 학사
1987년 2월 서울대학교 전자공학과 석사
1993년 5월 Purdue Univ. EE, ph.D
1997년 9월 ~ 현재 광운대학교 전자공학과 교수
※관심분야 : 웨이블릿 기반 영상처리, 영상압축, 영상인식, 비선형 신호처리
References
Heap A. , Hogg D. 1997 Improving Specificity in PDMs using a Hierarchical Approach Proc. British Machine Vision Conference Essex, UK 1 80 - 89
Kang S. K. , Chung K. Y. , Rim K. W. , Lee J. H. 2011 Skin Color Based Hand and Finger Detection for Gesture Recognition in CCTV Surveillance The Korea Contents Association 10 1 - 10
Hoon S. J. 2013 “Finger Counting Using Computer Vision” The Korean Institute of Communications and Information Sciences, Winter Conference Seoul, Korea 657 - 658
Deutscher J. , Blake A. , Reid I. 2000 "Articulated Body Motion Capture by Annealed Particle Filtering," Proc. IEEE Computer Society Conference on Computer Vision and Pattern Recognition South California, USA 126 - 133
Wu Y. , Huang T. 1999 "Capturing Articulated Human Hand Motion: A Divide-and-Conquer Approach," Proc. 7th IEEE International Conference on Computer Vision Kerkyra, Greece 1 606 - 611
Lee L. K. , An S. Y. , Oh S. Y. 2012 “A Robust Finger trip Extraction and Extended CAMSHIFT based Hand Gesture Recognition for Natural Human-like Human-Robot Interaction” Institute of Control, Robotics and Systems 4 328 - 336
Park J. , Hyun S. D. , Lee C. 2008 “Real-time Finger Gesture Recognition” Human Computer Interaction KOREA 1 847 - 850
Stenger B. , Thayananthan A. , Torr P. , Cipolla R. 2004 "Hand Pose Estimation Using Hierarchical Detection," Proc. European Conference on Computer Vision, Lecture Notes in Computer Science Prague, Czech Republic 3058 105 - 116
Lee J. , Knuii T. 1995 "Model-based Analysis of Hand Posture," Proc. IEEE Computer Graphics and Application, New York, USA 15 (5) 77 - 86    DOI : 10.1109/38.403831
Kuch J. , Huang T. 1995 "Vision based Hand Modeling and Tracking for Virtual Teleconferencing and Telecollaboration," Proc. 5th International Conference on Computer Vision Cambridge, USA 666 - 671
Suk H. I. , Lee J. H. , Lee S. W. 2008 “Real-time Hand Pose Tracking and Finger Action Recognition Based on 3D Hand Modeling” Journal of KIISE:Software and Applications 35 (12) 780 - 788
Ahn H. E. , Yoo J. 2013 “Finger Shape Recognition Algorithm in Geometrical Ways” The Korean Institute of Communications and Information Sciences, Winter Conference Seoul, Korea 742 - 743