Advanced
Hand shape recognition based on geometric feature using the convex-hull
Hand shape recognition based on geometric feature using the convex-hull
Journal of the Korea Institute of Information and Communication Engineering. 2014. Aug, 18(8): 1931-1940
Copyright © 2014, The Korea Institute of Information and Commucation Engineering
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License(http://creativecommons.org/li-censes/ by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
  • Received : April 14, 2014
  • Accepted : June 27, 2014
  • Published : August 31, 2014
Download
PDF
e-PUB
PubReader
PPT
Export by style
Share
Article
Author
Metrics
Cited by
TagCloud
About the Authors
인규 최
Department of Electronic Engineering, Kwangwoon University, Seoul 139-701, Korea
지상 유
Department of Electronic Engineering, Kwangwoon University, Seoul 139-701, Korea

Abstract
본 논문에서는 키넥트(Kinect) 시스템에서 획득한 깊이 영상으로부터 convex-hull을 이용한 기하학적 특징 기반의 손 모양 인식 기법을 제안한다. 키넥트 시스템은 깊이 영상과 사용자의 골격 정보를 제공하는 카메라로 손 영역 검출에 유용하게 활용할 수 있다. 제안하는 기법에서는 키넥트로 획득한 깊이 영상에서 손 영역을 검출하고, 이 손 영역의 convex-hull을 구한다. 손 모양에 따라서 변하는 convex-hull에서 잡음으로 생긴 경계점 및 인식에 불필요한 경계점을 일련의 기법을 통해 제거한다. 추려진 경계점을 통해 재구성된 convex-hull을 특정 다각형으로 판단하고, 이 다각형의 내각의 합을 이용하여 손 모양을 인식하게 된다. 실험을 통해 제안하는 기법이 인식하고자 하는 모델에 대하여 높은 인식률을 보여준다는 것을 확인하였고, 단순히 특정 방향으로 고정된 손 모양뿐만 아니라 같은 모양이나 방향이 틀어진 손 모양에 대해서도 우수한 인식 성능을 확인하였다.
Keywords
Ⅰ. 서 론
손은 인간이 실생활에서 가장 많이 사용하는 기관이다. 물건을 집거나 키보드를 치는 등 물리적인 수단으로만 사용하는 것이 아니라 인사를 할 때 흔드는 것 같은 의미적인 수단으로도 쓰인다. 손 동작은 인간과 인간 사이의 의사소통에 도움을 주며 단독적으로 의사 표현도 가능하다. 다양한 손 모양을 통한 수화가 이러한 예라고 할 수 있다. 이러한 의사소통 측면에서 손 활용의 장점 때문에 컴퓨터와 인간의 상호작용(Human-Computer Interaction, HCI)에서도 다양한 손동작 및 손 모양 인식 기술들이 개발되어 왔다.
피부색을 이용하여 손 영역을 검출하고 무게중심을 원점으로 하는 원을 그려 원에 걸치는 손가락 개수를 세어 손 모양을 인식하기도 하고 [1] , 손 모양에 관한 영상의 데이터베이스를 만들어 두고 템플릿 매칭을 이용하거나 주성분 분석 방법을 통하여 손 모양을 인식하기도 하며 [2 , 3] , HOG(Histogram of oriented gradient)를 활용하여 팔과 손의 방향 각도를 추정하여 손을 검출하기도 한다 [4] . 그러나 기존 방법들은 컬러 영상을 많이 활용하기 때문에 조명 등 주변 환경에 영향을 많이 받아 손 모양 인식을 위한 안정된 조건을 갖추는데 많은 제약이 따른다. 또한 데이터베이스를 이용한 템플릿 매칭이나 주성분 분석 방법은 연산량이 많고 비슷한 기하학적 모양을 가진 손 모양에 대한 인식률이 저조하다. 손의 무게중심을 구하고 이를 중심으로 하는 원에 걸친 손가락 수를 세어 인식하는 방법은 손 모양이 정확하게 취해져야 하고 펼쳐진 손가락의 길이에 영향을 많이 받기 때문에 같은 손 모양에 대해 다른 모델로 구분하는 경우가 생긴다.
본 논문에서는 컬러 영상의 불안정성을 해결하기 위해 깊이 영상을 이용하고 convex-hull을 이용하여 손 모양의 기하학적 특징에 따른 내각의 합을 통하여 손 모양을 구분 및 인식하는 기법을 제안한다. 깊이 영상을 획득하기 위한 카메라로 저가이면서도 비교적 양질의 깊이 영상을 제공하는 키넥트(Kinect)를 사용한다. 키넥트는 컬러 영상도 함께 제공하므로 하이브리드 기법에 적용되는 카메라이기도 하다. 이 외에 인간의 골격 정보도 제공하기 때문에 손의 위치 정보와 깊이 영상을 혼용하면 손 영역 검출에 유리한 조건을 갖는다.
깊이 영상은 적외선이 입체 표면에 조사될 때 입체의 굴곡에 따라 일그러지는 모양을 보고 깊이를 산출한 결과로써 컬러 영상에 비해 주변 환경에 강인하기 때문에 손 영역 검출에 유리하다. 본 논문에서는 손 모양 인식을 위해 convex-hull이라는 수학적 개념을 이용한다. Convex-hull은 객체의 외곽점의 집합인데 깊이 영상의 흔들림 효과로 인해 생긴 외곽점과 불필요한 외곽점을 일련의 기법을 거쳐 제거하고 추려진 외곽점을 직선으로 이어 그리면 임의의 다각형이 된다. 손 모양에 따라 달라지는 convex-hull을 특정 다각형에 대응하여 내각의 합이 일정한 다각형의 성질을 이용하여 손 모양을 구분하고 인식하도록 한다. 기하학적 특징에 기반한 내각의 합을 이용하기 때문에 손 모양의 축이 틀어진 형태에서도 동일한 손 모양으로 인식이 가능하다.
본 논문은 다음과 같이 구성된다. Ⅱ장에서는 키넥트에서 제공하는 손의 위치 및 깊이 정보를 활용하여 손 영역을 검출하는 방법과 convex-hull 개념에 대해 설명한다. Ⅲ장에서는 깊이 영상의 잡음으로 인한 외곽점 및 손 모양 인식에 불필요한 외곽점을 제거하는 방법 및 손 모양 인식 기법을 제시한다. Ⅳ장에서는 Ⅲ장에서 제시된 손 모양 인식 기법을 적용했을 때의 인식률을 비교 및 분석한다. 마지막으로 Ⅴ장에서 본 논문의 결론을 맺는다.
Ⅱ. 손 모양 인식을 위한 전처리 기법
- 2.1. 손 영역 검출
키넥트(Kinect)는 구조광(Structured light)인 적외선이 입체 표면에 조사될 때 입체의 굴곡에 따라 일그러지는 모양을 보고 깊이를 산출하는 방법을 이용하여 깊이 영상을 제공한다. 그리고 인간의 골격을 뼈대와 이를 잇는 관절로 이루어진 형태로 받아들이고 20개의 관절에 해당하는 위치 정보 또한 제공한다. 깊이 정보와 손 중심에 해당하는 점의 2차원 좌표를 이용하면 손 영역을 간단히 검출할 수 있다.
PPT Slide
Lager Image
PPT Slide
Lager Image
여기서 Pd ( x,y )은 깊이 영상에서 x,y 좌표에 대응하는 화소의 깊이에 해당하는 값이고 D 1 D 2 는 손이 위치해야 하는 깊이 범위의 최소값과 최대값을 나타낸다. 그리고 Hx Hy 는 키넥트가 제공하는 손의 x,y 좌표이고 L 은 손 영역 검출을 위한 관심영역의 크기를 결정하는 값이다. 식 (1)과 (2)를 공통적으로 만족하는 깊이 영상의 화소들과 그렇지 않은 나머지 화소들을 이진화하면 손 영역을 검출할 수 있다.
그림 1 은 식 (1)과 (2)가 나타내는 것을 시각화한 것으로 깊이 범위와 손 좌표를 중심으로 한 정사각형 관심영역으로 이루어진 3차원 공간의 조건을 통하여 손 영역을 검출할 수 있음을 보여준다. 그림 2 는 키넥트로부터 얻은 깊이 영상에서 위의 식 (1), (2)을 통하여 검출한 손 영역을 빨간색으로, 배경을 검은색으로 이진화한 영상을 보여준다.
PPT Slide
Lager Image
식 (1)과 식 (2)의 시각화 Fig. 1 Visualization of equation (1) and (2)
PPT Slide
Lager Image
(a) 키넥트로 얻은 깊이 영상, (b) 손 영역 검출 영상 Fig. 2 (a) Depth image acquired by Kinect (b) Detected hand region
- 2.2. 검출한 손 영역의 convex-hull
검출한 손 영역의 경계점을 구하기 위해서 손 영역의 convex-hull을 구한다. 어떤 객체 O 가 convex하다는 것은 객체 O 에 속하는 임의의 두 점을 잇는 선분상의 모든 점들이 객체 내에 포함되어 있는 것을 말한다. 이를 식 (3)으로 정의할 수 있다.
PPT Slide
Lager Image
여기서 x 1 x 2 는 객체 O 안에 포함된 임의의 점을 말한다. 그림 3 은 객체의 convex의 경우를 보여주는 예로 그림 3(a) 의 경우 식 (3)을 모든 경우에 대하여 만족하기 때문에 convex이고 그림 3(b) 의 경우 두 점을 잇는 선분 상의 점 중에서 객체 내에 포함되어 있지 않은 경우가 있으므로 convex가 아니다.
PPT Slide
Lager Image
(a) Convex인 객체 (b) Convex가 아닌 객체 Fig. 3 (a) Object that is convex (b) Object that is not convex
객체 O 의 convex-hull은 객체 O 안에 포함되어 있는 점들의 모든 convex 조합의 집합이다. 식 (4)에서 Conv O 는 객체 O 에 대한 convex-hull을 나타내는데 i 값과 θ 1 + ⋯ + θk = 1를 만족하는 다양한 조합으로 생기는 점들의 총 집합이 된다. 이는 당연히 항상 convex이고 객체 O 를 포함하는 가장 작은 convex가 된다.
PPT Slide
Lager Image
그림 3(b) 에 대한 convex-hull은 그림 4 가 되고 convex-hull을 만족하는 경계점( 그림 4 의 빨간점)을 구할 수 있다.
PPT Slide
Lager Image
그림 3(b)에 대한 convex-hull Fig. 4 Convex-hull of figure 3(b)
경계점을 선분으로 이으면 convex-hull이 된다. 그림 5(a) 는 본 논문에서 인식하고자 하는 다섯 가지 손 모양에 대한 모델이다. 펼친 손가락 수에 따라 1~5번 모델로 정의하고 이에 맞게 손 모양을 취한 손 영역의 convexhull이 그림 5(b) 이다. 각 모델마다 convex-hull의 모양이 다르기 때문에 이를 활용하여 손 모양을 구분하고 인식하고자 한다.
PPT Slide
Lager Image
(a) 다섯 가지 손 모양 모델 (b) 각 모델의 convex-hull Fig. 5 (a) Five models of hand shape (b) Convex-hull of each model
Ⅲ. 손 모양 인식 기법을 위한 후처리 기법
그림 5(b) 를 보면 각 모델마다 convex-hull이 나타내는 기하학적 모양이 다르다. 이 모양을 도형에 빗대어 보면 1번 모델을 제외하고 2~5번 모델의 convex-hull은 각각 사각형, 오각형, 육각형, 칠각형에 가까운 형태라는 것을 알 수 있다. 이러한 생각을 토대로 손 모양의 convex-hull을 특정 다각형으로 판단하고 다각형 내각의 합이 일정하다는 성질을 이용하여 손 모양을 인식한다. 다각형으로 판단하기 위해서는 꼭지점의 수와 위치 좌표가 필요하기 때문에 convex-hull을 구성하는 경계점을 꼭지점으로 대응시키는 과정이 필요하다.
- 3.1. 불필요한 convex-hull 경계점 제거
그림 6(a) 그림 5 의 5번 모델에 대한 손 영역의 convex-hull 경계점을 추출한 결과이다. 깊이 영상에는 흔들림 효과로 인한 불규칙한 화소가 생기기 때문에 불필요한 경계점들도 같이 추출된다. 그림 6(b) 를 보면 손가락 끝을 나타내는 경계점은 하나만 필요하지만 추가적인 경계점이 같이 추출됨을 알 수 있다.
PPT Slide
Lager Image
(a) 추출한 손 영역의 convex-hull (b) 확대 영상 Fig. 6 (a) Convex-hull of hand shape extracted (b) Enlarged image
추가 경계점을 제거하기 위해서 하나의 경계점을 시작점으로 동일한 방향으로 이동하면서 인접한 다음 경계점과의 거리를 식 (5)를 이용하여 순차적으로 구하고 이를 식 (6)을 이용하여 내림차순 정렬하여 큰 거리값을 갖는 n개의 선분을 찾는다.
PPT Slide
Lager Image
PPT Slide
Lager Image
여기서 xi yi 은 경계점의 좌표를 나타내고 ( ) N 은 modulo 연산을 의미하고 N은 총 경계점의 수이다. D ( i )는 인접한 경계점들 간의 거리 값이고 S D ( i ) 을 원소로 하는 집합이다. A ( j )는 집합 S (n) 에서 가장 큰 값의 원소를 갖는다. 그리고 식 (7)을 이용하여 n개의 선분을 구성하는 두 경계점 중 하나를 선택하여 뽑아낸다. 선분에서 하나의 경계점을 선택할 때 규칙적으로 빠른 순서의 경계점을 선택하도록 한다.
PPT Slide
Lager Image
여기서 큰 거리 값을 갖는 n개의 경계점 좌표
PPT Slide
Lager Image
를 얻는다. n은 손 영역의 convexhull을 이루는 최소 경계점이며 그림 6 과 같은 손 영역에 대한 n의 값은 convex-hull 모양이 칠각형에 근접하므로 7이 된다. 그림 6 은 불필요한 경계점을 제거한 결과로 7개의 경계점이 원하는 위치에 존재함을 보여준다.
PPT Slide
Lager Image
손 영역의 불필요한 경계점 제거 Fig. 7 Removal of unnecessary boundary points of hand region
- 3.2. 각 모델에 대한 convex-hull 경계점 최소화
3.1절에서 5번 모델에 대한 손 영역의 경계점을 일곱개로 정하여 불필요한 경계점을 제거하였다. 2~4번 모델의 경우에는 각각 사각형, 오각형, 육각형으로 결정하기 위해서 더 적은 경계점이 필요하므로 7개로 줄여진 경계점에서 추가적인 과정을 통해 해당 모델에 적합한 최소의 경계점을 뽑아내야 한다. 그림 8 은 2~4번 모델에 대해 경계점 일곱 개를 갖도록 적용한 결과로 convex-hull을 다각형으로 결정하기에 불필요한 경계점들이 존재한다.
PPT Slide
Lager Image
2~4번 모델에 대한 7개의 convex-hull 경계점 Fig. 8 Seven Convex-hull boundary point of 2~4 model
불필요한 경계점들이 위치하는 경향을 보면 그림 9 에서와 같이 손가락 끝을 나타내는 경계점에 인접한 위치에 존재하거나 연속적인 경계점 세 개를 이었을 때 직선에 근접한 형태가 된다. 따라서 거리와 각도 조건을 통하여 경계점을 최소화한다.
PPT Slide
Lager Image
불필요한 경계점이 위치하는 예 두 가지 Fig. 9 Two examples that unnecessary boundary point exist
순차적인 과정이 필요하기 때문에 경계점들을 정렬해야 하는데 가장 상단에 있는 점을 기준점으로 하고 다른 경계점 간의 각도를 구해 작은 값을 갖게 하는 좌표를 정렬하면 시계방향으로 순서화된다. 각도는 식 (8)과 같이 삼각 함수 중의 하나인 탄젠트 역함수를 사용하여 구한다.
PPT Slide
Lager Image
그림 1 0은 convex-hull 경계점을 순서화한 결과로 최상단 점을 0으로 시작하여 시계방향으로 순차적으로 경계점의 번호가 증가한다.
PPT Slide
Lager Image
경계점 순서화 Fig. 10 Ordering boundary point
인접한 위치에 존재하는 경계점은 식 (9)와 같이 경계점 간의 거리를 순차적으로 계산하고 임계값 lth 를 두어 임계값보다 작은 거리를 갖게 되면 불필요한 경계점으로 판단하고 제거한다. ( ) n 은 modulo 연산이고 n값은 7이다.
PPT Slide
Lager Image
세 점이 동일한 직선에 근접한 경우에는 식 (10), (11)과 같이 가운데 점을 기준으로 양 옆의 점과의 두 개의 벡터를 구성한다. 그리고 식 (12)와 같이 내적 연산을 통하여 끼인각을 구한다. 이 때 끼인각이 임계값보다 큰 경우에 가운데 점을 불필요한 경계점으로 판단하고 제거한다. 임계값 는 근처가 된다는 것을 예상할 수 있다.
PPT Slide
Lager Image
PPT Slide
Lager Image
PPT Slide
Lager Image
그림 11 은 2~4번 모델에 대한 convex-hull이 7개의 경계점에서 각 모델에 적합한 최소의 경계점을 찾아 선택하고 제거한 것을 보여준다.
PPT Slide
Lager Image
2부터 4번 모델에 대한 convex-hull 경계점 최소화 Fig. 11 Minimization of convex-hull boundary points of 2, 3 and 4 models
- 3.3. 손 모양 인식 기법
그림 12 는 손 모양을 인식하는 기법의 흐름도이다. 먼저 최소화된 경계점 중에서 최상단에 있는 점을 꼭지점으로 하여 이에 대응하는 내각을 구해서 1번 모델을 나머지 모델들과 분류한다.
PPT Slide
Lager Image
손 모양 인식하는 기법의 흐름도 Fig. 12 Flowchart for recognizing hand shape
그리고 나머지 모델들에 대해서 최소화된 경계점을 꼭지점으로 하는 다각형의 내각의 합을 이용하여 2부터 5번까지의 모델로 구분하고 인식한다. 그림 13(a) 는 인식하고자 하는 다섯 가지 손 모양 모델에 대한 최상단 꼭지점에 대응하는 내각의 모습을 보여준다. 1번 모델의 경우 최상단 꼭지점에 대응하는 내각이 예각이 되고 2번 모델의 경우 직각에 가깝게 되며 3, 4, 5번 모델의 경우는 각각 둔각이 됨을 알 수 있다. 그림 13(b) 는 100프레임에 대한 다섯 가지 모델의 최상단 꼭지점에 대응하는 내각을 보여주는 도표인데 3, 4, 5번 모델은 비슷한 형태를 지니므로 묶어서 표시한다. 예상했던 것처럼 1번 모델의 경우 최상단의 내각이 60° 미만이고 2번 모델의 경우 80° ~ 100° 사이이며 3~5번 모델의 경우 110° 와 140° 사이의 둔각이 되는 것을 확인할 수 있다.
PPT Slide
Lager Image
다섯 가지 모델의 최상단 내각의 (a) 모습 (b) 분포 Fig. 13 (a) Shape and (b) distribution of uppermost internal angle of five models
따라서 이러한 특징을 활용하면 1번 모델과 나머지 모델들을 분리할 수 있다. 2~5번 모델 의 경우 최소화된 경계점들을 꼭지점으로 하는 다각형의 내각의 합을 이용하여 구분한다. 일반적으로 다각형의 내각의 합은 같은 수의 꼭지점을 갖고 있는 형태에 대해서는 동일한 값을 갖는다. 2~5번 모델이 기하학적 모양에 따라 각각 최소화된 경계점을 4~7개를 갖기 때문에 내각의 합을 이용하면 분리가 가능하다. 그림 14 는 200프레임 동안 2~5번 모델에 대하여 임의로 손 모양을 바꿔가면서 측정한 내각의 합의 히스토그램이다. 취하는 손 모양에 대해서 사각형에서 칠각형의 내각의 합에 해당하는 360° ~ 900° 의 각도를 가질 뿐 다른 각도는 갖지 않으므로 서로 간의 오차를 제외하고는 구분이 가능하다는 것을 알 수 있다. 지금까지 손 모양 인식에 있어 손은 그림 5(a) 와 같이 손가락을 손바닥 기준으로 위로 펼친 형태가 되도록 하였다. 이러한 형태에서는 일반적으로 중지가 가장 길기 때문에 최상단의 꼭지점은 중지 끝에 존재하게 된다. 하지만 중지가 가장 길지 않은 손이나 좌, 우로 축이 틀어진 손 모양에 대해서는 최상단 꼭지점의 위치가 바뀔 수 있다. 이러한 경우에도 동일한 손 모양으로 인식하는지의 여부를 알아야 한다. 손의 축이 앞, 뒤로 꺾어지는 여부에 대해서는 깊이 영상에서 손 영역을 검출하게 되면 모델과 매우 상이한 형태를 지니기 때문에 고려하지 않았다. 제안하는 기법이 convex-hull을 이용하여 내각의 합을 통해 손 모델들을 구분하는 방법인데 convex-hull과 내각의 크기가 손의 방향에 영향을 받지 않는 요소이기 때문에 비슷한 결과를 가질 것을 예상할 수 있다.
PPT Slide
Lager Image
200프레임동안의 2~5번 모델에 대한 내각의 합의 히스토그램 Fig. 14 Histogram of sum of internal angle about 2~5 models during two hundred frame
그림 15 (a) , (b) 는 회전된 손 모양에 대해서 최상단 꼭지점에 대응하는 내각의 크기 경향과 분포를 보여준다. 2부터 4번 모델은 최상단 꼭지점을 기준으로 비슷한 형태를 지니므로 같이 표현하였다. 틀어진 손 모양에 대해서도 1번 모델과 나머지 모델들을 최상단 내각의 크기를 통해 분리할 수 있고 2~5번 모델이 각각 4~7개의 최소 경계점을 갖기 때문에 동일한 기법으로 구분 및 인식이 가능하다.
PPT Slide
Lager Image
축이 회전된 다섯 가지 손 모양 모델의 최상단 내각 의 (a) 경향 (b) 분포 Fig. 15 (a) Tendency (b) Distribution of uppermost internal angle of five hand shape model rotated
Ⅳ. 실험 및 결과
본 논문에서는 3장에서 제시된 1~5번 모델의 손 모양 인식 방법의 성능을 비교, 분석하기 위하여 키넥트 (Kinect) 시스템에서 제공하는 깊이 영상을 실험 영상으로 사용한다. 또한 보다 수월한 손 영역 검출을 위하여 Kinect for Windows SDK v1.6 라이브러리를 이용하여 손 위치 정보를 얻는다. 실시간 스트림의 해상도 640x480의 깊이 영상을 사용하고 손 영역 검출을 위한 손 위치는 키넥트에서 80~100(cm) 떨어진 거리로 하였다. 다섯 명의 인원으로 평범한 연구실 환경에서 실험을 실시하였고 각각의 인원은 모델 당 100 프레임, 즉 개인별 500프레임의 영상에서 손 모양 인식을 측정하였고 좌, 우로 축을 틀어가면서 진행하였다. 또한 3.2절에서 불필요한 convex-hull 경계점을 제거하기 위한 임계값 lth θth 을 두었는데 실험데이터를 통하여 80~100(cm) 거리에서는 lth = 20, θth = 160의 값이 적합한 조건임을 찾고 실험을 진행하였다.
PPT Slide
Lager Image
인식하고자 하는 다섯 가지 모델 Fig. 16 Five models for recognition
그림 17 은 깊이 영상에서 1~5번 모델에 대한 손 영역 검출 및 최적의 경계점 수와 위치를 보여준다. 1번 모델의 경우 최상단 꼭지점에 대응하는 각도를 통하여 분리가 가능하고 2~5번 모델의 경우 최적의 경계점 수로 대응되는 각각의 다각형 내각의 합을 통하여 구분 및 인식이 가능하다는 것을 알 수 있다. 그림 18 은 2~5번 모델에 대하여 100프레임 동안 내각의 합의 빈도수를 나타내는 히스토그램으로 각 모델마다 현저히 높은 빈도수를 갖는 내각의 합이 있는 것을 볼 수 있으며 이를 통해 손 모양 인식이 가능함을 알 수 있다. 표 1 은 기존의 기법들과 제안하는 기법의 손 모양 인식률을 보여준다. 기존 기법 1은 컬러 영상 기반의 손 모양 인식 방법이고 [5] 기존 기법 2는 손 모양의 기하학적 특징을 이용하고 더불어 손가락 끝에서의 기울기 특성으로 손 모양을 인식한다 [6] . 여기서는 본 논문에서 인식하고자 하는 모델과 동일하거나 거의 비슷한 convex-hull을 나타내는 손 모델과 비교하였다. 기존 기법 3은 피부색을 이용하여 손 영역을 검출하고 무게중심을 원점으로 하는 원을 그려 원에 걸치는 손가락 개수를 세어 손 모양을 인식하는 방법이다 [1] .
PPT Slide
Lager Image
다섯 가지 모델에 대한 검출된 손 영역 및 최소화된 경계점 Fig. 17 Extracted hand region and minimun boundary about five models
기존의 기법들과 제안하는 기법의 손 모양 인식률 비교Table. 1Comparison of hand shape recognition rate of the proposed algorithm with old algorithms
PPT Slide
Lager Image
기존의 기법들과 제안하는 기법의 손 모양 인식률 비교 Table. 1 Comparison of hand shape recognition rate of the proposed algorithm with old algorithms
PPT Slide
Lager Image
(a)2 (b)3 (c)4 (d)5번 모델에 대한 내각의 합을 나 타내는 히스토그램 Fig. 18 Histogram of the sum of internal angle for (a)2 (b)3 (c)4 (d)5 models
제안하는 기법은 깊이 영상에서 검출한 손 영역의 convex-hull을 구하고 손 모양에 따라 달라지는 convexhull에서 제안하는 기법을 통해 각 모델별 최적의 경계점을 구한 뒤 이를 꼭지점으로 하는 다각형의 내각의 합을 통해 손 모양을 인식한다. 기존 기법들과 비교했을 때 인식률이 떨어지는 모델도 있지만 전체적인 인식률을 보았을 때 제안하는 기법의 성능이 더 뛰어나다는 것을 알 수 있다. 특히 기존 기법 3과 비교하면 깊이 영상을 이용해서 잡음에 더 강인하고 손의 축이 좌, 우로 틀어지는 경우에도 인식이 가능하기 때문에 환경이나 손 모양 상태에 제한 없이 좀 더 안정적인 결과를 얻을 수 있음을 알 수 있다.
그리고 평균 프레임당 처리시간이 31ms로 실시간 동작이 가능함을 알 수 있다.
Ⅴ. 결 론
본 논문에서는 키넥트(Kinect)에서 획득한 깊이 영상에서 검출한 손 영역에 대해 convex-hull이란 수학적 개념을 사용하여 손 모양을 인식하는 기법을 제안하였다. 컬러 영상에 비해 잡음에 덜 민감한 깊이 영상을 이용하여 주변 환경에 구애받지 않을 수 있었으며 [7] 손 모양 그 자체가 나타내는 형태를 특정 다각형에 대응시키고 일정한 내각의 합이라는 다각형 성질을 이용하여 축이 틀어진 손 모양에 대해서도 인식이 가능함을 확인할 수 있었다. 또한 제안하는 기법은 실시간으로 손 모양 인식이 가능하다.
Acknowledgements
이 논문은 2013년도 광운대학교 교내 학술연구비 지원에 의해 연구되었음
BIO
최인규(In-Kyu Choi)
2014년 2월 광운대학교 전자공학과 학사
2014년 3월 광운대학교 전자공학과 석사
※관심분야 : 컴퓨터 비전, 스테레오 매칭, 영상 신호 처리
유지상(Jisang Yoo)
1985년 2월 서울대학교 전자공학과 학사
1987년 2월 서울대학교 전자공학과 석사
1993년 5월 Purdue Univ. EE, ph.D
1997년 9월 ~ 현재 광운대학교 전자공학과 교수
※관심분야 : 웨이블릿 기반 영상처리, 영상압축, 영상인식, 비선형 신호처리
References
Hwang M. G. , Kim H. R. , Kang S. B. , Yang T. K. 2008 “Vision Based Real-time Hand Shape Recognition Using Fuzzy Inference” Journal of Korean Institute of Information Technology 6 (2) 53 - 59
Kim H. C. , Park M. S. , Park J. M. , Oh S. R. 2012 “Hand Gesture Recognition System with Kinect Camera” 2012 Conference on Information and Control Systems 165 - 166
Yoruk E. , Konukoglu E. , Sankur B. , Darbon J. 2006 “Shape-Based Hand Recognition” IEEE TRANSACTIONS ON IMAGE PROCESSING 15 (7) 1803 - 1815    DOI : 10.1109/TIP.2006.873439
Baek J. B. , Kim J. S. , Yoon C. Y. , Kim D. Y. , Kim E. T. 2013 “Part-based Hand Detection Using HOG” Journal of Korean Institute of Intelligent Systems 23 (6) 551 - 557    DOI : 10.5391/JKIIS.2013.23.6.551
Park H. H. , Choi J. Y. , Park J. I. , Moon K. S. 2013 “A study on Hand Region Detection for Kinect-Based Hand Shape Recognition” Journal of Broadcast Engineering 18 (3) 393 - 400    DOI : 10.5909/JBE.2013.18.3.393
Li Yi 2012 “Hand gesture recognition using kinect,” software Engineering and Service Science (ICSESS), 2012 IEEE 3rd International Conference on 196 - 199
Choi I. K. , Yoo J. S. 2014 “Hand shape recognition using the convex-hull of depth image” 2014 Conference on The Korean Institute of Communications and Information Sciences 385 - 386