Advanced
Visual Touch Recognition for NUI Using Voronoi-Tessellation Algorithm
Visual Touch Recognition for NUI Using Voronoi-Tessellation Algorithm
The Transactions of The Korean Institute of Electrical Engineers. 2015. Mar, 64(3): 465-472
Copyright © 2015, The Korean Institute of Electrical Engineers
This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/3.0/)which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
  • Received : November 19, 2014
  • Accepted : January 27, 2015
  • Published : March 01, 2015
Download
PDF
e-PUB
PubReader
PPT
Export by style
Article
Author
Metrics
Cited by
TagCloud
About the Authors
성 관 김
Dept. of Control & Robot Engineering, Kunsan National University, Korea
영 훈 주
Corresponding Author : Dept. of Control & Robotics Engineering, Kunsan National University, Korea E-mail :yhjoo@kunsan.ac.kr

Abstract
This paper presents a visual touch recognition for NUI(Natural User Interface) using Voronoi-tessellation algorithm. The proposed algorithms are three parts as follows: hand region extraction, hand feature point extraction, visual-touch recognition. To improve the robustness of hand region extraction, we propose RGB/HSI color model, Canny edge detection algorithm, and use of spatial frequency information. In addition, to improve the accuracy of the recognition of hand feature point extraction, we propose the use of Douglas Peucker algorithm, Also, to recognize the visual touch, we propose the use of the Voronoi-tessellation algorithm. Finally, we demonstrate the feasibility and applicability of the proposed algorithms through some experiments.
Keywords
1. 서 론
최근 컴퓨터 정보기기(PC, 스마트폰 등)의 급격한 발전과 범용화에 따라, 마우스와 키보드를 대체할 더욱 자연스러운 입력 장치의 도입이 필요해졌다. 일반적으로, 기존의 정보기기의 입력장치는 키보드, 마우스, 터치펜 등이 있다. 이러한 입력 장치는 컴퓨터의 보급이 급격히 확산됨에 따라 상당히 많이 보급되었으며 현재도 가장 일반적으로 쓰이고 있는 컴퓨터 입력 장치이다. 하지만 최근 컴퓨터의 소형화 및 스마트폰의 등장으로 인해 사용 환경이 극히 제한적이고, 휴대가 불편하다는 문제점을 가지고 있다 [1] . 이러한 문제점을 해결하기 위해 최근 스마트 TV, 스마트 폰 등의 고성능 컴퓨터 정보기기들은 NUI(Natural User Interface)를 사용하고 있다. NUI는 사용자가 컴퓨터 환경에서 현실과 더 가깝게 다가가기 위해서 나온 개념으로서, 신체의 일부만을 사용하는 기존의 입력 장치를 대체하기 위하여 사람의 손, 얼굴, 음성 등을 사용하는 차세대 입력 장치를 일컫는다. 차세대 입력 장치 중 하나로 사람의 손은 관심이 집중되고 있으며, 손을 인식하여 입력 장치로 사용하는 비주얼터치 분야에 대한 다양한 연구가 진행되고 있다 [2] , [15 - 20] .
사람의 비주얼 터치 방법에는 크게 센서를 이용하는 방법과 비젼을 이용하는 방법이 있다. 센서를 이용하는 방법 중 가장 대표적인 장치는 데이터 글로브(data glove)를 사용하는 방식과 동작 인식센서를 사용하는 방식이 있다 [3 - 4] . 데이터 글로브를 이용하는 방식은 측정이 쉽고 자기센서와 조합하여 사용하면 손의 방향과 대략적인 3차원 위치를 알 수 있으므로 가상현실 시스템과 같은 정보 시스템의 입력 장치로 각광 받고 있으며, 동작 인식센서를 이용하는 방식은 손의 움직임을 그대로 이해하여 입력 장치로 사용할 수 있는 방식으로 최근 3차원 동작 인식 분야에서 활발한 연구가 진행 되고 있다. 하지만 데이터 글로브를 사용하는 방법과 동작인식 센서를 사용하는 방법은 사용자의 신체나 주변 환경에 센서를 부착 해야만 한다는 불편함이 있다. 다음으로 비젼을 이용하는 방법에는 3D 모델링, 스켈레톤 모델링(skeleton modeliing), 확장 신경망 모델링(extended neural network modellinh) 등이 있다 [5 - 7] . 3D 모델링 방법은 손의 전체 형상을 3차원으로 모델링하여 손의 모양과 동작을 세부적으로 표현할 수 있으며, 스켈레톤 모델링은 인간의 손 스켈레톤 모델을 구성하여 손동작을 기하학적인 측면에서 분석할 수 있다. 마지막으로 확장 신경망 모델링 방법은 손영역 내부에서 임의의 두 점으로부터 신경망을 확장하여 손영역을 인식한다. 하지만 비젼을 이용하는 방법은 손의 모델링을 구체화 시킬수록 연산량이 급격히 늘어나 실시간 처리에 부적합하다는 문제점이 있으며, 반대로 실시간 처리에 적합한 비주얼 터치 시스템은 대체로 인식률이 저하된다는 문제점을 가지고 있다.
본 논문에서는 이러한 문제점을 해결하기 위하여 NUI를 위한 보로노이-테셀레이션(Voronoi-tessellation) 기반의 비주얼 터치 인식 알고리즘을 제안한다. 제안하는 알고리즘은 실시간 처리가 가능하면서 기존 방법보다 안정적인 비주얼 터치 인식을 목표로 한다. 먼저, 입력영상에서 RGB(Red-Green-Blue)와 HSI(Hue-Saturation-Intensity) 컬러 모델을 이용하여 피부영역을 추출하고 피부영역을 이진화 시킨다. 다음, 추출된 피부영역에서 손영역 추출을 위해 Canny 에지 검출기(Canny Edge Detector)를 사용하여 손영역의 외곽선을 추출하고, 이진화된 피부영역의 에지정보에 공간 주파수 기법을 사용하여 손영역을 추출한다. 다음, 더글라스 파커(Douglas Peucker) 알고리즘을 사용하여 손영역의 특징점을 추출한다. 끝으로, 추출된 손영역의 특징점을 기반으로 보로노이-테셀레이션을 적용하여 손영역을 분할하며, 손가락의 비주얼 터치를 인식하기 위해 보로노이 영역의 특징을 이용하는 방법을 제안한다. 마지막으로 사용자 인터페이스를 제작하여 본 논문에서 제안하는 알고리즘의 실용성 및 응용 가능성을 보인다.
2. 제안하는 NUI 시스템의 개요
본 논문에서 제안하는 NUI를 위한 비주얼 터치 인식 시스템의 블록도는 그림 1 과 같다.
PPT Slide
Lager Image
제안하는 시스템의 블록도 Fig. 1 Block diagram of the proposed system
제안하는 시스템은 크게 손영역 추출(Hand region extraction), 손영역 특징점 추출(Hand feature point extraction), 비주얼 터치 인식(Visual-touch recognition) 순으로 3개의 블록으로 구성된다. 먼저, 손영역 추출 과정에서는 입력받은 영상에서 RGB/HSI 컬러 필터링을 통하여 인간의 피부 영역만을 추출한다. 추출된 피부영역에서 Canny 에지 검출 알고리즘 [10] 을 사용하여 손영역의 외곽선을 추출하고, 이진화된 피부 영역의 Canny 에지 정보에 공간 주파수 기법 [11] 을 사용하여 손영역을 추출한다. 다음 손영역의 특징점을 추출하는 과정으로 더글라스 파커 알고리즘 [12] 을 사용하여 손영역을 근사하고, 근사한 손영역의 모서리 값을 기준으로 손영역의 특징점을 추출한다.
마지막으로 비주얼 터치 인식 과정은 추출된 특징점을 입력으로 보로노이 테셀레이션 알고리즘 [8 - 9] 을 적용하여 손 모델을 형성하고, 보로노이-테셀레이션의 특징을 이용하여 손의 비주얼 터치 동작을 인식한다.
3. NUI를 위한 비주얼 터치 인식 시스템
- 3.1 손영역 추출 방법
- 3.1.1 컬러 필터링을 이용한 피부 영역 추출
입력 영상에서 피부색을 분류하는 방법 중 하나는 어떤 색상 공간에서 피부색 영역의 경계선을 명확히 정의하는 것이다. 본 논문에서는 가장 단순하고 빠른 피부색 검출이 가능한 RGB 컬러 모델과 조도의 변화에 대한 강인함을 위하여 HSI 컬러 모델을 사용한다.
RGB 컬러 모델에서 피부영역은 식 (1)과 같이 정의한다 [13] .
PPT Slide
Lager Image
HSI 컬러 모델은 정규화된 R, G, B값을 이용하여 각 성분 값을 구할 수 있다. 정규화된 RGB컬러 모델에서 색상(Hue) 성분을 구하는 식은 다음과 같다 [13] .
PPT Slide
Lager Image
본 논문에서는 HSI 컬러 모델에서 조도에 강인한 색상 성분의 피부영역과 RGB 컬러 모델의 피부영역을 이용하여 최종 피부영역을 추출한다. 그림 2 는 본 논문에서 사용하는 RGB 컬러 모델과 HSI 컬러 모델의 스펙트럼을 도시한 그림이다.
PPT Slide
Lager Image
RGB와 HSI 컬러 모델 스펙트럼 Fig. 2 Spectrum of RGB and HSI color models
그림 3 은 RGB/HSI 컬러 필터링을 이용하여 피부영역을 추출한 결과를 도시한 그림이다.
PPT Slide
Lager Image
컬러 필터를 이용한 피부영상 추출 결과 Fig. 3 Extraction result of skin area using color filter
- 3.1.2 Canny 에지 검출 알고리즘을 이용한 손영역 에지 추출
본 절에서는 추출된 피부영역에서 손영역을 분리하기 위해서 Canny 에지 검출 알고리즘 [10] 을 이용하여 손영역의 에지 정보를 추출하는 방법을 제안한다. Canny 에지 검출 알고리즘은 탐지성(good detection), 국부성(good localization), 응답성(clear response)을 만족하는 에지를 찾는 방법을 제시한다. 그림 4 는 피부영역의 에지 정보를 추출하는 과정을 나타낸 그림이다.
PPT Slide
Lager Image
피부영역의 에지 정보 추출 과정 Fig.. 4 Extraction process for edge information of skin area
먼저, 입력 영상에 대한 잡음의 영향을 최소화하기 위해서 식 (3)과 같이 가우시안 필터링을 한다.
PPT Slide
Lager Image
여기서, G ( x , y ; σ ) 는 가중치 σ 를 사용하여 ( x , y ) 위치에 적용되는 가우시안 함수를 의미하며, I ( x , y )는 ( x , y ) 위치의 픽셀 값을 의미하며, V ( x , y )는 가우시안필터를 적용한 결과를 의미한다. 가우시안 필터링을 적용한 V ( x , y )에 1차 미분 연산자를 통한 에지검출은 식 (4)와 같다.
PPT Slide
Lager Image
여기서, P ( x , y )는 1차 미분 연산자를 통해 x 축 에지를 검출한 결과이며, Q ( x , y )는 y 축 에지를 검출한 결과이다. 각 화소)에 대한 기울기와 크기는 식 (5)와 같이 계산된다.
PPT Slide
Lager Image
여기서, θ ( x , y )는 최종적으로 임계치를 통하여 피부영역의 에지정보를 추출할 수 있다. 그림 5 는 피부영역에서 손영역을 분리하기 위해서 Canny 에지 검출기를 이용한 에지 추출 결과를 도시한 그림이다.
PPT Slide
Lager Image
Canny 에지 검출기를 이용한 에지 추출 결과 Fig. 5 Edge extraction results using Canny edge detector
- 3.1.3 공간 주파수를 이용한 손영역 추출
기존의 연구에서는 피부 영역 추출 영상에서 손과 얼굴을 분리하는 방법으로 레이블링 방법(Labelling method)이 주로 사용되었다 [14] . 레이블링 방법은 연결성을 가지는 픽셀들을 그룹화하는 방법으로 간편하게 손영역을 추출 할 수 있다. 하지만 손과 얼굴을 분리하기 위하여 손영역이 얼굴영역보다 커야만 하는 제한조건이 있다. 이런 제한조건을 해결하기 위해 본 절에서는 공간 주파수 기법을 이용하여 피부 영역 추출 영상에서 손과 얼굴을 분리하는 방법을 제안한다.
제안하는 공간주파수 기법은 2차원 공간에서 영상의 변화를 주파수적인 특징으로 표현한 방법으로, 추출된 피부 영역의 에지 영상에서 가로방향의 공간주파수와 세로방향의 공간 주파수에서 가장 높은 주파수 영역은 피부 영역의 에지영상에서 에지정보가 가장 복잡한 영역을 의미한다. 제안한 공간주파수 기법은 식 (6)과 같다.
PPT Slide
Lager Image
여기서, x = R 2 이며, D ( w )는 가로방향의 공간주파수를 의미하며, D (h)는 세로방향의 공간주파수를 의미한다. 일반적으로 사람의 손영역은 얼굴영역보다 더 복잡한 에지 정보를 가지고 있으므로 가로방향과 세로 방향의 공간 주파수가 가장 높은 부분을 손영역으로 정의함으로써 효과적으로 손영역의 위치를 검출 할 수 있다.
그림 6 은 제안한 공간 주파수 기법을 이용하여 손영역을 추출하는 과정을 도시한 그림이다. 그림 6-(a) 는 손영역이 얼굴영역보다 큰 경우로 피부영역 추출 영상에서 종 방향 공간주파수와 횡방향 공간주파수를 적용시킨 히스토그램을 도시한 그림이다. 본 그림에서 종·횡 방향의 공간주파수가 가장 높은 부분은 얼굴 영역보다 복잡한 손영역임을 알 수 있다. 그림 6-(b) 는 손영역이 얼굴보다 작은 경우에 공간주파수를 적용시킨 히스토그램 결과를 나타낸 그림이다. 본 그림에서도 그림 6-(a) 와 마찬가지로 손영역에서 종·횡 방향 공간주파수가 가장 높은 것을 확인할 수 있다. 따라서, 본 논문에서 제안한 방법을 사용하면 입력영상에서 손영역과 얼굴영역을 간단히 분리할 수 있음을 알 수 있다.
PPT Slide
Lager Image
공간주파수를 이용한 손영역 추출 Fig. 6 Hand region extraction using spatial frequency
- 3.2 손영역 특징점 추출 방법
- 3.2.1 더글라스-파커 알고리즘을 이용한 손영역 특징점 추출
본 절에서는 곡선으로 이루어진 손 외곽선에서 근사화를 통해 강인한 특징점을 효율적으로 추출하기 위해 더글라스 파커 알고리즘 [13] 을 이용하는 방법을 제안한다. 더글라스 파커 알고리즘은 복잡한 선형 자료를 설정된 임계치 범위 내에서 근사화를 수행하는 알고리즘이다. 그림 7 은 더글라스-파커 알고리즘을 이용하여 손 외곽선을 근사화하는 과정을 도시한 그림이다.
PPT Slide
Lager Image
더글라스-파커 알고리즘을 이용한 선 단순화 Fig. 7 Line simplification using DP algorithm
그림 7-(a) 는 최초의 임계치 설정을 의미하며 시작점 pt0에서 소지의 끝점 pt15 까지의 단순화 과정을 나타낸다. 임계치를 설정하고 임계치에 속한 pt1-pt14는 제거한다. 그림 7-(b) 에서도 앞선 그림 7-(a) 와 마찬가지로 pt15-pt22에 임계치를 설정하여 임계치에 속한 pt16-pt21은 제거한다. 이와 같은 과정을 반복하면 최종적으로 손의 특징점을 추출할 수 있다. 그림 8 은 손 영역 영상에서 외곽선의 근사화를 통해 손의 특징점을 구하는 과정을 도시한 그림이다.
PPT Slide
Lager Image
손영역 특징점 추출 Fig. 8 Feature extraction of hand area
그림 8-(c) 와 같이 손영역의 특징점을 집합 S 의 원소 zi ( i = 1,2,..., K ) 로 정의한다. 여기서, S 의 원소 중 zi ( i =1,3,5,7,9)는 손가락 끝점에 해당하는 특징점으로 손가락 터치 인식 과정에서 중요하게 사용된다.
- 3.3 비주얼 터치 인식 방법
본 절에서는 비주얼 터치의 유무를 판단하기 위해 보로노이-테셀레이션 기반의 손모델을 사용하는 방법을 제안한다. 제안한 방법은 추출된 손영역 특징점을 입력으로 보로노이-테셀레이션 손모델을 생성하고, 손모델의 특징점을 이용하여 손가락 끝점의 터치를 인식하는 방법이다.
- 3.3.1 보로노이-테셀레이션을 이용한 손모델 생성
보로노이 테셀레이션은 이웃들과의 선분을 이등분한 선들로 이루어진 다각형의 집합을 의미한다. 테셀레이션은 집합 S 가 있을 때, 한 부분집합 Si 에 속하는 원소는 다른 부분 집합 Sj 에 속하지 않고, 집합 S 의 모든 원소는 임의의 한 부분집합 Si 에 반드시 속하는 성질을 가지는 부분집합 { S 1 , S 2 ,..., SK }을 말한다.
보로노이 테셀레이션을 정의하면 다음과 같다: 집합 S 의 원소를 zi ( i =1,2..., K ) 라 하자. 집합 S 의 원소 z , w 에 대한 유클리디언 거리함수 d ( z , w )일 때, 보로노이 부분집합 Vj 는 식 (7)을 만족하는 S 에 속하는 모든 원소의 집합이다.
PPT Slide
Lager Image
보로노이 부분집합들의 집합 { V 1 , V 2 ,..., Vk }를 S 의 보로노이 테셀레이션이라 정의한다. 이때, zi ( i =1,2,..., K )의 집합을 보로노이 테셀레이션의 생성자(Generators) 또는 보로노이 셀(Voronoi cell)이라 한다. 보로노이 부분집합 Vj 는 보로노이 다각형(Voronoi polygon)이라 한다.
그림 9 는 본 절에서는 제안한 보로노이-테셀레이션 기반의 손 모델을 생성한 결과와 각 구성요소를 도시한 그림이다.
PPT Slide
Lager Image
보로노이-테셀레이션의 구성요소 Fig. 9 Component of the Vornoi-tessellation
그림 9 에서 보로노이 테셀레이션은 보로노이 셀, 보로노이 다각형, 보로노이 공간(Voronoi space)과 보로노이 정점(Voronoi vertex)으로 구성되어 있다. 보로노이 공간은 보로노이 다각형내의 공간을 의미하며, 보로노이 정점은 임의의 정점을 포함한 영역에서 다른 두 개 이상의 정점이 가지는 영역들과 만나는 점을 의미한다. 비주얼 터치 인식을 위한 손영역 분할 기법에 보로노이 테셀레이션 알고리즘을 이용한다. 보로노이 테셀레이션 알고리즘은 임의의 시작점을 중심으로 각 정점이 다른 정점에 영향을 주지 않고 최대로 가질 수 있는 범위를 표현하기에 적합함으로, 본 연구에서 제안하는 손영역 분할 기반 손 모델에 적합하다.
먼저, 그림 8 에서 단순화된 손영역의 특징점 집합 S 를 보로노이-테셀레이션 알고리즘의 입력 데이터로 사용한다. 그리고 입력 데이터에 보로노이-테셀레이션을 적용시킨다. 적용된 결과로 손 영역을 분할하는 보로노이-테셀레이션이 구성되고, 보로노이-테셀레이션이에 따라 손모델을 생성할 수 있다.
제안한 알고리즘을 통해 생성된 손 모델은 다음과 같은 특징을 가진다: 먼저, 손모델은 손가락 끝점을 포함한 손영역의 특징점들의 집합을 입력 데이터로 사용한다. 다음으로 모든 보로노이 셀들은 서로 간섭하지 않는다. 다음, 보로노이 다각형은 보로노이 셀이 서로 간섭하지 않는 한 최대의 영역을 가진다. 마지막으로 보로노이 다각형의 경계선은 마주한 보로노이 공간의 균형점이다.
- 3.3.2 터치 인식
비접촉 스크린에서 비주얼 터치의 유무를 판단하기 보로노이-테셀레이션 기반의 손모델을 이용한다. 보로노이-테셀레이션의 특징을 이용하는 방법은 앞서 언급한 보로노이-테셀레이션의 특징중 보로노이 다각형은 보로노이 셀들이 서로 간섭하지 않는 한 최대의 영역을 가진다는 특징을 이용하며, 그림 10 과 같다. 그림 10-b 에서 검지 손가락을 구부릴때 끝점 Z 3 을 포함하는 보로노이 다각형은 내각이 좁아지는 특성을 나타낸다. 이는 손가락의 구부림으로 인해 보로노이 셀 Z 3 Z 4 의 거리가 근접할수록 Z 3 Z 5 와의 거리는 멀어지기 때문이다. Z 3 Z 5 와의 거리가 멀어질수록 보로노이 다각형의 최대 영역을 확보하기 위해 Z 3 의 내각이 좁아지게 된다. 보로노이 다각형의 내각 변화는 다음 식 8과 같이 제 2 코사인법칙을 이용한다.
PPT Slide
Lager Image
동일하게 그림 10-c 에서 중지손가락을 구부릴 때 끝점 Z 5 를 포함하는 보로노이 다각형도 내각이 좁아지는 특성을 나타낸다. 손가락 특징점 ( Z 1 , Z 3 , Z 5 , Z 7 , Z 9 )을 포함한 보로노이 다각형 내각의 변화를 계산하여 구부림에 따른 각도 B 를 계산하여 터치 유무룰 판단한다.
PPT Slide
Lager Image
보로노이 특성을 이용한 터치 동작 인식 Fig. 10 Touch gesture recognition using Voronoi rule
4. 실험 및 결과 고찰
본 논문에서 제안한 NUI를 위한 보로노이-테셀레이션 기반의 비주얼 터치 인식 시스템은 손영역 추출과 비주얼 터치에 주안점을 두고 개발되었다. 실험환경은 i5-3570 3.4GHz CPU, 4GB RAM의 PC에서 수행하였으며, 640×480 픽셀, 초당 12 프레임의 웹 카메라를 사용하였다.
실험은 손이 얼굴보다 큰 경우(실험1)와 손이 얼굴보다 작은 경우(실험2)로 나누어 진행하였으며, 웹 카메라로부터 RGB 칼라 영상을 입력받아 손영역을 인식하고, 다음으로 인식된 손영역을 이용하여 컴퓨터 환경에서의 자연스러운 비주얼 터치 인터페이스에 적용하는 실험을 하였다. 실험 과정은 보로노이-테셀레이션 손 모델 생성, 그리고 비주얼 터치 인식 실험 순으로 구성된다.
그림 11 은 실험(1)을 통하여 본 논문에서 제안한 보로노이-테셀레이션 기반 손 모델 생성 과정을 도시한 그림이다.
PPT Slide
Lager Image
손 모델 생성 실험 결과 (실험 1) Fig. 11 Experimental results of hand model creation
그림 11(a) 는 손이 얼굴보다 큰 경우의 입력영상, (b) 는 입력 영상에 대한 피부영역 추출 결과를 나타내며, (c) 는 본 논문에서 제안한 공간주파수 기법을 이용하여 피부영역으로부터 손영역을 추출한 결과를 나타낸다. (d) 는 추출한 손영역에 더글라스-파커 알고리즘을 적용하여 손 특징점을 추출한 결과를 나타낸다. (e) 는 추출된 특징점을 입력으로 보로노이 손 모델을 생성한 결과를 나타낸다. 그림 12 는 손이 얼굴보다 큰 경우(실험1)에서 비주얼 터치 실험 결과를 프레임 순으로 나타낸 그림이다.
PPT Slide
Lager Image
비주얼 터치 실험 결과(실험 1) Fig. 12 Experimental results of visual touch
그림 13 은 실험(2)를 통하여 본 논문에서 제안한 보로노이-테셀레이션 기반 손 모델 생성 과정을 도시한 그림이다.
PPT Slide
Lager Image
손 모델 생성 실험 결과 (실험 2) Fig. 13 Experimental results of hand model creation
그림 13(a) 는 손이 얼굴보다 작은 경우의 입력영상, (b) 는 피부 영역의 추출 결과를 나타낸다. (c) 는 본 논문에서 제안한 공간 주파수 기법을 이용하여 피부영역으로부터 손영역을 추출한 결과를 나타내며, 기존의 레이블링 기법의 손영역이 얼굴영역보다 커야 한다는 문제점을 해결하였다. (d) 는 추출한 손영역에 더글라스-파커 알고리즘을 적용하여 손 특징점을 추출한 결과를 나타낸다. (e) 는 추출된 특징점을 입력으로 보로노이 손 모델을 생성한 결과를 나타낸다. 그림 14 는 손이 얼굴보다 작은 경우(실험2)에서 비주얼 터치 실험 결과를 프레임 순으로 나타낸 그림이다.
그림 12 14 에서 볼 수 있듯이, 손이 얼굴보다 큰 경우(실험 1)와 손이 얼굴보다 작은 경우(실험 2)에서 검지 손가락의 비주얼 터치를 인식하여 자연스러운 터치 동작을 보임을 알 수 있다
PPT Slide
Lager Image
비주얼 터치 실험 결과(2) Fig. 14 Experimental results of visual touch
5. 결 론
본 논문에서는 영상 정보를 기반으로 사용자가 디스플레이 되고 있는 사물과 자연스럽게 상호작용할 수 있는 NUI를 위한 비주얼 터치 알고리즘을 제안하였다. 본 결과는 사용자들이 자신의 손가락을 특정 공간에서 움직이면 해당 동작을 인식하고 이를 해석하는 시스템이며, 컴퓨터의 동작을 지시하는 마우스의 역할을 할 수 있다. 즉, 어떠한 접촉기기 없이 원격으로 컴퓨터를 조작할 수 있는 자연스러운 인터페이스를 구현하였다. 제안한 시스템은 카메라로부터 얻어진 연속적인 입력 영상에서 RGB/HSI 컬러 필터링을 적용하여 조도에 민감한 단점을 해결하였다. 또한 공간주파수 기법을 제안하여 손이 얼굴보다 커야만 손영역을 추출하던 기존연구의 단점을 개선하였으며, 보로노이-테셀레이션 알고리즘을 이용한 손 모델을 제안하여 자연스러운 비주얼 터치 인식을 구현하였다. 마지막으로, 본 논문에서 제안하는 알고리즘은 실제 실험을 통해 실용성 및 그 응용 가능성을 보였다.
향후, 손의 회전으로 인한 형태상의 변형이 발생하는 문제점을 개선하고 양손을 모두 사용하여 자연스러운 비주얼터치를 구현하면 사람과 컴퓨터 간의 더욱 자연스러운 인터페이스를 구현 할 수 있을 것이다.
Acknowledgements
본 연구는 2014년도 지식경제부의 재원으로 한국에너지 기술평가원(KETEP)의 지원을 받아 수행한 연구 과제(과제번호: 20144030200590)와 2012년도 정부(교육부)의 재원으로 한국연구재단(과제번호: NRF-2012R1A2A2A01014088)의 지원을 받아 수행된 연구임.
BIO
김 성 관(Sung Kwan Kim)
2013년 군산대학교 전자정보공학과 졸업. 2015년 동 대학원 석사 졸업. 2015년~현재 동 대학원 박사과정. 관심분야는 로봇 비젼, 인간-로봇 상호작용, 지능형 감시 시스템.
주 영 훈(Young Hoon Joo)
1982년, 1984년, 1995년 연세대학교 전기공학과 졸업 (공학사, 공학석사, 공학박사). 1986~1995년 삼성전자 ㈜ 생산기술센터 팀장. 1995년~현재 군산대학교 제어로봇광학과 교수. 1998~1999년 미국 휴스턴대학 교환교수, 2006~2007년 제어·로봇 시스템학회 편집주간. 2008~2009년 한국 지능시스템학회 회장. 2009~2013년 군산대학교 PostBK21 팀장. 2013~2014년 대한전기학회 부회장, 대한전기학회 정보제어부문 회장, 2014~현재, 대한전기학회 정보제어부문 감사, International Journal of Control, Automation, and Systems(IJCAS) Editor-in-Chief. 관심분야는 지능형로봇, 지능제어, 휴먼 로봇, 로봇 비젼, Human-Robot Interaction, 지능형 감시 시스템, 풍력발전단지제어.
References
Loureiro B. , Rodrigues R. 2011 "Multi-touch as a natural user interface for elders: A survey." Information Systems and Technologies (CISTI), 2011 6th Iberian Conference on. IEEE 1 - 6
Kim S. K. , Lee C. W. 2007 "Tabletop Display Techniques for Multi-Touch Recognition." Journal of Korean Contents Association 7 (2) 84 - 91
Welsh M. H. , Akin D. L. 1995 "The effects of extravehicular activity gloves on human hand performance,” Society of Automotive Engineering 16 (3) 165 - 174
Zimmerman T. G. , Lanier J. , Blanchard C. , Bryson S. , Harvill Y. 1987 "A hand gesture interface device." ACM SIGCHI Bulletin 18 (4) 189 - 192    DOI : 10.1145/1165387.275628
Quek F. K. H. 1994 "Toward a vision-based hand gesture interface." Virtual Reality Software and Technology Conference 17 - 29
Kim J. G. , Joo Y. H. 2013 "Visual multi-touch air interface for barehanded users by skeleton models of hand regions," International Journal of Control, Automation and Systems 11 (1) 84 - 91    DOI : 10.1007/s12555-012-9217-y
Stergiopoulou E. , Papamarkos N. 2009 "Hand gesture recognition using a neural network shape fitting technique." Engineering Applications of Artificial Intelligence 22 (8) 1141 - 1158    DOI : 10.1016/j.engappai.2009.03.008
Aurenhammer F. 1991 "Voronoi diagrams—a survey of a fundamental geometric data structure," ACM Computing Surveys 23 (3) 345 - 405    DOI : 10.1145/116873.116880
Cheong O. , Everett H. , Glisse M. , Gudmundsson J. , Hornus S. , Lazard S. , Na H. S. 2011 "Farthest-polygon Voronoi diagrams," Computational Geometry 44 (4) 234 - 247    DOI : 10.1016/j.comgeo.2010.11.004
Bao P. , Zhang D. , Wu X. 2005 "Canny edge detection enhancement by scale multiplication." Pattern Analysis and Machine Intelligence 27 (9) 1485 - 1490    DOI : 10.1109/TPAMI.2005.173
Yeom D. H. , Joo Y. H. 2011 “Image Processing for Robust Recognition of Hand Regions,” 2011 Autumn Conference on Korean Institute of intelligent Systems 202 - 203
Song X. , Cheng C. , Zhou C. , Zhu D. 2013 "Gestalt-based Douglas-Peucker algorithm to keep shape similarity and area consistency of polygons," American Scientific Publishers 1015 - 1221
Kovac J. , Peer P. , Solina F. 2003 "Human skin color clustering for face detection," IEEE 144 - 148
Viola P. , Jones M. J. 2004 "Robust real-time face detection." International journal of computer vision 57 (2) 137 - 154    DOI : 10.1023/B:VISI.0000013087.49260.fb
Shi L. Y. , Joo Y. H. 2012 “Multiple Moving Objects Detection and Tracking Algorithm for Intelligent Surveillance System“ Journal of Korean Institute of Intelligent Systems 22 (6) 741 - 747    DOI : 10.5391/JKIIS.2012.22.6.741
Yeom D. H. , Joo Y. H. , Park J. B. 2010 "Selection of Coefficient for Equalizer on Optical Disc Drive by Golden Search" IEEE Transactions on Consumer Electronics 56 (2) 657 - 662    DOI : 10.1109/TCE.2010.5505984
Kim J. S. , Yeom D. H. , Park J. B. , Joo Y. H. 2010 "Intelligent Unmanned Anti-theft System Using Network Camera" International Journal of Control, Automation, and Systems 8 (5) 967 - 974    DOI : 10.1007/s12555-010-0505-0
Kim J. S. , Yeom D. H. , Joo Y. H. 2011 "Fast and Robust Algorithm of Tracking Multiple Moving Objects for Intelligent Video surveillance" IEEE Transactions on Consumer Electronics 57 (3) 1165 - 1170    DOI : 10.1109/TCE.2011.6018870
Kim M. H. , Joo Y. H. , Park J. B. 2005 “Gesture extraction for ubiquitous robot-human interaction,” Journal of Control, Automation, and Systems Engineering (in Korean) 11 (12) 1062 - 1067    DOI : 10.5302/J.ICROS.2005.11.12.1062
Kim M. H. , Park J. B. , Joo Y. H. 2005 “New fuzzy skin model for face detection,” Lecture Notes in Computer Science 3809 557 - 566