Advanced
Non-Contact Gesture Recognition Algorithm for Smart TV Using Electric Field Disturbance
Non-Contact Gesture Recognition Algorithm for Smart TV Using Electric Field Disturbance
Journal of Korea Multimedia Society. 2014. Feb, 17(2): 124-131
Copyright © 2014, Korea Multimedia Society
  • Received : September 10, 2013
  • Accepted : December 24, 2013
  • Published : February 28, 2014
Download
PDF
e-PUB
PubReader
PPT
Export by style
Share
Article
Author
Metrics
Cited by
TagCloud
About the Authors
정재 조
준회원, 엘지이노텍 부품소재연구소
영철 김
정회원, 전남대학교 전자컴퓨터공학과

Abstract
본 논문에서는 4-채널 전위계 센서의 배열을 이용한 비접촉 제스처 인식 알고리즘을 제안한다. 주변의 전기장 변화에 민감한 전위계 센서를 스마트기기의 제스처인식에 활용하기 위해서 실내 환경에서 극저주파대역 EMI(Electro Magnetic Interference) 및 PLN(Power Line Noise) 영향을 최소화하였다. AC 형태의 입력 데이터 값에 10Hz LPF(Low Pass Filter) 및 H/W 샘플링 속도를 고려한 최대 버퍼 값 추출 알고리즘을 적용하여 선형적인 DC 형태의 데이터로 변형한다. 추가적으로 칼만 필터를 적용함으로써 노이즈를 최소화하며, 센서간의 배열을 고려한 데이터 차분 과정을 통해 목표물의 2차원적 움직임 정보를 추출한다. 추출된 데이터 값과 peak 값의 시차정보를 이용하여 DTW(Dynamic Time Warping) 제스처 인식 및 보정 알고리즘을 구현하였으며, 다섯가지 동작 시나리오 테스트 결과 95% 이상의 높은 인식률을 보였다.
Keywords
1. 서 론
CLI(Command Line Interface), GUI(Graphic User Interface)로 시작하여 진화하는 새로운 사용자 인터페이스를 통칭하는 NUI(Natural User Interface)가 최근 들어 널리 사용되고 있다. NUI는 센서와 마이크로프로세서의 성능이 비약적으로 향상되고 크기와 가격이 낮아지면서, 사람의 자연스러운 움직임을 통한 컨트롤이 기술적으로 가능해지면서 주목을 받기 시작하였다 [1] . 감성적 제품이 소비를 자극하는 시대가 도래함에 따라, 선진기업은 성숙기 ICT 산업 돌파구로 감성전달 기술에 주목하여, 시장 차별화에 주력하고 있으며, 성능 및 가격 위주의 시장전략에서 사용자 편의성과 만족도를 극대화시키는 소비자 감성 지향형 산업으로 재편을 꾀하고 있다 [2] . 대표적인 NUI 기술인 영상인식의 단점으로는 높은 인식율과 인식거리 확보를 위해서는 고성능 카메라가 필요하며 높은 비용과 소비전력을 요구한다. 최근 Plessey Semiconductors사는 EPIC(Electric Potential Integrated Circuit)이라 불리는 비접촉형 바이오센서를 개발하였으며, 본 논문에서는 전위계 센서인 EPIC 센서 4개를 이용한 비접촉 제스처 인식 알고리즘을 구현하였다 [3] . 본 연구에서 사용한 EPIC 센서는 하나의 센서 당 2mA의 소비전력만이 필요하며, 최대 5kHz 처리 속도로 많은 신호처리 단계를 거치더라도 더 빠른 인식속도를 얻을 수 있다.
전자파 외란 정보는 소스(Source)로부터의 거리가 멀어질수록 급격하게 줄어드는 특성을 갖는다. 본 연구에서는 스마트TV와 EPIC 센서의 일체화를 고려한 TV-Bezel에 EPIC 센서를 위치함으로써 센서에 영향을 주는 극저주파 EMI를 추가적으로 고려하였다 [4 , 5] . EPIC 센서는 주변의 미세한 전기장 노이즈에도 회로 상의 증폭을 통해 전체 데이터에 큰 영향을 미치게 되므로 극저주파 EMI 제거가 필수이며, 정확한 제스처 인식을 위해 극저주파 대역 EMI 최소화 및 보정 알고리즘 연구를 병행하였다. 추가적으로, 목표물 외의 외부 환경 요인에 민감한 단점을 해결하기 위한 방법이 적용되었다.
본 논문의 2절에서는 목표물(인체의 손)의 움직임에 대한 이차원적 방향 정보를 효과적으로 추출하기 위한 전처리 과정을 제안한다. 목표물의 움직임에 의한 주파수 변화를 분석하고, 이를 기준으로 디지털필터 및 잡음 제거 알고리즘을 설계한다. 3절에서는 본 논문에서 제안하는 DTW 알고리즘 기반 비접촉 제스처 인식 알고리즘의 성능 개선 방법을 다룬다. 그리고 4절에서는 본 연구에서 제안하는 DTW 기반제스처 인식 알고리즘과 4-채널 EPIC 센서 기반 Peak 값의 시차 정보를 이용한 제스처 보정 알고리즘을 추가 적용한 인식 시스템의 성능을 분석 및 비교한다. 그리고 마지막 5절에서는 본 연구에 대한 논의와 향후 연구 방향을 제시한다.
2. 제안된 비접촉 제스처 인식 전처리 시스템
4-채널 EPIC 센서 기반 NUI를 위해 그림 1 과 같이 비접촉 제스처 인식 전처리 시스템을 제안한다. EPIC 센서는 지구상에 형성된 정전기장을 극성이 갖는 인체의 움직임을 통해 시간에 따로 변하는 시변장으로 변형함으로써 이러한 변화를 감지하는 원리를 이용한다. 본 논문에서 제안된 전처리 시스템은 목표물의 2차원 움직임을 사상하기 위해 4개의 EPIC 센서로부터 추출한 2개의 차분 신호를 특징 데이터로 사용한다. 목표물의 움직임에 대해 효과적인 데이터 추출을 위해서 먼저 AC 형태의 EPIC 센서 신호에 10Hz 저역통과 필터 및 H/W 샘플링 속도를 고려한 데이터 버퍼 최대값 추출 알고리즘을 적용한다. 각각의 EPIC 센서로부터 추출된 DC 형태의 변형된 데이터 잡음을 최소화하기 위하여 칼만 필터를 적용한다. 칼만 필터는 상태 변화에 대한 변화량을 예측하고 또한 현재의 입력의 잡음 측정값에 대해서도 현재 상태를 추정할 수 있다 [6] .
PPT Slide
Lager Image
제안된 비접촉 제스처 인식 전처리 과정
4-채널 EPIC 센서는 최대 2-채널을 호환하는 ADC 및 최대 5000 sampling rate를 지원하는 DAQ(Data acquisition) 카드가 탑재된 CIB(Control Interface Box)에 연결하였으며, USB interface를 통해 PC로 디지털 신호를 실시간 전송한다.
먼저 저역통과 필터의 차단 주파수를 10Hz로 설정한 이유는 10Hz 이하에서 목표물의 움직임에 의한 전기장 외란 신호의 주된 주파수 변화가 발생하기 때문이다. 목표물의 움직임 유무에 따른 500Hz 이하의 주파수 대역 변화는 그림 2 와 같으며, 단위는 dB/1.00V이다. 분석 결과의 신뢰를 높이기 위해 1초에 한번 씩 총 60번 데이터를 추출하여, 평균을 산출한 결과이다.
PPT Slide
Lager Image
목표물의 움직임 유무에 따른 주파수 대역 변화 분석
움직임 유무에 따른 주파수 변화 분석 결과, 10Hz 이하의 주파수 대역의 신호 세기가 가장 뚜렷하게 차이가 큼을 확인할 수 있다. 또한, 실내 환경에서의 측정을 고려하여 60Hz, 120Hz, 180Hz, 240Hz, 300Hz, 360Hz, 420Hz, 480Hz에서 신호의 세기가 상대적으로 높음을 확인할 수 있다. 이러한 원인은 60Hz의 기본 주파수에 대해 2배, 3배, 4배와 같이 정수 배에 해당하는 물리적 전기량을 나타내는 고조파 주파수이기 때문이다.
실내 환경에서는 H/W 및 S/W 저역통과 필터를 사용하더라도 60Hz PLN에 대한 영향을 완전히 차폐할 수 없다. 이러한 60Hz의 주된 신호 특성 및 5000 sampling rate를 고려하여 84개 데이터 버퍼의 최대값 추출 알고리즘을 구현한다 [7] .
TV를 켠 상태에서 목표물의 움직임에 따른 신호분석은 그림 3 , 그림 4 와 같다. 그림 3 은 IIR 2차 10Hz 저역통과 필터 유무에 따른 신호 분석이며, 그림 4 는 움직임이 고정된 경우의 칼만 필터 적용 유무에 따른 신호 분석이다. 신호에 측정되는 잡음이 최소화됨을 확인할 수 있다.
PPT Slide
Lager Image
IIR 2차 10Hz 저역통과 필터 유무에 따른 신호 분석
PPT Slide
Lager Image
칼만 필터 적용 유무에 따른 신호 분석
주변 환경과 관계없이 일정한 범위 내에서 센싱데이터 값을 출력하는 MEMS 센서와는 달리, EPIC 센서는 주변의 전기장과 환경에 따라 민감하게 반응할 뿐만 아니라 인식거리에 따라 신호의 변화가 급격하게 달라지는 등 데이터 값이 상대적으로 출력된다. 이는 제스처에 따라 물리적 분별이 가능할 수 없는 원인이 되므로 데이터를 절대적인 범위 내에 출력하도록 하는 전처리과정이 필요하다.
본 논문에서는 2개의 특징 데이터를 –1부터 +1까지의 절대적인 범위로 출력하는 데이터 정규화 과정을 추가한다. 이 과정을 통해 훈련 데이터와 입력 데이터의 정합성이 높은 전처리를 완료한다. 또한, 주변 환경 및 사람에 따라 상대적으로 출력되는 특징 데이터 값을 물리적으로 분별할 수 있다. 정규화 과정 이후 추출된 데이터 값들을 이용하여 제스처의 특징을 분석한다. 이를 통해 각 제스처가 얼마나 물리적 분별이 가능한지를 알 수 있으며, 제스처를 어플리케이션에서 이용하고자 할 때 어떻게 제스처 셋을 구성해야 효과적인지에 대한 가이드라인을 얻을 수 있다. 본 논문에서 제안한 알고리즘을 테스트하기 위하여 채택한 제스처 시나리오는 모두 5가지이다; 채널(볼륨) 증가, 채널(볼륨) 감소, 화면 확대, 화면 감소, mode on/off.
3. 4-채널 전위계 센서 기반 비접촉 제스처 인식 알고리즘
EPIC 센서를 이용한 NUI 시스템 구현에 있어 어려운 점은 목표물의 움직임 속도 및 거리에 따라 상대적으로 센서 값이 출력 된다는 점이다. 이를 해결하기 위해 인식률이 높은 제스처 인식 알고리즘 및 전처리 과정 구현에 앞서 EPIC 센서간의 배열에 따라 출력되는 특징 데이터 분석이 필요하다. 본 논문에서는 4-채널 EPIC 센서를 이용하여 2개의 차분신호를 추출함으로써 목표물의 2차원 움직임을 사상한다.
먼저 EPIC 센서간의 배열이 상하좌우로 배열되어 있고, 좌우에 배열된 센서간의 차분 신호(A-B)를 x축, 상하에 배열된 센서간의 차분 신호(C-D)를 y축으로 가정한다. 2차원 좌표를 수식 1과 같이 오일러 회전변환을 이용하면, 목표물이 수평( θ = 0)으로 움직일 경우 x축에서, 수직( θ = 0.5 π )으로 움직일 경우 y축에서 영향을 받음을 확인할 수 있다.
PPT Slide
Lager Image
EPIC 센서간의 배열이 위 그림 1 과 같이 모서리로 배열되어 있고, A와 B의 차분 신호를 변형된 x축, C와 D의 차분 신호를 변형된 y축으로 가정한다. 상하좌우로 배열된 EPIC 센서를 모서리 배열로 수식1을 이용하여 회전변환을 하면, 수식 2와 같이 유도할 수 있다.
PPT Slide
Lager Image
2차원 좌표를 수식 2와 같이 오일러 회전변환을 이용하면, 목표물이 수평으로 움직일 경우 x, y축에서 서로 부호가 다른 ( A B ), 수직으로 움직일 경우 x, y축에서 서로 부호가 같은 ( C D ) 에 영향을 받음을 확인할 수 있다. 이러한 수학적 검증을 통해 4-채널 EPIC 센서의 상하좌우 및 모서리 배열에 대해 목표물의 2차원적 움직임 정보를 추출이 가능함을 확인 할 수 있다. 본 논문에서는 크기가 다른 두 데이터 셋의 유사도를 평가할 수 있는 DTW 알고리즘을 run-time 인식기로 적용한다 [8] . DTW는 템플릿 매칭기반 패턴인식 알고리즘으로, 적은 수의 학습샘플로도 좋은 성능의 인식이 가능하다는 장점을 갖는다 [9] .
서로 다른 2개의 데이터 유사도를 평가하기 위한 DTW 알고리즘은 수식(3)과 같이 구현한다.
PPT Slide
Lager Image
위 식에서 D ( i , j –1), D ( i –1, j ), D ( i –1, j -1)의 최소값을 계산하는 부분은 일정한 범위 내에서 최적의 값을 택하는 경로를 별도의 경로 테이블에 매단계마다 저장하고 끝 성분에서 결과값을 구한 후에 역 추적한다.
목표물의 움직임이 없을 경우 3초 동안 신호를 측정하며, 이는 목표물과는 관계없이 EPIC 센서가 기본적으로 주변 환경에 영향을 받는 잡음을 제거하기 위한 과정이다. EPIC 센서의 목표물 감지 범위 내에서 목표물의 속도를 실시간으로 계산하여 제스처 인식 알고리즘을 위한 이벤트 구간을 검출한다. 목표물이 움직이는 시점을 시작으로 1초 동안 데이터를 축적하며, 이후 제스처 인식에 적합하도록 정규화 과정을 수행한다. 각각의 제스처에 대해 분류된 훈련 데이터와 입력 데이터를 DTW 인식기를 통해 비교함으로써 각각의 제스처에 대한 결과 값들을 비교하여 최소값에 해당하는 제스처를 출력한다.
본 논문에서는 인식시간이 기존의 다른 알고리즘에 비해 오래 걸리는 DTW 알고리즘 특성과 속도 계산을 이용한 이벤트 구간 검출로 얻은 데이터의 크기를 감안하여 기본 warping 구간을 적용한다. 추가적으로, 그림 5 와 같이 구현된 제스처 인식 시스템의 인식률을 개선하기 위해 4-채널 EPIC 센서의 배열을 고려한 데이터 peak 값의 시차정보를 추출하여 기존의 제스처 인식 시스템을 보정한다.
PPT Slide
Lager Image
데이터 peak 기반 시차 정보 추출을 이용한 제스처 인식 보정 알고리즘
TNP(Total Number of Peak)는 2개의 차분 신호에 대한 peak 개수의 총합을 의미하며, MINfactor 0 ~ 4 는 순서대로 첫 번째부터 다섯 번째까지의 제스처에 대한 DTW 알고리즘 결과 값이다. weightvalue 는 DTW 알고리즘의 결과 값을 변형하기 위해 사용되며 10이상의 값으로 설정한다. LSCP(Left side Sum of Counter Peak)와 RSCP(Right side Sum of Counter Peak)는 그림 1 에서의 EPIC 센서 배열에서 각각 좌측(A, D) 및 우측(B, C) 센서의 peak 지점의 카운터 값의 합을 나타낸다. 그리고 ThresholdSCP 는 첫 번째, 두 번째 제스처와 세 번째, 네 번째 제스처를 분류하기 위한 문턱 값으로 5로 설정한다.
4. 실험 결과
본 논문에서 제스처에 대한 훈련 데이터 생성을 위해서 5명의 실험자가 각각의 제스처에 대해 50번씩 반복적으로 수행하였다. 각각의 제스처에 대한 실험자의 반복적인 움직임이 불규칙적이며 유동적임을 고려하여 반복횟수에 따른 평균 및 표준 편차를 이용한 PCA(Principal Components Analysis) 알고리즘을 사용한다 [10 , 11] . 이는 추출된 고차원 특징 데이터를 저차원의 특징 데이터로 변환하기 위함이다 [12] . 본 논문에서는 60개의 벡터 성분을 갖는 고차원 특징 데이터 2개를 사용하며, 평균과 표준편차로 구성된 2차원 성분으로 축소한다. 사람의 어깨는 기계와 달리 반복적으로 움직임을 취할 경우 피로도가 누적되어 무의식적으로 다른 움직임을 취할 수 있기 때문이다.
2차원 성분으로 축소된 데이터는 K-mean 을 이용하여 분류함으로써 적절한 제스처의 훈련이 가능하도록 구현한다. EPIC 센서와 목표물간의 거리를 2m로 설정하였으며, 제스처 마다 목표물의 움직임을 20번 반복하였다. 훈련에 참여한 실험자 5명과 훈련에 참여하지 않은 실험자 5명을 대상으로 정 인식률을 측정한다.
훈련 데이터 생성에 관여한 실험자 5명 및 훈련 데이터 생성에 관여하지 않은 실험자 5명에 대한 일반 DTW 기반 제스처 인식 성능 분석 결과는 표 1 에서 각 실험에서 왼쪽열(“일반”)에 나타내었다. P(Person)는 인식률 측정에 참여한 사람을 의미하며, CCN(Correct Classification Number), CCR(Correct Classification Rate)은 각각 정인식수와 정인식률을 의미한다.
일반 DTW적용 대 제안한 DTW 적용 인식시스템 테스트 결과(CCN, CCR): (a) 훈련참여자 대상(上), (b) 훈련비참여자 대상(下)
PPT Slide
Lager Image
일반 DTW적용 대 제안한 DTW 적용 인식시스템 테스트 결과(CCN, CCR): (a) 훈련참여자 대상(上), (b) 훈련비참여자 대상(下)
위 분석 실험의 훈련 참여자 및 비참여자 입력 데이터를 기반으로 기존의 DTW 기반 제스처 인식 알고리즘에 추가적으로 4-채널 EPIC 센서 기반 peak 값의 시차 정보를 이용하여 제안한 시차정보기반 DTW 제스처 인식 시스템의 성능 분석 결과는 표 1 에서 각 실험에서 오른쪽 열(“제안”)에서의 수치와 같다.
다섯 번째 제스처인 박수 2회의 경우는 훈련 참여자 및 비참여자 모두 100%의 정 인식률을 보인 이유는 PCA를 적용한 후의 사상된 2차원 특징공간에서 다섯 번째 제스처가 K-mean에 의해 차별적으로 잘 분류됨을 의미하며, 나머지 제스처의 경우에도 훈련 참여 유무와 관계없이 90% 이상의 제스처 정 인식률을 보였다. 전체적으로 제스처 보정 알고리즘을 적용한 결과, 훈련 참여자의 경우 8.4%, 비 참여자의 경우 9.8% 정 인식률이 개선되었음을 확인할 수 있다. 이러한 배경은 기존의 DTW 기반 제스처 인식 알고리즘의 경우 다섯 번째 제스처에 대해서 훈련 비참여자의 경우 훈련 참여자보다 7% 가량 낮았지만, 개선된 제스처 인식 알고리즘의 경우 100%로 동일한 결과가 훈련 참여자보다 비 참여자의 정 인식률이 1.4% 높게 개선된 이유임을 알 수 있다.
5. 결 론
본 연구는 비접촉 전위계 센서인 EPIC 센서를 이용한 비접촉 제스처 인식 알고리즘에 4-채널 EPIC 센서 기반 peak 값의 시차 정보를 이용한 보정 알고리즘을 추가하여 스마트기기 적용을 위한 새로운 비접촉식 제스처인식시스템을 제안하였다. 센서 데이터로부터 극저주파 대역 EMI 및 PLN 잡음을 최소화 시켰으며, 저역통과 필터, 최대 버퍼 추출 알고리즘 및 칼만 필터를 적용한 전처리 시스템을 구현하였다. 추가적으로, 4-채널 EPIC 센서의 배열을 수학적 검증 및 시차 정보를 기반으로 제스처 보정 알고리즘을 제안하였으며, 기존의 DTW 알고리즘과 성능을 비교 분석한 결과 10% 이상의 성능향상과 함께 인식률 93.8% 이상의 높은 인식률을 보였다.
본 논문에서 제시한 제스처 인식 접근법은 단일 목표물을 대상으로 구현되었으며, 전기장 외란을 추가적으로 야기하는 외부 목표물에 대해서는 고려하지 않았다. 따라서 현재 향후 연구 목표로 다중 목표물의 움직임을 동시에 감지할 수 있는 NUI 개발 환경과 주파수 도메인 상에서 신호를 추출할 수 있는 다중 신호 분할 기법 및 알고리즘 개발을 진행하고 있다.
BIO
조 정 재
2004년 3월~2011년 2월 전남대학교 전자컴퓨터공학부 학사
2011년 3월~2013년 8월 전남대학교 전자컴퓨터공학과 석사
2013년 8월~현재 LG이노텍 부품소재 연구소 연구원
관심분야 : 정보처리 시스템, 사용자 인터페이스 시스템
김 영 철
1981년 2월 한양대학교 전자공학과 졸업
1987년 2월 Univ. of Detroit 전자공학과 석사
1993년 2월 Michigan State Univ. 전자공학과 박사
1993년~현재 전남대학교 전자컴퓨터공학부 교수
관심분야 : 스마트 기기 센싱 및 인터페이스 기술, 저전력 SoC 설계
References
Norman D.A. 2010 “The Way I See It: Natural User Interfaces Are Not Natural,” Interactions
이 해룡 , 박 준석 , 이 전우 2011 전자통신동향분석 26 (5) 83 - 91
Madhumita Venkataramanan 2011 “Biosensor Can Monitor Your Heartbeat from a Distance,”
유 창용 , 김 덕원 2001 전자공학회지 28 (2) 31 - 41
권 종화 , 박 현호 , 최 형도 , 이 형수 2001 전자통신동향분석 16 (2) 39 - 51
Welch Greg , Bishop Gary 2006 “An Introduction to the Kalman Filter,” University of North Carolina, Department of Computer Science UNC-Chapel Hill TR 95-041
NI-DAQ 2009 “Function Reference Manual for PC Compatibles Ver 6.6,” National Instruments Corporation 1 - 593
Keogh Eamonn 2002 “Exact Indexing of Dynamic Time Warping,” Proc. the 28th international conference on Very Large Data Bases 406 - 417
김 형일 , 박사학위논문 2012 경희대학교 박사학위논문
Truk M. , Pentland A. 1991 “Eigenfaces for Recognition,” Journal of Cognitive Neuroscience 3 (1) 71 - 86    DOI : 10.1162/jocn.1991.3.1.71
Gumus E. , Kilic N. , Sertbas A. , Ucan O.N. 2010 “Evaluation of Face Recognition Technique using PCA, Wavelets and SVM,” Expert Systems with Applications 37 (9) 6404 - 6408    DOI : 10.1016/j.eswa.2010.02.079
김 원규 , 강 동중 2013 멀티미디어학회논문지 16 (7) 820 - 828