Advanced
Selective control of multiple devices via finger recognition
Selective control of multiple devices via finger recognition
Journal of Korea Multimedia Society. 2014. Jan, 17(1): 60-68
Copyright © 2014, Korea Multimedia Society
  • Received : November 29, 2013
  • Accepted : January 06, 2014
  • Published : January 30, 2014
Download
PDF
e-PUB
PubReader
PPT
Export by style
Share
Article
Author
Metrics
Cited by
TagCloud
About the Authors
호정 장
준회원, 가천대학교 컴퓨터공학과
태현 김
준회원, 가천대학교 컴퓨터공학과
영미 윤
정회원, 가천대학교 컴퓨터공학과

Abstract
최근 사용자와 컴퓨터 간의 상호작용을 통하여 컴퓨터를 제어하는 시스템이 활발하게 연구되고 있으며, 특히 사람의 손 인식에 관한 연구가 많이 이루어지고 있다. 현재까지는 하나의 디바이스에서 사람의 손 인식 정확도를 높이는 연구와 손동작을 통하여 디바이스를 제어하는 연구가 주를 이루고 있지만, 손 인식기술이 여러 산업분야에 적용됨에 따라 다양한 환경과 상황에 적용하기 위하여 다중 디바이스 간의 시스템을 선택적으로 제어하는 연구가 필요하다. 본 논문에서는 사용자의 손 인식을 통하여 두 개의 디바이스 중에서 선택적으로 하나의 디바이스를 제어하고자 한다. 더불어 6가지의 조건을 포함한 환경에서 실험을 통해 두 디바이스 간의 선택적 손 인식의 성공률을 높이기 위한 환경을 제시하고자 한다.
Keywords
1. 서 론
최근 영화나 드라마에서 손 인식 기술을 활용하여 컴퓨터를 제어하는 모습을 자주 볼 수 있다. 이처럼 사람의 손을 활용한 디바이스 제어시스템은 우리에게 친숙하게 다가와 있고, 가까운 미래의 기술이 아닌 현재에도 우리 주변에서 활발히 사용되고 있다.
기존의 키보드, 마우스, 리모컨과 같은 입력장치에서 벗어나 사용자의 동작을 통한 인터페이스의 필요성을 인식함에 따라 다양한 연구가 활발히 진행되고 있으며 이미 Leap Motion과 같이 손 인식 기술을 활용한 제품들이 출시되며 고객들에게 서비스되고 있다 [1 , 2 , 3] .
또한, 삼성 스마트TV와 같이 손 인식 기술이 활용된 가전제품이 등장하며 가전제품 시장에서의 기술 활용의 가능성을 보여주었고 다양한 가전제품에 손 인식 기술이 융합될 것으로 예상한다.
하지만 다양한 가전제품에 손 인식 기술이 활용되려면, 기존의 연구들이 보여주는 하나의 디바이스에서 손 인식의 정확도를 높이는 것으로는 매우 부족하다. 각각의 디바이스에 대한 손 인식이 아닌 다중 디바이스 간의 선택적 인식에 대한 연구가 활발히 이루어져야 한다.
이에 따라 집안에서 사용되는 가전제품들을 선택적으로 제어할 수 있는 선택적 디바이스 인식에 대한 연구와 그에 맞는 환경적 요소의 고려에 대한 연구가 필요하다.
본 논문에서는 기존의 손 인식 알고리즘을 확대 응용하여 디바이스를 제어하였고, 같은 시스템이 설치된 두 개의 디바이스에서 같은 동작을 통하여 하나의 디바이스만 제어하는 것을 목표로 두 디바이스 간의 조건과 환경적 요소를 포함한 6가지 조건을 설정하여 실험하였다. 이에 따라 다중 디바이스 간의 선택적 손 인식의 높은 성공률을 보이는 환경을 제시하였다.
본 논문의 구성은 다음과 같다. 2장에서는 영상에서의 기존 손 인식 방법을 설명하고, 3장에서는 선택적 제어를 위한 알고리즘을 설명한다. 4장에서는 실험 방법 및 실험 결과를 분석하고, 5장에서 결론을 맺는다.
2. 관련 연구
- 2.1 배경 업데이트 알고리즘(Background Updating algorithm)
배경 업데이트 알고리즘은 이전 이미지와 현재 이미지를 그레이칼라로 변환한 후 각 픽셀 값의 차이를 빼기 연산한 차연산을 통해 움직이는 개체를 찾아내는 알고리즘이다.
카메라로부터 받아오는 연속된 이미지의 픽셀 값의 평균을 누적하여 평균 이미지를 만든 후 새로 들어오는 이미지와 차연산을 통해 차영상의 픽셀 값과 컬러 임계 값을 비교하여 임계 값 보다 작으면 움직임이 없는 경우로 판단하여 픽셀 값을 흰색으로 업데이트 한다. 반대로 컬러 임계 값보다 클 경우에는 실제 움직임이 있는 것으로 판단하여 픽셀 값을 검은색으로 업데이트한다 [4 , 5] .해당 알고리즘은 외부 환경에 영향을 비교적 적게 받으므로, 본 논문에서 확장해서 사용한다.
- 2.2 레이블링(Labeling) 알고리즘.
레이블링 알고리즘은 2진화된 인접한 화소에 모두 같은 번호(Label)를 붙이고 연결되지 않은 다른 성분에는 다른 번호를 붙여 연결된 하나의 개체를 찾아내는 알고리즘이다.
그림 1 과 같이 레이블된 개체의 모습을 볼 수 있으며 이를 통해 개체 수, 가로 폭, 세로높이, 면적 등의 정보를 설정할 수 있다 [6] .
PPT Slide
Lager Image
이진화된 이미지와 각 개체가 레이블된 모습
본 논문에서는 일정 크기 이하의 레이블을 무시하고 레이블의 개수를 판단하기 위하여 사용한다.
- 2.3 손 인식 알고리즘.
손 인식 알고리즘은 2진화된 이미지에서 레이블링 된 하나의 개체가 손인지를 판단하는 알고리즘이다.
먼저 그림 2 에서 (b)와 같이 2진화된 이미지에서 흰색 픽셀 값의 좌표를 다 더한 후 흰색 픽셀 값의 개수로 나눠 개체의 중심점을 구한다. 이후 (c)와 같이 중심점을 기준으로 일정 크기의 원을 그리고 해당 영역의 픽셀을 검정으로 바꾼다. 이후 (d)와 같이 남아있는 흰색 객체를 판단하여 손 모양과 손인지 판단할 수 있다 [7 , 8 , 9 , 10] .
PPT Slide
Lager Image
손 인식 알고리즘의 인식과정
본 논문에서는 이와 같은 방법을 응용하여 손가락의 개수를 판단하여 손을 인식하기 위하여 사용한다.
3. 디바이스 선택적 제어 알고리즘
- 3.1 전체 시스템 구조
카메라를 통해 손을 인식하여 두 개의 디바이스에서 선택적으로 하나의 디바이스만 제어하기 위하여, 본 논문에서는 조명에 영향을 적게 받으며 복잡한 배경에서도 움직이는 물체를 강인하게(robust) 찾을 수 있는 배경 업데이트 알고리즘을 다음과 같이 확장한다. 배경 업데이트 알고리즘을 통하여 검출된 일정 크기 이하의 레이블을 무시하여 잡음을 제거하고, 두개 이상의 개체가 검출되면 제어를 위한 동작이 아니라고 판단하도록 한다. 또한, 이미지 픽셀 값의 누적 연산을 통하여 더욱 강인하게(robust) 물체를 찾는다.
이와 같은 과정을 통하여 찾은 개체를 손 인식 알고리즘을 사용하여 판단하고, 이를 통하여 디바이스를 선택적으로 제어하는 것을 목표로 시스템을 구현한다.
본 논문에서 제안하는 전체적인 순서도는 그림 3 과 같다.
PPT Slide
Lager Image
전체 시스템 순서도
- 3.2 확장된 배경 업데이트 알고리즘.
본 논문의 특성상 다양한 환경에서 실험이 필요하므로 움직이는 물체를 보다 정확하게 추출해내는 방법이 필요하다. 따라서 초기에 연속된 이미지 100장을 누적하여 평균이미지를 생성하였고 평균이미지와 현재이미지의 픽셀 값의 차연산을 수행한 후 음수값을 대비하여 제곱연산과 루트연산을 통해 임시이미지를 생성한다. 이후 임시이미지의 픽셀 값이 임계값 사이에 존재하면 움직임이 없는 것으로 판단하여 흰색 픽셀 값을, 그렇지 않으면 검은색을 픽셀 값을 가진 결과 이미지를 생성한다. 수월한 연산을 위해 결과 이미지를 반전하고 잡음을 줄이기 위하여 열기 연산과 닫기연산을 수행한다.
움직임이 있는 경우 그림 4 과 같이 움직인 물체가 흰색 픽셀 값을 가진 개체로 나타나며 이 결과이미지를 가지고 다양한 연산을 수행한다. 또한, 검정 픽셀로 초기화된 이미지에 움직인 물체만을 출력한 결과 그림 5 와 같은 모습을 볼 수 있고 움직임이 없는 경우 그림 6 과 같은 모습을 볼 수 있다.
PPT Slide
Lager Image
움직인 개체를 이진화한 모습
PPT Slide
Lager Image
움직인 개체를 출력한 화면
PPT Slide
Lager Image
움직임이 없는 상태의 화면
미세한 움직임 그리고 여러 움직임으로 인해 결과 이미지에 다양한 개체가 생길 수 있다. 이러한 잡음을 제거하기 위해 결과이미지를 레이블링하여 일정 크기 이하의 개체를 무시한다. 또한, 일정 크기 이상의 레이블이 두 개가 검출되는 경우 제어를 위한 동작이 아니라고 판단하여 개체를 인식하지 않도록 한다.
그림 7 , 그림 8 은 일정 크기 이상의 레이블이 두개가 검출되는 경우 인식하지 않는 모습을 보여주고 있다. 또한, 그림 9 와 같이 파란색으로 표시된 일정 크기 이하의 레이블은 무시되기 때문에 그림 10 과 같이 손을 정확히 찾아내서 동작하는 모습을 볼 수 있다.
PPT Slide
Lager Image
두 개의 레이블 검출 화면
PPT Slide
Lager Image
두 개의 레이블 검출 결과 창
PPT Slide
Lager Image
일정 크기 이하의 잡음 제거
PPT Slide
Lager Image
손 인식 성공 화면
이처럼 배경 업데이트 알고리즘과 레이블링 알고리즘을 사용하여 그림 4 와 같은 형태의 일정 크기 이상의 하나의 개체를 찾아낸 이미지를 사용하여 선택적 제어를 위한 손 인식 알고리즘을 수행한다 [10] .
- 3.3 선택적 제어를 위한 손 인식 알고리즘
확장된 배경 업데이트 알고리즘에서 생성된 결과 이미지의 모든 픽셀 값을 확인 하는 것은 우리가 확인하고자하는 움직이는 개체의 영역만 확인 하는 것보다 더 많은 연산이 필요하다. 따라서 움직이는 개체의 영역만을 관심영역으로 설정하여 손 인식 속도를 향상 시킬 수 있다. 이후 손 인식 알고리즘은 이 영역 내에서 수행된다.
개체이미지와 원이미지의 연산을 통해 개체가 손인지 판단하기 때문에 먼저 원이미지를 그리기 위하여 개체의 흰색 픽셀 값의 중심 좌표와 흰색 픽셀의 첫 좌표가 필요하다.
개체의 크기만큼의 관심영역을 설정한 모습은 그림 11 에서 볼 수 있으며 설정된 영역 내에서 흰색 픽셀의 중심 좌표 값을 표시한 모습은 그림 12 이다. 이후 설정된 영역 내에서 첫 번째 픽셀 좌표 값을 찾은 후 중심 좌표 값과 연결한 모습은 그림 13 과 같다.
PPT Slide
Lager Image
움직인 개체의 관심영역 설정
PPT Slide
Lager Image
관심영역 내의 중심 값
PPT Slide
Lager Image
관심영역 내의 개체 크기 측정
모든 연산은 이진화된 결과이미지에서 수행되었으며 그림 11 , 그림 12 , 그림 13 은 수행의 결과를 출력한 화면이다.
중심점을 기준으로 개체의 2/3 크기의 원을 그린 이미지 그림 14 와 결과이미지 그림 15 를 AND 연산하여 해당 개체가 손인지 판단할 수 있다. AND 연산 결과 그림 16 과 같은 이미지를 얻을 수 있으며 이 이미지를 레이블링을 수행하여 흰색 개체 수를 판단한다.
PPT Slide
Lager Image
개체 크기를 기반으로 생성한 원 이미지
PPT Slide
Lager Image
움직인 개체의 모습
PPT Slide
Lager Image
6개의 레이블을 찾은 모습
손의 경우 5개의 손가락과 하나의 손목이 원과 AND 연산되기 때문에 레이블링된 개체 수가 6개의 경우 손이라고 가정한다.
본 논문에서는 이와 같은 방법으로 움직이는 물체를 찾은 후 그 물체가 손인지 판단한다. 정확히 손이 판단되면 그림 17 과 같이 빨간색 원을 그려 디바이스를 제어할 수 있다고 가정하고 이러한 방법으로 다양한 환경에서 실험을 수행한다.
PPT Slide
Lager Image
손 인식에 성공한 결과 창
- 3.4 실험을 위한 조건 설정 배경
영상처리 알고리즘의 경우 조명과 배경에 민감하므로 밝기와 배경이 얼마나 복잡한지에 대해서 고민할 필요가 있다. 해당 알고리즘은 이를 해결하기 위하여 배경누적 알고리즘을 사용하고 이에 따른 실험 결과는 4장에서 설명하고 있다.
본 알고리즘은 사용자의 정면의 손을 인식하는 것을 목표로 설계되었고 그림 18 과 같이 일정 각도 이상 틀어진 손 모양의 경우 그림 19 와 같은 모양으로 인식되며 이는 본 논문의 3.3장 ‘선택적 제어를 위한 손 인식 알고리즘’ 의하여 원 이미지와 AND 연산 결과 그림 20 과 같은 형태의 결과를 얻을 수 있다. 그림 20 의 경우 엄지의 모습은 찾을 수 없고 중지와 약지가 붙어있는 모양으로 결과에서 확인 가능한 레이블의 수는 4개이다. 따라서 이는 3.3장 ‘선택적 제어를 위한 손 인식 알고리즘’에 의하여 손이 아니라고 판단하게 된다. 그러므로 디바이스간의 각도에 따른 실험이 필요하다고 생각한다.
PPT Slide
Lager Image
손 인식에 실패한 결과 창
PPT Slide
Lager Image
움직인 개체의 모습
PPT Slide
Lager Image
6개의 레이블을 찾지 못한 모습
그 밖에 다른 조건들에 대해서는 4장에서 자세히 설명하도록 한다.
4. 실험 및 결과
- 4.1 실험 방법
본 연구에서는 2, 3장에서 설명한 방법으로 두 디바이스에서 선택적으로 손 인식을 하는 실험을 수행하였다. 실험을 위해 똑같은 프로그램이 설치된 노트북 두 대와 내장 카메라를 이용하였다. 실험을 위한 조건으로는 표 1 과 같다.
실험 조건
PPT Slide
Lager Image
실험 조건
표 1 의 조건과 같은 환경을 조성하여 실험하였다. 다음과 같은 조건을 선정하게 된 배경으로는 일반 가정집에서의 환경을 생각하였다. 가정집에서의 두 디바이스 간의 선택적 손 인식이라고 가정하고 가장 적합한 환경을 찾기 위해 조건 설정을 하였다.
- 4.2 실험 결과
본 논문에서의 두 디바이스 간의 선택적 손 인식 실험을 통하여 576개의 실험 결과 데이터를 추출하였고, 이를 통하여 두 디바이스에서 선택적 손인식의 성공률을 확인하였다. 각 조건의 성공률은 다음과 같다.
표 2 표 7 까지의 성공률의 결과를 통해 첫째, 두 디바이스 사이의 거리는 멀수록, 디바이스와 사용자와의 거리는 가까울수록 손 인식 성공률이 높았다. 둘째, 각각의 조건을 통해서 보았을 때에는 사람의 수, 밝기, 배경은 손 인식 성공률과는 큰 관련이 없는 것으로 나타났다. 그러므로 각각의 조건을 통한 성공률보다는 복합 조건 설정 상황에서의 성공률을 알아보기 위하여 다음 실험을 수행하였다.
두 디바이스 간의 거리에 따른 성공률
PPT Slide
Lager Image
두 디바이스 간의 거리에 따른 성공률
디바이스와 사용자의 거리
PPT Slide
Lager Image
디바이스와 사용자의 거리
사람의 수에 따른 성공률
PPT Slide
Lager Image
사람의 수에 따른 성공률
밝기에 따른 성공률
PPT Slide
Lager Image
밝기에 따른 성공률
배경 복잡도에 따른 성공률
PPT Slide
Lager Image
배경 복잡도에 따른 성공률
각도에 따른 성공률
PPT Slide
Lager Image
각도에 따른 성공률
위의 표 2 표 7 의 선택적 손 인식 성공률을 통해 가장 영향을 미치는 조건 3가지(두 디바이스 간의 거리, 디바이스와 사용자의 거리, 각도)를 선택하였다.
다른 조건에 상관없이 디바이스와 사용자의 거리가 1m일 때에는 100%의 성공률을 보였다. 이 실험의 결과를 통해 첫째, 두 디바이스 간의 거리가 1.5m 보다 더 가까워지면 손 인식 성공률이 떨어진다. 둘째, 두 디바이스 간의 거리가 멀고 디바이스와 사용자와의 거리가 1.5m 정도 떨어져 있다면 손 인식 성공률이 굉장히 높아지는 것으로 나타났다. 단, 현재 실험에서의 카메라보다 더 성능이 좋은 카메라를 사용한다면 1.5m보다 더 먼 곳에서도 손 인식 성공률이 높을 것으로 예상하였다. 셋째, 두 디바이스 간의 거리가 가깝고 디바이스와 사용자의 거리가 1.5m 이상이며 각도가 0도일 경우 선택적 손 인식의 100% 실패를 예상하였으나 성공된 경우도 있었다. 그 이유는 어둡고 복잡한 환경에서 다른 한 디바이스가 환경상의 이유로 손을 인식하지 못하였기 때문에 선택적 손 인식에 성공된 것으로 나타났다. 넷째, 두 디바이스의 각도가 45도일 경우 디바이스와 사용자와의 거리가 가까워질수록 성공률이 높았다. 45도 각도일 경우 디바이스와 사용자가 멀어지면 다른 디바이스에서도 손 인식을 하므로 선택적 손 인식에 실패할 확률이 높았다.
두 디바이스 간의 거리가 1m일 때 성공률
PPT Slide
Lager Image
두 디바이스 간의 거리가 1m일 때 성공률
두 디바이스 간의 거리가 1.5m일 때 성공률
PPT Slide
Lager Image
두 디바이스 간의 거리가 1.5m일 때 성공률
두 디바이스 간의 거리가 2m일 때 성공률
PPT Slide
Lager Image
두 디바이스 간의 거리가 2m일 때 성공률
두 디바이스 간의 거리가 2m 이상일 때 성공률
PPT Slide
Lager Image
두 디바이스 간의 거리가 2m 이상일 때 성공률
5. 결 론
현재 손 인식에 관하여 많은 연구가 진행 중이다. 하지만 하나의 디바이스에서 손 인식의 정확도를 높이는 연구가 대부분이며 다중 디바이스 간의 선택적 손 인식에 관한 연구는 상대적으로 적다.
본 논문은 선택적으로 디바이스를 제어하기 위하여 기존의 손 인식 알고리즘을 확장하여 시스템을 구현하였다. 또한, 두 디바이스 간의 선택적 손 인식 에 관한 연구와 구현된 시스템을 활용하여 손 인식을 높일 수 있는 환경적 요인도 연구하였다. 같은 동작을 하였을 때 두 디바이스 간의 선택적 손 인식을 위한 적합한 위치, 거리, 각도 등을 제시하였고, 또한 손 인식의 정확도를 높일 수 있는 주변 환경에 대해서도 제시하였다.
본 논문에서는 손 자체가 보이는 각도에 따라 모양이 달라지기 때문에 인식하고자 하는 디바이스에서 바라본 손의 각도를 정해진 각도로 취할 것을 제한 사항으로 두고 있다.
앞으로 본 논문의 연구를 확장하여 다중 디바이스 환경에서 제어하고자 하는 디바이스가 손을 인식한 후 추적 알고리즘을 활용하여 손동작에 따른 시스템 제어 방법에 관해 연구할 것이다.
BIO
장 호 정
2014년 가천대학교 컴퓨터공학과 졸업예정(학사)
관심분야: 컴퓨터 비젼, 데이터마이닝, 안드로이드 프로그래밍
김 태 현
2014년 가천대학교 컴퓨터공학과 졸업예정(학사)
관심분야: 컴퓨터 비젼, 데이터마이닝, 안드로이드 프로그래밍
윤 영 미
1981년 서울대학교 자연과학대학 졸업(학사)
1983년 오하이오 주립대학 수학과(학사수료)
1987년 스탠포드대학교 컴퓨터과학과 졸업(이학석사)
2008년 연세대학교 컴퓨터과학과 졸업(공학박사)
1987년 5월~1993년 5월 IntelliGenetics Inc., California, USA, Software Engineer
1995년 2월~현재 가천대학교 컴퓨터공학과 교수
관심분야: 데이터베이스 시스템, 데이터 마이닝, 바이오인포매틱스, 소셜데이터마이닝
References
Hamada Y. , Shamada N. , Shirai Y. 2000 “Hand Shape Estimation Using Image Transition Network” Proc. of Workshop on Human Motion 161 - 166
Ong E. , Bowden R. 2004 “A Boosted Classifier Tree for Hand Shape Detection” Proc. of Sixth IEEE International Conference on Automatic Face and Gesture Recognition 889 - 894
김 윤식 , 박 상윤 , 옥 수열 , 이 석환 , 이 응주 2012 멀티미디어학회논문지 15 (10) 1196 - 1204
Jiang Sheng , Zhao Yingying 2012 “Background Extraction Algorithm Base on Partition Weighed Histogram” Proc. of 2012 3rd IEEE International Conference on Network Infrastructure and Digital Content(IC-NIDC) 433 - 437
임 혜연 , 강 대성 2009 한국정보기술학회논문지 7 (3) 226 - 231
원 종길 , 김 혜영 , 조 진수 2011 한국콘텐츠학회논문지 11 (12) 511 - 521
Malima A. , Ozgur E. , Cetin M. 2006 “A Fast Algorithm for Vision-Based Hand Gesture Recognition for Robot Control” Proc. of 2006 IEEE 14th Signal Processing and Communications Applications 1 - 4
김 학준 , 채 승호 , 서 종훈 , 김 하영 , 한 탁돈 2013 한국HCI학회 2013년 학술대회 837 - 839
박 상윤 , 이 응주 2012 멀티미디어학회논문지 15 (11) 1377 - 1383
2011 http://blog.naver.com/phs6669