Advanced
An Implementation of Taekwondo Action Recognition System using Multiple Sensing
An Implementation of Taekwondo Action Recognition System using Multiple Sensing
Journal of Korea Multimedia Society. 2016. Feb, 19(2): 436-442
Copyright © 2016, Korea Multimedia Society
  • Received : January 22, 2016
  • Accepted : February 02, 2016
  • Published : February 28, 2016
Download
PDF
e-PUB
PubReader
PPT
Export by style
Article
Author
Metrics
Cited by
About the Authors
병권, 이
Dept. of Multimedia Engineering College of Engineering, Dongguk University
sonic747@daum.net

Abstract
There are a lot of sports when you left the victory and the defeat of the match the referee subjective judgment. In particular, TaeKwonDo pumse How accurate a given action? Is important. Objectively evaluate the subjective opinion of victory and defeat in a sporting event and the technology to keep as evidence is required. This study was implemented a system for recognizing Taekwondo executed through the number of motion recognition device. Step Sensor also used to detect a user's location. This study evaluated the rate matching the standard gesture data and the motion data. Through multiple gesture recognition equipment was more accurate assessment of the Taekwondo action.
Keywords
1. 서 론
특별한 장비 없이 즐기는 기능성 스포츠 게임 분야는 원격지에서 수집된 사용자 동작 데이터를 사용한다. 하지만 대부분의 동작 인식을 이용하는 솔루션의 경우 전면에서 한 개의 동작 인식카메라를 사용한다 [1] . 한 개의 동작 인식카메라를 사용할 경우 전면에서 센싱해 다-방향으로 움직이는 동작에서는 정확도가 현저하게 떨어진다. 이러한 특징을 가지고 있는 것이 태권도 동작이다. 태권도 품세를 측정할 경우 전면의 단일 인식 카메라를 사용하면 동작의 방향이 바뀔 경우 사각지대가 발생해 정확하게 인식하지 못한다. 이와 같이, 다-방향으로 움직이는 태권도 품세를 평가하기 위해서는 여러 개의 동작 인식 카메라가 필요하다 [2] . Fig. 1 은 특별한 장비 없이 즐기는 기능성 게임 예시이다 [3] .
PPT Slide
Lager Image
Motion recognition games.
본 연구에서는 기존의 한 개의 동작 인식 카메라를 사용하지 않고 다-방향(전면, 옆면)의 장치를 구성하여 사용자 동작 데이터 및 위치 정보를 수집하도록 했다. 또한, 제안하는 시스템은 태권도 사용자위치를 측정하기 위해 발판 센서를 추가 구성했다. 또한, 여러 개의 장치로부터 데이터 수집하기 위해 서버그룹(Server Group)과 클라이언트 그룹(Client Group)으로 구성했다. 여러 개의 장치로부터 수집된 데이터는 한 개의 표준 사용자 동작과 표준 모션 데이터와 상관 분석을 통하여 정확도(Matching Rate) 평가한다. 이로써 기존의 한 개의 동작 인식장치로 동작하는 시스템과 비교해 정확한 평가 결과를 얻었다. 본 논문의 구성은 다음과 같다. 2장에서 본 논문의 기본 이론이 되는 동작 및 모션 데이터 수집 방법에 대하여 설명한 다음 3장에서 제안하는 동작인식 시스템에 대하여 서술한다. 그리고 4장에서는 제안한 시스템 구성에 대한 실험한 결과를 객관적인 지표로 성능을 평가하고 5장에서 결론을 맺는다.
2. 데이터 수집
동작 인식장비(GRD:Gesture Recognizer Device)를 통한 인식은 전문가로부터 수집한 모션 데이터(Motion Data)와 사용자 동작 데이터와의 상관분석을 통한 평가한다 [4] . 또한 사용자가 위치를 보다 정확한 수집을 위해 발판매트(Step mat)를 제안했다. Fig. 2 는 제안하는 시스템의 구성이며, 동작 데이터 수집용 장비로 마이크로소프트사의 키넥트 V2를 사용했다. 키넥트 V2는 이전 버전과는 달리 서로 마주보고 있어도 데이터를 수집할 수 있다. 즉 거리의 측정 방식 IR(Infra Red)에서 TOF(Time of Flight)로 변경되었다.
PPT Slide
Lager Image
Data collection as Gesture Recognizer Device.
- 2.1 표준 모션 데이터 수집
표준 모션 데이터는 태권도 동작을 사람이 직접 동작해 수집한다 [5] . 모션 데이터는 태권도 유단자 및 고 경력자에게 모션 슈트 또는 센서를 부착해 태권도의 기본동작, 품세 및 응용동작을 수집한다. 수집된 데이터는 보정 및 수정을 통하여 최종적인 데이터를 수집한다. 태권도 모션 데이터는 기본동작, 품세 및 응용동작을 데이터화 했다. Fig. 3 은 모션 캡처를 통하여 실제 캐릭터와 매칭하는 과정을 도식화한 것이다 [6] .
PPT Slide
Lager Image
Data collection process of Motion Data.
Fig. 3 과 같은 과정으로 수집된 데이터는 모션캡처 파일(*.c3d)포맷 형태로 PC에 저장된다 [7] . 저장된 모션 데이터를 수치화 한 것이 BVH(Bounding Volume Hierarchy) 포맷이다. Fig. 4 는 모션 데이터에 대한 BVH 파일의 계층구조(hierarchy)와 사람에 해당하는 관절구조(skeleton structure)를 도식화 한 것이다. BVH 파일은 각 관절에 대한 x, y, z회전 값을 가지고 있고, 관절구조의 크기와 캐릭터의 위치 및 동작을 정의하는 실제 움직임 데이터로 구성된다 [8] .
PPT Slide
Lager Image
Head Format of BVH file.
- 2.2 사용자 동작 데이터 수집
사용자 동작 데이터는 동작 인식 장비와 위치 센서에서 실시간으로 수집한다. 본 연구에서는 수집한 데이터는 20개의 관절데이터를 관절에 대해 DB화 했다. 센싱 장비로부터 수집한 동작 데이터의 정 가운데인 (HIP_CENTER)를 기준으로 사용자 위치를 측정하고 각 관절의 x, y, z 값의 각도 변화를 수집했다. Fig. 5 는 사용자 동작 데이터를 수집하기 위한 사용자 구조이다 [9] .
PPT Slide
Lager Image
Human point of User Gesture Data.
본 연구에서 사용된 사용자 동작인식 장비로 마이크로소프트사의 Kinect V2(25 Joint and 6 Bodies)를 사용하여 데이터를 수집하고 시험했다. 또한, 한 개의 동작 인식장비가 아닌 여러 개의 장비로부터 수집된 정보를 분석했으며 이때 여러 인식 장비로 부터 수집되는 동작 데이터를 한 개의 표준화된 동작 데이터로 통합하는 과정을 제안한다. Fig. 6 은 Kinect V2에서 제공한 SDK(Software Development Kit)에서 제공하는 ID MAP이다 [10] .
PPT Slide
Lager Image
Joint ID Map of Kinect SDK.
3. 태권도 동작인식 시스템
태권도 동작인식 시스템은 동작 인식장비로부터 수집한 좌표(x, y, z) 데이터를 각 관절에 대한 각도 데이터(∠x,∠y,∠z)로 변환하는 과정과 수집된 데이터를 비교해 평가는 방법을 제안한다. 또한 여러개의 센싱 장비로부터 수집된 데이터를 통합해 한개의 표준화된 데이터를 생성하는 방법을 제안한다.
- 3.1 각도변환
동작 인식장치로 부터 수집된 관절에 대한 값은 좌표 값(x, y, z) 이고, 비교의 대상이 되는 모션 데이터는 각도 값(∠x,∠y,∠z)으로 되어있다. 2.1절에서 언급한 바와 같이 동작 인식에 비교 대상이 되는 모션 데이터는 각도 값을 기준으로 작성되기 때문에 관절에 대한 좌표 값을 각도(rotation)로 변환하는 방법이 필요하다. Fig. 7 은 관절의 각도를 계산하는 방법을 도식화 한 것이다. 식 (1)은 관절과 관절 사이의 거리를 계산하여 뼈대에 대한 각도 값으로 변환하는 수식이다. Fig. 7 에서 하위 뼈대의 각도를 찾으려면 상위 뼈대에 대한 참고가 필요하다. 또한, 동작인식장치(Kinect 센서)는 상하로 움직임을 수집할 수 있지만 뼈의 회전부분은 아직까지 정확하게 찾을 수 없다는 단점을 가지고 있다. 본 연구에서 사용자 동작 데이터의 회전축 Y축 값을 0으로 계산하고, 모션 데이터의 Y축 회전 부분을 초기화해 시험했다.
PPT Slide
Lager Image
PPT Slide
Lager Image
Distance between Joint and Joint.
- 3.2 데이터 비교
만일, 100 프레임에 대하여 사용자 동작 데이터와 모션 데이터를 비교할 경우 단순히 두 각도의 차를 이용하면 될 것 같지만, 값이 각도이기 때문에 발생하는 문제가 있다. 각도는 360°를 주기로 같은 각도이기 때문이다. 360°와 0°의 차이는 360°지만 두 값은 같은 각도이다. 따라서 비교할 때 sin과 cos의 삼각함수를 연산을 통하여 계산한다. Fig. 9 는 sin함수와 cos함수의 특성을 도식화한 것이다. 식 (2)는 동작 데이터에 값과 모션 데이터의 각도 값을 비교하는 수식이다. 식 (2)에서 θ는 사용자의 값, θ'를 모션 각도 값이라 할 때 dθ을 식 (2)와 같이 계산한다.
PPT Slide
Lager Image
PPT Slide
Lager Image
Graph feather of sin and cos function.
PPT Slide
Lager Image
4 Camera Sensor for Gesture Recognition.
Table 1 은 sin함수와 cos함수의 관계를 표시한 것이다. Table 1 에서 0°와 180°는 다른 각도지만 sin 함수의 값이 같아 sin함수만으로 구분할 수 없다, 하지만, cos함수의 값은 1과 -1로 값의 차이가 존재하기 때문에 다른 각도인 것을 구분할 수 있다. 따라서 sin함수의 차이와 cos함수의 차이를 더하여 비교 값을 계산한다.
Compare the angle calculation using trigonometric functions
PPT Slide
Lager Image
Compare the angle calculation using trigonometric functions
- 3.3 멀티플 데이터 융합
태권도 동작의 경우 단일 방향이 아닌 다-방향에서 데이터를 수집한다. 수집된 사용자 동작 데이터를 수집해 한 개의 표준 동작 데이터 만든다. 다-방향에서 수집된 센싱 데이터는 시간을 기준으로 통합된다. Fig. 2 에서 사용자 동작을 인식하는 동작 센서 2개(FK: Front Kinect, LK:Left Kinect)와 사용자의 위치좌표를 수집하는 발판센서(SS:Step Sensor) 1개를 구성했다.
데이터를 융합해 한 개의 표준 사용자 동작 데이터를 수집했다. 또한 이상적인 경우 동서남북 4군데에서 센싱하는 방법은 있지만 FK와 LK와의 역관계로 추적하면 되므로 동서남북 4개로 구성한다면, 효율성 부분에서 떨어짐을 확인했다.
본 연구에서는 FK와 LK 두 개의 동작 인식센서로부터 수집된 동작 데이터를 표준 모션 데이터 와 비교 시험했다. Fig. 10 는 4개의 동작 인식 센서로 부터 수집된 사용자 정보 데이터를 도식화한 것이다. 본 연구에서는 Fig. 10 의 (A), (B) 데이터를 사용했다.
PPT Slide
Lager Image
Gesture Recognition Processing.
두 개의 행동 인식 카메라를 통하여 수집되는 인식 데이터를 1개의 표준화된 사용자 데이터로 통합을 위해 FK와 LK로 인식한 각 관절의 인식 정도를 확인해 인식률이 우수한 관절(Joint) 선정하여 최적의 데이터를 생성했다. 통합된 사용자 동작 데이터는 표준 모션 데이터와 상관분석을 통한 매칭 정도를 계산했다. Fig. 11 은 두 개의 동작 인식 카메라로부터 데이터를 수집하는 절차를 도식화 한 것이다. Fig. 11 에서 두 방향에서 들어오는 데이터의 선택 기준은 인식률이 높은 관절을 선정하는 방식으로 표준 사용자 동작 데이터(Standard User Gesture Data) 만들고, 표준 모션 데이터(Standard Motion Data)와 비교해 최종적으로 매칭평가를 수행했다.
PPT Slide
Lager Image
Multiple Sensing for Tea kwon do Evaluation. (a) Sever Area, (b) Client Area.
4. 시험 및 평가
멀티플 센싱을 이용한 태권도 동작 인식 시스템은 Fig. 12 와 같이 사용자 동작인식 장치를 이용하여 동작을 읽고 표준화 모션 데이터와 비교하도록 구성했다. 또한 사용자가 태권도 동작 및 품세를 따라할 수 있도록 Motion Player를 Unity3D로 어플리케이션을 구현하고, BVH 파일을 삽입해 태권도 전용 플레이어를 개발했다. 한 개의 동작인식 장치로만 인식하던 것을 본 연구에서는 2개의 인식 장치로 좀더 정확한 동작을 인식하는 과정을 제안하고 시험했다. Fig. 12 와 같이 실험 환경을 서버영역(Server Area)와 클라이언트 영역(client area)로 장비 및 역할을 구분하도록 구성했다. 여러 개의 인식장치로 들어오는 데이터는 TCP/IP 통신을 통하여 서버영역에 전달해 통합하도록 시험했다.
PPT Slide
Lager Image
Flow Chart for Gesture recognition server.
- 4.1 동작인식 서버영역
동작인식을 위한 서버 영역은 Fig. 12 의 (a)와 같이 모션 데이터를 재생하는 MP와 사용자 동작데이터 및 모션 데이터를 비교하고 연산하는 모듈로 구성되어있다. MP는 그래픽 저작 툴인 Unity3d 도구와 운용 스크립트를 적용했다. Fig. 13 은 동작인식을 위한 서버의 인식과정으로 MP가 동작을 시작하면 실제 데이터가 입력되고 매칭 정도를 확인해 점수를 산출한다.
PPT Slide
Lager Image
Flow Chart for Gesture recognition client.
- 4.2 동작인식 클라이언트 영역
동작인식을 위한 클라이언트 영역은 여러 개의 동작인식 장치에서 수집된 데이터에 대해 한 개의 사용자 동작 데이터를 서버로 전달하는 과정을 수행한다. Fig. 12 의 (b)와 같이 2개의 센서와 한 개의 발판 센서로 구성되고 각각의 센서로 부터 데이터를 수집한다. Fig. 14 는 제스처 인식을 위한 절차이다. 데이터 전달이 동기화를 맞추기 위해 현재 수행중인 프래임 수를 서로 전달한다. 이로써 시스템상의 지연과 문제점을 해결했다.
PPT Slide
Lager Image
Multiple sensing data analysis.
- 4.3 평가 및 분석
제안하는 방법을 평가하기 위해 실시간으로 수집되는 사용자 동작 데이터와 모션 데이터를 비교하고 매칭률을 평가했다. Fig. 15 는 두 개의 동작 인식장치로부터 수집된 스켈렉턴(skelecton) 중 Right_Elbow에 대한 x, z의 각도 값을 구해 표준화 사용자 데이터를 만들고, 표준화 모션 데이터와 비교해 최종적으로 매칭율(Matching Rate)를 평가한 것이다. 상관분석을 통한 매칭율을 계산하기위해 각의 범위는±20 도 했을 경우 약 95%의 매칭률을 보이고 있고, ±20 은 하드웨어 특성 및 표준 모션데이터 추출시 사용자와 동일인이 아니라는 전제로 값의 범위를 설정했다. Fig. 15 에서 (a)는 전면부에 설치된 동작인식 장치로부터 수집된 데이터이고 이중 Weight 값은 인식장비가 사용자를 인식하는 정도를 수치화로 표현한 것이다. (b)는 Left에 설치된 동작인식 장치로부터 수집된 정보이고 (c)에서 (a)(b)가 통합된다. 통합된 동작 데이터는 모션 데이터(d)와 비교해서 매칭 테이블인 (e)를 만들어내고 최종적으로 매칭률을 연산한다.
PPT Slide
Lager Image
User gesture data to Right_Elbow.
Fig. 16 과 17은 수집된 동작 데이터를 (x, z)축에 대하여 도표화 한 것이다. 총 600 프래임에 대하여 각도 변화를 확인했고 오른쪽과 왼쪽의 동작이 유사하게 동작함을 확인했다.
PPT Slide
Lager Image
User motion data to Left_Elbow.
5. 결 론
스포츠 기능성 게임 및 학습 분야에서 특별한 도구 없이 즐기는 패키지가 많이 개발되고 있다. 이러한 패키지의 대표적인 것이 ms사의 kinect가 있다. 하지만 대부분의 패키지는 단일 방향에서 사용자 인식이 안 되는 부분이 발생하고 있다. 또한, 모든 방향으로 움직이는 동작의 경우 인식률이 현저하게 떨어진다.
본 논문에서는 기존의 한 개의 제스처 인식 장치로 운용되는 시스템을 다-방향에서 인식하는 방법에 대하여 연구했다. 또한 사용자의 위치를 보다 정확하게 측정하기 위해 발판센서를 이용하여 데이터를 수집하도록 했다.
태권도의 동작의 경우 단일 방향이 아닌 다-방향으로 움직임이 있어 본 연구에서 제안하는 방법을 사용하면 정확한 품세를 평가하고 익힐 수 있는 도구로 구현할 수 있다. 본 연구에 대한 활용분야로 기능성 스포츠 게임 및 춤(Dance)분야에 적용하고 향후 연구과제로 보다 정확도가 높은 시스템을 구현하기 위해 모션 데이터에 대한 특성을 분석(성별, 키별, 나이별 등)하여 맞춤형 데이터 비교가 필요하다.
BIO
이 병 권
1999년 한밭대학교 학사
2002년 한남대학교 석사
2007년 충북대학교 박사
2010년 ㈜휴먼앤퓨처정보통신 연구소장
2014년 ㈜이솔정보통신 연구소장
2014년-현재 동국대학교 멀티미디어공학과 조교수
관심분야 : 멀티미디어응용, 임베디드시스템, 스마트 IT 융합
References
Ghosh S. , Konar A. , Nagar A.K. “Gesture Recognition from Indian Classical Dance Using Kinect Sensor,” Proceeding of IEEE Fifth International Conference on Computational Intelligence, Communication Systems and Networks 2013 3 - 8
Lai K. , Konrad J. , Ishwar P. "A Gesture-driven Computer Interface Using Kinect," Proceeding of IEEE Southwest Symposium on Image Analysis and Interpretation 2012 22 - 24
Biswas K.K. , Basu S.K. "Gesture Recognition Using Microsoft Kinect," Proceedings of the 5th International Conference on Automation, Robotics and Applications Dec 6-8 2011 100 - 103
Gill T. , Keller J.M. , Anderson D.T. , Luke R.H. "A System for Change Detection and Human Recognition in Voxel Space Using the Microsoft Kinect Sensor," Proceeding of IEEE Applied Imagery Pattern Recognition Workshop 2011 11 - 13
Shingade A. , Ghotkar A. 2014 “Animation of 3D Human Model Using Markerless Motion Capture Applied To Sports,” International Journal of Computer Graphics & Animation 4 (1) 21 -    DOI : 10.5121/ijcga.2014.4103
Yunyeon C. , Jiamei T. , Seungeun J. , Sangwook K. 2015 “User Customizable Hit Action Recognition Method using Kinect,” Journal of Korea Multimedia Society 18 (4) 557 - 564    DOI : 10.9717/kmms.2015.18.4.557
Lee D. , Nakamura Y. “Motion Capturing from Monocular Vision by Statistical Inference Based on Motion Database: Vector Field Approach,” Proceeding of IEEE/RSJ International Conference on Intelligent Robots and Systems 2007 617 - 623
Gabel M. , Gilad-Bachrach R. , Renshaw E. “Full Body Gait Analysis with Kinect,” Engineering in Medicine and Biology Society 2012 1964 - 1967
Izadi S. , Kim D. , Hilliges O. , Molyneaux D. , Newcombe R. , Kohli P. , Shotton J. “Kinectfusion: Realtime 3D Reconstruction and Interaction Using a Moving Depth Camera,” Proceedings of the 24th Annual ACM Symposium on User Interface Software and Technology 2011 559 - 568
Jungong H. , Shao L. , Xu D. , Shotton J. 2013 “Enhanced Computer Vision with Microsoft Kinect Sensor: A Review,” IEEE Transactions on Cybernetics 43 (5) 1318 - 1334    DOI : 10.1109/TCYB.2013.2265378