Advanced
A Serious Game Design and Prototype Development for Rehabilitation using KINECT Tools
A Serious Game Design and Prototype Development for Rehabilitation using KINECT Tools
Journal of Korea Multimedia Society. 2014. Feb, 17(2): 248-256
Copyright © 2014, Korea Multimedia Society
  • Received : November 29, 2013
  • Accepted : February 06, 2014
  • Published : February 28, 2014
Download
PDF
e-PUB
PubReader
PPT
Export by style
Share
Article
Author
Metrics
Cited by
TagCloud
About the Authors
영숙 채
영산대학교 자유전공학부

Abstract
본 연구는 장시간 동일한 자세로 자리에 앉아 있거나 컴퓨터 작업을 오래함으로써 생긴 어깨 통증을 호소하는 이들, 몸의 움직임이 적어 신체적 이상이 온 이들을 대상으로 치료를 동반한 운동 목적의 기능성 게임 설계와 프로토타입 단계의 게임 개발이다. 선택된 음악의 비트에 맞추어 신체를 움직이는 리듬액션게임으로서, 플레이어가 도전하는 동안 불편을 가진 신체 부위의 기능 개선뿐만 아니라 환자의 색채 치료를 병행할 수도 있다. 게임 기획서에 따라 제작된 프로토타입 게임은 XNA Game Studio와 동작 인식이 가능한 키넥트 인터페이스 기술을 활용하여 개발하였다. 조작이 용이한 인터페이스 기술과의 접목, 음악의 빠르기와 공의 출현 속도로 난이도를 조절하며 신체 움직임에 따라 수준별 콘텐츠 제공을 시도해 보았다. 향후 연구는 신체 장애 정도에 따라 움직임을 조절할 수 있도록 다양한 비트의 음악과 플레이어의 다양한 행위를 추가하고, 일반 재활 효과와의 비교 검증 시스템과 현장 테스트가 요구된다.
1. 서 론
2002년 경영시뮬레이션 게임을 시작으로 해외 연구자들에 의해 개발되기 시작한 기능성 게임은 게임 개발자컨퍼런스(GDC)를 중심으로 게임의 한 분야로 자리매김했다. “게임의 요소를 지니면서 다양한 이로운 측면을 담고 있는 게임”으로 정의하고, 단순한 재미 뿐만 아니라 시뮬레이션, 다자간 소통, 플랫폼, 가상현실, 자아 인지, 동기화 등 다양한 기술적, 인지적 수준의 요소들과 융합되어 군사, 예방 및 치료, 교육 및 학습 보조, 오락 등 다양한 분야에 활용될 것이다 [1 , 2] . 게임의 역기능에 대한 우려의 목소리가 높아지면서 게임에 대한 부정적인 인식 해소와 건전한 게임 문화 조성을 위한 노력 차원에서 정부와 산학은 기능성 게임에 관심을 가지기 시작했다. 재미 목적의 게임 플레이에 추가 기능을 가진 기능성 게임 시장은 다양한 플랫폼, 다양한 분야와 접목한 개발이 시도되고 있다. 최근 화두가 되고 있는 게임화(Gamification) 역시 게임의 재미 요소를 활용하여 재미 외의 목표 달성을 위해 게임적 사고와 게임 메카니즘을 도입하는 것이라는 점에서 기능성 게임과 맥락을 같이 한다.
체감형 게임을 말할 때 대표적인 게임기인 Wii와 XBox를 활용한 스포츠 종목 게임은 이미 우리에게 친숙한 게임으로 많이 소개가 되었고, 일선 학교에서는 수업시간의 보조 교재로 활용하고 있다. 예를 들면, 과학 수업 시간에 속력을 학습하는 단계에서 보트타기, 달리기, 장애물 달리기, 스키 게임 활용은 교과서를 위주의 수업에 비해 학생의 흥미나 참여가 적극적이었다고 한다. 과학 공식을 힘겹게 외우기는 것보다는 직접 체험을 통한 학습이기에 장기 기억이 가능하다는 장점을 가진다. 또한 체육 수업 시간에 비가 오거나 외부 환경이 좋지 않아 야외 활동이 불가능한 경우에 활용한 사례는 몸을 움직이면서부터 학생들의 건강이나 전반적인 교실 분위기 개선에 많은 도움이 되었고, 학생들간의 관계 개선, 협동심, 적극적인 학생 참여를 유도해 좋은 교육 사례로 소개되기도 한다.
게임 디자인이란 플레이어의 욕망을 끌어내고 충족시켜 주는 작업이다. 디자이너는 플레이어의 행동을 예측하고, 끌어낸 반응에 대응하고, 계속적인 행동을 할 수 있도록 상호작용성을 고려하여 게임 속에 표현하는 것이다. 플레이어의 몰입도를 높이기 위해서 게임의 여러 요소에 반영된다. 캐릭터나 배경에 대한 선택 모드 제공은 한 예이며, 플레이어의 개인화 작업의 일환이다. 이는 감정이 이입된 아바타가 자신을 대신해 게임 캐릭터로 등장하고, 자신의 행동과 동일한 움직임을 하는 캐릭터를 통해 만족도를 한층 더 높일 수 있다. 선택의 기회를 부여한다는 것은 플레이어의 상상력을 투여할 기회를 제공하고, 자유로움을 가져다 주어 직접적인 게임 제작 참여에 비할 수는 없지만 즐거움과 도전에 흥미로움을 더할 수 있다. 수준별 콘텐츠의 난이도 조절 기능 또한 플레이어의 몰입도를 증가시킬 수 있는 요소로 작용한다. 본 연구에서는 음악 비트에 따라 원의 출현 속도와 개수를 조절하여 게임의 균형 조절을 시도하고자 한다. 음악과 음향은 시각적인 미적 요소 만큼이나 플레이어의 본능을 자극하는 요소이고, 본 게임의 장르가 리듬액션게임이기에 음악과 음향은 다른 게임 보다 중요하게 다루어지는 요소이다.
본 연구가 제안하는 게임은 장시간 자리에 앉아 있거나 컴퓨터 작업을 오래함으로써 생긴 어깨 통증을 호소하는 이들, 몸의 움직임이 적어 신체적인 이상이 온 이들을 대상으로 치료를 동반한 운동 목적으로 설계하는 기능성 게임이다. 게임의 오락적 재미 요소에 체험을 통한 실질적 신체에 도움을 주는 기능이 더해져 플레이어의 몰입과 도전을 유도하고 플레이어가 도전하는 동안 신체적 기능 개선이 목적이다. 치료 목적의 게임이기에 지각 차원에서 간단하고 손쉬운 조작, 감각 차원의 직감적인 이해, 운동 능력 차원에서의 활동 조작 등을 배려한 설계가 요구된다. 손쉬운 조작을 위해 입력 도구는 키보드나 마우스를 활용한 인터페이스가 아니라 동작 인식 기능을 가진 키넥트(KINECT)를 도입하여 게임과 플레이어간의 상호작용 효과를 극대화하고자 한다. 키넥트의 깊이 측정 센서에 의한 3차원 이미지 인식 모듈의 활용은 플레이어의 몸을 인식하고 그 동작에 따라 게임 속의 캐릭터가 동기화 되어 움직이게 되며, 운동의 경도에 따라 움직임의 반경을 조절하고 가능한 몸 전체를 활용할 수 있도록 유도하고자 한다. 그리고 플레이어 신체 능력을 지속적으로 향상시키기 위해 게임 콘텐츠에 환자의 움직임 정도에 따라 단계별 게임을 플레이할 수 있도록 디자인한다. 이를 위해 환자의 건강정보, 단계별 활동성 등의 점검 목적의 환자 데이터베이스 구축이 요구된다.
본 연구는 놀이와 치료 기능간의 상호 유기적인 결합으로 상생 효과를 가져올 수 있는 체감형 기능성 게임을 설계하고, 기획에 따라 프로토타입의 게임 개발 과정을 소개하고자 한다.
2. 관련 연구
본 연구는 리듬 액션 게임 장르로서 음악 비트에 맞추어 동작을 하도록 설계한다. 리듬 게임의 매력은 남녀노소 구분없이 게임을 해 본 적이 없는 사람도 쉽게 플레이할 수 있다는 것과 평소 유저들이 즐기는 음악을 상품성으로 하고 있고, 손동작 터치를 통한 조작의 즐거움에 있다고 한다.
- 2.1 유사 게임 개발 현황
음악에 맞추어 춤을 추는 리듬게임은 1999년부터 코나미사의 ‘댄스 댄스 레볼루션(DDR)’이 국내에 소개되면서부터 시작되었고, ‘펌프 잇 업’ 게임은 오락실에서 혹은 가정에서 친구들과 춤 실력을 대결하기도 하던 기억이 있을 것이다. 이 외에도 건반연주 게임인 어뮤즈월드사의 ‘Ez2 DJ’, ‘오투잼’, ‘DJMAX 온라인’, ‘유비트(Jubeat)’, ‘EZ2ON’, 2010년에 나온 ‘밴드마스터’, ‘리듬 앤 파라다이스’ 등이 있었지만, 현재는 MMORPG의 성공적인 상업화로 대부분의 게임 업체가 관심을 가지지 않거나 서비스하던 업체도 재정적 어려움으로 쇠퇴한 분야 중 하나이긴 하다. 하지만 외국의 경우는 비디오 게임기에서 작동하는 다양한 종류의 게임이 소개되어 그 시장의 규모는 점점 커지고 있다. 스마트폰 애플리케이션으로 소개된 리듬게임으로는 DDR을 모체로 탄생한 ‘탭소닉’, ‘터치믹스2’, ‘사이터스(Cytus)’, ‘피아노 홀릭’, ‘핑거 스텝’ 등이 있다.
김창걸 연구 [3] 는 운동, 감각, 인지 장애를 가지고 있는 뇌졸중 환자들의 재활 훈련 목적으로서, 키넥트 센서의 3차원 깊이 측정 기능을 활용하여 환자의 가정용 운동 프로그램 개발에 관한 연구이다. 가정에서 행해지는 재활운동은 정확한 피드백이 없는 한계점을 개선하기 위해 3차원 행동 분석 센서를 이용하여 대상자의 행동을 분석하고, 분석된 데이터를 기반으로 대상자가 가정에서 가정운동프로그램을 수행할 때 사용자의 능동적 선택에 의하여 자기 통제적 피드백을 지원받을 수 있는 가정용 재활운동프로그램을 개발하였다고 한다.
이희성 연구 [4] 는 동결견을 앓고 있는 50세 이상의 환자를 대상으로 견관절 재활 치료를 목적으로 한 기능성 게임 디자인에 관한 논문이다. 원숭이가 주인공으로 등장하며, 입장하는 손님 안내, 음식 주문, 서빙, 음식값 계산 등 레스토랑에서 행해지는 웨이터의 역할을 수행한다. 게임 재미를 통한 재활 과정에 수반되는 고통의 강도를 낮추고 어깨의 상하좌우 운동유도는 반복적인 재활치료의 지루함을 덜고 환자의 자발적인 참여 유도하는 것을 게임 목표로 삼고 있다. 인터페이스는 키넥트 카메라를 이용하여 영상을 인식하며, 아픈 손을 카메라가 인식, 손 위치가 마우스 포인터가 되고, 손바닥을 편 상태가 카메라 쪽을 향하게 하여 이동 동작으로, 주먹을 쥐면 원 클릭한 것으로 동작 구분을 인식하도록 설계했다.
이창조 연구 [5] 는 뇌졸중 환자 치료 목적의 기능성 게임 “Word Scramble” 게임 설계를 제안한다. 뇌졸중 후 언어 인지 장애를 앓고 있는 환자를 대상으로 게임을 통해 언어 인지 능력 재활과 이에 대한 능력을 진단하고 평가하며, 자가진단을 통해 뇌졸중에 걸릴 확률을 알아보는 기능도 제공한다. 터치스크린 방식의 화면 구성, 글자 조합으로 단어를 추리, 예측할 수 있는 게임이다.
- 2.2 동작 인식 기술
마이크로소트프사의 ‘Project Natal’에 의해 개발된 인터페이스 기술 키넥트는 2010년 11월에 XBOX 360 전용 게임 컨트롤러로 출시됐고, 2011년 NUI(Natural User Interface) 방식의 윈도우용 소프트웨어 개발 킷(SDK)과 함께 PC 환경에서도 다양한 프로그램 개발에 활용할 수 있는 API가 공개됐다. 이는 적외선 카메라를 이용해 사람의 움직임을 3차원으로 인식하는 센서 기반의 입력 도구로서, 조이스틱이나 키보드 등 기존의 인터페이스 도구가 없이도 인간의 동작과 목소리를 이용해 게임기를 조작하는 기능을 제공한다. 이러한 키넥트 센서는 마이크로소프트 자회사인 Rare사의 소프트웨어 기술과 이스라엘 개발사인 Prime Sense의 적외선 투사로 인한 3차원 깊이 인식 기술이 합쳐져 탄생하게 된 카메라이다. RGB 카메라, 3차원 깊이인식센서, 음성인식 마이크로 구성되어 있으며 3차원 전신 모션 캡처를 통한 동작인식, 얼굴인식 뿐만 아니라 음성인식 기능이 가능하다.
관절 추적(Skeleton Tracking) 기능은 키넥트 센서의 시야(Field Of View, FOV) 내에 존재하는 몸체를 인식하고 20개의 관절에 대한 위치 정보를 제공한다. 관절 정보를 통해 2차원의 좌표 정보와 깊이(Depth) 정보를 통해 3차원의 거리 정보를 이용하여 플레이어의 동작을 인식하도록 구성한다. 머리, 왼쪽 어깨, 오른쪽 어깨, 어깨의 중간, 왼쪽 팔꿈치, 오른쪽 팔꿈치, 왼쪽 손목, 오른쪽 손목, 왼손, 오른손, 척추의 중앙, 왼쪽 둔부, 오른쪽 둔부, 둔부의 중간, 왼쪽 무릎, 오른쪽 무릎, 왼쪽 발목, 오른쪽 발목, 왼발, 오른발 등의 관절 위치는 3차원 좌표를 미리미터(mm) 단위로 표현하여 제공한다.
3차원 동작 인식 기술은 동작 기반의 체감형 게임 개발에 활용하고 있고, 신체 활동을 이용한 인터랙션은 이용자의 상호작용성 극대화를 통해 게임 몰입도를 증대시키는 역할을 한다. 키넥트 센서로부터 제공되는 깊이정보, RGB 영상, 관절 추적 정보는 키넥트 장치 앞에 서 있는 사람의 신체 혹은 부위별 검출, 포즈 추정이 가능하다.
Murthy와 Jadon의 연구 [7] 는 손 제스처를 인식하기 위한 특징들을 3가지 접근방법으로 분류하였다. 첫 번째는 손의 포즈 정보를 추정하는 모델 기반 방법이고, 두 번째는 영상 시퀀스로부터 손 제스처를 모델링하는 뷰 기반 방법이다. 세 번째는 손 영역의 위치나 움직임과 같은 특징을 사용하는 저차원 특징 기반 방법을 소개하고 있다.
3. 재활 치료용 게임 설계
- 3.1 게임 개발 의도 및 개요
게임 대상자는 어깨 통증을 호소하는 사람이거나 운동이 부족하여 신체적 불편함을 가진 사람들이다. 책상에 오래 앉아 있거나 컴퓨터를 장시간 사용하는 사람들에게서 볼 수 있는 어깨 근육의 뭉침 현상과 같은 신체의 문제 부위 운동을 게임의 주목적인 재미와 스트레스 해소를 구현 목적으로 한다. 사고로 인하여, 혹은 장시간 동일한 자세로 인해 생긴 신체적 장애를 겪는 사람에게 물리 치료용 운동을 적용하는 것과 같이 신체의 움직임을 훈련하는 방법에 적용하고자 한다.
동결견(Frozen Shoulder)은 어깨의 움직임에 제한이 있는 현상에 대한 진단명이다. 동결견에 대한 재활 체조 중 팔 좌우로 들기 운동은 팔을 이완시킨 상태에서 천천히 좌우로 올려서 통증이 없는 한에서 가능하면 많이 올리도록 한다. 운동 횟수는 한번에 10~20회 정도, 하루 2~3세트가 적당하다고 한다 [6] . 미국의 재활병원의 연구 결과에 따르면 게임을 통한 재활 치료는 게임의 재미 요소가 재활 과정의 지루함과 힘겨움을 없앨 수 있고, 환자 스스로 지속적인 재활 훈련으로 치료 효과를 높일 수 있다고 한다.
게임 개요
PPT Slide
Lager Image
게임 개요
동일한 동작으로 일을 하는 사람이면 누구나 겪는 것이 어깨 결림 고통일 것이다. 신체적 장애 중 팔과 다리에 불편이 있는 사람의 움직임 정도를 측정하고, 그 움직임 보다 나아질 수 있도록 운동 치료를 놀이의 즐거움과 결합한 기능성 게임이다. 게임 대상은 연령에 제한이 없는 가족 게임으로, 음악의 리듬에 맞추어 색채 치료와 운동을 접목한 체감형 게임이다. 게임 구현을 위해 주요한 기술은 동작인식과 음성인식이 가능한 키넥트 인터페이스 기술을 활용하여 신체의 움직임으로 게임을 작동시킨다.
- 3.2 게임 진행에 따른 설계
게임 플레이 소요 시간은 음악 연주 시간이 단위이다. 한 곡의 음악이 나오는 동안 손, 발 등의 신체를 이용하여 출현하는 공을 주어진 시간 내에 정해진 장소에 맞추어 가져다 놓으면 된다. 게임에 등장하는 공의 종류는 빨강, 노랑, 파랑이며, 공을 놓치거나 잘못된 장소에 가져다 놓으면 게이지가 깎이게 되고, 게이지가 0이 되면 게임은 종료한다. 한 곡의 음악이 끝난 후에는 플레이어의 점수가 나타나고 이는 플레이어의 활동 정도를 판단하는 기준이 된다.
입력 인터페이스인 카메라 센서를 통해 플레이어를 인식한 후, 중앙에 인간형 캐릭터가 등장한다. 양옆에 4~6개 색깔 원이 등장하며, 음악의 비트에 맞추어 색깔 공들이 무작위로 소환된다. 공은 타이밍을 맞춰 4~6개의 같은 색깔 원 안으로 집어넣어야 한다.
PPT Slide
Lager Image
게임 흐름도
게임이 시작되면 플레이어와 연동된 캐릭터가 화면에 나타난다. 캐릭터는 플레이어의 움직임에 동일하게 동작하도록 설계되어 있다. 게임 플레이 방식은 캐릭터의 방향과 플레이어의 수에 따라 달리 설계할 수 있다. 캐릭터의 앞모습이 보이게 하여 밖에서 안으로 공이 날아오는 방식과 캐릭터의 뒷모습이 보이게 하여 안에서 밖으로 공이 날아오는 방식이 존재하며, 이는 설정 창에서 플레이어가 원하는 방식으로 선택이 가능하다. 또한 혼자서 즐길 수 있는 1인용, 가족이나 지인들과 함께 즐길 수 있는 2인용으로 설계한다.
플레이어의 키 차이로 인해 발생될 수 있는 캐릭터의 그래픽 깨짐과 부자연스러운 움직임 해결을 위해 머리, 몸통, 손, 발이 분리된 모습의 캐릭터를 플레이어로 구현한다.
플레이 상태에서 게임을 방해하는 불필요한 구경꾼의 등장은 플레이어 인식 과정에 오류를 생성하기도 한다. 동작 인식 센서의 관절 추적 기능은 최대 6명까지 인식 가능하지만, 때로는 게임플레이가 진행되는 도중에 타인의 등장으로 플레이 오류가 발생하기도 하므로 플레이 도중에는 다중 인식 기능을 막을 필요가 있다. 본 시스템은 게임 시작 시점에 1명 혹은 2명이 플레이어로 지정되어 인식되면 물리적인 동작 인식 영역을 고정하여 게임 플레이 도중에는 다른 플레이어의 등장을 새롭게 인식하는 과정을 하지 않도록 구현한다.
- 3.3 게임 그래픽 컨셉과 화면 디자인
화면은 기능성과 시각적 인지를 고려하여 레이아웃을 디자인한다. 게임 기획자가 사용자에게 제공하고자 하는 정보 배치는 정보를 제공받는 플레이어의 이해와 사용의 편의성을 고려하여 배치한다. 그리고 사용자가 이미 익숙한 습관과 시선의 동선을 고려하여 배치하는 것이 중요하다. 동양의 미술 작품 배치는 오른쪽 위쪽에서 아래쪽으로 움직이는 배치이지만, 서양에서 먼저 시작된 게임은 왼쪽 위쪽에서 오른쪽 아래쪽으로 움직이기에 기존 게임 배치와 동일하게 설정한다. 게임 인터페이스는 장르나 시나리오 성격에 따라 조금씩 차이는 있지만, 게임의 진행 순서에 따라 인트로 화면, 플레이 화면, 종료 화면 등으로 나누어진다.
PPT Slide
Lager Image
게임 배경 화면
게임 배경 부분이 전체적인 게임의 분위기를 결정 짓는 요소 중 하나이다. 배경은 운동을 한다면 야외, 들판, 마당, 집 등을 고려해 볼 수 있다. 게임의 배경은 운동을 하는 공간이나 춤을 출 수 있는 공간, 움직임을 편안하게 할 수 있는 공간을 선정한다. 눈에 띄게 강한 이미지 보다는 게임 진행에 큰 지장을 주지는 않아야 하고, 원색 배경의 단조로움보다는 조금 더 생동감을 느낄 수 있도록 설계한다. 배경 설정창을 통해 플레이어가 스스로 마음에 드는 곳을 선택하여 변경할 수 있도록 한다.
캐릭터 디자인은 앞모습이 보이게 하여 밖에서 안으로 공이 날아오는 방식과 캐릭터의 등, 뒷모습이 보이게 하여 안에서 밖으로 공이 날아오는 방식이 존재할 수 있지만, 본 게임은 우선 캐릭터의 움직임과 플레이의 움직임을 동일하게 묘사하기 위해 플레이어 캐릭터를 화면의 중앙에 배치하고 플레이어는 이를 앞에서 바라보는 1인칭 시점으로 구현한다. 경우에 따라서는 설정 창에서 플레이어가 원하는 방식으로 선택 가능하도록 하는 부분도 가능성으로 열어둔다.
플레이어의 신체 활동을 유도하기 위해서 동그라미를 원형의 링에 넣도록 한다. 여러 가지 색상을 사용할 수도 있지만, 대표적인 색채인 빨강, 노랑, 파랑, 초록색만을 사용하여 플레이어의 인지도를 높인다. 네 가지의 색채 중 플레이어의 인지 능력에 따라 출현하는 링의 개수를 2개에서 4개까지 변화를 주도록 설계한다.
그림 3 은 게임플레이 초기 인트로 화면이다. 화면 가운데 부분에 본 게임 제목을 배치하고, 위쪽의 왼쪽과 오른쪽 부분에 시작 버튼과 종료 버튼을 배치한다. 제목을 위쪽 가운데 배치하고, 시작과 종료 버튼을 제목의 아래쪽으로 배치하는 경우도 있지만, 본 게임은 동작을 인식하고 팔의 움직임을 극대화 하는 것이 목적이기 때문에 실행에 관련된 기능 버튼을 위쪽 양쪽으로 배치한다. 버튼 선택은 중앙에 위치한 동그라미가 마우스 포인트 역할이므로 위치를 옮겨 각각 버튼의 위치로 끌어가면 그 버튼에 해당하는 메뉴가 실행이 된다.
PPT Slide
Lager Image
인트로 화면
그림 4 는 음악 선곡 화면이다. 음악 CD를 그래픽으로 활용하여 디자인한다. 작동 방법은 CD 플레이어 내부에 CD가 돌아가는 모습을 연상할 수 있도록 디자인하고, CD 고르기 행동은 왼쪽, 오른쪽 방향으로 팔을 움직여 CD를 변경, 선택은 2~3초의 정도 정지 동작을 하거나 CD를 가만히 두면 자동으로 선택되도록 설계한다. 음악의 곡명은 CD를 중심으로 아래쪽 중앙에 배치하고, 곡의 난이도는 별의 개수로 표시하여 플레이어의 수준에 맞는 곡을 선정할 수 있는 정보로 제공한다.
PPT Slide
Lager Image
음악 선곡 화면
그림 5 는 게임 로딩 화면이다. 게임 실행이 되기 전까지 플레이의 기다림을 지루하지 않게 하기 위해 선곡한 음악을 대표할 수 있는 그래픽 이미지를 제시하고, 플레이어에게 현재의 데이터 로딩 진행 상태를 숫자나 이미지를 활용하여 알려준다.
PPT Slide
Lager Image
게임 로딩 화면
그림 6 은 메인 플레이 화면이다. 얼굴과 몸, 팔, 다리의 신체 부위를 눈에 띄게 디자인된 인간형 캐릭터를 중앙에 배치하고, 손과 발을 자유롭게 움직일 수 있는 모습으로 활동성을 극대화 한다. 게임플레이에 필요한 정보는 캐릭터의 게이지와 경과 시간, 현재 점수 등이다. 게이지는 캐릭터 몸 색깔의 투명도를 가지고 나타내고, 점수는 위쪽 가운데에 배치한다. 경과시간은 음악의 길이를 전체 시간으로 잡고 현재의 진행 시간을 비율로 처리하고, 위치는 위쪽 상단 부분에 배치한다. 인간형 캐릭터가 화면 중앙에 배치되어 있고, 인간형 캐릭터와 플레이어가 동기화 되어 움직이게 한다. 게임 종료 조건은 한 곡의 음악이 완전히 끝나거나 게이지가 소진되면 게임이 끝난다.
PPT Slide
Lager Image
캐릭터별 메인 플레이 화면 ~
그림 7 은 게임 플레이 결과에 대한 판정 화면이다. 점수와 점수의 등급(랭크A~F), 플레이 상태(Combo, Perfect, Good, Miss 횟수) 등을 띄워 준다. 한 곡의 음악에 대해 일정 점수에 도달하면 게임 미션을 성공한 것으로 판정하여 “Game Clear” 화면을, 점수 도달에 실패한 경우는 “Game Over” 화면을 보여주는 것으로 디자인한다. 랭킹은 각 음악의 최고 점수와 최고 점수가 표시가 된다. 클리어 했을 시에는 버튼이 재도전, 랭킹, 게임종료 버튼이 뜨며 실패했을 시에는 자동으로 게임오버가 된다.
PPT Slide
Lager Image
게임 플레이 결과 화면
- 3.4 게임 사운드 컨셉
전체적인 배경 음악은 게임 시작과 동시에 재생되며 흥겨운 음악으로 선정한다. 플레이할 음악은 플레이어가 선정한 음악이 가진 비트에 따라 공이 출현한다. 비트가 느리면 공과 공 사이의 출현 속도는 천천히 나오고, 비트가 빨라지면 공의 출현 속도가 빨라진다. 단순하게 무작정 공을 따라 움직이는 게임이 아니라 음악의 박자에 맞춰서 공이 등장하게 되고 정해진 시간 내에 정해진 장소에 공을 넣도록 한다. 효과음은 정확히 넣었을 때는 박수 소리를, 잘못 넣었을 때는 야유나 안타까움의 소리를 넣어 플레이어의 감정을 자극하여 몰입도를 높이고자 한다.
4. 프로토타입 개발
게임 시스템은 그림 8 과 같이 총 6개의 모듈인 플레이어 정보 판별 모듈, 캐릭터 설정 모듈, 동작 인식 모듈, 아이템 생성 모듈, 매칭 확인 모듈, 점수 및 결과 계산 모듈, 3개의 DB(그래픽, 사운드, 환자 정보)를 관리하는 DB 관리 모듈로 구성된다.
PPT Slide
Lager Image
게임 시스템 구조도
플레이어 정보 판별 모듈은 플레이어의 동작 가능 상태를 판별하는 부분으로서, 게임 플레이어의 움직임에 대한 피드백을 수행하는 부분과 플레이어의 기존에 게임 플레이를 했던 저장 정보를 가져와 게임 플레이 진도에 따라 플레이 단계를 수행하도록 제어 기능을 한다.
캐릭터 설정 모듈은 플레이의 신체 사이즈를 포함하여 동작 범위 등을 인식하여 게임 캐릭터와의 손, 발을 매칭하는 부분으로 구성된다. 플레이어의 신체 사이즈, 관절, 캐릭터 관절 정보와 연동시켜 플레이어의 움직임에 따라 자연스러운 캐릭터 움직임을 만들어 낼 수 있도록 제어하는 부분이다. 손과 발이 연결된 캐릭터가 보편적이지만 본 연구는 손과 발이 분리될 수 있는 캐릭터를 구현하여 다른 게임과 다른 시각적 특징을 가지고자 한다.
동작 인식 모듈은 플레이어의 시작 위치를 인식시키는 부분과 동작 가능 상태로 제어하는 부분이다. 키넥트는 기계 장치와 인간의 상호 작용 면에서 직관적이고 효율적인 인터페이스 도구로 인정하여 이미 마우스 대신 혹은 TV 리모컨 대신으로 인터페이스 조작을 위한 수단으로 활용하고 있다. 본 시스템의 손 제스처 인식 모듈은 저차원 특징 기반 방법을 활용한 기법으로서, 영상으로부터 손 영역을 검출하고 추적하여 손의 위치나 움직임의 특징을 추출하여 사용한다. 마우스 커서의 이동은 오른손 혹은 왼손의 위치값을 윈도우 커서 좌표값으로 대응 계산하여 손의 움직임에 따라 커서가 이동하도록 한다. KINECT가 인식하여 제공하는 20여개의 SPOT 포인트 중에서 본 게임은 HEAD, SHOULD_CENTER, HAND_RIGHT, HAND_LEFT, HIP_CENTER, KNEE_RIGHT, KNEE_LEFT, FOOT_RIGHT, FOOT_LEFT 위치 정보 등을 활용한다.
아이템 생성 모듈은 플레이어의 동작 범위에 따라 링의 위치, 임의의 색깔 공이 임의의 위치에 출현하도록 하는 부분과 공의 출현 타이밍 설정을 조절하는 부분이다. 공의 출현 순서나 상태를 미리 설정하는 방법도 있지만, 본 시스템에서는 다양한 종류의 음악을 담기 위해 음악의 비트 정보에 따라 공의 출현 타이밍을 일정 범위 내에서 랜덤하게 조절할 수 있도록 설계한다.
매칭 확인 모듈은 공의 이동 경로와 정답 링의 위치와 색깔과의 정확한 매칭 정도를 판별한다. 점수 및 결과 계산 모듈은 플레이어의 상태(Combo, Perfect, Good, Miss의 회수)를 판별하여 점수화 하는 부분과 플레이어의 활동량을 계산하여 운동 단계를 측정하는 부분이다. 게임 플레이를 위해 필요한 그래픽 DB와 사운드 DB, 환자 정보 DB를 DB Manager 모듈이 총괄하여 관리한다.
프로토타입 제작은 3D 콘텐츠를 지원하는 툴인 XNA Game Studio와 동작 인식 기반 지원 툴인 KINECT Developer Toolkit을 활용한다. 프로그래밍 언어는 C#을 사용하며, 그래픽 작업 도구는 Photoshop과 3DMax 소프트웨어를 사용한다. XNA Game Studio Express는 크로스플랫폼(Cross Platform)의 쉬운 개발(Easy-to Use)이란 모토 아래 개발한 차세대 게임 개발 플랫폼 기술이기에 프로토타입 게임 개발에 적합하다. XNA는 윈도우 기반 게임이나 XBOX용 게임을 제작하고자 할 때 생산성 면에서 효율적인 개발 라이브러리이며, 게임 중심적 어플리케이션 프로그래밍 인터페이스를 제공한다. 본 시스템에서는 캐릭터는 3차원 모델링으로 처리하고, 배경은 2D로 구현한다. 텍스처, 사운드 및 다양한 리소스들을 쉽고 유연하게 연동하는 방법을 제공하는 XNA 프레임웍의 기본 함수(Initialize, LoadContent, UnloadContent, Update, Draw)들과 클래스(Game, Audio, Content, GamerServices, Graphics, Input)을 활용하여 제작한다.
입력 인터페이스 키넥트는 OpenNI를 사용하여 유저 트레킹을 통한 전신 스켈레톤을 구성, 신체의 관절 부분을 분석하고 깊이 영상을 통해 제스처를 판별한다. 즉, 키넥트 센서의 시야 내에 신체가 존재하도록 위치를 설정하고, 20여개의 관절과 위치 정보를 제공받는 것이다. 이는 RGB 센서, 깊이 정보를 획득하는 IR 센서와 IR 프로젝트에 의해 동작 인식 정보를 제공받는다. 깊이 영상으로 판독, 변환된 값은 게임 시스템과 연동되어 자연스러운 게임 플레이가 가능하도록 관절 종류와 좌표계 제어값으로 변환된다. 게임을 진행하는 동안 높은 몰입도와 흥미 충족을 높일 수 있는 요소이기에 시스템 구현에 주요 요소이다.
게임 진행 인터페이스 조작은 버튼의 선택과 누름으로 제어된다. 게임 시작과 종료 화면에서의 메뉴 선택 부분, 음악 선택 화면 등에서의 버튼 조작 인터페이스 부분이 이에 해당한다. 플레이어의 제스처 인식을 위해 손 영역을 검출 기법을 활용한다. 손바닥, 주먹의 손 모양을 인식하는 손의 특징을 추출하는 기법들을 연구한 논문들도 나오고 있지만, 본 연구에서는 정확한 손 동작 판별 보다는 손의 위치값만으로 게임 제어가 가능하다고 판단, 손의 위치값만을 활용한다. 손바닥이나 주먹의 위치 이동이 발생하면 동작을 진행하는 상태로 인식하고, 주먹을 쥔 상태나 손바닥을 펴고 멈춘 상태가 2초 이상 지속되면 멈춤 동작으로 인식, 버튼을 선택한 것으로 구현한다. 게임의 시작은 키넥트 센서가 플레이어를 인식하면 등장 캐릭터를 플레이어의 움직임과 동기화 되어 움직이도록 설정, 게임 시작화면으로 전환하여 시작하도록 한다. 플레이어의 위치 정보와 관절값을 캐릭터의 해당 관절과 연결시켜 좌표계의 위치값으로 계산, 화면에 캐릭터의 움직임 값으로 매핑되어 출력된다.
게임 상태 관리는 게임 진행과 동일하게 콘텐츠의 변화가 스크린 단위로 변화되기에 스크린별로 설정한다. 즉, 타이틀 화면, 캐릭터 선택 화면, 음악 선택 화면, 음악 로딩 화면, 게임 플레이 화면, 게임 결과 판정 화면, 게임 종료 화면으로 설정하고, 게임 시작에서 종료까지 상태에 따라 게임스크린관리자가 제어를 담당한다.
5. 결론 및 향후 연구
본 논문에서 제안하는 게임은 사고나 혹은 장시간 동일한 자세로 인해 생긴 신체적 장애를 겪는 사람을 대상으로 게임의 재미와 접목시켜 신체 활동성을 치료하는 목적의 게임을 설계하고 프로토타입 형태의 게임을 시도해 보았다. 팔과 다리에 불편이 있는 사람의 움직임 정도를 측정하고 그 움직임이 나아질 수 있도록 운동 치료를 놀이의 즐거움과 결합한 게임으로, 음악의 리듬에 맞추어 색채 치료와 운동을 접목한 가족 단위의 체감형 기능성 게임이다. 게임 제작은 XNA Game Studio와 동작인식 기능을 지원하는 키넥트 인터페이스 기술을 활용하여 제작하였다. 음악의 빠르기와 공의 출현 속도로 난이도를 조절하고, 신체 움직임에 따라 다르게 제공되는 콘텐츠를 조작이 용이한 인터페이스 기술과 접목한 시도이다.
지각 능력, 학습 능력, 운동 능력을 보드 게임과 결합하여 재활 운동의 효과와 게임의 재미를 융합한 콘텐츠 개발 사례는 점차적으로 늘어날 것이다. 게임성을 포함하여 디자인, 기능성 부여, 사용 용이성이 보장된 콘텐츠 개발은 사용자의 흥미를 끌어들일 수 있을 것이다. 치료 목적의 기능성 게임은 게임 설계 단계에서부터 재활 치료를 염두에 두고 디자인할 필요가 있으며, 이는 의학적 지식과의 접목이 요구되는 부분이기도 하다. 본 연구의 향후 진행은 신체 장애 정도에 따라 움직임을 조절할 수 있도록 더 다양한 비트의 음악과 행위를 추가한다면 재미와 함께 지속적인 신체와 인지 운동에 도움이 될 것이다. 또한 개발된 게임 디자인의 효용성 검증을 위해서는 일반재활 효과와의 비교 평가를 위한 검증 시스템과 다양한 현장 테스트가 요구된다.
BIO
채 영 숙
1989년 2월 부산대학교 전산통계학과 이학사
1991년 2월 부산대학교 계산통계학과 이학석사
1998년 2월 부산대학교 전자계산학과 이학박사
1995년 12월~1999년 5월 한국전자통신연구원 연구원
1999년 5월~2000년 7월 한국과학기술원 KORTERM 수석연구원
2001년 9월 현재 영산대학교 자유전공학부 교수
관심분야 : 게임시스템, 자연언어처리, HCI
References
임 충재 2011 한국멀티미디어학회지 15 (2) 1 - 9
우 탁 , 안 계윤 , 윤 수진 2011 한국멀티미디어학회지 15 (2) 17 - 23
김 창걸 , 송 병섭 2013 한국산업정보학회 논문지 18 (1) 37 - 45
이 희성 , 김 미혜 2011 한국엔터테인먼트산업학회 논문지 5 (1) 107 - 113
이 창조 , 김 미혜 2011 한국엔터테인먼트산업학회 논문지 5 (1) 73 - 80
안 은영 2012 멀티미디어학회 논문지 15 (11) 1384 - 1390
Murthy G.R.S. , Jadon R.S. 2009 "A Review of Vision Based Hand Gestures Recognition," Journal of Information Technology and Knowledge Management 2 (2) 405 - 410
Chae Y.S. 2013 “A Serious Game Design for Rehabilitation Therapy,” The 26th International Conference of the Association of North-east Asian Culture Vol. 26 136 - 143