Advanced
An Authoring Framework for Emotion-Aware User Interface of Mobile Applications
An Authoring Framework for Emotion-Aware User Interface of Mobile Applications
Journal of Korea Multimedia Society. 2015. Mar, 18(3): 376-386
Copyright © 2015, Korea Multimedia Society
  • Received : February 12, 2015
  • Accepted : March 20, 2015
  • Published : March 30, 2015
Download
PDF
e-PUB
PubReader
PPT
Export by style
Share
Article
Author
Metrics
Cited by
TagCloud
About the Authors
은정 이
Dept. of Computer Science, Kyonggi University
ejlee@kyonggi.ac.kr
규완 김
Dept. of Computer Science, Kyonggi University
우빈 김
Dept. of Computer Science, Kyonggi University

Abstract
Since affective computing has been introduced in 90s, affect recognition technology has achieved substantial progress recently. However, the application of user emotion recognition into software user interface is in its early stages. In this paper, we describe a new approach for developing mobile user interface which could react differently depending on user emotion states. First, an emotion reaction model is presented which determines user interface reactions for each emotional state. We introduce a pair of mappings from user states to different user interface versions. The reacting versions are implemented by a set of variations for a view. Further, we present an authoring framework to help developers/designers to create emotion-aware reactions based on the proposed emotion reaction model. The authoring framework is necessary to alleviate the burden of creating and handling multi versions for views at the development process. A prototype implementation is presented as an extension of the existing authoring tool DAT4UX. Moreover, a proof-of-concept application featuring an emotion-aware interface is developed using the tool.
Keywords
1. 서 론
감성 시스템이란 사람의 감정 상태를 해석할 수 있고 그에 맞게 적절히 대응하는 시스템을 의미한다. 이를 가능하게 하는 소프트웨어 기술로 감성컴퓨팅은 감정의 인식(detection), 모델링, 표현(representation) 등의 분야를 포함한다 [1] .
90년대 이후 사용자의 감정 상태를 인식하는 기술이 집중적으로 연구되었으며 최근에는 생리학 및 뇌과학적 방법을 결합하여 인식율을 높이는 것이 가능 해졌다 [2 , 3] . 그에 비해 인식된 사용자 감정을 적용하여 감정 적응적인 시스템을 개발하는 방법은 아직 연구의 초기 단계라 할 수 있다. 현재까지 감정 적응형 시스템 개발에 대한 연구는 특정 응용 분야 적용을 중심으로 이루어지고 있다 [4 - 6] . 본 논문에서는 인식된 사용자 감정 상태에 따라 뷰와 이미지, 애니메이션 등의 사용자 인터페이스 수준에서 다른 방식으로 대응하는 감정 적응형(Emotion-aware, 이하 EA) 사용자 인터페이스의 개발에 관해 살펴본다.
색깔과 이미지 등의 시각적 요소를 이용하여 감정상태를 표현하거나 반응하는 것이 디자인 분야에서 많이 연구되었다 [7] . 또한 디지털 이미지의 색과 사용자의 감정 수용 관련성에 관한 연구도 있다 [8] . 움직임도 감정 표현의 중요한 도구로 알려져 있는데 느리고 부드러운 동작은 차분한(가라앉은) 상태로 인식되는 것이 그런 예이다 [9] . 가상 에이전트가 얼굴표정을 통해 감정 시뮬레이션하는 방법도 활발히 연구되고 있다 [10] . 이와 같이 다양한 감정 표현 방법을 통해 사용자 인터페이스는 사용자의 감정 상태에 따라 적합한 형태로 반응하는 것이 가능하다.
한편 EA 사용자 인터페이스를 개발하기 위해서는 사용자 감정 상태에 대응하는 적응 방식을 결정해야 하며, 각 적응 상태 별로 구별되는 사용자 인터페이스 버전을 개발하는 것이 필요하다. 본 논문에서는뷰 단위로 감정 상태에 따라 적응 뷰 버전으로 반응하는 방법을 살펴본다.
적응 상태 별로 여러 개의 뷰 버전을 개발하는 것은 상당히 복잡한 작업이며, 이것을 소프트웨어에 통합하기 위해서는 적절한 접근 방법과 도구의 지원이 필요하다. 기존에 모바일 어플리케이션 개발을 위한 저작 도구가 많이 발표되었다 [11 - 14] . 본 논문에서는 기 개발된 DAT4UX 저작도구 시스템을 활용하여 [14] 여러 버전을 가지는 EA 사용자 인터페이스를 설계하고 그 결과를 쉽게 시스템에 통합하는 접근 방법을 제안한다.
본 논문의 기여는 다음의 두 가지이다. 먼저 EA 사용자 인터페이스 개발을 위한 적응 모델을 제안한다. 이 모델은 적응 상태라는 개념을 소개하고 뷰 단위로 변경된 버전를 두고, 사용자 감정 상태에서 해당 뷰 버전으로의 매핑을 정의한다. 또한 소프트웨어의 성격에 맞게 감정에 따른 대응 방식의 가이드라인을 정하는 적응 정책의 개념을 제시한다. 두 번째로 제안된 적응 모델을 개발에 적용하기 위해 여러 개 버전의 인터페이스를 효과적으로 생성 관리하는 개발 프레임워크를 제안한다. 제안된 저작 방법을 DAT4UX 저작도구에 적용하여 프로토타입 편집기를 개발하였다. 이 편집기는 문헌 상에 소개된 감정표현 기법 [7 - 10] [19 - 22] 을 적용하여 감정 상태에 적응하는 뷰의 변형을 생성하는 기능을 제공한다. 제안된 프레임워크의 타당성을 검증하기 위한 사례 어플리케이션의 개발도 살펴본다.
본 논문의 구성은 다음과 같다. 2장에서 본 논문의 배경이 되는 감정 모델 이론과 감정 인식 및 표현 기법을 살펴본다. 3장에서는 제안하는 감정 적응 모델을 소개한다. 그리고 4장에서는 EA 인터페이스 개발을 위한 저작 도구 기반의 프레임워크를 소개하고 기존의 저작도구 시스템에 확장하여 개발된 편집기의 구현을 살펴본다. 또한 이를 이용하여 개발된 모바일 어플리케이션 사례를 소개한다. 5장에서는 결론을 맺는다.
2. 배 경
감성 컴퓨팅의 최종적인 목적은 기계가 사용자의 감정적 상태를 이해하고(인식 단계), 그 감정에 적절하게 반응하고 (표현 단계), 그 결과로 사용자의 감정이나 느낌을 향상시키는데 있다 [1] . 현재의 모바일이나 유비쿼터스 컴퓨팅 환경에서는 근접통신과 다양한 센싱 기술의 접목으로 이전보다 더 정확한 감정의 탐색이 가능해졌고 그에 따라 감성 적응형 컴퓨팅 시스템에 대한 사용자의 기대치도 높아지고 있다 [15] .
사용자의 감정 상태를 인식하는 기술은 감성 컴퓨팅 분야에서 가장 활발히 연구되는 주제이다. 초기의 얼굴 표정 인식에서 출발하여 최근에는 신경생리학과 뇌과학의 연구 성과를 도입하여 탐색의 정확도를 높이는데 현저한 발전을 보였다 [2] . 이외에도 사용자의 행동 패턴 분석을 통해 사용자의 감정 상태를 탐색하는 방법도 연구되고 있다. 감정 인식이 현대의 컴퓨팅 환경에서 점차 실현 가능한 기술로 발전하고 있음을 확인할 수 있다 [8] .
한편 소프트웨어 시스템에서 사용자의 감정을 다루고 표현하기 위한 감정 모델이 제안되었다. 러셀 등 [16] 이 제안한 원형 모델(circumplex model)은 개별 감정 상태를 구별하지 않고 이차원 상의 x, y 좌표를 이용하여 표현하는 방법이다. 이를 활용한 연구로 피터 등 [17] 은 디지털 시스템 상에서 이차원 모델의 감정 상태를 표현하는 적용 방법을 체계적으로 제시하였으며, 산체스 등 [18] 은 사회적 관계망 응용 시스템에서 이차원 모델을 적용하여 사용자의 감정 상태를 인식하고 감정 상태를 이모티콘을 이용하여 사용자 간에 공유하는 방법을 제시하였다.
시스템 상에서 인식된 감정 상태를 적절히 표현하는 것도 감성 컴퓨팅의 중요한 영역이다. 가상 에이전트를 활용하는 소프트웨어 시스템에서는 얼굴 표정이나 목소리 톤 등의 언어적 표현이 감정 상태의 표현 또는 반응을 위한 가장 기본적인 방법으로 사용된다 [6 , 10] . 그 외에도 사용자 인터페이스의 색깔이나 애니메이션 효과 등을 감정 상태의 표현에 활용한 사례들이 있으며, 이 표현 기법이 사용자에게 수용되는 방식과 사용자의 감정 상태에 미치는 영향도 연구되고 있다. 사용자 인터페이스에서 색깔의 영향은 디자인 분야에서 많이 연구되었고 특정한 칼라 필터가 일정한 정도까지 감정적 수용을 변경시킬 수 있다고 알려져 있다 [7 , 19] . 테라다 등 [20] 은 동적인 색의 변화로 감정을 표현하는 로봇이 사용자에게 효과적임을 발견하였다. 한편 리 등 [21] 은 느리고 지속적인 움직임이 긍정적인 상태로 받아들여짐을 발견하였다. 음악에 의한 감정 상태와 스크린 상에서 공의 움직임 간의 관계에 대한 연구도 있다 [22] . 이상의 결과를 통해 사용자 인터페이스 디자인에서 감정적 상태를 표현하기 위해 사용 가능한 여러 가지 수단이 있음을 알 수 있다.
한편 감정 인식 및 표현 기술을 사용자 인터페이스에 적용하는 시도가 있었다. 감정 상태에 따른 반응은 시스템 행동 논리의 변경과 사용자 인터페이스의 변경으로 나누어 볼 수 있다. 기존 연구로는 노약자 대상 등 특수한 시스템이나 [4 , 5] 이러닝과 같은 특정 응용에서 [6] 시스템 행동 논리 변경을 통해 감정에 적응하는 방법이 많이 제안되었다. 사용자 인터페이스에 의한 반응의 예로는 최근 사진의 감정 측정에 따른 디지털 액자의 EA 인터페이스 생성 방법이 발표되었다 [23] . 또 Bulevard 시스템은 상황 적응 기능의 일부로 감정 인식과 적응을 적용한 프레임워크를 제안하였다 [24] . 본 논문에서는 사용자 상태에 따라 다른 사용자 인터페이스 버전으로 반응하는 개발방법에 관심이 있으며, 특히 뷰 단위의 시각적 및 애니메이션 효과를 통한 반응 방법을 중심으로 살펴본다. 모바일 환경에서 일반적인 어플리케이션의 개발에 적용하기 위하여 저작도구를 활용하는 접근 방법을 제시한다. 논의를 집중하기 위하여 사용자 감정을 감지하는 것은 논문의 범위에서 제외하였다.
일반 사용자들이 사용자 인터페이스를 설계하고 모바일 앱을 개발하는 것을 지원하는 저작도구가 많이 발표되었다 [11 - 14] . 일반적으로 저작도구는 사용자 인터페이스를 보이는 그대로 편집할 수 있고 이를 실행시키는 실행 환경이나 가상 기계 등의 제공을 통해 개발할 시스템에 통합하는 비용을 줄이는데 목적이 있다. 본 논문에서는 EA 사용자 인터페이스 저작 기능을 저작도구에 확장하는 방법을 살펴본다.
3. 제안 방법
- 3.1 감정 모델링
감성 컴퓨팅에서 다루는 감정 모델은 차원 모델과 이산 모델로 나누어 볼 수 있다. 차원 모델은 기분(valence)과 흥분도(arousal)의 두 개 축으로 표현하는 2차원 모델이 가장 많이 사용되고 있다 [16] . 한편 이산 모델은 기본 감정이 서로 독립적이고 고유한 심리적, 신경생리학적 기원을 가진다고 보는데, 그러한 기원을 찾는 것 뿐 아니라 기본 감정을 어떻게 분류하느냐 등에서도 여러 가지 견해가 있다 [25 , 26] . 감정 모델링은 감정 인식 기술과 연계되어 현재도 활발하게 연구되고 있는 분야이고 인식 방법과 응용분야에 따라 다르게 적용된다.
본 연구에서는 인식과 감정 모델링의 문제를 범위에서 제외하였으며, 논의를 간단히 하기 위해 가장 널리 사용되는 피터 등의 2차원 모델을 도입하였다 [17] . 러셀 등이 처음 제안하고 피터 등이 디지털 시스템에 도입한 이차원 모델에서는 사용자의 감정 상태를 x와 y 축의 좌표를 통해 이차원 공간에서의 상대적인 위치로 표현한다. Fig. 1 과 같이 x축은 기분, y축은 흥분도를 나타내며, 평면 상의 상대적인 위치는 대표적인 감정 상태와 매핑된다. 예를 들어 기분이 좋고 흥분도가 낮은 우측 하단은 평온한(calm) 상태라고 볼 수 있으며, 기분이 중립적인데 흥분도가 낮은 중앙 하단은 졸린(sleepy) 또는 피곤한(fatigue) 상태라고 볼 수 있다. 이와 같이 이차원 상에서 두 가지 요소의 값으로 사용자의 감정 상태를 표현하는 것은 단순하면서도 비교적 정확한 상태 측정이 가능하여 소프트웨어 시스템에서 많이 도입되고 있다.
PPT Slide
Lager Image
Two dimensional emotion model [16].
본 논문의 프로토타입 구현에서는 최초 사용자의 자가 진단에 기반한 감정 상태 측정을 사용하였다. 즉 사용자가 자신의 기분과 흥분도를 3점 척도의 값으로 제출하면 그를 바탕으로 사용자의 감정 상태를 측정한다.
- 3.2 감정 적응 정책
어플리케이션의 목적에 따라 사용자 감정 상태에 반응하는 방식이 달라진다. 인식된 사용자 감정 상태에 사용자 인터페이스가 반응하는 방식의 기본 방향을 “감정 적응 정책“(이하 정책)이라고 부른다. 소프트웨어 시스템의 목적에 따라 정책이 달라지는데, 문헌 상에서 다음과 같은 사례를 발견할 수 있다.
  • 이러닝 시스템은 사용자의 성취도를 높이는 것이 목적이며 이를 위해서는 사용자의 감정 상태가 낮은 흥분도일 때 성취도가 높아진다고 알려져 있다[6,27]. 그러므로 인터페이스는 사용자가 높은 흥분 상태일 때 진정시키거나 편안하게 유도하는 것이 요구된다.
  • 개인적인 지원 어플리케이션 분야에는 개인 비서나 일기장 앱[28]등이 있다. 이 분야는 사용자의 개인적 감정이 더 솔직하게 표현되고 시스템 인터페이스는 사용자의 측정된 감정 상태를 그대로 반영하는 것이 바람직한 경우라 할 수 있다.
  • 사회적 관계망 또는 협력 플랫폼 분야에서는 사용자의 감정 상태를 이용하여 사용자 간의 상호작용에 도움을 주는 것이 목적이다. 문헌 상의 여러연구에서 다른 사용자의 감정 정보 공유가 소통에 도움이 되었다고 보고하고 있다[18].
  • 추천 어플리케이션도 감정 상태를 이용할 수 있는 주요 분야이다. 가장 대표적인 예로 사용자의 감정 상태에 기반한 음악 추천 시스템이 있다[29]. 그러나 추천 시스템은 사용자 인터페이스 반응보다는 행동 논리에 적용하는 것이 더 중요한 문제이다.
  • 고객서비스 시스템 등에서는 고객의 감정 상태를 감지하고 상담자를 지원 또는 보호하는 기능이 필요하다. 이 분야에서는 표정이나 목소리 등을 통해 흥분 상태가 일정한 수준을 넘는지 판별하는 기술이 많이 연구되고 있다[30].
시스템의 반응 방식은 크게 시스템의 목적을 우선할 것인가 사용자의 감정 상태를 우선할 것인가에 따라 달라질 수 있다. 전자의 경우 이러닝 시스템처럼 사용자 인터페이스가 목적에 따라 사용자 감정 상태를 바람직한 방향으로 유도하기 위해 반응할 수 있다. 반면 후자의 경우는 사용자의 감정 상태 그대로 반영하는 사용자 인터페이스가 될 수 있다.
이상과 같이 정책을 통해 시스템의 인터페이스가 사용자의 감정에 어떻게 반응할지에 대한 기본 방향을 미리 결정하여 이후의 시스템 개발에 일관되게 적용할 수 있다. 문헌에서 발견한 사례들을 바탕으로 다음의 두 가지 대표적인 정책 사례를 도출하였다.
  • 방향 정책(directional policy) : EA 인터페이스가 측정된 사용자의 상태에 대해 시스템의 목적에 따라 바람직한 방향으로 유도하도록 하는 방식이다. 흥분 상태인 경우는 진정시키는 방향으로, 또는 침체되어 있는 경우는 기분 전환하는 방향으로 인터페이스를 설계할 수 있다.
  • 반영 정책(reflective policy) : 적응 인터페이스가 사용자의 감정 상태를 그대로 반영하는 방식이다. 일반적으로 시스템은 인식된 사용자의 상태를 그대로 반영하여 표현하거나 다른 사용자에게 그대로 전달하는 방식으로 인터페이스를 설계한다.
- 3.3 감정 적응 모델
이 절에서는 개발의 초기 단계에서 먼저 정해지는 정책에 따라 인터페이스를 개발하기 위한 감정 적응 모델을 살펴본다. 이것은 사용자 감정 상태에 대응하는 적절한 반응을 설계하는 것을 목적으로 한다. 사용자 감정 상태 집합을 S user 라 할 때 시스템은 S user 의 부분 집합에 대해 동일한 반응을 보이게 된다. 그러므로 시스템이 동일하게 반응하는 상태 그룹을 “적응 상태”라 하고 적응 상태 집합을 S EA 로 표시한다. 그리고 사용자 감정 상태로부터 적응 상태로의 매핑을
PPT Slide
Lager Image
로 표시한다. 예를 들어 이차원 모델에서는 사용자 상태 u ∈ S user 는 좌표 상의 점으로 표시되고 적응 상태는 좌표 상의 영역으로 표시된다.
적응 상태의 결정은 미리 정해진 정책에 따라 시스템의 반응 방식을 구체화시켜 결정하는 단계이며, 역시 개발 과정의 초기에 이루어져야 한다. Fig. 2 은 제안된 모델을 적용하여 개발된 저작도구에서 정책과 그에 따른 적응 상태 집합을 결정하는 대화상자 화면을 보여준다. 이차원 모델 상에서 방향 정책과 반영 정책에 해당하는 적응 상태 집합의 예를 각각 보여준다. 적응 상태는 차원 모델 상의 영역으로 표시된다. Fig. 2 (a)는 방향 정책을 적용하여 각 적응 상태에 대한 인터페이스 설계의 목적이 상태의 전환을 의도함을 보여주고 있으며, 적응 상태 집합은 S EA-directional = {downward, upward, default}로 표시할 수 있다. 여기서 그래프 상 x 축의 왼쪽과 오른쪽은 디폴트 상태를 적용할 것임을 알 수 있다. Fig. 2 (b)는 반영 정책을 적용한 경우로 각 적응 상태에 대해 그대로 반영하는 인터페이스 설계라는 방향을 나타낸다. S EA-reflective = {(-+,0+), (++, +0), (+-), (--,0-), default}와 같이 다섯 개의 적응 상태를 가짐을 알 수 있다.
PPT Slide
Lager Image
EA policy and adjusted state editing dialog.
적응 상태가 결정되면 각 적응 상태에 대해 사용자 인터페이스의 다른 버전을 개발하는 것이 필요하다. 여기서 구별되게 반응하는 단위는 뷰나 객체가 될 수 있는데, 본 논문에서는 뷰 단위로 구별되는 인터페이스를 개발한다. 적응 상태 별로 만들어진 뷰의 버전을 “적응 뷰”라고 하고 원래 어플리케이션이 가지는 뷰 집합 V에 대해 적응 뷰의 집합을 V EA 로 표시 한다. 그러면 적응 상태 별로 대응하는 적응 뷰를 찾는 매핑 t를 다음과 같이 정의할 수 있다.
PPT Slide
Lager Image
주어진 뷰 v와 사용자 상태 u에 대해 적응 뷰를 구하는 방법은 다음과 같이 표시할 수 있다.
PPT Slide
Lager Image
여기서 p(u)는 적응 상태, v ea 는 적응 뷰를 나타낸다. 모든 적응 상태에 대해 별도의 뷰를 만들기는 어려우므로 원래 뷰를 그대로 사용하는 경우도 있다. 즉 v ea = v가 되고, 이 경우는 디폴트 뷰를 사용한다고 한다.
4. 감정 적응 인터페이스 프레임워크 개발
3장에서 제안된 적응 모델은 사용자 인터페이스의 개발을 위해 각 뷰에 대응하는 적응뷰의 개발을 필요로 한다. 이것을 기존의 모바일 어플리케이션에 적용하기 위해서는 상당한 복잡도와 개발 부담이 요구되므로 적절한 개발 방법과 도구의 지원이 반드시 필요하다. 이 장에서는 제안된 모델을 기존의 저작도 구에 적용하기 위한 프레임워크를 제안하고 이를 DAT4UX 시스템에 실제 확장한 프로토타입 구현을 소개한다.
- 4.1 DAT4UX 저작도구 아키텍처
DAT4UX 시스템은 본 연구진에서 (주)야긴스텍과 함께 개발한 저작도구 시스템으로 모바일 다중 플랫폼 저작도구로 개발자가 아닌 일반 사용자가 모바일 어플리케이션의 사용자 인터페이스를 저작할 수 있게 지원하는 도구이다 [14] . 모바일 앱의 개발은 개발자와 디자이너의 공동 작업이 필요하며, DAT 4UX는 특히 디자이너가 모바일 앱의 시각적 표현과 애니메이션 효과를 작성할 수 있는 기능을 제공하고 설계 결과를 개발자가 코드에 쉽게 통합하게 해 준다. 그 결과 모바일 앱에 수준 높은 사용자 인터페이스와 감성적 효과를 개발할 수 있다.
이 도구는 스프라이트 형태의 프레임 방식 또는 open_GL 기반의 애니메이션 방식을 두 가지 모두 지원한다. 뷰 단위의 레이아웃과 시각적 효과가 설계되면 설계 결과는 중간표현 데이터로 저장되며, 모바일 런타임 렌더링 엔진은 그 정보를 읽어 개발자의 코드 부분과 결합하여 앱이 동작하도록 해 준다. Fig. 3 는 DAT4UX 시스템 아키텍처를 자세히 보여준다.
PPT Slide
Lager Image
A system architecture diagram : DAT4UX authoring tool and the mobile rendering engine[14].
이하에서는 EA 사용자 인터페이스의 개발을 위해서 Fig. 4 의 아키텍처와 같이 적응 뷰 버전을 저작도구에서 개발하고 이를 중간 표현을 통해 실행 환경에 전달하여 모바일 어플리케이션에서 이를 통합하는 방법을 제안하고자 한다.
PPT Slide
Lager Image
Applying EA policy and EA views on a mobile application.
- 4.2 제안 프레임워크
여기서는 3장의 적응 모델을 개발에 적용하기 위한 프레임워크를 살펴본다. 저작 단계와 모바일 단말에서의 실행 단계로 구성되는 전체적인 과정은 다음과 같다.
  • 입력
  • 1) 기존의 방법으로 개발된 모바일 앱과 기본 사용자 인터페이스 (뷰 집합 V)
  • 2) 사용자 감정 상태 인식 모듈
  • 저작 단계
  • 1) 정책과 적응 상태 집합을 선택한다. (SEA집합 결정)
  • 3) 선택된 뷰에 대해 적응 뷰를 개발한다.
  • - select a view v ∈ V,
  • - select a ∈ SEA,
  • - generate EA view va= t(v, a) ∈ VEA.
  • 4) 디자인 결과를 중간 표현으로 저장한다. 중간 표현은 감정 적응을 위해 다음 정보를 추가로 포함한다.
  • - 적응 상태 집합과 매핑 정보,
  • - 각 적응 뷰의 변경 효과
  • 모바일 단말의 실행 단계
  • 1) 런타임 환경에서 중간 표현을 로드한다.
  • 2) 어플리케이션에서 사용자의 감정 상태를 인식하여 상태 u를 구한다. (Fig. 5A)
  • 3) 어플리케이션에서 사용자 상태에 대응하는 적응 상태와 적응 뷰를 구한다. (Fig. 5B)
  • 4) 어플리케이션에서 해당하는 뷰를 화면에 렌더링한다. (Fig. 5C)
이상의 과정을 그림으로 표현한 것이 Fig. 4 와 같다.
- 4.3 EA 사용자 인터페이스 저작 도구 프로토타입 개발
본 논문에서는 DAT4UX 시스템에 감정 적응 기능을 확장하여 제안된 프레임워크를 적용한 적응 뷰 편집 기능을 개발하였다. 편집기에서 확장된 주요 기능으로는 뷰 별로 감정 적응을 표현하기 위한 색 필터 변경, 애니메이션 세팅 변경, 그리고 이벤트 트리거 액션의 설정 등이 가능하게 한 점이다. ( Fig. 5 참조) 또한 미리 감정 적응 정책이 설정되고 난 후 탐색창에서 뷰를 선택하면 적응 상태 별로 뷰 세팅을 설정할 수 있다. 적응 상태(Preview Pane의 하단에 표시됨)가 적용되고 각 적응 상태에 대응하는 대응하는 뷰의 버전을 생성할 수 있다. 설정에 따라 해당 뷰는 미리보기 창에서 보여진다.
PPT Slide
Lager Image
Editor view snapshot of the authoring tool prototype implementation.
Fig. 6 은 감정 적응을 위한 개별 뷰의 속성 설정창(EA Editing Pane)을 더 자세히 보여준다. 칼라 필터를 설정할 수 있고 객체 별로 빈도, 속도, 색깔, 숨김여부를 설정할 수 있다. 즉 감정 에 반응하는 뷰의 변형을 지정하게 위해 Fig. 6 의 예에서는 반짝이는 아이템의 빈도와 새의 날아가는 속도와 색깔 필터 등을 설정하고 감정 상태에 따라 다른 객체를 대체하는 것도 가능하다. 또한 각 객체 또는 버튼의 이벤트 트리거 설정을 통해 화면 로딩 단계에 핸들러를 실행할지 또는 사용자 액션에 따라 실행할지를 지정할수 있다. 이와 같이 선택된 뷰에 저작도구에서 제공하는 효과와 설정을 통해 적응 뷰를 생성한다.
PPT Slide
Lager Image
Snapshot of the view attribute setting dialog.
- 4.4 어플리케이션 사례 개발
본 논문에서는 제안된 EA 인터페이스 개발 프레임워크를 활용한 어플리케이션 사례를 개발하였다. 이 앱은 학습관리시스템의 온라인 강의실을 구현한 것으로 초기화면과 과목 목록 보기와 공지사항 보기, 그리고 환경설정 뷰를 가진다. 초기 화면의 경우 반영 정책에 따라 감정 상태 별로 다른 뷰를 가지는데, 앱을 처음 실행시키면 Fig. 7 (a)와 같은 자가진단 창이 나오고 사용자 감정 상태를 입력하면 대응하는 초기화면의 적응 뷰가 보여지게 된다. 설정된 적응 뷰가 없는 상태는 디폴트 뷰가 나타난다. Fig. 7 의 예에서는 설정된 상태가 Happy 상태(++,+0)이므로 디폴트 뷰에 비해 밝은 화면과 꾸밈 객체의 수 증가를 통해 감정 상태를 반영하고 있다.
PPT Slide
Lager Image
Sample EA versions for the opening view of virtual lecture room application. The left view is a selfdiagnosis dialog, and the center one shows the variation for representing happiness for a given default view (the rightmost one). From left to right, (a) self-diagnosis diagram, (b) (++, +0) state ER view, (c) default view screen capture.
이 예제는 제안된 감정 적응 저작도구 모델에서 화면 구성의 시각적 효과가 모바일 어플리케이션에 적용됨을 보이기 위한 것이다. 반짝임이나 떨어지는 잎과 같은 편집기의 시각적 효과가 의도한 감정 적응 효과를 나타내는지를 확인하는 것은 향후 연구 과제이다. 설득력 있는 감정 적응 인터페이스를 얻기 위해서는 디자이너의 창조적인 작업과 오랜 노력이 요구될 것으로 보인다. 본 연구에서 제시된 감정 적응뷰 편집을 위한 저작도구 기능을 활용한다면 개발에 지나친 부담을 주지 않고 효과적인 적응 뷰 설계와 통합이 가능할 것이다.
5. 결 론
감정 적응형 인터페이스 설계 프레임워크를 개발하기 위해 본 논문에서는 감정 적응 모델을 제안하고 저작도구를 활용한 개발 프레임워크를 제시하였다.
먼저 설계의 기반이 되는 감정 적응 모델은 감정 적응 정책의 개념을 이용하여, 인터페이스에서 다르게 반응하는 적응 상태 집합을 결정하는 방법을 제안하였다. 감정 상태 별로 다른 적응 뷰 버전을 매핑하는 방법도 소개하였다.
또한 제안된 모델을 개발에 적용하기 위하여 저작 도구를 활용하는 접근 방법을 살펴보았다. 감정 적응 모델을 구현하기 위해서는 감정 상태에 반응할 수 있는 뷰의 여러 개 버전을 생성하고 이를 동적으로 사용자 상태에 매핑할 수 있어야 한다. 기존의 개발과 비교하여 감정 적응 인터페이스의 개발을 위해서는 추가적으로 상당한 개발 부담이 요구된다. 이러한 문제를 해결하기 위하여 정책과 적응 모델을 제공하고 저작도구를 활용하여 적응 뷰 버전을 개발하기 위한 프레임워크를 제안하였다.
마지막으로 우리는 제안된 접근방법을 기개발된 저작도구 DAT4UX 시스템에 확장하여 저작도구의 프로토타입을 개발하였다. 구현된 편집기는 디자이너들이 EA 사용자 인터페이스를 설계하고 생성하는 과정을 지원하기 위하여 색깔 필터, 애니메이션 설정 등 시각적 효과의 편집 기능을 제공한다. 또한 제안된 방법에 따라 감정 자가진단 기능을 포함한 모바일 앱을 개발하여 감정 적응형 인터페이스의 사례를 제시하였다.
제안된 정책과 적응 모델은 감정 적응 인터페이스의 개발을 위한 가이드로 사용될 수 있을 것이다. 또한 인터페이스 사례 개발을 통해 제안된 개발 방법과 저작도구 편집기가 감성적인 모바일 앱의 개발에 필요한 노력과 복잡도를 상당 부분 낮추어 줄 수 있음을 확인하였다. 저작도구의 실행 환경 부분의 개발이 아직 완료되지 않은 상태이나 제안된 개발 접근 방법과 저작도구 프로토타입은 감성 적응 모바일 앱 개발을 위한 테스트베드로서의 역할을 할 수 있을 것으로 기대된다. 향후 연구로는 우선 실행 환경의 개발을 완료하여 저작 결과를 모바일 어플리케이션에 통합하는 과정을 지원하는 것이 필요하다. 또한 본 논문에서 제안된 방법을 적용한 모바일 어플리케이션의 개발을 통하여 감정 적응의 효과성을 검증하기 위한 실험이 필요하다.
BIO
이 은 정
1990년 2월 한국과학기술원 전산학과(공학석사)
1994년 8월 한국과학기술원 전산학과(공학박사)
2001년 3월~현재 경기대학교 컴퓨터과학과 교수
관심분야 : XML 처리 기술, 모델 기반 프로그램 개발 방법, 사용자 인터페이스 기술
김 규 완
2009년 3월~현재 경기대학교 컴퓨터과학과 재학생
관심분야 : 모바일 프로그램 개발, 모바일개발환경 및 저작 도구기술
김 우 빈
2015년 2월 경기대학교 컴퓨터과학과 졸업
2015년 2월~현재 (주)야긴스텍기술연구소 사원
관심분야 : 사용자 인터페이스 기술, 모바일개발환경 및 저작도구기술
References
Picard R. W. 2003 "Affective Computing: Challenges," International Journal of HumanComputer Studies 59 (1) 55 - 64    DOI : 10.1016/S1071-5819(03)00052-1
Calvo R. A. , Sidney D. 2010 "Affect Detection: An Interdisciplinary Review of Models, Methods, and their Applications," IEEE Transactions on Affective Computing 1 (1) 18 - 37    DOI : 10.1109/T-AFFC.2010.1
D'Mello S. , Jacqueline K. "Consistent but Modest: a Meta-analysis on Unimodal and Multimodal Affect Detection Accuracies from 30 Studies," Proceeding of the 14th ACM International Conference on Multimodal Interaction 2012 31 - 38
Gay V. , Peter L. 2014 "Design of Emotionaware Mobile Apps for Autistic Children," Health and Technology 4 (1) 21 - 26    DOI : 10.1007/s12553-013-0066-3
Yu H. , Sunderraj M. A. C. M. A. A. , Wong C. K. 2015 "Emotion Aware System for the Elderly," Lecture Notes in Computer Science 8456 175 - 183
Rodriguez P. , Ortigosa A. , Carro R. M. 2014 "Detecting and Making use of Emotions to Enhance Student Motivation in e-Learning Environments," International Journal of Continuing Engineering Education and Life Long Learning 24 (2) 168 - 183    DOI : 10.1504/IJCEELL.2014.060156
Naz K. A. Y. A. , Helen. H. 2004 "Color-emotion Associations: Past Experience and Personal Preference," Proceeding of AIC 2004 Color and Paints, Interim Meeting of the International Color Association 5 31 - 34
Gunes H. , Schuller B. , Pantic M. , Cowie R. "Emotion Representation, Analysis and Synthesis in Continuous Space: A Survey," Proceeding of Automatic Face & Gesture Recognition and Workshops, 2011 IEEE International Conference on IEEE 2011 827 - 834
Saerbeck M. , Bartneck C. "Perception of Affect Elicited by Robot Motion," Proceeding of the 5th ACM/ IEEE International Conference on Human-robot Interaction 2010 53 - 60
Park T. H. , Kim J. H. 2009 "Automatic Facial Expression Generation System of Vector Graphic Character by Simple User Itnerface," Journal of Korea Multimedia Society 12 (8) 1155 - 1163
Dalmasso I. , Datta S. K. , Bonnet C. , Nikaein N. "Survey, Comparison and Evaluation of Cross Platform Mobile Application Development Tools," Wireless Communications and Mobile Computing Conference, 2013 9th International 2013 323 - 328
m-BizMaker http://www.mbizmaker.com
AppInventor http://appinventor.mit.edu
Kim B. S. , Kang M. A. , Kim W. "Design of an Authoring Tool for Interactive Animation Contents based on OpenGL for Mobile Environment," Proceeding of KICS 2015 Winter Conference 2015 8D - 579
Peter C. , Ebert E. , Beikirch. H. 2005 "A Wearable Multi-sensor System for Mobile Acquisition of Emotion-related Physiological Data," Lecture Notes in Computer Science 3784 691 - 698
Posner J. , Russell J. A. , Peterson B. S. 2005 "The Circumplex Model of Affect: An Integrative Approach to Affective Neuroscience, Cognitive Development, and Psychopathology," Development and Psychopathology 17 (3) 715 - 734    DOI : 10.1017/S0954579405050340
Peter C. , Herbon A. 2006 "Emotion Representation and Physiology Assignments in Digital Systems," Interacting with Computers 18 (2) 139 - 170    DOI : 10.1016/j.intcom.2005.10.006
Sánchez J. A. , Hernández N. P. , Penagos J. C. , Ostróvskaya Y. "Conveying Mood and Emotion in Instant Messaging by using a Two-dimensional Model for Affective States," Proceeding of VII Brazilian Symposium on H uman Factors in Computing Systems 2006 66 - 72
Yang C. K. , Peng L. K. 2008 "Automatic Mood-transferring between Color Images," Computer Graphics and Applications 28 (2) 52 - 61    DOI : 10.1109/MCG.2008.24
Terada K. , Yamauchi A. , Ito A. "Artificial Emotion Expression for a Robot by Dynamic Color Change," Proceeding of RO-MAN'2012 2012 314 - 321
Lee J. , Park J. , Nam T. 2007 "Emotional Interaction through Physical Movement," Lecture Notes in Computer Science 4552 401 - 410
Sievers B. , Polansky L. , Casey M. , Wheatley T. 2013 "Music and Movement Share a Dynamic Structure that Supports Universal Expressions of Emotion," Proceeding of the National Academy of Sciences 110 (1) 70 - 75    DOI : 10.1073/pnas.1209023110
Kim D. K. , Cho Y. , Park K. S. 2015 "Mediating Individual Affective Experience through the Emotional Photo Frame," Journal of Ambient Intelligence and Smart Environments 7 (1) 99 - 113
Augusto J. C. , Zhang T. 2014 "Boulevard: Affective Adaptive User Interface," Proceeding of the 10th International Conference on Intelligent Environments 18 74 - 79
Scherer K. R. 1984 "Emotion as a Multicomponent Process: A Model and Some Cross-cultural Data," Review of Personality & Social Psychology 5 37 - 63
Fontaine J. R. , Scherer K. R. , Roesch E. B. , Ellsworth P. C. 2007 "The World of Emotions is not Two-dimensional," Psychological Science 18 (12) 1050 - 1057    DOI : 10.1111/j.1467-9280.2007.02024.x
Shen L. , Wang M. , Shen R. 2009 "Affective e-Learning: Using" Emotional" Data to Improve Learning in Pervasive Learning Environment," Educational Technology & Society 12 (2) 176 - 189
Mattila E. , Parkka J. , Hermersdorf M. 2008 "Mobile Diary for Wellness Management— results on Usage and Usability in Two User Studies," Information Technology in Biomedicine, IEEE Transactions on 12 (4) 501 - 512    DOI : 10.1109/TITB.2007.908237
Park S. , Ihm S. , Jang W. , Nasridinov A. , Park Y. 2015 "A Music Recommendation Method with Emotion Recognition using Ranked Attributes," Lecture Notes in Electrical Engineering 330 1065 - 1070
Groth M. , Hennig-Thurau T. , Walsh G. 2009 "Customer Reactions to Emotional Labor: The Roles of Employee Acting Strategies and Customer Detection Accuracy," Academy of Management Journal 52 (5) 958 - 974    DOI : 10.5465/AMJ.2009.44634116