Advanced
Comparison of EEG Feature Vector for Emotion Classification according to Music Listening
Comparison of EEG Feature Vector for Emotion Classification according to Music Listening
The Transactions of The Korean Institute of Electrical Engineers. 2014. May, 63(5): 696-702
Copyright © 2014, null
  • Received : March 19, 2014
  • Accepted : April 06, 2014
  • Published : May 01, 2014
Download
PDF
e-PUB
PubReader
PPT
Export by style
Article
Author
Metrics
Cited by
TagCloud
About the Authors
소민 이
Dept. of Media Software, Sangmyung University, Korea
성우 변
Dept. of Media Software, Sangmyung University, Korea
석필 이
Corresponding Author : Dept. of Media Software, Sangmyung University, Korea E-mail :esprit@smu.ac.kr

Abstract
Recently, researches on analyzing relationship between the state of emotion and musical stimuli using EEG are increasing. A selection of feature vectors is very important for the performance of EEG pattern classifiers. This paper proposes a comparison of EEG feature vectors for emotion classification according to music listening. For this, we extract some feature vectors like DAMV, IAV, LPC, LPCC from EEG signals in each class related to music listening and compare a separability of the extracted feature vectors using Bhattacharyya distance. So more effective feature vectors are recommended for emotion classification according to music listening.
Keywords
1. 서 론
인간 사회에서는 서로 간의 정보를 주고받을 때 언어를 사용하는 것뿐만 아니라, 감정과 같은 비언어적인 정보 또한 중요하게 사용된다. 이렇게 감정 정보들이 중요해짐에 따라 생체신호, 몸짓 등을 가지고 인간의 감정분석에 관한 연구들이 진행되었다[ 1 ][ 2 ].
생체신호에서 뇌의 기능과 관련된 생리학 및 병리학적인 연구에 있어 필수적으로 이용하는 기본 생체 신호인 EEG (Electroencephalogram)신호는 과거에 주로 의학 분야와 심리학의 영역에서 간질이나 발작, 파킨슨 병 등과 같은 뇌질환을 신호처리 기술을 이용하는 정량적인 연구로 진행되었다[ 3 ][ 4 ]. 하지만 최근에 들어서는 이러한 EEG 신호가 대뇌의 활동을 반영한다는 점에서 인간의 두뇌에서도 감정을 조절하는 영역들이 있다는 것이 밝혀지고, 이를 바탕으로 EEG 기반의 감정인식은 생체신호처리 영역에서 많은 연구들이 진행되고 있다[ 5 ][ 6 ].
최근에는 음악 청취 시 사람의 감정을 분석하기 위하여 음악이 사람의 감정, 정서적인 변화에 어떠한 영향을 미치는지, 뇌에 어떠한 영향을 유발하는지에 대한 연구[ 7 ][ 8 ]와 EEG 신호를 이용하여 음악적 자극에 따른 사람의 감정을 추론하고 분석하는 연구들도 진행되고 있다[ 9 ]. 이러한 연구들에서 중요한 요소 중 하나인 음악에 따른 감정분석에의 최적의 EEG 채널 선택하는 연구도 진행되었다[ 10 ].
EEG신호에서 음악에 따른 감정분류를 하기 위해서는 적절한 특징벡터와 정확한 분류엔진이 중요하다. 따라서 본 논문에서는 패턴 분류의 정확도를 높이기 위해 생체 신호, EEG신호의 특징을 잘 반영한다고 알려진 특징벡터들 중에서 음악 청취 시 사람의 감정분류에 적합한 특징벡터를 비교, 분석하고자 한다[ 11 ][ 12 ][ 13 ]. 이를 위해 EEG 신호에서 절대적분치 (Integral Absolute Value : IAV), 절대차분평균치 (Difference Absolute Mean Value : DAMV), 선형예측계수 (Linear Prediction Coefficient : LPC), 선형예측 켑스 트럼계수(Linear Prediction Cepstral Coefficient : LPCC)를 특징벡터로 추출하고 패턴분류 문제에 있어 클래스 간 분리도 측정의 수단이며, 특히 각 클래스의 분포가 가우시안 형태를 가질 때 가장 좋은 평가 기준이 되는 바타캐리야 거리 (Bhattacharyya distance)[ 11 ]를 이용하여 음악과 관련된 감정분류에 적합한 특징벡터를 구하고자 한다.
본 논문의 구성은 다음과 같다. 2장에서는 EEG 신호의 특징, 3장에서는 특징벡터에 대한 설명, 4장에서는 실험데이터 설명 및 특징벡터 비교과정과 실험결과를 보여주고, 마지막으로 5장에서는 실험결과를 통해 결론 및 향후과제로 맺도록 한다.
2. EEG
뇌파는 뇌의 전기적인 활동을 머리 표면에 부착한 전극에 의해 비침습적으로 측정한 전기신호이다. 1875년 영국의 생리학자 R.케이튼이 처음으로 토끼· 원숭이의 대뇌피질에서 나온 미약한 전기활동을 검류계로 기록한 것이 뇌파 최초의 보고로 알려진다. EEG 신호는 주파수 범위에 따라 알파파(α), 베타파(β), 세타파(θ), 감마파(γ)등으로 구분 한다.
일반적으로 베타파는 긴장하거나 집중해서 일할 때 나타나며, 진폭이 작고 형태가 불규칙적이다. 반면 알파파는 마음이 편하고 안정되어 있을 때 나타나며, 진폭은 크고 규칙적이다. 세타파나 델타파 같은 뇌파는 주로 수면 상태에서 나타나므로, 우리가 의식이 있는 상태인 일상에서는 주로 알파파와 베타파가 나타난다고 볼 수 있다.
PPT Slide
Lager Image
EEG신호 스펙트럼 분석 Fig. 1 spectrum analysis using EEG signal
EEG를 이용한 감성연구는 생리 반응 측정 기술을 이용한 감성 측정 연구에서 최근 가장 선호되고 있는 연구 방법 중의 하나이다. EEG측정은 음악 청취 시 피험자 뇌에서 진행되고 있는 활동을 평가할 수 있고, 자극과 반응만으로는 설명될 수 없는 생리적 현상과 심리적인 두뇌의 기능을 반영한 정서를 나타내는 지표로 활용될 수 있다[ 14 ].
3. 특징벡터
본 논문에서는 뇌파의 특징을 잘 반영한다고 알려져 있는 특징벡터인 절대적분치, 절대차분평균치, 선형예측계수, 선형예측 켑스트럼계수를 이용하여 각 클래스간의 분리도를 비교하였다.
먼저 절대적분치는 신호의 절대 적분치를 나타내는 특징으로서, 일정시간 동안의 신호의 절대값을 적분한 것이며 식 (1) 으로 정의할 수 있다.
PPT Slide
Lager Image
여기에서,
X : 측정된 EEG 신호 , Δt : 샘플링 시간 간격 , N : 샘플의 수 , i : 샘플의 순서
절대차분평균치는 각 시계열 신호의 차분 값에 대한 절대 평균치를 나타내는 특징으로 식 (2)와 같다.
PPT Slide
Lager Image
선형예측계수는 선형 결합에 의해 과거의 신호에서 현재의 신호 [n]을 예측하는 방법으로 전극 (All-pole)모델을 사용하여 식(3) 과 같이 차분 방적식의 형태로 나타낼 수 있다. 여기에서 Sn 은 입력 신호이고 Ŝn 은 예측 신호이고, ɑi 는 선형예측계수이며 p는 예측계수의 차수 이다. 현재신호와 예측된 신호의 예측오차는 식(4) 와 같다.
PPT Slide
Lager Image
PPT Slide
Lager Image
식(5) 은 예측오차 en 에 대한 MSE(mean square error), J 이며 J를 최소로 하는 선형예측 계수를 찾기 위하여 식(5) 을 ɑi 에 대하여 편미분하여 0이되는 p개의 선형 연립방정식 (6) 를 얻을 수 있다[ 15 ]. 식(6)은 식(7)과 같이 나타낼 수 있고, 선형예측계수는 자기상관 행렬의 역행렬을 이용하여 구할 수 있다.
PPT Slide
Lager Image
PPT Slide
Lager Image
for i = 1... p
PPT Slide
Lager Image
선형예측 켑스트럼 계수는 C(z)의 inverse z-transform으로 정의되고 식은 다음과 같다.
PPT Slide
Lager Image
전극(All-pole) z = zi 가 unit cycle안에 있고, gain 값을 1로 주면 선형예측 켑스트럼 계수 ( cip (n))는 아래와 같이 정의 된다.
PPT Slide
Lager Image
선형예측 켑스트럼 계수는 recursive에 의해 예측계수 값으로부터 구한다.
PPT Slide
Lager Image
4. 실험
- 4.1 실험 데이터
본 연구를 위한 실험 데이터는 런던의 Queen Mary University, 네덜란드의 Twente University, 스위스의 EPFL 연구소에서 만들어서 DB화 시킨 DEAP 데이터를 이용하였다[ 16 ].
총 120가지의 곡(감정)들 중에서는 영국에 last.fm 이라는 음악 네트워크에서 선별된 fun, exciting, hate, happy, love, sad, mellow 와 같은 감정적인 태그들을 분류하여 40 개의 뮤직비디오 곡을 선택하였다. 아래 표 1 은 선택된 40개의 뮤직비디오에 대한 정보이다.
선택된 뮤직비디오Table 1 Selected music video
PPT Slide
Lager Image
선택된 뮤직비디오 Table 1 Selected music video
DEAP데이터에서 실험에 참가한 사람들은 32명으로 50%가 여성이고, 나이는 19세에서 37세 사이로 평균나이가 26.9세의 사람들이 이 실험에 참가하였다. 참가자들에게 뇌파를 측정하기 위해 센서를 부착하였고, 총 40개의 뮤직비디오를 보고 40번의 시도를 다음과 같이 진행하였다. 실험이 진행되는 2초 동안은 스크린에 뮤직비디오의 순번을 띄어주어 진행순서를 알게 하였고, 5초 동안은 참가자들의 baseline 신호를 기록한 후 뮤직비디오를 1분 동안 감상하여 arousal, valence, liking, dominanace 4가지의 항목 중 참가자들이 느꼈던 감정을 자체평가하도록 진행하였다.
획득한 데이터에서 느린 파동과 고주파 노이즈를 제거하기 위하여 0.6Hz 와 100Hz 에 bandpass filter를 사용하였고, 하드웨어의 다른 버전과 분류 문제를 빠르게 실험 할 수 있도록 512Hz로 샘플링 한 원 데이터를 128Hz로 다운 샘플링 하였다. 또 한, EEG 신호에는 눈 깜빡임, 시선의 이동, 근육의 이완과 수축 등과 같은 의도치 않은 정보 들이 포함되어 있다. 이러한 artifact들은 EEG 신호의 큰 변화와 차후 의 패턴 분류에 정확도에 있어 부정확성의 문제를 일으킬 수 있기 때문에 DEAP 데이터에서는 이러한 artifact들을 직교 투영법을 사용하여 제거하였다.
특징 추출을 위한 EEG 데이터는 그림 2 와 같이 기존연구[ 10 ]에서 제시된 데로 음악에 따른 감정분류에 가장 적절하다고 제시가 된 채널 FC5에서 추출된 알파파와 베타파를 이용하였다.
PPT Slide
Lager Image
EEG 10/20 시스템 Fig. 2 EEG 10/20 SYSTEM
- 4.2 특징벡터 비교
EEG신호에서 음악에 따른 감정분류를 하기 위한 특징벡터들의 비교과정은 그림 3 과 같다.
추출된 EEG 데이터를 이용하여 본 논문에서는 하나의 조건에 대한 32명의 EEG 신호를 하나의 클래스로 볼 때, 40개의 클래스에 대하여 각각 IAV, DAMV, LPC, LPCC 를 특징벡터로 이용하게 된다. 추출된 특징벡터들 중 음악청취시 감정분류에 효율이 높은 특징벡터를 선택하기 위해 각 클래스의 분포가 가우시안 형태를 가질 때 가장 좋은 평가 기준이 되는 바타캐리야 거리를 이용하여 특징벡터 당 각 클래스 간의 거리를 구한다. 바타캐리야 거리의 식은 아래와 같다.
PPT Slide
Lager Image
특징벡터 비교 과정 Fig. 3 Feature vector comparison process
PPT Slide
Lager Image
여기에서,
M1, M2 : 클래스 1, 2의 평균, Σ1, Σ2 : 클래스 1, 2의 공분산, ∥ : 행렬식
바타캐리야 거리가 가장 큰 값이 나온 특징벡터가 클래스간의 거리가 가장 멀리 떨어져 있다는 의미이기 때문에 패턴분류에 가장 용이하다. 따라서 바타캐리야 거리가 가장 큰 값을 갖는 특징벡터가 음악 청취 시 사람의 감정분류를 하는데에 있어서 적합하다고 할 수 있다.
- 4.3 실험 결과
선택된 채널에서의 실험데이터로부터 전처리 과정을 거친 후에, 각 클래스에서 특징벡터 IAV, DAMV, LPC, LPCC를 추출 하였다. LPC와 LPCC의 차수는 기존 연구[ 12 ][ 17 ]들과 같이 10차로 정하였다. 이렇게 추출된 특징벡터들을 이용하여 클래스 간의 거리를 바타캐리야 거리로 이용하여 구하였다.
그림 4 , 그림 5 는 각각 알파파, 베타파에서 절대적분치를 특징벡터로 추출한 후, 각 클래스 간의 거리를 바타캐리야 거리로 이용하여 나타낸 결과이다. 절대적분치를 이용하여 구한 클래스 간의 바타캐리야 거리의 평균값은 알파파에서 0.016732, 베타파에서 0.016286로 나왔다.
그림 6 , 그림 7 은 각각 알파파, 베타파에서 절대차분평균치를 특징벡터로 추출한 후, 각 클래스 간의 거리를 바타캐리야 거리로 이용하여 나타낸 결과이다. 절대차분평균치를 이용하여 구한 클래스 간의 바타캐리야 거리의 평균값은 알파파에서 0.018687, 베타파에서 0.022484로 나왔다.
PPT Slide
Lager Image
절대적분치의 분리도 (알파파) Fig. 4 Separability of IAV_alpha wave
PPT Slide
Lager Image
절대적분치의 분리도 (베타파) Fig. 5 Separability of IAV (beta wave)
PPT Slide
Lager Image
절대차분평균치의 분리도 (알파파) Fig. 6 Separability of DAMV (alpha wave)
그림 8 , 그림 9 는 각각 알파파, 베타파에서 선형예측계수를 특징벡터로 추출한 후, 각 클래스 간의 거리를 바타캐리야 거리로 이용하여 나타낸 결과이다. 선형예측계수를 이용 하여 구한 클래스 간의 바타캐리야 거리의 평균값은 알파파에서 0.47158, 베타파에서 0.352213로 나왔다.
PPT Slide
Lager Image
절대차분평균치의 분리도 (베타파) Fig. 7 Separability of DAMV (beta wave)
PPT Slide
Lager Image
선형예측계수의 분리도 (알파파) Fig. 8 Separability of LPC (alpha wave)
PPT Slide
Lager Image
선형예측계수의 분리도 (베타파) Fig. 9 Separability of LPC (beta wave)
그림 10 , 그림 11 은 각각 알파파, 베타파에서 선형 예측 켑스트럼 계수를 특징벡터로 추출한 후에, 각 클래스 간의 거리를 바타캐리야 거리로 이용하여 나타낸 결과이다. 선형예측 계수를 이용하여 구한 클래스 간의 바타캐리야 거리의 평균 값은 알파파에서 0.492317, 베타파에서 0.286166로 나왔다.
표 2 는 특징벡터 당 클래스간의 분리도를 평균한 결과이다. 알파파의 경우에는 특징벡터가 LPCC일 때, 베타파의 경우 특징벡터가 LPC일 때 분리도가 가장 크게 나왔다. 이는 LPC와 LPCC가 각각 알파파, 베타파에서 음악에 따른 감정 변화를 잘 반영할 수 있는 특징벡터로 적합하다는 것을 보여준다. 또한 알파파와 베타파의 특징벡터들의 값을 보면 분리도가 알파파의 경우가 베타파의 경우보다 상대적으로 큰 값을 가지고 있기 때문에 EEG 신호의 알파파가 음악 청취 시에 사람의 감정분류에 있어 베타파보다 더 적합하다고 판단된다.
PPT Slide
Lager Image
선형예측 켑스트럼 계수의 분리도 (알파파) Fig. 10 Separability of LPCC (alpha wave)
PPT Slide
Lager Image
선형예측 켑스트럼 계수의 분리도 (베타파) Fig. 11 Separability of LPCC (beta wave)
특징벡터 당 클래스간 분리도 평균Table 2 Mean values of separability among classes per each feature vector
PPT Slide
Lager Image
특징벡터 당 클래스간 분리도 평균 Table 2 Mean values of separability among classes per each feature vector
5. 결 론
본 연구에서는 패턴 분류의 정확도를 높이기 위해 EEG 신호의 특징을 잘 반영한다고 알려진 특징벡터들 중에서 음악 청취 시 사람의 감정분류에 적합한 특징벡터를 비교, 분석하고자 한다. 이를 위해 40개의 음악에 대한 클래스를 구성하고, 추출된 EEG 신호에서 각각의 클래스에 대해 절대적분치와 절대차분평균치, 선형예측계수, 선형예측 켑스트럼 계수를 추출하였다. 그리고 클래스 간의 거리를 구하기 위해 바타캐리야 거리를 이용한 결과, 특징벡터 당 클래스 간의 분리도가 알파파의 경우, 특징벡터가 LPCC 일 때 가장 값이 크게 나왔고, 베타파의 경우, 특징 벡터가 LPC일 때 가장 값이 크게 나왔다. 또한 각각의 특징벡터에 대하여 알파파와 베타파의 값을 비교하였을 때, 베타파보다 알파파가 상대적으로 분리도가 크게 나왔다. 결과적으로 음악에 따른 감정변화를 잘 반영할 수 있는 특징벡터로는 베타파에서는 LPC, 알파파에서는 LPCC 였으며, EEG 신호에서 알파파가 음악 청취 시 감정 분류에 있어서 베타파보다 효율이 높은 것으로 나타났다.
향후 본 논문의 실험 결과를 바탕으로 분리도가 높은 특징벡터를 이용하여 패턴분류를 하게 된다면, 음악청취 시 EEG 신호에서 사람 감정분류에 더 효과적이고, 정확한 결과를 기대할 수 있다.
Acknowledgements
본 연구는 2014년도 상명대학교 교내연구비를 지원 받아 수행하였음.
BIO
이 소 민 (李 素 旻) 2011년 ~ 현재 상명대학교 미디어 소프 트웨어 학과 학석사 연계과정 <주관심분야> 멀티미디어처리, 인공지능
변 성 우 (邊 成 宇) 2014년 상명대학교 디지털미디어학과 이 학사 2014년 ~ 현재 상명대학교 컴퓨터 과학 과 석박사 연계 과정 <주관심분야> 멀티미디어처리, 인공지능
이 석 필 (李 錫 弼) 1990년 연세대학교 전기공학과 공학사 1992년 연세대학교 전기공학과 공학석사 1997년 연세대학교 전기공학과 공학박사 1997년 ~ 2002년 대우전자 영상연구소 선임연구원 2002년 ~ 2012년 KETI 디지털미디어연 구센터 센터장 2010년 ~ 2011년 미국 Georgia Tech. 방문연구원 2012년 ~ 현재 상명대학교 미디어소프트웨어학과 교수 <주관심분야> 멀티미디어 검색, 방송통신시스템, 인공지능
References
Horlings Robert , Datcu Dragos , Rothkrantz Leon J. M. “Emotion recognition using brain activity” CompSysTech International Conference on Computer Systems and Technologies
D. O., Bos EEG-based emotion recognition: The influence of visual and auditory stimuli
Harris Bernard , Gath Isak 1994 “On time delay estimation of epileptic EEG” IEEE Trans.Biomedical Eng. 41 (9)
Stam C.J. , Jellesa B. , Achtereektea H.A.M. , Romboutsa S.A.R.B. , Slaetsb J.P.J. , Keunena R.W.M. 1995 “Investigation of EEG non-linearity in dementia and Parkinson's disease” Electroencephalography and Clinical Neurophysiology 95 (5) 309 - 317    DOI : 10.1016/0013-4694(95)00147-Q
Petrantonakis P.C , Hadjileontiadis L.J 2010 “Emotion Recognition From EEG Using Higher Order Crossings” IEEE Transactions on Information Technology in Biomedicine 14 (2) 186 - 197    DOI : 10.1109/TITB.2009.2034649
Ko Kwang-Eun , Yang Hyun-Chang , Sim Kwee-Bo 2009 “Emotion recognition using EEG signals with relative power values and Bayesian network” International Journal of Control, Automation and Systems 7 (5) 865 - 870    DOI : 10.1007/s12555-009-0521-0
Vijayalakshmi K , Sridhar S , Khanwani P. “Estimation of effects of alpha music on EEG components by time and frequency domain analysis” IEEE 2010 International Conference on Computer and Communication Engineering (ICCCE) 1 - 5
Varotto G , Fazio P , Sebastiano D.R , Avanzini G , Franceschetti S , Panzica F. “Music and emotion: An EEG connectivity study in patients with disorders of consciousness” IEEE 2012 Annual International Conference on Engineering in Medicine and Biology Society (EMBC) 5206 - 5209
Kim J. , Andre E 2008 “Emotion recognition based on physiological changes in music listening” IEEE Transactions on Pattern Analysis and Machine Intelligence 30 (12) 2067 - 2083    DOI : 10.1109/TPAMI.2008.26
Byun Sung-Woo , Lee So-Min , Lee Seok-Pil 2013 “A Selection of Optimal EEG Channel for Emotion Analysis According to Music Listening using Stochastic Variables” KIEE 62 (11) 1598 - 1603    DOI : 10.5370/KIEE.2013.62.11.1598
Lee Seok-Pil , Park Sang-Hui , Kim Jeong-Seop , Kim Ig-Jae “EMG pattern recognition based on evidence accumulation for prosthesis control” Proc Ann Intl Conf IEEE Eng Med Biol 4 1481 - 1483
Han Min , Sun Leilei “EEG signal classification for epilepsy diagnosis based on AR model and RVM" IEEE 2010 International Conference on Intelligent Control and Information Processing (ICICIP), 134 - 139
Lederman Dror , Tabrikian Joseph 2012 “Classification of multichannel EEG patterns using parallel hidden Markov models” Medical & Biological Engineering & Computing 50 (4) 319 - 328    DOI : 10.1007/s11517-012-0871-2
Kim Eun_Young 2005 “The effect of musical stimulus on EEG spectra of listeners” Korean Music Therapy Association 7 (1) 1 - 18
Padmasai Y “Linear Prediction Modelling for the Analysis of the Epileptic EEG” IEEE-Advances in Computer Engineering (ACE), 2010 International Conference on 6 - 9
Koelstra S. , Muhl C , Soleymani M , Lee Jong-Seok , Yazdani A , Ebrahimi T , Pun T , Nijholt A , Patras I 2012 “DEAP: A Database for Emotion Analysis using Physiological Signals” IEEE Transaction on Affective ComputingSpecial Issue on Naturalistic Affect Resources for System Building and Evaluation 3 (1) 18 - 31
Han Hyungseob , Chong Uipil 2012 “Electroencephalogram-based Driver Drowsiness Detection System Using AR Coefficients and SVM” Journal of Korean institute of intelligent systems 22 (6) 768 - 773    DOI : 10.5391/JKIIS.2012.22.6.768