Advanced
A Selection of Optimal EEG Channel for Emotion Analysis According to Music Listening using Stochastic Variables
A Selection of Optimal EEG Channel for Emotion Analysis According to Music Listening using Stochastic Variables
The Transactions of The Korean Institute of Electrical Engineers. 2013. Nov, 62(11): 1598-1603
Copyright © 2013, The Korean Institute of Electrical Engineers
  • Received : September 11, 2013
  • Accepted : October 13, 2013
  • Published : November 01, 2013
Download
PDF
e-PUB
PubReader
PPT
Export by style
Article
Author
Metrics
Cited by
TagCloud
About the Authors
성 우 변
Dept. of Digital Media Technology, Sangmyung University, Korea
소 민 이
Dept. of Digital Media Technology, Sangmyung University, Korea
석 필 이
Corresponding Author : Dept. of Digital Media Technology, Sangmyung University, Korea E-mail :esprit@smu.ac.kr

Abstract
Recently, researches on analyzing relationship between the state of emotion and musical stimuli are increasing. In many previous works, data sets from all extracted channels are used for pattern classification. But these methods have problems in computational complexity and inaccuracy. This paper proposes a selection of optimal EEG channel to reflect the state of emotion efficiently according to music listening by analyzing stochastic feature vectors. This makes EEG pattern classification relatively simple by reducing the number of dataset to process.
Keywords
1. 서 론
세계 2차 대전 중에는 미국에서 전쟁 중에 살인과 같은 이상체험으로 인한 쇼크로 불면증, 우울증, 정신분열 등의 환자가 다수 발생하였고, 이들의 치유대책으로 음악 요법이 적극적으로 도입되었다. 이 후, 음악요법으로 환자의 질병치유에 관한 많은 연구, 음악과 음향진동의 자극에 의한 인체의 반응, 특정 장르 또는 유형의 음악이 뇌파에 어떤 영향을 미치는가에 대한 연구가 진행되었다[ 1 ][ 2 ]. 생리 반응 측정 기술 중에서도 뇌파(EEG) 연구는 음악자극에 대한 감성연구에 효과적이라고 알려져 있다[ 3 ]. 뇌파와 같이 인체에서 발생하는 다양한 생체신호를 계측하고, 패턴인식 기법을 적용하여, 사람의 정서적, 인체적 반응을 분류하고 인식하는 연구가 많이 진행되었고, 이에 따라 생체신호에 대한 첨단 신호처리 및 패턴인식 기법의 연구가 진행되고 있다 [ 4 ][ 5 ][ 6 ][ 7 ].
최근에는 음악이 사람의 감정, 정서적인 변화에 어떠한 영향을 미치며 생리학적으로는 어떤 변화를 초래하는지, 음 악적 자극이 뇌에서 어떠한 변화를 유발하는가에 대하여 관심을 갖고 음악적 자극과 EEG 신호 간의 관계에 대한 연구가 진행되고 있으며[ 8 ][ 9 ], 이러한 연구와 함께 음악적 자극에 대한 사람의 감정을 추론하는 패턴인식, 감정분석에 대한 연구도 많이 진행되고 있다[ 10 ][ 11 ]. 이러한 연구들에서는 패턴 분류에 효율이 높은 EEG 채널을 선택하는 것 이 중요한데, 선행 연구들에서는 채널 선택 시 실험자가 대뇌피질의 기능적인 분류와 수용가능한 모든 채널을 사용하는 방법으로 채널을 선택했다. 하지만, 이러한 방법들은 계산 복잡도 문제와 정확도가 떨어지는 문제가 발생한다[ 12 ]. 본 논문에서는 이러한 문제를 해결하기 위해 일반적으로 뇌파의 특징을 잘 반영하고, 높은 효율을 보인다고 알려져 있는 선형예측계수(LPC)를[ 13 ][ 14 ] 특징벡터로 추출하고 특징벡터들의 분산 값을 구하여 그 분산 값의 평균값이 제일 작은 채널을 최적의 채널로 선택한다. 그 이유는 일반적으로 한 클래스의 특징벡터의 분산 값이 작을 때 패턴 분류가 잘 되기 때문이다[ 15 ]. 이에 따라 본 논문에서는 음악에 따른 감정분석 에 최적의 EEG 채널을 제시한다.
본 논문의 구성은 다음과 같다. 2장에서는 EEG 신호의 특징에 대한 설명과 음악과 뇌파의 관계에 대해 설명하고, 3장에서는 EEG 채널 선택 방법을 설명한다. 4장에서는 실험 데이터와 실험 결과를 보여주고, 마지막으로 5장에서는 결과를 통해 결론을 맺도록 한다.
2. 음악과 뇌파
뇌파 (EEG:Electroencephalogram)는 뇌의 전기적인 활동을 머리 표면에 부착한 전극에 의해 비침습적으로 측정한 전기신호이다. 1875년 영국의 생리학자 R.케이튼이 처음으로 토끼· 원숭이의 대뇌피질에서 나온 미약한 전기활동을 검류계로 기록한 것이 뇌파 최초의 보고로 알려진다. EEG 신호는 주파수 범위에 따라 알파파(α), 베타파(β), 세타파(θ), 감마파(γ)등으로 구분 한다.
세타파는 4Hz~7Hz에서 나타나고 지각과 꿈의 경계상태로 불리며, 즐겁거나 졸고 있는 상태에서 발생하고, 기억력, 초 능력, 창의력등 많은 상태와 관련되어 있다.
세타파는 4Hz~7Hz에서 나타나고 지각과 꿈의 경계상태로 불리며, 즐겁거나 졸고 있는 상태에서 발생하고, 기억력, 초능력, 창의력등 많은 상태와 관련되어 있다.
알파파는 8Hz~13Hz에서 나타나며 눈을 감고 몸을 이완시키고 편안한 상태에서 주로 나타나며, 의식이 높은 상태에서 몸과 마음이 조화를 이루고 있을 때 발생되는 뇌파가 알파파이다. 알파파를 명상파 라고도 하는데 근육이 이완되고 마음이 편안하면서도 의식이 집중되고 있는 상태를 말하고, 알파파가 나오면 몸과 마음이 매우 안정된 상태임을 뜻하며 알파파는 주로 대뇌의 두정엽(Parietal lobe)과 후두부(Occipital)에서 가장 크게 기록된다. 베타파는 의식이 깨어 있을때의 뇌파로 14Hz~29Hz에서 나타나고 사람이 눈을 뜨고, 걷고, 흥분하고, 일상생활의 모든 의식적인 활동을 할 때 나타난다. 베타파는 주로 전두엽 (Frontal lobe)에서 크게 기록된다. 감마파는 베타파 보다 더 빠르게 진동하는 형태로 정서적으로 더욱 초조한 상태 이거나 추리, 판단등의 고도의 인지정보처리와 관련이 깊다.
PPT Slide
Lager Image
EEG신호 스펙트럼 분석 Fig. 1 spectrum analysis using EEG signal
일반적으로 베타파는 긴장하거나 집중해서 일할 때 나타나며, 진폭이 작고 형태가 불규칙적이다. 반면 알파파는 마음이 편하고 안정되어 있을 때 나타나며, 진폭은 크고 규칙적이다. 세타파나 델타파 같은 뇌파는 주로 수면 상태에서 나타나므로, 우리가 의식이 있는 상태인 일상에서는 주로 알파파와 베타파가 나타난다고 볼 수 있다[ 16 ].
이러한 파워스펙트럼 분포는 머리표면의 각 측정부위마다 조금씩 다른 양상을 나타낸다. 머리표면 아래의 대뇌피질은 그림 2 와 같이 전두엽(Frontal Lobe), 두정부엽(Parietal Lobe), 측두엽(Temporal Lobe), 후두엽(Occipital Lobe) 등으로 크게 나뉘며 담당 역할이 조금씩 다른데, 예를 들면 뒤통수에 해당하는 후두엽엔 일차시각피질이 있어 일차적인 시각정보 처리를 담당하며, 정수리근처에 해당하는 두정부엽엔 체성감각 피질이 있어 운동/감각관련 정보처리를 담당한다.
PPT Slide
Lager Image
대뇌 피질의 기능분류 Fig. 2 Functional classification of the cerebral cortex
EEG를 이용한 감성연구는 생리 반응 측정 기술을 이용한 감성 측정 연구에서 최근 가장 선호되고 있는 연구 방법중의 하나이다. EEG측정은 음악 청취 시 피험자 뇌에서 진행되고 있는 활동을 평가할 수 있고, 자극과 반응만으로는 설명될 수 없는 생리적 현상과 심리적인 두뇌의 기능을 반영한 정서를 나타내는 지표로 활용될 수 있다[ 17 ].
3. EEG 채널 선택
음악에 따른 감정분석을 위한 채널 선택 과정은 아래 그림 3 과 같다.
PPT Slide
Lager Image
EEG 채널선택과정 Fig. 3 EEG channel selection process
그림 3 에서 음악에 따른 감정 분석을 위해 EEG신호에서 알파파와 베타파를 추출하고, 처리된 신호에서 특징벡터로는 선형예측계수를 이용하게 된다. 특징벡터를 추출한 후, 특징벡터들의 분산 값을 구하고, 각 채널에서의 분산 값을 비교하게 된다. 알파파와 베타파를 추출 하는 이유는 음악에 따른 감정변화를 분석하기 위해 기존 연구[ 16 ]에서 언급한 데로 정서적인 반응과 긴장과 이완, 일상생활의 모든 의식이 알파파와 베타파가 관련 있기 때문이다. 실험에 사용된 데이터는 전처리 과정을 거치게 되는데, EEG 신호에서 가장 안정구간인 10초에서 20초 사이, 10초간의 데이터를 추출하고 추출한 데이터에 주파수 대역필터 (band pass filter)를 사용하여 신호에서 알파파와 베타파만을 추출한다. 이러한 전처리과정을 거친 데이터들을 이용하여 특징벡터를 추출하게 되는데, 본 논문에서는 특징벡터로 선형예측계수(LPC : Linear Prediction Coding)를 추출하였다. 많은 연구들에서 선형예측계수는 EEG의 특징을 가장 반영한다고 알려져 있다[ 14 ]. 선형예측계수는 선형 결합에 의해 과거의 신호에서 현재의 신호 [n]을 예측하는 방법이다.
PPT Slide
Lager Image
선형예측모델 Fig. 4 LPC(Linear Prediction Coding) model
32개 채널에서 각각의 조건에 대하여 32명의 EEG 데이터의 특징벡터를 추출한다. 그리고 추출한 이 특징벡터 들의 분산 값을 구한 후, 이 값들의 평균값을 구해 평균값이 가장 작은 값을 갖는 채널을 최적의 채널로 선택한다.
PPT Slide
Lager Image
패턴인식에 용이한 데이터 분포 Fig. 5 good data distribution in pattern recognition
채널을 선택할 때에는 분산 값을 이용하게 되는데, 분산값을 이용하는 원리는 다음과 같다.
특정 조건에 대한 특징벡터의 집합을 하나의 클래스로 볼때, 클래스 내의 분산 값이 가장 작은 벡터가 속한 영역이 뚜렷하게 되고, 위의 그림과 같이 같은 클래스에 속하는 데이터들은 서로 가까이 모여 있으며, 또한 각 클래스에 속하는 데이터들의 중심 간의 거리가 멀리 떨어져 있기 때문에 패턴인식에 용이한 데이터 집합이다. 반면에 서로 다른 클래스에 속하는 데이터들이 서로 모여 있는 그림은 데이터들의 중심 간의 거리가 가까이 있기 때문에 패턴인식을 하는데에 있어 어려운 데이터 집합이다.
4. 실 험
본 연구를 위한 실험 데이터는 런던의 Queen Mary University, 네덜란드의 Twente University, 스위스의 EPFL연구소에서 만들어서 DB화 시킨 DEAP 데이터를 이용하였다[ 18 ].
이 실험에 참가한 사람들은 32명으로 50%가 여성이고, 나이는 19세에서 37세 사이로 평균나이가 26.9 세의 사람들이 이 실험에 참가한다. 실험방법은 참가자들이 뮤직비디오 영상 중에서 하이라이트 부분을 1분 동안 감상하여, 자신들이 느끼는 감정을 스스로 평가를 하여 레벨을 기록하게 되는데, 총 40번의 시도를 거쳐 실험이 진행된다. 이러한 시도를 거쳐 만들어진 40개의 실험 데이터는 다음과 같은 단계를 따른다.
우선 2초 동안은 참가자들의 진행상황을 알리기 위해 현재 수행번호를 보여준다. 그 다음 5초 동안은 baseline을 기록한 후에, 1분 간 뮤직비디오를 보여준다. 그리고 arousal, valence, liking, dominance 중 자신의 감정에 따라 평가를 해준다. 20번을 시도한 후에는 휴식시간이 주어진다.
PPT Slide
Lager Image
실험 환경[18] Fig. 6 Test environment[18]
실험들로 나온 데이터는 하드웨어의 다른 버전으로 인해 형식으로 약간의 차이가 있어, 원 데이터를 본 실험데이터로 쓰이기에는 어려움이 있기 때문에 512Hz로 샘플링한 원 데이터를 128Hz로 다운샘플링하고, 전처리 과정을 거쳐 버전과 형식을 동일하게 하였다. 또 한 기록된 EEG 신호는 다른 비 대뇌 인공적인 깜박임 등과 같은 눈의 신호, 안구 운동, 근육 운동에 영향을 미치기 때문에, 이러한 artifacts들은 EEG 신호에서 큰 진폭 이상의 원인을 초래할 수 있고, 분류 정확도 면에서도 문제가 발생하기도 한다. 따라서 이러한 문제를 줄이기 위해, 직교 투영 방식을 이용하여 기록된 신호로부터 영향을 미치는 artifacts를 제거하였다.
그림 7 은 본 논문에서 사용한 EEG의 취득을 위해 많이 사용되는 10/20 시스템[ 18 ]을 보여준다.
PPT Slide
Lager Image
EEG 10/20 시스템 Fig. 7 EEG 10/20 SYSTEM
이 실험 데이터로부터 분리된 알파파와 베타파로부터 각각 매 1 초마다 특징벡터인 LPC 계수를 추출하고, LPC 계수의 차수는 기존 연구들과 같이 10차로 정하였다. 이렇게 추출된 LPC 계수를 바탕으로 각 클래스마다의 분산값을 계산하였다.
표 1 은 알파파에서 추출한 특징벡터를 사용하여 실험을 수행한 결과이다. 알파파에서는 19번, 5번, 29번 채널에서 추출한 특징벡터의 분산값이 가장 작게 나타났다. 이는 음악에 따른 감정변화를 잘 반영할 수 있는 EEG의 알파파의 채널로 이들 채널이 적합다다는 것을 보여준다.
알파파에서 추출한 데이터로 실험한 결과Table 1 Experimental result extracted from α wave
PPT Slide
Lager Image
알파파에서 추출한 데이터로 실험한 결과 Table 1 Experimental result extracted from α wave
표 2 는 베타파 추출한 데이터를 사용하여 실험을 수행한 결과이다. 베타파에서는 7번, 5번, 10번 채널에서 추출한 특징벡터의 분산값이 가장 작게 나타났다. 이는 역시 음악에 따른 감정변화를 잘 반영할 수 있는 EEG의 베타파의 채널로 이들 채널이 적합다다는 것을 보여준다. 표 1 2 에서 본 바와 같이 채널 5번이 두 파에서 패턴분류를 하기 위한 가장 적절한 채널이라고 볼 수 있다.
베타파에서 추출한 데이터로 실험한 결과Table 2 Experimental result extracted from β wave
PPT Slide
Lager Image
베타파에서 추출한 데이터로 실험한 결과 Table 2 Experimental result extracted from β wave
표 3 은 알파파와 베타파에서 제일 값이 작은 10개의 채널들 중, 중복적으로 나타난 3개의 채널을 선정하였다. 여기에 알파파와 베타파에서 추출한 특징들에서 높은 순위부터 0.1에서 1 까지 가중치를 곱하고, 알파파결과와 베타파결과에서 모두 우수한 채널을 뽑아 평균값이 제일 작은 채널을 최적의 채널로 선택한다.
알파파, 베타파에서 우수한 채널Table 3 Optimal channel in α and β wave
PPT Slide
Lager Image
알파파, 베타파에서 우수한 채널 Table 3 Optimal channel in α and β wave
결과적으로 가중치가 계산된 알파파와 베타파에서 추출한 우수한 10개 채널 중 중복적으로 나타난 채널을 5, 7, 2번 채널 이였으며, 순위에 대하여 가중치를 곱한 값으로 알파파와 베타파 값의 평균값을 구했을 때, 5번 채널의 값이 가장 작게 나왔고, 7번, 2번 채널 순으로 값이 작게 나왔다.
3. 결 론
본 연구에서는 음악 자극에 대해 사람의 감정을 추론하는 패턴인식에서 가장 높은 효율을 나타내는 채널을 선택하기 위해, 알파파와 베타파 주파수 대역의 신호를 이용하였으며, 이 신호를 이용하여 선형예측계수를 총 32개의 채널에서 조건별 특징벡터를 추출하였다. 추출한 특징벡터들을 이용하여 한 조건 안에 특징벡터들의 분산 값을 구한 후, 그 값에 평균을 내고, 평균값이 가장 작은 채널을 최적의 채널로 선택하였다. 그 결과, 알파파와 베타파에서 공통적으로 5번 채널이 음악에 따른 감정 분석에 용이한 채널로 나타났으며, 7번과 2번 채널이 그 뒤를 따랐다.
음악에 따른 감정 분석에 있어 기능적인 분류와 수용가능한 모든 채널에서 취득한 EEG 데이터를 가지고 처리를 하는 것은 계산 복잡도 문제와 정확도가 떨어지기 때문에 이보다는 뇌파의 특징을 잘 반영하고, 높은 효율을 보이는 선택된 채널의 데이터를 가지고 처리를 하는 것이 계산 복잡도를 줄이고, 정확도를 높이는 효과를 가져올 수 있다.
향후, 본 논문에서 제안한 최적의 채널에서 다양한 패턴인식 알고리즘을 이용한 음악에 따른 감정분류 시스템에 대한 연구가 진행이 필요하다고 판단된다.
Acknowledgements
본 연구는 2013년도 상명대학교 교내연구비를 지원받아 수행하였음.
BIO
변 성 우 (邊 成 宇) 2008년 ~ 현재 상명대학교 디지털미디어 학과 학사과정 <주관심분야> 멀티미디어처리, 인공지능
이 소 민 (李 素 旻) 2011년 ~ 현재 상명대학교 디지털미디어 학과 학사과정 <주관심분야> 멀티미디어처리, 인공지능
이 석 필 (李 錫 弼) 1990년 연세대학교 전기공학과 공학사, 1992년 연세대학교 전기공학과 공학석사, 1997년 연세대학교 전기공학과 공학박사, 1997년 ~ 2002년 대우전자 영상연구소 선임연구원, 2002년 ~ 2012년 KETI 디지 털미디어연구센터 센터장, 2010년 ~ 2011 년 미국 Georgia Tech. 방문연구원, 2012 년 ~ 현재 상명대학교 디지털미디어학 과 교수 <주관심분야> 멀티미디어 검색, 방송통 신시스템, 인공지능
References
Chiu H.W , Lin L.S , Kuo M.C , Chiang H.S , Hsu C.Y 2003 “Using heart rate variability analysis to assess the effect of music therapy on anxiety reduction of patients” IEEE Conference on Computers in Cardiology 469 - 472
Lin Yuan-Pin , Wang Chi-Hong , Jung Tzyy-Ping , Wu Tien-Lin , Jeng Shyh-Kang , Duann Jeng-Ren , Chen Jyh-Horng 2010 “EEG-Based Emotion Recognition in Music Listening.” IEEE Transactions on Biomedical Engineering 57 (7) 1798 - 1806    DOI : 10.1109/TBME.2010.2048568
Kang Dongki , Kim Honghwan , Kim Dongjun , Lee Byungchae , Ko Hanwoo 2001 "Research on classification of emotion using multi-channel EEG" KIEE Conference 2815 - 2817
Lee Hyekyung , Choi Seungjin 2003 “PCA+HMM+SVM for EEG pattern classification” IEEE Seventh International Symposium on Signal Processing and Its Applications 1 541 - 544
del R Millan J , Mourino J , Franze M , Cincotti F , Varsta M , Heikkonen J , Babiloni F. 2002 “A local neural classifier for the recognition of EEG patterns associated to mental tasks” IEEE Transactions on Neural Networks 13 (3) 678 - 686    DOI : 10.1109/TNN.2002.1000132
Ruey S.Huang , Kuo C.J , Ling-Ling Tsai , Chen O.T.-C. 1996 “EEG pattern recognition-arousal states detection and classification.” IEEE International Conference on Neural Networks, 1996 2 641 - 646
Xu Kai , Wu Yan 2010 “Motor imagery EEG Recognition based on Biomimetic Pattern Recognition” IEEE 2010 3rd International Conference on Biomedical Engineering and Informatics (BMEI) 3 955 - 959
Vijayalakshmi K , Sridhar S , Khanwani P. 2010 “Estimation of effects of alpha music on EEG components by time and frequency domain analysis” IEEE 2010 International Conference on Computer and Communication Engineering (ICCCE) 1 - 5
Varotto G , Fazio P , Sebastiano D.R , Avanzini G , Franceschetti S , Panzica F. 2012 “Music and emotion: An EEG connectivity study in patients with disorders of consciousness” IEEE 2012 Annual International Conference on Engineering in Medicine and Biology Society (EMBC) 5206 - 5209
Tseng Kevin C , Lin Bor-Shyh , Han Chang-Mu , Wang Psi-Shi 2013 “Emotion recognition of EEG underlying favourite music by support vector machine” IEEE 2013 International Conference on Orange Technologies (ICOT) 155 - 158
Kim J. , Andre E 2008 “Emotion recognition based on physiological changes in music listening” IEEE Transactions on Pattern Analysis and Machine Intelligence 30 (12) 2067 - 2083    DOI : 10.1109/TPAMI.2008.26
Shim Kyibo , Park Seungmin , Ko Kwangeun , Kim Joonyup 2012 "A method for optimal EEG channel selection based on BPSO with channel impact factor" Journal of KIIS 22 (6) 774 - 779
Padmasai Y , SubbaRao K , Malini V , Rao C.R. 2010 “Linear Prediction Modelling for the Analysis of the Epileptic EEG” IEEE 2010 International Conference on Advances in Computer Engineering (ACE) 6 - 9
Han Min , Sun Leilei 2010 "EEG signal classification for epilepsy diagnosis based on AR model and RVM" IEEE 2010 International Conference on Intelligent Control and Information Processing (ICICIP) 134 - 139
Papoulis Athanasios 1991 “Probability, Random Variables, and Stochastic Processes third Edition McGRAW-HILL, Inc 106 - 109
Lias S , Murat Z.H , Sulaiman N , Taib M.N 2010 “IQ Index using Alpha-Beta correlation of EEG power spectrum density (PSD)" IEEE 2010 Symposium on Industrial Electronics & Applications (ISIEA) 612 - 616
Kim Eunyoung 2005 “The effects of musical stimulus on EEG spectra of listeners" Journal of KMTA 7 (1) 1 - 18
Koelstra S. , Muhl C , Soleymani M , Lee Jong-Seok , Yazdani A , Ebrahimi T , Pun T , Nijholt A , Patras I. 2012 “DEAP: A Database for Emotion Analysis using Physiological Signals” IEEE Transaction on Affective Computing- Special Issue on Naturalistic Affect Resources for System Building and Evaluation 3 (1) 18 - 31