基于脑电信号的情绪识别

脑机接口社区 2023-01-21

人类在日常生活中的情感交流活动是必不可少的,情绪不仅可以维系人与人之间信息交流的密切关系,更是一种适应生存的基本保障｡在人机交互与人工智能技术的相互发展下,产生了一种与情感相关,并施加影响情感的计算,即为情感计算,目的是让机器能够自动感知､识别､分析以及推测人的情绪,使机器拥有更好的智能化交互,提高人性化水平的能力｡情绪识别是情感计算中的关键环节,通常用生理或行为特征指标对服务用户的情绪状态进行判断｡

EEG的情绪识别流程主要有信号采集和信号处理,两个流程相结合即称为模式识别的过程｡信号采集的好坏往往决定着数据的好坏,刺激方式作为展示给被试激发不同情绪状态的根源性因素,其强弱会直接影响情绪EEG的诱发程度｡目前激发情绪的刺激方式有气味､文字､图片､音乐和视频等,其中视频采用视听结合的方式,且对环境､设备和成本等因素要求较低,因此本文选择视频作为诱发刺激方式｡EEG的处理流程主要有预处理､特征提取､分类识别,其中特征提取是整个模式识别的关键因素｡特征提取主要有时域､频域､时频域三种类型,张冠华等全方面介绍了情绪识别领域中这三种类型相关的特征提取方法,并对每种方法做出相应的数学逻辑推导过程｡鉴于不同类型的特征提取方法反映EEG不同方面的信息,且近年来非线性动力学特征也逐渐应用于EEG的情绪识别,因此本文从时域､频域和非线性三个方面提取EEG的有效特征｡EEG情绪的分类识别通常用到机器学习中的有监督学习,有监督学习是对已知有分类概念的训练样本学习,尽可能对训练集外的样本进行分类预测,常用的分类器有神经网络､支持向量机､K-最近邻(K⁃nearestneighbor,KNN)等,其中KNN在处理小样本数据中优势显著,在实时检测识别中应用较好,因此本文选择KNN分类器对不同的特征进行情绪识别｡

能够快速准确识别不同人的情绪状态是情绪识别目前存在的难点｡本文拟通过设计一种电影片段诱发实验,采集被试在恐惧､愤怒､悲伤和快乐四种情绪下的EEG,经过上述信号处理流程,目的是论证情绪之间是存在区分性的,并通过比较分析不同特征的分类性能来寻找最优的情绪识别特征｡

脑电信号的情绪采集实验

EEG的产生是放置在头皮表面的电极探测不同位置的电势差得到的｡本文选择32导非侵入式电极,电极分布按照国际标准10-20系统进行排列｡EEG按照频率特征可以划分为5种频带,即Delta(0.5~4Hz)､Theta(4~8Hz)､Alpha(8~13Hz)､Beta(13~30Hz)和Gamma(30~47Hz)频带,每种频带代表不同的大脑活动区域和特征状态｡

文中使用E⁃prime制作不同情绪视频呈现给被试,被试产生的EEG采用软件BrainVisionRecorder进行实时记录｡将记录完整的EEG导入分析软件中进行信号的预处理,最终将纯净的EEG导入到Matlab中进行后续操作｡

实验素材

对恐惧､愤怒､悲伤和快乐四种情绪的相关视频进行收集､评价和筛选,每种情绪电影找出11个情绪片段,每个片段时长为1min,统一时间长度是为了在进行数据处理时更加方便｡考虑到几分钟的视频片段不容易激发被试情绪,尤其是悲伤情绪,情绪铺垫的时间较长,那么选用包含所有情绪段的完整情节电影片段对情绪的研究或许更为合适｡不同情绪电影标记的情绪段和实验时长如表1所示｡《狂蟒之灾》片段选取时间范围为正片中的第34分30秒到第83分30秒,即恐惧情绪实验时长为49min;《南京大屠杀》片段选取时间范围为第31分30秒到第141分30秒,即愤怒情绪实验时长为70min;《唐山大地震》片段选取时间范围为第3分到第128分,即悲伤情绪实验时长为125min;《赵本山小品三部曲》选取卖拐､卖车､功夫三部搞笑小品合集,快乐情绪实验时长为40min｡

为保证实验的严谨性,实验结束后从被试主观的角度逐一重现上述电影中标记的情绪片段,被试观看后通过回忆当时的情绪感受并在评估表上进行打分｡评估表是根据SAM三维情绪量表对效价-唤醒度-优势度进行1~9的分值打分｡信度是客观评估测评有效性的一种方式,文中使用克隆巴赫信度系数,应用SPSS软件分别对每种情绪计算11个片段间的信度值｡快乐情绪的信度值为0.742,悲伤情绪的信度值为0.798,愤怒情绪的信度值为0.839,恐惧情绪的信度值为0.852｡通常信度值系数大于0.7,说明数据之间关联程度较高,本文4种情绪下的信度值系数都高于0.7,在一定程度上能够说明该量表的有效性｡

本次实验招募9位被试者参与实验,均为右利手,其中男性6名,女性3名,年龄为(25±1.7)岁,视听力正常,无烫发染发,无精神障碍和脑损伤等疾病史｡每位被试需进行4次实验,每次实验之间间隔1d｡被试到达实验室后需要告知实验目的､实验步骤､风险和注意事项,并签署实验知情同意书｡

在正式实验开始时给被试提示实验过程中的相关注意事项,接着让被试保持一段平静状态,开始记录信号;当屏幕出现时间为5s的‘+’符号时,提示被试即将进入实验;接着跳转到电影进行播放,并在电影结束后对记录的信号数据进行保存;随后依次重现11个情绪片段材料,按照SAM量表让被试对自己当时的情绪感受进行主观评价;最后实验结束｡每次情绪实验重复上述流程,按照快乐､恐惧､悲伤和愤怒依次进行实验,且每种情绪实验之间均间隔1d,防止被试因连续洗头､实验产生厌倦和疲劳｡

结果分析

为方便结果展示与分析,对经过特征提取后得到的15种有效特征采用简称的形式,如表2所示｡本文在进行信号采集时通道电极一般用channel1､channel2……进行表示｡

在对脑电数据进行特征提取并归一化后,为了观察情绪之间的区分性,选用时域特征中的均方根特征画出被试6的四种情绪状态下30个通道的特征值盒图,如图1所示｡图中展示了悲伤､愤怒､恐惧和快乐四种情绪状态下的特征值,每种情绪每个通道包含132个特征值｡

通过观察不同通道的特征值盒图可以发现,情绪之间存在区分性｡判断情绪区分性的标准:盒图中样本点数据集中度较高的箱体部分,存在明显的错位现象｡

在channel5､18､22等通道盒图中发现,悲伤和恐惧情绪的特征值整体上比愤怒和快乐情绪的特征值高｡以channel22为例,悲伤特征值的箱体区间为0.25~0.42,恐惧特征值的箱体区间为0.2~0.3,愤怒特征值的箱体区间为0.04~0.07,快乐特征值的箱体区间为0.05~0.12,可以发现悲伤和恐惧特征值的箱体区间最小值高于愤怒和快乐特征值的箱体区间最大值,因此可以判断悲伤､恐惧与愤怒､快乐之间存在区分性｡

在channel2中可以发现快乐特征值的箱体区间最大值位于0.1以下,而其他三种负性情绪特征值的最小值都高于0.1,因此能够判断(1)中的愤怒和快乐情绪可以相互区分｡

在channel16中可以发现悲伤特征值的箱体区间最小值位于0.2上方,而其余三种情绪特征值的最大值位于0.2下方,因此能够判断(1)中的悲伤和恐惧情绪也可以互相区分｡

本文KNN的参数K设置为2,进行恐惧､愤怒､悲伤和快乐情绪的四分类识别｡针对个体被试,数据维度为528×(30通道+1标签);针对总体被试,数据维度为(528×9被试)×(30通道+1标签)｡对个体或总体数据进行分类时,都是将个体或总体数据随机划分为70%的训练集和30%的测试集,对此过程循环100次,每次都重新随机划分训练集和测试集,将循环100次的流程称为一轮,最终平均准确率为一轮准确率的均值｡

9位被试三种时域特征的个体被试平均分类准确率柱状图如图2所示,图中使用FD特征进行分类得到的个体平均准确率全都保持在96%以上,且大部分被试的FD特征识别效果好于其他两种特征｡RMS和std特征平均准确率受个性化差异影响较为严重,被试3的两种特征准确率都没有超过90%,而被试8的两种特征识别率都在99%以上,不如FD特征分类结果稳定｡

选择上述三种时域特征,对被试6的第29通道和第5通道画出三维特征值散点图,如图3所示｡图中第一维坐标X轴表示std特征,第二维坐标Y轴表示RMS特征,第三维坐标Z轴表示FD特征｡

从第29通道的三维主视图可以看出,快乐情绪的三维特征值都较低,且数据点较为集中;愤怒情绪的std､RMS特征值较低,FD特征值数据点呈直线扩散;悲伤和恐惧情绪的特征值从该视图观察发现重合,两种情绪存在不可分性｡为了区分悲伤和恐惧情绪,从第5通道的三维俯视图中观察到,恐惧和悲伤特征值从原点处数据点分叉,能够说明悲伤和恐惧情绪同样存在区分性｡

根据9位被试三种时域特征的总体平均分类准确率发现,std和RMS特征识别效果与FD特征相比相对较差,最高准确率没有超过90%,FD特征平均识别率达到95%,识别效果在时域特征中最佳｡

频域特征中使用改进Bartlett法和Welch法计算Delta､Theta､Alpha､Beta和Gamma频带特征的总体被试全通道四分类平均准确率,如表3所示,可以看出不同频带的情绪识别能力存在显著差异｡

根据9位被试两种非线性特征的总体平均分类准确率发现,SE和AE平均准确率均高于90%,识别结果较好｡由于SE与AE之间的平均准确率差值小于1%,同改进的Bartlett法和Welch法频带特征准确率差值相比,差距过小｡汤明宏[28]对三种情绪分别使用AE和SE计算出分类准确率,结果得出SE与AE的差值小于1%情况相同,说明AE和SE都适用于情绪识别,但识别效果可能不存在太大的差距｡

结语

利用Welch法得到的Gamma频带特征和一阶差分绝对值的均值特征作为最优特征,能够快速准确地识别不同被试的情绪状态｡并通过RMS特征值盒图和时域特征的三维特征值散点图可以直观验证,四种情绪之间区分性依然很高｡以上结论充分说明了使用EEG的客观手段能够对不同情绪进行正确区分｡本研究探寻大脑在不同情绪下的信号规律,在面对抑郁症或不善于情绪表达的患者时,能够提供客观有效的评估手段作为辅助治疗｡在以后的研究中,提高分类精度和计算效率是脑机接口和情感计算面临的重要挑战｡

来源：北京生物医学工程李贤哲暴伟谢能刚 2022.2

参考：BCIduino脑机接口社区。仅用于学术交流，不用于商业行为，若有侵权及疑问，请后台留言，管理员即时删侵！

更多阅读

这次遥控大脑实验成功了，却把网友们吓坏了

无屏幕BCI系统也有强大的分类性能

动皮层在运动控制作用中的观念性转变

脑-机交互运动训练的神经反馈方法及康复应用

新加坡国立大学生物工程系诚招博士后--脑机接口等方向

运动想象脑机接口中模式识别方法研究

脑机接口如何改变未来？

加入社群

欢迎加入脑机接口社区交流群，