基于堆叠降噪自动编码器的脑电特征的提取方法

心理/精神疲劳(Mental Fatigue)是一种常见的由长时间持续的认知活动所产生的心理生理状态。虽然精神疲劳的表现和不利影响已为人们所熟知，但其在大脑多区域之间的连通性(Connectivity)机理尚未得到充分研究。这对于阐明精神疲劳的机制具有重要意义。然而，常用的基于EEG的连通分析方法无法摆脱强噪声的干扰问题。本文提出了一种基于叠加降噪自编码器的自适应特征提取模型。对提取的特征进行了信噪比分析。与主成分分析相比，该方法能显著提高信号的信噪比，抑制噪声干扰。该方法已应用于心理疲劳连通性(Mental Fatigue Connectivity)分析。研究人员分析了在清醒(Awake)、疲劳(Fatigue)和睡眠剥夺/不足(Sleep Deprivation)条件下，额叶(Frontal)、运动(Motor)、顶叶(Parietal)和视觉(Visual)区域之间的因果连接，并揭示了不同条件之间的连接模式。清醒条件下与睡眠剥夺条件下的连接方向相反。此外，在疲劳状态下，从前区(Anterior Areas)到后区(Posterior Areas)、从后区到前区存在复杂的双向连接关系。这些结果表明，在这三种条件下，大脑会表现不同的活动模式。该研究为EEG分析提供了一种有效的方法。连接性的分析有助于揭示心理/精神疲劳的潜在机制。

 1   介绍

精神疲劳是威胁交通安全的关键问题之一。并且它在日常生活中是很常见的。精神疲劳被定义为启动或维持主动性活动的困难[1]。精神疲劳可导致警觉性(Alertness)和活力(Vigor)状态下降，并伴有疲劳(Tiredness)、困倦(Drowsiness)和注意力难以集中(Difficulty in Attention Concentration)的情况。这些表现对于长时间驾驶的司机是非常危险的。报告显示，16%的交通事故与司机的精神疲劳有关[2]。近年来，许多研究者致力于研究精神疲劳的影响[3-5]、精神疲劳的分类[6,7]和精神疲劳对策[8,9]。从生物学角度看，精神疲劳与神经元能量降低、谷氨酸传递减少有关[10]。疲劳也是生理和心理因素的综合表现[11]。由听觉刺激引起疲劳的机制研究，报告认为精神疲劳与背侧通路(Dorsal Pathway)的脑激活程度的变化有关[12]。需要注意的是，背侧通路与注意力有很强的关系。精神疲劳也已被证明与认知型任务有关，但不限于与刺激相关(Stimulus-Related)大脑区域的能力表现[1]。因此，探索大脑多区域间的连通性有利于阐明精神疲劳的产生机制。

许多类型的测量，如面部表情[13]和神经信号[14]，已被用于研究精神疲劳。脑电图(Electroencephalographic，EEG)作为一种直接、无创式的测量大脑神经元活动的方法，被认为是脑疲劳最适用、最可靠的形式[15]。EEG主要代表大量神经元突触后电位的兴奋和抑制，表现为高时间分辨率[16]。EEG信号可分为delta(0.5 Hz-4 Hz)，theta(4 Hz-7 Hz)，alpha(8 Hz-13 Hz)，beta(13 Hz-30 Hz)和gamma (30 Hz - 80 Hz)活动等。在这些活动中，delta和theta活动已被证实与疲劳状态有关[17]。这两种活动分别用于视觉注意力水平的分析[18]、心理疲劳评价[19,20]和疲劳预测[21]。例如相关分析(Correlation Analysis)[22]和Small-Word Network Algorithm[23]等方法是分析大脑连通性的常用方法。然而，由于脑结构所引起的信号衰减，EEG表现出较低的信噪比(Signal-to-Noise Ratio，SNR)和空间分辨率。在连通性分析过程中，噪声会导致网络节点(Network Nodes)之间出现错误连接，从而模糊了真实的连接关系。因此，这些方法的有效性是有限的。

脑源定位算法(Brain Source Localization，BSL)[24]是一种通过基于信号源的脑活动重构来提高EEG信号的空间分辨率和信噪比的方法。然而,脑电信号的低信噪比仍然影响BSL的病态逆向问题的解决。Delta和theta活动的功率谱密度(Power Spectrum Density，PSD)已被广泛用于疲劳定量分析[25,26]。然而，EEG信号的低信噪比限制了其在连通性分析中的应用表现。因此，迫切需要一种用于精神疲劳分析的特征提取算法。Murata和Uetake应用事件相关电位(Event-Related Potential，ERP)和主成分分析(Principal Component Analysis，PCA)从模糊的EEG信号中提取主要疲劳特征[27]。主成分分析(PCA)是一种常用的提高信噪比的降维算法。它利用线性变换(Linear Transformation)得到一组线性无关的分量，从而提取主特征。但该算法在处理非线性(Nonlinear)脑电信号时存在一定的局限性。自动编码器(Autoencoder)是一种新颖的非线性降维方法。堆叠去噪自编码器(Stacked Denoising Autoencoder，SDAE)是由多个自编码器组成的前馈(Feedforward)神经网络。它的输入信号被噪声污染。SDAE的隐藏层(Hidden Layer)被约束成为一个狭窄的瓶颈，可以认为是对原始干净的输入信号的重构。为了抑制噪声的干扰，减少大脑多区域之间的错误连接，进而探索精神疲劳的潜在机制，本文提出了一种基于SDAE的模型建立方法。应用该模型提取了不同疲劳状态下的精神疲劳特征。对提取的特征进行因果分析，探讨大脑多区域之间的连接。这项工作为定量分析心理/精神状态提供了一种新的方法。也有希望能揭示多脑区之间潜在的协同效应。

图1：心理疲劳实验电极分布。

数据集

关于精神疲劳的实验总共有15名受试者参与。平均年龄23.5岁，偏差1.37岁。所有受试者均来自东北大学(Northeastern University)，无视力损伤或中枢神经系统疾病。所有受试者在参与研究前均给予纳入知情同意。该研究是根据赫尔辛基宣言(Declaration of Helsinki)进行的，该协议得到了东北大学伦理审查委员会的批准。EEG数据使用g.HIamp高通道生物信号采集系统(g.tec medical engineering GmbH Austria.)，根据10-5电极定位系统[28]，从126个主动式Ag/AgCl电极(Active Electrode)以1200 Hz的采样频率进行采集记录。以单侧耳垂为参考电极，以前额位置(Frontal Position，Fpz)为GND电极。

g.HIamp高通道生物信号采集系统

为了研究多脑区的连接，根据Brodmann主要功能区域划分，将电极分布细分为额叶(Frontal)区(1区)、运动(Motor)区(2区)、顶叶(Parietal)区(3区)和视觉(Visual)区(4区)，四个区域如图1所示。

数据在0.5 Hz~100 Hz之间经过带通滤波，从48 Hz~52 Hz进行带阻滤波，以抑制噪声。在整个实验过程中，所有电极阻抗均保持在30 kΩ以下。

受试者们分别坐在黑暗和电磁屏蔽的实验室的扶手椅上。办公桌上的电脑屏幕距离受试者鼻尖约1米。为了抑制眼球的运动所带来的影响，受试者被要求将注意力集中在屏幕中央，减少身体运动。为了记录清醒状态下的EEG，通常在上午9点左右进行实验。每个被试者的数据采集时间约为1分钟。之后，进行至少一小时的连续的P300训练。要求被试者集中注意力在电脑屏幕中心，通过P300系统从一篇英语文章中输入单词。P300系统的行和列可随机变亮。受试者注视的是他们应该输入的字符。然后记录疲劳状态下约1分钟的EEG数据。之后，受试者需要整晚保持清醒。他们不得参加任何娱乐活动。第二天早上8点左右，对睡眠剥夺条件下的受试者进行约1分钟的EEG记录。

 2   研究方法

在数据分析之前，为了减少容积传导(Volume Conduction)的影响，提高信噪比和空间分辨率，将曲面拉普拉斯算法(Surface Laplacian Algorithm)应用于EEG记录。如式(1)。

其中V_C为曲面拉普拉斯滤波后的信号。V_CO是原始信号。V₁、V₂、V₃、V₄是原始信号周围的信号。V₁、V₂、V₃和V₄的位置成对对称(Symmetrical in pairs)。中心对称的位置是V_CO。V₁、V₂、V₃和V₄相邻的两个位置之间的夹角是90度。

图2：脑电处理方法流程图。

图3：清醒状态下c_f 的结果。n和m分别为第一自动编码器和第二自动编码器的中间层节点号。

3.1. 堆叠降噪自动编码器：堆叠式自编码器是一种人工神经网络结构，由多个自编码器组成，通过逐层贪婪训练法(Greedy Layer Wise Training)进行训练。每个自动编码器包括中间层、输出层和输入层。中间层的输出作为在堆叠的自动编码器中的下一个自动编码器的输入。SDAE是堆叠式自动编码器的扩展形式。SDAE的输入信号会受到噪声的干扰。为了从噪声中解码和恢复模糊的原始输入EEG X =[x⁽¹⁾, x⁽²⁾,x⁽³⁾ ··· x^(c)]，本研究应用了一个简单的带有两个自编码器的SDAE模型。c 为输入信号的通道数。输入层含有噪声的信号是X₁ = [x₁⁽¹⁾, x₁⁽²⁾, ··· x₁^(C)]。将这些被噪声污染的输入信号用sigmoid function(2)作为方程映射到n个单位的隐藏层(Hidden Layer)[29]。

式中Y₁为第一自动编码器中间层信号；W、b、f分别为编码器在第一个自动编码器上的权重矩阵(Weight Matrices)、偏置/斜率(Bias)和激活函数(Activation Function)。权重矩阵和偏置矩阵在初始化阶段是随机赋值的。未受噪声污染的输入(Uncorrupted Input) Z = [z⁽¹⁾, z⁽²⁾,z⁽³⁾ ··· z^(c)] ，X 的估计，可以由第一个自动编码器的解码器重构为式(4)。

其中W '、b '、g分别为解码器在第一个自动编码器上的权重矩阵、偏置和非线性函数。

在训练SDAE模型的结构参数 θ =(W,b)和 θ ' =(W’, b’)时，采用平方误差损失函数(Squared Error Loss Function) L使平均重构误差(Average Reconstruction Error)最小。这些参数的优化方式如式(5)所示。

优化后，建立了第一个自动编码器。将第一个自编码器的中间层输出作为下一个自编码器的输入，进一步训练第二个自编码器的模型。第二自动编码器的中间层Y₂ = [y₂⁽¹⁾, y₂⁽²⁾, ··· y₂^(c)]的输出被认为是从原始输入信号X 中提取的深度去噪特征。

表1：SDAE模型的参数设置

3.2. 模型的选择：在本研究中，为了在三种条件下提取高信噪比的EEG信号特征，需要限制两个自编码器上中间层的节点数(Node Numbers)。n、m为第一自动编码器和第二自动编码器的中间层节点号。降维(Dimensionality Reduction)时，n和m应该小于其输入层的节点数。然后，中间层可以认为是对输入信号的降维。提出的n和m的约束如式(6)所示。约束函数表达式为方程(7)。c_f越高，说明模型误差和特征提取性能之间的平衡越好。

其中U_def、C_def和C_com是正整数。C_def小于输入通道数。ŷ₁ = [y∧₁⁽¹⁾, y∧₁⁽²⁾, ··· y∧₁⁽ⁿ⁾]是第二个自动编码器的输出。c_STFT( i , j )是短时傅里叶变换(Short-Time Fourier Transform)系数。q为时间采样数(Time Sampling Number)。d为相关频率抽样数量(Concerned Frequency Sampling Number)。

本研究设U_def = 30, C_def= 15, C_com = 5，λ = 0.2。对于清醒、疲劳和睡眠剥夺情况，EEG的主要特征主要在20 Hz以下。因此，在本研究中，d为20 Hz以下的频率采样数。分别用以上的SDAE模型计算了不同区域的信号。输出特征的平均值作为输入层提取的特征。在清醒状态下c_f 的结果显示在图3。选择c_f 较高的成对m和n对作为节点数。综合三种条件，对实验数据进行SDAE模型训练的微调参数如表1所示。

为了研究SDAE模型的提取特征，对第一、第二编码器提取的特征和原始信号进行短时傅里叶变换分析。原始信号的平均时频图像、第一自动编码器提取的特征和第二自动编码器提取的特征如图4所示。图4显示，第二自动编码器突出显示了高振幅的大脑活动。

图4：三种情况下，原始信号的平均时频图像和第一自动编码器和第二自动编码器对区域4提取的特征。

将提取的特征与原始信号的短时傅里叶变换系数归一化后如式(8)所示。用t-test分析20 Hz下的平均c_STFT。统计结果表明，第二自动编码器提取的特征得到的系数显著大于原始信号(P < 0.001)和第一自动编码器提取的特征(P < 0.001)。因此，本研究提出的模型的输出可以显著突出显示20 Hz以下的高振幅EEG。

为了评价所提出的模型选择方法在EEG特征提取中的性能，我们使用PCA算法进行了比较。图5给出了清醒状态下四个区域的信道平均原始信号(Average original signal across channel)功率谱、PCA提取特征和SDAE提取特征。图6和图7分别描述了疲劳状态和睡眠剥夺状态。先前的研究表明，在清醒状态下，alpha和beta频率主导着人类的常见大脑活动[30]，delta和theta活动已被证明反映了精神疲劳。图5，在清醒状态下，原始信号被EEG中常见的低频干扰污染。Alpha和beta频率不明显。该模型能够从模糊信号中提取出alpha频率活动，抑制其他频率的干扰，而PCA提取的特征仍然保留着这些低频干扰。

在疲劳和睡眠剥夺条件下，delta和theta活动以明显的第一主要频率主导大脑活动，如图6和7所示。这是一种假设，即第一主频率包含有关大脑活动的重要信息。第一主要频率上的功率与关频率(清醒：alpha和beta；精神疲劳：delta和theta)的平均功率(RPFA)之比，用t-test进行了分析，如表2所示。RPFA越高，信噪比越高。统计结果表明，该模型获得的RPFA显著大于原始信号(P < 0.01)和PCA (P< 0.05)。上述结果表明，与PCA相比，该模型在提取模糊原始脑电图数据特征方面取得了更好的性能，突出了第一主要频率，提高了信噪比。

图5：清醒状态下四个区域的平均原始信号功率谱、PCA提取特征和SDAE提取特征。

3.3. Granger Causality分析：将模型提取的特征应用于格兰杰因果关系分析(Granger Causality Analysis，GCA)，以探索疲劳、清醒和睡眠剥夺条件下的多脑区之间的连接。GCA算法是一种基于时间序列预测的统计方法。序列之间的因果关系表示在一个时间序列与另一事先预知的时间序列上具有更好的预测精度(The causality relationship between sequences represents a better prediction accuracy on one time sequence with the prior knowledge of another time sequence.)。为了探究多脑区之间的连通性，本研究采用多向量自回归模型(Multiple Vector Autoregressive Model)[31]。Y₂ =[y₂⁽¹⁾(t), y₂⁽²⁾(t)···y₂^(m)(t)] 表示提取的特征。m是Y₂的向量。相互预测模型(Mutual Prediction Model)如式(9)所示。

式中p为滞后观测的最大个数；ξ₁、ξ₂和ξ₃是预测误差；C为多向量自回归模型的系数。

利用赤池信息准则(Akaike Information Criterion)和贝叶斯信息准则(Bayesian Information Criterion)的比值估计滞后观测的最大数目p。噪声协方差矩阵如式(10)所示。

由y₂⁽¹⁾(t)到y₂⁽¹⁾(t)的格兰杰因果关系，以y₂⁽³⁾(t)···y₂^(m)(t)为条件，被阐述为公式(11)。

var ξ_1r 是省略了y₂⁽²⁾(t)的受限模型的噪声协方差矩阵左上角的分量。

图6：疲劳状态下四个区域的平均原始信号功率谱、PCA提取特征和SDAE提取特征。

 3   结果

为了研究多脑区域之间的连通性，通过本文中所提模型和PCA对1、2、3、4区域提取的特征进行了格兰杰因果分析。图8和图9分别说明了区域之间的连接性。在图8和图9中，a、b和c分别代表清醒状态、疲劳状态和睡眠剥夺状态。区域之间的连接显著(P < 0.01)。

 4   讨论

SDAE是一种新的特征提取方法。本研究将所提出的基于SDAE算法应用于精神疲劳EEG据分析。从图5-7可以看出，本文提出的模型在三种情况下的特征提取都有很好的表现。需要注意的是，有关的频率范围在三种情况下是不同的。为了研究这一问题，分析了对原始信号进行短时傅里叶变换的结果和用第一、二自编码器提取的特征。这表明所提出的模型对高振幅的脑活动敏感。与其他情况相比，清醒状态下的大脑在mu和beta节律上的活动更高。第一自动编码器可以专注于明暗对比(light and shade)。第二自动编码器可以聚焦于幅值差。因此，在清醒状态下，第二自动编码器提取和突出了mu和beta节律的高振幅信息。同样，在疲劳和睡眠不足的情况下，delta和theta的高振幅信息也被提取出来并突出显示。因此，该模型是一种有效的、自适应的精神疲劳脑电数据分析方法。

图7：睡眠剥夺条件下四个区域的平均原始信号功率谱、PCA提取特征和SDAE提取特征。

图9显示了比图8更多的区域之间的双向连接。图8中大多数的连接关系在图9中涉及到。这些结果表明，该模型在提取模糊EEG的主要特征方面具有出色的能力，与PCA相比，避免了错误连接的发生，提高了信噪比。在图8中，在清醒状态下，基于所提模型提取的特征的连通，在垂直视图下，从区域1到其后区域有明显的连接。疲劳状态下的连接呈现出从1区到后区、从后区到前区的复杂轨迹。对于睡眠剥夺条件下的连通性，从4区到其前区存在因果流。不同的大脑精神状态有不同的连接模式。在配对连接关系中，起始节点包含重要信息，可以用来预测结束节点的信息。因此，连接关系可能隐含着信息在大脑中传递的过程。额叶控制着注意力[32]。结果表明，随着任务复杂度的增加，它激活程度越高[33]。在本研究中，清醒状态下的EEG连接结果表明1区在大脑活动中起着重要的作用，它可能主导大脑活动。然而，清醒状态不包含任何外部的精神集中任务。因此，清醒状态可能不仅仅是一种空转状态，而是一种需要高度集中注意力的内在状态。Dimitrakopoulos等人揭示了，在1小时模拟驾驶和半小时持续注意力任务下，大脑前脑区和后脑区之间的信息流动情况[34]。本研究揭示了疲劳条件下复杂的双向因果流动。与清醒和睡眠剥夺条件下的明显单向流动相比，疲劳条件下多脑区之间的复杂连接揭示了在长时间高注意力要求任务后，多脑区可能存在协同或交叉影响。在睡眠剥夺条件下，从第4区到它的前区存在因果流。Kar和Routray也有相关报告说到，在睡眠不足时，视觉区域的电极之间有很强的联系[35]。睡眠不足被证明会减缓视觉处理速度，损害视觉刺激处理的能力[36]。由此可见，睡眠剥夺条件的连通性表明，第4区以视觉处理抑制(Visual Processing Suppression)的形式主导着的心理状态。这种抑制可能会影响大脑的其他区域。

图8: The causal connectivity of the features extracted by the proposed model under the three conditions: (a) the awake condition; (b) thefatigue condition; (c) the sleep deprivation condition. The connection between areas is significant (P < 0:01).

图9: The causal connectivity of the features extracted by PCA under the three conditions: (a) the awake condition; (b) the fatigue condition; (c) the sleep deprivation condition. The connection between areas is signifificant (P < 0:01).

 5   结论

疲劳是人在执行认知任务过程中普遍存在的现象。为了克服噪声的影响，研究疲劳的潜在机理，本文提出了基于SDAE的模型建立方法。该模型已应用于EEG特征提取。实验结果表明，该方法能显著提高提取特征的信噪比。本文还研究了在清醒状态、疲劳状态和睡眠剥夺状态下，提取的特征在多脑区之间的因果联系。揭示了因果流动的不同方向。清醒条件下和睡眠剥夺条件下的因果流动方向是单向的，但相反。疲劳状态下，区域间的连通性轨迹最为复杂。它揭示了一个双向的因果流动，从前区到后区，从后区到前区。这些结果可能揭示了不同条件下多脑区之间具有不同的协同方式。这项工作为定量分析心理状态提供了一种新的方法。这将有助于揭示精神疲劳的潜在机制。

---

仅用于学术交流，若有侵权，请后台留言，管理员即时删侵！

更多阅读

   加入社群  

欢迎加入脑机接口社区交流群，

探讨脑机接口领域话题，实时跟踪脑机接口前沿。

加微信群：

添加微信:RoseBCI【备注：姓名+行业/专业】。

加QQ群：104048131

  欢迎来稿  

1.欢迎来稿。投稿咨询，请联系微信：RoseBCI

2.加入社区成为兼职创作者，请联系微信：RoseBCI

---

点个在看祝你开心一整天!