EEG神经网络分类的深度学习方法

导读

大脑活动模式分类是理解大脑，进行神经诊断和设计闭环神经接口的重要工具。头皮脑电图(EEG)以其非侵入性和低成本的优点被用于神经信号的分类，研究人员已经使用了各种机器学习方法来进行研究。近年来，深度学习(DL)因其能够在阐明分类的相关特征的同时显著提高许多领域的分类性能而广受欢迎。本文旨在为对基于EEG的深度学习研究感兴趣的研究人员提供全面的参考来源。

前言

深度学习(DL)在EEG应用中的潜力

随着深度学习算法的使用，EEG分析领域呈指数级增长。对先前研究的分析为DL架构的发展趋势提供了丰富的来源。在EEG分析中，卷积神经网络（CNN）、深度信念网络（DBM）、循环神经网络（RNN）和长短期记忆网络（LSTM）越来越流行。这些深度学习算法已应用于各种EEG分类任务。具体而言，Craik等人分析了90项研究发现，大多数EEG分类研究可分为六大类：情绪识别、运动想象、心理负荷、癫痫检测、事件相关电位和睡眠阶段评分。根据任务类型对研究进行了分析，并给出了对最能成功分类的DL架构类型的建议。此外，Craik还指出了特征选择方法的总体分布，特别是针对六大任务类别的分布，如图1所示。除此之之外，少有研究尝试使用DL算法来提高我们对阿尔茨海默症，抑郁症等方面的理解。

图1

有些综述还提供了对深度学习架构设计选择的进一步分析。Craik等人就DBN、CNN和RNN(该综述中发现的三种性能最高的架构类型)的特定架构设计提供了建议。具体而言，具有三个受限玻尔兹曼机(RBM)的深度信念网络(DBN)平均性能优于其他DBN设计。当使用信号值作为输入时，具有四到五个卷积层的CNN的性能优于其他公式，而当使用图像作为输入时，具有两个卷积层的CNN的性能优于其他变式。最后，研究发现具有两个LSTM层的RNN性能优于此类架构的其他变式。Roy等人发现，应用于EEG的DL架构通常使用3-10层，而不考虑具体的DL架构类型或输入公式。

深度学习方法概述

图2概览了EEG文献中常用的DL方法。接下来描述和总结了以往的EEG DL分类任务研究中使用的典型输入特征和DL方法。

图2

输入特征

在使用DL的EEG神经分类中，主要有三种类型的输入用于训练模型：时域，频域和图像特征。时域和频域特征是最常用的方法，图像特征可以将此类特征可视化为图像，以最大限度地利用CNN。

①时域特征

时域或时域特征非常接近数据的原始形式，或者是线性求和的时间样本，以创建事件相关电位(ERP)。这些是EEG神经分类中使用的一些常见特征。这些特征的优点之一是它们可以很容易地生成，并且在平均信号时特别有用。

②频域特征

频域特征提取方法在EEG研究领域中得到了广泛地应用。提取此类特征的常用方法之一是应用快速傅里叶变换(FFT)。其他方法包括小波分解，主成分分析(PCA)，多锥功率谱分析等。

③图像特征

图像是特征的一种形式，它通过附加的空间信息可视化上述两种特征，以便CNN等模型可以充分地利用输入数据信息。CNN在图像上的应用是DL中最常见的应用之一，EEG研究试图复制这种趋势是很自然的。早期的一项研究将FFT生成的频带进行了可视化，将特征映射到拓扑图上，并将其作为输入特征输入到类似于VGG的模型中。

架构

接下来将简要描述EEG DL分类研究中使用的常见架构。图2描述了五种最常见的架构。

①神经网络(NNs)

NNs是一个通用的框架，其中包含多个神经元的相互连接。每个神经元都是一个简单的计算器，通过激活函数计算输入和输出结果的线性组合。

②自编码器(AEs)

AEs是最常用的无监督NN框架之一。它们由两个主要部分组成：编码器和解码器。编码器学习特定的函数，这些函数将输入数据从输入域转换为潜在或代码空间中的一组特征向量。然后，解码器学习将这种潜在表征转换回输入空间的函数，从而重建输入。自编码器框架需要不同的正则化来学习数据的压缩、有损压缩表征。

③受限玻尔兹曼机(RBMs)

深度信念网络(DBNs)是一组具有多层潜变量的生成式神经网络模型，采用贪婪的逐层无监督学习算法。DBN由独立的无监督概率模型(如RBMs)组成，这些模型形成单独的层。RBMs是具有二分连接图的受限玻尔兹曼机，其相邻层之间有连接，但同一层中的单元之间没有连接。

④卷积神经网络(CNNs)

在一个或多个完全连接层之前，CNNs的结构包含一系列卷积和池化阶段。卷积层的各个单元被组织成特征映射，它通过称为滤波器组的共享权重，将特定单元连接到来自上一层特征映射的局部斑块。池化层将卷积层中的相似特征组合为单个特征。局部感受野、共享权重和池化层的使用有助于降低EEG数据的高维度。执行这些卷积所需的滤波器组通过反向传播自动调整。

⑤循环神经网络(RNNs)

RNNs是一种特殊类型的NN，它通过在整个数据持续时间内解析权重来保留输入时间序列中的权值。与CNNs相比，RNNs最初用于对数据建模，包括时间序列、语言建模和语音合成等顺序特征。由于RNNs能够对序列依赖性进行建模，因此它是基于EEG的BCI的必然选择，其中大脑信号被视为时间序列。

特定于任务的分类

根据任务类型对最新的DL脑电图分类研究进行分类。将任务类型大致分为：①意志过程（图3），②外部刺激，③医疗应用和④情感脑机接口(BCI)。在每个任务类型中，将任务进一步划分为特定的子部分。

图3.一般意志过程的示意图。

目前基于DL的EEG分类研究成果大致可分为3类：(1)提高了分类精度；(2)提出了一种新的特征解释方法；以及(3)增强了实时可行性。第一类倾向于研究EEG分类任务中常用的DL方法(与传统ML方法相比)的可行性和性能。第二类倾向于分析层权重并对其进行可视化，以便模型学习到的特征可以被解释，从而理解底层特征是如何有助于分类的。第三类研究了深度学习在实时应用中的可行性，通过减少计算参数的数量，实现实时分类。有趣的是，早期基于DL的EEG研究重点关注第一类贡献，而后续的出版物中，则出现了更多关注第二和第三类贡献的研究。

①意志过程

A.运动想象(MI)

运动想象任务是用于外骨骼控制(exoskeleton control)最常见的EEG任务类型，包括让参与者想象四肢或舌头的肌肉运动。这类任务可分为两组：视觉运动想象(VMI)和动觉运动想象(KMI)。在VMI中，参与者想象自己或另一个人执行运动动作（第三人称过程）。KMI任务要求参与者通过关注与内化运动动作相关的肌肉群，以内部视角（第一人称过程）想象自我执行的动作。

有研究人员(5个研究团队)试图用非DL算法对运动想象数据进行分类。精度差异主要归因于最终分类器。具体来说，获胜的算法采用了朴素贝叶斯Parzen窗口分类器，实现了68%的分类精度。其余四个团队使用线性判别分析(LDA)或支持向量机(SVM)的组合，分类精度在47%到64%之间。大多数分析运动想象数据集的深度学习研究都重点关注分类精度问题。这些研究试图通过处理特征提取和输入公式过程或者优化分类器来提高精度。深度学习架构具有大量的参数，这些参数在不同的研究中可能会有所不同，因此比较参数最相似的研究之间的性能非常重要。此外，必须对预测输出类别数目相同的研究进行比较，因为类别数目的增加意味着分类公式也更复杂。因此，只有对左手、右手、双脚和舌头的运动想象进行分类的研究才能进行比较。总的来说，深度学习架构在运动想象应用中的分类精度方面是很有前景的。

B.精神疲劳

驾驶车辆需要驾驶员付出大量的认知努力。Hajinoroozi等人是最早试图在虚拟现实动态驾驶模拟器中估计驾驶员困倦程度的研究之一。他们比较了多个DL和传统ML模型的性能，以研究它们区分警觉/困倦状态的能力。他们使用一种channel-wise卷积滤波器的CNN架构，并将该模型引用为channel-wise CNN(CCNN)。他们报告称，CCNN的性能优于常规的CNN，DNN，LDA和SVM模型。他们还用RBMs代替了常规的卷积滤波器，其性能优于CCNN模型。

Hong等人在类似的驾驶模拟环境中估计了驾驶员的心理负荷。他们评估了残差CNN(CNN-R)模型的性能，该模型使用具有两个卷积层的两个卷积block之间的残差连接，每个卷积层位于标准CNN之上。他们认为，与没有残差连接的CNN架构相比，CNN-R收敛速度更快，损失波动率更低。对于CNN-R，尽管这种变化不仅仅在现有模型中增加了残差连接，而且还改变了架构(滤波器大小，单元数和层的顺序)，但来自不同视觉研究的证据支持了这一观点，即残差连接可以帮助提高收敛速度。Gao等人还估计了与模拟环境中驾驶相关的疲劳。他们引入了一种架构，该架构使用多个一维卷积滤波器来学习时间特征，然后使用密集层来学习空间特征。他们认为他们的模型优于使用全局平均池来代替密集层的变体。Jeong等人并没有将飞行员仅仅分为警觉和困倦状态，而是开发了一种CNN+双向LSTM模型，该模型预测了飞行员在模拟驾驶环境中的五种不同的困倦状态。他们报告称，这五种类别的分类得分为69%，两种类别的分类得分为87%。他们将其模型与传统的ML模型(如SVM)以及常规CNN和LSTM网络的不同架构进行了比较，并证明了他们的模型优于所有其他模型。

C.心理负荷

心理负荷是指“个体在完成任务时所承受的心理负担量”。注意需求超过一定容量或低于要求的任何变化都可能导致性能下降甚至安全隐患。更好地了解这些认知和能力的限制将有助于设计有效的人机界面系统。

一些研究进行了不同的工作记忆任务，试图引发不同水平的任务难度。大多数研究都试图将RNN单独或与CNN联合添加到其模型中。其中，Bashivan等人首次使用了深度循环卷积神经网络(RCNN)来预测心理负荷。然后，他们将预处理的EEG转换为一组保留拓扑结构的多谱图像，这与之前不考虑这种空间信息的研究不同。然后，他们训练了用于心理认知负荷分类的RCNN，与当时最先进的(SOTA)相比，该模型的分类精度(初始精度为15.3%)显著提高了8.9%。

②外部刺激

与运动想象等意志过程不同，光和声音形式等外部刺激（图4）可以在脑电波中引发特定的反应，这些反应能够触发用于某些接口的系统，如BCI。使用外部刺激的一些优点是被试变异性相对较低。

图4.一般外部刺激的示意图。

几乎所有的脑电深度学习研究都在外部刺激任务中使用了CNN。架构范围从具有两到三层的相当简单的CNN到使用深度可分离CNN的更复杂的CNN模型，如EEGNet。许多研究使用跨时间和跨通道的一维卷积层来提取与分类相关的特征。一些正则化技术，如dropout和批归一化在最近的研究中也被使用，也有研究提出了特定于EEG的正则化技术。然而，由于本文没有将其性能与其他常用的ML正则化技术(如dropout，批归一化以及L1和L2范数)进行彻底比较，因此这种特定于EEG的正则化技术是否值得实行仍然存在争议。很少有研究在外部刺激任务中使用循环神经网络(RNN)。由于研究数量相对较少，因此在使用RNN时必须谨慎，未来的研究在使用RNN时应与其他架构(如CNN)进行性能比较。

A.视觉诱发电位(VEP)和快速序列视觉呈现任务(RSVP)

视觉诱发电位(VEP)是一种局限于视觉刺激的感觉诱发电位。Cecotti等人首次使用CNN进行了EEG分类任务的研究。该研究重点关注，已知被试之间存在变异性时，CNN是否可以稳健地应用于EEG信号。他们还研究了使用CNN作为模型学习特征的可视化工具，以了解信号的表征。BCI竞赛III，数据集2用于验证他们的方法。预处理包括降采样至120Hz、带通滤波范围为0.1-20Hz以及归一化。网络的输入是一个2D的EEG信号矩阵。网络架构很简单，仅使用几个卷积层与池化层，然后将其连接到最终的完全连接层。卷积层专门用于学习空间和时间滤波。与其他使用学习向量量化(LVQ)、线性判别分析(LDA)和支持向量机(SVM)的研究相比，该研究在使用10个epoch时显示出最佳的识别率，但另一项使用SVM集成的研究在使用15个epoch时表现出了优越的性能。

B.稳态视觉诱发电位(SSVEP)

SSVEP向被试提供恒定频率的闪烁刺激，并且以相对较高的信息传输速率(ITR)和信噪比(SNR)而闻名。关于EEGNet研究，其他一些研究指出的一个方面是，对于他们使用的每个数据集，都需要不同的预处理。在EEG分析的典型管道中，应用特定于任务的预处理来剔除伪迹和工程特征，但目前对端到端管道的研究兴趣也越来越大。DL的潜力之一是其自动特征提取能力。这在EEG分析中特别有用，因为我们可以输入原始数据，剔除伪迹，提取特征，并对输出进行分类，而无需依赖手动选择和特征加工。尽管这是最具挑战性的领域之一，但人们对其应用(EEG分析或其他方面)有着浓厚的兴趣，这通常被称为端到端学习。

③医疗应用

A.癫痫

癫痫是一种神经系统疾病，患者的大脑活动会变得异常。根据目前的临床知识，尚无直接的方法来预测或治愈癫痫。但是，研究人员一般会使用EEG作为非侵入性工具（图5）来阐明这种情况。如(1)识别有风险的人群，(2)对大脑状态进行分类(如正常与发作)，(3)预测癫痫发作，以及(4)通过脑部刺激减轻癫痫发作。前两个用途的相关研究最多，因为癫痫和非癫痫性EEG信号的识别可以被视为一种典型的分类问题。最后一个用途需要在大脑成像的基础上进行刺激，并且实证研究表明，深部脑刺激(DBS)可减轻癫痫的发作。

图5.一般医疗应用的示意图。

使用EEG识别癫痫活动，需要专家手动进行分析。但是一名患者在一天内会产生数小时的EEG监测记录，为了减轻此过程的负担，研究人员探索使用深度学习分类器来自动识别发作性活动。在自动癫痫发作分析中，一个有前途但具有挑战性的问题是通过对发作前时期的分类来预测即将发生的癫痫发作。发作前时期是指癫痫发作前的一种状态，可能被误解为发作间期，因为这两种状态很难区分。虽然癫痫发作前期的预测能够为癫痫患者提供明显好处，但目前关于这方面的研究相对较少。

B.阿尔茨海默症

阿尔茨海默症(AD)是一种不可逆的脑部疾病，目前没有有效的治愈或预防方法。目前关于阿尔茨海默症的EEG研究是有限的，当前的DL研究主要用于阿尔茨海默症患者与其他人群的分类。阿尔茨海默症的严重程度通常分为五个阶段：临床前期AD、前驱AD、轻度AD、中度AD和重度AD。

C.睡眠分期

据美国国立卫生研究院(NIH)的《患者和护理者指南》所示，睡眠有两种基本类型：快速眼动(REM)睡眠和非REM睡眠。非快速眼动睡眠进一步划分成三个阶段。许多睡眠阶段的研究都依赖于EEG。通过EEG进行睡眠阶段分类的系统综述显示，许多早期研究尝试使用DL方法(分类为人工神经网络)进行睡眠阶段分类。其中最著名的研究工作是DeepSleepNet，它是一种基于原始单通道EEG的专用深度神经网络，结合了1D CNN和双向LSTM模块。这种单通道深度学习模型表明，睡眠专家与基于kappa系数值为0.80的模型预测之间存在很大的一致性。

④情感脑机接口

从2014年开始，人们对通过EEG分析大脑活动、将DL技术应用于人类生理情感识别产生了极大的兴趣（图6）。Craik等人发现，人类情感识别是基于DL的EEG数据分类研究的第二大应用领域，占已发表研究的16%，仅次于运动想象任务分类(22%)。研究人员，特别是来自计算机视觉领域的研究人员，倾向于针对EEG分类问题进行人类情绪识别。利用DL技术进行情感分类的EEG数据集包含：基于生理信号进行情绪分析的数据库(DEAP)，SJTU情绪EEG数据集(SEED)，以及个体和群体情感、个性和情绪研究数据集(AMIGOS)。此外，MPED和DREAMER等其他情感识别EEG数据集，进一步扩展了BCI社区在情感识别领域的可用资源。

图6.一般情感计算的示意图。

值得注意的问题

①混合vs端到端

我们可以将处理管道的类型分为两组：(1)混合和(2)端到端。(1)混合处理管道是将数据(通常是DSP)的预处理结合起来，以便在输入ML模型之前去除伪影或提取特征。(2)端到端处理管道是指通过输入原始数据只使用了DL模型的研究。

A.混合

混合方法是指与DSP一起使用以去除伪影的数据处理类型，它使用了某些特征工程技术，最后用DL技术进行分类（图7）。在EEG文献中，有很多使用混合方法（在使用DL之前结合预处理和伪影处理）的研究(72%)。这是一个必然选择，因为EEG很容易受到各种伪影的污染，并且如果没有DL明确地显示或说明这些伪影是如何被删除或最小化的，我们不能排除DL模型可能从这些伪影而不是神经信号中学习的可能性。

图7.典型的EEG处理管道。

B.端到端

目前，人们对EEG的端到端DL分类越来越感兴趣。端到端学习指的是创建一个数据处理和建模管道，该管道可以优化任务的总体目标。人们对端到端DL感兴趣，是因为它有可能消除预处理的必要性，而预处理往往依赖于特定领域知识或专家的可视化解释。然而，在当前阶段，如果不彻底分析DL如何学习和依赖什么进行判断，使用端到端的DL分类仍然是有风险的。

②解释

自DL出现以来，一些研究人员一直对它的使用持谨慎或怀疑态度，因为很难解释从模型中所学到的信息。在这里，可解释性是指人类能够理解模型所做决策的原因的程度。可解释性在神经成像中尤为重要，例如EEG研究，因为我们想要了解的是大脑如何运作的以及如何利用它来构建一个能增强人类能力的系统。为此，有研究者总结了一些可用于使DL和ML可解释的方法类型，具体可以参考《可解释机器学习：黑盒模型可解释性理解指南》一书中的一些技术和可解释的ML模型。

A.权重的可视化

大多数试图分析模型的研究都尝试从训练的模型中进行权重可视化。特别是在EEG研究中，一种常见的方法是将学习到的权重投射到头皮图(拓扑图)上。例如，Cecotti等人是最早将CNN应用于EEG分类的研究人员之一，但(与后来的研究相比)其分析并不全面。Cecotti等人后来进行了另一项基于CNN的RSVP EEG分类研究，该研究通过与其他空间滤波器(xDAWN和CSP)进行比较，从而将空间滤波器可视化。在这里，研究人员可以将模型与其他传统的空间滤波技术进行比较。Schirrmeister等人和EEGNet文章也在模型分析的同时进行了权重的可视化，这与许多进行权重可视化分析的研究相比信息量更大。

B.激活分析

DL EEG研究中常用的另一种解释方法是激活分析。由于其模型结构是为了捕获空间和时间元素，因此对激活函数的输出进行平均将提供关于空间和时间滤波方面的有意义的信息。例如，EEGNet文献中展示了一个用拓扑图表示的空间滤波器，我们可以根据大脑的哪个区域来解释这些激活。此外，对激活区域的平均小波时频分析可以提供丰富的时域和频域信息。类似地，Irene等人使用逐层相关性传播(LRP)来解释网络做出的分类决策。使用LRP，决策分数被转换为热图，表明每个数据点对决策的重要性。

③再现性

可重复性或再现性是科学研究的基础和关键部分。鼓励透明和开放科学是ML和DL社区一直遵循和支持的想法。这包括开源数据以及发布用于训练、分析和生成结果的代码。最近一篇关于DL应用于EEG的综述文章显示，在156篇研究中，由于数据和源代码可用性方面的问题，只有7%的研究是容易复制的。其中，80项研究(51%)只有数据或只有代码，61项研究(39%)既没有数据也没有可用的代码。因此，为了提高结果的再现性，重点是要提供这些关键部分(如源数据和代码)，也可以参考来自FAIR神经科学和脑成像数据结构(BIDS)中专门针对EEG制定的指南。该综述文章还提出了六项指南，以及DL EEG研究中要包含的项目清单，如表1所示。

表1.提高脑电深度学习研究再现性的六项指南。

参考文献（上下滑动查看）：

Vaughan, T.M., et al.: Brain-computer interface technology: a review of the Second International Meeting (2003)

Lotte, F., Congedo, M., Lécuyer, A., Lamarche, F., Arnaldi, B.: A review of classification algorithms for EEG-based brain–computer interfaces. J. Neural Eng. 4(2), R1 (2007)

Yannick, R., Hubert, B., Isabela, A., Alexandre, G., Jocelyn, F., et al.: Deep learningbased electroencephalography analysis: a systematic review. arXiv preprint arXiv:1901.05498 (2019). https://github.com/hubertjb/dleeg-review

Sejnowski, T.J.: The unreasonable effectiveness of deep learning in artificial intelligence. In: Proceedings of the National Academy of Sciences (2020)

Craik, A., He, Y., Contreras-Vidal, J.L.P.: Deep learning for Electroencephalogram (EEG) classification tasks: a review. J. Neural Eng. 16, 031001 (2019)

Morabito, F.C., et al.: Deep convolutional neural networks for classification of mild cognitive impaired and Alzheimer’s disease patients from scalp EEG recordings. In: 2016 IEEE 2nd International Forum on Research and Technologies for Society and Industry Leveraging a Better Tomorrow (RTSI), pp. 1–6. IEEE (2016)

Kim, D., Kim, K.: Detection of early stage Alzheimer’s disease using EEG relative power with deep neural network. In: 2018 40th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC), pp. 352–355. IEEE (2018)

Zhao, Y., He, L.: Deep learning in the EEG diagnosis of Alzheimer’s disease. In: Asian Conference on Computer Vision, pp. 340–353. Springer (2014)

Acharya, U.R., Oh, S.L., Hagiwara, Y., Tan, J.H., Adeli, H., Subha, D.P.: Automated EEGbased screening of depression using deep convolutional neural network. Comput. Methods Programs Biomed. 161, 103–113 (2018)

Baltatzis, V., Bintsi, K.-M., Apostolidis, G.K., Hadjileontiadis, L.J.: Bullying incidences identification within an immersive environment using HD EEG-based analysis: a swarm decomposition and deep learning approach. Sci. Rep. 7(1), 1–8 (2017)

Guo, Y., Friston, K., Aldo, F., Hill, S., Peng, H.: Brain Informatics and Health: 8th International Conference, BIH 2015, London, 30 Aug–2 Sept 2015. Proceedings, vol. 9250. Springer (2015)

Bashivan, P., Rish, I., Yeasin, M., Codella, N.: Learning representations from EEG with deep recurrent-convolutional neural networks. arXiv preprint arXiv:1511.06448 (2015)

Le Roux, N., Bengio, Y.: Representational power of restricted Boltzmann machines and deep belief networks. Neural Comput. 20(6), 1631–1649 (2008)

Lawrence, S., Giles, C.L., Tsoi, A.C., Back, A.D.: Face recognition: a convolutional neuralnetwork approach. IEEE Trans. Neural Netw. 8(1), 98–113 (1997)

LeCun, Y.: Deep learning & convolutional networks. In: 27th IEEE Hot Chips Symposium, HCS 2015. Institute of Electrical and Electronics Engineers Inc (2016)

Pearlmutter, B.A.: Learning state space trajectories in recurrent neural networks. Neural Comput. 1(2), 263–269 (1989)

Onose, G., et al.: On the feasibility of using motor imagery EEG-based brain–computer interface in chronic tetraplegics for assistive robotic arm control: a clinical test and long-term post-trial follow-up. Spinal Cord 50(8), 599 (2012)

Pfurtscheller, G., Neuper, C.: Motor imagery and direct brain-computer communication. Proc. IEEE 89(7), 1123–1134 (2001)

Féry, Y.-A.: Differentiating visual and kinesthetic imagery in mental practice. Can. J. Exp. Psychol./Revue Canadienne de Psychologie Expérimentale 57(1)), 1 (2003)

Tangermann, M., et al.: Review of the BCI competition IV. Front. Neurosci. 6, 55 (2012)

Abbas, W., Khan, N.A.: DeepMI: deep learning for multiclass motor imagery classification. In: 2018 40th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC), pp. 219–222. IEEE (2018)

Lawhern, V.J., Solon, A.J., Waytowich, N.R., Gordon, S.M., Hung, C.P., Lance, B.J.: EEGNet: a compact convolutional neural network for EEG-based brain–computer interfaces. J. Neural Eng. 15(5), 056013 (2018)

Sakhavi, S., Guan, C., Yan, S.: Learning temporal information for brain-computer interface using convolutional neural networks. IEEE Trans. Neural Netw. Learn. Syst. 99, 1–11 (2018)

Luo, T.-J., Chao, F., et al.: Exploring spatial-frequency-sequential relationships for motor imagery classification with recurrent neural network. BMC Bioinformatics 19(1), 344 (2018)

Wang, Z., Cao, L., Zhang, Z., Gong, X., Sun, Y., Wang, H.: Short time Fourier transformation and deep neural networks for motor imagery brain computer interface recognition. Concurr. Comput. Pract. Exp. 30(23), e4413 (2018)

Tefft, B.C., et al.: Prevalence of motor vehicle crashes involving drowsy drivers, United States, 2009–2013. Citeseer (2014)

Hajinoroozi, M., Mao, Z., Huang, Y.: Prediction of driver’s drowsy and alert states from EEG signals with deep learning. In: 2015 IEEE 6th International Workshop on Computational Advances in Multi-Sensor Adaptive Processing (CAMSAP), pp. 493–496. IEEE (2015)

Zeng, H., Yang, C., Dai, G., Qin, F., Zhang, J., Kong, W.: EEG classification of driver mental states by deep learning. Cogn. Neurodyn. 12(6), 597–606 (2018)

He, K., Zhang, X., Ren, S., Sun, J.: Deep residual learning for image recognition. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 770–778 (2016)

Szegedy, C., Ioffe, S., Vanhoucke, V., Alemi, A.A.: Inception-v4, inception-resnet and the impact of residual connections on learning. In: Thirty-First AAAI Conference on Artificial Intelligence (2017)

Gao, Z., et al.: EEG-based spatio-temporal convolutional neural network for driver fatigue evaluation. IEEE Trans. Neural Netw. Learn. Syst. 30, 2755–2763 (2019)

Jeong, J.-H., Yu, B.-W., Lee, D.-H., Lee, S.-W.: Classification of drowsiness levels based on a deep spatio-temporal convolutional bidirectional LSTM network using electroencephalography signals. Brain Sci. 9(12), 348 (2019)

Borghini, G., Astolfi, L., Vecchiato, G., Mattia, D., Babiloni, F.: Measuring neurophysiological signals in aircraft pilots and car drivers for the assessment of mental workload, fatigue and drowsiness. Neurosci. Biobehav. Rev. 44, 58–75 (2014)

Aghajani, H., Garbey, M., Omurtag, A.: Measuring mental workload with EEG+ fNIRS. Front. Hum. Neurosci. 11, 359 (2017)

Young, M.S., Brookhuis, K.A., Wickens, C.D., Hancock, P.A.: State of science: mental workload in ergonomics. Ergonomics 58(1), 1–17 (2015)

Jiao, Z., Gao, X., Wang, Y., Li, J., Xu, H.: Deep convolutional neural networks for mental load classification based on EEG data. Pattern Recogn. 76, 582–595 (2018)

Zhang, P., Wang, X., Zhang, W., Chen, J.: Learning spatial–spectral–temporal EEG features with recurrent 3D convolutional neural networks for cross-task mental workload assessment. IEEE Trans. Neural Syst. Rehabil. Eng. 27, 31–42 (2018)

Munafò, M.R., et al.: A manifesto for reproducible science. Nat. Hum. Behav. 1, 0021 (2017)

Pernet, C., Appelhoff, S., Flandin, G., Phillips, C., Delorme, A., Oostenveld, R.: BIDS-EEG: an extension to the Brain Imaging Data Structure (BIDS) Specification for electroencephalography (2018). https://doi.org/10.31234/osf.io/63a4y

小伙伴们点个“在看”，加(星标)关注茗创科技，将第一时间收到精彩内容推送哦～

更多精彩课程推荐

• 本文内容仅供参考，一切内容以英文原文为准。
  

• 非常欢迎大家留言、转载、收藏或分享~
• 本文来自微信公众号“茗创科技”。如需转载，请在“茗创科技”后台回复“转载”，并附上所需转载的文章标题以及您的ID。

MC_Brain

茗创科技工作室

觉得有帮助，欢迎转发收藏或者点个在看哦~

听说点在看的人SCI接收率都提升了18%呢！