用于 BCI 信号分类的深度特征的 Stockwell 变换和半监督特征选择

脑机接口社区 2023-02-08

摘要

在过去的几年里，运动图像 (MI) 脑电图 (EEG) 信号的处理已被吸引到开发脑机接口 (BCI) 应用程序中，因为这些信号的特征提取和分类由于其固有的复杂性和倾向于人为它们的属性。BCI 系统可以提供大脑和外围设备之间的直接交互路径/通道，因此基于 MI EEG 的 BCI 系统对于控制患有运动障碍的患者的外部设备似乎至关重要。目前的研究提出了一种基于三阶段特征提取和机器学习算法的半监督模型，用于 MI EEG 信号分类，以通过更少的深度特征来提高分类精度，以区分左右手 MI 任务。在所提出的特征提取方法的第一阶段采用斯托克韦尔变换从一维 EEG 信号生成二维时频图 (TFM)。接下来，应用卷积神经网络 (CNN) 从 TFM 中寻找深度特征集。然后，使用半监督判别分析（SDA）来最小化描述符的数量。最后，五个分类器的性能，包括支持向量机、判别分析、在所提出的特征提取方法的第一阶段采用斯托克韦尔变换从一维 EEG 信号生成二维时频图 (TFM)。接下来，应用卷积神经网络 (CNN) 从 TFM 中寻找深度特征集。然后，使用半监督判别分析（SDA）来最小化描述符的数量。最后，五个分类器的性能，包括支持向量机、判别分析、在所提出的特征提取方法的第一阶段采用斯托克韦尔变换从一维 EEG 信号生成二维时频图 (TFM)。接下来，应用卷积神经网络 (CNN) 从 TFM 中寻找深度特征集。然后，使用半监督判别分析（SDA）来最小化描述符的数量。最后，五个分类器的性能，包括支持向量机、判别分析、k近邻、决策树、随机森林，以及它们的融合比较。SDA 和提到的分类器的超参数通过贝叶斯优化进行优化，以最大限度地提高准确性。所提出的模型使用 BCI 竞赛 II 数据集 III 和 BCI 竞赛 IV 数据集 2b 进行验证。所提出方法的性能指标表明其对 MI EEG 信号进行分类的效率。

学科术语：生物医学工程、电气和电子工程

介绍

脑机接口 (BCI) 是一项强大的新兴技术，可将大脑活动转化为有用的计算机代码，以驱动严重残疾人和运动障碍患者的机械设备[1]。BCI 系统可以通过以低成本和低风险的方式在没有任何肌肉干扰的情况下结合大脑活动来恢复、完成、替代或恢复人类功能。除了医疗保健和医疗应用之外，BCI 系统还为智能环境、广告、电脑游戏和教育等多个领域做出了贡献[2]. 运动想象信号的分类是 BCI 系统在神经康复中最重要的贡献之一。由于无创、高时间分辨率、相对简单的操作和低成本，从头皮记录的脑电图 (EEG) 信号已广泛用于康复和加固工具领域的 BCI 系统[3 - 5]。

在 BCI 应用中有一些广泛使用的 EEG 信号，如稳态视觉诱发电位 (SSVEP) [6]，这是大脑对某些特定频率的视觉刺激的反应，以及与运动功能更相关的慢皮层电位 (SCP) [7] .此外，诱发电位 P300 [8]信号通常用作拼写器，以及运动想象 (MI) [9]. 最近，有几项研究通过 MI EEG 信号对感觉运动区域的大脑活动进行了研究，其中用户想象特定的肢体运动，而没有真正移动身体的那部分来控制系统。由于 MI EEG 信号可以轻松且廉价地收集，它已被用于各种应用，例如控制四轴飞行器、机器人、电动轮椅和其他外部设备[10、11]。因此，要控制机械设备，主要要求是对大脑活动模式进行分类并将这些模式转化为命令。虽然 BCI 系统有了很大的改进，但准确分类不同的 MI 状态仍然具有挑战性。因此，在这项工作中，MI 活动已用于 BCI 系统，我们的目标是使用三步特征提取技术在 MI 任务中使用较少数量的特征来提高分类性能。

特征提取和分类是 MI EEG 信号处理中的两个显着因素。EEG 信号的分析从识别它们的信息特征开始。典型的空间模式 (CSP) 和基于 CSP 的方法是各种 MI 研究中流行的特征提取技术[12 – 14]。参考文献中的作者。[15]使用滤波器组 CSP (FBCSP) 算法和主成分分析 (PCA) 从 EEG 信号中选择和减少特征，然后通过极梯度提升 (XGBoost) 算法对其进行分类。此外，有几项研究使用图论和功能连接来分析 MI 任务中的 EEG 信号[16]。在另一项研究中，提出了一种基于频率的方法，该方法使用来自重叠子带的 CSP 特征来进行 MI 分类。使用所有可用通道，该方法选择最具辨别力的滤波器组[17]。许多研究还检验了时域、频域以及这两种信息融合对 MI EEG 分类性能的影响[18]。最近，基于 RNN 的元启发式算法、时变方程被应用于机器人[19]的控制，其中引入了基于 EMG 信号和关节信息的人工动态系统来检测人体下半身的运动意图。此外，神经网络模型已被用于时变优化问题[20]. 使用 RNN 和 CNN 架构的组合，参考文献中的工作。[21]对 BCI 竞赛 IV 数据集 2a 上的四类 MI 进行了分类，目标是拥有一个可以应用于所有参与者的模型。然而，目前 MI-EEG 分类研究的表现仍然无法与图像和语音识别等其他领域相媲美。短时傅里叶变换 (STFT) 和小波变换也是流行的时频方法，它们已被开发用于提取随时间变化的各种EEG频率特征[12、22、23]。在另一项报告的研究中[24]，提取输入信号的 STFT 特征，然后使用基于 ResNet 的网络进行分类。然而，STFT 中窗口的有限宽度导致时域和频域的分辨率恒定。因此，它不能在低频提供适当的频率分辨率和在高频提供良好的时间分辨率。几项研究表明，具有变体母小波的连续小波变换 (CWT) 代表了适当的多尺度分析，用于在 BCI 任务中提取 MI EEG 信号的时频分辨率中的重要特征[25 – 27]。已采用各种机器学习方法对 MI EEG 信号进行分类，例如支持向量机 (SVM) [28]、线性判别分析 (LDA)[ 29], k最近邻 ( k NN) [30] , 和其他方法[23 , 31]。卷积神经网络 (CNN) 等深度学习模型最近已用于 BCI 研究[32 – 34]。

在参考文献中。如图27所示，作者考虑了 CWT 和四层 CNN 进行分类。与 BCI 竞赛 II 数据集 III 和 BCI 竞赛 IV 数据集 2b 上的 STFT 相比，他们使用三个母小波提高了平均分类精度。在参考文献中。如图 33所示，为脑电信号的时频映射呈现了不同的母小波。然后开发了一个两层 CNN，将 C3、Cz 和 C4 通道的 TFM 组合分类为左右手 MI 任务。在 BCI 竞赛 II 的数据集 III 中，他们的工作准确率为 92.75%。康德等人。34使用 CWT 将 EEG 信号转换为二维 TFM。他们在三个不同的频谱中使用了 BCI 竞赛 II 的数据集 III，并应用了几种迁移学习方法，包括 VGG19、AlexNet、VGG16、ResNet50、GoogleNet 和 ResNet101，对 MI 数据进行分类。他们通过 VGG19 在全频段（8-30 Hz）中实现了 95.71% 的最大准确度。此外，参考文献中通过 Morlet 小波变换获得的时频图像[35]。使用带有卷积块注意模块 (CBAM) 的扩展 CNN 进行分类，在 BCI 数据集 III 上的准确率为 90.7%。在这些工作中，小波变换作为特征提取方法的缺点是在低频下时间分辨率较差，并且在操作之前要找到最佳窗函数。提出了斯托克韦尔变换以克服小波变换[36、37]的缺点。在参考文献中[38], Stockwell 变换将不同的 MI 信号划分为不同的频率区域，结合 CSP 技术作为多步特征提取方法，制备出特征向量。比较了最小二乘支持向量机（LS-SVM）、随机森林（RF）和人工神经网络（ANN）三种不同分类技术的性能。因此，使用 LS-SVM 分类器在 BCI 竞赛 III 数据集 IIIa 上实现了 95.55% 的准确率。

MI 任务已经用几种不同的技术进行了分类，但目前还没有一种更好的算法可以为大多数应用程序提供更好的结果。不同基础分类器的集合没有使用单独的分类器，而是显示了 BCI [39、40] 的有希望的结果。显然，集成方法的质量可以通过其准确性和多样性来定义[41]。在参考文献中。如图 40所示，基于k NN、SVM 和朴素贝叶斯 (NB)三个基础机器学习分类器的三种集成架构的比较研究被表示为对从 MI 数据中提取的不同特征集进行分类，使用具有多基础的 Adaboost 集成学习报告了最佳性能分类器。在参考文献中。如图 [42]所示，五个单独分类器 [LDA、kNN、SVM、NB 和决策树 (DT)] 的多数投票集成模型显示出比每个单个分类器更好的平均分类精度，用于多类运动图像 EEG 信号。尽管不同的集成学习方法可以提高整体准确度，但由于输入数据集的不同特征[43]，它们无法始终胜过某些应用的最佳个体分类器。

BCI 利用大脑活动与大脑功能完整的瘫痪者进行交流。然而，大脑活动的非平稳性和大脑活动中包含的生理伪影限制了 BCI 技术的性能和可靠性。因此，我们的目标是提高 MI 任务分类的性能。由于 MI EEG 信号的非线性特性，最好采用时频变换来分析这些信号。考虑到文献综述中提供的解释，我们的目标是在深度特征提取和决策级别使用较少数量的深度特征和融合算法来提高 BCI 任务的分类性能。本文使用 Stockwell 变换获得 MI EEG 信号的 TFM。然后，CNN 被认为是从 TFM 中引出强大的深度特征。由于提取的特征太多，应该减少它们以减轻计算复杂度。为此，我们考虑了半监督判别分析（SDA），它最大化了类的分离并估计了数据的基本几何结构。选定的基于 CNN 的特征用作五种不同机器学习分类器的输入。最后，将所有这些分类器的性能及其组合进行比较，以根据 kappa 值和分类精度找到最有效的方法。最大化类的分离并估计数据的基本几何结构。选定的基于 CNN 的特征用作五种不同机器学习分类器的输入。最后，将所有这些分类器的性能及其组合进行比较，以根据 kappa 值和分类精度找到最有效的方法。最大化类的分离并估计数据的基本几何结构。选定的基于 CNN 的特征用作五种不同机器学习分类器的输入。最后，将所有这些分类器的性能及其组合进行比较，以根据 kappa 值和分类精度找到最有效的方法。

本文继续如下。“材料和方法”解释了数据集信息和建议的方法。绩效评估的结果在“结果与讨论”中给出。最后，“结论”结束了论文。

材料与方法

在这里，我们解释了所提出的 MI EEG 信号分类方法。在图1，所提出的方法以框图形式显示。所提出的方法通常包括四个步骤，包括（1）时频分析，（2）特征提取，（3）特征缩减，以及（4）分类。下面将详细解释每个步骤。

图1 提出的 MI EEG 分类方法的框图。

数据集

本研究的 EEG 信号取自两个数据集，即 BCI 竞赛 II 数据集 III 44和 BCI 竞赛 IV 数据集 2b，它们分别称为 II-III 和 IV-2b 45。桌子表格11总结了数据集的细节。下面将详细介绍每个数据集。

表1：本文使用的数据集摘要。

数据集 II-III 记录了正常受试者（一名 25 岁女性）的运动皮层通道 C3、C4 和 Cz。它由左右手动作的 MI 任务实验组成。数据集中总共有 280 个 9 秒长度的试验。其中 140 个用于训练，140 个用于测试。在前两秒的沉默之后，在t = 2s，然后是十字“+”号显示一秒钟。之后，向受试者显示提示（左或右）t = 3–9 s，并指示受试者执行图像任务。每个试验都遵循相同的模式，如图 1 所示。2一个。采样率为 128 Hz，信号在 0.5 到 30 Hz 之间被过滤。数字 3在不同的频道中呈现每个任务的一个记录。

图 2：在每次试验中记录 EEG 信号的时序方案。( a ) 数据集 II-III，( b ) 数据集 IV-2b 的前两个会话，( c ) 数据集 IV-2b 的后三个会话。

图3：在不同任务期间记录的数据集 II-III 的 EEG 信号。( a )左手C3通道，( b )左手C4通道，( c )左手Cz通道，( d )右手C3通道，( e )C4通道右手运动，（f）右手运动的Cz通道。

构成数据集 IV-2b 的三通道（C3、Cz 和 C4）EEG 信号是在 250 Hz 的采样频率下从 9 名受试者45中收集的。为了消除信号噪声，采用 [0.5, 100] Hz 范围内的带通滤波器。与数据集 II-III 类似，进行了左手运动和右手运动的想象。每个受试者的脑电图信号记录在五个会话中，前两个会话没有反馈，其余三个会话有反馈。每条轨迹都被记录下来，如图所示。

时频分析

应该提到的是，在大脑活动中称为 ERS 和 ERD 的运动运动发生在 alpha (8-13 Hz) 和 beta (14-28 Hz) 频带，因此我们考虑了 Stockwell 变换的输出范围7-30 赫兹。因此，在计算 Stockwell 变换之前，不需要从原始 EEG 信号中去除 50 Hz 工业频率信号的影响。由于脑电信号具有非线性和非平稳特性，因此传统上使用各种时频分解方法，如 STFT、小波变换和 Stockwell 变换来分析它们。由于 STFT 中的固定窗口宽度，不能同时实现适当的时间和频率分辨率。小波变换被提出来通过将数据分解成几个尺度来克服与傅里叶变换相关的问题，每个刻度代表信号的特定分辨率。小波变换的缺点是选择最优母小波和丢失数据的绝对相位。

Stockwell 等人提出的 Stockwell 变换。46是 CWT 和 STFT 的扩展。作为一种有效且高效的时频分解方法，Stockwell 变换在低频处提供高频分辨率，同时在高频处获得高时间分辨率。因此，在本研究中，Stockwell 变换被应用于以时频表示 EEG 信号。连续时域信号的 Stockwell 变换x ( t )表示为：

根据 ( 3 )，Stockwell 变换中的窗口宽度取决于频率F。因此，随着频率降低，它变得更宽，并且当频率增加时，它变得更窄[47]。

假设x ( n T),n = 0 , 1 , ⋯ , N− 1是离散时间信号通过对连续信号进行采样获得x ( t )其中T是采样周期。离散斯托克韦尔变换源自输入信号的离散傅里叶变换 (DFT)。信号的N点DFT可以表示为：

它在参考文献中得到了证明[33]。放置在 C3 和 C4 中的两个电极足以对不同的图像任务进行分类。因此，在本文中，对从 C3 和 C4 通道获得的信号进行了斯托克韦尔变换，相应的绝对 TFM 显示在图 3 和图 3 中。图 44和和55分别用于左手和右手动作。运动运动的表演甚至想象可以在大脑活动中引起称为事件相关同步 (ERS) 和事件相关去同步化 (ERD) 的特定模式，这些模式发生在阿尔法 (8-13 Hz) 和贝塔 (14- 28 Hz) 频率范围[48 , 49] . 由于这些现象对 MI EEG 信号的分类很重要，因此对 7-30 Hz 的原始 EEG 信号应用了带通滤波器。然后将 7-30 Hz 范围内的 C3 和 C4 电极的 TFM 垂直堆叠，如图 1 所示。6. 正如观察到的左手任务和右手任务的 TFM 不同，我们可以使用它们对 MI 任务进行分类。

图4：Stockwell TFM 的绝对值对应于数据集 II-III 的左侧 MI 信号。( a ) C3 通道，( b ) C4 通道。

图5：Stockwell TFM 的绝对值对应于数据集 II-III 的右手 MI 信号。( a ) C3 通道和 ( b ) C4 通道。

图6：从数据集 II-III 中堆叠 TFM 的演示。( a ) 右手，和 ( b ) 左手。

CNN深度特征提取

CNN 是一种深度神经连接网络，专为特征提取、分类、识别和检测应用而设计。在这项研究中，我们利用 CNN 从 TFM 中提取深层特征。CNN 的每一层都包含两个主要构建块；卷积层和池化层。CNN 的输入是堆叠的 TFM，其输出是深度特征向量。卷积层是 CNN 中的第一层，通过应用不同的过滤器（内核）并将结果传递给池化层，从输入 TFM 中提取特征。根据训练样本的数量限制层数和相关参数是避免过度拟合和降低函数复杂度的适当解决方案[33]。

在每个卷积层之后添加一个小批量归一化层和一个激活层。在卷积层之间使用批量归一化层的主要目的是将每一层的输出归一化以具有零均值和单位方差，这可以加速和提高深度神经网络的性能50。非线性激活函数将非线性引入神经网络。有几种激活函数，最常用的是 sigmoid、正切双曲和整流线性单元 (ReLu) 函数。ReLu 是最有效和流行的激活函数，定义为：

因此，对于负输入，输出等于 0，对于正输入，它是一个线性函数。ReLu 函数比前两个更快更直接。由于正输入的输出有相当大的变化，它可以防止梯度消失问题。因此，本文选择 ReLu 激活函数作为 CNN 的激活层。池化层是下一层，也称为下采样层或下采样层。最大池化和平均池化是通用池化函数，通过取采样区域的最大值和平均值来减少数据的维度。

在这项研究中，考虑使用两层和三层的 CNN 从 TFM 中提取深层特征，其中第一层和第二层卷积层分别有 8 个和 16 个内核，而三层 CNN 中的最后一层有 32 个滤波器。所有过滤器的大小为 3 × 3。两层 CNN 的结构如图 7 所示。

图7：具有两个卷积层的 CNN 结构。

从图像中提取更深层次特征的另一种方法是使用预训练网络并针对新任务调整它们的权重。有几种用于图像识别任务的预训练模型，例如 AlexNet、VGG16、VGG19 [51]、Inception [52]、MobileNet [53]和 ResNet50 [54]。在本文中，我们从预训练的 AlexNet 的最后一个池化层和预训练的 VGG19 模型的第二个全连接层中提取特征，并在我们提出的模型中报告它们的性能。

特征缩减

经过深度特征提取后，输入的 TFM 由一个高维向量表示。这几个特征可能没有提供信息，并且彼此之间具有更高的相关性。为了选择最重要的特征并降低特征向量的维数，使用了 SDA。SDA 考虑标记和未标记的样本[55]。标记数据点最大化不同类别之间的分离，而未知数据估计基本几何结构。SDA 对数据的分布拟合了一个平滑的判别函数。

假设X1,X2, ⋯ ,XñεR大号表示对应于c个类别的L维空间中的N个训练样本。SDA 的监督版本，即线性判别分析（LDA），只考虑标记样本。LDA 具有以下目标函数：

如果没有足够的训练样本，可能会出现过拟合。正则化器通常用于防止过拟合。在这种情况下，优化问题如下：

决定了假设族的学习复杂度，调节系数β控制了模型复杂度和经验损失之间的平衡。考虑到自然正则化器，我们有：

正如所观察到的，SDA 的性能取决于调节参数β。在本文中，贝叶斯优化用于找到参数β的最佳值，从而产生最高的分类精度。

分类

本文采用五种著名的机器学习分类器对两类特征向量进行分类，并比较了它们的结果。由于在某些情况下分类器的行为不同，因此采用融合方法通过结合分类器的决策来提高整体分类精度的可靠性。

支持向量机 (SVM)

Vapnik [56]引入了 SVM 作为鲁棒分类器。由于其较低的计算复杂度和小数据集的易于处理，它已普遍用于各种BCI研究[4、57 – 59]。SVM 中的最优超平面最大化了类之间的边际距离。在本文中，考虑了线性 SVM。

判别分析

低计算要求和易于实现使判别分析成为基于 EEG 的BCI的理想分类器之一[29、60] 。在判别分析方法中，类之间的边界是基于类间方差比最大化和类内方差最小化来定义的。判别分析分类技术使用贝叶斯定理来预测测试数据属于哪个类别[61]。

k-最近邻 (kNN)

k NN 方法是基于机器学习的分类算法中著名的统计方法。k NN 是 MI 任务 [59、62] 中的一个简单分类器，通过考虑测试数据与特征空间中最接近的类之间的 k 个距离度量对每个测试数据进行分类。因此，参数k是k NN性能的关键。

决策树 (DT)

DT 是一种有监督的机器学习技术，其中数据集根据特定参数连续拆分为子集。该分类器使用包含根、内部决策和终端节点的树状结构。根节点被认为是分类为分支的整个数据集。中间子集称为决策节点，终端节点表示预测类别[63]。

随机森林 (RF)

RF 是 Leo Breiman 在 2001 年64提出的监督机器学习分类器。RF 分类器收集多个 DT 分类器的决策，其中选择特征的随机子集来训练每个 DT 分类器。这个过程增加了树木之间的变化；因此它克服了过度拟合。最终，结合所有 DT 的结果决定了对新数据的最终决定。

分类器的集合

集成是两个或多个单独的分类模型的组合，以提高整体性能。稳健的集成模型基于两个基本参数：分类器的准确性和多样性[41]。在这项研究中，多数投票集成是最流行的分类组合方法之一65，用于组合五个分类器的结果以进行最终决策，如图 8所示。在这个模型中，最终的类预测是在基分类器中获得超过一半选票的预测。

图8：五个分类器的集合（决策级融合）对从 SDA 获得的特征进行分类。

结果与讨论

本节报告进行的实验的结果。通过分类准确度、kappa 分数、混淆矩阵、精度和灵敏度来评估所提出模型的性能。分类精度作为最广泛使用的度量定义为[34]：

其中TP（真阳性）是正确分类的特征集的数量，TN（真阴性）是正确拒绝的特征集的数量。FN（假阴性）是错误识别的特征集的数量，FP（假阳性）是错误拒绝的特征集的数量。所有这些参数的值都来自混淆矩阵。灵敏度，也称为召回率，是模型预测每个特定类别的所有真阳性的能力。得到[71]：

精度反映了准确的阳性预测在分类为阳性的样本总数中的比例：

此外，kappa 分数被用来衡量所提出模型的分类性能并消除随机性效应[72]。计算如下：

其中 rAcc。表示随机精度，定义为:

其中N c是类的数量，在所考虑的数据集中等于两个。

数据准备

数据集 II-III 的每个原始 EEG 信号的持续时间为 9 秒。然而，原始 EEG 信号的最后六秒被考虑用于 MI 分类。我们考虑了试验的六秒持续时间和试验中的多个较小的部分。在试验中滑动时间窗口的目的是发现分类准确性中最有效的持续时间。在这项工作中，考虑了三个长度为 2、3 和 4 秒的窗口，以 250 ms 的步幅从训练和测试数据集中提取 EEG 片段。第一段从原始信号的第三秒开始，最后一段在试验结束时结束。例如，具有 3 秒持续时间的片段如图 1 所示。9. 50% 的数据用于训练，其余数据用于测试阶段。

图9：演示数据集 II-III 的三秒片段，步幅为 250 毫秒。

本文考虑了数据集 IV-2b 的前三个会话。该数据集中的 MI 段的长度为 3 秒。因此，我们只考虑步长为 250 ms 的两秒滑动窗口。50% 的数据用于训练，其余数据用于测试阶段。

特征缩减

CNN 自动从每个 TFM 中提取高维深度特征。所有提取的特征都没有提供信息，而且大部分都是多余的。如前所述，SDA 被考虑用于减少特征。输入特征向量的大小取决于 CNN 的结构，对于提出的两层 CNN，它等于 48,400。根据 SDA 的特点，缩减后的特征向量的大小等于类数，本文中类数等于 2。在模拟中，2/3 的训练样本被视为标记数据，其余的被视为未标记数据。模拟表明有两个非零特征值；因此，SDA 将特征数量减少到两个，从而大大降低了计算复杂度。可以观察到，滑动窗口的长度及其位置对 SDA 生成的特征分布有相当大的影响。因此，分类精度预计会因预测窗口的长度和位置而异，如下所示。

图 10：考虑到滑动窗口的不同长度和位置，从 SDA 获得的特征。( a ) 长度为 2 秒的第二个窗口，( b ) 长度为 2 秒的第七个窗口，( c ) 长度为 2 秒的第 12 个窗口 ( d ) 长度为 3 秒的第二个窗口，( e ) 长度为 3 秒的第七个窗口，( f ) 长度为 3 秒的第 12 个窗口 ( g ) 长度为 3 秒的第二个窗口，( h ) 长度为 3 秒的第六个窗口，以及 ( i ) 长度为 3 秒的第九个窗口。

整个 MI 试验的结果

我们考虑了寻找分类器超参数的优化过程。对于 SVM 分类器，通过贝叶斯优化找到框约束和核类型，即线性、二次、三次或高斯。此外，对于高斯核，其尺度也进行了优化。在k的情况下NN分类器、邻居数、距离度量和距离权重通过贝叶斯优化得到。距离度量选自欧几里得、马氏、三次和余弦。加权方案也选自相等、逆和平方逆。对于决策树，最大分裂数由贝叶斯优化器找到。Gini 的多样性指数被认为是分裂标准，如果树中的一个节点的子树高度相差不超过 1，则它是高度平衡的。通过网格搜索在线性、二次、对角线性和对角二次之间找到了判别分类器的判别类型。最后，贝叶斯优化器为随机森林分类器找到最小的叶子大小和预测变量的数量。

表中所提模型的分类准确率和 kappa 得分的比较研究表2，[2,3,3,4]和[5]对于不同的分类器。这些表比较了五个单一分类器的性能及其融合与基于两层和三层 CNN 提取的深度特征和预训练模型（包括 AlexNet 和 VGG19）的多数投票方法。为了评估 Stockwell 变换的有效性，将 Stockwell TFM 的结果与 Morlet 小波变换和 STFT 进行了比较，在最近的研究中显示出比其他母小波更好的结果[27 , 33 , 73]。

表4表明当预训练的 AlexNet 网络用于提取深度特征时，Morlet 小波变换比 Stockwell 变换具有更好的平均分类精度。然而，最大实现的准确度仍然低于其他深度 CNN 模型使用 Stockwell 变换实现的最佳准确度。大多数分类器在脑电信号分类中使用提出的基于 Stockwell 的特征实现了相对更好的性能。结果表明，在所提出的模型中，对于数据集 II-III，多数投票分类器在数据集 II-III 和 IV-2b 上的分类准确率最高，分别为 97.14% 和 86.05%，Stockwell 变换使用两层美国有线电视新闻网。一般来说，基于 Stockwell 变换的两层 CNN 具有最高的分类精度。结果表明，尽管融合模型在大多数情况下获得了更好的准确度，但它并不总是给出最好的分类结果。关于 kappa 分数，所提出的方法在数据集 II-III 和 IV-2b 上的最大值分别为 0.943 和 0.721，用于使用 Stockwell 变换，而 Morlet 小波变换和 STFT 导致较低的 kappa 值。

表6展示了我们提出的基于与两层 CNN 相关的 Stockwell 变换的融合模型的混淆矩阵、灵敏度和精度。它演示了所考虑数据集中每个动作类的预测标签和实际标签之间的对应关系。正如所观察到的，该模型对右手图像运动的敏感度比左手更好。

滑动窗口的分类结果

在这里，我们讨论滑动窗口的位置对所提出方法的准确性的影响。表7,8和9使用具有两层数据集 II-III 的 CNN 展示分类方法在三个不同段大小上的性能。对于两秒片段，通过k NN 和多数投票在 3.75-5.75 秒的时间段内获得了 98.57% 的最佳准确率，从试验的最后两秒提取的片段显示出最低的准确率。同样，表中的结果表明 SVM、k NN 和多数投票分类算法在 3.25-6.25 秒的时间内分别达到了 99.29% 和 0.986 的最高准确度和 kappa 值。相比之下，最低的准确度主要是在最后一段实现的。表9显示了四秒段的相似结果，SVM 和多数投票分类器的最高分类准确率为 98.57%，而 DT 分类器报告了所有段中的最小数量。

由于数据集 IV-2b 中 MI 段的长度为 3 秒，我们只考虑长度为 2 秒的窗口。表 10总结了所考虑分类器的最佳、最差和平均精度。可以观察到，考虑到 3.25 到 5.25 秒之间的窗口，多数投票达到了 89.02% 的最高准确率。63.59 的最差准确度属于 DT 和判别分类器，范围为 4-6 秒。此外，多数投票分类器的平均准确率最高，为 80.78%。

图 11a 描述了分类器在两秒段上的分类精度。结果表明，所有分类方法在 MI 任务的开始秒内的分类准确率和 kappa 值都表现得比较好。然后，整体分类准确度呈下降趋势，在最后的部分中产生了最低的性能。在图 3 中可以看到类似的趋势。图 11b,11c 分别用于三秒和四秒的持续时间段。还有，图11d 显示了数据集 IV-2b 的不同两秒滑动窗口的精度。因此，找到信号的最有效持续时间取决于各种因素，例如片段大小、根据提示执行图像任务的延迟以及受试者在试验期间的注意力。

图11：滑动窗口位置对分类精度的影响。( a ) 数据集 II-III 的 2 秒滑动窗口 ( b ) 数据集 II-III 的 3 秒滑动窗口 ( c ) 数据集 II-III 的 4 秒滑动窗口，(d)数据集的 2 秒滑动窗口IV-2b。

本研究的另一个发现是，尽管多数投票集成提高了某些部分的分类性能，但与单个分类器（尤其是 SVM）相比，整体准确度略有提高。因此，可以得出结论，在所提出的模型中使用简单的机器学习算法（如 SVM）作为最终分类方法，在准确性、处理时间和计算复杂度方面优于应用融合模型。

表中给出了 SVM、 k NN 和多数投票分类器在 3.25-6.25 s 的时间内达到的最佳分类准确率为 99.29% 的混淆矩阵表 11。对于数据集 IV-2b，在 3.25-5.25 的时间段内，通过多数投票分类器获得了 89.02% 的最大准确率。总体结果证明了所提出的模型在对 MI EEG 信号进行分类方面的效率。

特征减少对准确性的影响

在这里，我们评估了特征减少对所提出方法的准确性的影响。为此，我们将所提出的方法的性能与其他特征减少方案进行比较，例如 PCA、局部保留投影 (LPP) [74]和邻域保留嵌入 (NPE) [75]。我们还提出了考虑原始特征向量的准确性。结果列于表中表 12。结果表明，SDA 大大提高了分类的准确性。

性能比较

已经提出了各种方法来对 MI 信号进行分类。为了比较BCI竞赛II数据集III的分类结果，将本研究中取得的最佳结果与现有研究中发现的其他方法在准确性方面进行比较（表13）。参考文献中的作者。76人提出了基于 STFT 的 TFM 作为输入，并考虑了单层 CNN、堆叠自动编码器 (SAE) 以及它们的组合 (CNN-SAE) 来对 MI EEG 信号进行分类。他们报告说，在 BCI 竞赛 II 数据集 III 上使用 CNN-SAE 的分类准确率为 90%。在参考文献中。如图33所示，开发了一个两层 CNN 以使用不同的母小波对 C3、Cz 和 C4 通道的 TFM 组合进行分类。基于 3.25-6.25 秒的持续时间，他们对当前数据集的工作的最佳准确率为 92.75%。在参考文献中。[77]使用多元经验模式分解提取的时空特征用 SVM 分类并达到 85.2%。此外，参考文献中还考虑了高阶动态模式分解和多通道奇异谱分解混合。[78]用于特征提取。参考文献中的作者，[27]利用三种不同的母小波，即Morlet、Bump和墨西哥小波来提取TFM。他们使用结合 mu 和 beta 波段的 Bump 小波和一维 CNN 作为分类方法，实现了更好的分类精度。在参考文献中。[29] 实现了灵活的解析小波变换 (FAWT) 将 MI EEG 信号分解为多个子带。然后，使用 LDA 分类器对多维缩放 (MDS) 技术减少的统计特征进行分类。该模型在数据集 II-III 上的分类准确率为 94.29%。

在参考文献中。如 73 所示，从 CWT 图像的实部和虚部提取的幅度和相位信息被馈送到单层 CNN。所提出的方法达到了最好的 94.6% 的分类准确率。参考文献中描述的方法。[34]探索了各种迁移学习模型，例如 VGG19、AlexNet、VGG16、SqueezeNet、ResNet50、GoogleNet、DenseNet201、ResNet18 和 ResNet101，以对基于 Morse 小波的 TFM 进行分类。在 VGG19 的情况下，该方法的分类准确率高达 95.71%。在参考文献中。如[24]所示，在 ResNet 网络中添加了一个新的动态多尺度层，以从输入信号的 STFT 特征中提取多尺度特征。他们获得了 90.47% 的准确率。参考文献中的作者,[35]在两层 CNN 中使用两个 CBAM 对两个 C3 和 C4 通道的减法 TFM 进行分类。参考文献中的黄和同事,[18]开发了基于 AlexNet 的双流卷积神经网络，通过结合时间和频率信息，达到了 90.71% 的最高准确率。

在下文中，回顾了一些专注于数据集 IV-2b 的论文。参考文献中使用了玻尔兹曼机[79]，准确率达到 84.2%。频谱图和尺度图的组合作为 CNN + LSTM 结构的输入 TFM 得到了 73.8% 80的准确度。作为提取特征的 Hjorth 参数、用于特征选择的 ANOVA 和用于分类的 SVM 的组合在参考文献中达到了 82.58% 的准确率。[81] 参考文献中使用了双树复小波。[82]提取EEG信号的时频分量。在通过 NCA 选择有效特征后，SVM 对 BCI MI EEG 信号进行分类，其准确率达到 84.02%。在参考文献中[83]，使用并行 CNN 对从 STFT 获得的 TFM 进行分类，准确率达到 83%。结果表明，所提出的方法具有 89.02% 的准确率，优于最近引入的方法。

大多数提到的工作都结合了基于小波变换的方法来提取 MI EEG 信号的整个持续时间的特征。而在本研究中，已经详细研究了找到信号中最令人兴奋部分的位置和持续时间，并且基于 Stockwell 变换的特征已经产生了更好的准确性和 kappa 值。

结论

在本文中，提出了一种基于 EEG 信号 Stockwell TFM 的新方法，以提高分类精度并减少深度特征以对左右手运动图像进行分类。在这项研究中，Stockwell 变换用于分解 EEG 信号的时频内容，因为它提供了比小波变换和 STFT 等其他方法更好的分辨率。我们考虑了早期融合方案，并在深度特征提取之前结合了不同通道的斯托克韦尔变换。与其他主要针对分类阶段的特定方案的研究相比，我们研究了不同的机器学习方法以及它们的融合以弥补彼此的弱点。四个CNN模型用于提取高维深度特征，其中 C3 和 C4 通道在 [10 30] Hz 频率范围内的 TFM 被连接起来并被视为 CNN 的输入。由于 CNN 提取了大量特征，因此采用 SDA 将它们减少到两个。比较了不同优化分类器的分类精度和多数投票法的融合。将长度为 6 秒的整个 MI EEG 信号和长度为 2 秒、3 秒和 4 秒不同位置的多个小段信号考虑进行分类。结果表明，在大多数情况下，融合模型的性能并不优于最大的个体分类器性能。通过两层 CNN，数据集 II-III 和 IV-2b 的准确率分别为 99.29% 和 89.02%。与之前对 BCI 竞赛 II 数据集 III 的研究相比，本研究中实现的准确性证明了我们提出的方法的效率。因此，所提出的方法可用于 BCI 系统，以在瘫痪的人与外部设备之间提供可靠的通信。结果还表明，脑电信号的大部分信息都在MI任务的开始脑电样本中，而在MI任务的最后脑电样本信息较少。

考虑到特征提取的单模态，即EEG，当有两个以上的类时，可能会限制所提出方案的性能。此外，CNN 的训练过程需要很长时间，这取决于 CNN 的结构。为了提高分类的性能，特别是在多类场景的情况下，可以考虑多模态方案，例如功能近红外光谱（fNIRS）和脑电图的结合。此外，考虑基于注意力的深层结构可以进一步提高分类精度。为了进一步降低所提出方案的复杂性，可以通过采用可解释的人工智能来分析每一层对准确性的影响。

本文来源：

https://www.ncbi.nlm.nih.gov/pmc/articles/PMC9273790/

作者：Sahar Salimpour ，Hashem Kalbkhani， Saeed Seyyedi，和 Vahid Solouk

来源：中国信息通信研究院知识产权中心

仅用于学术交流，不用于商业行为，若有侵权及疑问，请后台留言，管理员即时删侵！

更多阅读

北理工团队在不同注意力状态下肢体运动意图

的鲁棒神经解码方面取得重要研究进展

用于获取人体生理特征的皮肤友好型电子设备

EEG-fNIRS跨模态迁移学习优化BCI系统分类精度

Nature：科学家首次利用深度学习量化人类意识

观点｜脑机接口，未来的投资热点