半机械人大赛BCI：相互学习在两个四肢瘫痪的用户中的成功应用

Original 杨晓飞思影科技 2022-04-16

请点击上面“思影科技”四个字，选择关注我们，思影科技专注于脑影像数据处理，涵盖（fMRI,结构像,DTI,ASL,EEG/ERP,FNIRS,眼动）等，希望专业的内容可以给关注者带来帮助，欢迎留言讨论，也欢迎参加思影科技的其他课程。(文末点击浏览）

本次工作通过让脊髓损伤患者参加脑机接口大赛，旨在证明相互学习在运动想象（motor imagery，MI）脑机接口中的重要性和效果。我们假设，与主流的MI-BCI的机器学习相比，相互学习对于BCI用户的共生系统能够在Cybathlon事件等真实世界的场景中成功具有同等重要意义。为此，瑞士日内瓦洛桑理工大学工程学院的神经修复中心的Serafeim Perdikis等人采用本文中的相互学习方法来训练两位脊髓损伤患者，让他们控制在虚拟脑机接口大赛中的化身（游戏中的自己）。比赛的结果证实了相互学习训练效果的有效性。该工作发表在PLOS Biology杂志。

总结：

基于想象运动的非侵入性BCI可以通过大脑直接控制外部设备恢复残疾人丧失的功能，而且没有神经接口的手术植入风险。与机器学习的流行趋势相反，我们假设一个全面的相互学习方法可以较强的促进用户对BCI技能的掌握，使系统能够在现实世界中得以成功使用。两个严重的脊髓损伤患者通过我们的相互学习方法训练并控制他们在虚拟BCI竞赛游戏中的化身。比赛的结果表明了这种训练方法的有效性。更重要的是，我们的工作为BCI训练中主观学习能取得好效果提供了多层证据。

介绍

相互学习，即自适应交互，是指在训练过程中大脑和机器这两个学习主体的能力都得到调节。一个成功的BCI要求用户和解码器进行相互学习，用户必须学会为不同的脑力任务生成不同的大脑模式，机器学习技术应该发现、解释并允许模型适应与任务相关的个体大脑模式的潜在变化。自适应在侵入式和半侵入式人类及灵长类的脑机接口中都可实现。

根据我们的假设，让两个用户通过相互学习可以促进感觉运动节律模块，这些模块由机器学习技术和优化应用程序交互来支持补充，即使在BCI大赛的严格条件下也会保持交互。因意外造成四肢瘫痪和脊髓损伤（SCI）的两名男性患者（P1和P2），作为我们“Brain Tweakers”团队的领航员来操作MI-BCI。他们将经过我们的相互学习训练并参加比赛。

BCI大赛由四个大脑控制的化身组成，这四个化身在一个名为“Brain Runner”的虚拟竞赛游戏中角逐。在游戏中，应在相应的彩色编码轨道段上发出三条大脑指令以加快化身的速度。在没有BCI输入的情况下，化身将以中等速度走向终点线，及时、正确的命令会加快速度，错误的命令会减慢速度。

材料和方法

研究设计

本研究的目的是训练两名严重运动障碍的被试用一种相互学习的方法，以控制Brain Runners BCI的应用，并参加BCI比赛。为了达到目标，Brain Tweakers组应用了我们实验室开发的BCI机器学习和信号处理方法、范例和相互学习方案。

训练方式，训练时间及训练地点

相互学习方法包括三个不同的训练方式来使得用户可以最好的通过运动想象任务控制他们的化身，同时增加他们控制的速度和准确率。

首先，必须要有一个离线训练。在这个过程中主要是寻找用户右手、左手、双手、双脚运动想象及休息时候的脑电特征模式。最后，我们的离线测试主要集中在双手和双脚运动想象过程。这样的话可以为提高BCI算法参数的精确度提供干净的数据。

接下来就是在线测试阶段。通过不断地计算BCI算法参数，最终得到不同状态下EEG信号的大脑活动模式。在线训练也是用的双手、双脚运动想象任务。

第三个也是最后一个阶段是在真实的Brain Runner游戏的训练版本中进行测试，这样使我们的被试更加习惯真实应用的需求，在这个过程中他们只能依靠集成在游戏中的离散的反馈来调节自身参数。

BCI实现

无论是用户训练还是竞技比赛，EEG都是通过一个16通道的放大器采集。训练期间的实验设置还包括一台运行BCI算法的笔记本电脑和一台运行Brain Runners游戏的笔记本电脑，实际比赛中，比赛专用显示器取代游戏本来从每个被试的个人角度观看比赛情况。

EEG信号采样率512Hz，带通滤波0.1-100hz，50hz陷波。利用拉普拉斯导数对信号进行空间滤波，功率谱密度计算采用Welch周期图法。特征选择是根据判别能力对候选的空间谱特征进行排序，最终手工选择最具鉴别性和神经生理学相关的特征。利用高斯分类器输出两个MI任务的概率分布，对连续特征向量进行实时分类。

在采集EEG信号的同时，也同步采集了EOG和EMG信号。和EEG一样，EOG信号也是512Hz的采样率，带通滤波1-10Hz。最后通过一个阈值来确定最终EOG信号的大小（大于阈值为1，小于阈值为0）。

统计检验

本文采用了均值（标准差）以及中值（25%分位数、75%分位数）的方式来刻画数据的分布。训练的影响是通过报道皮尔逊相关系数以及t检验的95%置信区间的方式来展示。此外，通过双尾Wilcoxon非参秩和检验来比较第一和最后阶段训练结果。

结果

BCI大赛的结果

BCI大赛为相互学习的研究提供了一个很好的机会和平台。比赛中，完美的控制可以让化身在54s内完成任务，连续错误的指令会使化身在240s内完成任务，没有任何指令是162s。P1以90.1s的成绩晋级，创造了比赛记录，几乎领先第二名P2 (122.5s) 32秒，在决赛中，P2比赛时间125.3s获得金牌。紧随的参赛者成绩为132s，135s，136s，146s，P1经历了短暂的BCI失控，在决赛A组排名第4（189.8s）。

主要比赛结果

我们将比赛时间作为研究的结果，图1B所示，我们的训练程序将P1的完成时间由139.2 ± 16.1s（N=18,前4个赛程）缩短到116.5 ± 23.2s（N=34，最后4个赛程包括比赛当天），同样，P2由145.9 ± 26.1s (N = 22) 缩短到117.9 ± 12.5s (N =21)。这些改善都有统计学显著性(P<0.01)。

图1：BCI大赛中Brain Runner游戏界面及训练过程中运动员P1，P2完成比赛的时间

整个训练期间的平均完成时间：P1：126.9 ± 21.3s (N = 182)，P2：130.3 ±22.9s(N = 57)。比赛时间（sessions）和比赛指数（反应时）之间显著的负相关显示出比赛效果的显著性，(Fig 1C, P1: r = -0.34, p<0.001; P2: r = -0.47,p < 0.001)。P1的平均成绩稍好，但P2表现出更好的稳定性，在最后5个赛程中，比赛时间标准差为12.9s，而P1为20.6s。

图2 整个训练过程Pad crossingtime对比

BCI性能

文章采用pad crossing time（指的是在不同动作之间切换的优秀程度，比如，旋转，跳跃，滑行）作为评价BCI性能的最优指标，因为它可以在单个指标中评估BCI指令的传递精度和速度，同时更好的反映任务的执行。图2表明，参赛者能充分掌握应用程序所需的4个子任务：传递正确指令的有意识的控制能力（IC，旋转、跳跃、滑行）和有意识的不去控制的能力（INC），这些都可以反映应用程序的高性能。

图2所示，所有比赛（训练和比赛）pad crossing time的中值分别为旋转4.9/4.4s (N = 853/205) ,跳跃 4.1/4.9s (N = 766/198), 滑行6.2/7.2s (N = 463/196) 。这些指标都优于下限（2s）且远离上限（大脑11s都没有发出指令，19s的连续错误的指令）。显然，INC能力是备受争议的。白色pad的crossing time中值为P1: 10.7s (N = 510)，P2: 8.4s (N = 151)，远低于最差条件下的19s且接近最优时间5.5s。值得注意的是，平均pad crossing time与完成时间具有较高的相关性(P1: r = 0.79, p < 0.001, N = 162; P2: r = 0.92,p < 0.001, N = 45)，这说明BCI性能的提高推动了应用程序性能的提高。此外，随着训练的增多，平均pad crossing time有所降低（P1: r =-0.4, p<0.001, N=162; P2: r=-0.43, p =0.003, N=45）。

图3 BCI控制的准确度

图3A证明了参赛者和所有指令类型的指令精确度的增长趋势。这可以通过（按时间顺序）比赛的总体精确度的显著正相关来量化。(P1: r = 0.70, p < .001, N = 162 races; P2: r =0.66, p < .001, N = 45)。图3B显示P1的平均总准确率有显著提高，从53.8% (N = 18) 到 93.8% (N = 41)，P2 从81.9% (N = 24) 到 96.8% (N = 21) (P1和 P2: p < .001)。两名参赛者在所有单独的任务中都显示出显著的命令精度提高(但P2的旋转命令的精度比较稳定)。在同样的情形下，pad cross的比例，P1从19.2%到29.1%，P2略有下降，从34.3%到31%。与pad crossing time相似，指令的精确度与比赛完成时间呈相关性(P1: r = -0.62, p<0.001,N = 162; P2: r = -0.57,p<0.001, N = 45)。

图4 BCI特征的区分度

研究对象学习的神经生理学证据

图4A说明，逐渐加强的相互学习过程会生成一个新的感觉运动节律模式(高β频段，22-32Hz)，与双手MI（外侧电极位置FC3, C3, CP3, FC4, C4, CP4，10-20EEG系统）和双脚MI（内侧中线电极位置为感觉运动皮层的FCz, Cz, CPz）相一致。图4B进一步证实了随着比赛的进行，这些模式的区分能力的显著增强趋势（P1,N=214:内侧电极r=0.47,p<0.001,外侧电极r=0.44,p<0.001;P2,N=79: 内侧r=0.47,p<0.001,外侧r=0.64,p<0.001）.图4c展示出前4次和最后4次的显著差异。

此外，研究还发现，运动员感觉运动节律的总体区分度，与总体的指令的准确度(P1: r = 0.56, p < .001, N = 162; P2: r = 0.37,p = .013, N = 45)、平均pad crossing time (P1: r = -0.42, p<0.001,N=162; P2, r = -0.45, p = 0.002, N = 45)、比赛完成时间(P1: r = -0.39, p<0.001, N = 162; P2: r = -0.29,p = 0.0056, N = 45)都呈现显著相关性。因此，增加感觉运动节律的调节（即区分度）对加强BCI和应用性能是很关键的。

图5 P1、P2在比赛中的BCI特征区分度

图5揭示了P1在决赛中表现不佳的神经生理学基础。可以看出，P1在决赛中无法传递任何与双手MI任务(旋转，滑行)相关的指令。相反，P2在两场比赛中基本上保持着相同的大脑模式，甚至在决赛中内侧调节的力度增加了（通道为Cz 和CPz，这两个通道在比赛中都当作分类器）。

在BCI控制和学习中的应用效果

图1C中所示，早期使用范型1（使用右手，左手，双脚MI，因此，每条BCI命令直接映射到动作上（右手到旋转，双脚到跳跃，左手到滑行））的尝试严重损害了总命令的准确性（图3A），这在比赛完成时间上可以看出。只支持两个命令(范型2--没有了滑行命令)显然不是最优的，因为使用二类输入不能完全满足应用程序需求。范例3是指使化身在可配置的非活动阶段之后触发滑行。范型4则是在两个连续的不同类型的命令后滑行。范式4用于竞赛。

图6 控制范式的影响

根据图6A，最后一种范式对P1是有显著优势的，从范式3的12.4s(N = 83) 显著降低到范例4的5.1s (N = 363) 可以明显看出这种差异(Fig 6A)。同时，滑行指令的准确度也得到了显著增加(Fig 6B)，从67.2% ± 37.8% (N = 26) 到91.2% ± 17.0% (N = 94)。这就使P1在范式4的比赛中大大缩短了完成比赛的时间(Fig 6C, 121.2 ± 20.1 s, N = 114 vs.129.5 ± 12.4s,N = 26, p = .0039)。Fig6D展示了三种控制范式下的第一次和最后十次训练阶段的特征鉴别，可以看到，只有控制范式4表现出了显著性的差异(p = 0.045)，其他两个控制范式并没有显著性的差异。

结论

研究结果显示，相互学习方法在所有目标水平（机器，研究对象，应用）包括对最终用户的纵向研究都有持续学习效应。通过训练两位脊髓损伤患者，让他们控制在虚拟脑机接口这种真实场景大赛中的化身来完成任务，证实了相互学习训练效果的有效性。

原文：