天津大学神经工程团队提出216指令高速混合脑-机接口系统

脑机接口社区 2023-02-08

针对脑-机接口（Brain-computer interface, BCI）指令集有待进一步提高，以满足BCI多场景下应用需求的问题，天津大学神经工程团队设计了基于P300、运动诱发电位（motion-onset visual evoked potential, mVEP）和稳态视觉诱发电位（steady-state visual evoked potential, SSVEP）三种脑电特征的新型混合编码范式，开发了216指令高速率BCI系统，实现了快速脑-控打字应用。该研究首次突破200指令大关，在线平均信息传输速率（information transfer rate, ITR）达到300 bits/min以上，是目前国际上指令集最大的脑-机接口系统。与近五十年BCI系统相比，该系统指令集是以往研究均值（48.87）的4.4倍，平均在线ITR是以往研究均值（88.17 bits/min）的3.4倍。相关成果发表于神经工程领域TOP期刊《Journal of Neural Engineering》

1 研究背景

脑-机接口（Brain-computer interface, BCI）是可以不依赖于正常外周神经系统，实现大脑与外界环境直接沟通交流的技术。信息传输速率（ITR）作为BCI系统性能的黄金评价指标，由指令数量、单指令输出耗时、指令识别正确率综合度量。在BCI最初发展阶段，研究人员主要关注指令识别正确率，以验证通过解码脑电信号开发BCI系统的可行性。例如，1996年，Calhoun等人开发了基于SSVEP的BCI系统，正确率达到80%以上，开启了SSVEP-BCI的研究。随着工程技术的发展，研究人员开始从缩短单指令输出时间入手，从最初的耗时十几秒提升至0.8s，极大地提高了BCI的系统性能。近几年，指令数量作为BCI的核心指标之一，决定了BCI应用的可控自由度和精度，是影响BCI性能的关键因素之一，受到了广泛的关注。自2020年以来，研究人员先后开发了多个超百指令的BCI系统，为大指令集BCI技术提供了新的编解码方法。然而，随着BCI应用场景的快速扩展，指令数量有待进一步提高，以满足BCI在多场景下的应用需求。

2 研究方法

2.1实验设计

实验诱发界面如图1（a）所示，216个指令（刺激块）以12x18的矩阵形式排布在背景为黑色的界面，指令矩阵包括上、下两部分，每部分由6行18列的指令矩阵组成，列又称为子拼写器，两部分共有36个子拼写器。实验采用时分多址（Time division multiple access, TDMA）和频分多址（Frequency-division multiple access, FDMA）的混合编码策略。对于子拼写器间的编码方式，如图1（b）所示，利用FDMA编码方法，36个子拼写器分别采用不同的频率和相位进行编码，频率取值范围是[10.4Hz, 17.4Hz]，间隔为0.2Hz。相位在[0, 2π]内等间隔循环取值，步长为0.35π。对于子拼写器内指令的编码方式，如图2所示，利用TDMA编码方法，6个刺激块分别在不同时刻开始闪烁刺激，闪烁形式共有两种，即指令的字符颜色由原先的黑色字变为黄色字，同时，会有一个高度为1.49°视角的红色垂直线出现在字符的右边缘处，并以8.47°/s的速度从字符右边缘滑动至刺激块的左边缘处。单个刺激块的闪烁时间是200ms，相邻刺激时间间隔为100ms。实验开始时，所有子拼写器以各自频率同时开始闪烁刺激，每个子拼写器内的6个刺激块均按相同的伪随机顺序遍历闪烁，216指令完成一次遍历闪烁称为一个轮次（round），仅耗时0.7s（即0.2s6-0.1s5）。需要注意的是，如图7-2所示，在一个刺激轮次内，一方面，每个刺激块都以各自固定频率持续闪烁0.7s，也就是可以诱发持续0.7s的SSVEP响应；另一方面，每个刺激块会在特定时刻出现字符颜色变化和红色竖线滑动，可以同时诱发P300和mVEP特征。

图1 混合BCI 的诱发界面。（a）216个指令分布图；（b）216个指令对应的刺激频率（Hz）和初始相位（π）

图2 刺激时序图（以子拼写器4为例）

2.2实验流程

实验共包括离线和在线实验，离线实验主要用于脑电特征分析、解码算法比较和分类器参数调优，在线实验主要用于系统的可行性验证。离线实验主要包括提示和刺激阶段，在提示阶段，视角为0.69°的红色三角出现在目标字符（也称为靶字符）下方，持续0.5s，提示受试者将视线转移到目标字符处。然后进入刺激阶段，界面会持续进行6个轮次的闪烁刺激，在此期间受试者一直注视着目标字符，并默数字符被点亮（字符颜色由黑色变为黄色）的次数，共6次。上述一个提示和一个刺激阶段称为一组（block）。刺激阶段结束后，进入下一个block的提示阶段。离线实验中受试者需要完成对216个指令的遍历注视，也就是每个字符均被当作一次靶字符进行实验。为避免受试者疲劳，按照分层抽样方法将216个靶字符分为六组开展实验，每组包含36个靶字符，每组实验时间约为2.8分钟。每完成一组实验，受试者可以进行休息。整个离线实验时间约为17分钟。在线实验包括有提示引导和自由拼写共两种实验。依据后续的离线实验结果，两种在线实验的刺激阶段只进行1个轮次的闪烁刺激。

3 结果与讨论

3.1脑电特征

图3展示了所有受试者平均瞬态ERP响应的时域波形图和各个时刻下的空间分布。可以看到，在刺激开始（对应时间轴的0s）后，大脑枕区的脑电幅值在100ms内逐渐增加，然后逐渐减小。这可能与ERP的C1成分有关，该成分主要分布在大脑矩状裂周围。然后，在120ms至180ms的时间窗内，在大脑的右侧枕区出现了一个负性偏转，这是由于红色竖线的运动刺激出现去受试者的左侧视野，在对侧脑区诱发了相应的mVEP成分。接着，左侧枕区也逐渐出现负性偏转。在240ms至300ms的时间内，P200成分出现在大脑顶区，直至中央区和额区。随后，幅值更大的P300成分开始出现，持续到约380ms。最后，双侧枕区出现N400成分。

图4展示了所有受试者在36个刺激频率处的平均SSVEP响应波形。由图可知，在刺激开始后约140ms（图中灰色竖虚线），SSVEP响应开始出现，持续振荡约700ms，且不同刺激频率所诱发的SSVEP响应存在明显的周期差异。例如，子拼写器6对应的刺激频率为11.4 Hz，在图中可以观察到有大约8个周期性响应（即11.4x0.7=7.98）；而子拼写器31对应的刺激频率为16.4 Hz，在图中可以观察到有大约11个周期性响应（即16.40.7=11.48）。上述结果表明，本实验范式下明确诱发了mVEP、P300和SSVEP三类脑电特征，可用于下一步的分类识别。

图3 所有受试者的平均瞬态ERP响应波形和各时刻的瞬态ERP空间分布。时间轴上的0s代表刺激开始时刻。淡蓝色细线为所有导联的ERP波形，蓝色粗线为所有导联平均后的ERP波形。

图4 所有受试者在36个刺激频率处的平均SSVEP波形。黑色和灰色竖线分别代表刺激开始时刻（0s）和视觉潜伏期（0.14s）。

3.2离线结果

离线数据采用六折交叉验证方法对比分析各算法的分类识别性能。离线实验共采集216个靶字符的数据，在划分训练集和测试集时，依据分层抽样原则，按照子拼写器编号（即刺激频率类别）等比例抽样。具体来说，从36个子拼写器内随机各抽取1个靶字符，组成测试集（共36靶字符），将每个子拼写器剩下的5个靶字符组成训练集（共180个靶字符）。

图5展示了子拼写器的平均识别正确率。可以看到，随着轮次个数的增加，分类正确率逐渐增大。三因素重复测量方差分析的结果表明，正确率在算法（F(1, 9)=8.15, p<0.05）、导联组合（F(1, 9)=20.79, p<0.01）、轮次个数（F(5, 45)=44.71, p<0.001）三方面均存在显著性差异。且算法和导联组合之间存在显著的交互作用（F(1, 9)=6.92, p<0.05）。采用基于30导联组合的TDCA算法达到了最高的分类正确率，从第一轮到第六轮到正确率分别为86.85%、94.44%、95.88%、96.99%、97.64%和97.82%。相比于同样导联组合的eTRCA算法，在六个轮次处正确率分别提升1.25%，1.85%，1.67%，2.08%，2.13%和2.22%。

图5 不同算法和导联组合下，子拼写器的平均识别正确率。随机分类正确率是1/36。误差棒代表标准误差。

图6展示了子拼写器内字符的平均识别正确率。由图可知，所有算法的正确率随着轮次个数上升呈现增长趋势，且全部都达到90%的正确率。例如，在第一轮次处，LDA、SWLDA、SKLDA和STDA算法的准确率分别为92.31%、91.06%、91.81%和90.97%。双因素重复测量方差分析的结果显示，正确率在算法（F(3, 27)=4.66, p<0.01）和轮次因素（F(5, 45)=29.86, p<0.001）下均存在显著性差异，且算法和轮次间存在显著的交互作用（F(15, 135)=2.18, p<0.01）。经事后多重比较和BHFDR方法校正后，结果表明，LDA算法正确率显著高于SWLDA（t(9)=2.49，p<0.05）和STDA（t(9)=2.82，p<0.05）算法。值得注意的是，除LDA外，其它算法是为解决由于样本量不足（小样本）导致过拟合问题提出的，而在本课题的训练集中，应用LDA、SKLDA算法时样本与特征向量维数之比为1080:320，SWLDA为1080:60，STDA为1080:16，或1080:200，表明在分类时不存在样本量不足的问题。综上所述，采用基于30个导联组合的TDCA算法识别SSVEP特征和LDA算法识别mVEP¬-P300特征取得了最高的分类正确率，下一步用上述两种方法识别靶字符。

图6 不同算法和导联组合下，子拼写器内字符的平均识别正确率。随机分类正确率是1/6。误差棒代表标准误差。

图7展示了靶字符的平均识别正确率，在第一轮到第六轮的正确率分别为81.19%、92.18%、94.86%、96.44%、97.31%和97.73%，对应的ITR在第一轮时达到最大，为276.52 bits/min。因此，在接下来的在线实验中，闪烁刺激轮次选用1轮。

图7 所有受试者的靶字符平均识别正确率和ITR。靶字符的随机分类正确率是1/216。误差棒代表标准误差。

3.3在线结果

表1列举了所有受试者的有提示引导的在线实验拼写结果。可以看到，在线平均分类识别正确率为85.37%±7.49%，在线平均ITR为302.83±39.20 bits/min。其中，最大在线ITR为367.83 bits/min，最小在线ITR为248.17 bits/min。

表1 有提示引导的在线实验拼写结果

表2列举了自由拼写的在线实验结果。由于视觉转移时间的增加，字符拼写速度从有提示引导实验的每分钟50个字符降低为每分钟32.97个字符。由表可知，所有受试者的平均准确率为86.00%，平均ITR为204.47 bits/min。上述在线结果证明了所提出的216指令脑-机接口系统的有效性和可行性。

表2 自由拼写在线实验结果

3.4与近50年研究对比

从1973年第一次提出BCI技术至今，BCI经过近50年的发展，在指令数量、交互速度、系统正确率等方面取得了较大进展。本实验结果与近50年的在线BCI研究进行了对比，如图8所示。由于并非所有研究都采用了自由拼写实验的方式，因此采用有提示引导的在线实验结果进行比较。每项研究所达到的指令数量和在线ITR用一个实心点表示，符号“X”代表以往研究所达到的平均指令数量和平均在线ITR。可以看到，多数研究的指令数量低于100个，在线ITR低于100 bits/min。近50年以往研究达到的平均指令数量为48.87个指令，平均在线ITR为88.17 bits/min。本实验在指令数量方面是以往研究平均值的4.4倍，在线ITR是以往研究平均值的3.4倍。

图8 近五十年（1973-2022年）在线BCI系统的指令数量和ITR比较

4 总结

本研究设计了基于P300-mVEP-SSVEP脑电特征的新型混合编码范式，开发了216指令的高速率脑-机接口系统，实现了快速脑-控打字应用。在有提示引导和自由拼写的在线实验中，平均正确率分别为85.37%和86.00%，平均ITR为302.83 bits/min和204.47 bits/min，最大ITR达到367.83 bits/min。本课题所开发的大指令集高速率BCI系统，为BCI在高自由度、高精度控制等场景下的应用提供了技术支撑。

论文第一作者为天津大学博士研究生韩锦，通讯作者为明东教授和许敏鹏教授。

参考：

https://doi.org/10.1088/1741-2552/acb105

仅用于学术分享，若侵权请留言，即时删侵！

更多阅读

意识在大脑中什么位置?新发现有助于确定其位置

中国工程院《全球工程前沿2022》重磅发布！

吃饭不用你自己动手，让基于脑机接口的机器人辅助你

Brain.space 为我们的现代世界重塑脑电图

Nature：科学家首次利用深度学习量化人类意识

P300脑机接口及数据集处理

Nature：重磅！人类一生中的脑图形态变化