查看原文
其他

天津大学神经工程团队提出216指令高速混合脑-机接口系统

针对脑-机接口(Brain-computer interface, BCI)指令集有待进一步提高,以满足BCI多场景下应用需求的问题,天津大学神经工程团队设计了基于P300、运动诱发电位(motion-onset visual evoked potential, mVEP)和稳态视觉诱发电位(steady-state visual evoked potential, SSVEP)三种脑电特征的新型混合编码范式,开发了216指令高速率BCI系统,实现了快速脑-控打字应用。该研究首次突破200指令大关,在线平均信息传输速率(information transfer rate, ITR)达到300 bits/min以上,是目前国际上指令集最大的脑-机接口系统。与近五十年BCI系统相比,该系统指令集是以往研究均值(48.87)的4.4倍,平均在线ITR是以往研究均值(88.17 bits/min)的3.4倍。相关成果发表于神经工程领域TOP期刊《Journal of Neural Engineering》


 1   研究背景


脑-机接口(Brain-computer interface, BCI)是可以不依赖于正常外周神经系统,实现大脑与外界环境直接沟通交流的技术。信息传输速率(ITR)作为BCI系统性能的黄金评价指标,由指令数量、单指令输出耗时、指令识别正确率综合度量。在BCI最初发展阶段,研究人员主要关注指令识别正确率,以验证通过解码脑电信号开发BCI系统的可行性。例如,1996年,Calhoun等人开发了基于SSVEP的BCI系统,正确率达到80%以上,开启了SSVEP-BCI的研究。随着工程技术的发展,研究人员开始从缩短单指令输出时间入手,从最初的耗时十几秒提升至0.8s,极大地提高了BCI的系统性能。近几年,指令数量作为BCI的核心指标之一,决定了BCI应用的可控自由度和精度,是影响BCI性能的关键因素之一,受到了广泛的关注。自2020年以来,研究人员先后开发了多个超百指令的BCI系统,为大指令集BCI技术提供了新的编解码方法。然而,随着BCI应用场景的快速扩展,指令数量有待进一步提高,以满足BCI在多场景下的应用需求。


 2   研究方法


2.1实验设计

实验诱发界面如图1(a)所示,216个指令(刺激块)以12x18的矩阵形式排布在背景为黑色的界面,指令矩阵包括上、下两部分,每部分由6行18列的指令矩阵组成,列又称为子拼写器,两部分共有36个子拼写器。实验采用时分多址(Time division multiple access, TDMA)和频分多址(Frequency-division multiple access, FDMA)的混合编码策略。对于子拼写器间的编码方式,如图1(b)所示,利用FDMA编码方法,36个子拼写器分别采用不同的频率和相位进行编码,频率取值范围是[10.4Hz, 17.4Hz],间隔为0.2Hz。相位在[0, 2π]内等间隔循环取值,步长为0.35π。对于子拼写器内指令的编码方式,如图2所示,利用TDMA编码方法,6个刺激块分别在不同时刻开始闪烁刺激,闪烁形式共有两种,即指令的字符颜色由原先的黑色字变为黄色字,同时,会有一个高度为1.49°视角的红色垂直线出现在字符的右边缘处,并以8.47°/s的速度从字符右边缘滑动至刺激块的左边缘处。单个刺激块的闪烁时间是200ms,相邻刺激时间间隔为100ms。实验开始时,所有子拼写器以各自频率同时开始闪烁刺激,每个子拼写器内的6个刺激块均按相同的伪随机顺序遍历闪烁,216指令完成一次遍历闪烁称为一个轮次(round),仅耗时0.7s(即0.2s6-0.1s5)。需要注意的是,如图7-2所示,在一个刺激轮次内,一方面,每个刺激块都以各自固定频率持续闪烁0.7s,也就是可以诱发持续0.7s的SSVEP响应;另一方面,每个刺激块会在特定时刻出现字符颜色变化和红色竖线滑动,可以同时诱发P300和mVEP特征。

图1 混合BCI 的诱发界面。(a)216个指令分布图;(b)216个指令对应的刺激频率(Hz)和初始相位(π)


图2 刺激时序图(以子拼写器4为例)


2.2实验流程

实验共包括离线和在线实验,离线实验主要用于脑电特征分析、解码算法比较和分类器参数调优,在线实验主要用于系统的可行性验证。离线实验主要包括提示和刺激阶段,在提示阶段,视角为0.69°的红色三角出现在目标字符(也称为靶字符)下方,持续0.5s,提示受试者将视线转移到目标字符处。然后进入刺激阶段,界面会持续进行6个轮次的闪烁刺激,在此期间受试者一直注视着目标字符,并默数字符被点亮(字符颜色由黑色变为黄色)的次数,共6次。上述一个提示和一个刺激阶段称为一组(block)。刺激阶段结束后,进入下一个block的提示阶段。离线实验中受试者需要完成对216个指令的遍历注视,也就是每个字符均被当作一次靶字符进行实验。为避免受试者疲劳,按照分层抽样方法将216个靶字符分为六组开展实验,每组包含36个靶字符,每组实验时间约为2.8分钟。每完成一组实验,受试者可以进行休息。整个离线实验时间约为17分钟。在线实验包括有提示引导和自由拼写共两种实验。依据后续的离线实验结果,两种在线实验的刺激阶段只进行1个轮次的闪烁刺激。


 3   结果与讨论


3.1脑电特征

图3展示了所有受试者平均瞬态ERP响应的时域波形图和各个时刻下的空间分布。可以看到,在刺激开始(对应时间轴的0s)后,大脑枕区的脑电幅值在100ms内逐渐增加,然后逐渐减小。这可能与ERP的C1成分有关,该成分主要分布在大脑矩状裂周围。然后,在120ms至180ms的时间窗内,在大脑的右侧枕区出现了一个负性偏转,这是由于红色竖线的运动刺激出现去受试者的左侧视野,在对侧脑区诱发了相应的mVEP成分。接着,左侧枕区也逐渐出现负性偏转。在240ms至300ms的时间内,P200成分出现在大脑顶区,直至中央区和额区。随后,幅值更大的P300成分开始出现,持续到约380ms。最后,双侧枕区出现N400成分。


图4展示了所有受试者在36个刺激频率处的平均SSVEP响应波形。由图可知,在刺激开始后约140ms(图中灰色竖虚线),SSVEP响应开始出现,持续振荡约700ms,且不同刺激频率所诱发的SSVEP响应存在明显的周期差异。例如,子拼写器6对应的刺激频率为11.4 Hz,在图中可以观察到有大约8个周期性响应(即11.4x0.7=7.98);而子拼写器31对应的刺激频率为16.4 Hz,在图中可以观察到有大约11个周期性响应(即16.40.7=11.48)。上述结果表明,本实验范式下明确诱发了mVEP、P300和SSVEP三类脑电特征,可用于下一步的分类识别。


图3 所有受试者的平均瞬态ERP响应波形和各时刻的瞬态ERP空间分布。时间轴上的0s代表刺激开始时刻。淡蓝色细线为所有导联的ERP波形,蓝色粗线为所有导联平均后的ERP波形。


图4 所有受试者在36个刺激频率处的平均SSVEP波形。黑色和灰色竖线分别代表刺激开始时刻(0s)和视觉潜伏期(0.14s)。


3.2离线结果

离线数据采用六折交叉验证方法对比分析各算法的分类识别性能。离线实验共采集216个靶字符的数据,在划分训练集和测试集时,依据分层抽样原则,按照子拼写器编号(即刺激频率类别)等比例抽样。具体来说,从36个子拼写器内随机各抽取1个靶字符,组成测试集(共36靶字符),将每个子拼写器剩下的5个靶字符组成训练集(共180个靶字符)。


图5展示了子拼写器的平均识别正确率。可以看到,随着轮次个数的增加,分类正确率逐渐增大。三因素重复测量方差分析的结果表明,正确率在算法(F(1, 9)=8.15, p<0.05)、导联组合(F(1, 9)=20.79, p<0.01)、轮次个数(F(5, 45)=44.71, p<0.001)三方面均存在显著性差异。且算法和导联组合之间存在显著的交互作用(F(1, 9)=6.92, p<0.05)。采用基于30导联组合的TDCA算法达到了最高的分类正确率,从第一轮到第六轮到正确率分别为86.85%、94.44%、95.88%、96.99%、97.64%和97.82%。相比于同样导联组合的eTRCA算法,在六个轮次处正确率分别提升1.25%,1.85%,1.67%,2.08%,2.13%和2.22%。

图5 不同算法和导联组合下,子拼写器的平均识别正确率。随机分类正确率是1/36。误差棒代表标准误差。


图6展示了子拼写器内字符的平均识别正确率。由图可知,所有算法的正确率随着轮次个数上升呈现增长趋势,且全部都达到90%的正确率。例如,在第一轮次处,LDA、SWLDA、SKLDA和STDA算法的准确率分别为92.31%、91.06%、91.81%和90.97%。双因素重复测量方差分析的结果显示,正确率在算法(F(3, 27)=4.66, p<0.01)和轮次因素(F(5, 45)=29.86, p<0.001)下均存在显著性差异,且算法和轮次间存在显著的交互作用(F(15, 135)=2.18, p<0.01)。经事后多重比较和BHFDR方法校正后,结果表明,LDA算法正确率显著高于SWLDA(t(9)=2.49,p<0.05)和STDA(t(9)=2.82,p<0.05)算法。值得注意的是,除LDA外,其它算法是为解决由于样本量不足(小样本)导致过拟合问题提出的,而在本课题的训练集中,应用LDA、SKLDA算法时样本与特征向量维数之比为1080:320,SWLDA为1080:60,STDA为1080:16,或1080:200,表明在分类时不存在样本量不足的问题。综上所述,采用基于30个导联组合的TDCA算法识别SSVEP特征和LDA算法识别mVEP¬-P300特征取得了最高的分类正确率,下一步用上述两种方法识别靶字符。

图6 不同算法和导联组合下,子拼写器内字符的平均识别正确率。随机分类正确率是1/6。误差棒代表标准误差。


图7展示了靶字符的平均识别正确率,在第一轮到第六轮的正确率分别为81.19%、92.18%、94.86%、96.44%、97.31%和97.73%,对应的ITR在第一轮时达到最大,为276.52 bits/min。因此,在接下来的在线实验中,闪烁刺激轮次选用1轮。


图7 所有受试者的靶字符平均识别正确率和ITR。靶字符的随机分类正确率是1/216。误差棒代表标准误差。


3.3在线结果

表1列举了所有受试者的有提示引导的在线实验拼写结果。可以看到,在线平均分类识别正确率为85.37%±7.49%,在线平均ITR为302.83±39.20 bits/min。其中,最大在线ITR为367.83 bits/min,最小在线ITR为248.17 bits/min。


表1 有提示引导的在线实验拼写结果


表2列举了自由拼写的在线实验结果。由于视觉转移时间的增加,字符拼写速度从有提示引导实验的每分钟50个字符降低为每分钟32.97个字符。由表可知,所有受试者的平均准确率为86.00%,平均ITR为204.47 bits/min。上述在线结果证明了所提出的216指令脑-机接口系统的有效性和可行性。


表2 自由拼写在线实验结果


3.4与近50年研究对比

从1973年第一次提出BCI技术至今,BCI经过近50年的发展,在指令数量、交互速度、系统正确率等方面取得了较大进展。本实验结果与近50年的在线BCI研究进行了对比,如图8所示。由于并非所有研究都采用了自由拼写实验的方式,因此采用有提示引导的在线实验结果进行比较。每项研究所达到的指令数量和在线ITR用一个实心点表示,符号“X”代表以往研究所达到的平均指令数量和平均在线ITR。可以看到,多数研究的指令数量低于100个,在线ITR低于100 bits/min。近50年以往研究达到的平均指令数量为48.87个指令,平均在线ITR为88.17 bits/min。本实验在指令数量方面是以往研究平均值的4.4倍,在线ITR是以往研究平均值的3.4倍。

图8 近五十年(1973-2022年)在线BCI系统的指令数量和ITR比较


 4   总结


本研究设计了基于P300-mVEP-SSVEP脑电特征的新型混合编码范式,开发了216指令的高速率脑-机接口系统,实现了快速脑-控打字应用。在有提示引导和自由拼写的在线实验中,平均正确率分别为85.37%和86.00%,平均ITR为302.83 bits/min和204.47 bits/min,最大ITR达到367.83 bits/min。本课题所开发的大指令集高速率BCI系统,为BCI在高自由度、高精度控制等场景下的应用提供了技术支撑。


论文第一作者为天津大学博士研究生韩锦,通讯作者为明东教授和许敏鹏教授。


参考

https://doi.org/10.1088/1741-2552/acb105


于学术分享,若侵权请留言,即时删侵!


更多阅读

意识在大脑中什么位置?新发现有助于确定其位置

中国工程院《全球工程前沿2022》重磅发布!

吃饭不用你自己动手,让基于脑机接口的机器人辅助你

Brain.space 为我们的现代世界重塑脑电图

Nature:科学家首次利用深度学习量化人类意识

P300脑机接口及数据集处理

Nature:重磅!人类一生中的脑图形态变化


   加入社群  


欢迎加入脑机接口社区交流群,

探讨脑机接口领域话题,实时跟踪脑机接口前沿。

加微信群:

添加微信:RoseBCI【备注:姓名+行业/专业】。

加QQ群:913607986


  欢迎来稿  

1.欢迎来稿。投稿咨询,请联系微信:RoseBCI

2.加入社区成为兼职创作者,请联系微信:RoseBCI

点个在看祝你开心一整天!

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存