查看原文
其他

为了解脑机接口,我洗了两次头

蒋海宇 知识分子 2019-07-02

展厅里有不同的展位,清华的“基于稳态视觉诱发(SSVEP)”的脑机接口打字系统的迎客超模非常吸引人。


撰文 | 蒋海宇

责编 | 陈晓雪

 


“您去把头洗了。”工作人员给我递来一张毛巾,一小袋洗发露。

 

他不叫托尼,我也不是要做发型。我在2018年世界机器人大会上的脑机接口展厅里,想要亲自尝试一下脑机接口究竟是怎么回事。


 

工作人员的名字叫杨晨,是清华大学脑机接口研究组的一名博士生。这个研究组希望能通过这套打字系统帮助全身瘫痪的渐冻人表达内心的想法,和外界交流。“洗头能够去除头油,让脑电信号传导畅通无阻,也让设备接收到的脑电信号更加干净。”杨晨解释道。

 

我洗完头,吹干头发,戴上脑电帽。杨晨像动画里的怪博士,拿着针管,从桌上抽出半管子凝胶,向我走来。“这是脑电胶,我要把它注入脑电帽的电极,让你的头皮和电极间的传导性更好。”这和让我洗头的原因差不多,都是为了加强导电性。脑电信号一般只有几微伏到几百微伏,电压强度大约只有一节五号电池的一百万分之一。

 

脑电帽本身不产生电波,它只是一个信号接收器。脑电信号接收后,还需通过一个信号放大器放大信号,并进行数字化编码,我们才能得到可以被计算机处理的数据信息。脑电帽后面那长长的辫子,就是用来传输信号的。

 

►一个正在通过SSVEP脑机接口打字的小男孩。在图片偏左位置,是与脑电帽电线相连的脑电信号放大器,放大器通过另一根电线将放大后的信号传输给系统。

 

现在主流的脑机接口都会用上脑电帽和信号放大器。不过,也有一种脑机接口,它不使用脑电帽,而是直接将电极穿过颅骨直插大脑皮层表面,甚至直接插入皮层之下。这种脑机接口会对大脑造成一定程度的损伤,不过也能够获得更加丰富的脑活动信息。

 

区分不同脑机接口系统的,主要是脑机接口的实现方式,以及脑机接口系统的用途。稳态视觉诱发(SSVEP)是清华大学团队的脑机接口实现方式。脑机接口系统除了打字,还可以用于控制仿生外骨骼行走,或者控制人造手。

 

那么,SSVEP究竟是什么?又是如何实现打字的呢?


基于SSVEP的脑机接口

“闪”了我的眼

 

要了解SSVEP的原理,让我们先看看杨晨所在团队使用的打字界面。

 


►系统界面上,不同的字幕方块正以不同的频率闪烁着。几秒后,文字框出现了字母“d”。

 

这个系统界面就是一个虚拟键盘,由三十个不断闪烁的方块组成。键盘上方是一个文字框。当我要输入字母“d”时,我需要盯着方块“d”看,不过一会儿,“d”便出现在了文字框中。如果我还有耐心打下一个字母,我就再把目光集中到另一个字母方块上,直到字母出现。

 

打字机是如何读懂我的需求呢?

 

杨晨告诉我,当人的视觉系统接收到固定频率的刺激时,大脑皮层视觉区上会产生一个相应频率的电位。键盘上的每一个刺激目标都有自己的闪烁频率(他们由研究人员在一开始设定好),因此当我们看字母方块“d”时,视网膜会快速跟随对应的闪烁频率,并产生的相应电位,会不同于我们看其他字母方块时产生的电位。视网膜上的电位会传递到我们的大脑枕区(也就是后脑勺)。通过识别枕区的电位,系统便能知晓使用者在盯着哪个目标看。

 

目前,现有脑机接口系统解码脑电信号主要利用传统的信号处理手段,而不是机器学习这样的人工智能手段。传统的信号处理手段需要研发人员自己建立数学模型,而机器学习则是让系统通过学习已有样本的特征,自行建立数学模型。

 

“我们先建立脑电信号的基本数学模型,然后再通过实际脑电信号对模型中的参数进行估计,最后根据得到的模型计算对不同的假设进行检验。在这个有30个字母方块的打字系统里,我们可以建立30种假设,分别假设用户在看a,b,c等等。之后,我们通过风险贝叶斯决策,就可以判断哪一种假设成立的概率最高。”杨晨解释道。

 

杨晨说他们并不是不想使用机器学习,而是因为机器学习要求大量且规范的样本,但现在脑机接口研究领域尚不具备这样的条件。机器学习要求样本集能够覆盖不同形态的样本,但是人与人的脑电信号差异很大,一个人在不同时间的脑电信号差异也很大。所以,以目前的样本量,机器学习的效果还不如传统手段。

 

通过SSVEP脑机接口,我大概需要3秒才能打出一个字符。有的时候,因为受到环境和身体肌电的影响,或者因为我注意力不集中,导致系统识别错误,我还需要退格重打,让人非常沮丧。如何使系统识别更快,准确率更高,也是各研究机构的主要工作方向。

 

使用SSVEP时,长时间的光闪烁刺激容易造成使用者视觉疲劳,进而影响脑机接口的识别准确度。因此,西安交通大学医工交叉研究所的徐光华教授团队提出了一种新的刺激范式,通过图像的运动(比如牛顿环和棋盘格)刺激视网膜,而非明暗的变化。这种刺激范式的实际应用效果仍然在进一步研究之中。

 


►牛顿环和棋盘格,两种靠图像运动刺激视网膜的脑机接口实现范式(来源:西安交通大学医工交叉研究所 徐光华教授团队)。

 

除了改进范式,改进算法也能提升识别准确率。目前来说,大部分SSVEP系统都采用“固定时间窗”,也就是说在一定时间以后,系统无论如何都要对使用者所看目标做出判断,即使当前供判断的信息不够。如果算法能够针对不同人,根据不同情况,伸缩“时间窗”,那么系统的准确率就可能得到提升。去年,清华大学团队开发出了一套包含40个目标的动态窗脑机接口系统(Yang et al. 2018)。在无需训练数据的条件下,能够实现在平均2.5秒左右的时间里实现90%以上的平均识别正确率。

 

2017年,加州大学圣地亚哥分校的正樹中西(Masaki Nakanishi)研究组更进一步提高了使用脑机接口打字的速度。他们通过任务相关组成部分分析(Task-related component analysis),将打字速度提升到75个字符每分钟(Nakanishi et al. 2017)。该方法首先通过引导使用者在短时间内去注视不同的目标,对解码系统进行训练。训练完成后,使用者方能自由打字。为了提升打字速度,系统留给使用者的“时间窗”非常短,只有0.8秒,也就是说使用者需要在极短的时间内不断调换自己注视的目标。

 

正樹中西团队的这种脑机接口使用的是固定的时间窗,所以它要求使用者紧紧跟随计算机的脚步。当计算机发出提示“开始注视屏幕!”,人们就必须立刻将目光锁定在想输入的文字上。如果人们没有跟上计算机的节奏,或者注意力不集中,计算机就会很硬塞给人们一个结果,哪怕这个时候人们并不希望输入任何指令。

 

与使用固定时间窗的系统不同,动态时间窗更以人为本。杨晨说,“通过动态时间窗,人们不必在计算机指定的时刻输入指令,而是可以依照自己的想法,在需要的时间发送指令。使用固态窗的系统就像外语听力考试,我们必须在规定的时间内给出自己的选择;而动态窗系统则像键盘,让我们能在任何需要的时候自由地按下按键。”

 

凭想象控制事物

 

SSVEP只是脑机接口的一种实现方式。这里我们再介绍另一种主流实现方式:运动想象。


通过上面的描述,我们可以看到,SSVEP是通过“诱发”的形式得以实现:不同的闪烁频率或者运动图像让我的大脑产生了不同的脑电信号,而这些差异的脑电信号正好表征着某个目标。基于运动想象的脑机接口则无需外界触发,使用者只需要自发性地想象。

 

我们拿遥控车来举个例子。如何用思想控制遥控小车运行呢?基于运动想象的脑机接口不是说我想让小车往左小车就往左,让小车往右小车就会往右。运动想象不是关于目标运动的想象——而是关于使用者自身的想象。

 

当我们想象自己左手动(左手不需要真的运动)时,我们大脑的运动相关区域就会产生相应的脑电信号。当我们想象自己右手动时,大脑的相关区域则会产生另一种脑电信号。由于这两种脑电信号有特异性,我们便能利用他们控制小车:研究人员可以把系统设置成“一旦系统接收到了‘左手动’的脑电信号,就让小车向左前行;一旦系统接收到了‘右手动’的脑电信号,就让小车向右前行”。

 

有特异性的脑电信号还有很多。我们可以把它们都利用起来,以更高的自由度控制小车运行。我们可以把想象“舌头动”对应的脑电信号设置为加速,把“左腿动”设置为向左倒车,把“右腿动”设置为向右倒车……。也就是说,使用基于运动想象脑机接口的人会通过想象自己身体部位的运动,来控制小车的运动。

 

当然了,“运动想象”脑机接口有远比开小车更实用的应用。仿生手、外骨骼的发明让截肢患者看到了重新站起和抓取物件的希望。虽然仿生手和外骨骼可以通过探测身体肌电来控制,但一些患者由于高位截肢,或者瘫痪,无法通过肌电控制这些设备。这个时候,“运动想象”脑机接口就能派上用场了。

 

某种意义上,SSVEP和运动想象实现“用思想完成某项任务”的方式是很相似的。他们都是利用有特异性的脑电信号,人为地用这些脑电信号去表征一些目标/行为;通过识别这些脑电信号,这些目标/行为便得以识别或实现。一定程度上,我们思想的内容并不重要:SSVEP不需要我们思想,只需要我们注视目标;运动想象则只要求我们思想的内容可以产生特异性足够的脑电信号——想象自己舌头动,也能加速小车。

 

本文中,笔者提到的两种脑机接口的实现方式,只是众多实现方式的一部分。除了SSVEP和运动想象,还有基于P300(另一种脑电信号,由小概率事件而诱发)、基于大脑负责语言功能区域的脑电信号等方式实现的脑机接口。


►和SSVEP通过持续的稳定闪烁使大脑产生一定频率的电位不同,P300通过瞬间的闪烁,导致大脑产生电信号。

 

什么时候能帮到普通人?

 

►经典动画电影《攻壳机动队》对脑机接口的刻画

 

我们常常在影视作品中看到关于脑机接口酷爆了的应用,比如传输意识、控制机甲,在现实中,脑机接口能做到的事情也很多,除了让瘫痪患者能够打字和走路,还有中风康复、心理疾病治疗、儿童神经发展疾病(如自闭症、多动症)治疗等应用(Huggins et al. 2017。)

 

然而,这些应用离大众还有些距离。要将脑机接口的技术原型进一步商业化,不仅需要改善技术,让系统更好用,还需要降低硬件成本。清华大学实验室里,一顶好用的脑电帽在2005年的价格是1万到2万之间,而信号增大器则花费了50万元,显然不是一个普通人能承担得起的。

 

目前,已经有企业在做商业化的努力,比如加州的Synchron正试图研发可用于控制人造臂和外骨骼的侵入式脑机接口,硅谷华人公司BrainCo正在商业化脑机接口打字系统,和帮助矫正儿童多动症的脑机接口系统。

 

读者这时可能忍不住问:你不是说你洗了两次头吗?


如果你不希望走在大街上,顶着满头导电膏成为万众瞩目的焦点,那么请再洗一次吧。 

 

参考文献:

Huggins, Jane E., Christoph Gugr, MouniaZiat, Thorsten O. Zander, Denise Taylor, Michael Tangermann, AureliSoria-Frisch et al. "Workshops of the Sixth International Brain–ComputerInterface Meeting: brain-computer interfaces past, present, and future."Brain-computer interfaces 4, no. 1-2 (2017): 3-36.

Nakanishi, Masaki, Yijun Wang, Xiaogang Chen, Yu-Te Wang, Xiaorong Gao, and Tzyy-Ping Jung. "Enhancing detection of SSVEPs for a high-speed brain speller using task-related component analysis." IEEE Transactions on Biomedical Engineering 65, no. 1 (2018):104-112.

Yang, Chen, Xu Han, Yijun Wang, Rami Saab, Shangkai Gao, and Xiaorong Gao. "A Dynamic Window Recognition Algorithm for SSVEP-Based Brain-Computer Interfaces Using A Spatio-Temporal Equalizer." International Journal of Neural Systems. 2018. Published online.

盘点 | 过去一年拿到融资的脑机接口玩家,https://www.leiphone.com/news/21704/TIfrY8vL382Cvprn.html

做医疗级脑电设备,打造脑机接口编译系统,BrainCo想成为脑机接口领域的Windows,https://36kr.com/p/5079162.html



更多精彩文章:


意念扎破气球:脑电的秘密(附央视删减视频)


制版编辑 | 皮皮鱼


▼▼▼点击“阅读原文”,直达知识分子书店。

    您可能也对以下帖子感兴趣

    文章有问题?点此查看未经处理的缓存