【摘要】脑机接口通过解码人类思维活动过程中的脑神经活动信息,构建人脑与外部世界的直接信息传输通路。近20年来,脑机接口领域迎来了快速发展,取得了一系列重要研究与应用成果。本文从信息交流与控制、功能康复与增强、状态识别与监测3个主要发展方向综述了脑机接口的研究现状,并对脑机接口的发展所面临的机遇和挑战进行了展望。
探索思维的力量:脑机接口研究现状与展望 | Facebook公布脑机接口绝密项目细节
本文由科技导报(ID:STReview)授权转载,作者:张丹,李佳蔚
在电影《黑客帝国》中,人们在虚拟世界中通过思维进行媲美真实世界的直接交流;在电影《复仇者联盟》中,绯红女巫通过她的思维活动控制现实世界,她所有的心想,都能事成……用思维直接交流或操纵工具,长久以来都是科幻作品青睐的话题。随着人类对大脑的了解日益深入,这些科幻作品中的设想开始逐渐走向现实(图1)。脑机接口(brain-computer interface,BCI)正是解读人类思维奥秘的重要研究工具。概括地说,脑机接口不依赖脑的正常输出通路(即外周神经和肌肉组织),构建脑与外部世界的直接信息传输通路。首篇脑机接口的研究论文发表于1973年,美国加州大学洛杉矶分校的Vidal等首次使用brain-computer interface一词来表述脑与外界的直接信息传输通路,并提出了脑机接口的系统框架雏形(图2(a))。然而,受限于信号处理理论与方法、生物信号采集放大硬件技术、计算机性能等因素,脑机接口技术直到20世纪末才真正开始快速发展(图3(a))。
图1 脑机接口:科幻与现实
图2 最早的(a)及当代(b)脑机接口系统示意
图3 脑机接口研究现状
脑机接口是一个年轻的交叉学科研究领域,涉及神经科学、心理学、计算机科学、生物医学工程、临床医学等多个学科。脑机接口系统通常主要包含3个模块(图2(b)):1) 脑神经信号采集模块,负责通过电、磁、光等各种物理学原理将脑神经活动采集并实时传输出来;2)脑神经信号分析处理模块,综合运用各类信号处理方法与机器学习算法,从神经信号中提取特定思维活动的关键特征,并将人的不同思维活动状态实时识别出来;3) 应用模块,将所识别到的思维活动状态翻译为机器指令,最终实现脑机接口应用。
目前,在脑机接口中用于采集神经信号的技术统称为脑成像技术,主要包括无创的脑电(electroencephalogram,EEG)、脑磁(magnetoencephalogram,MEG)、功能磁共振(functional magnetic resonance imaging,fMRI)、功能性近红外光谱(functional near-infrared spectroscopy,fNIRS),以及有创的皮层脑电(electrocorticogram,ECoG)、神经元群体记录等。因为脑电设备便携、运行成本低、操作便捷、适用人群广,在脑机接口中应用最为广泛(图3(b))。本文以基于脑电的脑机接口为重点,从信息交流与控制、功能恢复与增强、状态识别与监测3个方向介绍脑机接口的研究现状和前沿动态,并对其未来发展方向进行展望。
1 信息交流与控制
以著名物理学家霍金为代表的脊髓侧索硬化症患者,以及重症肌无力患者、因事故导致高位截瘫的患者等重度运动障碍患者群体,是脑机接口研究的重要应用对象。这些患者的共同特点是,他们有相对完整的思维能力,但丧失了对肌肉和外周神经系统的自主控制能力,因此无法有效地向外界表达自己的需求和想法。将自己脑中所想的信息通过某种辅助手段传达出来是这一患者群体最基本且最重要的需求。然而,由于人类目前对大脑工作机制的了解还比较有限,直接提取脑的高级思维活动意图尚存在较大的困难,当前脑成像技术仅可识别大脑的部分简单思维活动状态。研究者因此构想了一个巧妙的替代解决思路:将脑成像技术手段可识别的有限简单思维活动状态与待表达的高级思维活动意图建立一一对应关系。当需要表达某特定意图时,让人执行与该意图对应的思维活动。这一间接的思维解读方法是脑机接口在信息交流与控制方向的主要实现方式。根据可用的简单思维活动状态特性,这一方向的脑机接口可分为2类。
第1类是基于自发脑活动(spontaneous brain activity)的脑机接口。人通过执行不同的肢体运动想象、音乐想象、心算等思维活动任务以产生具有可区分度的神经响应。想象运动(motor imagery)脑机接口是其中的典型代表,可以实现2~8种不同肢体运动想象思维活动任务的区分,不同的肢体运动想象引起相应肢体感觉运动皮层区域mu节律(8~13 Hz)脑电能量的下降。通过识别脑电mu节律能量下降最显著的脑区可以实现对具体运动想象肢体的判断。运动想象脑机接口最常见的应用是控制轮椅、电视、假肢等家用电器或辅助装置。以控制轮椅为例,人可以通过执行左手、右手或脚的想象运动,来实现轮椅左转、右转或前进的意图(图4(a))。解读自发脑活动是最接近科幻作品的脑机接口形态,但由于自发脑活动的信噪比往往较低,这类脑机接口的信息传输速率相对较慢,识别一次运动想象通常需要数秒钟时间。
图4 信息交流与控制示例
为了提高信息传输速率,研究者提出了第2类基于诱发脑活动(evoked brain activity)的脑机接口。这类脑机接口中,待表达的高级思维活动意图分别用不同的外部事件(如不同空间位置呈现的图形、不同频率的声音等)进行表示,人通过注意特定的外部事件序列以实现意图的表达。这些外部事件都将多次重复出现,通过叠加平均单次事件诱发的脑电响应,从而分别得到对应不同事件的大脑事件相关响应(event-related response)。根据注意与非注意的事件所对应的大脑事件相关响应的差别,即可实现脑机信息交流。以该类最经典的基于空间注意的P300字符输入脑机接口应用为例:不同的字符按不同的时序进行快速闪烁,人将注意力集中在希望选择的目标字符上;相比非注意目标字符,注意目标字符的闪烁这一事件得到大脑更加充分的信息加工处理,在脑电上体现为目标字符闪烁后300 ms左右在大脑顶区出现的脑电事件相关响应正峰P300(图4(b))。因此,识别该正峰P300并定位其发生时刻所对应的闪烁字符,即可实现对人的注意目标的判断,这正是P300脑机接口得名的原因。除了上述时序策略外,将不同字符用不同的频率进行闪烁是另一种常用的策略。类似的,被注意的目标字符也对应更强的事件相关响应,体现为脑电响应在相应字符的闪烁频率处的频谱幅度更大。通过在脑电频谱中识别最显著的响应频率并定位其对应的字符,即可判断人的注意目标。与自发脑活动相比,引入外界事件诱发所得的事件相关响应往往具有更高的信噪比,从而可以实现更快的思维活动状态识别。运用前沿的信号处理算法,最新的诱发脑活动脑机接口研究展示了每1 s完成一次字符输入的应用演示,对应5.32 bit/s的信息传输速率,已经接近实用水平,这也是目前有报道的最快脑机接口。
2 功能康复与增强
思维活动状态的实时识别可应用于更丰富的临床情境,辅助患者进行脑功能的康复。其核心思想是通过构建脑机接口闭环神经反馈调节系统,让患者主动参与到自身的康复过程中来。以研究最多的中风康复为例,脑机接口系统连续监测患者用运动想象方式表达的患侧肢体运动意图,在识别到主观运动意图时启动相应的功能性肌肉电刺激器或机械式康复仪等设备进行患侧肢体的运动锻炼(图5(a))。基于脑机接口的康复治疗方案有别于传统依赖理疗师的、患者被动参与的治疗方案,被称为“主动式康复”,并正在得到临床医学领域越来越多的重视。
图5 功能康复与增强示例
这一主动式康复的思路也正在应用于精神类疾病治疗的探索中。运动想象脑机接口在针对自闭症儿童的康复训练中正在承担重要的角色:与正常儿童相比,自闭症儿童在观看他人运动情景时模仿动机弱,相应的感觉运动皮层激活程度较低;通过让这些儿童参与基于自身感觉运动皮层激活程度强弱实时反馈的游戏项目,可以提升他们对感觉运动皮层激活程度的自我控制能力,从而改善自闭症的症状(图5(b))。类似的脑机接口神经反馈训练范式也有望在多动症、抑郁症等治疗中发挥积极作用。
此外,脑机接口技术在感官重建方面也有望发挥重要作用。基于功能磁共振的研究发现,可以从视觉皮层的神经信号中一定程度上重建出人所感知到的视觉图像信息,可用于构建帮助盲人恢复视力的视觉假体。基于颞区脑电的研究表明,在存在多个语音源时,可以通过颞区听觉皮层相关脑电活动进行人的听觉注意目标的实时判别。这一技术有望与电子耳蜗相结合,实现更加智能的聋人听力辅助,增强电子耳蜗植入者的听力水平。
3 状态识别与监测
以上所介绍的情境中的脑机接口(视听觉感官重建除外)大多依赖人主动发起特定的思维活动任务,被称为“主动式”脑机接口(active BCI)。虽然主动式脑机接口是最广泛研究和应用的脑机接口,与之相对的“被动式”脑机接口(passive BCI)在近10年来开始得到快速发展。被动式脑机接口的发展得益于主动式脑机接口研究过程中所积累的一系列准确、可靠的实时思维活动状态识别算法。这些算法不仅可以用于识别人主动发起的特定思维活动,也可以用于识别和连续监测人的各项基础认知功能状态,如注意水平、认知负荷、疲劳程度、情绪状态等。
基础认知功能状态的识别有广泛的应用需求(图6)。在工程心理学领域,机动车驾驶员、飞行员、航空空中交通管制员等特殊作业岗位人员的认知负荷、疲劳程度等状态对于作业绩效、工作安全都十分重要,脑机接口所提供的实时监测数据为工作管理提供了重要的客观依据,能够更好地保证人员安全和工作绩效。在教育领域,脑机接口可以对学生的注意水平进行实时评测,为教师教学安排提供参考。在市场营销领域,脑机接口技术可以用于评价观看广告、电影、电视等媒体内容的观众情绪体验,以及更加广义的人机交互情景下的用户体验。在游戏娱乐领域,脑机接口为游戏玩家提供了独立于传统游戏控制方式之外的新的操作维度,丰富了游戏内涵并提升了游戏体验。
图6 状态识别与监测示例
4 前景展望:挑战与机遇
虽然目前主流的脑机接口研究主要运用无创的脑电技术开展,基于有创、侵入式的皮层脑电或神经元群体记录等技术也正在得到越来越多的关注。虽然侵入式记录目前依然面临手术感染、长时间使用的生物兼容性等问题,但有创脑机接口有望获取更高的信号质量,解码更加丰富的神经活动信号,从而支持更高的识别速度或准确率。有创脑机接口的这些特点提供了实现全新范式的可能性,如基于言语输出运动控制脑区的语音合成输出、利用运动皮层神经元群体活动的多自由度机械手臂精细控制等。有创脑机接口有望在不久的将来真正服务于重度运动障碍的患者群体,通过长期或永久植入的脑神经信号传感器解读他们的思维活动意图,帮助他们与外界进行有效交流。
无创脑机接口离形成稳定可靠的实用产品依然还有一定距离。以最接近实用阶段的脑电为例,可满足脑机接口应用需求的高性能科研级设备成本较高、体积较大,不利于大规模普及;脑电设备佩戴的操作较复杂,往往需要专业人员进行参与,佩戴的舒适性以及长时间记录的可靠性还有待提高。其他无创成像技术也有面临各自的局限:脑磁、功能磁共振设备过于庞大且昂贵,功能性近红外光谱技术的发展时间还相对较短等。为推进实用化进程,科研人员已经进行了多方面的努力:脑电等各类无创成像技术都在或快或慢地走向便携化、可穿戴化,其各项操作也在逐步减少对专业人员的依赖;脑机接口中的信号分析处理方法也正在走向更加智能化。更前沿的,中国科学家已经开始探索脑机接口“意念控制”用于太空任务的可行性。此外,不同类型脑机接口系统之间的结合,以及脑机接口与眼动、肌电、加速度等其他生理或行为信号的深度融合,有望帮助人们对人类思维活动状态进行更加全面、准确的解读。特别需要指出的是,脑机接口基于个体化的脑神经活动构建脑机信息传输通路,充分考虑了每个人的个体神经活动特点,有望向各行业提供更有效的、有针对性的应用解决方案。
无论是何种脑机接口应用,其当前可实现的性能距离人们在科幻作品中的设想还有很长的路要走。除了上述传感技术上的局限外,更关键的挑战在于我们对大脑工作机制的了解还十分有限。神经科学领域学者对大脑工作机制的持续探索发现是脑机接口系统实现的核心基础,而神经工程领域基于这些探索发现所提出的大脑计算神经模型、神经编码与解码方法,则为脑机接口实践应用提供关键技术方法支撑。随着近年来世界各国纷纷启动“脑计划”,如欧盟的Human Brain Project、美国的BRAIN Initiative、日本Brain/Minds Project等,有望在不久的将来在脑研究方面取得突破性的进展,从而为脑机接口技术的进一步发展带来全新的机遇。特别的,中国脑计划的“脑科学与类脑智能”这一重点发展方向强调脑研究与人工智能研究的结合,可能为脑机接口提供新的突破口。
脑机接口技术不仅可以服务于上述3个以人为中心的应用方向,还可以应用到更广阔的脑机融合领域。脑机接口技术对人的思维活动状态的实时准确识别,一方面可以提供更多的人类大脑活动特征以指导计算机更好的模仿人脑,另一方面可以让计算机更好的与人协同工作。正如著名科学家钱学森在1992年3月给国家高技术研究发展计划(863计划)智能计算机主题(306主题)专家组负责人的信中讲道:“……,我只想说一点:我不以为能造出没有人实时参与的智能计算机。所以奋斗目标不是中国智能计算机,而是人、机结合的智能计算机体系”。随着学界对脑机接口研究的持续关注与投入,脑机接口技术将继续保持快速发展,并有望对人类社会带来全方位的积极影响。
Facebook公布脑机接口绝密项目细节
本文由人工智能学家(ID:AItists)授权转载
译者:黄军
概要:Facebook正在致力于开发可以与我们大脑连接的计算机。
前DARPA执行官和Facebook神秘8号大楼的现任主管ReginaDugan发布了关于他们在脑机接口领域所做工作的相关信息,旨在让人们通过“心灵感应”进行沟通。
Facebook年度开发者大会正在全面展开。最终,该事件为公司发布最具创意的产品提供了机会,并揭示了即将开展项目的关键细节。没有什么比来自Facebook神秘8号大楼(B8)的产品更有前景或有趣。
目前,我们对B8了解有限,因为他们的项目都没有正式的详细说明,然而谣言四处扩散,所以我们对其并不是一无所知。关于正在进行的工作我们有一些大概的重要资讯。 B8似乎正在开展四个主要项目。据说这些包括增强现实、无人机、相机和直接的脑机接口(BCIs)。
是的,Facebook正在致力于开发可以与我们大脑连接的计算机。
图片版权:GettyImages/T. Hartman
在昨天的开幕活动中,Facebook首席执行官Mark Zuckerberg宣布,今天会议的发言人将讨论他们在BCI技术方面的工作。
在这次活动中,他表示,我们将会“从Regina Dugan那里听到关于他们正在做的一些超越增强现实的工作,包括脑机接口,终有一天,人们只用自己的思想就能进行沟通。”
Dugan是前DARPA执行官。她还曾在Google高级项目部工作。现在,Dugan终于发布了关于B8一直在做的工作的信息。活动的亮点如下:
• Facebook正致力于开发一个脑机接口,借助此项技术,将来人们与其他人进行沟通时将无需说话。最终,他们希望开发一种技术,让人们仅通过思考就可以“说话” - 不受时间或距离的束缚。
• 他们想要创造“社会性”优先的“类别定义产品”,让我们形成更多人际关系的产品,最终将互联网的数字世界与物质世界和人类思想相结合。
• Dugan指出,大脑每秒产生大约1 TB的数据。然而,通过语音,我们只能以每秒100字节的速度向他人发送信息。 Facebook希望将发送到我们语言中枢的所有信息从“大脑”中移出并进入世界(允许我们随意将其发送给其他人)。
• 在他们初始的研究中,他们希望实现人们通过自己的大脑“打字”和“点击鼠标”,以便与我们的技术相互作用。例如,具有ALS的人可能会用他们的想法,而不是眨眼来输入。因此,他们希望“解码语音”,并实现所有人使用脑电波进行通信。
• 最初,他们的目标是让人们直接用大脑打字, 比人们用智能手机打字的速度快5倍。这意味着他们正在开发可以通过“阅读”人脑来传播信息的技术。
• 接下来,他们将努力让人们使用他们的思想打字,速度达到惊人的每分钟“打”一百个字。这远远超过了大多数人在电脑上打字的速度。普通人每分钟38到40字之间。
• 他们已经开发了执行器,让人们通过皮肤“听到”声音。最后,通过Facebook的技术,人类可以“感受”话语。
• 最终,他们想让人们思考一些东西的同时把想法传到他人的皮肤上。此外,他们将允许人们用一种语言思考某事,并让另一个人以完全不同的语言接受思想。
这篇文章已经更新,以澄清脑机接口的本质以及Facebook希望捕捉和传送给外界的信息。
译者:黄军
原文链接:
一网打尽系列文章,请回复以下关键词查看: |
创新发展:习近平 | 创新中国 | 创新创业 | 科技体制改革 | 科技创新政策 | 协同创新 | 成果转化 | 新科技革命 | 基础研究 | 产学研 | 供给侧 |
热点专题:军民融合 | 民参军 | 工业4.0 | 商业航天 | 智库 | 国家重点研发计划 | 基金 | 装备采办 | 博士 | 摩尔定律 | 诺贝尔奖 | 国家实验室 | 国防工业 | 十三五 | 创新教育 | 军工百强 | 试验鉴定 | 影响因子 | 双一流 |
预见未来:预见2016 | 预见2020 | 预见2025 | 预见2030 | 预见2035 | 预见2045 | 预见2050 | |
前沿科技:颠覆性技术 | 生物 | 仿生 | 脑科学 | 精准医学 | 基因 | 基因编辑 | 虚拟现实 | 增强现实 | 纳米 | 人工智能 | 机器人 | 3D打印 | 4D打印 | 太赫兹 | 云计算 | 物联网 | 互联网+ | 大数据 | 石墨烯 | 能源 | 电池 | 量子 | 超材料 | 超级计算机 | 卫星 | 北斗 | 智能制造 | 不依赖GPS导航 | 通信 | MIT技术评论 | 航空发动机 | 可穿戴 | 氮化镓 | 隐身 | 半导体 | 脑机接口 |
先进武器:中国武器 | 无人机 | 轰炸机 | 预警机 | 运输机 | 战斗机 | 六代机 | 网络武器 | 激光武器 | 电磁炮 | 高超声速武器 | 反无人机 | 防空反导 | 潜航器 | |
未来战争:未来战争 | 抵消战略 | 水下战 | 网络空间战 | 分布式杀伤 | 无人机蜂群 | 太空站 |反卫星 |
领先国家:俄罗斯 | 英国 | 日本 | 以色列 | 印度 |
前沿机构:战略能力办公室 | DARPA | Gartner | 硅谷 | 谷歌 | 华为 | 俄先期研究基金会 | 军工百强 |
前沿人物:钱学森 | 马斯克 | 凯文凯利 | 任正非 | 马云 | 奥巴马 | 特朗普 |
专家专栏:黄志澄 | 许得君 | 施一公 | 王喜文 | 贺飞 | 李萍 | 刘锋 | 王煜全 | 易本胜 | 李德毅 | 游光荣 | 刘亚威 | 赵文银 | 廖孟豪 | 谭铁牛 |
全文收录:2016文章全收录 | 2015文章全收录 | 2014文章全收录 |
其他主题系列陆续整理中,敬请期待…… |
“远望智库”聚焦前沿科技领域,着眼科技未来发展,围绕军民融合、科技创新、管理创新、科技安全、知识产权等主题,开展情报挖掘、发展战略研究、规划论证、评估评价、项目筛选,以及成果转化等工作,为管理决策、产业规划、企业发展、机构投资提供情报、咨询、培训等服务,为推动国家创新驱动发展和军民融合深度发展提供智力支撑。