TCCI追问研讨会回顾：双向脑机接口如何实现？
会议介绍
9月9日，由天桥脑科学研究院（Tianqiao and Chrissy Chen Institute, TCCI）组织的第二期 “TCCI追问研讨会”顺利召开。4位青年科学家此次围绕“双向脑机接口如何实现”这一话题展开在线圆桌讨论，并与观看直播的其他学者和学生进行了热烈的问答互动。
此次会议由加州大学旧金山分校Edward Chang实验室博士后李远宁主持，天津理工大学副教授、脑机交互与智能网络研究所主任、中国人工智能学会智能情感专委会委员陈超，上海大学机电工程与自动化学院、医学院双聘教授杨帮华，清华大学心理学系副教授、博士生导师、清华大学脑与智能实验室兼职研究员张丹参与讨论。
本文为追问研讨会“双向脑机接口如何实现”的精选文字稿，点击阅读原文或扫描封面二维码，即可观看研讨会全程回放。
◁ 滑动查看嘉宾简介 ◁
Session 1 背景介绍
@李远宁
首先自我介绍一下，我是李远宁，来自加州大学旧金山分校。我的研究主要是通过颅内的高密度皮层脑电技术研究语言认知相关的神经编码机制还有神经解码方法。今天有幸请到了三位嘉宾加入我们的讨论，这三位老师都是在神经解码、脑机接口等方面有着多年的丰富的研究经验，并且承担了很多国家级的项目，发表了很多论文专著的专家教授。第一位嘉宾是来自天津理工大学的陈超老师。他主要从事手部运动执行和运动想象的神经编码机制与解码方法，还有神经反馈、神经调控机制等的研究。第二位嘉宾是来自上海大学的杨帮华老师。杨老师主要从事运动想象脑机接口技术、脑电意念智能解码技术、虚拟现实技术、脑机接口结合VR技术在医疗康复等领域的应用这些相关的研究。第三位嘉宾是来自清华大学的张丹老师。张老师应用脑电近红外等神经性生理信号开展心理状态与特质的测评方法与理论研究，研究内容还包括了情绪脑机接口、自然交互、生理计算、教育神经科学等新兴的交叉方向。
那么接下来我们正式进入讨论的第一部分，请各位老师围绕着双向脑机接口这个大的话题介绍自己的研究方向，并且和我们分享一下各位老师的研究是如何嵌入脑机接口以及双向脑机接口这个大拼图之中的。
Session 1的完整内容，点击阅读原文查看。
Session 2：圆桌讨论
@李远宁
Elon Musk的公司Neuralink在脑机接口方面投入了很多。但Elon Musk一个饱受争议的观点是，他觉得当前脑机接口需要更多的工程，比如提高芯片的集成度，提升传感器的精度、灵敏度，提高算法的准确度。相对而言他不太赞赏或者说不太欣赏像我们这样的神经科学家在脑机接口中的贡献。那么作为一个神经科学研究者，我想问各位嘉宾，神经科学研究可以给脑机接口具体带来什么？
@杨帮华
我理解神经科学应该是我们产生大脑活动的一系列的神经机制，细胞是怎样活动的，是哪些细胞活动。我们一直在说，想象左手动的时候主要是右脑特定脑区能量发生了降低，大概是C4这些区域。那么到底是哪些神经元？在执行这个任务的时候又是怎样的时序？怎样的电脉冲的一系列活动？如果能够把它的序列、它的放电过程认识清楚的话，那为我们未来执行任务时候到底采用什么样的算法能够提供很好的指导。比如说现在用的深度学习很多都是黑匣子，我们可能是采用了一些经验。这个深度学习用了多少层、采用什么样的结构等等不清楚。如果我们能够从神经科学的角度给予更多的对信号或者神经元活动的理解和支持，可能对设计这些算法的结构能够提供很大的帮助。
@张丹
我也分享两点我的观点吧。到了心理系之后，我越发对工程技术的边界有深刻的体会，我觉得工程技术不是万能的，不是靠工程技术我们就可以解决一切的问题。我想先举一个例子，这个不是我自己的事，是这几年我看到的。脑机接口领域一直在发展，信息科学的深度学习、机器学习技术一直在快速往前走，但是至少据我的有限了解来说，直到今天为止，还没有看到特别漂亮的脑机接口研究非常好地把深度学习技术拿进来让我们实现质的飞跃。深度学习加脑机接口研究的摘要的最后一句话往往是，我们达到了跟以前基于专家特征的系统差不多的性能。最近的基调是说我们有所提升，但是如果仔细去看的话，提升的性能都是相对有限的，这是目前能看到的现状。
我觉得这也作为一个现实的例子告诉我们，工程技术不是万能的。我自己在做视觉脑机接口时，做了一些新的设计。大家以前的视觉脑机接口更多的范式设计都是一一对应关系，就是一个编码序列对应一个指令。我们当时做了一个很有意思的小突破，可以让一个编码序列对应多个指令。这是怎么做到的呢？现在我跟大家解释一下。我让这个人不去注视或者不去注意这个编码序列本身，去注意这个编码序列的相对空间的一些位置。在这样的情况下，我们发现当注意这些地方的时候，大脑的响应也具备一些可区分的模式。
当时我们做这个事不是瞎蒙试出来的，是我们看到一些神经科学文献说，大脑视觉皮层存在视网膜映射的效应，也就是一个视觉物体在视网膜空间不同位置出现的时候，在大脑的初级皮层有非常好的空间对应关系。受这个启发，我们就有可能实现这样的突破。而如果不用神经科学的东西，总是在工程技术上，就不会想到这件事情，因为我总会在以前的一一对应的框架里面去反复探索还有什么更好的编码解码的模式来完成提升。
我们觉得我们是在另一个维度去拓展新的世界。虽然这个是一个很小很小的研究，但我想这个例子可以至少说明一下这个问题。我们通过一些神经科学技术或者新的知识——其实也不算新的知识，就是大家没有用到的一些知识——的引入，可以拓展现在脑机接口可以利用的新的维度。我先说这么两点，谢谢。
@陈超
我简单补充几句。我的理解是神经科学和脑机接口的发展是相互促进的关系。我做关于运动的研究相对多一些。大家都知道神经细胞的数量很大，我们无论是用无创还是有创，记录的神经电极的数据都是有限的。为什么我们用非常有限的记录数据能够做运动轨迹重建，做语音解码，解出实际想说的或者实际说话的意图。很重要的是神经细胞本身的冗余性，它有足够的冗余性。哪怕有很少量的神经技术的解码，也可以解释工程中所想的这个问题。
刚才杨老师提到运动想象和实际运动之间的关系。从神经科学的角度来说其实也有一定的研究。比如说运动规划的刺激是从运动前区开始的，然后往下传导到初级运动区。初级运动区的神经是能够直接连到肌肉的，一部分连到脊髓，一部分连到肌肉。这样的传导关系是有助于更好地构建网络来解码运动意图或者实际运动的。神经科学的理解一定能够促进脑机接口的发展。刚才张丹老师也提到了，视觉在视网膜上对于皮层的映射关系，如果用好的话，一定可以促进脑机接口的发展。同样，脑机接口技术的研究也能够促进我们对神经科学的理解，包括情绪脑机接口或者神经反馈的自我调节。这个又回到双向脑机接口的关系。通过使用脑机接口同样可以改变一定的神经可塑性。脑机接口促进神经还更多停留在网络的角度发展。神经科学是一个很大的学科，从神经细胞层面到神经网络的调节层面，都可以互相提供支持，能够互相促进，这是我的理解。
@李远宁
刚刚陈老师杨老师都介绍了很多经典的运动相关的解码的研究，张老师提到了情感这种更为抽象的认知功能。从认知神经科学的意义上来讲，解码情感、语义、记忆这些高级别的信息本身已经是很有挑战性的，我们对很多最基本的神经编码的原理还并不清楚。双向脑机接口的一个长远目标就是向大脑传递这些信息，传递高级别的情感、语义、记忆这样的信息。各位老师对此有什么具体看法？这个目标理论上可行吗？是不是看着很遥远，还是说有什么具体可操作性？
@张丹
我先回应第一个问题，就是几个层次的信息是不是可以双向地进行传递，从情绪到语义还有记忆这些非常高级的抽象的概念。我感觉这三个当中情绪也许是相对更容易的。它们都很难。情绪相对来说可能更容易在比较近的将来实现双向传递，而其他两个概念我感觉可能会更加遥远。情绪本质上说还是一种大脑整体的功能状态，所以也许不需要那么精细的调控，在情绪的功能网络中的某一些关键节点进行一定的干预，就能带动整个网络的状态发生迁移和改变。因此我们可能更容易把这个事情实现。
而说到更加抽象的概念化的信息，特别是到记忆这个层面的话，可能需要非常精细的调控才能够对记忆进行写入。现在对记忆的读取可能对技术的要求、对神经科学知识的认知水平的要求都会更高。
如果做一个回顾式的梳理，从我自己个人看来，现在可以称为相对比较成功的案例，怎么样向大脑写入信息，我能想到两个，一个不算是纯粹往脑写入，就是电子耳蜗。虽然它写入的不是大脑，但是它很直接影响我们的听觉感知。这个是目前我们应用非常成熟的一个案例了，在很多医院都有非常标准化的套路去做电子耳蜗的植入。我们去操纵和调节，首先是建立在我们对耳蜗的结构的非常精细的了解、非常充分的了解的基础上。其次是改变或者输入的是相对初级的信息。这个也更容易一点，比刚才说的那三个肯定都会容易。
第二个我能想到的案例，就是做深部脑刺激，面对帕金森症的植入。这个其实也是在有神经科学的非常精细的了解的基础上，知道在哪个核团持续给予电刺激就能控制住异常，保证运动控制恢复到正常水平。
这个相对来说比那几个是更加底层的，但是也能看到这些进步实际上也在一步一步往前走，先有电子耳蜗，后面才有深部脑刺激，再往前走，情绪也许会够得着，其他几个可能在远一点的将来是我们看到的。
@杨帮华
我补充一句。我觉得刚才张老师讲得挺好的，我个人也非常赞同。情绪可能是比较粗的，或者相对其他的没有那么高级的认知活动。对它的一些粗微的调节，我觉得是可以的。
我结合我自己的研究给大家一个案例，虽然它不是情绪，比如我研究的成瘾、毒瘾，还有精神抑郁症。在成瘾方面，现在有经颅磁刺激，也有电刺激。经颅磁刺激可能会有一定的效果。虽然还没有很多数据的检验和验证，还比较粗略，但是电刺激、磁刺激，还有VR虚拟现实对大脑的影响，在我看来也应该叫做一种写入。可能大家传统意义上理解的写入就是拷贝一个东西，直接拷贝进大脑。我理解各种各样的反馈，包括物理刺激都是一种干预，虽然还比较粗略，一些很深入的神经机制可能还不太清楚。我们前期也研究过一些案例，比如疲劳度。疲劳也可以通过大脑活动进行检测。同时我们也可以通过对外围神经的刺激，或者对大脑中枢神经的刺激，还有高频震动等等模式来缓解疲劳的程度，我想这也是对大脑的影响。
对于更高级的那些认知活动，怎么样对它进行刺激或者影响特定的脑区呢？虽然目前可能还没有那么精确，但是我想，假设未来植入式的发展能够做到在一根一根植头发的时候对大脑没有任何损伤，我们提取出来了这么多的神经元的活动，进行更深入的解码，了解更多的活动的信息——各种高级认知活动到底在哪些脑区，到底是哪些神经元、哪些综合的神经元——可能不是一块区域，参与了这些活动，然后我们再施加相应的干预，认识应该会逐渐地深入。
@陈超
我借刚才张老师说的分类方法简单谈几句自己的想法。首先情绪、语义、记忆都是大脑的高级功能。视觉、听觉，都是直接接受外部刺激，都有相对应的脑区。人工耳蜗听到什么都能够有明确的定义。但是情绪、语义和记忆相对来说都是比较高级的功能，这是第一方面。
情绪可能是一个整体的，语义和记忆可能是更精确化的，既是高级又是精细化的东西。对现在神经科学的研究来说，我们可能可以比较泛地说记忆存储在神经网络里面。但是具体是在哪一部分的神经网络，其实我们现在并不了解。在不了解的情况下做精准的调控、精准的记忆的复制与传递，我觉得目前来说还是有一定的难度的。情绪可能更多是整体性的。今天提到的几种目前工程上实现的可调控的方式，包括经颅磁刺激，其实本身就是对大脑的运动模式的整体性调节，所以它相对来说能够更好地或者说更容易地实现。这是我目前的理解。如果我们对于神经科学的理解能够更深入，比如更精细的语义和记忆具体地存储在哪一部分，或者哪一些网络结构构成了、影响了这种记忆，到那一天，或许我们有办法做这样的双向脑机接口。
@李远宁
我想请各位展望一下，从你们个人的研究角度出发，或者说从你们对这个方向发展的展望来说，侵入式和非侵入式在未来10年或者20年会有怎样的发展趋势？是否微创或者无创的侵入式将成为脑机接口的终极答案。
@杨帮华
我先简单谈一下我对这个问题的理解。我想无论是侵入式的还是非侵入式的，无非是获取信号，它们的目的可能是相同的。无非就是获取的这个信号是用于疾病的辅助诊断治疗，还是我们对大脑活动更加清晰的认识，或者是反向作用于我们的大脑，使我们的大脑变得更加健康。我个人觉得二者相辅相成。非植入式的目前获得的信号的分辨率还比较低，对大量的神经元活动的解码能力还不是很好。植入式主要缺点是有创伤，但是它能够获得更多更精细、更细微的神经元活动，通过对它的解码，对大脑活动能够有更加明确的认识，比如说运动想象可能更精确了。非侵入式目前只能解码左手、右手、双脚等等一些比较粗略的，侵入式可能能够解码一些精细的手指活动。伴随着技术的不断进步和发展，二者最终都是促进对大脑的认识，促进疾病的诊断和治疗，给病人带来更多的福音。
@张丹
我接着杨老师往下说，我想打个比方。其实李老师提的这个问题本质上就是我们是不是要走得越来越精细，看到越来越精细的尺度，或者说越来越精细的话我们一定能得到越来越多的信息。其实我们可以回到物理学来看一下。物理学经典的牛顿力学体系指的是三大定律，这个大家基本上在初中高中都学过了，是谁都学过的最核心的东西。现在的物理世界、物理学中，研究者显然不在这里停留，大家从原子分子再往下一级一级细分下去。虽然一直在往前走，但似乎我们现在的宏观世界，牛顿力学还是可以非常好地适用于它，我们依然可以用牛顿力学，在这个物理世界里面大家还是生活得很好。那些东西会给我们带来额外的增益，但是它们之间没有谁好谁坏、谁强谁弱的冲突，大家可以非常和谐地共存。
回到脑科学来说，我觉得是这样的。往精细走我觉得一定是个未来趋势，特别是像刚才我们以物理学作为一个以前的样本去看的话，物理学的今天是神经科学的明天，我们一定会往那边走。
但倒回来说，现在相对不是那么精细的东西，比如说几个极端，头皮脑电这个层面，是不是就完全没有意义呢？我觉得也不会，它也会有它自己的生存空间。目前为止，说实话，情绪的神经机制到底是什么大家还不清楚。举例来说，19年有一篇很有意思的文章，是两位做情绪的非常资深的学者辩论的记录，它的标题就叫“What Is an Emotion”。所以19年大家还在问这个问题，到底什么是情绪。现在越来越多的证据在指向，特别是人类的一些高级情绪，可能就涉及大脑的大规模大范围的网络连接的模式，可能不一定是某一个脑区的精细的表达。
在这个情况下，也许我们用宏观的头皮脑电这个看似粗糙的东西，能更好地把这个东西把握住，而不会沉浸到更加深入的细节数据里面，花大量的算力可能不一定有最大的收获。现在为什么没做好？我的反思或者我的观点是，现在太多的实验、太多的数据采集全部在非常精细控制的实验室条件下，我们还缺乏对头皮脑电传感技术的更加充分的应用。
@陈超
我觉得更精细化的有创式测量方式以及无创式的测量方式，是科学和实际应用的问题。大家都知道神经元的数量是很大的。哪怕现在技术上测量的精度不断推进，最多能做到1万个，对于实际测量所有的神经元的活动来说，数量也还是差得很多。
我们多次提到了神经元网络。我们只有更明确地了解神经元活动以及它的规律，才能更好地回答神经科学的问题。但是这种测量，现在大部分都还停留在动物实验阶段，因为它在实际的应用中存在对大脑的伤害性，它实际测量过程中在大脑中的三维的空间位置现在并不明确。我们畅想一下未来，将来有更好的方案或者有无伤害的能够同时记录成千上万个神经元的方式，是我们最理想的追求。
从实际应用的角度来说，无论是临床诊疗或情绪调控，还是学业评估和脑电记录，我们首选无创的方式。当然无创的方式现在同样也存在一定的瓶颈。首先它的噪声大，然后在走出实验室的环境中它实际得到的信息量有限，这是需要我们后续讨论的一个问题。实际应用中，在目前的技术阶段我们还是用无创。但是将来我们需要发展能够同时记录大量神经元的方式。
Q&A 观众追问
@李远宁
非常感谢三位老师的分享，由于时间关系，我们就进入最后一个环节，回答在场观众的提问。
“人的认知一般来自于客观世界，物质或者事件获得的感知，由此基础之上形成的内在的体验与思考。大脑在此过程中处于一个中心的地位，尽管因为个体视角的差异，其概念空间也因此各不相同，但是个体概念空间与现实世界是具有一致性的。在双向脑机接口中，向大脑传输概念、模拟现实环境的行为，会导致个体概念空间在何种程度上与现实世界发生偏离？其相关伦理问题的预处理措施都有哪些？就是如果我们给大脑输入大量的虚拟信息，是不是会导致伦理问题？”
@陈超
这个问题我感觉更多是一个哲学问题。讲到概念空间这个问题，我就想起庄周梦蝶，到底是他做梦梦到一只蝴蝶还是蝴蝶做梦梦到他。这是什么意思呢？就是我们是活在真实的世界中，还是虚拟的世界中。我们是唯物主义的，先有客观世界才有我们的意识。但对于大脑来说，可能整体的客观世界都是大脑构建出来的一个概念。
比如说在一些毒品成瘾的研究里，毒品过量的时候就会产生一些幻觉。这种幻觉当然不是来源于真实的，但是对于吸毒人本身来说，它就是一个类似于真实的东西。我们假设将来能够实现向大脑传输概念、模拟现实环境，对于一个个体来说，它是会发生与现实世界的平移的。因为对于大脑来说，来自现实世界的输入也是一种输入。外界传递的概念同样是一种输入。这两种输入随时有可能混淆。如何在伦理上回避这个问题，对人脑研究的伦理，我们确实需要做大量的工作，这一部分还是由有一些医学经验的人来回答会比较好。
@张丹
我觉得这个问题太大了，我也觉得一样，不知道从何说起会比较好。首先我非常赞同陈超老师的观点，就是双向脑机接口一定会带来某种意义上的个体的偏移或者变化。但是反过来说，我们自己的大脑本来在每天的生活中也是在不停地发生改变的。所以我觉得也许只是一个量的问题和度的问题，有没有超过一定的范围到了一种不良的异常的状态。只要没到那个状态，我们也很难讲到底怎么去评价。比如说咱们现在每天看那么多广告，定向推送的广告到底好还是不好？从短视频兴起之后，大家现在谈得很多的一个问题，特别是心理学上的问题就是一个叫信息茧房的效应。总是推送你最爱看的东西，最后你看的这个世界就是你最爱看的世界。这个都不用到脑机接口这个层面了，我们现实生活中这样的APP已经达到了类似的效果，所以一定会存在这么一个问题。
但我想如果太消极的话，可能我们有点过度忽略了人的主动性，因为每个人实际上在主动做自己的适应和调整。精神障碍很多情况都跟情绪的感知，要不就是表达，要不就是我们的情绪调节这些能力出现了不达标或者异常有关系。
所以很多时候可能不是传递的信息带来什么影响。如果这个人本身具备一定的对自己的状态的调节能力，那可能不会有太大的影响。当然我们改变的是这个调节能力，我觉得那才是最让人担心或者去注意的地方。谢谢。
@杨帮华
我再稍微补充一下。首先我感觉到伴随着双向脑机接口技术的不断发展，技术会导致个体的概念空间和现实世界发生偏离，可能目前影响还不是很大，但是伴随着技术不断发展，有可能未来大脑的干预和影响达到一定程度，就会使自己和现实世界发生偏离。
我举一个小的例子。我做过一个疲劳度相关的实验，我本来已经非常非常地疲劳，可是对我刺激以后我没过几分钟马上感觉身体很轻松，好像一点都不疲倦了，我就在想是我身体真的不疲倦了，还是导致我感受疲劳的阈值发生了改变，可能我还是很疲劳。可能我没感受到我的疲劳，但实际上我的疲劳并没有减轻，只是我的感受度有问题。
可能是我的真实的疲劳性和我经过刺激以后现实的疲劳性发生了一系列的偏离，这也可能是对我大脑活动产生的影响，不是对我本身的疲劳度有什么样的改善。过去可能在研究脑机接口的时候还没有关注伦理的问题，近两三年，脑机接口相关的伦理，不论是申请基金还是各方面的研究，国家还有各个层面都非常地重视。所做的这项研究在伦理上是怎么进行考虑的，未来出现了相关的问题我们应该采取一些什么样的措施来积极地预防。
会不会改变一个人？虽然我还回答不了很多，但是我想后面要把伦理的问题以及处理的措施纳入到脑机接口研究，作为一个重要的方面来考虑。谢谢。
@李远宁
刚才三位嘉宾和大家分享了他们对于脑机接口以及双向脑机交互的见解，三位嘉宾都分享了很多精彩的内容，我们也从中收获了很多，也希望各位观众能从中得到启迪。
因为时间关系我们的研讨会到这里就要结束了，很遗憾我们不能把所有问题一一作答。再次感谢我们嘉宾和观众的参与，我们今天的研讨会就到这，再见。
社群讨论
扫描二维码进入社群继续追问嘉宾！
或添加小助手微信questionlab申请进群
点击“阅读原文”观看会议回顾