查看原文
其他

当脑机接口和外骨骼相连,如何赋予机器触觉?机器能够让我们体验到丰富的感官信息吗?

TCCI追问 nextquestion 2022-05-05

# 追问按:


在上一期关于脑机接口的追问中,我们邀请到了在脑机接口领域取得多项创新性成果的天桥脑科学研究院研究员、上海微系统所研究员陶虎,就大家尤为关心的“未来能否真正通过无创的方法来控制体外机器?”(点击回顾全文)这一追问进行了解答:


“目前传统的无创脑机接口可以操控较为简单的体外机器;通过将目前的侵入式的脑机接口的创伤控制到人体可以自然愈合的程度,就可以获取更多的脑内信息,从而可以控制更复杂的体外机器。”


这一回答不禁引发我们进一步的思考:既然通过脑机接口我们可以控制体外的机器,那么通过体外机器获取的信息能否直接传输进大脑呢?体外机器能够和人的手指一样将触觉信息反馈给大脑吗?


本期“追问编辑部”将带领大家深入探索这一问题,看看脑机接口的前沿科技已经就感觉信息的输入做到了何种程度。如果本文激起了你的更多好奇,欢迎阅读并继续追问,我们将持续收集大家的问题并邀请科学家们回答,敬请关注!


触觉系统同样是人们耐以生存的重要感觉系统之一,触觉往往也是其他感觉器官的反馈系统之一,比如我们看到一个杯子伸手去拿——是否拿到是一个重要的反馈,同时拿起来我们该使用怎样的力气?杯子烫不烫?……


在我们生活中这些简单的、不假思索的动作,都离不开我们的触觉系统。我们可以通过脑机接口帮助那些触觉丧失群体恢复触觉感受吗?


“温柔”地拿起纸杯——触觉构建


近期由MIT和上海交通大学联合开发的充气机械手就补充上了触觉部分的反馈——这款重要只有292克、造价仅约合500美元的弹性机械手,可以帮助实现一些日常活动,比如拉拉链、倒果汁等。


研究团队为充气机械手开发了相应的计算机模型,可以根据手指弯曲程度施加不同程度的气泵压力,从而实现为手指充气和抓握等行为。在这支充气机械手臂上,研究人员实现了信息的双向传递。


▷ 文章封面,图片来源:Nnature Biomedical Engineering 》官网


当人们想做出某种动作的时候,气泵系统中的肌电传感器可以接受这种信号,并以此控制神经假肢进行相应的活动。而作为触觉神经的反馈,研究人员在每个指尖都安装了压力传感器,它感受的压力会转换成同比例的电信号,再传递给截肢者的神经部分,从而让截肢者感受到拇指位置的压力,进而调整自己的力度。在经过短暂的训练后,截肢患者可以顺利“撸猫”。


另一部分的触觉丧失的人群则很有可能是因为外周的传输机制出现了问题,从而导致了触觉出现问题,比如中风、糖尿病、脊髓损伤患者等。来自范斯坦医学研究所的研究人员通过脑机接口帮助这些患者在大脑内产生了触觉感受。


在这项研究中,研究人员在2名触觉丧失的患者的脑沟中植入了电极,通过给大脑提供一定强度的电刺激,使得患者产生了手或者指尖的“刺痛感”或者“电感”,唤起了大脑对于指尖的精确感官知觉。


▷ 通过刺激大脑皮层的特定部位帮助患者产生了精准的手部感觉,图片来源:Evoking highly focal percepts in the fingertips through targeted stimulation of sulcal regions of the brain for sensory restoration


“视触嗅听”是我们经常提到的感觉系统,和触觉系统一样,剩下的感觉系统也都有着复杂的整体感知通路。而在实际的应用中,脑机接口已经在听觉领域发挥了巨大的作用。


走出无声的世界——人工耳蜗


人工耳蜗是迄今为止最成功、临床应用最普及的脑机接口技术。人类的整个听觉回路形成的路径如下:


声源→耳廓(收集声波)→外耳道(传导声波)→鼓膜(将声波转换成振动)→耳蜗(将振动转换成神经冲动)→听神经(传递冲动)→大脑听觉中枢(形成听觉)。


▷ 耳朵内部结构,图片来源:Canva可画,已获得商业授权


听觉路径中如果有部分发生损伤,则有可能导致听觉的丧失。从临床案例来说,很多患者的听神经并未受损,而是在此之前的传导路径不完整,人工耳蜗可以帮助恢复传导通路:


人工耳蜗主要由植入体和外部声音处理器两部分构成,通过声音处理器来接收外界的声音信号,并将其转化为数字信号,这些数字信号通过线圈被发送到植入体内,植入体中数字信号会被转化为电信号,再转换为电刺激,刺激听神经,形成大脑可以接收的信号。


人工耳蜗技术仅仅是脑机接口应用于临床的一个开始,除了听觉之外,脑机接口也可以帮助获取更多来源的信息。


嗅到“不存在”的芬芳——味嗅觉的探索


生物的嗅觉和味觉系统具有敏锐的气味和味质感知能力,被认为是自然界最高效的感测系统之一。通过脑机接口恢复嗅觉和味觉近些年来也取得了不错的进展。


早在2015年,来自浙江大学生物医学工程与仪器学院的研究团队就已经开始了探索。研究人员提出了一种基于脑机接口的仿生气味识别系统,利用大鼠嗅觉感受细胞来组成气味敏感传感单元,通过16通道植入式微丝电极记录和分析具有气味刺激特征的嗅球僧帽细胞电位响应信号,之后再通过一定模式识别,并进行特殊的算法处理后,成功地让这套系统实现了对不同气味的高度敏感性的识别。


和人工耳蜗的工作机制类似,仿生嗅觉和味觉传感器主要也是由2部分构成,包括生物功能组件和微纳传感器。其中生物功能组件比如上面提到的大鼠嗅觉感受细胞等,作为敏感元件,可以和目标分子或者离子结合从而产生特异性的反应,这些信号传递给作为转换器的微纳传感器,微纳传感器将响应信号转化为更加容易处理和分析的光电等信号,从而将信息传递给大脑。


另一方面,科研人员也从未放弃对于嗅觉机制的探索——嗅觉是如何和产生的?我们能否通过脑机接口将嗅觉的信息直接传输进大脑?


一项由纽约大学的研究团队发表在《科学》杂志上的研究就展示了这方面的成果。研究人员通过光遗传学技术激活老鼠的嗅小球,刺激大脑中的特定神经元,从而在小鼠脑袋共产生了特定的、“真实的”可以被感知的气味——实际上小鼠并没有闻到这种气味。


研究人员一共训练小鼠大脑识别了6种特定嗅小球的激活模式,并在小鼠识别正确气味时给与奖励;同时也在实验中验证了不同的嗅觉激活模式顺序是否会产生影响。通过前后的实验对比,研究人员首次确定大脑会将气味转换为感知代码,从而形成大脑中可以感知的模式。


▷研究人员训练小鼠识别不同的气味模型,图片来源:Manipulating synthetic optogenetic odors reveals the coding logic of olfactory perception


通过特定的刺激,已经证实可以将声音信号和嗅觉信号传递给大脑。


和听觉和嗅觉相比,视觉的机制则更为复杂,大脑皮层中1/3的区域和视觉有关。视觉不仅仅帮助我们“看到”这个世界,同时也在帮助我们构建整个世界。


“看见”久违的光明——重建视觉


我们可以做一个简单的小实验:我们拿出手机,打开摄像头,对准远处的大楼,然后开始摇晃手机,我们会发现镜头下的大楼会剧烈晃动;但是当我们摇头的时候,我们发现眼中的大楼却依旧稳固。这是因为视觉记忆已经在我们的脑海中构建了对应的数据,形成了相对稳定的印象。


和视觉神经皮层相关的神经元多达数十亿,这在一定程度上给我们出了一个难题。然而在面对难题时,我们需要做的往往只是提出一个最简单的追问:在脑海中形成画面最少需要激活多少个神经元呢?


答案可能超乎你的想象,我们可能仅仅只需要刺激几十个神经元就可以在脑海中“看见”东西。2019年,来自斯坦福大学的科研团队通过光遗传学的实验发现:仅仅刺激20~40个左右的神经元,就可以让小鼠“看到”不存在的东西,并在实验中成功改变了小鼠的行为。


在实验训练时,研究人员寻找到了分别会对横竖条纹产生反应的神经元,并训练小鼠在看到竖条纹时去喝水,在看到横条纹或者什么都看不到的时候就不去喝水。之后,将小鼠放到黑暗的环境中,通过脑机接口刺激大脑的神经元,使得小鼠在脑内看见不存在于现实的“竖条纹”,小鼠依旧完成了喝水的行为。这表明,通过刺激少量的视觉神经元,同样可以帮助大脑“看到”一些具体的事物。


▷ 光遗传学刺激后小鼠出现的皮质层的动态变化正确预测了小鼠的行为,图片来源:Cortical layer–specific critical dynamics triggering perception


既然在小鼠脑海里可以通过刺激部分的视觉神经元产生视觉感受,那么在人脑中是否也可以以同样的方法来刺激视觉的产生呢?


近期发表在《细胞》杂志上的一项研究,来自美国贝勒医学院 Daniel Yoshor 教授的研究团队开发了一种新型的脑机接口,通过动态电流刺激大脑皮层的部分视觉神经元,成功地让盲人“看到”了特定的字母图像。


▷ 文章封面,图片来源:《细胞》官网


Daniel Yoshor 教授团队开发的动态激活电极可以按照顺序让患者形成连贯的感知——就像我们按照笔画在手心写一个“大”字,即使我们闭上眼,但是连续的刺激依旧可以让我们在脑海中形成联系的“视觉感受”——研究人员通过连续的刺激相当于将字母在脑海中写出来,从而让大脑可以看到具体的图像。


在对4个视力受损但未完全失明的患者中,通过顺序依次激活不同的电极,让这些患者在脑海中看到了“Z”的图像。在接下来的研究中,研究人员对于2位盲人患者也进行了对应的实验,同样成功地使2名患者在脑海内出现了“Z”的图像。


▷ 文章封面通过连续性的刺激成功使得盲人患者看到了字母“Z”,图片来源:Dynamic Stimulation of Visual Cortex Produces Form Vision in Sighted and Blind Humans


这表明,即使是刺激小部分的视觉神经元,也可能在脑海中产生视觉印象。当然如果要传输更多的图像信息,则依然需要进行进一步的研究。


感觉之上的思维和记忆可以传输吗?


从目前脑机接口的发展来说,我们的感觉大多数都可以脑机接口进行信息的收集、处理和传输,并进一步形成双向的反馈。


建立在具体的感觉之上,则是我们大脑产生的抽象思维能力,这里面就包括了记忆、情绪、情感等,这些领域依旧需要我们进一步的探索。


我们将为大家带来进一步的追问:


  • 脑机接口可以解析我们的情感和记忆吗?

  • 我们是否能像传输视觉影像一样,给大脑也传输进去一段情感或者记忆呢?


敬请您期待下一期的追问——情感和记忆等思维活动可以通过脑机接口传输吗?


如果您有关于本期内容的其他追问,欢迎进群和我们讨论~~


社群讨论

如果您想追问更多问题

欢迎加入追问社群参与讨论

添加小助手微信questionlab即可申请进群~~



作者:Aaron

编辑:Jiahui,EY

未经授权禁止转


[1]Dong Qi, Qin Zhen, Hu Liang, et al., Biomimetic Olfactory Sensing System Based on Brain-Machine Interface and Olfactory Decoding,Journal of University of Electronic Science and Technology of China, DOI:10.3969/j.issn.1001-0548.2015.05.026.

[2]Wang Ping, Zhuang Liujing, Qin Zhen, Zhang Bin, Gao Keqiang. Research Progress of Bioinspired Smell and Taste Sensors[J]. Bulletin of Chinese Academy of Sciences, 2017, 32(12): 1313-1321.

[3]Edmund Chong, Monica Moroni, Christopher Wilson et al., Manipulating synthetic optogenetic odors reveals the coding logic of olfactory perception, Science,DOI: 10.1126/science.aba2357.

[4]James H. Marshel et al., (2019), Cortical layer–specific critical dynamics triggering perception, Science, DOI: 10.1126/science.aaw5202.

[5]Michael S. Beauchamp,Denise Oswalt,Ping Sun et al.,Dynamic Stimulation of Visual Cortex Produces Form Vision in Sighted and Blind Humans.Cell,DOI:https://doi.org/10.1016/j.cell.2020.04.033.

[6]Gu, G., Zhang, N., Xu, H. et al. A soft neuroprosthetic hand providing simultaneous myoelectric control and tactile feedback. Nat Biomed Eng (2021). https://doi.org/10.1038/s41551-021-00767-0.

[7]Santosh Chandrasekaran et al, Evoking highly focal percepts in the fingertips through targeted stimulation of sulcal regions of the brain for sensory restoration, Brain Stimulation (2021). DOI: 10.1016/j.brs.2021.07.009.

滑动查看



您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存