Sci Adv︱邰艳龙课题组提出一种具有三维景深感知的人工遥感触觉器件
生物感觉运动系统能够获取外界信息，并通过电化学信号传递给内部神经系统，进而产生运动反馈，构建与外界环境的相互作用[1]。在此基础上，新兴的仿生学器件在功能上与生物对应体有许多相似之处，并通过通用的计算和处理语言来弥合人工系统和生物系统之间的差距。其中，感觉功能的仿生对于人类康复和发展高阶功能/多模态的新型人工体感系统具有重要意义，且对于假肢、可穿戴设备、智能机器人和人机协作等发展至关重要[2]。其中，触觉电子对增强人机协作（HMC）非常有影响力，其主要模仿生物皮肤对外界物体机械运动的感知[3-6]，包括静态识别[接触点的位置或分布、接触面积的大小、接触物体的表面形貌等]和动态识别[垂直方向的压力、水平方向的滑动或摩擦]等。然而，这种传感大多停留在涉及接触/压力的二维（2D）皮肤表面，导致传递外界信息有限并产生不可避免的接触损伤和功耗[7]。对于无接触的三维（3D）空间感知，传统方法如激光、红外、超声等被采用。但由于器件布局复杂、功能难以集成、成本高等缺点，限制了其在HMC领域的进一步应用[8]。
2022年10月26日，中国科学院深圳先进技术研究院-神经工程中心邰艳龙研究员、李光林研究员与德国马克思普朗克聚合物研究所有机电子研究团队Prof. Paschalis Gkoupidenis合作在Science Advances上发表了题为 “An artificial remote tactile device with 3D depth-of-field sensation”的文章，朱珊珊助理研究员为第一作者。在这项工作中，研究团队提出了一种可拉伸自供能三维遥感触觉器件（3D remote tactile device，3D-RTD），其通过一种新型异质结构实现对外界物体在景深方向（depth-of-field，DOF）机械运动的感知。该器件能够通过感知信号的正/负、频率及振幅与外界物体DOF运动建立精确的逻辑关系。其感知机制通过静电场理论和多物理场模拟来揭示，感知性能通过微观/宏观交互的人工-生物混合系统进行验证。最后，作为神经界面贴片，3D-RTD的感知增强和辅助交互功能在避障场景中进行了演示，即大鼠在昏暗的环境中行走，在非接触状态下感受到潜在危险并传递信号给大脑，同时发生动作反馈，实现感觉-感知-交互全过程，这是传统的二维接触式传感器无法实现的。该工作展示了3D-RTD的场景联系与逻辑识别能力，并可与生物感知相结合，为多模态神经形态器件和类脑智能提供了一种新的选择。
作为人类感知智能的代表，生物体的触觉反馈从皮肤感知外界物体的接触开始（图1A），即接触区域皮肤的机械变形诱导触觉小体将相应的电位信号传递到中枢神经系统，进而触发感觉运动神经回路，形成触觉反馈。基于相似的信号传输回路和原理，作者提出了一种自供电的3D-RTD和三维遥感触觉系统（3D remote tactile system, 3D-RTS），与生物体的2D触觉传感相比具有增强感知性能。仿生感觉系统和生物运动系统的协同运作（图1B），具体来说，手（外界物体）的非接触景深机械运动触发虚拟突触3D-RTD，基于异质界面对静电场极化的响应和电子转移而产生电动势输出。随后，将产生的电位变化传递给生物体肌肉，实现人工与生物世界之间的连接与信息传递。
图1 一种超越皮肤功能的三维景深触觉器件
（图源：SS. Zhu.et al., Sci Adv, 2022）
为了评估3D-RTD作为虚拟突触的信息传递与连接功能，将其与大鼠的骨骼肌系统集成。当外界运动物体的DOF运动触发3D-RTD时，人工系统则激活大鼠后肢肌肉产生运动。展示了两个系统: （I）3D遥感触觉系统（3D-RTS）和（II）刺激和力测量系统（图2）。
图2 人工3D遥感触觉系统（3D-RTS）集成到生物体神经肌肉系统中。
（图源：SS. Zhu.et al., Sci Adv, 2022）
为了演示3D-RTS在感官增强与交互方面的性能，本研究展示了一个与大脑活动相关的避障场景。生活在昏暗环境或有视力障碍的人发生碰撞且跌倒的风险很高。拐杖等传统的移动辅助工具仍然存在局限性：只能通过接触来检测地面上的障碍物（图4A）。然而，悬挂于空中的危险则容易被忽略，碰撞风险并不能完全消除。从另一个角度来看，这类人群更有可能对周围非接触物体发展感知技能/映射。因此，在人工器件的帮助下增强他们对外界的感知能力非常重要。大鼠的背部装载3D-RTD神经接口贴片，右后肢装载刺激电极，使其在昏暗的跑道中行走，且跑道中央的天花板上悬挂着聚偏氟乙烯（PVDF）薄膜作为非接触障碍物。当大鼠向前行走经过预先设置好的非接触障碍时，它会通过3D-RTS感知到“危险”，并产生实时感觉反馈、步态变化、以及大脑决定的动作反馈（图4B-F）。展现了一个完整的感觉-感知-交互过程。
图3 三维景深触觉系统（人工-生物混合系统）在避障方面的应用，展示完整的感觉-感知-交互过程。
（图源：SS.Zhu.et al., Science Advances, 2022）
综上所述，作者展示了一种可拉伸自供能的3D-RTD，基于一种新型异质结构，该器件能够识别外界物体在三维空间的景深运动。它可以逻辑性地识别运动物体的靠近-远离，感知距离达20厘米，频率从0.0625到5 Hz。基于静电场理论和COMSOL有限元分析，揭示了相关机理，并通过调节材料的介电常数优化其感知性能。基于3D-RTD作为虚拟突触在信号传输和连接功能方面的特点，作者未来的工作目标是深入研究异质结构器件相互作用的机理，实现更多接近真实突触的功能。此外，本工作通过构建人工-生物一体化触觉系统，协同实现虚拟与生物突触电子/离子之间的微观相互作用，以及外界物体三维机械运动与大鼠运动反馈之间的宏观相互作用，验证3D-RTD作为神经形态装置的可行性。最后，3D-RTD作为感觉替代和知觉增强的神经界面贴片，将其应用在一个避障场景中：配备3D-RTD的大鼠在昏暗的跑道中对非接触障碍物产生了一个完整的感觉-知觉-交互的过程。作者希望该工作可以进一步促进人机融合相关的一系列应用发展，特别是在基于类脑和混合智能的交互领域。
原文链接：https://www.science.org/doi/10.1126/sciadv.abo5314
该工作得到了国家重点研发计划，国家自然科学基金、中国科学院海外人才项目、中国博士后基金、深圳市科技计划、深圳先进院创新基金等资助。
欢迎扫码加入逻辑神经科学 文献学习3
群备注格式：姓名-单位-研究领域-学位/职称/称号/职位
【1】Cell Res︱郑慧/徐兴顺团队揭示抑郁症诱导的抗病毒免疫功能障碍的机制
【2】Mol Neurobiol︱徐凯彪/高亦博团队发现不同原因引起的新发难治性癫痫持续状态的潜在病理机制
【3】Mol Psychiatry︱庞志平/陈超/诺奖得主Thomas Südhof团队揭示孤独症风险突变获得性功能突触新机制
【4】PLOS Biol︱陆伟团队发现睡眠-觉醒周期动态调节海马抑制性突触可塑性
【5】J Neuroinflammation︱卓业鸿/苏文如团队揭示铁死亡可能是视网膜缺血-再灌注的损伤新机制和治疗新靶点
【6】PNAS︱钟毅课题组揭示Rac1-依赖的遗忘机制是情绪状态影响记忆表达的神经基础
【7】Cell Metab 综述︱曹旭团队评述骨内感知系统调控骨稳态及骨痛
【8】NAN︱苑林宏课题组揭示DHA干预对ApoE-/-和C57 WT小鼠脑脂质水平、脂肪酸转运体表达和Aβ代谢有不同影响
【9】Autophagy 综述︱李晓江团队评述线粒体自噬在体内和体外模型中的差异及研究进展
【10】HBM︱商慧芳课题组通过功能影像技术揭示帕金森病的运动进展标记物
优质科研培训课程推荐【1】第十届近红外训练营（线上：2022.11.30~12.20）【2】第九届脑电数据分析启航班（训练营：2022.11.23—12.24）欢迎加入“逻辑神经科学”【1】“ 逻辑神经科学 ”诚聘编辑/运营岗位 ( 在线办公)【2】人才招聘︱“ 逻辑神经科学 ”诚聘文章解读/撰写岗位 ( 网络兼职, 在线办公)参考文献（上下滑动阅读） [1] P. Delmas, J. Hao, L. Rodat-Despoix, Molecular mechanisms of mechanotransduction in mammalian sensory neurons. Nat. Rev. Neurosci. 12, 139–153 (2011).
[2] Q. Zhang, S. Hu, R. Talay, Z. Xiao, D. Rosenberg, Y. Liu, G. Sun, A. Li, B. Caravan, A. Singh, A prototype closed-loop brain-machine interface for the study and treatment of pain. Nat. Biomed. Eng. 10.1038/s41551-021-00736-7 (2021).
[3] J. Yu, X. Yang, G. Gao, Y. Xiong, Y. Wang, J. Han, Y. Chen, H. Zhang, Q. Sun, Z. L. Wang, Bioinspired mechano-photonic artificial synapse based on graphene/MoS2 heterostructure. Sci. Adv. 7, eabd9117 (2021).
[4] S. C. B. Mannsfeld, B. C. K. Tee, R. M. Stoltenberg, C. V. H. H. Chen, S. Barman, B. V. O. Muir, A. N. Sokolov, C. Reese, Z. Bao, Highly sensitive flexible pressure sensors with microstructured rubber dielectric layers. Nat. Mater. 9, 859–864 (2010).
[5] X. Qu, W. Niu, R. Wang, Z. Li, Y. Guo, X. Liu, J. Sun, Solid-state and liquid-free elastomeric ionic conductors with autonomous self-healing ability. Mater. Horiz. 7, 2994–3004 (2020).
[6] Y. S. Zhou, G. Zhu, S. Niu, Y. Liu, P. Bai, Q. Jing, Z. L. Wang, Nanometer resolution self-powered static and dynamic motion sensor based on micro-grated triboelectrification. Adv. Mater. 26, 1719–1724 (2014).
[7] M. Kaltenbrunner, T. Sekitani, J. Reeder, T. Yokota, K. Kuribara, T. Tokuhara, M. Drack, R. Schwödiauer, I. Graz, S. Bauer-Gogonea, S. Bauer, T. Someya, An ultra-lightweight design for imperceptible plastic electronics. Nature 499, 458–463 (2013).
[8] P. Rokita, Generating depth of-field effects in virtual reality applications. IEEE Comput. Grap. Appl. 16, 18–21 (1996).
本文完
[1] P. Delmas, J. Hao, L. Rodat-Despoix, Molecular mechanisms of mechanotransduction in mammalian sensory neurons. Nat. Rev. Neurosci. 12, 139–153 (2011).
[2] Q. Zhang, S. Hu, R. Talay, Z. Xiao, D. Rosenberg, Y. Liu, G. Sun, A. Li, B. Caravan, A. Singh, A prototype closed-loop brain-machine interface for the study and treatment of pain. Nat. Biomed. Eng. 10.1038/s41551-021-00736-7 (2021).
[3] J. Yu, X. Yang, G. Gao, Y. Xiong, Y. Wang, J. Han, Y. Chen, H. Zhang, Q. Sun, Z. L. Wang, Bioinspired mechano-photonic artificial synapse based on graphene/MoS2 heterostructure. Sci. Adv. 7, eabd9117 (2021).
[4] S. C. B. Mannsfeld, B. C. K. Tee, R. M. Stoltenberg, C. V. H. H. Chen, S. Barman, B. V. O. Muir, A. N. Sokolov, C. Reese, Z. Bao, Highly sensitive flexible pressure sensors with microstructured rubber dielectric layers. Nat. Mater. 9, 859–864 (2010).
[5] X. Qu, W. Niu, R. Wang, Z. Li, Y. Guo, X. Liu, J. Sun, Solid-state and liquid-free elastomeric ionic conductors with autonomous self-healing ability. Mater. Horiz. 7, 2994–3004 (2020).
[6] Y. S. Zhou, G. Zhu, S. Niu, Y. Liu, P. Bai, Q. Jing, Z. L. Wang, Nanometer resolution self-powered static and dynamic motion sensor based on micro-grated triboelectrification. Adv. Mater. 26, 1719–1724 (2014).
[7] M. Kaltenbrunner, T. Sekitani, J. Reeder, T. Yokota, K. Kuribara, T. Tokuhara, M. Drack, R. Schwödiauer, I. Graz, S. Bauer-Gogonea, S. Bauer, T. Someya, An ultra-lightweight design for imperceptible plastic electronics. Nature 499, 458–463 (2013).
[8] P. Rokita, Generating depth of-field effects in virtual reality applications. IEEE Comput. Grap. Appl. 16, 18–21 (1996).
本文完