利用脑机接口从鸟的脑电波中重现鸟唱歌声

神经科学研究人员创建脑机接口(BCI)或脑机接口(BMI)，目的是使用大脑恢复受损的人体运动功能。加州大学圣地亚哥分校(Universityof California, San Diego, UCSD)的神经科学研究人员通过使用基于脑机接口的人工智能 (AI) 翻译鸟类的大脑活动来重现了鸟类的歌声，相关研究已经发表在《Current Biology》。

为什么用鸟鸣来理解人类的语言？

该研究的作者表示“虽然鸟鸣在许多重要方面与人类语言不同，但这两种声音系统有许多相似之处，包括顺序组织的特征和获取策略、神经元组织和功能的相似性、遗传基础和声音产生的物理机制。”实验的可访问性、对神经和外周系统的相对先进的理解，以及作为发声和学习的成熟模型的地位，使鸣禽成为一个有吸引力的动物模型，提高语音BMI，就像非人类灵长类动物模型的运动BMI。”

脑损伤患者的脑机接口

使用脑机接口作为语音假肢，也许有一天可以帮助那些因脑损伤而无法交流的人。根据美国失语症协会(NAA)的数据，有超过200万美国人和25万英国人患有失语症。失语症是一种损害语言表达和理解的疾病，可能由中风、头部创伤、动脉瘤、脑瘤、神经系统疾病(如阿尔茨海默病和痴呆症)以及其他原因导致的脑损伤引起。

直接记录大脑活动

研究人员使用植入电极阵列(具有 16 或 32 个通道的 Si 探针)收集了4只成年雄性斑胸草雀(Taeniopygiaguttata)大脑控制唱歌肌肉的感觉运动区(运动前核HVC)的神经活动，并同时记录了细胞外电压。大脑记录被人工处理以排除噪音，并使用Kilosort 来检测和分类尖峰。

基于神经网络的解码器，用于从运动前神经活动合成鸟鸣

研究人员表示:“我们的方法的优势在于能够找到行为的低维参数化，通过相对较小的样本(数十个)神经元记录的活动来驱动行为。”

生物力学模型和 AI 机器学习

为了有效地将大脑活动映射到声音模式并降低维度，研究人员训练了 AI 机器学习算法，将大脑活动映射到数学方程模型中，而不是将神经活动映射到歌曲中，这些数学方程模拟了鸣叫时雀鸟的发生器官（syrinx）中发生的物理变化。

通过发声器官的生物力学模型，由运动前神经活动合成的歌声与录制好的鸟儿自己的歌声对比

研究人员报告说:“我们采用了一个声乐器官的生物力学模型，该模型在低维参数空间中捕捉了歌曲的大部分频谱时间复杂性。”“与歌曲的全时频表示相比，这种降维可以训练浅前馈神经网络(FFNN)，将神经活动映射到模型参数上。”

然后，该团队使用 AI 来创建听起来像真正的雀类的合成发声。

来自神经活动的直接频谱图合成

研究人员报告说，这项研究“对声音运动技能的学习、执行和维持背后的多种机制和回路有了普遍的了解”，鸟类唱歌的生物力学“与人类和一些非人类灵长类动物的生物力学相似。”通过这项新研究，研究人员已经证明，可以直接使用脑机接口和人工智能技术从正在进行的神经活动中合成复杂的高维行为。

研究人员报告说：“我们已经证明了用于复杂通信信号的 BMI，使用可在已建立的动物模型中实时实现的计算块，用于产生和学习复杂的声音行为。”

参考

[1] Arneodo E M ,  Chen S ,  Ii D E B , et al. Neurally driven synthesis of learned, complex vocalizations[J]. Current Biology, 2021.

https://www.psychologytoday.com/

BrainLover编译

不用于商业行为，转载请联系后台

若有侵权，请后台留言，管理员即时删侵！

更多阅读

你的每一次在看，我都很在意！