重磅！Nature子刊：利用GAN来​“深度伪造大脑数据”可以改善残疾人的脑机接口

近日，南加州大学(Universityof Southern California)维特比工程学院的研究人员正在使用生成对抗网络(GAN)来改善残疾人的脑机接口。生成对抗网络(Generative Adversarial Networks, GAN)是一种生成式模型，以创建深度伪造视频和逼真的人脸而闻名。

该团队在《NatureBiomedical Engineering》上发表的一篇论文中，成功地教会了 AI 生成合成大脑活动数据。这些数据，特别是称为尖峰序列的神经信号，可以被输入到机器学习算法中，以提高脑机接口(BCI)的可用性。1

存在的问题

BCI 系统通过分析一个人的大脑信号并将该神经活动转换为命令来工作，允许用户仅使用他们的思想来控制计算机光标等数字设备。这些设备可以改善运动功能障碍或瘫痪患者的生活质量，甚至是那些与闭锁综合症(一个人完全有意识，但无法移动或交流)作斗争的人。
从测量大脑信号的帽子到植入大脑组织的装置，各种形式的BCI已经可用。从神经康复到治疗抑郁症，新的用例一直在被发现。然而，要让这些系统在现实世界中运行得足够快、足够健壮，是具有挑战性的。
具体来说，为了理解他们的输入，BCI 需要大量的神经数据和长时间的训练、校准和学习。
计算机科学教授、该研究的合著者Laurent Itti表示，“如果瘫痪的人不能产生足够强大的大脑信号，为支持BCI的算法获取足够的数据可能会非常困难、昂贵，甚至不可能。”
另一个障碍是：这项技术是特定于用户的，必须为每个人从头开始训练。2

生成合成神经数据

相反，如果您可以创建合成的神经学数据——人工计算机生成的数据——可以“代替”从现实世界获得的数据，那会怎么样呢?
进入生成对抗网络。GAN 以创建“深度伪造”而闻名，它可以通过反复试验来创建几乎无限数量的新的类似图像。
Itti 建议Shixian Wen，GANs是否也可以通过生成与真实数据难以区分的合成神经数据，为BCI创建训练数据。

实验范例和训练基线 BCI LSTM 解码器

在论文中描述的一项实验中，研究人员首先记录猴子伸手去拿物体时的一段神经数据。如上图的实验范例：猴子坐在视频屏幕前，抓住控制光标位置的平面操纵手柄。猴子对屏幕上随机放置的一系列目标进行接触动作，同时我们使用植入的电极阵列记录初级运动皮层的神经活动。
研究人员利用这数据训练一个深度学习尖峰合成器，如下图b，训练基线 BCI LSTM 解码器。记录的尖峰序列被输入到 BCI LSTM 解码器。

训练基线 BCI LSTM 解码器

之后，他们使用合成器生成大量类似的（尽管是假的）神经数据。具体步骤如下图及步骤：
步骤 1. 在 Monkey C (S.1, M.C) 的第 1 次会话的神经数据上训练尖峰合成器，以学习从运动学(kinematics)到尖峰序列的直接映射，并捕获嵌入的神经属性。高斯噪声和实际运动学(kinematics)被输入到尖峰(spike)合成器（由发生器和读出器组成）。尖峰合成器首先使用生成器（双向 LSTM 递归神经网络）通过双向时变可泛化的内部表示（符号 t−1、t、t+1）学习嵌入的神经属性，从而生成逼真的合成尖峰序列。
步骤 2. 调整尖峰合成器以根据真实运动学(kinematics)和高斯噪声生成适合另一个会话或主题的合成尖峰序列。我们首先冻结生成器以保留先前学习的嵌入神经属性或虚拟神经元。然后，我们使用来自另一个会话或主题（猴子 C (S.2, M.C) 的会话 2 或猴子 M (S.1, M.M) 的会话 1）的有限神经数据替换和微调读出模块。微调的读出模块将这些神经属性的捕获表达调整为适合另一个会话或主题的尖峰序列。
步骤 3. 使用用于微调的相同少量真实神经数据（在步骤 2 中）和大量合成尖峰序列（在步骤 2 中）的组合，为另一个会话或主题训练 BCI 解码器。

总体框架

然后，研究小组将合成的数据与少量新的真实数据(要么来自同一只猴子在不同的一天，要么来自不同的猴子)结合起来，以训练BCI。这种方法使系统启动和运行比目前的标准方法快得多。事实上，研究人员发现GAN合成的神经数据将BCI的整体训练速度提高了多达 20 倍。
“不到一分钟的真实数据与合成数据结合起来，就能达到20分钟的真实数据效果，”Wen说。

归一化位置活动图，构建为作为位置函数的神经活动直方图

“这是我们第一次看到人工智能通过创建合成尖峰序列来产生思维或运动的诀窍。这项研究是使BCIs更适合实际使用的关键一步。”
此外，在一个实验阶段的训练之后，该系统利用有限的额外神经数据迅速适应新的阶段或受试者。
Itti说:“这是一个重大的创新——当这个人想象做不同的动作时，制造出假的数据序列，看起来就像来自同一个人，然后也利用这些数据来帮助学习下一个人。”
除了 BCI 之外，GAN 生成的合成数据可以通过加速训练和提高性能，在其他需要大量数据的人工智能领域取得突破。
参考：Shixian Wen et al, Rapid adaptation of brain–computer interfaces to new neuronal ensembles or participants via generative modelling, Nature Biomedical Engineering (2021). DOI: 10.1038/s41551-021-00811-zhttps://medicalxpress.com/news/2021-11-deepfaking-mind-brain-computer-interfaces-people.html

翻译：Tina

排版：羽化

文章仅用于学术交流，不用于商业行为，

若有侵权及疑问，请后台留言，管理员即时删侵！

更多阅读

你的每一次在看，我都很在意！