查看原文
其他

BENDR for BCI : 多伦多大学研究者提出受BERT启发的深度神经网络学习​海量EEG 数据

Fangyu Cai 脑机接口社区 2022-04-26

从预测文本到智能语音控制,人机交互近年来得到了快速的发展。许多科学家设想下一个前沿领域是脑机接口(BCI),直接的神经连接,利用脑电图(EEG)信号捕捉到的脑电活动。


为了开发能够更好地利用公开的大量 EEG 数据集用于下游 BCI 应用程序的深度神经网络 (DNN),多伦多大学的三位研究人员提出了一种受 BERT 启发的训练方法作为BCI/EEG的自我监督预训练步骤。


BENDR: UsingTransformers and an Contrastive Self-Supervised Learning Task to Learn fromMassive Amount of EEG Data 一文中,研究人员表示将 DNN 用于 BCI 应用的原始 EEG 数据是一项具有挑战性的任务,需要从原始序列提取有用的特征,并对这些特征进行分类。用于 BCI 应用程序的 DNN 可能很难确定好的特征,因为个体本身的EEG 数据和个体之间的EEG数据通常存在很大程度的差异性,并且不同模型类型的分类性能可能存在很大差异。

 用于构建 BENDR 的整体架构


大型语言模型(BERT)可以在给定特定的环境时重建语言符号,并在自然语言处理方面产生了令人印象深刻的进步。多伦多大学的研究人员猜想:“能否利用单个样本而不是符号(即直接将BERT应用于原始脑电图),在这种情况下开发EM[脑电图模型]?”尽管脑电图数据高度相关的性质似乎会阻碍这种适应,但研究小组认为可以通过类似的设计思想来学习插值方法。
他们采用自监督语音识别方法wav2vec 2.0,类似于 BERT 等掩码语言模型,以使用自监督训练目标来学习原始 EEG 数据信号的压缩表示。
wav2vec 2.0是一个强大的语音表示自监督学习框架。通过多层卷积神经网络对语音音频进行编码,然后掩蔽产生的潜在语音表示的范围,然后可以将这些范围反馈给transformer network以构建从整个序列中捕获信息的表示。

wav2vec 2.0整体流程


新提出的框架与wav2vec2.0非常相似,其中任意的EEG片段被编码为一个被称为BENDR ( BERT 启发的神经数据表示)的学习特征向量序列。转换编码器将 BENDR 映射到包含目标下游任务有价值特征的新序列。
对于每个下游任务,使用传统的全监督训练(以一种留一/多主题的方式,见表1)来训练模型架构的六种不同排列。这里指出的是所使用的总体架构的一部分(参见图1),以及训练前模型权重如何用于四向分类任务(其中有四个圆圈的矩形)。四个任务(左半部分)利用了模型权重,它们首先通过预训练开发的模型权重。这里所有的黄色模块都表示随机初始化的权重。颜色强度的变化(从训练前到训练后)表示进一步的训练,而增加的条形图表示在该训练阶段保持不变的权重,如下图。




研究人员提出,自监督序列学习可能是一种在 BCI 中开发和部署更复杂 DNN 的有效方法,因为该方法在使用未标记数据的条件下,从更多人和任务中学习的能力将能够更好地建模 EEG 数据输入分布,同时学习具有减少可变性的特征。
该团队在该框架内开发了一个预训练模型,该模型可以对不同硬件、跨不同受试者和下游任务记录的原始 EEG 序列进行建模,并提出这种方法可以生成适合大量未标记 EEF 数据和下游 BCI 应用程序的表征。
参考信息:Kostas D ,  Aroca-Ouellette S ,  Rudzicz F . BENDR: using transformers and a contrastive self-supervised learning task to learn from massive amounts of EEG data[J].  2021.https://arxiv.org/pdf/2101.12037.pdfhttps://syncedreview.com/2021/02/22/bendr-for-bci-utorontos-bert-inspired-dnn-training-approach-learns-from-unlabelled-eeg-data/

排版:羽化

文章仅用于学术交流,不用于商业行为,

若有侵权及疑问,请后台留言,管理员即时删侵!

更多阅读

神经科学:脑研究的综合学科

脑机书籍分享

科学研究|脑际同步揭示快乐情绪如何增强人际合作协调

《关于拟制定脑机接口技术出口管制规则的通知》

2021年中国最强生物医学工程学校排名

大脑如何编码视觉信息?

美国“脑计划”取得重大进展,从小鼠到猴子再到人类

《Nature》神经环路研究破解针灸穴位之谜!

CMU研究人员提出一种新的深部脑刺激方法,可延长帕金森病治疗效果

你的每一次在看,我都很在意!

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存