查看原文
其他

​用机器学习和神经科学解码大脑信号

Tina 脑机接口社区 2022-04-26

人脑是一个非常了不起的器官,它大约三磅重,却能控制着我们身体的所有功能。它处理我们所有的思想,它是人类智力、创造力、情感和记忆的神经生物学基础。我们的大脑分为几个部分,每个部分都有一个主要的功能。

在本实验中,我们的重点关注的是枕叶。这是我们的视觉处理中心,在这里处理我们的视觉信息。它处理并使我们的大脑能够识别我们正在看的东西。


1

我们可以从大脑中收集到的数据类型


脑机接口(BCI)的目的是在大脑和外部设备之间建立一个直接的通信通道。这使得用户能够通过大脑活动与计算机进行交互。
BCI不是像Cerebro这样的读心工具。相反,它检测大脑发出的能量的变化。人脑包含约860亿个神经元,每个神经元分别与其他神经元相连。每当我们思考或移动肌肉时,这些神经元就会被能量激活。BCI可以识别大脑中的这些能量模式。

脑电图监测脉冲和波放电[来源]

(https://en.wikipedia.org/wiki/Electroencephalography)


脑电图(EEG)是一种记录大脑信号的常用技术。它是非侵入性的,所以我们不需要切开我们的头骨来收集我们的大脑信号。
脑电图描记器通过放置在头皮上的一系列电极记录大脑产生的能量。这需要受试者戴上脑电帽,电极放置在特定的位置。这些电极检测大脑活动,也就是大脑释放出的电能。
对于此实验,我们想记录与眼睛所见有关的大脑信号。通过将电极放置在枕叶区域,电极将从我们所看到的信号中拾取信号。在这种情况下,指示灯会闪烁。这种类型的EEG信号称为稳态视觉诱发电位。
在这个实验中,我们想要记录大脑信号与我们的眼睛所看到的东西有关。通过将电极放置在枕叶区域,电极将接收我们所看到的信号。在这里,指示灯会闪烁。这种类型的脑电图信号称为稳态视觉诱发电位。


2

稳态视觉诱发电位


稳态视觉诱发电位(SSVEP)是当我们看到闪烁的物体时产生的信号,通常在1到100Hz之间。在这个实验中,这些闪烁的灯是闪烁的LED灯。这些闪烁的灯是“刺激”。
考虑一个脑-机接口系统,其目标是解码用户的输入,使之符合“左”或“右”两种可能的选择之一。有两种刺激,一种是选择“左”,另一种是选择“右”。
两种刺激以不同的频率闪烁,11Hz表示“向左转”;而“向右转”的频率为15 Hz。参与者通过专注于其中一种刺激来选择选项。例如,通过关注“左”刺激,选择“左”选项。
当参与者专注于其中一种刺激时,该特定刺激的频率可以在枕叶处被获取到。我们可以通过从EEG信号中提取刺激频率来确定用户关注的是哪种灯。这就是脑机接口(BCI)系统如何将SSVEP大脑信号解释为对外部设备的指令。
该视频现场演示了SSVEP信号是如何被我们的眼睛所关注的东西所影响的。


3

实验装置

韩国的一所大学设计了利用SSVEP控制下肢外骨骼的实验环境。参与者可以通过将注意力集中在所需的刺激上来控制外骨骼。
参与者可以从五种操作中选择一种来操作外骨骼。这相当于五个发光二极管以不同的频率闪烁。
walk forward (9Hz)--向前走(9Hz)turn left (11Hz)--向左转(11Hz)turn right (15Hz)--向右转(15Hz)stand up (13Hz)--站立(13Hz)sit down (17Hz)--坐下(17Hz)

受试者佩戴外骨骼并专注于视觉刺激发生器产生的LED


如果打算向前移动,则受试者将注意力集中在以9 Hz闪烁的LED二极管上。同样,通过关注以15 Hz频率闪烁的LED二极管,它将使外骨骼向右转。
在实验过程中,提供了语音指导来指导用户。他们的任务是遵循给定的指令说明,并通过专注于相应的LED灯来操作外骨骼。

使用8个通道进行SSVEP采集的EEG通道布局


为了建立监督学习分类器,将采集到的脑电图信号作为输入数据,将分配的任务作为标签。在本实验中,作者在脑电图帽上选取了八个电极,与输入数据的八个通道相对应。
研究人员对获取的脑信号进行了快速傅里叶变换操作,将信号从时域转换到频域。这样就获得了120个样本的输入数据。因此,输入数据是一个120x8维的信号。


4

卷积神经网络分类器


No-Sang Kwak等人提出了一种使用卷积神经网络的SSVEP分类器。在论文中,他们将其命名为CNN-1。它具有两个隐藏层,内核大小分别为1x8和11x1。接下来是具有5个单元的输出层,该输出层表示外骨骼运动的五个可能动作。学习率为0.1,权值按正态分布初始化。

CNN-1体系结构。由两个卷积层和一个输出层组成


作者还实现了另外两种神经网络和三种信号处理方法,以比较CNN-1的性能:
CNN体系结构2 (CNN-2):类似于上述CNN体系结构,但在输出层之前包含一个额外的3单元全连接层.
前馈NN
前馈(NN):一个简单的3层全连接前馈神经网络典型相关分析(CCA):典型相关分析是寻找目标频率和信号之间相关性的常用方法。CCA一直是SSVEP分类的首选方法多变量同步指数(MSI):多变量同步指数估计两个信号之间的同步作为解码刺激频率的指标CCA + k最近邻(CCA- knn): k近邻的典型相关分析这些方法用于将性能与上述CNN-1架构进行比较。


5

评价


作者对13500个训练数据和1500个测试数据进行了10倍交叉验证。下表显示了每个分类器的分类准确性。

基于受试者的10倍交叉验证结果,比较不同的分类方法


该表显示CNN-1的性能优于其他神经网络体系结构。CNN-1的性能也优于CCA,后者是SSVEP分类的流行方法。总体而言,神经网络的结果比CCA更可靠,因为CCA表现出明显较低的性能。
深度神经网络通常在处理大量数据时表现更好。找出优于传统方法所需的数据量。作者在不同的训练样本容量下验证了算法的有效性。

10倍交叉验证结果,改变训练数据量,比较不同的分类方法


CNN-1在每一个数据量上都优于其他神经网络。然而,CCA-KNN在少于4500个训练数据样本的情况下表现出更好的分类性能。
下图是使用静态SSVEP的受试者S1的CNN-2的特征表示。使用静态SSVEP数据表示CNN-2中每一层的平均特征。在F3层中,蓝色为9 Hz;红色,11 Hz;绿色,13 Hz;黑色,15 Hz;青色,17 Hz。

下图为使用动态SSVEP的受试者S1的CNN-2的特征表示。使用动态SSVEP数据表示CNN-2中每一层的平均特征。在F3层中,蓝色为9 Hz;红色,11 Hz;绿色,13 Hz;黑色,15 Hz;青色,17 Hz。

6

总结

 
在这项研究中,研究人员的目标是建立一个具有深度学习分类器的鲁棒的BCI系统。卷积神经网络在SSVEP分类中表现出了良好的且高度鲁棒的性能。
BCI系统在帮助残疾人控制外骨骼(如铁人服)或轮椅(如X教授)等设备方面有着巨大的潜力。
但是,构建一个可靠的BCI系统仍具有挑战性,而且将这些设备从实验室带到大众市场还需要大量的努力。


参考信息:

Kwak N S , Klaus-Robert Müller, Lee S W . A convolutional neural network for steady state visual evoked potential classification under ambulatory environment[J]. PLOS ONE, 2017, 12.

翻译:Tina

排版:羽化

文章仅用于学术交流,不用于商业行为,

若有侵权及疑问,请后台留言,管理员即时删侵!

更多阅读

一种灵活,坚固且无凝胶的脑电图电极,可用于无创脑机接口

基于增强现实和脑机接口的机械臂控制系统

基于头皮脑电的癫痫分类

Science封面:人为何要睡觉?

科学研究|脑际同步揭示快乐情绪如何增强人际合作协调

《关于拟制定脑机接口技术出口管制规则的通知》

2021年中国最强生物医学工程学校排名

大脑如何编码视觉信息?

神经科学:脑研究的综合学科

你的每一次在看,我都很在意!

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存