使用CNN-LSTM混合深度学习分类基于MUSE采集的运动想象EEG信号

脑机接口(BrainComputer Interfaces)技术是将人脑与外部设备建立起直接的通路，在智能助残、人机工程、神经康复训练等领域有巨大的应用潜力。随着技术发展，BCI不仅可以用于运动障碍患者，甚至可以用于健康人群以增强他们的行动能力。为了将BCI应用进一步推广，本文采用了一种便携、低侵入性的头带式设备来采集被试主动式运动想象的脑电信号，并使用卷积神经网络和长短时记忆网络混合对脑电信号进行分类识别。研究结果表明，配合混合神经网络，这种低侵入式的检测方法依然可以达到很高的运动意图识别准确率(96.5%)。该论文是一篇结合了实验方案、采集设备、深度学习算法的综合性原创BCI研究论文，既可以用于BCI行业入门学习，了解BCI的一般研究方法，也可以为BCI领域内研究人员提供新方法的参考。

今天和大家分享的这篇论文是西班牙研究团队在2020年第16届国际IE会议上发表的《A CNN-LSTM Deep Learning Classifier for Motor Imagery EEG DetectionUsing a Low-invasive and Low-Cost BCI Headband》，文章提出一种混合了CNN和LSTM的深度学习方法，并将它用于基于运动想象的脑机接口(BCI)中。使用该方法，即使使用极少的EEG电极仍可以达到很高的识别准确率，可以大大推进BCI技术在日常生活中的应用。本文主要讨论新的BCI技术与深度学习方法的融合。背景介绍
正如摘要中所介绍的，本篇论文以运动想象BCI作为研究对象。BCI技术也是深度学习、人工神经网络的重要应用领域。尽管BCI技术在如今发展得如火如荼，基于BCI操控的轮椅、打字、无人机、机械臂等花样应用层出不穷，但是基于运动想象的BCI目前依然是技术难点。作为一种主动式的BCI系统，与SSVEP、P300等被动式BCI不同，运动想象BCI目前被公认是最理想的BCI系统，因为它可以通过想象某种运动来直接对外部设备进行操控，可以“实现所想即所得”。因此运动想象BCI非常适合用于智能助残、运动康复、体能增强等领域。由于运动想象诱发的脑电信号相比于被动式系统更为微弱，因此有两个技术难度限制它的应用：1.采集设备的限制；2.低识别准确率。因此本文也是围绕这两个问题开展研究。
脑电采集与实验

研究团队使用了一种头带式的EEG采集设备来解决第一个技术问题：该设备只有5个干电极(TP9,AF7,AF8,TP10和Fpz,排布见Fig.1)，而Fpz用做参考，相当于只有四个通道。相比于目前常用的20/32/64导联脑电设备可谓是精简到了极致。如此精简的采集设备不能用传统的脑电帽来称呼它了，只能叫他脑电头带(EEG Band)。Fig. 1. Muse electrodes position

该设备由加拿大的InteraXon开发，目前该公司在脑电采集、情绪控制等领域非常火热，甚至谷歌都有将它收购的计划。这个头带实物见Fig. 2，只有一条很细的带子环绕额头，看上去还有些时尚。信号通过蓝牙传输到手机或pad等移动设备，未来科技感十足，日常都可以带出去，成为这条街最靓的仔。这款叫做Muse的脑电设备目前在IndieGoGo上进行预售式众筹，零售价只要200美元，可以说是相当亲民了。值得一提的是，近期很多AI科技类产品都喜欢用希腊神话中的人和物进行命名（参见我上一篇“BERT-of-Theseus：基于模块替换的模型压缩方法”）。Muse是希腊神话中执掌诗歌、音乐和文学艺术的女神，InteraXon将他们的产品如此命名，应该是寄托了艺术与科技融合，科技产品也可以做出艺术之美的愿景。因此它的表现非常值得我们期待。
Fig. 2. A user during a recordingsession
本文的实验方法也是较为常见的运动想象范式：被试分别想象自己使用左手或右手拿起一个杯子，身体保持不动。最终目的就是通过脑电信号解码，知道被试想的是左手还是右手。一般EEG设备都有专门的EOG电极采集眼电以用于后续的伪迹剔除，而对于如此精简的设备，它使用眼睛附近的AF7和AF8电极来记录眼电，真的是将每个电极都用到了极致，不愧是Muse。数据预处理

在进行深度学习之前，首先要对数据进行预处理。原始信号使用传统方法进行分段、滤波，每个电极根据不同频带提取出五种脑电成分，分别是Alpha波、Beta波、Delta波、Theta波和Gamma波。因此每类样本都有4*5=20种EEG信号(Fig.3)。图中可见，到这一步数据还是比较杂乱，很难看出两种运动想象的信号差异。然后对20s的数据使用3s时间窗进行分割，50%重叠。最终每个被试每动作产生329个样本量的数据集，每个样本大小是750*20。750是时间序列(Timesteps)，20是空间成分。下一步就要靠深度学习来一展身手啦。
Fig. 3. Sample of a user’s EEG signalfor the five waves by channel.(Top) Brain waves for Left-hand motorimagery. (Bottom) Right-hand.网络模型

模型的选择对于BCI性能相当关键。该网络模型混合了CNN和LSTM。二者分工明确，其中CNN负责从数据集中提取相关特征，LSTM是一种在自然语言处理中常用的方法（Fig.4），在本文被拿来用于将提取后的特征时间序列进行分类。模型使用一层CNN（32 filters），一层LSTM（32 neurons with0.2 dropout and 0.001 regularizer），最后使用一个全连接层来输出分类结果。这些模型的原理在网上都有较多介绍，在此不再赘述。算法使用Python中的Keras工具包实现，模型结构如Fig.5所示。该模型和它的采集设备一样，都非常精简。正所谓重剑无锋、大巧不工，美的东西一定是简单的。即使是如此简单的模型，也要经过复杂的调参，不断优化性能、降低过拟合，才能达到美的结果。该网络使用90%数据集作为训练，剩下10%作为验证。
Fig. 4. Schematic diagram of LSTMFig. 5. Model Architecture Proposalwith 3s window size训练结果

对于一般的BCI系统，识别率在85%以上就可以应用在日常生活中。而该模型在验证集中可以达到96.5%的超高识别准确率，且相比于98.6%的训练集准确率并没有差太多(Fig.6)。另外，使用这个模型仅仅需要不到300个Epochs就可以达到收敛，大大节约了计算资源。总而言之，该模型的方方面面可以说是非常优秀了。Fig. 6. Evolution of training andvalidation accuracies over 300 epochs总结

BCI是目前非常火热的研究领域。本文围绕BCI应用的核心方法思想就是Low-cost，无论是采集设备还是深度学习模型，都是非常精简。精简的方法依然可以得出优秀的结果，而且精简的方法意味着应用更加容易推广，这为我们今后进行BCI研究提供了新的思路。也让我们看到了自然语言处理方法比如LSTM,Bi-RNN等引入BCI 领域的潜力与优势。不知道Muse女神和人工智能算法在未来还可以碰撞出多少火花，让我们一起期待吧~

论文详情：[1] Garcia-Moreno F M ,  Bermudez-Edo M , MJR Fórtiz, et al. A CNN-LSTM Deep Learning Classifier for Motor Imagery EEG Detection Using a Low-invasive and Low-Cost BCI Headband[C]// 2020 16th International Conference on Intelligent Environments (IE). 2020.

不用于商业行为，转载请联系后台

若有侵权，请后台留言，管理员即时删侵！

更多阅读

投稿通道

如何让你的工作让更多人知晓和受益？

脑机接口社区就是这样一个连接学界、

企业界和爱好者的平台渠道。

社区鼓励高校实验室、企业或个人在我们平台上分享优质内容。

稿件要求

稿件系个人原创作品，若已在其他平台发表，请明确标注。

稿件一经录取，便提供稿费！

投稿通道

微信扫码，备注：投稿+姓名+单位

微信交流群，请扫码上方微信

(备注：姓名+单位+专业/领域行业)

QQ交流群：913607986

你的每一次在看，我都很在意！