点击上方蓝字关注“脑人言”
前 言
这篇文章主要的工作算是机器学习和神经科学的结合工作，需要读者在这两个方向有一定的基础。
机器学习简介：机器学习算法是一类从数据中自动分析获得规律，并利用规律对未知数据进行预测的算法。
最近大火的深度学习则是机器学习的一个分支，主要用基于人工神经网络的各种方法来实现目的，现在有很多变种，本文中使用的神经网络是一个卷积神经网络（Convolutional Neural Networks，CNN）。
文章中神经科学实验部分主要使用的信号读取方法是功能磁共振( functional Magnetic Resonance Imaging,fMRI)，主要原理是通过监测脑区血流量的变化来间接测量脑区的活动程度，当一个脑区活动程度增强的时候，相应的血流量也会增加，为脑区输送更多的氧气。功能磁共振的空间分辨率很高，但其时间分辨率比较有限，只能采集到2s 左右时间内的平均活动程度，同时对于神经活动的检测有一定延时。
前一周去开ASSC 的时候听到一个很有趣的工作，用深度学习来解析人类梦境中出现的物体类别。我见到的为数不多融合深度学习和神经科学的工作。回来之后翻了下相关文章，来在这分享下。
总体思路
1.实验部分和梦境数据的收集 [1]
2.用正常视知觉刺激训练解码器的过程。[2]
3.用这个解码器来预测梦境中的物体类别。[3]
我个人认为这个工作的亮点在于使用了机器学习算法和深度神经网络来达到一个比较好的预测效果。
4. 最后从我个人，一个认知神经科学研究生和一个机器学习初学者的角度来分析下这个工作。
1.实验部分
实验过程中被试躺在核磁共振成像仪里面，在持续通过脑电图(electroencephalogram, EEG)来检测被试的睡眠状态的同时扫描大脑活动。通过特定的脑电特征了解被试进入梦境状态之后，会叫醒被试并让其口头描述梦境内容。（如下图所示）
图1
建立预测物体类别的模型
在建模的部分,作者取巧的使用了之前他们组在视知觉刺激上建立的解码器，那个解码器可以很好的预测实际看到的物体的类别，作者在这直接用了这个解码器来预测梦境中出现的物体类别。
简要回顾下解码器的实现。
2.实验部分
图2
作者在此主要做了两类实验，一类是正常看物体的图片，另一类是基于线索来想象物体的形象。
在看物体实验中，被试会被呈现不同的图片，每张图片9秒钟。这里加了一个比较简单的小任务，当出现的图片和上一张出现的图片相同的时候，被试需要做按键反应。这里是为了让被试的注意维持在图片上。 第二类是想象实验，在线索阶段，会有1个目标词汇和49个干扰词出现，在听到‘滴’声之后，被试要闭上眼睛，想象目标词汇的形象。过了15s，听到‘滴’ 之后，睁眼，确认想象的形象是目标形象。 在实验进行的过程中采集被试视觉皮层的fMRI信号。
从fMRI实验数据到物体类别，作者把这里拆成两步来做。
第一步是fMRI 信号到特征空间。
作者在此用了一个8层预训练好的神经网络来做特征提取。在前七层中每层随机选1000个神经元，以及第八层的全部1000个神经元，把一张图片前向传播过网络后，这些神经元的输出作为特征。这样每张图片前向传播之后，可以获得一个 8层 * 1000 特征/层 的特征矩阵。
之后是被试用被试的fMRI信号来训练一系列Decoder，从被试的fMRI信号来拟合不同层中不同特征的值。来实现从fMRI信号到特征空间的转换。
图3
第二步是从特征空间到物体的类别。
这里作者首先做的是，计算各个物体类别的特征矩阵。他的做法是，每一个类别下面所有图片前向跑一遍网络，把生成的所有的特征矩阵平均，得到一个物体类别对应的特征矩阵。
如果要计算上一步中，被试梦境中解码出来的特征矩阵具体对应着哪个类别的物体。这里做一个简单的相关，取相关系数最高的那个类别为预测类别。
3.模型结果
这篇文章做出的结果不能说很好，但是确实为这个领域的应用提出了一个有趣的方向。
图4
这张图截取的是卷积神经网络部分预测准确率。可以看到，在被试真正看到图片的情况下，使用某些层的预测准确率可以到达很高，超过90%，在直接用这个网络迁移到想象情况下，也可以达到一个高于随机猜测的准确率。明显看出，现有模型对于想象图片的预测能力要差很多。其实想来有一定道理，第一就是，想象和直接看肯定有不同的底层视觉机制。第二就是模型是基于真正看图片的情况来训练的，迁移到另外一个相似却不完全相同的任务上表现表现自然会差一些。
最后的解梦的工作就是水到渠成了，有了数据和模型，直接套用就好了，这里作者主要试了这两个场景，梦境中的单物体识别和多物体识别。
图5 Single category feature decoding with averaged trials
梦境中单物体类别的识别。
这里用的是书的例子，被试在做梦的时候，可能会在多个梦境中都出现书这个物体，作者把这几个梦境对应的fMRI信号加起来做平均，然后通过文章2中训练处的解码器来预测出当前梦境的特征矩阵，之后和书这个类别的特征矩阵做相关。
图6 Multi-category feature decoding with individual trials
当然，一个梦境里面只出现书也不现实，大家都有这样的经历，梦境更多是一整个场景，会出现多个物体，如上图，这个梦境中，除了书还有一个男人和食物。所以作者也做了这个实验，单个梦境里面多物体的识别。用的是单个梦境对应fMRI信号解码出来的特征矩阵来和被试报告的所有类别的特征矩阵 的平均矩阵做相关比较。
4.总结
整体文章就完结了。可能有些朋友觉得看的一头雾水，我在这重新整理下行文逻辑。
1.证明视知觉和梦境在视觉皮层上的神经活动有部分类似的模式。
2.以正常视知觉为训练集训练一个解码器，从被试的视觉皮层神经活动信号到最后的物体类别。这里是分成两部分，先从 fMRI 信号到特征空间，再从特征空间用相关性分析的办法推测物体类别。
3.用这个解码器来预测梦境中的物体类别。
4. 最后从我个人，一个认知神经科学研究生和一个机器学习初学者的角度来分析下这个工作。
个人对一系列文章的评价：
首先这是很有趣的工作，13年的时候，第一次用fMRI +机器学习技术尝试解析梦境，15年的时候，能做到以一定的准确程度从被试的fMRI信号中成功解析看到的物体。从这两点来看，是非常有开创性的工作。除此之外，关于卷积神经网络和相关脑区的比较也是比较有趣的工作，一定程度上说明了卷积神经网络和人类视觉皮层的相似性。
作为一个认知神经科学研究生，我认为这几个实验做得挺好的，简单，但是十分有效，如果说有什么改进的话，就是如果能来和我们所合作，用7T更高分辨率来试一下是不是会更好啊，还有就是最新的一些序列可能能做到更好的结果。但是相信作者也是有一些权衡的，不止要考虑分辨率，还要考虑信噪比 尤其是梦境里面，噪音也需要注意一下。
作为一个机器学习方向初学者来说，我个人认为，这篇文章的模型的部分还有很多可以改进和增强的地方。除此之外，我个人还有一些其他想法，想来用我这边的一些东西来试着实现下。如果有一样对此有兴趣的同学，欢迎评论区讨论。
参考文献
本文使用的全部图片都来自参考文献，做了适当裁剪和缩放。
1.Horikawa T, Tamaki M, Miyawaki Y, et al. Neural decoding of visual imagery during sleep[J]. Science, 2013, 340(6132): 639-642.
2.Horikawa T, Kamitani Y. Generic decoding of seen and imagined objects using hierarchical visual features[J]. arXiv preprint arXiv:1510.06479, 2015.
3.Horikawa T, Kamitani Y. Hierarchical Neural Representation of Dreamed Objects Revealed by Brain Decoding with Deep Neural Network Features[J]. Frontiers in computational neuroscience, 2017, 11.
往期推荐：
撰文 | Harold Yue （中科院生物物理所认知神经科学硕士生）
审稿 | insoulter
编辑 | Shin
脑人言|聊聊脑科学
微信:ibrain-talk
小密圈:46334922
QQ群:638710880