Nature Neuroscience：利用深度神经网络进行基于磁共振的眼动追踪

有态度 有深度 有温度

你的科研小伙伴

注：需要原文资料的小伙伴，可以添加茗创科技周翊工程师的微信号MCKJ-zhouyi或致电17373158786。另外，茗创科技创建了文献互助群，为大家提供免费帮忙下载文献服务、技术咨询、前沿研究和电子书等海量学术资源分享。（详见文末）

导读

观察行为为了解认知和健康等多个核心方面提供了一扇窗，它也是许多功能磁共振成像(fMRI)研究中感兴趣或容易混淆的重要变量。为了让眼动追踪在核磁共振研究中更自由、更广泛地应用，研究者开发了DeepMReye，这是一个卷积神经网络(CNN)，可以从眼球的核磁共振信号解码注视位置。它能够在小训练数据集中实现无摄像头的眼动追踪。重要的是，它甚至在现有的数据集和当眼睛闭上时也能工作。被解码的眼球运动解释了整个大脑网络的活动，也解释了与动眼肌功能无关区域的活动。这项工作强调了眼动追踪对功能磁共振成像结果解释的重要性，并提供了一个可广泛应用于科学研究和临床环境的开源软件。

前  言

眼动是我们思想、目标和记忆的直接表达，我们的视线从根本上决定了我们对视觉世界的了解。因此，眼动追踪和神经成像的结合可以为人类认知的许多方面提供一扇窗户，同时还可以深入地了解神经退行性疾病和大脑神经紊乱等症状。功能磁共振成像(fMRI)是研究人脑功能的一种广泛使用的工具，fMRI可以在参与者从事各种任务时检查大脑活动。在许多功能磁共振成像研究中，观察行为要么是一个兴趣变量，要么是一个潜在的混淆变量。然而，绝大多数研究都不进行眼动追踪。

研究者认为，眼动追踪可以而且应该成为功能磁共振成像研究的核心组成部分。因为它不仅能深入了解大脑功能，还能在扫描过程中提供强大的行为读取能力。重要的是，眼球运动还与知觉扭曲、视觉和运动活动以及成像伪影有关，这些都会严重影响对神经成像结果的解释。这并不局限于视觉系统上的研究，而是在很大程度上影响了基于任务态和静息态的神经成像。磁共振(MR)兼容的摄像机眼球追踪器提供了一个解决方案。在扫描过程中，它们以高时间和空间分辨率追踪注视位置，因此，可以分析或解释与注视相关的大脑活动。然而，在实践过程中，摄像机系统只用于功能磁共振成像研究的一小部分。造成这种情况的原因有很多，但通常它们只是在各自的研究或临床环境中不可用或不适用。MR兼容的摄像机价格昂贵，需要训练有素的工作人员和宝贵的安装和校准时间，并具有一定的实验限制条件(例如，需要睁开眼睛)。此外，获得的这些fMRI数据不能用于盲人参与者群体或进行事后比较分析。

另一种可替代和补充的框架是基于磁共振的眼动追踪，直接从眼球的磁共振信号重建注视位置。虽然以前的工作表明这确实是可行的，但仍然存在一些关键性的限制，比如其可用性只能局限于特定的场景中。这些早期的方法并不像许多研究所强调的那样精确，最重要的是，需要为每个单独的参与者进行专门的校准扫描。因此，研究者在这里提出了DeepMReye，一个基于CNN的开源无摄像头眼球追踪框架，它可以直接从眼球的MR信号来重建观看行为。此外，它还可以在闭着眼睛(在静息态或快速眼动(REM)睡眠)或在眼动仪校准仍具有挑战性的群体中进行眼动追踪。

方  法

数据集。用DeepMReye对来自268名参与者的数据进行训练和测试，这些数据来自5台3T MRI扫描仪，有14种不同的扫描协议和各种预处理设置。关于数据集的相关信息可见结果部分中提到的数据集1-5及其发表的文章。

结  果

首先，研究者详细介绍了其数据集、任务、数据处理通道和CNN。其次，研究者证明了解码后的注视位置是高度准确的，并深入探讨了DeepMReye的适用性和要求。第三，通过将已解码的注视标记与同时记录的大脑活动进行对比，结果表明，观看行为能够解释一个较大区域网络中的活动，DeepMReye可以取代基于摄像头的眼球追踪来研究或解释这些影响。研究者在下面介绍的方法和结果中强调了眼球追踪对MRI研究的重要性，并且介绍了一种软件解决方案，使无摄像头且基于MRI的眼球追踪能够广泛免费可用。

从眼球解码注视位置。研究者从多个现有的fMRI数据集(共268名参与者完成不同的观看任务(图1d)解码注视(图1a，b)，包括注视[数据集1(Alexander等人2017)]、平滑追踪[数据集2-4(Nau等人2018a；Polti等人2021；Nau等人2018b)]、视觉搜索[数据集5(Julian等人2018)]，这些数据集在5台3T MRI扫描仪上使用14种扫描协议获得。每个参与者的眼球首先与组平均模板进行非线性配准，该模板是通过对[数据集4(Nau等人2018b)]中所有参与者固定在屏幕中心的功能图像进行平均得到的。然后在每次成像采集时提取眼睛的多体素模式(MVP)，在时间和空间上对模式进行归一化(图1b)，并将其输入CNN(图1c)。

图1.模型结构及其输入。

留出法解码参与者的观看行为。首先，研究者检查了5个数据集在图像分辨率下的解码性能(数据集1-5；图2)。使用跨参与者解码方案对模型进行训练和测试，对每个数据集中80%的参与者进行训练，然后对该数据集中20%的参与者进行测试。这个过程采用交叉验证法，直到所有参与者都被测试过一次。对于所有的观看行为，研究者发现在大多数参与者中，解码的注视路径与真实的注视路径密切相关(图2a)。为了量化群体水平上的注视解码，研究者计算了四个方面的测量：EE(图2b和扩展数据图1)，Pearson相关性(r；图2c)，每个参与者的真实和解码的注视路径之间的决定系数(R²；扩展数据图2a)，以及总刺激的部分误差(FoS)。研究者发现，绝大多数参与者的注视解码具有较高的精度(图2c和扩展数据图2b)。

图2.跨参与者凝视解码结果。

扩展数据图1.预测误差(PE)与真实位置和预测位置之间的欧氏距离误差相关。

当使用每个参与者的独立数据进行训练和测试时(扩展数据图3a)，这些结果也是稳健的。即使是使用独立的数据集用于模型训练和测试时，也能很好的发现注视位置(扩展数据图3b)。通过调整个体体素的时间进程并量化模型对EE的影响，进一步发现用于解码的信息确实主要来自眼球和视神经。这些结果表明，DeepMReye的注视解码具有高度的可靠性和准确性，它允许重建更为复杂的观看行为，仅仅依靠眼球的MR信号，而不需要任何MR兼容的相机设备。

扩展数据图2.在高预测误差和样本外数据中量化注视解码。

无监督异常检测。该模型除了对注视位置进行解码外，还为每个样本和参与者计算出一个PE分数。重要的是，这个PE分数与参与者间的真实EE相关，它允许对那些解码效果不如其他参与者的数据进行检测(图2b和扩展数据图1a，b)。

小训练集。模型性能随着训练集大小的增加而提高，但模型性能在6到8个参与者时接近上限水平(图2d和扩展数据图6)。模型性能在5分钟的自由观看数据时达到饱和(扩展数据图7)。这表明即使很小的训练集也能产生训练良好的模型，从而产生可靠的解码结果。

扩展数据图6

扩展数据图7

跨数据集泛化。当训练集和测试集之间的观看行为和成像协议相似时，DeepMReye的注视解码具有很高的准确性。为了测试该模型是否也具有跨数据集的普遍性，研究者接下来执行了一个留一数据集的交叉验证方法。尽管这种跨数据集方法的总体表现得分低于之前提出的跨参与者(数据集内)方法，但它在所有情况下都能准确地复原出观看行为。

闭眼追踪。传统的与磁共振兼容的眼球追踪系统通常会检测眼睛的某些特征，比如瞳孔和角膜反射，然后对这些特征进行跟踪。当眼睛闭上时，跟踪就丢失了。由于本研究中的方法依赖于眼球MR信号作为注视位置的函数而变化的事实(图1b)，因此，即使眼睛是闭着的，也有可能解码注视位置，或者在这种情况下更普遍地解码眼球的状态。为了证明这一点，研究者在数据集6的一个参与者中测试了DeepMReye是否能在眼睛闭上时揭示观看行为。参与者被要求闭上眼睛，从左到右或从上到下重复移动眼睛，并通过按键来指示该行为。结果发现，DeepMReye解码的注视模式与参与者的自我报告紧密匹配(图3b)，这表明，当眼睛闭上时，确实有可能进行眼球追踪。

图3.当眼睛闭上时，扫描参数和眼球追踪的影响。

睁眼和闭眼分类。当眼睛闭上时，眼皮向下压住眼球，眼球的形状略有改变。这时应该会影响从眼睛获得的MRI信号，因此研究者测试了该模型是否也能解码眼睛睁开或闭上的这种情况。结果发现，确实可以从每个体素中恢复高可靠性的闭眼时间比例，DeepMReye能够准确地预测眼睛是睁开还是闭上的不同比例的TR，表明睁眼和闭眼分类确实是可行的。

观看行为解释整个大脑网络的活动。DeepMReye可以用于许多实验设置中的眼球追踪。但存在一个关键的问题是，其解码输出是否可以用来分析大脑活动呢？为了测试这一点，研究者为视觉搜索数据集5执行了全脑单变量一般线性模型(GLM)。结果正如预期的那样，观看行为解释了大部分区域网络中的大脑活动(图4)，包括早期视觉皮层、额顶叶区域、后顶叶皮层以及颞叶区域。然而，观看行为的差异也解释了与动眼肌功能无关的大脑区域的活动，如腹内侧前额叶皮层、前扣带皮层和后扣带皮层、内侧顶叶。将DeepMReye获得的结果与基于摄像头的眼球追踪所获得的结果进行比较时发现，两者之间的匹配度非常高(图4)。这些分析表明，眼球运动可以解释大脑中大量的MR信号变化，即使在考虑到图像分辨率时也是如此，这与头部运动类似，但独立于头部运动。

图4.解码的观看行为解释了整个大脑网络的活动。

讨  论

DeepMReye是一个基于CNN的无摄像头眼球追踪框架，它可以从眼球的MR信号中解码注视位置。它允许在不需要MR兼容摄像机的情况下，以较好的分辨率精确和连续地监测观看行为。研究者证明了该方法对体素大小和重复时间以及各种观看行为都有效，包括注视、平滑追踪、自由浏览，即使是在闭眼情况下。小的训练集也可以产生良好的训练模型和具有高解码性能，即使训练时没有基于摄像头的追踪。

这种易于实现的分析方法，解码的注视位置和眼球运动可以用于随后的功能磁共振成像分析中，这对于揭示大脑区域网络中与注视相关的活动尤为重要。通过在每个数据集中的独立参与者中测试该模型，以及通过不同的MR扫描仪和协议获得的数据集证明了DeepMReye具有在现有fMRI数据中成功解码观看行为的潜力。DeepMReye在广泛的注视行为和成像协议中具有良好的稳健性，即使在现有的数据集中也可以实现高精度的观看行为重建。这项研究强调了眼球追踪、神经成像和人工智能在研究人类大脑功能方面的重要性和巨大潜力。

注：本研究中提供的开源软件可在公众号后台回复“DeepMReye”获取。

原文：Magnetic resonance-based eye tracking using deep neural networks.

https://doi.org/10.1038/s41593-021-00947-w

扫二维码 | 获取更多资源

若二维码失效，请添加周翊工程师的微信MCKJ-zhouyi或致电17373158786，邀请您入群。

MC_Brain

茗创科技工作室

觉得有帮助，欢迎转发收藏或者点个在看哦~

听说点在看的人SCI接收率都提升了18%呢！