多任务深度卷积神经网络模型在海马体分割和阿尔兹海默症分类中的应用
A multi-model deep convolutional neural network for automatic hippocampus segmentation and classification in Alzheimer's disease Neuroimage 2019.12
摘要
阿尔茨海默病（AD）是一种渐进发展和不可逆转的神经退行性疾病。作为阿尔兹海默症的重要生物标志物，海马体一直为人们所关注。在以往研究中，人们常常通过海马体的体积和形状测量来判断阿尔兹海默症的发展进程。但是在海马特征提取阶段会存在分割错误，并且海马特征提取是独立于分类模型进行的，由此可能会导致模型性能不理想。来自上海交通大学的研究者们提出了一种基于卷积神经网络（CNN）的多任务深度学习框架，在此使用结构磁共振影像（MRI）数据并结合海马分割来实现AD的全自动分类。首先，训练一个多任务的深度学习模型可以同时应用于海马体分割和 AD分类的任务；然后，作者构建一个密集连接的3D卷积网络并根据海马分割结果来学习3D patches的特征，这些特征被应用到AD分类任务中。最终，作者结合多任务CNN模型和密集卷积网络模型来选取特征并应用到疾病状态分类任务中。研究数据源自ADNI数据库，分别采集了97名AD病人、233名轻度认知障碍（MCI）病人和119名正常人（NC）的结构MRI数据。模型的结果表明，在海马分割任务中结果的一致性为87%，在AD和NC分类任务中，分类准确率为88.9%，ROC曲线下面积（AUC）为92.5%，在MCI和NC分类任务中，分类准确率为76.2%，AUC为77.5%。最终实验结果表明，作者提出的多任务学习方法性能优于单模型方法和其他相关研究的方法。
关键词：阿尔茨海默病;海马;磁共振成像;卷积神经网络;图像分类。
1.前言
AD是一种渐进发展和不可逆转的脑退行性疾病，迄今为止，没有有效的药物可以用于治疗AD。因此，在AD早期或者早期阶段对其进行干预和预防显得尤为重要，例如在MCI阶段对其进行干预可以有效延缓AD的发病进程。目前，人们通常用结构MRI扫描来检测和测量AD病人的大脑萎缩和发病进程。
近年来，机器学习模型被广泛应用于分析MRI数据，以此来识别生物标志物和揭示疾病病因。常见的方法有将大脑划分成多个感兴趣区区域（ROI），并提取ROI区域的体积和形状信息，以此构建用于AD诊断的支持向量机（SVM）分类模型。在传统机器学习基础上，以CNN为代表的深度学习网络被广泛地应用于图像分类和计算机视觉领域。同时，使用3D CNN深度网络模型对MRI数据进行分类和预测，在医疗影像领域获得了巨大的发展。
在所有ROI区域中，海马体是AD发病进程中最为敏感，受影响最早的区域之一，因此，针对于海马的自动分割任务和使用海马形态信息预测AD发展已经成为当前重要的研究热点内容。现有的海马分析方法还存在如下问题，首先，针对海马体积和形状的进一步分析依赖于海马体的准确分割。但由于其不规则的形状和MRI 影像中的模糊边界，很难实现完全准确的海马分割。其次，手工提取海马体积和形状可能不利于后续分析的进行，并且可能会影响最终模型的分类性能。第三，仅使用海马区域可能不足以从NC中区分出MCI的完整特征。与海马相邻的其他地区，如杏仁核等，也是AD早期阶段的重要生物标志物。最后，MRI 扫描的视海马区域的视觉和纹理特征对AD诊断也有很大的帮助。
为了解决使用海马区域辅助诊断AD中的上述问题，作者提出了一种新的学习框架，该模型将多个任务深度CNN模型组合，使用 MRI 数据进行海马进行分割和AD疾病分类。在作者的框架中，首先构建了一个多任务深度CNN模型，同时学习海马分割和疾病分类。然后使用3D 密集连接卷积网络（3D DenseNet），根据海马分割结果提取的3D patches从而学习丰富的特征。最后，将多任务深度CNN模型和DenseNet模型所学到的特征应用到全连接层，生成疾病发展状态的最终分类模型。实验表明，多任务分类模型性能将明显优于单模型的方法。作者使用T1加权ADNI 数据库的结构 MRI 数据，包括 97名AD、233名MCI 和 119名NC被试，分别对海马分割和疾病分类进行了评估。此外，作者使用在 ADNI 官方提供的135 名被试的手动海马分割结果对多任务分类框架进行了进一步测试。
2.材料和方法
如图 1 所示，作者提出的深度学习框架由两个深度学习模型组成。一个模型是一种多任务深度CNN，可同时用于学习海马分割和疾病分类，生成海马区域的mask并学习特征用于疾病分类。然而，仅使用多任务模型所学的特征不足以实现准确的疾病分类，将分割的mask覆盖到3D patches的海马区域，输入到 3D DenseNet 模型中，从而获取到更多疾病分类的特征。最后，在此基础上增加了一个缓冲连接层和一个全连接层，以此实现特征提取和最终疾病分类。在这项研究中，同时对两个任务进行处理，框架的输入是一个覆盖海马区域的3D patches，输出是海马区域mask以及AD预测结果。
图1 海马分割与疾病分类的深度学习框架流程图
图1所示的网络架构中，Conv 表示卷积;TransConv表示卷积转置;BP 表示反向传播; PReLU 表示激活函数使用线性单元激活。模型输入的3D patch体素单位是 1 ×1×1mm，模型输出是海马区域mask和疾病分类结果。
2.1 数据来源和预处理
数据来自ADNI数据库，受试者是从美国和加拿大的50多个地点招募的。作者随机挑选了449名受试者，包括97名AD、233名MCI和119名NC被试，使用1.5T 扫描仪采集的T1加权的MRI数据进行图像预处理和分析。图像预处理中，所有MR图像均被重采样为 256×256×256 体素，分辨率大小为 1×1×1 mm3。在用非参非均匀强度归一化(N3)算法对强度的不均匀性后，对其进行颅骨剥离和小脑切除。作者使用 FMRIB 软件实验室软件（FSL），选取12个自由度以及默认参数，将被试图像与模板图像进行仿射配准，以对齐所有被试的MR图像。人口统计和临床信息详见表1
基于FSL和SPM的图像组织分割，线性和非线性配准、海马体提取等都是结构MRI分析常用的预处理方法和手段，也是脑科学科研的基础所在。以上分析方法和原理，赛博尔公司的脑结构MRI数据处理培训班中都有详细讲解，如果对此感兴趣可报名参与或者咨询。
表1 所研究的ADNI受试者的人口和临床信息
MMSE: 精神状态评分测量; CDR：临床痴呆症评级
由于直接由医师手工标注海马区域比较耗时，在此先用FSL对海马进行大致分割，再由专业医师对分割结果进行检查和校验，在此基础上进行精细化的手动分割。图2表示海马分割的校正前后图像以及海马图像mask的几个示例，表2表示不同组别海马体积进行校正前后的定量化数值，图3 表示手工校正后不同组别左右海马体积的散点图分布
图2 海马图像分割结果示例
表2 校正前后左右海马体积范围变化（均值±标准差）
图3 进行手工校正后不同组别左右海马体积的散点图
海马是位于人脑内侧颞叶中的一个小区域，实际海马中的体素数量比背景的体素数量少得多，由此将导致严重的数据类别不平衡问题。在图像预处理和仿射变换后，裁剪每个MR图像的 3D patch ，因此每个海马都有一个边界立方体。如果使用较大边界的立方体不仅增加了计算成本，也可能导致数据不平衡问题。但是，如果使用较小的边界立方体可能会失去海马分割的上下界信息。经过反复权衡，作者根据经验将边界立方体的最佳大小设置为 64x48x64 体素。基于该大小边界下的3D patch，构建了海马分割和疾病分类的多任务深度学习模型。
2.2 多任务深度CNN模型实现海马分割和疾病分类
在此，一个深度CNN模型已经被构建出来，在卷积阶段模型通过约束的残差函数来实现快速收敛。作者将两个残差块定义为“ResNet block 1”和“ResNet block 2”,残差网络结构包括3D卷积、批量标准化(BN)、PReLU函数和dropout层，如图4所示。在“ResNet block 1”中，残差函数学习一个短程连接函数，将输入添加到第二个卷积层的输出中。“ResNet block 2”由两个卷积层组成，同时将每个block的输入添加到第二和第三个卷积层的输出中，以此学习卷积层的残差函数。对MRI数据进行批处理和监督训练。较小的卷积核所需的训练参数较少，可以进行快速卷积运算。较大的卷积核通过学习更加复杂的网络参数从而具有更强的表达能力，较大卷积核可以通过叠加更多较小卷积核的卷积层来实现。在此，将所有的卷积核大小都设置为3×3×3，将定义好的卷积核与输入图像进行卷积操作，然后通过非线性PReLU函数进行激活，并为每个卷积操作生成一个特征图谱。
图4. ResNetBlock1和ResNet Block2的网络结构框架
如图1所示，这个多任务深度CNN模型由两部分组成:左边部分显示的是提取feature map的过程，右边部分显示的是将feature map进一步提取3D patch 的过程。左边部分包括两个部分ResNet Block1和两个块的ResNet Block2，然后对每个块向下采样；右边逆编码过程包括两个块的ResNet Block1和一个块的ResNet Block 2，然后对每个块向上采样。左侧压缩编码采用下采样的方法，减小了feature map的大小，同时增加了后续层feature map的可拓展范围。压缩编码过程通过与大小为2×2×2，步长为2的核进行卷积实现。在解压部分，对低分辨率的特征图谱进行空间扩展，提取特征并收集必要的信息，生成三维体积分割mask。对2×2×2,步长为 2的核进行反卷积和上采样操作，使用1×1×1，步长为1的核应用到卷积层，最终生成与输入3D patch大小相同的输出mask，再通过融合层softmax函数将输出转换为海马区域的概率分割。最后，将阈值设置为0.5，将概率输出再次转换为二进制掩码（海马区域mask）。
如图1所示，深度网络输出海马mask和疾病状态预测结果。对于m个被试进行海马分割，优化目标是最小化评估模型从背景中分割海马区域能力的损失函数。在多任务深度CNN模型的训练过程中，在早期阶段，分割任务比分类任务更加重要；而在后期阶段，当分割目标函数值收敛时，分类任务才起作用。作者采用Adam方法对多任务网络模型进行整合优化，并采用反向传播算法计算网络梯度。
2.3 深度3D密集网络模型
传统上，AD诊断依赖于海马mask计算的形状和体积特征。与此不同的是，作者提出了构建一个基于海马区域的深度3D DenseNet模型来学习AD诊断的鉴别特征。虽然多任务深度CNN模型学习到的特征可以捕获一些重要的疾病分类信息，但对于疾病的准确诊断仍然是不够的。因此，在此提取一个以分割mask的质心为中心的固定大小的3D patch来构建新的的CNN模型。为了增强CNN的特征表现能力，CNN对特征的学习变得越来越深入。但是，当输入经过多个层到达网络末端时，可能会造成信息丢失。DenseNet提出以前馈方式将每一层与下一层连接起来，从而增加了低层与高层之间的直接连接。与传统的CNN相比，DenseNets有以下几个优势。首先，可以缓解梯度消失的问题，因为从低层到高层有直接的联系。其次，对特征进行加强，实现底层特征的复用。第三，他们可以减少训练参数。该模型由卷积层、4个DenseNet层、3个过渡层、一个全局平均池化层和一个softmax层组成。首先，使用步长为的2核将一个卷积层添加到输入层中，然后是密集连接的block，它们之间使用稠密连接，任意一层可以通过稠密连接接收前面所有层的特征图谱，密集连接的块包含3个密集连接层，每层包含1个1×1×1卷积层,1个3×3×3卷积层，BN层2个，激活层2个。每个密集连接层通过短程连接接收所有以前的密集连接层的特征图谱。一个过渡层由5个连续操作组成:BN、PReLU、一个 1×1×1卷积层，在2个密集连接块之间与3×3×3，步长为2的核进行卷积。在最后一个密集连接块之后，追加一个平均池化层和一个softmax分类器来减少特征维数并对疾病状态进行分类。通过反向传播来更新DenseNet的权值。所有层的DenseNet通过短程连接直接作用于损失函数。
对于训练DenseNet网络，整个网络的初始权重是统一的，采取Adam方法进行参数最优化，学习率设置为10-4，迭代次数设置为120，最终网络达到稳定状态。通道大小设置为64, DenseNet的神经元激活使用PReLU函数，同时使用Dropout层来缓解过拟合问题。左右海马的DenseNet模型具有相同的网络结构和参数设置，分类任务中对左右海马分别进行了训练。
2.4 最终的多任务集成分类模型
多任务深度CNN模型同时获取海马区分割和疾病分类多层次的特征，而深度3D DenseNet模型从海马区图像patch中提取特征进行疾病分类。为了整合这些深度模型，在应用疾病分类的深度模型中学习到的特征图谱的基础上，额外增加一个了全连接层。对DenseNet模型和多任务CNN模型分别进行单独训练，通过一个全连接层和一个softmax层对输入特征进行微调，实现最终的分类模型。
3.结果
3.1数据集和流程实现
作者提出的深度学习框架在449名ADNI被试 (97名AD、233名MCI和119名NC被试)的结构MRI数据上进行了测试。结果评价包括海马区域分割和疾病分类两项任务，对分类任务进行测试，二分类任务分别用来区分AD与NC、MCI与NC。将整个MRI数据集随机分为5组，并使用5折交叉验证来训练和测试提出的方法，每次使用数据集其中的1折用于测试，其他4折用于训练。为了调整深度学习模型中迭代次数的参数，随机选取10%的训练数据作为独立测试集，其余的训练数据用于训练模型。参数设定中逐步增加迭代次数，分别选取5折作为测试集得到最优参数分别为110、94、96、125、124，此时结果相对稳健。独立测试集不参与模型训练和参数调整，而是用于最终的性能评估。
为了评估海马区分割的效果，文章计算了四个性能指标，一致性相似系数(DSC)、敏感度(SEN_S)、正确预测概率(PPV)和体积误差（VE）。为了评估分类模型的效果，文章计算了四个性能指标，包括分类准确度(ACC)、灵敏度(SEN_C)、特异性(SPE)和受工作特性(ROC)曲线下面积(AUC)。ACC是被正确分类的被试在整个人群中的比例，SEN_C是AD以及MCI患者分类准确率，SPE是NC分类准确率，ROC曲线是将预测结果在不同阈值设置下的真阳性率(TPR)与假阳性率(FPR)绘制而成。多任务深度CNN框架的损失函数的权衡参数α在训练过程中从1到0进行取值。设置α为1或0时进行单任务学习，设置α为0.5进行多任务学习。表5和6所示是分割和分类在不同的α值下进行单一任务和多任务学习的结果。从结果中可以看出,执行单任务时，海马分割结果准确率优于多任务。在分割和分类任务下，自适应α值的多任务设置，表现出最佳的分割和分类性能。
表3 设置不同的α单一任务和多任务学习模型的分割结果
表4 设置不同的α单一任务和多任务学习模型的分类结果
3.2 海马分区结果
作者较了海马分割的DSC、PPV、SEN_S和VE四个性能指标，并比较了不同参数设置下的结果。同时与其他一些竞争方法进行了实证比较，图5 (a)、(b)、(c)和(d)分别显示了5个交叉验证试验中，DSC、PPV、SEN_S和VE的分割结果的箱线图。
多任务深度CNN框架的输入是裁剪得到的3D patch，由包围每个海马体立方体组成。作者第一个分割实验是测试边界立方体的不同尺寸对分割结果的影响。作者逐步将立方体体大小从48×40×48、64×48×64增加到88×80×88来检测海马区域分割。表5的结果表明，通过增加立方体的尺寸，可以提高分割性能（48×40×48至64×48×64）。通过进一步增大立方体尺寸至88×80×88，分割性能降低。一个小的边界立方体可能具有有限的上下文信息，但是一个大的边界立方体可能包含不必要的背景体素，从而增加了过度拟合的风险和计算负担。根据这一测试结果，本文将边界立方体设置为64×48×64。
表5 多任务深度CNN模型中不同边界尺寸分割结果的比较
图6分别从试验数据的AD组、MCI组和NC组中选取了3个样本，对比不同方法的分割结果，原始图像、FSL的分割结果、Thyreau的方法、Cao的方法、作者的方法在图6中从左到右的列中进行了展示。最终，作者的方法分割得到的海马区域更平滑、更准确。此外，表6显示了在相同的训练和测试数据集上，DSC、PPV、SEN_S和VE的海马分割结果的比较。与其他方法相比，作者的方法取得了最好的性能；作者的方法取得了最好的PPV，这说明其可以有效地检测海马区域从背景。最终将这个精确分割的海马区域整合到DenseNet中，可以提供有意义的解剖学信息来改进疾病分类。
图6 实验数据中三个样本被试不同方法分割的海马区域
表6 不同文献方法分割结果的比较
作者使用MNC的MR图像和他们网站上发布的海马标签作为比较标准，首先，作者直接在这个新数据集上测试训练好的分割模型。其次，通过10折的交叉验证在新的数据集上对细分的模型进行了重新训练和测试。表7中结果的表明，当模型直接应用在新数据集上测试时，由于标记海马体的策略不同，因此性能较差。但是重新进行训练的模型，在不同的数据集上可以达到良好的分割效果。
表7 在不同的数据集上训练和测试深度模型的分割结果
3.3 疾病分类结果
作者提出的方法是将多任务深度CNN和DenseNet模型结合起来进行疾病分类。第一个分类实验是测试DenseNet与其他深度网络如LeNet和VGGNet相比的分类性能。LeNet网络由2个卷积层和2个全连接层组成，VGGNet由13个卷积层和3个全连接层组成。与LeNet相比，VGGNet具有更深入的体系结构和更多的层。这些网络是用已经发布的代码实现，并且用3D卷积代替2D卷积。表8比较了不同深度网络下AD与NC、MCI与NC的分类结果，可以看到，作者的DenseNet性能优于LeNet和VGGNet。第二个分类实验测试了不同patch尺寸的DenseNets模型的分类结果差异，最终在62×48×58尺寸下获得最佳性能。
表8 不同深度网络模型在AD与NC、MCI与NC分类上的比较
表9 不同patch尺寸的DenseNets模型的分类结果
第三个实验是分别测试多任务深度CNN模型、DenseNet模型和组合模型的分类性能。表10表明了AD与NC、MCI与NC的三种模型的分类结果。图7 中(a)和(b)分别为AD与NC、MCI与NC的ROC曲线。DenseNet模型在疾病分类方面明显优于多任务3D CNN模型。组合模型优于多任务深度CNN和DenseNet模型，说明单个模型的特征可以包含疾病分类的互补信息。
图7 (a) AD与NC、(b) MCI与NC的ROC曲线比较
表11 与已发表的AD与NC、MCI与NC的分类结果进行比较
4.讨论
作者提出的方法可以结合特征提取和分类模型，但其在医学解释和医学诊断方面存在一定的局限性。对于与疾病相关的特征表示，作者采用了可视化技术，可视化一个基于输入图像的计算类分数梯度的方法实现。通过一个生成特定于图像的类显著性映射来突出给定图像的识别区域，在此生成了所有测试的海马区域的显著性图谱，然后计算其平均值，可视化如图10所示，高亮程度表示其在学习疾病预测中的重要性，图中所示高亮区域主要集中在如海马、杏仁核、海马旁回等。
图10 AD和MCI患者的海马区域的显著性图谱
在本研究中，作者提出了一种新的基于多模型深度CNN的分类框架来同时学习海马区分割和疾病分类。首先，构建多任务深度CNN模型，同时学习海马区分割和疾病分类的特征；于海马体的分割区域构建额外的3D DenseNet模型，以学习更丰富的图像特征应用到疾病分类。最后，结合多任务CNN和DenseNet模型的学习特征对疾病进行分类预测。该框架不仅可以输出疾病预测结果，还可以提供海马区域的分割结果。同时对于MR图像处理不再需要组织分割和非线性配准，基于ADNI数据集的实验结果表明，该方法在AD和MCI诊断中取得了良好的应用效果。
编辑、审阅：Qi Zhiwei,Wang Yu
原文链接：
https://doi.org/10.1016/j.neuroimage.2019.116459
培训信息
结构磁共振（sMRI）数据处理
弥散磁共振（dMRI）数据处理
静息态功能磁共振（rs-fMRI）数据处理
任务态功能磁共振（task-fMRI）数据处理
小动物磁共振数据处理
脑电、脑磁图（EEG/MEG）数据处理
近红外成像（fNIRS）数据处理
动脉自旋标记（ASL）数据处理
正电子断层成像（PET）数据处理
详情联系：13381109780（杨老师）