基于深度学习的图像反演方法在MRI图像重建上的应用

摘要

基于欠采样k空间数据的图像重建在快速磁共振成像(MRI)中发挥着重要作用。最近，基于深度学习的图像反演方法在使用更少的测量数据对磁共振图像进行重建的任务上显示出了巨大的潜力。本文结合以下两类方法来概述并解释各算法的整体结构：一类是基于迭代展开重建的方法，另一类是基于非迭代展开重建的方法。我们在比较这些方法的同时，对网络的进一步开发和性能分析展开探讨。

背景

图像反演问题期望从形式的测量值中恢复矢量化图像，其中表示前向测量算子，是加性噪声[1]。假设噪声分布已知，一种可行的方法是利用极大似然估计从测量值中恢复，如下式所示：

其中表示是真实的矢量化图像时，观测值为的可能性（隐含了对的先验知识或对可能的分布进行积分的先验知识）。当潜在的解出现不唯一情况（当矩阵是秩小于n的线性算子时）或对噪声高度敏感时，极大似然估计方法将会失效。但由于在一些情况下，人们可能事先知道的某些特征，比如图像在远离边缘和边界的位置上是平滑的。诸如此类的知识可以编码为的先验分布，那么最大后验 (MAP) 估计可以来解决带有先验知识的反演问题：

当加性噪声为高斯白噪声时，上述MAP公式可以表示为：

其中表示与的负对数先验成正比的正则项。虽然MAP估计足以用于解决大多数欠定图像重建问题，但当噪声的统计数据未知、正则项不具有封闭形式、前向测量算子未知或部分已知时，仅凭借MAP估计进行图像反演会遇到很大的困难。在过去的几年内，基于机器学习和深度学习的反演方法可以弥补上述传统方法的不足，并且重建结果展示了可行性。

MRI快速成像是图像反演的典例，原因是MRI成像过程非常缓慢，为了增加患者临床检测的舒适性并降低医疗成本，提高成像速度是十分必要的。在过去的几十年里，基于稀疏先验的MRI的压缩感知(CS)成为加速MRI成像的重要策略。但是，基于压缩感知的迭代求解需要消耗很长时间才能达到高质量的重建结果，正则化参数的选择往往是基于经验而来的。其他基于数学模型的方法往往具有较高的计算复杂度，如基于Stein的无偏估计（SURE）[1]优化MRI重建过程中的自由参数。此外，其他的大多数方法仅利用先验信息进行重建，要么利用欲重建的图像，或者涉及较少的参考图像不足以挖掘先验信息。

研究人员近年来已将深度学习应用于加速磁共振成像（MRI），并且充分展示了研究潜力 [2-13]。与压缩感知方法和其他基于约束的重建方法相比，深度学习方法可避免复杂的参数优化过程，并可在使用大量数据进行离线训练的条件下执行快速的重建。

基于深度学习的MRI重建方法可以大致分为基于迭代展开的方法 [2-7]和基于非迭代展开的方法 [8-13]。基于迭代展开的重建方法通常从重建图像初始化假设开始，然后将迭代优化算法展开到深层网络。因此，基于迭代展开方法的网络架构是基于迭代步骤进行构建的。重构模型和算法中的参数和函数是通过网络训练来学习的。而基于非迭代展开的方法直接使用标准的网络架构，学习端到端的映射。并且为了进一步优化非迭代展开网络的性能，研究者也尝试将额外的MRI领域先验知识纳入标准网络中，使得网络性能有明显的提升。

基于迭代展开的重建方法

现有的基于迭代展开的深度学习方法大多都建立在压缩感知（CS）重建算法的基础上。以加速MRI任务为例，CS重建算法从基于成像模型（具有欠采样的傅立叶变换）和先验约束（稀疏性和低秩）的反演问题开始，然后应用优化算法从观测数据中重建所需的图像。优化算法本质上是迭代的，也就是说，在基于展开的深度学习方法中，这种迭代重建算法被展开到深层网络，网络中所有的自由参数和函数都可以通过训练来学习。深度网络的训练可以通过训练数据的反向传播来进行。这样，深度网络的拓扑结构就由算法的迭代决定了。因此，基于展开的深度学习重建方法可以更好地展示网络拓扑和性能之间的关系，即在一定程度上，随着迭代次数增加，重建图像的性能越来越好。

基于迭代展开的方法之间的最大的区别在于这些网络结构中来源于不同的优化算法。在本小节中，我们将回顾几种关键的基于迭代展开的深度学习方法：1.广义CS重建模型；2.去模糊模型；3.通用优化模型。

1. 广义CS重建模型

广义CS重建模型可由下面数学表达式表述：

其中表示前向成像模型，为欠采样的k空间数据， 表示欲重建的图像。正则化项可表示为：

在公式（5）中，正则化项可扩展到L项，为变换矩阵（如稀疏表示的离散小波变换），是非线性算子（如正则器），表示正则化参数。

ADMM-CSNet结合CS算法和乘法器交替方向算法来学习MRI重建的正则化参数 [2]。在这项工作中，作者提出了两种网络模型，第一种模型为basic-ADMM-CSnet，另一模型为generic-ADMM-CSnet[2]。ADMM-CSNet结构示意图如图1所示，两种网络模型的相同点的是：（1）输入输出分别是欠采样k 空间频域中的数据和全采样k空间对应的图像；（2）迭代步骤中均包含以下三个模块：分别是乘子更新层（M）、去噪模块（Z）和重建层（X）；（3）这两种模型的去噪模块（Z）均涉及到S(⋅)，一个非线性shrinkage function，该函数可以选用光滑的分段函数进行近似。不同点是：相比于basic-ADMM-CSnet，generic-ADMM-CSnet可以进一步学习正则化函数中的图像变换和非线性算子。

图1 ADMM-CSNet结构示意图[2]

Hammernik等人提出的变分网络(variational-net)能够快速、高效地加速多通道磁共振图像重建[3]。该网络将广义CS重建的变分模型与深度网络相结合，基于梯度下降方法进行迭代以学习正则化参数、图像变换和非线性算子。具体实现过程如图2所示，该变分网络的输入是由欠采样k空间数据、线圈灵敏度图经过前向算子计算得到的零填充观测图像，输出为全采样图像。在variational-net中，基于梯度下降方法，公式（6）可对公式（1）的解进行迭代更新：

在公式（6）中，表示非线性势函数的一阶导数对应的激活函数，变换可以看作是具有卷积核的卷积层，是梯度下降的步长。由于MR数据比较复杂，卷积操作包括实部和虚部两部分。公式（6）中的转置操作可以看作为与的卷积核进行卷积计算后旋转了180°。在variational-net中，、和参数都可以经过网络学习更新。

图2 variational-net结构示意图 [3]

公式（7）、（8）表示用迭代收缩阈值算法（ISTA）求解公式（4）中的优化问题：        

在公式（7）中，表示步长参数。但传统ISTA具有明显的缺点，当变换算子是非正交甚至非线性时，将很难获得。据此，Zhang等人提出的迭代收缩阈值网络（ISTA-Net）来解决传统ISTA的上述缺点[4]。该网络旨在解决含有如公式（2）所示的L1正则化项的重建问题。ISTA-Net将ISTA算法并展开至深度网络，从而学习 ISTA原始算法中涉及的图像变换及参数。用图像算子通用变换来替代，可以用下式表示：

其中是与和相关的混合参数。最终重建图像可由下式表示：

表示的左逆，表示软阈值。

ISTA-Net的架构如图3所示，ISTA-Net的迭代步骤包含和这两个模块。模块中，可随迭代过程进行更新和学习。在模块中，被建模为两个卷积层，并由一个 ReLU 算子分隔。是与具有相似的结构。用与ADMM和variational-net，ISTA-Net采用了受ISTA算法限制的L1正则化器，并且ISTA-Net可以解决一般图像的CS重建问题，而不仅仅限于磁共振图像重建。

图3 ISTA-Net的结构示意图[4]

2. 去模糊模型

去模糊模型将与被“去噪”图像进行近似以去除混叠伪影和噪声[6]。那么正则化项可由下式表示：

使用交替最小化(AM)算法，重建图像可以表示为:

表示辅助变量。基于深度学习的去模糊模型可以使用CNN单元来实现去噪。

对MRI进行图像重建方法中, k空间域中的数据一致性（data consistency）是比较关键的约束之一，所以将这种跨域先验信息在融入到标准网络中是有效的。对于单通道MRI采集，基于数据一致性（DC），公式（12）的解如下式所示：

受到k空间域中的数据一致性（data consistency）约束的启发，Schlemper等人提出了深度级联CNN算法(DCCNN)[5]，用于动态磁共振图像重建，其迭代步骤在公式(12) 和公式(13)之间交替展开。

3. 通用优化模型

通用优化模型中，公式(15)是一个更通用的模型：

其中，随着辅助对偶变量的引入，(15)中的优化问题可以通过对偶混合梯度 (PDHG) 算法求解为：

其中、和是网络参数，pro表示近端梯度算子。

Adler等人提出了可学习对偶混合梯度算法（PD-Net），将PDHG算法展开至网络深层，并应用于MRI重建[7]。PD-Net中的数据拟合项不是公式(1)中估计误差的l2范数，而是在训练数据中进行学习获得。此外，正则化项同样可以通过学习得到。

基于非迭代展开的重建方法

大多数基于非迭代展开的深度学习方法都使用标准神经网络来学习输入（欠采样的k空间数据或零填充图像）和输出（重建图像）之间的映射。在本小节中，我们除了介绍MRI重建所采用标准网络外，也介绍了融合MRI领域知识的网络[8]-[13]。

1. 标准网络

Wang等人首先提出使用标准的CNN网络来学习来自零填充图像和清晰图像之间的映射。网络的输入是零填充图像，即来自欠采样k空间数据的傅里叶逆变换；网络的输出是全采样图像。该映射可以通过以下标准网络学习，例如MLP、U-Net和 ResNet。由于GAN在图像生成方面的出色表现，GAN[8]、[9]可以校正来自欠采样图像中的混叠伪影。基于k空间插值重建的鲁棒神经网络(RAKI)[10]使用三层CNN来学习从输入到输出的映射，最后获得重建图像。流形近似自动变换网路(AUTOMAP)[11]直接将欠采样k空间数据作为网络输入，并提供重构图像作为网络输出，为图像重构提供端到端的网络结构。

2. 融入MRI领域知识的深度网络

虽然直接采用标准神经网络进行MRI重建是成功的尝试，但融入额外MRI的领域知识可以进一步提高标准网络的性能[12],[13]。在[12]中，Wang等人提出了两种基于CS的深度网络。一种是使用从网络重建得到的图像作为（1）式中CS重建方法的初始化图像。另一种是使用网络生成的图像作参考图像进行正则化，该过程可以由下述公式描述：

其中是正则化参数。这种方法与基于展开的方法的不同之处在于：式（17）是由具有预定义参数和正则化项的传统CS算法求解，而在基于迭代展开的方法中，式（17）由深度网络解决，通过训练来学习网络参数和正则化项。如传统的CS图像重建方法中，k空间中的DC操作是较为关键的约束之一。这种跨域先验信息在融入标准网络时也具备有效性。由于大多数学习方法使用图像作为网络的输入和输出，因此需要将图像转换到k空间以强制执行DC操作。Jun等人提出的KIKI-net[13]在图像域(I-CNN)和k空间(K-CNN)之间迭代交替，并且DC操作以交错方式执行（图4）。每个K-CNN都经过训练使损失函数达到最小值，损失函数被定义为重建数据和完全采样的k空间数据之间的差异，从而充分利用k空间观测数据。KIKI-net解决了以下问题：当CNN的输入仅是图像域中的混叠图像时，网络训练造成某些图像结构丢失的问题。

图4 KIKI-net的结构示意图[4]

思考与讨论

在过去的几十年中，压缩感知（CS）已成为基于稀疏先验的最广泛的MRI重建方法。然而，压缩感知的迭代求解需要很长时间才能获得高质量的重建结果，并且正则化参数的选择通常是经验性的；使用先验知识的传统方法，可能不适用于医学图像和复杂图像，原因是在这些领域小的异常细节比整体特征重要得多；其他基于约束重建的数学方法，如优化MRI重建中的自由参数的Stein的无偏风险估计（SURE），通常伴有计算复杂度很高的问题。

深度学习可以应用于整个端到端的医学检测工作流程，从数据采集，图像重建和放射组学到最终诊断报告。在这些流程中，深度学习有很大的潜力提高诊断、预测的准确性。

基于迭代展开的深度学习方法源于具有收敛性或渐近收敛保证的数值算法，因此可以提供更多关于网络拓扑和性能之间关系的信息。并且基于展开的重建方法已经从仅学习正则化参数逐渐演变为在学习CS重建公式中的可学习算子和函数。

基于非迭代展开的深度学习方法起初依赖标准网络学习欠采样的k空间数据或零填充图像与重建图像之间的特征映射，标准网络犹如黑匣子，具有可解释性低的缺点。目前，基于非迭代展开的方法演变成包含更多MRI领域知识的融合网络，大大提高了网络的可解释性，同时也提高了MRI图像的重建性能。

通过分析比较迭代展开的深度学习方法和非迭代展开的深度学习方法，我们认为未来的工作应探索能否放宽更多约束，或思考如何将更多领域知识纳入网络，以提高MRI重建的性能。此外，MRI重建的网络大多采用完全监督的方式进行训练，在未来可以进一步研究如何利用自监督以及无监督的方法进行模型训练。

参考文献

[1] Austin Derrow-Pinion, Jennifer She, David Wong, et al. ETA Predictionwith Graph Neural Networks in Google Maps. 2021

[1] G. Ongie, A. Jalal, C. A. Metzler, R.G. Baraniuk, A. G. Dimakis and R. Willett, "Deep Learning Techniques for inverse Problems in Imaging," in IEEE Journal on Selected Areas in Information Theory, vol. 1, no. 1, pp. 39-56, May 2020, doi:10.1109/JSAIT.2020.2991563.

[2] S. Ramani, Z. H. Liu, J. Rosen, J. F. Nielsen, and J. A.Fessler, “Regularization parameter selection for nonlinear iterative image restoration and MRI reconstruction using GCV and SURE-based methods,” IEEE Trans. Image. Process., vol.21, pp. 3659–3672, Aug. 2012.

[3] K. Hammernik, T. Klatzer, E.Kobler, M. P. Recht, D. K. Sodickson, T. Pock, and F. Knoll, “Learning a variational network for reconstruction of accelerated MRI data,” Magn. Reson.Med., vol. 79, no. 6, pp. 3055–3071, June 2018. DOI: 10.1002/mrm.26977.

[4] J. Zhang and B. Ghanem, “ISTA-Net: Interpretable optimization-inspired deep network for image compressive sensing,” in Proc. IEEE Conf. Computer Vision and Pattern Recognition (CVPR),2018, pp. 1828–1837.

[5] J. Schlemper, J. Caballero, J. V. Hajnal, A. N. Price, and D.Rueckert, “A deep cascade of convolutional neural networks for dynamic MR image reconstruction,” IEEETrans. Med. Imag., vol. 37, no. 2, pp. 491–503, Feb.2018. DOI: 10.1109/TMI.2017.2760978.

[6] H. K. Aggarwal, M. P. Mani, and M. Jacob, “MoDL: Model-based deep learning architecture for inverse problems,” IEEE Trans. Med. Imag., vol. 38, no. 2, pp. 394–405, Feb. 2019. DOI: 10.1109/TMI.2018.2865356.

[7] J. Adler and O. Oktem, “Learnedprimal-dual reconstruction,” IEEE Trans. Med. Imag., vol. 37, no. 6, pp. 1322–1332, June 2018. DOI: 10.1109/TMI.2018.2799231.

[8] T. M. Quan, T. Nguyen-Duc, and W. K. Jeong, “Compressed sensing MRI reconstruction using a generative adversarial network with a cyclic loss,” IEEE Trans. Med. Imag., vol. 37, no. 6, pp. 1488–1497, June 2018. DOI: 10.1109/TMI.2018.2820120.

[9] M. Mardani, E. Gong, J. Y. Cheng, S. S. Vasanawala, G.Zaharchuk, L. Xing, and J. M. Pauly, “Deep generative adversarial neural networks for compressive sensing MRI,” IEEE Trans. Med. Imag., vol. 38, no. 1, pp. 167–179, Jan. 2019. doi:10.1109/TMI.2018.2858752.

[10] M. Akcakaya, S. Moeller, S. Weingartner, and K. Ugurbil, “Scan-specific robust artificial-neural-networks for k-space interpolation(RAKI) reconstruction: Database-free deep learning for fast imaging,” Magn. Reson. Med., vol. 81, pp. 439–453, Jan. 2019. DOI: 10.1002/mrm.27420.

[11] B. Zhu, J. Z. Liu, S. F. Cauley, B. R. Rosen, and M. S. Rosen, “Image reconstruction by domain-transform manifold learning,” Nature, vol. 555, no. 7697, pp. 487–492,2018. DOI: 10.1038/nature25988.

[12] S. Wang, Z. Su, L. Ying, X. Peng, S. Zhu, F. Liang, D. Feng, and D. Liang, “Accelerating magnetic resonance imaging via deep learning,” in IEEE Int. Symp. BiomedicalImaging (ISBI), 2016, pp. 514–517.

[13] T. Eo, Y. Jun, T. Kim, J. Jang, H. J. Lee, and D. Hwang, “KIKI-net: Cross-domain convolutional neural networks for reconstructing undersampled magnetic resonance images,” Magn. Reson.Med., vol. 80, no. 5, pp. 2188–2201, 2018. doi:10.1002/mrm.27201.

 往期推荐

关于壁仞科技研究院

壁仞科技研究院作为壁仞科技的前沿研究部门，旨在研究新型智能计算系统的关键技术，重点关注新型架构，先进编译技术和设计方法学，并将逐渐拓展研究方向，探索未来智能系统的各种可能。壁仞科技研究院秉持开放的原则，将积极投入各类产学研合作并参与开源社区的建设，为相关领域的技术进步做出自己的贡献。

扫码关注我们