摘要
本文介绍了用于成像的反演技术，简单描述了反演成像的一般方法。本文重点总结了深度学习技术在反演成像中的最新应用进展，并讨论了深度反演成像存在的问题及可能的研究方向。
日常生活中，我们可以根据一定条件得到期望的结果。比如厨师可以用食材和调料通过一定的程序加工出美味的菜肴。另一方面，美食家也可以通过品尝一份菜肴估计出食材和加工方法。产生菜肴是一个前向过程，而由菜肴推出食材则是一个反演过程。在科研与工程实践中也存在大量的前向和反演过程。比如图形渲染是一个前向过程，而从影像中获得光照信息则是一个反演过程。反演问题可以简单理解为由果推因的问题：给定观测结果，推导出引起结果的原因。计算成像是反演问题(inverse problem)中的重要课题。医学和工业领域广泛应用的CT即是一种反演成像技术。在CT成像时，计算机通过观测到的多角度X射线投影数据计算出探测目标的内部解剖结构，而无需破坏探测目标。类似的成像技术还有医疗上的MRI、脑电波(EEG)成像、电磁成像，石油物探的地震波成像，乃至天体观测的射电成像等等。广义上，反演成像也用在了一些图像处理的基础应用上，如图像去噪、超分辨率、修复等。在这些应用中，图像往往通过计算获得。因此反演成像是一种计算成像技术。
反演成像：从观测数据(EEG)到潜在影像(Brain)
y=A(x)+n
其中，y是观测数据（如CT投影），x是未知待恢复图像，A是成像的过程。n是成像过程中的加性噪声，在某些成像中如射电成像等，噪声也可能是乘性的。对于CT和MRI等医学常用影像手段，其成像可以简化为线性过程，即：y=Ax+n，A为矩阵，其参数由成像条件决定，比如扫描角度、扫描排数等等。对于去噪问题，A可表达为单位矩阵。理想条件下，线性成像过程的求解，即重建图像可通过求逆来确定。然而与一般的反演问题类似，反演成像存在所谓不适定问题。由于成像条件的限制，目标解可能不存在、不稳定，或存在非唯一解。即使是线性成像过程，其求解也不能由简单的矩阵求逆来确定。比如，在CT成像中，为减少辐射对人体的伤害，辐射剂量会尽可能降低。这会降低采样并增大噪声的影响，使得一组观测值可能对应多个潜在的图像。因此CT图像重建就是一个欠定问题。为了从不适定的反演问题中得到满足条件的可行解(feasible solution)，Tikonov等学者发展了经典的正则化方法[1]。通过引入问题的先验或约束，我们可以将原问题转换为适定的最优化问题。而最优化问题的解即是原问题的可行解。这一思路在当前的反演成像中仍然得到广泛应用。如前述，理想情况下，计算成像可通过对逆矩阵实现。然而，实际的成像过程中，噪声的存在不可避免；有效的观测数据量有限。因此这种实际的反演成像是典型的欠定问题。欠定条件下的图像反演可表达为约束条件下的求解问题。以线性过程为例：Ax = y, s.t. r(x)
其中r(x)是待求图像的先验，常常表现为正则项。该问题也可表达为：
Argmin ||Ax-y|| + λ r(x)
设法获得满足上述约束问题的最优解，即可得到欠定反演的可行解图像·。用于约束的先验/正则项r(x)依具体成像应用而定。在用于去噪或医学成像的CT，MRI中，图像梯度总变分是一个得到广泛应用的约束条件。另一个常见的先验约束是基于图像稀疏表达而发展出的压缩感知约束。传统的先验约束多由人工设计，依赖于对成像或目标图像的专业理解。近年来，深度学习先验提取得到了广泛的关注。这类方法利用深度模型的特征提取能力，从已有数据中提取关于成像的知识，用于构建深度图像先验(DIP)[9]。
基于随机过程的描述
噪声条件下的成像是一个随机过程，对未知图像的重建也可以表达为最大化后验概率(MAP)，即：x* =arg max p(x|y)
由贝叶斯定理，得：
x*=arg max p(y|x)p(x)= arg min –(lnp(y|x)+lnp(x))
其中，p(y|x)是似然函数，由成像的物理模型描述，比如线性成像的y=Ax。而p(x)是待求图像的先验。如果成像噪声是加性白高斯噪声，则MAP可简化为：
arg min ½||Ax-y||22 + r(x)
与前述带约束最优化问题表达一致。
反演成像传统的求解方法大体可分为两类。当反演问题的逆存在解析表达时，可行图像解可由解析表达直接确定确定，即：x*=g(A-1y) （1）
更多情况下，反演问题不存在解析解，或者采样不足或信噪比受限导致解析结果产生伪影(artifacts)。反演成像的可行解由迭代优化的方法获得。一个经典的迭代方法是近端梯度方法（proximal gradient descent）：x(k+1)= P(x(k) – ηAT(Ax(k)-y)) (2)
P()是正则项r()的近端（proximal）算子。
基于深度学习的求解
近年来深度学习方法也用在了反演成像。与传统方法相对应，一类直接的深度学习方法可用下图描述:
其中G模块代表DNN模型，如残差网、U-net、MLP等[2,3]。与解析方法对比，训练好的神经网路的作用类似正则项的逆。训练的过程即是深度网络从数据中学习先验的过程。在有些方案中，深度模型也用于观测数据y的前处理。
与传统迭代求解对应，反演图像也可用展开（unrolled）的DNN方法来提升质量[4]。一种与MAP问题对应展开DNN模型结构如下图:
注意，这一结构包含多个结构相同的迭代(proximal blocks)层，每一层算子的作用类似公式2的迭代过程。
上述方法适用于观测数据与目标图像(ground truth)对(pair) 都能够获得情况。当目标图像无法获得而噪声统计先验已知时，我们可以构造包含噪声先验的损失函数通过自监督来训练DNN，从而构建有效的反演图像求解模型。这种损失函数的构建可借鉴传统统计理论中的估计方法，比如SURE(Stein’s Unbiased Risk Estimator)。
基于生成网络的求解方法
许多反演成像问题中，观测数据的生成信息不完整或未知，即前向变换矩阵A不完整。比如图像去模糊中，模糊核往往未知。这种情况下，生成模型如GAN或VAE可用于从训练数据中构建完整的变换矩阵[5]。同样，利用成像过程的先验，如统计分布，我们还可以仅基于观测数据（无目标图像）来训练生成模型，从而灵活的构建基于生成模型的反演成像求解器。
基于流形变换的图像反演方法
2018年Nature期刊介绍了一种深度图像反演方法AUTOMAP[6]。该方法完全不依赖成像物理过程信息。这种方法将图像重建看作是一个黑盒过程。给定观测值y，该方法将y映射到观测流形（FC网络），然后做微分同胚变换(diffeomorphism)到图像流形，最后再映射到目标图像空间（CNN网络）。通过MRI重建实验，作者验证了在训练数据足够的情况下，该模型可以学习到未知成像的反演解法。这一思路无疑对扩展反演成像的应用有很好的启发作用。深度学习技术的引入无疑极大促进了反演成像计算的发展与推广。然而深度学习的深入应用也使得研究者能够看到更多待解决的问题和进一步提升的方向[7]。有些问题在传统方法中就已经存在。比如，非线性反演成像的求解。医学EM成像和天文射电成像都存在非线性过程。此外，学者也证明稀疏采样的欠定线性成像求解实质上是一个非线性问题。深度模型对非线性成像的求解是一个很有意思的问题。当然我们更关注的是几个与深度学习应用紧密相关问题：数据与模型
与其它深度学习类似，基于DNN的反演计算依赖于足够的合格数据。成像问题的独特之处在于数据观测与成像模型是交互的。数据的测量方式直接影响成像与相应的深度模型，而成像计算方式也可以改变数据测量模式。比如，设计具有特殊模式的光学系统，利用计算成像直接从采集的二维光学图像中构建包含深度的图像。如何控制观测数据的数量、使用方式，有效的适配数据测量模式与深度求解器，从而适用具体的反演成像应用是一个有趣的研究课题。
不确定性度量
众所周知，深度学习方法的结果存在数据和系统（模型）的不确定性。数据引起的不确定性是传统反演方法也面对的问题，已经有了较多的探索和结论。然而，深度模型本身引起的系统不确定性在计算成像中可能引起的伪影与不确定性尚未得到充分研究。这种误差在自然图像增强中尚可接受。但在医学影像领域，由系统引起的图像伪影使得医生无法区分图像上的异常是真实结果还是错误[8]。这使得基于深度学习的医学成像方法无法进入实用。因此对求解方法引起的不确定的定量分析是当前的一个重要研究方向，值得进一步关注。本文介绍了面向成像的反演问题及求解方法，重点讨论了深度学习方法在各种应用条件的反演成像中的最新进展。本文也讨论了深度学习反演成像发展中值得关注的几个问题。[1] A. N. Tikhonovand V. Y. Arsenin, "Solutions of Ill-Posed Problems", Wiley, New York,1977.
[2] M. T. McCann, K.H. Jin, and M. Unser, “Convolutional neural networks for inverse problems in imaging: A review,” IEEE Signal Processing Magazine,vol. 34, no. 6, pp. 85–95, 2017.
[3] O. Ronneberger,P. Fischer, and T. Brox, “U-net: Convolutional networks for biomedical image segmentation,” MICCAI, 2015, pp. 234–241.
[4] R. Liu, S.Cheng, L. Ma, X. Fan, and Z. Luo, “Deep proximal unrolling: Algorithmic framework, convergence analysis and applications,” IEEE Trans. Image Processing, vol. 28, no. 10, pp. 5013–5026, 2019.
[5] A. Pajot, E. deBezenac, and P. Gallinari, “Unsupervised adversarial imagereconstruction,” arXiv:1912.12164, 2018.
[6] B. Zhu, J. Z.Liu, S. F. Cauley, B. R. Rosen, and M. S. Rosen, “Image reconstruction by domain-transform manifold learning,” Nature, vol.555, no. 7697, pp. 487–492, 2018.
[7] G.Ongie, A. Jalal, C. A. Metzler, R. G. Baraniuk, A. G. Dimakis and R. Willett, "Deep Learning Techniques for Inverse Problems in Imaging," IEEE Journal on Selected Areas in Information Theory,vol.1, no. 1, pp. 39-56, 2020.
[8]H.Sun, K. Bouman, "Deep Probabilistic Imaging: Uncertainty Quantification and Multi-modal Solution Characterization for Computational Imaging", arXiv: 2010.14462.
[9] D. Ulyanov, A.Vedaldi, and V. Lempitsky, “Deep image prior,” CVPR 2018, pp.9446–9454.