The Innovation | 面向深度学习赋能的同步辐射断层扫描实验全栈式数据处理管道

导 读

断层扫描是一种揭示物质内部结构和功能特性的三维表征技术。新一代同步辐射光源等大科学装置的投入使用，进一步拓展了断层成像的技术边界，也导致了数据量和数据维度的爆炸式增长和数据处理流程复杂度的急剧增加。如今，在应对断层扫描成像的大数据挑战、数据处理管线全流程优化中，深度学习技术展现出巨大的潜力。

图1 图文摘要

深度学习能够利用海量数据直接学习输入和输出之间的映射关系，克服了复杂映射的公式化难题。因此，研究人员正在探索将“科学大数据+深度学习”范式应用于同步辐射断层扫描实验中，以应对新一代同步辐射断层扫描实验的大数据挑战。如图2所示，以三维重构步骤作为划分依据，深度学习在同步辐射断层扫描数据处理流程上的应用过程可分为以下三个阶段：图像预处理、三维重构优化和应用导向的重构数据后处理。

图2 深度学习在同步辐射断层扫描数据处理中的应用

通常情况下，图像预处理主要涉及图像拼接和一系列的空间配准任务。目前，同步辐射断层扫描领域的图像拼接解决方案多为传统方法，如基于特征的方法和互相关的方法。但在医学的光学相干断层扫描领域中，研究人员已经可以利用改进的UNet 架构来构建从失真图像到参考图像的映射。投影图像的空间配准是重构前的另一个关键步骤，其目的是纠正控制误差和机械系统抖动等因素导致的投影错位。该任务大体分为两种研究思路：基于深度学习的端到端空间配准、融合深度学习与传统技术的空间配准。随着技术的发展，相关研究团队先后提出了基于CNN、ResNet、UNet以及MIMO-UNet的网络模型，并取得了优秀的空间配准效果。

三维重构优化通常集中在以下三个研究方向：稀疏采集数据的三维重构（稀疏重构）、有限角度采集数据的三维重构（有限角重构）以及重构切片的降噪。首先，稀疏重构应用深度学习的研究思路可以分为：正弦图的优化、重构切片优化以及混合优化。因与计算机视觉领域的压缩感知任务类似，稀疏重构可以有效应用迁移后的先进模型，如Noise2Noise和Self-Attention。其次，与稀疏重构类似，有限角重构的研究思路主要分为：正弦图的优化和重构切片优化。目前，研究人员已开发了如SARTConvNet、GANrec、 TomoDIP_TV等网络架构对有限角重构结果进行优化。最后，重构图像降噪是三维重构优化中最常见的任务，CNN、GAN等网络模型也已被广泛应用。

最后，本文主要探讨了数据后处理的四类任务：ROI分割、多模态、多能量和原位分析。ROI 分割可分为重建体素内的样品分割和样品内的特征分割两类。由于该任务与计算机视觉领域的实例分割任务相似，CNN、UNet、Mask R-CNN等技术已在同步辐射断层扫描的ROI分割任务中得到了广泛应用。而深度学习在多模态分析上的应用主要集中在对多组断层扫描数据进行空间配准。GAN、StyleGAN等模型是该任务主流的网络架构。深度学习在多能量分析方面主要集中在材料组分分割，以改善传统方式所带来的噪声，一般是基于Encoder-Decoder和UNet等网络架构。最后，深度学习在原位实验中的应用主要集中于对DVC技术的优化，以实现精确、稳健以及高效的DVC计算。

图3 深度学习赋能的同步辐射断层扫描实验展望

总结与展望

在同步辐射断层扫描成像领域，深度学习已被广泛研究和应用于数据处理相关的各类任务中，并在数据处理精度和效率方面具有优越性。未来，新一代同步辐射断层扫描实验将面临前所未有的挑战和机遇。如图3所示，随着深度学习技术在同步辐射断层扫描领域的发展，同步辐射断层扫描大模型、智能调度中心以及光束线站长期学习策略将成为解决同步辐射断层扫描大数据挑战的有效方案。

责任编辑

赵保丹    浙江大学

由林麟    中山大学

扫二维码｜查看原文

原文链接：https://www.cell.com/the-innovation/fulltext/S2666-6758(23)00167-4

本文内容来自Cell Press合作期刊The Innovation第五卷第一期以Review发表的“Towards full-stack deep learning-empowered data processing pipeline for synchrotron tomography experiments” (投稿: 2023-06-16；接收: 2023-11-13；在线刊出: 2023-11-15)。

DOI: https://doi.org/10.1016/j.xinn.2023.100539

引用格式：Zhang Z., Li C., Wang W., et al. (2023). Towards full-stack deep learning-empowered data processing pipeline for synchrotron tomography experiments. The Innovation. 5(1), 100539.

作者简介

张 一，中国科学院高能物理研究所副研究员，中国科学院引进人才，高能同步辐射光源（HEPS）光束线软件系统负责人，主持国家重点研发项目1项。面向未来EB量级数据挑战，带领HEPS光束线软件团队在积极推动“大型科学软件框架 + AI for Science”的创新科研范式，开展实验控制、大数据采集与处理、人工智能、前沿学科算法、多尺图像处理与数据挖掘等跨领域研究，为建设“智慧光源”奠定了基础。

董 政，中国科学院高能物理研究所博士后，主要从事同步辐射张量成像方法学与应用以及人工智能等前沿算法研究。

往期推荐

	大规模生成式仿真智能：生成式AI的下一个研究热点

	平行智能：应对复杂性挑战的创新之路

	交互工程激发大语言模型潜能，助力个性化消化系统肿瘤诊疗策略的制定

	语言模型助力科学研究的第N种可能：解析现实世界中的配送路线优化问题

	跨界融合：微纳结构限域下的光学检测与人工智能在疾病诊断中的创新应用

	人工智能书写科研论文，神器还是魔咒？

	大语言模型助力遗传病分子诊断

	语言模型在蛋白质表示和蛋白质设计领域的应用与挑战

	面对生成式AI的全方位“入侵”，人类是否自带心理防御机制？

	边缘计算赋能无人机集群：环境感知、通信互连与任务规划多维度高效互惠协同

	模数融合的全新训练模式：物理神经网络的构建

	织物计算：无处不在的织物所驱动的计算新范式

	人工智能：科学研究新范式

	时空深度挖掘，AI赋能城市计算新时代

	AI视角下的元宇宙之路

	将社会神经科学融入自主驾驶人机交互行为理解

期刊简介

扫二维码 ｜ 关注期刊官微

The Innovation是一本由青年科学家与Cell Press于2020年共同创办的综合性英文学术期刊：向科学界展示鼓舞人心的跨学科发现，鼓励研究人员专注于科学的本质和自由探索的初心。作者来自全球55个国家；已被139个国家作者引用；每期1/5-1/3通讯作者来自海外。目前有196位编委会成员，来自21个国家；50%编委来自海外(含39位各国院士)；领域覆盖全部自然科学。The Innovation已被DOAJ，ADS，Scopus，PubMed，ESCI，INSPEC，EI等数据库收录。2022年影响因子为33.1，CiteScore为23.6。秉承“好文章，多宣传”理念，The Innovation在海内外各平台推广作者文章。

期刊官网：

www.the-innovation.org

www.cell.com/the-innovation

期刊投稿（Submission）：

www.editorialmanager.com/the-innovation

商务合作（Marketing）：

[e-mail]

支持单位

向左滑动查看更多

Logo｜期刊标识

See the unseen & change the unchanged

创新是一扇门，我们探索未知；  

创新是一道光，我们脑洞大开；  

创新是一本书，我们期待惊喜；  

创新是一个“1”，我们一路同行。

The Innovation 姊妹刊

The Innovation