飞桨携手哈佛打造MUSCLE自监督多任务学习方法，X射线图像肺部分割任务Dice提升达1.5%
医学图像分析是定位、识别和提取医学图像中不同脏器与病灶的过程，对于疾病诊断具有重要意义。典型的医学图像分析场景包括对骨头、肺部和头部的X射线图像进行分类和分割等。
医学图像分析示意图
近年来，基于深度学习的方法[1]在医学图像分析方面取得了巨大成功。通常而言，训练深度神经网络需要大量具有手工标注信息的图像，并使用有监督的训练方式，才能得到良好的图像表征和稳定的分析性能[2]。
为了降低手工标注图像带来的成本，研究人员提出了自监督学习方法。它直接从没有标注的图像中学习视觉特征[3]，提高深度神经网络模型的性能。例如 Sowrirajan 等人[4]提出 MoCo-CXR，使用 MoCo[5]进行胸部X射线图像中的病理分类任务预训练。然而面向不同身体部位（肺和骨骼）、不同任务（检测和分割任务）的其他X射线图像分析任务，自监督学习方法的性能尚不清楚。
针对上述问题，百度研究院联合哈佛大学工程与应用科学学院，基于飞桨框架设计了一种自监督多任务学习方法 MUSCLE（Multi-task Self-supervised Continual Learning）[6]来学习不同身体部位的X射线图像的表征，有效提升下游任务的精度。该工作已经发表在 MICCAI 2022，并且成功应用于 EISeg 医疗影像智能标注场景。
论文链接
https://link.springer.com/chapter/10.1007/978-3-031-16452-1_15
EISeg 标注模型下载链接
https://github.com/PaddlePaddle/PaddleSeg/blob/release/2.7/EISeg/docs/image.md
接下来，本文将从模型架构、X 射线图像数据集、MUSCLE 实验结果三个方面对 MUSCLE 方法进行全面解析。
01
模型架构
▎MUSCLE 主要包含如下三个模块：
模块一：多数据集动量对比学习：给定从不同身体部位采集的多个 X 射线图像数据集， MUSCLE 首先通过预处理（例如尺度缩放、灰度标准化）聚合这些数据集，然后采用基于 MoCo 的自监督算法对主干网络进行预训练，学习聚合数据集中 X 射线图像的表示。
模块二：多任务持续学习：给定 MoCo 预训练的骨干网络和不同X射线图像分析任务的数据集（例如肺炎分类、骨骼异常分类和肺分割），MUSCLE 利用持续学习算法，使用交替的头部网络进一步进行预训练，学习不同任务的表征。
模块三：对下游任务进行微调：给定预训练的主干网络和每个下游 X 射线图像分析任务，MUSCLE 微调并输出一个神经网络。该网络使用预先训练的权重进行初始化，并使用各自任务的特定头部网络来独立适应下游任务。
MUSCLE 整体架构
02
X射线图像数据集
MUSCLE 收集了9个真实世界的X射线图像数据集，将近179,000张图像，囊括了人体的多个身体部位，如胸部、骨头、手、肘、手指、前臂、肱骨、肩膀和手腕等。同时这批数据也提供了丰富的医学图像分析任务，包括肺炎分类、骨骼异常分类、肺部分割、结核病检测等。我们使用自监督学习算法从大量的无标记 X 射线图像中提取图像表征，基于这些表征进行下游任务的学习。
数据集详情
我们选定四个任务进行预训练模型的微调实验：
基于 Pneumonia 数据集的肺炎分类
基于 MURA 数据集的骨骼异常分类
基于 Chest Xray Masks and Labels 数据集的肺部分割
基于 TBX 数据集的结核病检测。
实验中采用了两组主干网络（ResNet-18和 ResNet-50），并利用多维度的指标进行模型性能的评估。实验结果如上表所示，我们发现 MUSCLE 可以提高医学图像分析任务中深度学习模型的性能，助力深度学习技术在智慧医疗场景的落地。
03
MUSCLE 实验结果
下表给出了 MUSCLE 在两个不同身体部位数据集上分类任务的结果。与常规的 ImageNet 预训练策略相比，MUSCLE 模型在一些重要的指标上（如准确率、AUC 值）都有明显的提升。和 MoCo 自监督学习算法相比，MUSCLE 模型也有稳定的提升。
注：“MUSCLE¯¯”代表没有使用 Continual Learning 正则的简配版本。
下表给出了 MUSCLE 在两个胸片数据集上分割和 BBox 检测任务的实验结果。结果显示 MUSCLE 学习到了与任务相关的表征，能够很好地迁移到各种不同的下游任务。
分割和检测任务实验结果
在下面两幅图中，我们可视化了 MUSCLE 在肺炎分类和骨骼异常分类任务上的附带95%置信区间的 ROC 曲线，同时绘制了在肺部分割任务上的部分样例。
MUSCLE 在肺炎分类和骨骼异常分类上的 ROC 曲线
肺部分割任务效果对比
值得说明的是：
虽然实验仅对上述四个任务进行了验证，但是我们相信 MUSCLE 具有很好的模型迁移能力，对于更多的模型和更广泛的任务， MUSCLE 同样具有稳定的表现。
MUSCLE 虽然是在 X 射线图像数据集上进行学习和验证，但是 MUSCLE 本身并不与数据耦合。对于其他模态的医学数据集，如 MRA、CT、DSA 等，MUSCLE 同样可以进行迁移和学习。 MUSCLE 提供的预训练权重对模型性能有可观的提升，不会给模型带来额外的代价，比如增加模型参数量、增加训练时长等。
入群福利
对此感兴趣的小伙伴可以加交流群啦，还可以获取 PaddleSeg 团队整理的重磅学习大礼包哦~
参考文献
[1] LeCun, Y., Bengio, Y., Hinton, G.: Deep learning. Nature. 521(7553), 436-444 (2015).
[2] Balki, I., Amirabadi, A., Levman, J., Martel, A. L., Emersic, Z., Meden, B., ... Tyrrell, P. N.: Sample-size determination methodologies for machine learning in medical imaging research: a systematic review. Canadian Association of Radiologists Journal. 70(4), 344-353 (2019).
[3] Jing, L., Tian, Y.: Self-supervised visual feature learning with deep neural networks: A survey. IEEE transactions on pattern analysis and machine intelligence. 43(11), 4037-4058 (2020).
[4] Sowrirajan, H., Yang, J., Ng, A. Y., Rajpurkar, P.: Moco pretraining improves representation and transferability of chest x-ray models. In: Medical Imaging with Deep Learning. pp. 728-744. PMLR (2021).
[5] He, K., Fan, H., Wu, Y., Xie, S., Girshick, R.: Momentum contrast for unsupervised visual representation learning. In: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. pp. 9729-9738. IEEE (2020).
[6] Liao, W., Xiong, H., Wang, Q., et al.: MUSCLE: Multi-task Self-supervised Continual Learning to Pre-train Deep Models for X-Ray Images of Multiple Body Parts. In International Conference on Medical Image Computing and Computer-Assisted Intervention, pp. 151-161. Springer, Cham, (2022).
*医学图像分析示意图中的医学图像源自本文所述数据集
*其余图片均源自 MUSCLE 论文