【综述专栏】医学图像半监督分割的一些感触

在科学研究中，从方法论上来讲，都应“先见森林，再见树木”。当前，人工智能学术研究方兴未艾，技术迅猛发展，可谓万木争荣，日新月异。对于AI从业者来说，在广袤的知识森林中，系统梳理脉络，才能更好地把握趋势。为此，我们精选国内外优秀的综述文章，开辟“综述专栏”，敬请关注。

来源：知乎—luoxd

地址：https://zhuanlan.zhihu.com/p/390996219

本文主要是介绍了我接触医学图像半监督分割近一年来的一些经历、感受和想法；主要包含两个部分（看过的一篇论文及其思考和自己完成的两个小工作）。

01

介绍

众所周知医学图像分割是疾病诊断、手术或放疗规划、预后评估等任务的重要支撑。近年来，卷积神经网络(CNN)等方法在医学图像分割上取得了极其优异的成绩，尤其是nnUNet几乎在所有全监督医学图像分割任务上取得了最好的成绩。但这并不意味着医学图像分割已经被完美的解决，因为全监督医学图像分割依旧依赖大量的，高质量的标注，不同于自然图像，数据标注门槛较低可以通过众包等方法快速完成；医学图像标注需要专业知识和临床经验，使得大量获得标注数据变得困难和昂贵；但获得大量未标注较为容易。如何利用少量标注数据和大量未标注数据来开发模型进行快速迭代变得尤为重要，为了缓解这一问题，许许多多的工作被一步一步引出[半监督学习，自监督学习，无监督学习，对比学习，主动学习，人在回路(Human-in-the-loop)]，并取得了很好的效果，这里我们更关注半监督学习，因为其更贴近临床数据的实际存在。

02

相关工作

前面我们总结过一些医学图像半监督分割的工作[https://zhuanlan.zhihu.com/p/257109614][https://github.com/HiLab-git/SSL4MIS]，此处我们不再赘述；此处我们介绍一篇给大家带来启示的新工作：

[1], Semi-Supervised Semantic Segmentation with Cross-Consistency Training [CVPR2020].

这篇文章采用了一个编码器和N个解码器的网络结构，并采用了一个主要解码器和N-1个辅助解码器的设计。在构建一致性损失函数的过程中，本文依旧采用了基于扰动的一致性，不过不同于以前的直接在数据上做扰动，本文还采用了在输入解码器的特征上做一些扰动（Dropout, Noisy等）然后鼓励所有辅助解码器的输出和主要解码器的输出一致。很简单的想法，但很实用并启发了后续的一些医学图像分割的工作。例如：

(1), Deep Neural Network with Consistency Regularization of Multi-Output Channels for Improved Tumor Detection and Delineation [TMI2021]

(2), Dual-Consistency Semi-Supervised Learning with Uncertainty Quantification for COVID-19 Lesion Segmentation from CT Images [MICCAI2021 early accept].

细节暂不介绍，大家就看看流程图就能够感受到cross consistency training给后续工作带来的启示，所以说没事多看看最新的工作是多么重要！！！

03

我们的一些尝试

[1], Semi-supervised Medical Image Segmentation through Dual-task Consistency [AAAI2021].

这篇我们前面的一个帖子已经介绍过了，方法暂且不谈，谈谈这个想法和后续基于这篇工作的一篇工作吧。最初有这个想法是看到了[CVPR2020]上有一篇做分割和边界一致性约束的全监督分割的问题，当时尝试了分割和边界两个任务的一致性（分割到边界是一个可导的过程），发现边界约束太小了，效果不太行，后来又看到了MICCAI2020的一篇[SASSNet]，然后我们就换成了signed distance map来做，然后就做出了一些结果。后续也看到有同学在继续沿着多任务一致性的思路往下做，例如

(1), Dual-Task Mutual Learning for Semi-Supervised Medical Image Segmentation [PRCV2021]

这篇文章把DTC里面一个网络两个任务头，拆分成了两个网络独立训练并鼓励输出一致，并取得了更好的实验效果。

[2], Efficient Semi-Supervised Gross Target Volume of Nasopharyngeal Carcinoma Segmentation via Uncertainty Rectified Pyramid Consistency [MICCAI2021 early accept].

这篇文章想法还是比较简单，一句话总结就是扩展了deep supervision从全监督分割到半监督分割，利用多尺度的输出来构建一致性，为了缓解低分辨率输出丢失了太多细节从而导致网络崩掉，引入了基于尺度的不确定性来修正一致性损失函数。老实说这篇的方法都是借来的，deep supervision和基于不确定性修正这两个想法都是现成的，我们组装了一下，然后用到了半监督医学图像分割上，如果硬要说有啥贡献的话可能就是验证了多尺度一致性可以用于医学图像半监督分割。做这个工作主要是受到了两篇文章的启发：(1), Semi-Supervised Semantic Segmentation with Cross-Consistency Training [CVPR2020] 和 (2) Rectifying Pseudo Label Learning via Uncertainty Estimation for Domain Adaptive Semantic Segmentation [IJCV2021], 第一篇启发了我们去用deep supervision去构建多个输出而不是多个解码器，第二篇启发了我们用基于尺度的不确定性估计来缓解由于不同尺度输出差异导致细节丢失的问题。这篇文章只在一个私有数据集上验证还是说服力不是很强，我们也整理和开源了2D和3D的代码，据试用过的小伙伴反馈在一些数据集上效果还是很不错的，我们后续也会继续扩展这个工作并在公开数据集上进行验证。

04

总结

第一，医学图像半监督分割任务也已经变得非常卷了，基于排列组合的方法越来越难说服审稿人了，或许融入一些领域知识或者是数据特性的方法更容易获得审稿人的青睐。第二，不要错过每一篇计算机视觉领域顶会的相关文章，或许其中一篇就能给您启发，助您做出有意思的工作。第三，多去跑一跑已有方法的代码，不管是在公开数据集和私有数据集上，然后分析实验结果，看看不同方法有没有差异或者差异是什么，我觉得医学图像由于数据特性可能不同的数据适合不同的方法。第四，或许可以讲半监督学习和域适应或者是域泛化结合起来，进一步降低数据标注和提高泛化性。最后的最后申明一下，这只是我自己的浅薄见解，不一定正确，欢迎提供建议，意见或者是拍砖。

Reference：

[CVPR2020], Semi-Supervised Semantic Segmentation with Cross-Consistency Training Semi-Supervised Semantic Segmentation with Cross-Consistency Training. 

[TMI2021], Deep Neural Network with Consistency Regularization of Multi-Output Channels for Improved Tumor Detection and Delineation.

[MICCAI2021 early accept], Dual-Consistency Semi-Supervised Learning with Uncertainty Quantification for COVID-19 Lesion Segmentation from CT Images.

[PRCV2021], Dual-Task Mutual Learning for Semi-Supervised Medical Image Segmentation.

[MICCAI2021 early accept], Efficient Semi-Supervised Gross Target Volume of Nasopharyngeal Carcinoma Segmentation via Uncertainty Rectified Pyramid Consistency.

[IJCV2021], Rectifying Pseudo Label Learning via Uncertainty Estimation for Domain Adaptive Semantic Segmentation.

本文目的在于学术交流，并不代表本公众号赞同其观点或对其内容真实性负责，版权归原作者所有，如有侵权请告知删除。

“综述专栏”历史文章

更多综述专栏文章，

请点击文章底部“阅读原文”查看

分享、点赞、在看，给个三连击呗！