其他
腾讯天衍实验室郑冶枫:医学影像AI为什么需要小样本学习和域自适应技术? | CCF-GAIR 2020
以下为郑冶枫的现场演讲内容,雷锋网《医健AI掘金志》作了不改变原意的编辑及整理
郑冶枫:首先介绍一下天衍实验室的情况。天衍实验室成立于2018年9月份,当年的930变革让腾讯开始全面拥抱互联网,其中天衍实验室是专注医学AI的团队,专注支持腾讯医疗线业务。深度学习在影像诊断上的挑战
Med3D——构造3D医学影像的ImageNet
首先分享几个我们最近做的工作,第一个是Med3D:构造3D医学影像的ImageNet。目前,小样本学习比较成熟的技术就是迁移学习。迁移学习就是将某个任务上训练好的模型迁移到另一个任务,小样本迁移学习则是源域已经有大量训练样本,而目标域只有少量样本的情况。
基于魔方变换的自监督学习
基于魔方变换的自监督学习是我们去年发布的一个技术,首先给核磁的一个脑部图像的三维医学影像切一个魔方,八个魔方块(二阶魔方2×2×2)随机打乱,因为打乱方法很多,于是我们做了一个限制。
我们还可以将每个魔方块做旋转以及把一部分图像盖住做掩码,通过这些变换以后,希望可以恢复原来的魔方块。首先把每个魔方块接上一个编码器(卷积下载&卷积压缩),八个魔方共享编码器,我们因此得到特征向量,做三个分类:知道用哪个方式打乱的;每个魔方是否做了旋转;魔方块是否做了抠图或者其他变换,对魔方块进行训练,训练完了以后,编码器就可以拓展、迁移到其他任务上面。这里面有两个问题,一个问题就是我们只训练了编码器,对于分类任务来说编码器足够了,但是分割任务还需要解码器。于是我们需要对解码器也进行了训练,我们会选取一个魔方片做旋转,今年我们即将发布魔方变换2.0。
这个工作我们不再是进行分类任务,而是做图像复原任务,每次选一个魔方片做旋转,把打乱的图像输入网络,目标是恢复原来的图像。是类似分割的任务,这样既可以训练编码器,也可以训练解码器。训练完了之后我们可以把其迁移到分割任务上,做一键分割,我们用的魔方是高阶魔方,每个魔方片大概7层左右,如果完成打乱的话几乎不可能恢复原来的图像,所以我们随机选择做四次魔方片的旋转。
如果数据量比较少只有10%数据的话,上面第一行就是随机开始训练,分割出来之后大概只有58%左右准确率,用魔方变换2.0的话,分割率可以达到73.0%,有了巨大的提升。随着训练样本越来越多,分割的准确率可以达到82.9%,在这种情况下,我们还是有1个多百分点的提升。域自适应案例1:VideoGAN:视频风格转换刚才提到了如何用小样本学习、缓解样本缺乏的问题,后面分享两篇论文讲解怎么去做自适应提高算法跨医院的泛化能力,下面介绍一下如何提升域自适案例。