北京大学王立威教授：AI 医学影像的现状、机遇与挑战

AI掘金志出品

雷锋网旗下只报道“AI+传统”的内容频道

近日，雷锋网AI掘金志邀请了北京大学王立威教授，为大家深入讲解了《AI医学影像的现状、机遇与挑战》。（在后台回复关键词“王立威”下载课程全版PPT）

王立威教授作为首位获得AI's 10 to Watch奖的亚洲学者，同时也是LUNA和天池AI医疗大赛冠军队导师，从人工智能研究者的角度出发，为500多位资深医疗人工智能人士做了120分钟的深度分享和学员互动问答。

王立威教授指出，只满足把自己定位于一个人工智能研究者来看待医学影像问题，将图像识别技术单纯地嫁接到医学影像原有的系统上，即便数字结果看起来不错，但距离“好用的产品”依旧非常遥远。

嘉宾介绍：

王立威：北京大学信息科学技术学院教授

王立威教授在机器学习领域发表论文100余篇，2011年入选人工智能重要国际奖项AI's 10 to Watch，是亚洲首位获得该奖项的学者。2012年获得首届国家自然科学基金优秀青年基金；担任国际人工智能权威会议NIPS，IJCAI领域主席；中国计算机学会人工智能与模式识别专委会常委。

课程内容：

• 我为什么选择医学影像这条路

• 重新审视AI这个工具：我眼中的人工智能与机器学习

• 当前AI医学影像技术的真实现状

• 实战案例详解：人工智能肺结节检测与良恶性诊断

• 经验分享：错误、弯路、失败、技巧、解决方法

• 致AI医学影像领域的工作者：我们应具备哪些素质与技术

• 未来AI医学影像的机遇与突破点

为什么选择医学影像这条路？

王立威教授谈到，有三个领域会与深度学习进行紧密的结合，并希望能够选择其中一个方面来进行深入研究：一个是无人驾驶；一个是金融领域；再一个则是医学领域。

他认为，无人驾驶在计算机视觉的识别技术已经趋于成熟，具备可以与机器学习进行深入结合的条件，但作为一个与汽车实体紧密相关的应用方向，在高校内做研究的空间相对受限；此外，驾驶作为一种动态活动，相对于静态图像识别的难度与复杂性要高得多。

而金融领域尽管积累了非常多高质量的封闭数据，但它属于噪声非常大的信号，受突发政策、人为操作的影响较大，并非总是严格遵循客观规律。

AI技术不是金融交易中的核心技术，交易的安全是重中之重。如果只考虑交易频次问题，交易又分为低频和高频，“如果是低频交易，我不认为AI 有太大的用武之地，因为AI 需要大数据、低频交易数据量太小，如果要让AI技术发挥技术，一定是在高频领域。但是现阶段的一个问题是，高频领域有很多分析的工作还是是需要人来做，例如提炼对交易产生影响的因素或者策略。所以综合上述的几个因素，我最后选择了从医学影像入手。”

在这 41 36816 41 15262 0 0 3018 0 0:00:12 0:00:05 0:00:07 3019个应用研究的三岔路口上，王立威教授最终选择了医学影像领域。

“医学影像是未来几年之内人工智能影响最深远的领域。”

一方面，医学影像属于静态图像识别，相对于视频的处理技术要更加成熟；另一方面，依托北京大学的一系列附属医院，不论是从数据的获取或是系统的测试落地上，王立威教授所在的北京大学研究团队都有着得天独厚的优势。

王教授表示，如果开发者要执行的任务处于非常封闭的环境，和人的常识没有什么关系，这样的任务非常适合机器来做，但是如果这项任务和常识挂钩，例如对自然语言的理解，对于机器而言难度非常大。“医学影像相对而言是具有一定封闭性的问题。”

当前AI医学影像技术的真实现状

当然，不是说医学影像具有一定的封闭性，AI就能够在医学领域畅行无阻。王立威教授列举了两个AI对医学影像产生重大影像的案例——斯坦福团队在皮肤癌检测以及Google的DeepMind的糖网筛查。

王教授的观点是：

1、医学影像处理病种的数量非常庞大，上述两个团队的例子解决的都是单病种问题。医学影像上一共可以分为两千多个的病种。“解决一个单病种已经不是简单的事情，斯坦福的团队已经和顶级的医学专家研究数年才得到目前的成果，要囊括两千多个病种更是难上加难。此外，病种与病种之间的差异度也很大，所以，AI 医学影像需要顶级医学专家和顶级机器学习学者通力合作才有可能成功。”

2、成像设备的差异会产生多种类型的图像。CT、MRI、X光、超声、内窥镜、病理切片这些图像缺乏一定的标准。“现在我们只是在一些病种上进行单点突破，整个医学影像仍任重道远。”

从技术角度而言，今天的机器学习、人工智能技术对于检测等问题可能做得比较好，但是全局性病变、结构性病变对机器学习还是有难度。

未来几年看谁能胜出，就看谁能选对病种，选错就有可能浪费时间、精力。

实战案例：人工智能肺结节检测与良恶性诊断

从上面的观点我们可以看出，在研究早期选对病种是一个极其重要的问题。

那么王教授为什么要研究肺部CT图像分析？

他总结了以下三个原因：肺癌是全球死亡率最高的癌症，而CT是肺癌早期诊断最有效的工具，但是CT图像数量与放射科医生数量的矛盾对CT图像的自动分析有着迫切需求。

从需求角度来考虑，相对于发病率较低的罕见疾病，选择一个常见病来介入，受益面更大。

自然场景和医学场景有很大的不同。自然场景图像里需要检出的目标非常大，而医学场景里肺结节的目标非常小、难度大。但是为什么我们觉得能够在很小的区域检测出小结节这样的东西呢？因为自然场景复杂多变，而医学图像的一致性比较高、这就是为什么机器学习技术有可能应用在医学影像。

王教授在授课中分享了自己的个人经历：刚刚进入医学影像领域时，虽然我的机器学习知识已经可以胜任这项工作了，我的想法就是在这个领域利用机器学习方法。虽然前期取得一定的成果，但是经过相当长的时间，我意识到如果要实现更大突破，发展的瓶颈在于专业的医学知识。因此，在这个问题上，王教授认为，向医生学习是一个非常必要的过程。

王教授反复强调，AI+医学影像需要跨界的人才。“作为人工智能研究领域的专家，在与医生交流的时候，双方讲的好像是两种不同的语言，有时候技术工作者想精确地得到定量的结果，而医学专家更多的是想从定性角度来判断疾病，这就需要双方能够达到无缝衔接，因为我们知道要培养跨界人才是很难的，所以我们只能向医学专家学习知识，紧密合作。”

肺结节问题的诸多难点

肺结节的早期筛查是AI+医学影像的热门领域，但是，肺结节的种类繁多、形态各异、容易与肺内其他组织（例如血管等）混淆。

这些问题也会考验从这个领域切入的创业者，例如肺门区域结节和磨玻璃结节的检测。因此，王教授团队采用了三阶段模型框架来解决这样的问题。

三阶段模型框架

1.肺门区域结节

肺门区域结节是非常容易发生错误、漏检的地方，肺门区域结节和其他结构完全连接在一起的特性使得信息难以区分。

王教授团队的技术核心是将多尺度信息结合，应用一种特征金字塔网络（FPN）

通过整合多尺度信息，有效地将结节与正常组织、其它病变区分开，精确检测肺门区域结节。

2.磨玻璃结节

磨玻璃结节也是一个容易漏检的部分，相比而言，磨玻璃结节与其他区域的亮度差异较小。

通过引入难例挖掘机制，使得模型更为关注困难样本，提高磨玻璃结节的检测准确度。

在这个问题上，王立威教授的团队使用焦点损失函数(Focal Loss)对磨玻璃难例挖掘进行优化。

3.结节临床意义分析

在结节临床意义分析方面，王立威教授指出：一个患者的整个肺里只有一个地方有结节，另一个患者有很多结节，虽然有一样的结节，但是对于两个人的意义是不同的。我们通过结合病例内所有结节的全局信息，进行结节临床意义分析与判断，帮助医生关注到更具有临床意义的结节。

“我们希望最后的诊断结果对医生有帮助，我们也必须对临床意义进行分析，最终提交结果。”

这里采用了Context Net，避免孤立地看待检测出的结节，而是在全局上判断哪些是有临床意义的，包括利用系统判断结节良恶性的概率值。

在王教授看来，分析不是一个简简单单的目标检测，要考虑到医学的特点。初学者前期会使用通用型的算法，但机器学习有很多细节不是写在代码里的，只有深耕很多年，自己亲自实践才能有更多的领悟。

算法延拓：结节属性分析

此外，王立威教授团队在算法延拓方面也取得了一些突破。

“我们在结节属性问题、模型可解释性等方面也有一些成果。结节属性对医生写报告很有帮助，我们可以测量结节直径、体积，给医生一个更直观的感受。在模型的可解释性方面，我们利用前期算法得到的模型，可以检测病变、判断良恶性。但是医生会问，这个模型判断的依据是什么，逻辑是什么，我们不希望这个模型是一个黑箱，从而影响我们使用的信心。”

未来AI医学影像的机遇与突破点

在分享的最后，王教授谈了谈AI在医学影像领域的应用价值和前景，以及未来在这个领域做出成果需要具备哪些素质。

在他看来，医学影像问题可以分为两类：

第一类：提高效率

以肺结节检测为例，如果给一位经验丰富的医生足够的时间，很少会发生失误的情况，真正的问题是如何在很短时间内提高效率，减少漏检的情况。在这方面，人工智能已经能够做到在几秒钟之内就给出筛选结论，大大地减少医生的工作量。

第二类：攻克医学难题

对如何判断良恶性，我们希望未来人工智能可以发现哪些特征对判断良恶性是有帮助的。因此，上述的模型可解释性的开发就很有必要。

王立威教授认为，对于未来在AI医学影像领域的工作者来说，最重要的事情是要兼备人工智能技术和医学知识，既要成为机器学习专家，也要不断学习医学知识。AI工作者需要花很多时间培养自己阅片的能力，要像一个初级的医师一样不断学习影像方面的知识。

“未来这个行业想覆盖更多的病种，需要医学和技术两个团队通力合作。同时，我们也要客观地看待AI在医学影像领域的发展，机器学习的技术不会横扫天下，短时间内大量的医学影像问题不会迎刃而解，但是另一方面，我们也看到在一些很重要的病种上，机器学习、人工智能技术会对它产生极大的推动作用。”

学员部分问答

线上直播结束后，王立威教授对部分学员提出的问题进行了解答，以下是选摘的问答实录，雷锋网AI掘金志作了不改变原意的编辑：

问：与医生医院的合作过程中最应该注意哪些问题？

答：第一，一定要互相了解。做AI的技术人员和医生在完全不了解对方领域知识的情况下，沟通起来是蛮困难的。这两个领域差异巨大，你要逐渐适应对方的思维模式。所以如果能够理解对方的思维方式，我觉得沟通起来就会越来越容易，合作会越来越容易。

第二，作为人工智能、机器学习的技术工作者，切忌从自己的角度出发去想技术怎么用。AI医学影像最核心最根本的是从医生的角度考虑其真正的需求是什么？我有一个很深刻的体会就是某种意义上，需求应该是由医生来主导。所以双方要进行深入的沟通，哪些问题是医生真的需要辅助，同时又是技术有可能解决的。

提问：如果AI模型的可重复性较差，如何提高模型的可信度？

答：网上有很多开源代码，我指的是你用了这个代码之后，是不是能够达到算法设计者的水平。代码和模型是两个概念，模型实际上是用代码在数据上训练出来，但训练本身是有很多技巧的。如果你不了解其中的技巧，实现不了代码开发者的水平，只是说你拿到的代码，能不能用自己的经验训练出同样的模型。新手在机器学习，特别是深度学习方面和富有经验的专业专家相比，差距还是巨大的，这个需要很多年的技术积累。

问：作为放射科医生，对于肺结节自动检出产品，最关心的是假阴性，这个问题怎么解决？

答：从医学的角度来讲，大家关注的性能指标应该是两个：特异性和敏感性，敏感度其实指的是一种查全率，是不是把所有的结节都找到了。特异性是指假阳性的比例。在某种意义上，这是两个矛盾的指标，如果把一个指标调到最大，那肯定另一个指标的表现就会变得很差，大家都希望这两个指标能够达到一个最好的平衡。

问：如何获取大量有标注的数据？

答：这是AI医学影像领域里面极其核心的问题。机器学习的源头其实是数据。没有数据，不可能做出一个很好的AI医疗影像系统。举例来说，AlphaZero下围棋和医学影像截然不同。AlphaZero下围棋用了大概3000多万局进行自我对弈。虽然没有用人类的棋谱，但是自我对弈对于它来讲，同样是跟人类棋谱没有显著差异的数据，而且这个数据的核心信息就在于最后这局棋究竟是哪一方赢了。这些信息就是数据所包含的关键信息。对于医疗而言，我们不仅需要原始数据，我们更需要大量有标注的数据。如果有人问这个问题怎么解决，我觉得还是回到刚才的问题，人工智能技术者和医疗工作者通力合作，因为只有医学专家才能够进行数据的标注。

问：目前的深度学习技术，能够比较高精度的检测多小的结节，五毫米左右如何？

答：我们现在的系统检测五毫米左右的结节没有任何问题。当然从医学的角度来说，国家也发布了关注这类筛查的手册指导意见。我们真正需要关心的就是三毫米以上的结节，三毫米以下现在可以不需要在报告里体现，我们的系统在三毫米以上的检测都是没有什么问题的。

问：目前AI医学影像有没有结合病史和体征进行分析，还是单纯依靠影像？

答：如果现在机器学习的目的是为了辅助医生，那么必须要结合病史和其他部门的信息，绝对不可能凭医学影像这一项就可以胜任，医学影像是诊断过程中核心的一部分，但是忽略其他的信息，从我的角度来看是非常不可取的方式。

问：根据您这些年的经验，您觉得医学图像的处理，和普通图像主要在哪些地方不同？

答：医学图像和普通图像的差异相当大。以肺结节为例，肺结节的尺寸很小，如果是在普通图像里，这么小的目标检出是极其困难的。但是在医学图像里比较幸运的就是，医学图像的同质性相当强。如果非要用一两句话来概述的话，那就是医学图像的处理方式和普通图像只是在大的框架上具有一致性。但是在很多具体细节上，医学图像有自己的特点，必须要专门开发相应的算法和结构。如果把在普通图像中的应用的方法甚至是代码原封不动都能搬过来，我觉得很难取得优秀的结果。

第三期：顶级“AI+医学影像”线上课程预告

课程内容：

• 如何在医学影像分析中应用好深度学习

• 基于深度学习的臂丛神经识别

• 基于深度学习的关节智能识别

• 基于深度学习的乳腺超声影像分析

• 基于深度学习的脂肪肝超声影像分析

适宜人群与机构

企业：医疗人工智能从业者与创业者

高校：计算机视觉、图像处理与医学影像研究背景的教授、研究员；欲从事医学影像分析的学生

医院：影像科/放射科/病理科主任医师、信息中心主任

监管：CFDA等医疗相关监管机构的从业者

参与方式：

报名观看：扫描文章底部海报二维码，关注公众号“AI掘金志”，进入后直接回复关键词“医学影像”四字，预约课程。

福利：若想进入高端成员群与众多大牛们交流讨论，请加小助手小艾微信ID：mooccai，在发送好友验证框里备注个人信息（影像+姓名+公司/学校、职位/专业），通过审核后将邀请您进入未来医疗高端成员群。（专业群审核严格，请认真填写，感谢理解。）

更多课程：《未来医疗大讲堂—医学影像专题》前后会有近10位产、学、医领域的权威专家进行深度分享，每堂课60~120分钟，从本周起，会保持每周一更，后续的课程时间与详情，会在公众号“AI掘金志”实时告知。

费用：直播免费；录像回看付费（9.9元）

关于《未来医疗大讲堂—医学影像专题》系列课程的更多介绍，欢迎点击超链接阅读：《做AI的不懂医学，学医的不懂AI ？顶级”AI+医学影像“系列课程来袭》