听放射科聊AI(2):被自己训练出来的孩子“打翻在地”
现阶段AI的最大的价值就是提高医生阅片的速度和准确率。
长征医院放射科医生 刘凯
因为深度参与到推想AI模型的训练,长征医院放射科帅帅的年轻医生刘凯的照片,已经出现在美国福布斯杂志。11月5日,在武汉举行的“推想科技武汉同济上线一周年”研讨会上,刘凯医生直接地表达了他的看法:现阶段AI的最大的价值就是提高医生阅片的速度和准确率。
刘凯现场列举了多个病例的肺结节,往往都是容易漏诊的病例——而这些全都没能逃过推想AI的“眼睛”。
那些极易被漏诊的肺部结节
为了说明现阶段AI的不俗表现,刘凯列举了一张胸片。一般放射科医生都可以看出中间有一个结节;随后这位病人同期还做了CT。结果将其胸片和CT影像做对比后发现,不仅CT影像显示中间有一个结节,AI还提示在患者的左肺上叶也存在一个结节。针对该区域进行仔细分析,放射科医生发现了这个地方的胸片的确一个模糊的影子。
刘凯认为,就对影像的认知而言,目前影像科医生看到的胸片是有缺陷的。比如磨玻璃结节自从上世纪80年代提出来,目前教科书中仍缺少它在平片中的影像表现,这是目前人类认识本身的不足。
随后,刘凯又分享了五个病例。前两个是比较容易的,刘凯和同事们在科室也做过测试。但是在紧张的工作当中,这些病灶情形也可能会漏掉。
病例1:该病例的DR胸片有一点像实性结节,但是AI模型提示,还有两处也是需要医生注意的。通常在一个检查里面发现一个阳性病灶后,一般医生就会觉得不用去其他的地方,因为一个肺叶多发阳性结节是不常见的。然而经过AI提示,仔细去看的话,确实感觉到另外两处也有问题。CT检测也证明了推想AI模型判断的准确性,清楚地检测到了两个磨玻璃结节。
病例2:让刘凯医生非常震惊的是,当天会上,华中科技大学同济医学院附属同济医院放射科夏黎明主任所展示的病例,与长征医院放射科所遇到的病例十分相似,也是有一个肺结节病灶隐藏在膈肌的后面。由此可见,在平时工作中,类似这种病例并不少见。同样也是在推想AI提示下,刘凯和同事们经过分析,很明显地看到了这个位置的结节。
如果这两个病例还算是比较简单的,后面三个病例,刘凯认为都是比较极限的。
病例3:导师曾经问过刘凯一个问题,如何确定胸片上的阴影就是CT检测出来的结节?刘凯一直没能回答这个问题,直到遇到这个病例。也是在没有任何提示的情况下,一般医生会把这个病例的胸片作为正常。但是推想AI模型提示,这例患者的胸片有几个地方要注意,经过仔细观察确实有个影子。做完CT以后,刘凯医生“非常震惊”:在患者的CT图像中,右肺有一个磨玻璃结节,并且该结节中间有一个很明显的空泡,呈低密度,而在该患者的胸片中AI-DR的被提示区域,通过图像调整也同样可以观察到结节当中的空泡,也就是说,根据空泡就可以判断出胸片中的病灶就是CT所显示的病灶。“此前,我根本就没有想到平片能够看到空泡,这对我们自己的认知也是一个升级。”刘凯医生坦言。
病例4:如果没有任何提示,该病例也可以按正常去报告,但是AI提示这个病人需要注意。结果发现了目前刘凯遇到的一个密度最淡、体积最小的磨玻璃结节(1cm左右纯磨玻璃结节)。
病例5:除去以上要么是结节体积很小或者比较密度较淡的结节,最后一个病例非常有意思。虽然首诊不是刘凯医生,但是其他同事拿来测试他,刘凯也漏掉了。最后CT也是证实了这个区域有类似大的肿块,是一个3-4厘米的肿块,藏在心影的后面。而这细微的征象也是被AI-DR很敏感地捕获到了。
被自己训练的孩子“打翻在地”
“认知是一方面,实际上我们更大的痛点是没有时间。”刘凯医生坦言,“我一天要审核400-500张胸片,每张胸片要看肺、纵隔、骨骼、膈肌,还要审核文字报告,有时还要比对以前的图像,每个病人也就只能分到大概1分钟左右时间。这1分钟时间能否用好,还要看当天的心情和状态。”
正是在这样的需求推动下,AI被放射科寄予厚望。刘凯更是亲身参与到AI模型的训练过程中去,并且亲历了推想AI在长征医院的迭代开发过程。
针对某特定病例的影像,在第一版推想AI模型下,实性结节可以被发现,但是磨玻璃结节被漏掉了。随后针对在胸片上检测出的磨玻璃结节进行了大量的训练,到2017年3月份,刘凯和同事们惊奇地发现,AI模型已经可以识别出磨玻璃结节,同时也伴随着一些假阳性的判断。经过训练,等到5月份,也就是现在上线的这一版AI模型,不仅可以识别结节,而且假阳性也都已经消失了。虽然整个训练过程非常辛苦,但是亲自参与训练推想科技AI这一快速迭代过程,让刘凯先是有了一份惊喜——可以更加快速地阅片,继而又有了一份电影《摔跤吧,爸爸》中的矛盾心情。
今年8月的一天,刘凯发了一条微信朋友圈,感慨自己第一次被AI“打败”的经历。那天上午,刘凯审核了200个病例,包括胸片、CT影像,忙到没有时间去点击AI-DR来参考它的结论,结果推想AI模型给了自己“响亮的耳光”。原来经过AI提示后,确认有一个结节遗漏了,刘凯顿时有了被自己训练出来的孩子“打翻在地”的滋味。“而且还有很多其他模型的孩子把其他模型的爸爸掀翻在地的案例。”刘凯坦言。
以开放的心态看待AI
对于AI与放射科职业前景的关系,刘凯的心态非常开放。今年8月,FACEBOOK的创始人扎克伯格喜得千金,他给自己女儿一封信中写道:“我负责改变世界,让你负责享受生活。”刘凯特地援引这句话:“其实我也想对我们训练出来的模型说,由你们来负责改变世界,让我们负责享受未来。”
刘凯还应邀回答了HIT专家网的现场提问,在此摘录如下:
HIT专家网:关于肺部结节的诊断,我们了解到,目前仅有一些临床专家共识。在缺少“金标准”的前提下,如何让机器“胜出”人类?或者说借助AI加速“金标准”的形成,甚至实现标准的中国产?
刘凯医生:对于CT影像报告中结节的确定,的确还没有权威的金标准。国内外对于影像报告中,什么样的结节应该提示也都有着自己的规范。大多数规范其实都是对应地区对于医生能力、患者安全、临床治疗的多种影响因素的权衡。比如在美国胸部CT报告中小于6mm的结节是可以作为阴性处理的,但是在中国目前的国情下,显然是不现实的。比如我们医院认为3mm的结节很小而不报。但是如果其他医院报了,病人就可能认为我们漏诊了。但问题是医生的报告精度也的确受到了能力及时间的限制。所以现在AI的出现可以大大增强医生的能力。同样也给大家统一对于结节的报告精度提供了一个良好的契机。
HIT专家网:如果真的好用,是否会让医生产生依赖,从而削弱一部分医生的能力?
刘凯医生:的确有可能。但是依赖本身是不是问题,其实完全取决于模型的准确性。如果我们能保证模型的准确性,实际上在找结节这件事情上完全可以替医生完成,正如所有在历史中出现的先进生产力代替落后生产力一样。所以一方面我们将不遗余力地提高模型准确性,而另一方面在模型没有保证完全没有错误的情况下,我们也会设法防止医生过度依赖模型,而导致医生漏诊。比如我们也在讨论AI在我们影像科工作流的部署,我们会鼓励医生先看原始图像,然后再参考AI的判断,防止依赖的产生。我们同样更希望有一天AI真的不会错,那就不是依赖,而是让AI取代医生的一部分工作,让医生转而从事其他更为复杂的工作。(本文在写作过程中得到刘凯医生本人的亲力指导,在此鸣谢)
HIT专家网∣最新鲜的医疗信息化资讯,不一样的专家视角
微信:HIT180com
投稿: public@hit180.com
商务合作:(010)82373062