商汤科技副总裁张少霆：AI 赋能临床医疗的实践心得 | CCF-GAIR 2020

全面梳理商汤的医疗布局。

2020 年 8 月 7 日，全球人工智能和机器人峰会（CCF-GAIR 2020）正式开幕。CCF-GAIR 2020 峰会由中国计算机学会（CCF）主办，雷锋网、香港中文大学（深圳）联合承办，鹏城实验室、深圳市人工智能与机器人研究院协办。从 2016 年的学产结合，2017 年的产业落地，2018 年的垂直细分，2019 年的人工智能 40 周年，峰会一直致力于打造国内人工智能和机器人领域规模最大、规格最高、跨界最广的学术、工业和投资平台。在8月9日的医疗科技专场上，来自商汤科技研究院副院长、集团副总裁张少霆以《新基建，新医疗，新机遇——SenseCare：赋能临床医疗的视觉中枢》为题，分享了商汤科技在医疗新基建的背景下，所取得的一些成绩和挑战，以及工作中的心得与实践。张少霆表示，商汤科技的战略核心是围绕计算机视觉技术赋能百业，而智慧医疗的具体产物则是SenseCare® 智慧诊疗平台。作为一款临床一体化的产品， SenseCare® 智慧诊疗平台可以落地在医院放射科或者区域IDC数据中心，在数据不出医院或数据中心的情况下，让不同临床方向的医生只需要一台笔记本电脑、甚至平板，仅通过网络浏览器访问的情况下，使用所有医疗AI功能，以及医学影像三维后处理功能，并且让不同科室医生读取不同数据，就可以启动不同的工作流，实现赋能全院临床。然而，这种场景的实现存在两个问题：首先，如何利用AI对多模态多病种进行精准的检测、分类、分割；其次，如何在不传递原始数据的情况下，支持全院医生高并发的二维、三维分析需求。在自研AI算法引擎的基础上，商汤SenseCare® 智慧诊疗平台相继推出了胸部CT智能分析及手术规划方案、胸部X线智能分析、心脏冠脉智能分析、骨肿瘤智能手术规划、消化道病理和TCT宫颈癌精准分析等临床辅助工具。张少霆表示，针对区域级、城市级的智慧新基建建设，部署更偏向于SaaS平台的形式，底层可以支持安全可靠的数据存储、备份机制，向上则加载数据和人工智能管理功能，同时赋能区域内多家医院，实现区域内医疗智慧化升级。

以下为张少霆的现场演讲内容，雷锋网《医健AI掘金志》作了不改变原意的编辑及整理

张少霆：很高兴有机会跟各位汇报商汤科技在医疗方面的工作。商汤是一家很年轻的公司，到现在也只有五年多的历史，但是在这段时间里，商汤已经成长为人工智能领域估值最高的独角兽企业，无论是在营收还是落地方面，都处于业内领先的位置。很多人都问我们一个问题，“商汤”的名字是怎么来的？在商朝成汤的年代，中国在全球处于领先的地位，有自己的文字。而在人工智能的纪元里面，我们能否也成为世界科技的领头羊。抱着这样的愿景，“商汤”的名字由此诞生。商汤有底层深度学习平台Parrots、算法技术平台以及上层涉及各个行业的应用，从智慧城市、无人驾驶再到医疗，一系列的沉淀都是由技术驱动。之所以可以做到这样，是因为在过去二十年时间里，“商汤科技”的前身，也就是汤晓鸥教授带领的香港中文大学团队进行了长时间的技术积累。比如，世界十大人工智能先锋实验室，汤教授的实验室是亚洲唯一入选的，其他都是一些在欧美业内非常知名的实验室。2018年，商汤科技被科技部授予我国首个“智能视觉新一代人工智能开放创新平台”，也是国家第五大人工智能开放创新平台。同年11月，汤晓鸥教授应邀出席“习总书记民营企业座谈会”，汤老师给总书记汇报的时候说到，过去我们都是谈论的基建出海，现在有没有可能“科技+基建”一起出海？因此，我们集团业务覆盖的国家很多，以中国为核心，向日本、东南亚、中东的一系列国家都有技术输出。在医疗方面，我们可以做的事情很多。从服务提供方（医院、体检机构等），到供应方（药厂、医疗器械）再到支付方（保险类企业）再到病患端，都有很多方向可做。人工智能可以做什么呢？我们可以看到，有很多内容可以被人工智能赋能，比如新药研发、药品推荐等等。给大家推荐一本书——由人民出版社出版的《新基建：数字时代的新结构性力量》。我有幸参与了这本书里关于智慧医疗内容的编写，可以从不同的角度思考新基建背景下智慧医疗的作用、覆盖到哪些方面。布局智慧医疗的时候，商汤科技在不同的板块都有切入，但是核心还是围绕计算机视觉技术，搭建一个与影像相关的智慧诊疗平台，也就是SenseCare®智慧诊疗平台。这个智慧诊疗平台跟大家平时看到的有什么区别？第一、在赋能放射科单科室的基础上，有没有可能再赋能到医院的其他临床科室？比如骨科、呼吸科、胸外科，这些医生平时不会坐在影像科、不会坐在工作站前，他们有没有可能也用到人工智能的算法呢？第二、除了辅助诊断工作以外，有没有可能在治疗、康复、随访等环节给临床医生足够的帮助？因为临床医生面对的是病患，放射科医生更多地是支持临床医生，直接跟病人打交道的临床医生不仅要做诊断，还要给出治疗方案，能不能对他们提供支持呢？基于这样一个理念，我们研发了SenseCare®智慧诊疗平台。简单来说，可以落地在医院信息科、放射科，在数据绝对不出科室的情况下，让终端用户也就是临床医生，只需要一个笔记本电脑、甚至iPad，仅通过访问网络浏览器的情况下，不需要插件就可以应用我们提供的所有医疗AI功能，以及医学影像三维后处理功能，并且让不同临床医生读取不同数据，从而启动不同的工作流，实现赋能全院临床。这里有两大技术壁垒，首先，如何实现精准的检测、分类、分割；其次，终端用户希望有一个三维的阅片环境，很多临床医生跟病人交流，或者给出手术规划时，基于二维的片子上会非常困难，但在三维的结果上会更加便捷。这就要求我们在不传递原始数据的情况下，能够支持一个医院里上百位医生同时做三维分析的需求。打个比方，以前大家看电影的时候，都是把影片下载到本地，由媒体播放器播放，现在是流媒体在线看。这也是类似流媒体的技术，只不过是三维数据的渲染，而且带实时的交互。基于这样的技术和人工智能算法的引擎，我们开发了一系列的应用模块赋能到临床医生。首先来看跟肺相关的视频，除了可以看到的肺结节的检测和分类外，我们还提供了三维的重建以及漫游导航的效果，帮助临床医生非常直观、便捷和深层次的分析，为病人提供更精准的治疗方案。今年疫情期间，我们在SenseCare®智慧诊疗平台上，一周之内完成从数据标注、深度学习算法，再到工作流的开发，上线了新冠肺炎检测的功能。当时一系列医疗AI的企业都做了类似的功能，驰援了不同的医院，因为需要帮助的地方很多，多一份力量总是更好的。我们帮助了十几个省市的医院完成了很多辅助诊断和复工复产期间的体检工作，因为确实在前线出现了核酸检测是阴性，但是CT判断是疑似病例，及时进行隔离后二次核酸检测复阳的情况。所以，影像AI技术在抗疫期间给前线医生提供了很大的帮助。这是心脏冠脉分析功能 ，同样也是在SenseCare®智慧诊疗平台上。以前这个工作非常耗时，需要在后处理工作站上做复杂的手动三维重建和分析，但是随着人工智能的引入，可以快速完成自动三维重建并检测到可能的狭窄区域。这是客户端，上百个医生可以同时去使用这个AI应用，这就有别于传统单机版工作站，因为医院不可能给每个医生配一个工作站，但是配一台电脑是很容易的事情。同时系统也提供了自动完成胶片排版和生成结构化报告的功能，这样可以节省医生的时间去做分析。
在胸部影像方向，我们还开发了DR胸片应用。国内的CT检查比较多，但是海外使用DR更加普遍，因为辐射剂量小一些，而且速度更快。所以，海外用户的需求是，有没有可能在DR的数据上进行肺病多病（肺炎、结节等）的诊断。为此，我们开发了针对DR的辅助诊断系统，同样加载在SenseCare®智慧诊疗平台上面。这是骨肿瘤手术规划，跟上海市第九人民医院合作。左下是CT数据，上边是核磁共振，CT抓取骨头的信息比较清晰，核磁共振抓取肿瘤的信息比较擅长。多模态的数据融合到一起生成三维模型，导出后做3D打印，可以帮助医生进行骨肿瘤的手术规划和导板的设计。这样做有什么好处呢？比如，在以前的工作模式中，需要九院的骨科医生、放射科医生、3D打印工程师一起在工作站前合作，整个过程持续一到两周以上。但是，这么长的时间周期里，肿瘤很可能会发生病变，手术计划也会滞后。现在在网页上，医生和3D打印工程师运用SenseCare®智慧诊疗平台就可以远程进行直观交流，在人工智能分钟级别的计算效率之上，整个方案制定流程大约数小时就可以完成。从产品角度来讲，这项工作是比较复杂的，因为涉及到多模态数据，中间有多个算法，包括两种数据之间的配准融合、不同的分割算法和3D重建。但是SenseCare®良好的平台化设计，在很短的时间里面就实现了整个工作流的打通，当然前期投入的工程力量是巨大的。这个例子也验证了类似SaaS平台的远程方式，可以给临床医生提供很便捷的帮助。接下来是病理，不同的病理图像可能是几十万乘几十万像素级的大小，这是消化道、胃肠道癌症筛查。数据从头到尾都在服务器上，但是通过网页浏览器的方式，我们会有更为流畅的体验：几个G大小的图片能够远程实时阅片，在不传输原始数据的基础上，还可以进行疑似癌症区域的检出。我们在上海市第一人民医院落地以后，在两万多个病人数据上进行测试，并且以医生的报告为标准做比对。在84%筛阴率的情况下，到目前为止一例漏检都没有发生，这些工作的背后都有一系列论文的支持。同样，我们把算法进一步延伸到TCT上，在合作医院也进行了落地。刚才上面提到的例子，更多的是偏向单个医院的部署和合作环境，因为SenseCare®智慧诊疗平台是一个SaaS平台的部署形式。我们还为它特地开发了云化的方案，底层支持安全可靠的数据存储、备份恢复机制，向上则加载数据和人工智能的管理功能，帮助区域级多家医院得到人工智能的赋能。回到刚才这张图，区域级SenseCare®智慧诊疗平台需要5G的支持，原因是数据的传输、特别是影像数据的传输很耗带宽，做SaaS服务的时候，需要三维的渲染，而且平台还要同时支持几百个医生，在我们看来这是已知的瓶颈。算法层面的问题可以想办法进行解决，但是带宽层面没有特别好的办法，最终还是要跟5G进行结合。今天简单给大家介绍了一下商汤智慧医疗在医学影像方面的工作，影像跟很多板块有关联性，比如手术导航、高值耗材和手术机器人等。同时，医疗板块非常大，一家公司不可能做完。所以，我们希望与不同企业的力量、不同医院的力量一起合作，共同探索这个领域，实现共赢，真正的普惠大众。推荐阅读