兼具慧眼与巧手，英伟达联合初创打造全能手术融合系统

药明康德AI/报道

说起英伟达（NVIDIA）这家公司，他们在人工智能领域取得的成果累积是有目共睹的。在擅长领域取得一定积累后，专注于底层算力的英伟达开始思考上层应用的方向，英伟达创始人兼首席执行官黄仁勋先生曾表示：人工智能的第一阶段，是开发自动化编程的软件；第二阶段，是将软件应用于行业的自动化，这种自动化带来的效率提升会刺激原有的市场；第三阶段，是AI走出计算机，影响外部的世界。

按照上述定义，目前AI正在发展至第二阶段。我们此前也报道过许多AI与生物医药领域交叉研究进展，相信大家也十分熟悉，当熟知的领域再加一点智能进去，那么一些困惑已久的问题能在多大程度上被解决呢？

加一点，再加一点智能

如果说人类看到的世界是五彩的，计算机看到的世界是虚像的“0”和“1”，那么融合人类和计算机视觉（Computer Vision, CV）的前沿技术会给人们带来哪种不一样的色彩呢？关于融合人类和机器的眼，英伟达旗下孵化的一家西雅图初创公司Proprio 是认真的，他们希望融合人机视觉、计算机视觉，为外科医生提供沉浸式高清3D的全面视图。从而打造基于AI、VR、CV技术的尖端手术融合系统。

手术中外科医生不仅要拥有一双巧手，更需要慧眼，这也就是为什么手术显微镜、X光机、手术眼睛等器械有存在的意义，它们能辅助手术更加顺利地进行。但一个问题是，每一个设备都独立存在，不能相互通信或连接；换言之，各装置间互相连接问题尚未很好被解决。虽然借助单个仪器，医生可以对手术进行相对精准的判断，但效率是一个问题，医生往往需要在各类不同功用的手术仪器中不断切换。

为解决该痛点，研究人员便将人体视觉和计算机视觉精妙融合，为外科医生提供了身临其境、高清晰3D的全面视角，进而解决各手术仪器尚未被很好连接的问题。研究人员将多个笨重且昂贵的手术设备的功能压缩到由单个光场（Light Field）捕获渲染系统中，使用该技术，可以让虚拟现实原型机模拟出像人类的眼睛那样，基于距离对物体进行聚焦的效果。功能压缩也不会意味着原仪器的作用会被弱化，它们的成像均会被完好保留。在英伟达视觉计算平台（Quadro）GPU的支持下，Proprio公司的融合手术系统成功捕获外科手术现场，并将其与术前影像融合在一起，从而创建交互式3D可视化效果，以供外科医生在术中实时查看使用。

3D成像，手术精度得到提高

图片来源：Pixabay

在这项新技术中，Proprio公司使用最新的Quadro RTX 6000 GPU来应对诸如多模态图像渲染和配准、图像校正处理、3D几何重建以及CT图像分割这样的任务。凭借英伟达Quadro视觉平台自身的速度和强大性能，Proprio公司开发了光场相机阵列和图形处理管道，不但可以捕捉手术场景中的任意高清体积的展示，而且还可以在任何地方远程进行放大和重新聚焦。

那么Proprio公司的自定义算法又有什么厉害之处呢？该算法以生动的3D形式渲染和传输图像，与手术前CT和MRI扫描融合在一起，并实时更新组合的场景。这相当于将机器学习融合于CT分割、光场阵列校准、深度估计和用户动作分析监测。这项技术更像探寻人体组织的“导航器”。基于该公司的自定义算法，外科医生使用VR头戴设备放大组织，围绕角落并向下到微观水平，这样医生们全程可进行自由流畅的操作，不用担心是否会造成一些术中失误。

不例外，Proprio公司的融合手术系统也可以用于培训医学实习生。它能够使人类在虚拟手术环境中熟悉手术场景、手术所需工具仪器、手术技能以及实际模拟手术。在AI“老师”的帮助下，相信这些未来的外科翘楚的手术技艺会更加精湛。

图片来源：Pixabay

解决了图像的清晰化、操作流畅度以及手术培训的问题，还有一个要解决的便是实现可视化的速度和性能。Proprio将图像渲染从CPU转移到基于GPU的渲染。自从英伟达GPU架构升级之后，该手术系统的各类计算任务的性能都得到不少提高，尤其是三维重建方面，其预估性能提高了3倍。

当Proprio自定义算法的优越性与英伟达计算机视觉平台的速度及功率相结合，对于外科医生来说是事半功倍的，这样医生便可以专注于他们最擅长的领域，以最自然的方式进行手术，不会受到任何机器或者不明因素的干扰。

目前Proprio公司正与西雅图儿童医院（Seattle Children's Hospital）、华盛顿大学（University of Washington）医学院和其他研究医院的神经外科、整形外科展开多种形式的合作，来进一步验证开发这款手术融合系统的实用性、安全性等。新科技已走入医疗现场，甚至有产业分析“大胆预言”，人工智能和虚拟现实将在10年内，成为医院手术里的日常风景。不过在此之前，我们还是先期待得到有越来越多的外科数据从而验证更多手术系统，以及更多的新技术能连接多种手术仪器。

药明康德AI整理编译

来源：blogs.nvidia

参考资料：

[1] The RealCutting-Edge: Proprio Fuses AI, VR, Computer Vision for Precision in SurgeryRetrieved Oct 28, 2019 from https://blogs.nvidia.com/blog/2019/10/17/proprio-quadro-rtx/

版权说明：欢迎个人转发至朋友圈，谢绝媒体或机构未经授权以任何形式转载至其他平台。转载授权请在「药明康德AI」微信公众号后台回复“转载”，获取转载须知。

更多文章精选

点击图片阅读：恶性肿瘤遇对手，谷歌AI预测甲状腺结节遗传风险初见效

点击图片阅读：细数生物医药领域“灯塔”级AI项目，有望照亮行业发展之路吗？

点击图片阅读：谷歌、亚马逊、Facebook纷纷挑战蛋白质折叠问题，布局新药研发

点“在看”，分享AI健康新动态