行业|大有可为！围手术期AR/VR医疗应用大盘点

点击蓝字关注↑↑↑，每天一篇原创行研

前言

随着人口的增长与科技的迅速发展，人们对手术治疗的高要求、强需求极大地推动了增强现实和虚拟现实技术在医疗领域的应用。增强现实(Augmented Reality，AR)和虚拟现实(Virtual Reality，VR)技术在医疗领域中获得了显著的吸引力，正在大量地应用于多个医疗场景。

虚拟现实和增强现实是利用计算机技术与现实环境交互的一项科技，成为能够提供医学环境的两种主要手段。医生可以看到真实手术部位和可视化虚拟三维解剖全息图并在全息图上对感兴趣的部位进行标记，为医生创建了一种虚实结合的半沉浸式手术环境。根据国际数据公司（IDC）全球半年增强和虚拟现实消费指南，AR/VR支出的五年复合年增长率（CAGR）将为78.3％。预计2023年全球增强现实和虚拟现实支出将达到1600亿美元，远高于2019年预测的168亿美元。在医疗领域，根据Research&Markets.com调查显示，AR/VR医疗正在经历大幅度的提升，其预期复合年增长率为33.36%，市场价值预计将从2018年的6.217亿美元增至2024年的34.97亿美元。

一、什么是AR&VR？

Lavallee等人早在1995年就提出了基于增强现实的混合构建模型（hybrid model construction）构建一个虚拟模型对于医生实施手术是十分必要到，因此它提出了将CT/MRI/X光等医学影像数据、AR/VR头显设备、患者、手术机器人等构建T1、T2…Tn坐标系，将T1…Tn多个坐标系串联起来，用于为手术系统收集不同类别的信息。

对于AR/VR的具体区别，知乎大神说得很好——VR是梦到鬼了，AR是大白天遇到鬼了。虚拟现实技术为用户创造一个特定场景的虚拟空间，使用户完全沉浸在一个虚拟的合成环境中，无法看到真实环境，具有交互性（Interaction）、沉浸性（Immersion）和想象性(Imagination)三大特点，也被称为3I特点。增强现实技术能够把全息图、图片、视频、声音等融合在现实环境中虚实结合，真实的环境场景与虚拟的全息信息进行交互，两种信息交互补充和叠加。PokemonGo是增强现实技术的具体体现，玩家通过在现实世界中走动以抓取虚拟宠物角色。

下面就让我们就来看看AR/VR在医疗领域的具体应用吧！

二、AR医疗主要应用场景

1、术前模拟/规划/培训

ImmersiveTouch

ImmersiveTouch位于芝加哥的伊利诺伊州，成立于2005年，主要使用Vive和Oculus Rift头戴式显示器（HMD）以及触觉反馈设备设计多种AR/VR交互式医疗使用场景，已成功为到神经外科、矫形外科、眼科、耳鼻喉科等多科室的术前模拟、术中使用提供了帮助。目前公司业务主要分为三个模块：ImmersiveView™ VR、ImmersiveView Surgical Planning (IVSP™)。

ImmersiveSim™ Training主要提供手术培训、手术模拟的功能，主要面向医学院学生及各个医疗器械公司。该平台能够为使用者提供身临其境的独特模拟/培训机会，开发了多种学习模块可以替代昂贵的尸体训练，可以通过触觉反馈设备清晰地感受到患者皮肤、肌肉、骨骼之间的触觉差异。每个模块能为使用者提供即时的教学反馈，并可配备纠正性培训和复杂的评分系统，以改善和量化手术操作规范性。该平台与克利夫兰诊所、芝加哥大学医学院、约翰霍普金斯大学医学院等医疗机构合作，大量实验数据显示该平台能够提高手术的准确性、缩短手术时间，减少手术并发症，增加外科医生的信心。

ImmersiveSim™示意图

Medivis

两位来自纽约大学医学中心(NYU Medical Center)的医生Osamah Choudhry、Christopher Morley在2017年联合创立了Medivis，Medivis是众多寻求将AR和VR等新技术引入OR的公司之一。今年3月Medivis推出了基于HoloLens和Magic Leap的解剖学培训平台AnatomyX，AnatomyX平台可提供5000个以上的解剖结构3D模型，这些模型数据来自于真实病人的CT和MRI。学生们可通过手势和100多种语音指令与这些模型交互，在Magic Leap One中它还支持6DoF手柄交互。此外，该平台最多可支持20人实时协作。西海岸大学、宾夕法尼亚大学已经在使用这种平台。除了与微软存在硬件合作伙伴关系外，Medivis还与通讯大头Verizon合作，成为其大肆宣传的5G网络合作伙伴。5G的到来使得SurgicalAR能在30秒内从服务器中提取医学图像进行全息显示。Medivis还正在整合机器学习的功能，以便在病人开始计划手术过程时，从他们的医疗记录和诊断中识别出最相关的信息。

AnatomyX示意图

Touch Surgery

Touch Surgery成立于2013年，由两位伦敦的外科医生创立。用户头戴微软的HoloLens头显，用户会看到一个专业外科医生的实时视频反馈，在这之上还会覆盖虚拟指导，告诉手术是如何进行的。目前已开发出数百个外科手术的视频教程，较为著名的是Go Surgery，用户能直接使用iPhone/ipad，它将为医学生提供全息逐步指南，手把手地手术教学，每一项手术操作包含详细的介绍，包括解剖位置、麻醉方式、适应症及禁忌症、术后并发症等，现已成功在英国和美国的医院完成了测试。

Panteleimon Pantelidis等人发表了《Virtual and Augmented Reality in Medical Education》论文，其中列举了不少在AR&VR医疗领域的产品，在解剖、内窥镜手术、神经手术、骨盆手术等领域的应用产品，如下图所示。

2、术中诊断/导航/手术

Medivis

Medivis在成立初期就收到了Initialized Capital、DELL、微软等公司的大力支持，获得了230万美元的投资，并推出了第一代产品SurgicalAR，随后SurgicalAR一路风生水起，在今年6月获得了FDA认证。目前外科手术仍然主要依靠二维成像技术来理解和操作极其复杂的病人病理。Medivis将全息可视化和导航技术引入外科手术，为外科医生提供增强现实数据集成和可视化工具，从根本上推进了手术干预，彻底改变了外科医生对病人的安全操作方式。Medivis能够访问患者数据，并将其可视化地表示为三维模型，供医生在计划手术时参考。这种模型被映射到病人身上，从而为外科医生提供一种最佳的手术方案。Medivis首席执行官、神经外科医生乔杜里Choudhry表示“全息可视化是手术成像和导航的最终前沿。”

Surgical AR示意图

EchoPixel

EchoPixel在2017年的第103届北美放射学会(RSNA)会议上展示了最新版本的交互式的混合现实医疗软件True 3D，目前True 3D已获FDA认证。该软件利用DICOM图像数据创建器官、血管和其他结构的真实尺寸的全息版本，允许医生旋转、调整大小、解剖和作出切口，以虚拟病人特定的解剖。这一功能使医生能够更快地读取图像，从而更快地进行诊断，并提供更好的术前规划，还扩展了计算机断层扫描(CT)和磁共振成像(MRI)之外的支持模式，多种医学影像数据能够有助于更好地评估植入式装置的大小、子宫肌瘤和子宫血管的分布以及胎心的评估。该公司在2017年获得了由英特尔领投的850万美元A轮融资。

ImmersiveTouch

ImmersiveView™ VR将患者的CT、CBCT、3D血管造影和MRI扫描等术中实时医学影像呈现在医生佩戴的头显上，使医生看见另一个数字化患者(digital twin)。该平台可用于放射室、手术室、医生办公室，使医生查看患者术中的关键扫描信息，也能使患者更清楚诊疗情况，目前这款平台已通过FDA及CE认证。

IVSP™沉浸式手术规划平台将DICOM数据转换为高保真的三维VR模型进行可视化，在此基础上提供了相应的可视化手术工具，帮助医生团队研究、评估、规划手术并在手术中使用，并且能够与医学数字成像数据(DICOM)以及患者档案和通信系统(PACS)兼容，可使用Oculus Rift手柄可以实现切割、测量、标记等手术操作。该平台能使医生进入到耳鼻喉腔道、神经束等细微视角，也有上帝视角观察全局解剖结构，由深及近地进行手术规划。目前 IVSP™已通过FDA认证，HIPAA认证及CE认证。

    IVSP™示意图

Surgical Theater

Surgical Theater是由前以色列空军人员建立的，结合了以色列军方的尖端战斗机飞行模拟技术。Surgical Theater的主要产品为Precision VR，通过VR 技术进行外科手术的影像指导，改善外科医生手术方式，帮助手术顺利进行。Surgical Theater与光学导航系统NordicNeuroLab公司合作，将其公司的nordicBrainEX DTI(弥散张量成像)处理应用整合在Precision VR平台中，这样会使医生对相关的解剖、功能组织和细部组织进行深入的细节扩展和提高沉浸感。Surgical Theater曾在2016年获得HTC提供的1100万美元A+轮投资。

3、术后康复

Vivid Vision

Vivid Vision公司成立于2014年，公司成立动机是想应用VR技术治疗弱视和斜视类眼疾。目前成功推出康复治疗类游戏《Vivid Vision》，借助VR让患者通过特定设计的视觉效果去影响大脑感知能力，在游戏过程中通过正确的康复动作训练用户眼部内未被使用过或正在休眠的肌肉组织，从而达到治疗效果。除此之外，借助 VR 技术恢复视力，避免了痛苦、乏味的物理治疗方式。目前产品仅在北美的41家眼科诊所提供服务，且必须由医生处方才能获取，预计今年晚些时候推向国际市场，目前在申请FDA认证。

VRHealth

VRHealth成立于2016年，是世界上首批通过ISO认证且其所有医疗应用均获得FDA授权的VR医疗保健公司之一。其旗舰产品VRPhysio应用软件已经获得了FDA认证，并且首先用在了斯波尔丁康复医院和波士顿的Beth Israel Deaconess医疗中心，其在欧洲的CE认证也即将完成。VRHealth计划在一年内发布四款新的产品，VRPsyc用于精神障碍，包括常见的紧张、恐惧症、焦虑症、进食障碍和创伤后应激障碍(PTSD) ；VRCoordi会与VRPhysio配套使用，主要针对有发展协调障碍和各种不同水平的自闭症的孩子们，改善他们的协调能力；VRCogni主要用于改善中风患者、老年痴呆症患者、脑震荡患者、帕金森病患者的认知功能；VRReliever目的是使用户通过完成特定的动作分散注意力来管理慢性疼痛。以治疗创伤性脑损伤为例，患者参与虚拟游戏，任务是将拳击手套与在他们面前弹出的一组灯相匹配。他们的响应时间、错误和进度是实时测量和分析的。可用于评估运动员在脑震荡后的情况。

SeeMe VR

SeeMe VR主要用于中风或外伤性脑损伤患者，早在2009年就已经上市，使其成为首个用于此类患者的商用VR系统。SeeMe借助Kinect双目摄像头或标准的网络摄像头，将特定的医疗场景图像传输到患者的电脑，使患者沉浸到一个定制的治疗场景中。在这个场景中，患者需要完成由医生制定的练习项目。医生可以使用该系统来评估患者的力量、耐力、运动范围、姿势控制、反应时间、本体感受、运动质量、知觉、分配性注意和记忆力等。

三、结语

前段时间HoloLens2终于揭开了神秘的面纱，27388元非消费级水平的价格仍然让不少人对这项黑科技直呼“真香”，这距离HoloLens1发布的时间已过去了四年。HoloLens2的到来是否预计了AR/VR会迎来一个崭新的发展浪潮？

反观几年前经常被拿来与HoloLens作比较的Magic Leap，当时豪气地说出“The World is Your New Desktop”（世界就是你的新桌面）的Magic Leap如今被传出销量惨淡、亏损严重、抵押专利、高管离职。Magic Leap目前正在开发代号为ML2的第二代AR头显，会兼容5G、拥有更强的深度感知。一位参与该项目的员工表示，由于基本的技术限制，这款设备还需要数年时间才能推出。

黑科技层出不穷，有人欢喜有人忧，但一定可以肯定的是：AR/VR在医疗领域的应用一定会为更加普及、更加完善。AR/VR/5G/远程医疗以及多种人工智能技术的发展，在一定程度上会影响甚至改变传统的医疗诊疗方式，有望在未来数年推动AR/VR医疗的发展。

- END -

作者 谢安然  |  编辑 刘稷轩  |  排版 Elsa

- 爆文推荐 -

- 延伸阅读 -

思宇研究院编辑招募

直接添加主编微信：88514538

请注明：应聘思宇研究院编辑

详情链接：思宇研究院编辑招募

SURIBOT医疗机器人社群

直接添加管理员微信：koi_518

请注明：单位名称-职业-技术方向

详情链接：医疗机器人社群招募

精彩回顾

▌投融资

▌热门行研

▌思宇访谈

关注并星标「思宇医械观察」

置顶公众号，拒绝漏掉好文章！

免责声明:

本文所载信息来源于公开资料或访谈，思宇医械观察不保证其准确性与完整性。本文所载信息、材料或分析只提供给收件人作参考之用，不是或不应被出售、购买或认购证券及其他金融工具的要约或要约邀请。 收件人不应单纯依靠此文而取代个人的独立判断。思宇医械观察及其雇员对因使用本文及其内容而引致的损失不负任何责任。