文章推荐 | 手术器械透明化：微创内镜手术中的遮挡去除

视频赏析

内容摘要

微创化是外科手术的重要发展趋势，内窥镜作为监测微创手术过程的关键设备，由于体积和工作空间的限制，其视野相当狭窄。尤其是当手术器械通过工作通道进入时，内镜图像中的大部分区域被器械占据，减少了医生的手术视野，进而影响手术效率和质量。本文通过单帧图像修复使图像前景（即手术器械）透明，预测被遮挡区域信息并填充，实现内镜图像中手术器械的遮挡去除，为微创内镜手术提供完整的视野，从而提高手术质量。临床内镜图像去遮挡实验表明，本文方法能有效去除手术器械遮挡，改善内镜图像的视觉效果，在临床应用中具有巨大的发展潜力。

图文导读

（一）图1为微创手术过程中的图片示例。当手术器械（如电凝器、咬骨钳、夹钳等）通过工作通道进入后，占据了图像的大部分区域，影响医生对术区的观察。临床上，医生需要将手术器械退出内镜监测范围进行观察后再进行手术操作。这个过程在一台手术中会重复上百次，极大延长了手术时间。

图1 微创内镜手术图片示例（二）本文提出的算法整体流程如图2所示。首先利用算法对无效帧进行识别，该类图片示例见图3。由于运动模糊、组织出血等因素的影响，内镜图像几乎不包含有效信息，此类图片将被筛除，不送入后续的算法模块，这不仅能改善最终视频的效果，还能提升算法效率。无效帧识别是二分类问题，本文采用支持向量机解决，使用的是径向基函数（RBF）核函数。图2 本文提出的算法流程图图3 无效帧示例. (a)运动模糊; (b)组织出血; (c)聚焦模糊; (d)内镜进出（三）对于有效帧，参考人在预测遮挡信息时的方法，通过融合单帧图像修复和帧间信息填补结果预测遮挡区域。单帧图像修复是指利用当前帧的非填补区域信息预测填补区域，本文通过基于部分卷积的类U-Net网络实现图像修复（图4）。帧间信息填补是指通过被遮挡区域过往的信息进行预测，本文通过一个信息存储更新模块实现信息填补。 图4 单帧图像修复网络结构

（四）在真实脊柱内镜手术视频上验证了单帧图像修复算法，并利用结构相似性（SSIM）、峰值信噪比（PSNR）和均方根误差（RMSE）评估算法效果（图5）。

图5 单帧修复算法实验结果

本文采用的数据集由无器械遮挡的图片构成，在训练时随机叠加手术器械分割数据集的人工标注蒙版，生成有缺损区域的图像。训练完成后，将算法生成的图片与原始真值图片进行对比，计算评估参数。在评估过程中，研究人员发现最终输出的图像由填充部分和非填充部分组成。若非填充部分的图像直接从输入图像中复制，可能会人为地提高评估指标。为了解决这个问题，本文引入蒙版区域评估方法，只对输出图像的填充部分进行评估。

（五）引入基于时间衰减的自适应权值融合单帧图像修复和帧间信息填补的结果。考虑到连续帧图像填补的信息有效性会随着时间衰减，本文对帧间信息填补的信息赋予时间衰减函数。基于对应像素信息所在帧与当前帧的时域距离计算权重矩阵W。

对融合效果进行验证的消融实验如图5所示。为了保证安全性，对图像中的器械进行透明化处理时保留器械头部，以确保医生能够准确观察器械位置，但这会导致器械移动过程中会留下轨迹，污染信息储存模块的有效信息，使用固定权重可能导致受污染的信息随着时间的推移一直保持不变。相比之下，本文使用的自适应权重可以使污染信息随着遮挡的持续而减少，使手术器械痕迹等无效填补在视觉上产生褪色效果，从而降低对手术的影响。遮挡持续的时间越长，引入时间衰减系数的优势越明显。

图6 消融实验

综上，本文针对微创内镜手术中的器械遮挡问题，提出了一种遮挡去除方法，可以使内镜视频中的手术器械实现透明化的视觉效果，辅助医生更好地观察手术区域，提升手术效果。实验表明，本文所提方法在真实临床手术内镜视频中可以实现预期视觉效果，这为未来微创内镜手术图像智能化处理提供了新的思路。

【作者信息】

Dongsheng Xie^a, Wenxin Chen^a, Jin Zhao^b, Xinya Song^a, Kaifeng Wang^c, Weiwei Xia^c, Haiying Liu^c, Fangle Chang^d, Changsheng Li^b,*, Xingguang Duan^a,b,*a School of Medical Technology, Beijing Institute of Technology, Beijing 100081, China b School of Mechatronical Engineering, Beijing Institute of Technology, Beijing 100081, China c Department of Spinal Surgery, Peking University People’s Hospital, Beijing 100044, China d Ningbo Innovation Center, Zhejiang University, NingBo 315100, China* Author to whom correspondence should be addressed: [e-mail]，[e-mail]

【DOI】

https://doi.org/10.1016/j.birob.2023.100105

【全文链接】

关于本刊

Biomimetic Intelligence and Robotics（《仿生智能与机器人（英文）》，CN 37-1527/TP，ISSN 2667-3797）是由教育部主管，山东大学主办，山东大学科技期刊社与爱思唯尔（Elsevier）联合出版的国际学术期刊，2019年入选中国科技期刊卓越行动计划。目前已被Ei Compendex、Scopus和DOAJ等国际数据库收录。

Biomimetic Intelligence and Robotics聚焦仿生智能与机器人领域，主要发表高质量原创理论和应用研究成果。涉及领域包括但不限于：仿生设计、仿生材料、仿生驱动与感知、工业机器人、服务机器人、特种机器人、医疗机器人、微型和纳米机器人、软体机器人、外骨骼系统、机器学习、人机交互、运动学和动力学、运动规划与控制、自主系统、多机器人系统等。

期刊接收包括原创研究论文、综述、短篇通讯等多种类型的文章，目前对作者和读者均免费，平均审稿周期30天，诚邀广大学者将高质量的创新成果投稿至本刊。

其他推荐

【专题征稿】- 仿生软体机器人：驱动、感知与集成仿生杂谈 | 山高路险坑深 看我 α-WaLTR【本期目录】Vol‍ume 3 Issue 3 September 2023文章推荐 | 基于扭矩控制的蛇形机器人在非结构环境中的自适应滚动运动喜讯！Biomimetic Intelligence and Robotics被Ei收录

点击“阅读原文”