荟聚NeurIPS顶会模型、智能标注10倍速神器、人像分割SOTA方案、3D医疗影像分割利器，PaddleSeg重磅升级！
【导读】
开源 NeurIPS 2022顶会发表的语义分割官方实现模型 RTFormer，结合 CNN 和 Transformer 的优点，该模型设计并使用了高效的 RTFormer Block。对比其他实时语义分割模型，RTFormer 在多个数据集上实现 SOTA 精度和速度。（后续会有单独文章详细解读）
针对标注数据的难题，发布智能标注平台 EISeg 正式版，支持医疗、遥感、工业质检等领域的分割标注，新增视频分割标注，分割标注效率提升超过10倍。 针对人像分割场景，发布实时人像分割 SOTA 方案 PP-HumanSegV2，推理速度提升87.15%，分割精度达到96.63%，可视化效果更佳，可与商业收费方案媲美。 针对 3D 医疗分割场景，发布 3D 医疗影像分割方案 MedicalSegV2，支持 3D 交互式标注，实现高精度、定制化、全流程。
技术升级详细解析
▎通用场景的智能标注
▎医疗、遥感垂类场景的智能标注
EISeg 针对特定数据集进行训练并获得了高质量的交互式分割模型，目前覆盖的场景包括: 医疗腹腔多器官、椎骨分割、产品瑕疵分割、遥感建筑物分割等。同时，针对不同场景的标注需求，EISeg 提供了相应的特色标注能力，比如遥感图像支持遥感信息的读取，医疗图像支持窗宽窗位的选择等，从而拓展了交互式分割的应用领域。
目前 EISeg 提供的各类模型能够达到业界的领先水平，EISeg 通用模型精度和速度如下表所示：
EISeg 正式版视频标注工具以交互式分割算法及交互式视频分割算法 MiVOS 为基础，涵盖了通用、腹腔多器官，CT 椎骨等不同方向的高质量交互式视频分割模型，方便开发者快速实现视频的分割标注。
▎支持多种图像及标注格式
PaddleSeg 提供的智能标注能力现已落地百度大脑 EasyData 智能数据服务平台，百度智能云数据众包、标贝数据、中国空天院、国家农业智能装备工程技术研究中心等厂内外数十家公司，助力企业提升标注效率，降低标注成本。
常见的人像分割公开数据集有 EG1800和 Supervise-Portrait，数据量分别是1.8k和3k，而且都是针对通用场景。PP-HumanSegV2方案重点关注视频会议和远程通话场景，面临场景变化多样、可用数据量过少的难点。因此，我们针对视频会议和远程通话场景，构建并开源了最大的视频会议人像分割数据集 PP-HumanSeg14K。
采集的图片
标注的图片
此前的实时人像分割模型，无法实现精度和速度的完美平衡，所以我们基于 PaddleSeg 近期发布的超轻量级系列 MobileSeg 模型，根据方案目标，设计新的实时人像分割 SOTA 模型模型。（结构如下图所示）
实时人像分割 SOTA 模型
除了数据和模型方面的工作，我们还分析实际场景，提出了三种优化策略，实现最好的精度、速度和可视化效果：
■ 使用两阶段训练方式，提升分割精度
两阶段训练是基于迁移学习的思想，首先在大规模混合人像数据集（数据量100k+）上训练，然后使用该预训练权重，在 PP-HumanSeg14K 数据集（数据量14k）上训练，最终得到训练好的模型。使用两阶段训练方式，可以充分利用其他数据集，提高模型的分割精度和泛化能力。
■ 调整图像分辨率，提升推理速度
调整图像分辨率也直接影响模型的推理速度，我们使用多种图像分辨率进行训练和测试，在 PP-HumanSegV2方案中选择最佳图像分辨率，进一步提升了模型推理速度。
■ 使用形态学后处理，提升可视化效果
首先获取原始预测图像 I，然后使用阈值处理、图像腐蚀、图像膨胀等操作得到掩码图像 M，最后预测图像 I 和掩码图像 M 相乘，输出最终预测图像 O。下图直观展示了形态学后处理可以滤除背景干扰，提升可视化效果。
形态学后处理的图像
获得 3D 立体分割结果
医疗影像分割中的一个源头性问题为数据标注极为困难，专业医生需要通过极为繁杂的标注流程、多重质量保证机制来生成大量、准确标注结果。为了缓解这个问题。PaddleSeg 团队创新性地将 3D 网络应用于交互式分割流程中，并实现100%3D 数据流，形成了基于 3D 交互式分割的智能标注平台 EISeg-Med3D。
EISeg-Med3D 基于 3D Slicer 搭建，具有高效、高精度、用户友好三大特点：只要一次点击1s 生成 3D 标注结果，相比 2D 标注实现十倍提速；两次点击就可达到85% 精度，结合搭载的机器学习图像算法、手工微调工具，实现100%高精度标注；拥有标注进度管理、三步轻松安装、历史标注结果自动导入等用户友好设计。
▎极大丰富的高精度多器官前沿模型
从 v1到 v2，MedicalSeg 的内置分割算法从单个 VNet 丰富到6个 SOTA 算法，扩充的模型数量提供了更为先进高效的分割性能，覆盖了18种各类器官组织。如下表所示，复现的模型对比原始算法精度均有不同精度的提升，其中 TransUNet 相比原始算法精度提升了3.6。
有过医疗分割经验的开发者一定听过 nnUNet，作为各大比赛的打榜方案，其支持数据定制化下的高精度分割。而看过其代码的开发者也会发现其代码的晦涩难懂。为了支持大家更加灵活使用 nnUNet的需要，我们基于飞桨对其进行了模块化、清晰化的复现；同时还新增了在静态图预测时匹配多种模型、多折模型的部署方案，达到同一张图像可使用多折静态模型部署的效果，从而大大提升了其产业实用性。
MedicalSeg v2传送门
获取 PaddleSeg 详解本次升级内容的直播课链接
获取 PaddleSeg 团队整理的 5G 重磅学习大礼包，包括：
官网地址
https://www.paddlepaddle.org.cn
PaddleSeg项目地址（GitHub）
Gitee