终于!商汤科技开源DAVIS2017视频目标分割冠军代码

52CV 我爱计算机视觉

(关注52CV——有价值有深度的公众号~

用目标重识别改进视频目标分割。

传统视频分割经常依赖于时序连续来生成mask(目标的掩膜),而真实的视频中的目标位置往往存在着一些跳变,比如在目标快速漂移和被遮挡的时候因为较大的位移而使得这种假设目标运动连续的算法失败。为了克服这个问题,来自香港中文大学、哈尔滨工业大学和商汤科技公司的研究团队提出了一种更有效的机制,即通过自适应的目标重识别(object re-identification)应对目标丢失。


基于此的目标重识别视频分割(VS-ReID)模型包括目标mask生成模块和ReID模块。mask生成模块通过光流卷曲(flow warping)生成初始的(目标-背景)引导概率图,ReID模块则在视频序列中通过自适应匹配检索丢失的目标实例。这两个模块迭代应用,有效解决了视频分割中突然的目标位移过大带来的丢失,VS-ReID模型在2017 DAVIS视频分割比赛中获得了冠军。


问题描述:给定视频序列和第一帧的标注,输出所有实例后续的mask

困难点:实例分割中小目标和精细的结构与尺度和姿态的变化,跟踪中频繁的遮挡:

应对策略:Mask 生成模块与目标重识别模块

VS-ReID算法总览:

Mask生成模块示图:

通过前后帧的光流再前一帧mask的卷曲,生成引导概率图:

 

目标重识别模块:

从重识别模块给定的包围盒恢复目标mask:

例子:在第21帧和80帧恢复了两个之前被遮挡的目标:

DAVIS 2017比赛测试集上取得了最好的精度:

一些分割示例:


算法来自论文《Video Object Segmentation with Re-identification》

https://arxiv.org/abs/1708.00197

代码:

https://github.com/lxx1991/VS-ReID

https://liuziwei7.github.io/projects/VSReID.html

点击阅读原文可以在www.52cv.net查看本文和代码主页

欢迎随手转发,让更多人看到——不是看到这个算法好,而是看到你很努力

更多精彩推荐:

视频语义显著实例分割数据集SESIV

重磅!彭博社“机器学习基础”教程视频及讲义下载

谷歌更新TensorFlow目标检测API

MultiPoseNet:人体检测、姿态估计、语义分割一“网”打尽

阿里巴巴提出Auto-Context R-CNN算法,刷出Faster RCNN目标检测新高度

文章已于修改
    Read more

    发送中