查看原文
其他

ECCV2018|视觉目标跟踪之DaSiamRPN

朱政 极市平台 2019-03-28

极市平台(ExtremeMart)是深圳极视角旗下的专业视觉算法开发与分发平台,为开发者提供行业场景集,每月上百真实项目需求,算法分发,技术共享等,旨在联合开发者建立起良好的计算机视觉生态。已与上百名开发者建立了合作并转化了上百种视觉算法。

为加速广大开发者视觉算法的转化及变现,极市开启了有奖视觉demo征集活动,通过测试的优秀demo(不需要源码!)提交者将会得到丰厚奖励和更多合作机会点击了解详情

来源:目标检测与跟踪

https://zhuanlan.zhihu.com/p/42546692



作者团队提出的DaSiamRPN(Distractor-aware SiamRPN)在VOT2018上取得了非常Top的成绩(EAO=0.38+),具体名次会在两周之后的ECCV VOT Workshop上面公布。


经过长时间的准备,SiamRPN (CVPR2018) 和DaSiamRPN (ECCV2018) 的训练模型和结果复现代码上线GitHub: 

https://github.com/foolwood/DaSiamRPN


在这个repository 中,大家可以下载我们已经train的model, 复现我们在VOT2018 Challenge中的结果 (EAO=0.38+), 代码方面有什么问题的话,大家直接开issues或者私信@Qiang Wang

(https://www.zhihu.com/people/2d6e027e5d25744f64f437b50df5dea1)


下面和大家分享一下我们在这次新工作过程中的一些发现:


1,在做完SiamRPN之后,我们发现虽然跟踪的框已经回归地比较好了,但是响应的分数仍然相当不可靠,具体表现为在丢失目标的时候,分类的分数仍然比较高(例如0.8+),换句话说,其实我们推断SiamRPN只是学习到了objectness/non-objectness的区分,一个具体的例子见下图(左半部分):




2, 之所以出现上面的问题,我们的结论是 训练过程中的样本不均衡造成的. 一个是正样本种类不够多,导致模型的泛化性能不够强;我们的解决方案是加入detection的图片数据, pair可以由静态图片通过数据增益生成;加入detection数据生成的正样本之后,模型的泛化性能得到了比较大的提升. 第二个样本不均衡来自于难例负样本,在之前的Siamese网络训练中, 负样本过于简单,很多事是没有语义信息的;我们的解决办法是用不同类之间的样本(还有同类的不同instance)构建难例负样本,从而增强分类器的判别能力. 不同种类的正负样本的构建可以参见下图. 以上两个改进大大改善了相应分数的质量,见上图的右半部分:在丢失目标的时候,相应分数随之变得很低,说明跟踪器的判别能力得到了改善。



3, 有了高质量的响应分数之后,一个bonus是可以做long-term的tracking. 我们采用了一个比较简单local-to-global的扩展搜索区域方法,在UAV20L上面取得了state-of-the-art的结果:



4, 在VOT实验方面,DaSiamRPN超过了ECO,速度是160+FPS, 下面是一些实验结果图:





上面的VOT2017的结果(0.326)是三月份的,在参加VOT2018的时候,EAO已经来到了0.38+(手动优秀)。


还有UAV123数据集上的实验结果:


还有ablation的分析:


以及不同GPU平台上的速度比较:


最后我想说的是:希望大佬们多多指教,大家一起把单目标做快做好,一起push学术界的前沿研究以及工业界的场景落地~







*推荐阅读*

用OpenCV实现八种不同的目标跟踪算法

一种轻量级在线多目标车辆跟踪方法


为加速广大开发者视觉算法的转化及变现,极市开启了有奖视觉demo征集活动,通过测试的优秀demo(不需要源码!)提交者将会得到丰厚奖励和更多合作机会,点击了解详情


    您可能也对以下帖子感兴趣

    文章有问题?点此查看未经处理的缓存