目标检测的性能上界讨论
加入极市专业CV交流群,与6000+来自腾讯,华为,百度,北大,清华,中科院等名企名校视觉开发者互动交流!更有机会与李开复老师等大牛群内互动!
同时提供每月大咖直播分享、真实项目需求对接、干货资讯汇总,行业技术交流。关注 极市平台 公众号 ,回复 加群,立刻申请入群~
作者:ChenJoya
链接:https://zhuanlan.zhihu.com/p/94990078本文已由作者授权转载,未经允许,不得二次转载。
发现了最近 arxiv 上的一篇文章 Empirical Upper-bound in Object Detection and More,作者们在多个数据集上探讨了多种检测器所能达到的性能上限,颇有当年 Speed/accuracy trade-offs for modern convolutional object detectors 的风采。“目标检测还有什么能做的?”这个问题确实很令人迷茫,但自己今后仍然会密切关注这个方向,希望能和这篇文章一样,为大家带来一些启发。
Abstract
(1)在作者的计算方式下,PASCAL VOC (test2007) 的上界可以达到 91.6%,COCO (val2017) 可以达到 78.2%, OpenImages V4 (val) 可以达到 58.9%,它们的上界离现在所能达到的最佳的性能仍有很大的差距;
(2)发现分类错误(混淆/漏检)比定位错误和重复检测错误更加重要;
(3)分析了一些数据增强的措施对检测器的影响。
分析
1. 实验细节
(1)平台:主流检测框架 mmdetection,detectron2 ;
(2)模型:R-CNN 系列(FasterRCNN, MaskRCNN, GridRCNN, LibraRCNN, CascadeRCNN, MaskScoringRCNN, GAFasterRCNN, HTC),one-stage/anchor-free系列 (RetinaNet,SSD, FCOS, CenterNet [objects as points]);
(3)数据集:PASCAL VOC (训练 07+12, 测试 07test), MS COCO (训练 train2017, 测试 val2017), OpenImages V4 (as Kaggle Competition), Fashion dataset (作者自个的);
(4)评价标准:COCO-style AP;
2. 如何估计性能上界
(1)假定性能上界是由 best object classifier 能达到的,即认为定位问题已经解决;
(2)探究实验,利用大网络 ResNet152 对目标进行分类,能得到多少的准确率(top-1 accuracy),发现将 object 单独分离出来效果是最好的;
图中的 0.2, 0.4, 0.6 ... 表示 box 的放缩倍数
(3)准备基于 recognition accuracy 来估计 AP 上界。设计一种生成 candidate box 的机制,用于生成不同 IoU 的 bounding-boxes 来计算 AP,并且基于这些 bounding-boxes 重新训练 ResNet-152 分类器;
(4)对于每一个 bounding-box 分配 ResNet-152 的 top-1 score 所对应的 label;
3. 各数据集的上界
(1) PASCAL VOC
(2)COCO
(3)OpenImages V4
(4)AP 与识别 accuracy 的关联
不同类别识别精度与对应 AP 的关联
4. Error Diagnosis
(1)定义四种错误类型:
(2)对于每种错误,人为地消除后观察其提升,没有了分类方面的错误后,性能提升最明显:
5. Invariance Analysis
做各种数据处理,观察性能变化。总的来说,FCOS,RetinaNet 属于最优秀的那一档。
结论
(1)现在检测器的性能还没有离上界还有一定差距(但似乎在 IoU@0.5 时已经十分接近上界了);
(2)检测器的瓶颈在目标识别(recognition)上;
(3)检测器缺乏鲁棒性;
(4)context 对小物体比较重要,但是影响大物体的性能(掉点)。
最后,辛苦作者们了!他们的分析工具开源链接:
https://github.com/aliborji/DeetctionUpperbound,但是现在似乎还是空的,后面应该会放上去。
-End-
红包口令【3】
↓↓↓
PS:新年假期,极市将为大家分享计算机视觉顶会 ICCV 2019 大会现场报告系列视频,欢迎前往B站【极市平台】观看,春节也学习,极市不断更,快来打卡点赞吧~
https://www.bilibili.com/video/av83388862
CV细分方向交流群
添加极市小助手微信(ID : cv-mart),备注:研究方向-姓名-学校/公司-城市(如:目标检测-小极-北大-深圳),即可申请加入目标检测、目标跟踪、人脸、工业检测、医学影像、三维&SLAM、图像分割等极市技术交流群(已经添加小助手的好友直接私信),更有每月大咖直播分享、真实项目需求对接、干货资讯汇总,行业技术交流,一起来让思想之光照的更远吧~
△长按添加极市小助手
△长按关注极市平台
觉得有用麻烦给个在看啦~