【强基固本】DINO：目标检测benchmark COCO屠榜的正确姿势

“强基固本，行稳致远”，科学研究离不开理论基础，人工智能学科更是需要数学、物理、神经科学等基础学科提供有力支撑，为了紧扣时代脉搏，我们推出“强基固本”专栏，讲解AI领域的基础知识，为你的科研学习提供助力，夯实理论基础，提升原始创新能力，敬请关注。

来源：知乎—西红柿牛腩

地址：https://zhuanlan.zhihu.com/p/478461226

不小心在paperwithcode看到，DETR系列的论文又屠榜了，在COCO test-dev达到创纪录的63.3AP，忍不住想写一下，2020年以来DETR系列的优势和历程（如何灌水的）,虽然原作者也经常上知乎，班门弄斧只为抛砖引玉，更多的思想交流吧。

01

DETR干了啥？

DETR是2020年，由Facebook AI提出，开创性将Transformer引入Detection领域，去掉传统两阶段FasterRCNN和一阶段CenterNet的代表性小技巧（面试最容易考），如RoIpooling，NMS，anchor generation等。

Transformer中attention机制能够有效建模图像中的长程关系（long range dependency），真正实现end-to-end的目标检测新范式。

DETR将目标检测看作一种set prediction问题，并提出了一个十分简洁的目标检测pipeline：backbone CNN提特征，送入Transformer做关系建模，得到的输出通过二分图匹配算法与图片上的ground truth做匹配。

02

DINO能干啥？

最新屠榜的这篇DINO，是清华大学，香港科技大学等人提出来的，比较奇怪是论文相互引用，作者也几乎是同一套班底，DN-DETR发表在CVPR2022, DAB-DETR发表在ICLR2022,idea有很多相似的地方。

论文的说法是，解决三个问题:

a. Contrastive DeNoising Training

为了改善one-to-one匹配问题，训练的时候正样本和负样本同时加了噪声。添加smaller noise的作为正样本，其他作为负样本，主要目的是去重box。

b. Mixed Query Selection.类似于经典的two-stage模型，提出mixed query selection method，有助于改善queries的初始化。

c. Look Forward Twice.类似于经典的FPN，引入非临近层的特征，更像是增加感受一下，提高小目标的表达能力。

写不动了，想了解DETR系列如何刷榜COCO的，可以看看Awesome Detection Transformer

https://github.com/IDEACVR/awesome-detection-transformer

03

为什么是COCO，objects365&openimages去哪里了？

去年的一个工作是用一个backbone，训练openimages& objects365&COCO 1000+目标，说的就是这篇论文Uninet，累的要命，objects365 64w图片，openimages 150w图片，而COCO只有12万，80类检测目标。训练objects365需要32G V100 8卡机一周，而训练COCO只需要32G V100 8卡机二小时，三个分支加一起就得1个月才能训练一遍。发论文需要千百次训练，哪有那么多时间，要是我也愿意在COCO做些文章，万一过拟合也能涨点不是。

04

Detection还要解决那些问题？

1. Transformer需要对特征图上每个位置都参与计算，高分辨率图像必然导致高计算量和空间复杂度，小目标检测一般，目前主要靠多尺度增强小目标的检测能力。

2. Transformer在初始化的时候，attention weights 几乎是平均的，迭代周期长，训练速度也会慢很多。

最后一段话，大半夜的写这干啥。最近因为工作关系写了不少PPT，发现从第一性原理了解太少，要想保持手艺还得多写多看。刚加入1个打卡群，每天走路10000步，达不到发红包50元。也想每天都看看写写，甭管字多少，有多少错误，保证每天要有输出。

[1]DINO: DETR with Improved DeNoising Anchor Boxes for End-to-End Object Detection.
Hao Zhang*, Feng Li*, Shilong Liu*, Lei Zhang, Hang Su, Jun Zhu, Lionel M. Ni, Heung-Yeung Shum
arxiv 2022.

paper: https://arxiv.org/abs/2203.03605

code: https://github.com/IDEACVR/DINO

[2]DN-DETR: Accelerate DETR Training by Introducing Query DeNoising.
Feng Li*, Hao Zhang*, Shilong Liu, Jian Guo, Lionel M. Ni, Lei Zhang.
CVPR 2022.

paper: https://arxiv.org/abs/2203.01305

code: https://github.com/FengLi-ust/DN-DETR

[3]DAB-DETR: Dynamic Anchor Boxes are Better Queries for DETR.
Shilong Liu, Feng Li, Hao Zhang, Xiao Yang, Xianbiao Qi, Hang Su, Jun Zhu, Lei Zhang.
ICLR 2022.

paper: https://arxiv.org/abs/2201.12329

code: https://github.com/SlongLiu/DAB-DETR

[4][DETR] End-to-End Object Detection with Transformers.
Nicolas Carion, Francisco Massa, Gabriel Synnaeve, Nicolas Usunier, Alexander Kirillov, Sergey Zagoruyko.
ECCV 2020.

paper: https://arxiv.org/abs/2005.12872

code: https://github.com/facebookresearch/detr

本文目的在于学术交流，并不代表本公众号赞同其观点或对其内容真实性负责，版权归原作者所有，如有侵权请告知删除。

“强基固本”历史文章

更多强基固本专栏文章，

请点击文章底部“阅读原文”查看

分享、点赞、在看，给个三连击呗！