【AI识人】你需要知道的10种行人属性

点击上方↑↑↑“OpenCV学堂”关注我

告诉你影响行人ReID的十个行人属性

作者知乎: https://zhuanlan.zhihu.com/p/37931822

论文与数据参考URL

- paper：
https://arxiv.org/abs/1703.07220
- dataset：
https://github.com/vana77/Market-1501_Attribute
https://github.com/vana77/DukeMTMC-attribute

数据与属性

• 论文中为两个大型行人数据集（Market-1501 和 DukMTMC-reID）标注了多种行人属性

• 属性是基于ID-level的，也就是说每个人只标注一套attribute（如是否背包、上衣长袖还是短袖）

• 具体的行人属性如下：

十种行人属性如下：

• 性别 gender male(1), female(2)

• 头发长短 hair length hairshort hair(1), long hair(2)

• 袖子长短 sleeve length uplong sleeve(1), short sleeve(2)

• 下衣长短 length of lower-body clothingdownlong lower body clothing(1), short(2)

• 下衣类型 type of lower-body clothingclothesdress(1), pants(2)

• 戴帽子 wearing hathatno(1), yes(2)carrying backpackbackpackno(1), yes(2)

• 背包 carrying bagbagno(1), yes(2)carrying handbaghandbagno(1), yes(2)

• 年龄 age ageyoung(1), teenager(2), adult(3), old(4)

• 8种行人上衣颜色 8 color of upper-body clothingupblack, upwhite, upred, uppurple, upyellow, upgray, upblue, upgreenno(1), yes(2)

• 9种行人下衣颜色 9 color of lower-body clothingdownblack, downwhite, downpink, downpurple, downyellow, downgray, downblue, downgreen,downbrownno(1), yes(2)

以下是比较直观的示例：

当我们识别两个人是不是一个人的时候，其实不会直接得出答案，而是先看他们的属性，是不是同性，或者说他们是不是穿一样的衣服（短时间内）。这有助于我们得出最后的判断。

另外，属性也可以用于格式化文本生成，以此反过来检索行人。

这个数据集也可以被用在 行人生成的GAN网络中。

实验验证

作者提出数据集的标注方法（ID level的标注）

还提出一个baseline 的 attribute 和ID 同时训练的网络

3. 实验部分也有 有趣的结论：

属性之前也是有关联的，比如性别和是不是穿裙子（如下图可以发现，基本穿裙子100%是female，有83%是长发）

属性学习 有助于 行人重识别的精度

定性的实验（学到的attention更广了）

定量的实验（Market 从73.69到 84.29）

哪一个属性帮助最大呢？是不是每个attribute都有助于reid。

可以看到在Market上bag是影响最大的。而hat由于本来数据总量就比较少，加不加这个属性似乎没有显著影响。

而在DukeMTMC-reID上则是鞋子的颜色。这也是make sense的，因为我自己实验也发现attention往往会忽略鞋子（因为CNN也是会偷懒的），而attribute强调了这部分。

在Market-500k上也显示出了良好的性能（其实market做到90多以后，大家可以试试market500k这个难度真的挺大的）

感谢看完，欢迎讨论

往期精选

告诉大家你 在看