详解对象检测网络性能评价指标mAP计算

微信公众号：OpenCV学堂
关注获取更多计算机视觉与深度学习知识
觉得文章对你有用，请戳底部广告支持

上次我写了一篇关于mAP计算的文章，发布之后得到很多网友的反馈，有感于此，觉得有必要重写一篇，目的有两个，一个是告诉大家你们的意见我收到了，另外一个是细化了我对mAP的计算过程的理解，如有廖误恳请指正，本人一定虚心接受！欢迎继续拍砖！

对象检测评价参数解释

对象检测评价是针对对象检测系统性能指标的整体性能评估，评价指标包括

• 正确检测率

• 错误检测率

• 漏检率

等常见指标，更广义的评价还包括检测率除以精度与敏感性。检测对象的评价多数是基于某测试数据集的，通常称为SUT(System Under Test), 我们在训练时候使用的数据通常被称为GT Sytem(是带有正确标准框的数据)。评价对象检测系统性能经常需要用到术语与解释如下：

FP – False Positive是指一个对象出现在SUT中但是没有出现在GT中

TP – True Positive是指一个对象既出现在SUT也出现在GT中
FN – False negative是真一个对象出现在GT中但是没有出现在SUT
TN – True negative是指对象在SUT与GT中均没有出现
CGT – complete ground truth 是指总的GT数目

二：计算AP与mAP

在计算AP过程中最重要的是生成Precision-Recall Curve (精确度-召回率曲线)，它是计算mAP最重要的一步动作。下图中有六个book的标注框(GT)
蓝色矩形框标注信息如下：

book 439 157 556 241
book 437 246 518 351
book 515 306 595 375
book 407 386 531 476
book 544 419 621 476
book 609 297 636 392

红色矩形框算法预测结果如下： 

有八个预测框，根据得分从高到低的排序如下：

book 0.619459 413 390 515 459
book 0.462608 518 314 603 369
book 0.460851 429 219 528 247
book 0.382881 403 384 517 461
book 0.369369 405 429 519 470
book 0.298196 592 310 634 388
book 0.272826 433 272 499 341
book 0.269833 433 260 506 336

其中第二列是预测边界框(BB)对book得分

判断TP与FP代码如下

if ovmax >= min_overlap:
    if "difficult" not in gt_match:
        if not bool(gt_match["used"]):
          # true positive
          tp[idx] = 1
          gt_match["used"] = True
          count_true_positives[class_name] += 1
          # update the ".json" file
          with open(gt_file, 'w') as f:
              f.write(json.dumps(ground_truth_data))
          if show_animation:
            status = "MATCH!"
        else:
          # false positive (multiple detection)
          fp[idx] = 1
          if show_animation:
            status = "REPEATED MATCH!"
else:
    # false positive
    fp[idx] = 1
    if ovmax > 0:
      status = "INSUFFICIENT OVERLAP"

计算累计TP与FP的代码如下：

for idx, val in enumerate(fp):
  fp[idx] += cumsum
  cumsum += val
cumsum = 0
for idx, val in enumerate(tp):
  tp[idx] += cumsum
  cumsum += val

积分求解
Precision与Recall数据的取值范围都在0~1之间，以Recall为X轴位、以Precision为Y轴可以绘制PR曲线。在绘制之前首先需要完成插值操作

首先对精度数据首尾添加0然后进行最大值插值取值，得到mpre
【1.0, 1.0, 1.0, 0.66, 0.5, 0.5, 0.5, 0.5, 0.5, 0】
对召回数据首尾添加0与1得到mrec
【0, 0.166, 0.33, 0.33, 0.33, 0.33, 0.5, 0.5, 0.66, 1.0】

进行寻找变化的梯度得到index(1、2、6、8、9)，对曲线积分求解最终的AP为：

loop index(1、2、6、8、9)
AP =+ ((mrec[index]-mrec[index-1])*mpre[index])
return AP

上面的解释是AP计算方法，VOC2007对计算出来结果，根据原始取得的recall进行最大插值为11点的方式来计算AP，图示如下：

另外一种方式被称为全插值方法，同样是基于最大值进行插值，得到曲线显示如下

通过插值之后进行AP计算得到的结果会跟积分直接求解的结果不同，当前PASCAL VOC都是基于全插值方式来计算AP，最终根据每个类别的AP求和之后除以总的检测类别数目就得到mAP值。

mAP = sum(AP) / N 
其中N表示总的类别数目

操千曲而后晓声，观千剑而后识器

插播一条广告，欢迎加入【OpenCV研习社】体系化学习计算机视觉，掌握OpenCV+tensorflow编程技术，扫描下面二维码即可加入，给自己未来加油！

【推荐阅读】

坚其志，苦其心，劳其力

事无大小，必有所成

关注【OpenCV学堂】

长按或者扫码即可关注