中国团队“霸屏”全球权威人脸识别竞赛，依图夺冠！
新智元报道
新智元报道
来源：FRVT
编辑：文强，三石
【新智元导读】美国国家标准与技术研究院（NIST）刚刚公布了有工业界“黄金标准”之称的全球人脸识别算法测试（FRVT）结果，依图科技以千万分之一误报下的识别准确率超过99%，继续保持全球人脸识别竞赛冠军，中国公司商汤科技摘得第三名和第四名。
根据最新公布的全球权威人脸识别供应商测试 FRVT 结果，旷视、商汤和依图这三家视觉独角兽首次在公开场合同台竞技，最终由依图拿下第一。
FRVT 是美国国家标准技术局（NIST）定期举办的人脸识别供应商测试（Face Recognition Vendor Test），旨在衡量人脸识别算法的最先进水平。由于训练集不公开，数据集不能凭借过拟合测试集达到更好的成绩，再加上结果受商业因素影响较小，FRVT 素来被视为工业界“黄金标准”。
根据报告，排在第一名的是依图科技今年10月提交的算法，也是参赛团队中在千万分之一误报指标下，唯一将漏报率降到1%以下的团队。在相同漏报率的情况下，商汤科技（Sense time-001）的误报率是依图（yitu-002）的30-50倍，在误报率指标相同的情况下，依图的漏报率是商汤的30%-45%。
在这份官方公布的报告中，中国人工智能公司实力展现，依图科技（yitu）、商汤科技（sensetime）、旷视科技（megvii）囊括了前十中的五席，加上排名第五的中国科学院深圳先进技术研究院（siat），中国团队已经超过半数，并稳稳“霸屏”前五，领跑全球人脸识别算法。
美国国家标准与技术研究院（National Institute of Standards and Technology，NIST）直属美国商务部，主要任务是建立国家计量基准与标准，提供为美国工业和国防服务的测试技术，参加标准化技术委员会制定标准等。NIST指导下的人脸识别算法测试，数据均来自真实业务场景，意味着测试结果代表该技术在实战场景中的表现。
FRVT通过上百亿次样本比对，对算法精度的评估可以到达百万分之一，也是当今全球规模最大、标准最严、竞争最激烈、最权威的人脸识别算法比赛。由于竞赛评测标准的严谨性、一致性和全面性，FRVT十多年来一直被业界作为人脸识别算法性能的“黄金标准”。
FRVT人脸识别测试集数据量很大，包含签证照片（visa）、逮捕照片（mugshot）、网络摄像头照片（webcam）、人脸自拍（selfie）和无约束环境下人脸图像（wild）等几大种类，FRVT会在每次结果报告中给出特定阈值下单项测试集的排名。
FRVT人脸识别测试集有多种测试集组成，数据量大且均来自实际场景，代表了算法在实战场景中的表现。制图：新智元
截至目前，全球顶级大厂都参加过这项竞赛，包括老牌大厂荷兰公司Gemalto，法国公司Morpho，日本公司Panasonic，俄罗斯公司Vocord，以及中国的海康威视、平安科技等。
最新一次的FRVT测评结果是2018年10月中旬提交，本次共有39个厂家参与，相比4个月前多了7家，分别是Anke、比特大陆（Bitmain）、大华股份（Dahua）、商汤科技（Sensetime）、Saffe、Tech5，以及文安智能（Vion）。
由此，这次测评也成为商汤、旷视、依图三家视觉独角兽首次在公开场合下的实力较量，算法比拼可谓激烈。
从专业角度讲，没有哪种人脸识别算法可以在任何场景下都做到性能最优，这也是每家公司提交多个算法的原因之一。
但是，从下图中可以看出，依图人脸识别算法在Visa（≤0.000001和≤0.0001，受限和不受限）场景下位均居第一，Mugshot也位于前十，表现优异。
FRVT官网最新Leaderboard：左起第三列开始，数字右上角的角标代表算法在特定阈值下单项测试集的排名，可以看出 yitu-002 在 Visa 和 Mugshot 两个场景中性能优异，因此综合排名第一。
值得一提，yitu-001是依图科技2018年6月评测提交的算法，时隔多月仍然处在前十之列。
在 1：1 人脸识别领域，业界通常以误识率（False Match Rate，FMR）、漏报率（False Non-match Rate，NMR）作为衡量算法能力的主要指标。
简单说，“误识”就是把不应该匹配的人脸当做成功匹配，“漏报”则是应该成功匹配的没有查找出来。
一般来说，在误识率相同的情况下，识别准确率越高，漏报率越低，都意味着算法的性能越好。
2018年10月中旬FRVT测评，Visa测试集上误识和漏报相关（ROC）曲线。排在第一名的是依图科技今年10月提交的算法（最下方的紫红色线条），也是参赛团队中在千万分之一误报指标下，唯一将漏报率降到1%以下的团队。来源：FRVT
2018年11月16日发布的报告显示，由依图代表的全球人脸识别算法最高水平，可以做到在千万分之一误报率下，漏报率降低于1%，这意味着千万分位误报下的识别准确率已经超过99%。相比于去年同期，全球人脸识别性能提升了80%。
在安防场景中，万路甚至十万路摄像头视频的人脸搜索、归档对算法有极高要求，在这些场景下，假定每路人流为万，要在万路视频中，搜索性能相当于要求算法百亿、千亿规模上的可识别率。这时候，识别率99%和99.99%的不同算法，以及以这些算法为基础的产品端体验差异，就会被同比例放大。
因此，千万分位误报下的识别准确率超过99%，意味着更多核心关键的安防场景被解锁。
另外值得关注的是，在最新成绩排行上排名前十位的公司几乎都是创业公司，而且多数来自中国。全球老牌企业在人脸识别算法技术上的迭代速度，相比较创业公司已经呈现落后趋势。
FRVT报告链接：
https://www.nist.gov/sites/default/files/documents/2018/11/16/frvt_report_2018_11_16.pdf
【加入社群】
新智元 AI 技术 + 产业社群招募中，欢迎对 AI 技术 + 产业落地感兴趣的同学，加小助手微信号：aiera2015_2 入群；通过审核后我们将邀请进群，加入社群后务必修改群备注（姓名 - 公司 - 职位；专业群审核较严，敬请谅解）。