加入极市专业CV交流群，与10000+来自腾讯，华为，百度，北大，清华，中科院等名企名校视觉开发者互动交流！
同时提供每月大咖直播分享、真实项目需求对接、干货资讯汇总，行业技术交流。关注 极市平台 公众号 ，回复 加群，立刻申请入群~
来源：机器之心@微信公众号
计算机视觉顶会 CVPR 2020 接收结果已公布，6656 篇有效投稿中录取了 1470 篇论文，录取率约为 22%。本文介绍了微软亚洲研究院的研究者被 CVPR 2020 接收的一篇论文，其提出给换脸图像做「X-Ray」，检测图像是否是合成图片，并指出合成的边界，兼备了识别和解释两种特性。
换脸，是滥用深度学习的结果之一。之前我们对视频还是比较信服的，而自从 Deepfakes、FaceSwap 等应用开源以后，我们能自己生成各种换脸视频，网络上也开始流传层出不穷的「假视频」。自 2019 年以来，我们采取了很多方式来封杀换脸应用，弗吉尼亚州 7 月将 Deepfake 滥用列入非法范畴、推特 11 月发布首个反 Deepfake 策略、谷歌 10 月发布 FaceForensics 基准数据集以反对假视频。然而，尽管有了应对措施，换脸算法也在不断改进，我们很难有一个通用的算法能检测不同模型生成的合成图。
人脸变换中的两种模式，我们常见的是第二种，将目标人脸的各种姿态表情都迁移到原来的人脸中。我们有不同的算法生成换脸图像，甚至以后会有越来越多的新算法生成更生动的换脸视频。但目前主流的检测方法是，在真实图像与伪造图像上训练一个二分类模型，希望它能判别出来。如果训练数据都是 Deepfakes 生成的，那么显然它不太能判断 FaceSwap 生成的伪造图像。因此，我们需要从另一个角度，看看生成换脸图像都经过什么步骤，有没有可能找到一种通用方法。换个角度，考虑轮廓
微软亚洲研究院常务副院长郭百宁表示：「现在我们提出了一个方法，它既不需要了解换脸后的图像数据，也不需要知道换脸算法，就能对图像做『X-Ray』，鉴别出是否换脸，以及指出换脸的边界。」论文地址：https://arxiv.org/pdf/1912.13458.pdf所以新模型 Face X-Ray 具有两大属性：能泛化到未知换脸算法、能提供可解释的换脸边界。要获得这样的优良属性，诀窍就藏在换脸算法的一般过程中。如下所示，大多数换脸算法可以分为检测、修改以及融合三部分。与之前的研究不同，Face X-Ray 希望检测第三阶段产生的误差。
换脸模型的典型过程，之前的研究都在检测换脸带来的误差，而 Face X-Ray 希望检测到融合的边界。读者可能会疑惑，DL 真的能识别融合过程中的缺陷吗？郭百宁博士表示，在图像采集过程中，每一张图像都有其独特的特征，它们可能来源于拍摄硬件，或者处理软件。只要不是一体生成的图像，它们在融合的过程中都会留下线索，这些线索人眼看不到，但深度学习能捕获。下图展示了图像噪声分析与误差水平分析，我们可以发现，真实图像展现出一致地噪声模式，而换脸明显会有所不同。
其中 a 为真脸，b 为合成图像，中间列为噪声分析，右侧一列是误差水平分析。郭百宁博士说：「一般我们在探索、做研究的时候都要提出一些大胆的想法，另一方面我们也在思考这个想法到底靠不靠谱，有没有证据来支持它。而噪声分析与误差水平分析，正好就是 Face X-Ray 具有优良效果的证据。」这些观察都表明，模型确实有潜力发现融合过程中产生的缺陷。现在，我们可以想象一下，对于每一张输入图像，Face X-Ray 会计算一张灰度图，如果模型检测出换脸的痕迹，它就会在灰度图上画出边界，如果模型检测不出痕迹，那么灰度图就是空的。
Face X-Ray 会识别换脸图像融合的边界，如果是真实图像，则不反馈边界。怎样学习换脸边界？
基本思想已经很明确了，那么具体怎样做才能使 Face X-Ray 学习各种换脸边界，而不用管换脸模型与数据集到底是什么？在论文中，研究者表示，如果我们在生成换脸时同时生成它的边界，那么使用换脸后的图像与合成脸的边界，模型就能自行学习到判别知识。沿着这种思路，Face X-Ray 只需要采用真实人脸，就能完成训练。具体来说，研究者通过三个步骤生成 Face X-Ray 图像：
给定真实人脸 I_B，找另一张真实人脸 I_F 以表示 I_B 的变换结果，与此同时生成换脸区域。
对于第一步，研究者会使用人脸特征点作为匹配标准，从其余图像/视频中根据欧氏距离找一组样本，然后从这组样本中随机找一张作为换脸后的「脸部」。在第二步，初始的 Mask 定义为人脸特征点的凸包。因为面部变换并不一定总是集中在面部的主要部分，例如只改变嘴部位置。因此，研究者采用随机形变以构建更合理与真实的 Mask 区域，且 Mask 区域最后会采用高斯模糊以平滑边缘。第三步给定面部图像 I_F 与背景 Mask I_B，模型就能通过如下方程 1 获得融合结果。而最终的 Mask 也能通过另一个方程提炼出融合的边界。值得注意的是，研究者针对 I_F 应用了色彩校正技术，以匹配背景图像的色彩风格。如下方程 1 所示，M 为灰度值从 0 到 1 的 Mask，其越接近 1，融合图像就更多采用的是 I_F 部分的面部图像，即目标人脸图像。
泛化优异的 Face X-Ray
在论文的实验部分，我们可以看到 Face X-Ray 具有非常优秀的泛化性能，不论是什么样的算法生成的换脸图，它都有非常不错的效果。下面的实验图表很明显地证实了这一点，研究者采用 FaceForensics++中的基准数据集作为训练与测试集，Xception 是之前最优的二分类换脸检测模型。因为 FaceForensics 基准数据集有四种换脸算法合成，即 DeepFakes (DF)、Face2Face (F2F) 、 FaceSwap (FS) 和 NeuralTextures (NT)，研究者将它们拆分为四种训练与测试集，并最后在 FaceForensics++基准上做测试。此外，因为 Face X-Ray 这种只需真实图像的模型非常容易获取数据，因此研究者基于真实图像构建了一组混合图像，并表示为 BI。如下所示为主要的实验结果，例如第一行表示 Xception 在 DeepFakes 生成的数据集上做训练，然后在 DeepFakes 及其它模型生成的换脸图上做测试。
可以看出来，Xception 这类二分类模型的泛化效果并不好，如果它在 DeepFakes 数据集上做训练，那么在 FaceSwap 数据集上的效果就不好，甚至等价于随机猜测。这表明它们对换脸算法及数据集不具有鲁棒性，只要稍微修改一下，检测算法的效果就会降低很多。相比而言，Face X-Ray 就稳健很多，即使不在对应的数据集上训练，不知道换脸算法是什么，它的准确率也都在 95% 以上。当然，并没有完美的换脸检测模型。微软亚洲研究院高级研究员陈栋博士说：「如果图像是整体合成，那么 Face X-Ray 是难以检测出来的；如果针对 Face X-Ray 训练一个新换脸模型，我们的算法也有可能被攻击到。换脸与换脸检测是矛与盾的关系，两者相互促进与发展。」
-END-
*延伸阅读
极市平台视觉算法季度赛，提供真实应用场景数据和免费算力，特殊时期，一起在家打比赛吧！
添加极市小助手微信（ID : cv-mart），备注：研究方向-姓名-学校/公司-城市（如：目标检测-小极-北大-深圳），即可申请加入目标检测、目标跟踪、人脸、工业检测、医学影像、三维&SLAM、图像分割等极市技术交流群，更有每月大咖直播分享、真实项目需求对接、求职内推、算法竞赛、干货资讯汇总、行业技术交流，一起来让思想之光照的更远吧~
△长按添加极市小助手
△长按关注极市平台，获取最新CV干货
觉得有用麻烦给个在看啦~