鹿晗都有AI粉了，为什么AI换脸剧的效果还这么渣？

点击“开发者技术前线”，选择“星标🔝”

在看|星标|留言,  真爱

燃财经（ID:rancaijing）原创  作者 | 金玙璠 苏琦

“科技改变追星生活。”

近日，B站上出现了多个鹿晗AI换脸的视频，因为换脸后的人脸轮廓、表情非常自然，加上鹿晗本人颜值出挑，很多网友自称成了鹿晗的AI粉。

B站截图

这些视频多由UP主制作并上传，时长约2-4分钟左右。

与此同时，日前同样因为AI换脸被推上热搜的古装网剧《三千鸦杀》迎来大结局。剧中被换脸的角色“青青”就没这么幸运了，不但没有AI粉，自开播以来就因“技术太差”被网民“群嘲”是车祸现场，“五分钱换脸”“画面有点诡异”“一个人毁了整部剧”等评论充斥在弹幕和微博评论中。

《三千鸦杀》中的AI换脸效果呈现

片方换脸的原因是，剧中“青青”一角的饰演者刘露因大闹公共场所被拘留，如今替代刘露饰演青青一角的演员是张鼎鼎。但呈现出的效果差强人意，角色换脸后的五官明显大于常人，表情生硬，脸部边缘还出现了模糊、扭曲的情况。

“片方想要挽回‘劣迹艺人’造成的损失可以理解，但是处理方式过于低劣。如果选择AI换脸，至少也要达到之前B站up主‘换脸哥’混剪的效果，结果呈现出来的是美图秀秀的水平，面部扭曲、表情生硬、脖子和头颜色完全分离。”在影视行业工作6年的陈倾对燃财经表示。

AI换脸并不是首次应用在国产影视剧中，2019年播出的《封神演义》《光荣时代》《长安十二时辰》以及刚刚完结的《时光与你都很甜》中，都使用了该技术，但效果不尽如人意。

简单来说，这是一种先通过视频/图片采集一位演员的面部表情，再通过转换编码给另一位演员“换脸”的技术。此前这项技术进入公众视野，是2019年B站up主“换脸哥”将94版《射雕英雄传》中朱茵的脸替换成杨幂，以及陌陌旗下的ZAO App在朋友圈掀起的“换脸”风潮。

多位业内人士对燃财经表示，《三千鸦杀》中的换脸效果的确不太理想，但背后不是只有技术原因这么简单。这次影视剧中被“群嘲”的AI换脸操作与ZAO相比，为何效果不佳？AI换脸成本如何？自娱自乐效果尚可，一商用就“露怯”，这项技术是否真的有应用市场？

• 《三千鸦杀》背后的换脸团队应该是在DeepFake开源算法的基础上做了一些优化，但在表情和动作，尤其是脸部边缘处理上存在一些问题，所以用户觉得效果僵硬；

• ZAO是开卷考试，所有题目都已经做过，烂熟于胸；而影视剧中的AI换脸属于闭卷考，做的题目都是没学过的，只是利用原来学过的一些知识和经验去重做一遍，效果差距自然很大；
• 目前市场上AI换脸的价格大概是1.5万元/分钟，手动换脸的价格在十几万元/分钟，即便是简单的内容，最低市场报价也要在5-6万元/分钟；
• 很少有公司单做AI换脸这一项业务，因为研发成本没有其他的落地项目来摊销，盈利很难。

被群嘲的AI换脸术比不过ZAO？

AI换脸技术最早出现在2017年，也被叫做“深度伪造技术”(DeepFake)，简单来说，就是通过人工智能深度学习技术将视频中出现的人脸替换成另一张脸。这一技术的鼻祖是一位名叫“DeepFake”的开发者。同年，他将这项技术开源，他的名字也就成了AI换脸技术的统称。

智能互动视频播放器技术平台极链科技Video++联合创始人董慧智告诉燃财经，DeepFake这套算法的弱点就在于，脸部边缘的处理，尤其是在较为夸张的脸部表情处理上，还没有做过深度处理，因此每家公司在实际使用中都要自己做一些优化处理。

他从《三千鸦杀》的换脸效果判断，“背后的换脸团队应该是在DeepFake开源算法的基础上做了一些优化，只是优化得不是特别好，在表情和动作，尤其是脸部边缘处理上还是存在一些问题，因此从用户角度来看效果确实比较僵硬”。

《三千鸦杀》因角色AI换脸在微博被“群嘲”

此次AI换脸的效果，也被众多用户拿来与曾经火爆一时的换脸工具ZAO进行对比。

2019年8月30日，“仅需一张照片，出演天下好戏”的ZAO App上线，它也是基于DeepFake算法演变出的产品之一。

ZAO App的功能介绍

在瑞莱智慧RealAI产品负责人唐家渝看来，“其实ZAO的大部分视频脸部边缘处理得也不是很好，估计是它的建模过程学习到的特征也不是特别好。”

ZAO的效果虽然看起来略好一些，但也不代表技术一定更优，因为两者使用场景不同，难度不同。

“AI技术的核心在于训练的过程，训练后的模型应用于同一领域，很多算法的准确度可以接近100%，这是AI有优势的地方；但缺点是与人类相比，AI的联想能力较弱，没有训练过的内容几乎不会。”董慧智说。

众所周知，ZAO里可供用户换脸的影视剧片段是特定场景，也就是说，技术难度相对较小。董慧智分析，ZAO背后需要训练的时间比较长，需要选定视频库中的片段，对其中男女主角的脸部进行长时间的学习和训练，不断调参，经过线下预处理再上线，用户的使用效果自然不错。

而影视剧中的临时换脸难度更大，需要在短时间内，对一个未经训练的影视剧进行AI批量换脸。董慧智对燃财经表示，AI分训练和推理两个阶段，前期训练的过程很长，可能要一到两周甚至几个月，而一次推理过程也就是几百毫秒。因此一般情况下，提供技术的AI公司受限于成本和时间要求，只能用有限的样本来训练模型，推理时却面对的是海量多样化的视频，效果不是特别理想。

在董慧智看来，两者难度的差异相当于，ZAO是开卷考试，所有题目都已经做过，烂熟于胸；而影视剧中的AI换脸属于闭卷考，做的题目都是没学过的，只是利用原来学过的一些知识和经验去重做一遍，效果差距自然很大。

AI换脸的真实水平与成本难题

据唐家渝介绍，影视剧AI换脸的效果与剧中人物的角度正面与否、光照条件有直接关系。也就是说，如果采用比较前沿的算法，上述两个条件较好的情况下，数据采集充分，最终建模的效果会比较好，肉眼基本难以分辨，除非场景的复杂度较高，比如脸部被一片树叶遮挡，这就需要后期的人工修复了。

“我看剧(《三千鸦杀》)中有的片段，人物都是相对正面的角度，光线看起来也还不错，在这样的情况下，换脸面部依旧没有贴合，说明技术确实一般。”唐家渝说。

那我们看到的B站up主“换脸哥”以及“AI鹿晗”的作品，还有很多好莱坞作品为何能够以假乱真呢？

“有点炫技的意思。”董慧智认为B站up主“换脸哥”的作品（将94版《射雕英雄传》中朱茵的脸替换成杨幂），应该是经过后期人工处理的，效仿好莱坞一些特效软件，人工干预、时间长、造价高。

94版《射雕英雄传》中朱茵的脸替换成杨幂

那么，AI公司如果接到影视剧换脸的任务后进行重新训练和应用是否可以？答案是可以，但要保证训练的速度足够快。“这样做很不经济，相当于每造一幢小房子，就要请国际顶尖设计师来设计一遍，造价太高了。”董慧智补充道。

在好莱坞电影史上，“换脸”技术早就被广泛应用于影视剧中，甚至创造出一个虚拟的真人出来，当然造价也是高得惊人。

最具代表性的要数2015年的《速度与激情7》，直接让去世的主演保罗·沃克“复活”了。据此前外媒报道，只用CGI（计算机合成图像）技术一项，就将这部电影的制作成本从原计划的2亿美金提升至了2.5亿美金。

2019年上映的电影《双子杀手》更是将CGI技术向前推了一步，创造出一个减龄至23岁的威尔·史密斯，与真人版51岁的威尔·史密斯进行近身搏斗。

这不是单纯的对男主角威尔·史密斯进行面部“减龄”，而是从肌肤、骨骼、眼睛、牙齿光泽各个方面进行再造。

《双子杀手》中真假威尔·史密斯近身搏斗的场景

要实现这样的效果，首先需要数据准备，通过传感器收集演员不同的脸部姿态、角度、表情以及光照的脸部图像，其次需要进行专门的数据处理，通过电脑进行数字维度上的转换，最后依照计算机系统对人脸表情变化的特征点，在虚拟形象上重构。当然，在制作部门建模的时候参考了大量威尔·史密斯年轻时拍过的电影画面。

这一场真假威尔·史密斯的近身搏斗，只有4分钟的戏份，却需要后期团队花九个月的时间调整和完善，难度之大、成本之高可想而知。据说光是这个CGI人物的制作费用就是威尔·史密斯片酬的2倍。

在成本方面，此前有媒体报道，目前市场上AI换脸的价格大概是1.5万元/分钟，手动换脸的价格在十几万元/分钟，即便是简单的内容，最低市场报价也要在5-6万元/分钟。

唐家渝从不同角度拆分AI换脸的成本，一方面是算力的成本，需要有高性能、一定数量的GPU，硬件的价格比较高；另一方面是拍摄、收集各种照片以及建模的成本；此外，事后处理一些遮挡情况也需要一定的人工成本。

手动P图换脸的成本自然更高。“如果我现在是影视制作方，演员出了问题，我肯定不会找手动换脸。1秒的画面一般有23-30帧，每一帧都要手动换，成本太高了。”唐家渝表示。

也就是说，目前国内影视行业一旦遇到需要替换演员的突发情况，AI换脸相比手动换脸，是成本可控的挽救方式。

AI换脸商业化前景几何？

《三千鸦杀》中的AI换脸效果呈现

据娱乐资本论矩阵号河豚影视档案报道，《三千鸦杀》背后的AI换脸技术提供方，是一家受到资本市场认可，估值已达几十亿元的公司，但并不主营影视类项目，因此也不擅长做影视剧中的AI换脸。

“很少有公司单做AI换脸这一项，盈利很难，因为研发成本没有其他的落地项目来摊销。”董慧智告诉燃财经，“拖后腿”的因素，除了成本、技术成熟度之外，还有供需双方对AI换脸技术的理解、预期相差较大。

“不光用户，包括影视剧的制作方、导演，对AI换脸技术都没有那么了解，他们因为觉得‘既然ZAO都做得那么好了’，而对影视剧换脸的期望值过高。”他认为这也是制约行业发展的很重要的因素。

但总得来说，董慧智介绍，AI换脸技术在行业中主要有两大商业化模式。

一种是向大的视频平台和制作方输出技术，类似于定制开发，收取的是授权费+维护费，这种方式成本高，定价也高，一般都是百万量级；另一种是按单次需求的工作量（要换多少张脸，一共多少秒）收费，一般是影视剧制作方提出换脸需求，技术公司去实现。

具体到极链科技Video++，董慧智透露，“AI换脸”只是公司数十款产品中的一个，如此一来，80%的研发成本是共用的，边际成本也就更低。

而想要扩大商业化范围，隐私问题是一个绕不开的话题。先前红极一时的ZAO，就是用户因上传的照片无法撤掉而担忧信息泄露、遭遇诈骗等问题，纷纷弃用。

与ZAO类似，极链科技Video++的商业化方向之一是面向C端用户的技术解决方案，即让用户上传自己照片，和自己的idol演对手戏。董慧智对燃财经透露，这一方面可以与影视剧的播放平台直接合作，也可以链接大平台的粉丝社区，未来有一定的商业价值，当然，也会吸取ZAO的前车之鉴。“ZAO最大的问题是把脸部图像保存下来，才有了隐私侵权问题，我们会注意避免这个问题。”

除此之外，极链科技Video++还有两个商业化方向是，用人脸做emoji表情以及对短视频/直播中人物的再创作。

后者应用需求在B站伴随同人创作而崛起，一般而言，是将短视频/直播中的人物替换成动漫脸、GIF表情包等。这一方向还在2018年的国内掀起了一股“虚拟主播”的热潮，因为媒体、教育、医疗、娱乐、客服等多个领域和场景，无一不适用，于是搜狗、科大讯飞、斗鱼等大公司都进场试水。

此次疫情期间应用的AI主播

唐家渝提供了另一个商用方向。

众所周知，DeepFake的开源降低了AI换脸的技术门槛，但与之相应的黑产也快速生长，各种换脸情色视频和软件教程层出不穷，在国内已经形成了一个上游提供软件及技术、中游提供视频、照片定制、下游售卖成品视频，甚至有的商家做的是全产业链的生意。

越来越多的人开始抵制AI换脸，其风险在于经过AI换脸的合成照片、合成视频是人类仅凭肉眼无法识别的，部分甚至无法通过单一技术模型鉴别，很容易被当作真实信息进行再次传播。因为除了DeepFake，最常使用的AI换脸算法还有FaceSwap和Face2Face，不同算法生成的结果千差万别。

那么“反黑”，也就是通过使用鉴别器算法来打假，就是个不错的商业化方向。国外最负盛名的是一家总部位于阿姆斯特丹的创业公司Deeptrace，在国内，RealAI是最早涉及这一领域的公司，去年底正式上线了针对Deepfake的深度伪造视频检测工具。目前，RealAI已经在金融行业做出反欺诈的解决方案，主要应用于信贷风控领域。

总体来说，影视行业是目前AI换脸技术更容易落地的场景，但眼下需求有限。随着机器学习算法的快速学习与进化，AI换脸相关从业者要做的是，在烧钱的电影特效和人人取之可用的入门级App之间，寻找性价比和安全性最高的商用领地。

*题图来源于Bilibili Up主AI王子。应受访者要求，文中陈倾为化名。

END

历史推荐

点个在看吧