独家揭秘龚俊、邓丽君等明星数字人背后的“黑科技”

作者｜夏雯琪

江苏卫视跨年晚会上，周深与邓丽君跨时空合唱《大鱼》感动了许多人，B站弹幕被“泪目”刷屏。“虚拟邓丽君”背后的团队，来自数字王国（Digital Domain），这家公司曾用类似虚拟人的技术，完成了《速度与激情7》中已故男星保罗·沃克的戏份。

虚拟邓丽君

同样是跨年的时间节点，百度结合AI技术推出的龚俊数字人在百度App上进行了一场直播，这是国内首个“可交互超写实虚拟人”，唱歌、说话都是由AI驱动，与虚拟邓丽君走了略为不同的技术路线。

 龚俊数字人

而湖南卫视新开播的《你好星期六》，也推出了数字人小漾，与龚俊、邓丽君的“数字孪生”不同，小漾虽然语气神态跟谢娜神似，但湖南卫视显然是希望从无到有，打造一个全新的形象。

 小漾

进入2022，明星与虚拟人技术的结合越来越深，越来越复杂。

AI驱动、超写实，技术上都已成熟；而明星的“数字孪生”是否要以假乱真，还是重塑一个新的人格，也引发行业新的思考。

百度在与龚俊合作数字人时，没想到龚俊团队会提出：“不要100%相像，最好在外形、个性、特长等方面有一定的差异。”

最终，百度借助AI技术，让龚俊数字人做了一系列真人做不到的事，比如互动聊天、AI作词作曲、弹钢琴、唱歌跳舞、直播卖货等等。

数字王国CEO谢安对剁椒TMT透露：“数字王国事实上也可以实现让AI驱动邓丽君的形象与外界对话，邓丽君的语言、动作、表情都可以做到非常逼真。但为了保证电视节目的万无一失，也保护邓丽君的形象，数字王国最终采用了更稳妥的、中之人的方式来呈现。”

此外，新冠期间的好莱坞，大量“以假乱真”的明星数字人，正在成为影视剧中的虚拟替身。

不断迭代的明星数字人，未来将去向何处？剁椒TMT跟行业前沿的几家公司聊了聊。

面捕、唇动、TTS、NLP……多重科技加持下的龚俊数字人

如今，在百度APP中将“龚俊数字人”设置为语音搜索助理，“龚俊”便会为你播报搜索结果。百度还根据龚俊的人设特点为其设置了可由机器学习的问答，风格与“小度”的说话个性形成了极大的区别。

百度语音搜索界面

百度龚俊数字人项目负责人表示，从2019年开始，百度也在打造二次元数字人IP“度晓晓”，不过“明星数字人有粉丝基础，比其他网红数字人更容易破圈，可以让更多人关注和使用百度APP，带动语音搜索的增长。”

据悉，龚俊数字人这一项目，由百度MEG（移动生态事业群组）作为统筹和核心落地，联动了百度智能云、百度大脑、语音技术部等多个部门。

在外型方面，“扫描当天影棚遭遇台风，时间很紧张，项目组只用半小时，就扫描、捕捉好了龚俊说话时的面部表情、口型肌肉等细微变化，”负责人表示，他们利用AI 自动生成模型，将原本几个月的制作周期压缩到了三周。

同时，百度采集了龚俊的20条语音，依托TTS（Text To Speech）技术，合成音色接近真人的声音；接着，基于百度的自然语言处理（NLP）技术，让数字人可以与用户对话，甚至在最近的直播中可以展现流畅的歌声。

为了让模型和AI语音结合起来，百度语音技术部用“唇动技术”还原了真人说话时的口型变化，使虚拟人说话时自然生动。“龚俊本人看到最终效果后，也觉得很有趣，还愿意与龚俊数字人进行直播连线对话。”

现在，百度APP中的龚俊数字人只有几个简单动作，更深度的对话、唱歌等功能可以在百度青春版APP（Wonder）中体验。

目前，龚俊数字人比较大的不足是动作、表情由于之前动作扫描时间有限都还不够精细，且因为动捕数据不足，在此前的直播中，虽然说话、唱歌都是AI驱动，但肢体动作还是需要借助中之人来完成。

为了提升这些能力，需要对龚俊本人进行更长时间的动作捕捉和面部捕捉。

百度方面表示，龚俊本人也有兴趣再进行一次更精细的动作捕捉，未来，龚俊数字人有望可以根据语义自动配合肢体反应，进行更复杂的互动。

2022年，百度“龚俊数字人”有两个任务，首先是进行机器深度学习，将百度的AI交互能力进一步迁移到龚俊数字人，逐渐引入更多功能，服务百度APP的用户。

其次就是，探索数字人商业化的道路。明星数字人的代言费显然低于明星本人，但，数字人会自带科技感，成为另一种的营销优势。目前，除了龚俊原本代言的品牌，也有其他品牌表达想要商业合作的意愿。

不过，除了与经纪公司共同拥有版权、不能代言竞品产品外，明星数字人的精细度与资金成本也需要进行平衡。

“龚俊数字人第一支亮相视频精细度最高，1秒钟成本近万元，而在Unreal中打造一个场景也价格不菲。”超写实数字人的制作成本较高，其强大功能上线到百度App前，还要考虑安装包包体增大、影响用户体验的问题，目前它在百度App中的精细度就比较低。

“度晓晓、龚俊数字人、祝融号数字人，我们同时在走几条不同的虚拟人道路，还需要验证模式，再进行复制。”百度相关负责人表示。

 虚拟邓丽君背后：数字王国如何做到以假乱真？

“照片写实级”，这是数字王国CEO谢安频繁提到的一个词。 

的确，作为曾负责《泰坦尼克号》等几百部大片特效的好莱坞巨头，打造CG级别的虚拟人，是数字王国最大的优势和特点，而虚拟邓丽君这些年也经历了许多次技术的迭代，逐渐做到“以假乱真”。

虚拟邓丽君初次登台，是在2013年周杰伦演唱会上合唱新歌《千里之外》。

谢安回忆起当年第一版虚拟邓丽君的制作过程：“我一辈子都不会忘记，当时有一位得过两次奥斯卡奖的视效艺术家，他灰暗的办公室里贴满几百张邓丽君的照片，用玛雅（建模软件）一笔一划、手工勾勒出了邓小姐的3D模型。”

而在动作方面，虚拟邓丽君最初由美国的一位演员模仿动作，进行捕捉，略显浮夸，还曾受到过“像迪士尼卡通人物”的争议；而后，他们不断修改、研究邓丽君虚拟人的神态和动作，提升精细度。

与当年不同的是，如今数字王国的虚拟人，早已可以通过实时渲染生成，不仅成本大幅度降低，精细度、真实感也较此前大幅度提升。

2015年，数字王国开始对人物的肌肉、毛细血管进行全方位的扫描，并引入了大量人工智能技术，利用机器深度学习去揣摩演员不同情绪下的动作和表情反馈。

今年江苏卫视的跨年晚会，邓丽君背后的声音扮演者，是由模仿邓丽君而走红的歌手陈佳来担任。除此之外，数字王国结合邓丽君生前较高清的视频，将这些机器深度学习得到的“密码”输入到模型中，实时转化为邓丽君歌唱、交谈的样子。

“最令我们最激动的不是这八年来的合唱时刻，而是2019年底，我们曾用视频通话软件，让虚拟邓丽君和邓丽君生前的亲朋好友们对话，有好几个人都哭了，在房间里一首首合唱，不愿意离开。”

谢安表示，“在好莱坞这个小社区，大家都知道我们是虚拟人技术的革新者。以前演员们都痛恨必须花几小时特效化妆，还挡住了面部表情。”

在《复仇者联盟》系列的拍摄中，数字王国结合Unreal这一游戏引擎，导演可以在监视器上实时看到渲染后“灭霸”呈现的情感，节省了很多时间和成本。

新冠疫情下，一些好莱坞明星拍少数电影镜头时还被要求戴口罩，数字王国还可以仅仅根据台词、语气，训练机器深度学习，推测、渲染出演员的嘴型和表情，达到“以假乱真”的程度。

打造明星数字人：孪生VS新生？

从商业和新意的角度来看，与明星本人的不同之处，才是虚拟人存在的意义。

很多明星都希望数字孪生跟自己有一定区隔。林俊杰也曾在抖音首秀中，与“数字孪生”M.E同台，虽然外型一模一样，但数字人的个性人设与他完全相反、还有一些不同的技能才艺，达到了有趣的效果。

如果过于真实、复制，不论是明星还是普通人的数字孪生，都面临着伦理问题的讨论。一方面，已故明星的虚拟形象不应过于商业化。

“我们心里一直有一个道德准则，邓长富先生在签约时曾经说，我把亲妹妹交给你了，我说过不会让他失望。所以，除了曾开展过线下演唱会、跨年这种重要时刻演出，一般都是做慈善、公益活动，我们不会去过度消费邓小姐。”

另外，可以做到交流互动的超写实虚拟人，也有着类似换脸技术的伦理风险。

2019年，数字王国高管Doug Roble穿着动捕设备登上TED演讲台，而大屏幕呈现的是孪生虚拟人“DigiDoug”的演讲，他拥有逼真的毛孔、皱纹，连血液跟随表情改变以及睫毛悄悄颤动都能实现，还能瞬间切换成其他写实虚拟人。

虚拟人DigiDoug

“当你们视频采访我，怎么确保那是我，而不是我的虚拟替身？其实是公关团队在幕后帮我回答？”谢安指出，新冠期间一些好莱坞演员不愿出国拍戏被隔离、感染，或者不愿和某人拍对手戏，“当他使用虚拟替身后被提名了奥斯卡，这场戏到底是谁演的？” 

在“数字孪生”之外的另一条路，则是像Ayayi、柳夜熙这类“从无到有”的虚拟人。

据悉，Ins粉丝超过305万的雀斑虚拟人“Lil mequela”，2019年营收高达7600万元人民币，单次代言合作百万元起步。

“很多大品牌知名度已经很高了，他们考虑到明星的风险，很多想打造代表自己企业文化的虚拟人，”百度相关负责人表示。

不过，凭空孵化“虚拟人”遇到的难题是，建立超写实模型成本更高；没有粉丝基础，从0开始要做什么人设、什么外型才能走红，如何进行长期内容运营？这些都是摆在数字人行业专家们面前的问题。

比如《你好星期六》里面虚拟主持人“小漾”的表现被网友评价为“还没长大”，很多只有图片动态的网红类虚拟人目前的粉丝数、互动量已经越来越低，没有令人“眼前一亮”的人设和丰富内容。

尽管虚拟人在技术发展方面已经日趋成熟，但制作成本并未大规模降低，与此同时，缺乏运营层面的操盘手，也并未出现“独角兽”公司。

曾经，明星虚拟人需要解决的问题是“相似”，而如今，数字人行业更多考虑的是，如何让一个数字人形象招人喜欢，甚至，过目不忘。

“不少公司找到我们，希望帮忙打造一个虚拟人。”一位数字人领域的操盘手表示：“但我们通常会反问，虚拟人长什么样，是什么人设，要花多大的成本，后续如何运营，你们，想清楚了吗？”

—End—

1月25日，剁椒TMT与险峰（K2VC）将在北京举办关于数字人的第二期活动，与大家共同探讨数字人的前沿技术、营销与人设。

感兴趣的朋友可以扫下方二维码沟通，也欢迎行业内的朋友们推荐&自荐演讲嘉宾。

话题互动：

你如何看待明星数字人？

推荐阅读

讨不到男人心，

95小生永无出头之日

点击观看

↓↓↓

关注娱乐资本论视频号，追料更及时

-

如需商务合作后台回复【商务】

如有转载需求后台回复【转载】

更多文娱产业背后的经济逻辑，来关注↓↓↓