全球首个AI数字人“诞生记”（附预告彩蛋）
作者 | 影视制作编辑部
订阅 | 010-86092062
*本文节选自2021-7期
2019年，以嫦娥四号实现人类探测器首次月背软着陆的新闻热点为契机，总台纪录片团队完成了《飞向月球》第一季。
2021年4月24日是中国航天日，也是全球首位“数字航天员”在4K超高清科学纪录片《飞向月球》（第二季）中亮相的日子。
此次总台纪录片团队与国家航天局紧密合作，紧紧抓住科学探索和科技创新的主线，呈现大量独家首次公开等国家科学成果，为观众解读月球探索中的人类智慧。
从《飞向月球》第一季到第二季，先后实现了数字虚拟特效制作在节目中应用、原创混合现实 IMR（Idea Mixed Reality）超高清电视制作平台的搭建，更打造了全球首个AR超写实数字航天员并应用于4K科学纪录片。
今天就将邀请《飞向月球》的主创团队，请他们先重点分享下——全球首个AI数字人是如何诞生的？
受访人：杨楠
央视数码视效导演，高级工程师，原创混合现实（IMR）创作团队制作总监。从事影视特效制作与管理15年，始终致力于利用技术创新推动视觉效果的创作，负责并主导特效制作与流程规划，原创混合现实（IMR）超高清电视制作平台主要设计者之一。在《飞向月球2》项目中实现了行业数据可视化接口优化，规划了CG HDR色彩制作流程，设计并实施了数字人物全虚拟拍摄方案。
插播“预告彩蛋”一则
下周，将继续请央视数码的“大佬”结合纪录片《飞向月球》，分享原创混合现实 （IMR）制作流程在4K节目制作中的应用，以及面向未来的IMR视效制作系统。
↓
进入正题
从混合虚拟制作到AI数字人
《飞向月球》第一季采用4K超高清拍摄制作，搭建了全球首个4K混合现实实时数字特效制作摄影棚，创新性地采用大量原创三维动画真实还原月球空间环境，人物则通过现场拍摄抠像的方式录制。
此外，还加入了讲述人的角色，由主持人张腾岳担纲，起到将一些晦涩的科学问题作沉浸式的解释，带领观众“走进”节目的作用。比如在月球环境上，嫦娥四号落月后，讲述人会同时出现在月球上，带领观众观察月球环境、探测器等。
《飞向月球》第二季海报
时隔两年，2020年11月，伴随长征五号遥五运载火箭搭载嫦娥五号探测器成功发射升空，《飞向月球》第二季开始制作。新一季节目的创新热点仍聚焦在技术方面——全球首次将AI超写实数字人物应用在4K科学纪录中。
事实上，在第一季播完后，创作团队就已经开始思考“数字人”的制作以及如何让讲述人在节目中“活” 起来。
已经有真人了，为什么还要打造一个AI数字人物呢？央视数码视效导演杨楠介绍，打造数字人物的初衷是打造一个高仿真的“数字替身”，而不是一个抽象形象。
2019年4月， 创作团队首次接触数字人。经过了解、学习到深入研究，2019年底第一次制作了技术验证短片，最终评估效果也很不错。但受疫情影响，原计划2020年年初开始的正式制作计划只能搁置。3月至9月，创作团队开始思考怎么使用数字人参与制作，在通过远程视频讨论技术方案的同时，也进行了大量代码级的开发。
AI数字人物的创作流程主要分为测量摄影、资产处理、绑定逻辑、神经网络、技术美术以及现场拍摄六大步骤。除测量摄影和资产处理阶段中的部分技术央视数码团队少有接触外，其余阶段的工作更多的都是全新接触的底层开发技术。
在测量摄影阶段，节目团队搭建了360全局灯光球和双偏振相机阵列，用于捕获数字人物的关键表情和全身动作，整个捕捉任务共计用时仅两天时间。两个机阵均由一百多台相机组成，但精度并不相同。其中面部表情机阵捕获效率非常高，主持人张腾岳用时10小时就完成了50个表情的捕获。
测量摄影阶段进行AI数字人物扫描
测量摄影阶段进行面部采集
从混合虚拟制作到AI数字人
与《飞向月球》2 相比，从主持人等其他主创的角度来看，《飞向月球》1中 主持人穿戴厚重的航天服， 逼真再现的同时也有不少的局限。
从导演调度的角度， 真人无法真正的和虚拟环境产生互动，摄影只能以简单的“推拉”“升降”进行景别的变换，导致影像风格的相对呆板。《飞向月球》2 中的数字主持人不仅继续为观众解释嫦娥5号探测任务，还能逼真再现人类登陆月球后的太空漫步。
《飞向月球》1 的制作中，主持人的白色航天服在绿箱中拍摄时，在模拟月球单一光源的环境中造成的大光比下，会导致大量绿色的反光。这给后期的抠像造成了巨大的压力。对于4K影像来说，一点点绿幕的反光残留都是极为刺目的。
《飞向月球》第一季4K绿幕拍摄、实时合成、成片图片
数字人的加入，从视觉主创的角度，数字人能无缝与数字环境融合，乃至实时进行互动，会给观众带来极大的视觉冲击力。从后期角度看，消除了绿幕拍摄中不可避免的抠像环节。
模型和环境的数据接入转换
作为服务于严肃的、科学题材的纪录片创作，除了数字人物的高仿真、超真实，还要对科学现象与探索发生的真实环境、实际的事物进行视觉化，这也是特效制作的难点所在。
杨楠提到虽然相关行业可以提供现成的数据，但由于常用的特效制作工具的数据接口并不能兼容所有的行业标准，GIS、BIM等文件并不能直接用于特效制作。
在《飞向月球》2 的制作过程中，国家天文台作为探月工程的数据收集与处理机构，有月球地形数据DEM数字高程模型，但这些地形数据并不能直接使用。于是此次流程优化的焦点还包括将相关行业的标准数据转为特效制作可以使用的数据资产。
《飞向月球》地形数据接入生成
通过编程的方式，央视数码团队在三维系统里生产了原始的冯·卡门坑的三维模型，加上贴图后，运用镜头升降就形成了一个可以拍摄的真实环境。此次转换至三维系统里用于制作的月球地面文件有500G之多。
数字资产的孪生应用技术保证了客观真实的还原， 此次涉及的还有相关的制造业的工业数据的转换。通过实际运用的机械产品的电子图纸转换生成模型的真实度和速度也远远高于基于照片等视觉材料进行3D转换的效果。《飞向月球》2 中嫦娥5号月球车的数字模型制作也是在过滤了敏感信息后，通过这种转换方式形成的。
《飞向月球》工业数据接入建模
杨楠表示，数字人和制作环节的前置，使得《飞向月球》2 的工作流程与《飞向月球》1 呈现了很大的不同，之前所涉及的绿屏、跟踪、摄影、灯光、道具等环节必须用全虚拟技术加以替代，用于数字人的动捕、AI面部捕捉和驱动、性能更高的渲染平台以及新型的收录系统必须加入。新系统必然带来新的问题，而这些问题并没有现成的解决方案。其中的断点，必须进行工具和系统的开发来加以补齐。
未完待续