“虚拟生命”已激活！《2060》虚拟内容制作解析

作者 | 江苏省广播电视总台 朱立订阅 | 010-86092062

近年来，人工智能、虚拟现实等技术手段被越来越多地应用到广电行业当中，技术与艺术融合诞生的精品佳作给大众带来了震撼与感动。
国家广播电视总局2021年发布的《广播电视和网络视听“十四五”科技发展规划》提出，推动虚拟主播、动画手语广泛应用于新闻播报、天气预报、综艺科教等节目生产。在这样的背景下，江苏卫视《2060》做出了一次积极的探索和尝试。

1

《2060》节目概述

江苏卫视季播类节目《2060》是一档全新概念的国产原创动漫形象舞台竞演节目，该节目在江苏省广播电视总台石湫影视基地两个录影棚内录制。石湫影视基地1号棚是主舞台，主要承担了V-life的竞演秀、V-life与其制作人和嘉宾的访谈环节的录制工作。

主舞台实景

主舞台呈现效果
石湫影视基地3号棚是《2060》设置的第二现场，包含了真人秀区和3个导师房(Buff房)。主舞台竞演结束后所有制作人都会集中到第二现场的真人秀区进行拍摄，而晋级成功的V-life及其制作人会进入到各自导师房进行真人秀拍摄。

2

虚拟内容制作平台拓扑图和制作流程

《2060》虚拟内容制作以虚拟内容制作系统Pixotope为核心架构，搭建出一套完整的虚拟内容制作平台。整个虚拟内容制作平台包括UE4软件平台、动作捕捉房、转播车和EFP三个子系统。

虚拟内容制作平台拓扑图
虚拟内容制作流程如下 :
动画师在MAYA或者3DMAX等三维软件里进行3D建模、贴图等工作，将工程文件导入UE4软件。
动画师在UE4软件里，设计并制作V-life竞演秀时的动作以及环境场景。
灯光师辅助动画师在UE4软件里设计和布置灯光。
动画师将添加了灯光设计的UE4工程文件导入虚拟内容制作系统Pixotope。
主舞台部分，Pixotope将软件内的虚拟摄像机和转播车系统的虚拟摄像机进行调整和配对，Pixotope接收主舞台虚拟机位的虚拟云台跟踪数据后，主舞台的虚拟机位可以利用Pixotope的抠绿功能，再叠加UE4里设计好的环境场景，输出虚拟画面。
导师房部分，Pixotope 将软件内的虚拟摄像机和EFP系统的虚拟摄像机进行调整和配对，Pixotope 接收虚拟机位的虚拟云台跟踪数据后，可直接输出带V-life的虚拟画面。
V-life在竞演时的动作和面部表情完全由动画师在UE4里完成，而V-life在与其制作人和嘉宾访谈过程中的动作和面部表情，则由动作捕捉房里的“中之人”来完成，V-life 在导师房间里的真人秀拍摄的动作和面部表情也是由动作捕捉房里的“中之人”来完成。

3

《2060》虚拟内容制作平台核心——Pixotope

Pixotope 是一款基于 Unreal Engine 开发出的符合广电制作和大型活动现场制作流程的虚拟内容制作系统，可实现高端AR、虚拟演播室及XR现场制作。UE4软件平台、动作捕捉房和转播车系统组成一个完整的虚拟内容制作平台。

Pixotope系统

与其他虚拟制作平台比如傲威或者Virtz一样，Pixotope系统采用相同的技术解决方案。

Pixotope主要由7个模块组成，分别是Director、DataHub、Text3D、Keyer、Controller、Editor、Camera Tracking Server。下面重点介绍几个重要的模块。

Pixotope Director
Pixotope Director作为Pixotope平台的中心主控模块可以在单一界面上对整个制作全方位控制。包括所有系统配置和摄像机跟踪调整。
Pixotope会自动发现网络内可互联的机器并一步一步指引用户完成制作环境的搭建。一旦基础设置完成，引擎会带领用户通过多个步骤针对项目完善制作场景。
Pixotope平台设计为每台引擎一对一地对应每台摄像机。并可以在单一界面驾驭制作中的所有元素。包括渲染控制界面、摄像机跟踪调整、外部数据接入、视频信号路由、色键及更多控制。

Pixotope Director
Pixotope Keyer
Pixotope Keyer 是高质量的实时色键器。它应用最新的抠像算法，并通过简单GUI窗口进行配置。基于Novel 3D色键器，专为实时制作而生。本次《2060》主舞台虚拟机位录制均采用抠像的方法完成。

主舞台的绿幕环境
Camera Tracking Server
Pixotope 内置支持大部分实时摄像机跟踪系统。所有的视频配置如格式、帧率、延迟以及跟踪数据配置都可以通过Pixotope Director实现。
Pixotope 目前支持的跟踪协议有 :FreeD、NCAM、MoSys、 Stype、ROSS、SMT、Trackmen X-Cito 1.2、 Technocrane、Telemetrics Orad 8。
Pixotope Editor
Pixotope Editor 用于创建和设计场景，包括灯光、VFX、动画和渲染效果。它可以导入来自于Autodesk Maya、3DS Max、Substance、Houdini、Cinema 4D 等创建的文件。
Pixotope Editor 独特的亮点是“所见即所得”(WYSIWYG)的工作流程。这意味着在Editor内对场景做的所有调整都会实时地叠加摄像机画面和跟踪数据通过SDI输出，可直观地监看修改效果而无需关闭编辑器再次渲染。

Pixotope Editor工作界面
Pixotope Text3D
Pixotope Text3D 文字是一个简单易用的文字工具，可以快速地构建飞行logo或文字。允许Pixotope Text3D创立最高质量的3D mesh和贴图。这使得Text3D的转场可以轻松实现并利用独特的动画引擎永久保持alive。另外 Text3D 也支持 Unreal 的动画工具，如 Sequencer。
《2060》完整虚拟内容制作见《影视制作》2022年4月刊

推荐阅读

我知道你在看哟