​THE9女团虚拟演唱会、周杰伦的《莫吉托》……XR虚拟制作为什么最近这么火？

转自｜电影设计师
作者｜郑珩

杂志订阅 | 010-86092062

在上个月的THE9女团“虚实之城”沉浸式虚拟演唱会上，押注虚拟制作的爱奇艺让XR虚拟制作技术再次展现了其“如梦似幻”的视觉效果。与今年春晚周杰伦的《莫吉托》相似，XR技术可谓是内容产业在表现力及创新性上的一场革命。

▲ THE9女团“虚实之城”沉浸式虚拟演唱会

▲ 春晚上异地远程同步完成的XR虚拟演出《Mojito》

福布斯在2019年预测，未来2年中，XR市场有望增长8倍，到2022年的市场规模将超过2090亿美元。

XR到底是什么？它为什么最近那么火？

▲ 利用XR技术进行的虚拟展演与直播节目

XR（扩展现实，Extended reality）是一个用来描述结合了虚拟和真实元素的环境或交互行为的术语。尽管通常大家认为XR包含了AR（增强现实）、VR（虚拟现实）、MR（混合现实），但它在影视、广播、直播娱乐制作上有着特别的涵义。目前，XR已然成为了虚拟演播行业的主流。

▲ XR虚拟舞台的虚拟环境拓展

在几年前的行业描述上，XR更像是AR及VR技术的总体描述，它可以用来指包含虚拟和现实世界的集成系统，甚至可以等同于具体的某个动作捕捉技术、AR应用或者VR游戏。但在内容制作领域，它被特指为包含LED显示屏、摄影机追踪系统及强大图形引擎的工作流程，是将表演者实时放置在虚拟世界中而无需绿幕及后期制作过程的虚拟制作方式。

▲ XR打造的科幻音乐舞台

XR在制作上是如何工作的呢？

在XR制作中，高质量的LED屏幕（通常呈现为环幕或球幕）会同时显示由图形引擎（通常使用Unreal Engine或Notch）预先载入的3D虚拟环境，这些LED同时构成了影视拍摄或直播活动的背景。当精确的摄影机追踪系统被加入后，摄影机开始围绕着LED环境内被无缝结合起来的真实与虚拟元素进行运动，让通过摄影机视角观察的观众产生融合沉浸式的错觉。

▲ XR虚拟舞台的典型布置安装方式

XR制作的好处

沉浸式与实时的制作与编辑流程

演员或主持人、制片人可以在现场看到虚拟环境，让他们可以在现场进行表演或拍摄的调整与指导，减少了后期制作所花费的时间和预算。简单来说就是“后期制作前置化”。此外，虚拟制作解决了外景拍摄的剧组交通成本及环境等待成本，简单来说，你可以无需踩点等待下雨或夕阳落山的时刻，随时复现和修改所需的环境。

▲ 利用XR技术进行的虚拟天气播报方式

真实的现场交互灯光

照明由XR现场的LED显示屏提供，这有助于真实人物与虚拟环境的无缝融合，并减少进一步照明调整的时间。这点特别适合有高反射的真实物体拍摄，需要提供真实的环境反射信息及光照，而无需通过后期合成添加处理。

▲ 利用被追踪定位的灯光道具进行互动

没有颜色溢出问题与抠像合成的困扰

在传统绿幕拍摄环境下，常常需要花费大量的时间进行精细的抠像处理，同时修补颜色溢出的问题，而XR完全不需要抠像，现场直接出镜头。

▲ 从XR虚拟环境切换回现场真实LED屏幕

快速的镜头校正

传统的绿幕拍摄下，虚拟摄影机的镜头校正时间往往要花费几个小时，而XR摄影机上的虚拟摄影机跟踪系统的校正只需要几分钟，这大大减少了现场的中断和准备时间，并允许短时间内跨多个场景和会话情景进行拍摄。

▲ 可自由拼装拓展的LED模块

XR与虚拟制作有什么关联和区别？

其实很多人都有疑问，最近看到的很多XR都和虚拟演播厅、晚会、虚拟发布会联系在一起，是不是XR更多是用于广播活动呢？

这是错误的观点，XR不仅仅是用在直播等活动上，它也可以用于我们之前经常提到的影视虚拟制作，即VP（VirtualProduction）。虚拟制作可以被简单认为使用VR和游戏领域的技术来拍摄电影的工作流程。

▲ 美剧《曼达洛人》的LED虚拟制作现场

与之前提到的XR相似，虚拟制作也依赖LED屏提供的背景作为环境，但地面常搭建真实的布景材料，并且所有的制作过程都通过摄影机来采集，无需LED屏幕外的拓展。而我们常看到的XR虚拟演播环境是有LED地屏的，并且需要LED外环境的虚拟拓展合成。此外，虚拟制作十分依赖美术部门及虚拟艺术家的合作，已创建电影级真实的真实及虚拟环境质量。

▲ 典型的XR虚拟制作LED及设备搭建现场

其实依赖投影的虚拟制作并不是一个新东西，早在1930至1960年代的好莱坞，很多电影都利用了背投影技术，演员站在一个被投射上画面的屏幕前面，常用于拍摄定镜头下的车窗外运动环境。但那时受制于摄影机追踪系统的缺失，只是作为常规拍摄的补充。

▲ 詹姆斯·邦德在007电影中用到的背投影技术

XR的行业应用

企业活动

当今公司越来越多地将XR视为解决远距离会务问题的新方法。虚拟会议、虚拟报告会甚至是产品发布会都可以使用XR技术来提高参与者的沉浸体验，使他们真切感受到品牌的文化和理念。

▲ 远程通过绿幕合成传送至XR LED屏的嘉宾

▲ 室内会务虚拟演播搭建现场

教育

XR可以让远程教学中的学生沉浸在逼真的场景中，让学生在模拟的虚拟情境中更好地理解知识，学习知识，并留下深刻的印象。

▲ 地面LED的显示纹理到摄影机内的AR效果

电影

xR为电影拍摄提供了机会，减少了工作人员的旅行时间和疫情期间的接触危险。在后期制作中，LED屏幕可提供比绿色屏幕更快，更轻松和更高质量的替代产品，从而缩短了生产周期，并可以实时做出更具创造性的视觉决策。

▲《游侠索罗:星球大战外传》LED虚拟制作现场

电视演播

在演播室环境中，LED屏幕实时提供高分辨率的清晰内容和照明，虽然最后都需要用摄影机进行采集，但实时呈现的内容可以让主持人更好地与虚拟环境进行交互，而不是像之前一样进行盲猜与踩点。

▲ xite Studio工作室团队的虚拟演播室

音乐现场

VJ艺术家可以使用XR来控制及演示现场音乐视频，让引擎实时生成的即兴内容创造出无线的叙事可能性，并让观众感受到超越LED范围的美妙世界。

▲ VJ音乐互动舞台现场的XR技术运用

电竞

LED屏幕会产生真实的反射和阴影，可以减少后期制作的工作量。表达上更加前卫和娱乐化的电竞现场十分适合XR的辅助和演绎，让游戏中的虚拟生物与角色真实地出现在赛场当中，而现场观众及表演者可以看到CG内容，并更真实地与其互动。

▲ Weplay Dota2 电子竞技赛上的XR合成直播

XR制作的主要技术

XR用到的技术简化来说主要包括：摄影机追踪系统、虚拟演播室软件平台、媒体服务器、实时渲染引擎等。

从1998年的电影《罗拉快跑》开始，游戏行业就潜移默化地影响渗透着影视、新媒体行业，甚至改变着观众的审美习惯，使现代人习惯于游戏式的快节奏和更具带入感的主观运动镜头。主流游戏引擎（Unity 3D、Unreal）的开发者也野心勃勃地进军游戏行业之外的领域，例如动画电影、演出等。专门为舞台演出服务的实时渲染引擎也开始出现（例如Notch）。

▲ 使用Notch引擎制作的虚拟环境及互动虚拟道具

虚拟场景一般都是在虚幻引擎（Unreal Engine）或Notch引擎中预制的。之前，需要在例如C4D、maya等DCC软件中建模，导入引擎，添加灯光和纹理，设置动画并提前做好交互测试。

▲ Notch的操作界面及抽象粒子特效的表现效果

▲ Unreal Engine的操作界面及具象场景的表现效果

从引擎的偏好上看，Notch能提供更好的动态粒子实时表现，适合VJ等高动态抽象视觉项目，或单独用于XR的前景AR特效的制作。而Unreal更偏向于制作具象复杂的场景，拥有更多封装好的工具及插件进行辅助，能够快捷地打造逼真的效果。

▲ XR舞台的虚拟与真实空间的影像映射

由于虚拟演播技术日趋多样和复杂，三维实时预览、立体投影（3D Mapping）、实时交互特效、多媒体文件的播控等功能开始通过服务器进行整合，不同功能的硬件设备可以和服务器进行无缝衔接。

▲ XR舞台现场的媒体服务器及播控相关设备

在XR的虚拟项目上，国内外主要用到的是Disguise服务器及平台，其媒体服务器相当于真实世界与虚拟世界的桥梁，将虚拟摄影机与真实摄影机运动信息进行匹配并将图像信息映射到LED屏幕上，并在范围外进行拓展。其功能还包括摄影机及镜头校正、空间映射、颜色校正，并支持Unreal、Unity、Notch等渲染引擎。

▲ Mo-sys公司的追踪定位系统 StarTracker

在追踪设备的选择上，与绿幕虚拟制作类似，设备及服务供应商包括：Mo-sys、Stype、BlackTrax、Optitrack、Vicon 等，分为主动式和被动式红外光学捕捉，其追踪数据和定位调整都可以整合到媒体服务器上。

▲ 已经被国内公司收购的OptiTrack光学动捕系统

除了Disguise提供的虚拟演播软件，团队也可以采用其他品牌的虚拟演播室软件平台方案，比如Pixotope、Zero Density、Brain Storm等。

▲ 虚拟演播软件平台Pixotope的操作界面

▲ 虚拟演播软件平台Pixotope的单机位方案结构流程图

其中Pixotope解决方案主要被用于大型的广播、体育赛事、电子竞技等直播领域，例如“超级碗”、英雄联盟决赛现场、欧洲电视网等。

▲ Pixotope软件虚拟场景及真人合成元素空间关系

Pixotope是一个开放式的软件解决方案，用于快速创建虚拟演播室、增强现实及实时图形。它拥有功能强大的商业硬件，专门设计来用于与其他合作商的技术及外部数据源进行连接。Pixotope和Zero Density一样，都是基于虚幻引擎的原生虚拟演播室软件解决方案。

▲ 虚拟真人秀节目《Lost In Time》

在韩国仁川举行的拳头公司RiotGames2018年英雄联盟世界锦标赛开幕式上，虚拟偶像K/DA女团通过Pixotope提供的技术完美演绎了逼真的AR舞曲《Pop Star》，吸引了包括现场观众外超过9000万的在线观看。

▲ 英雄联盟决赛K/DA女团虚拟直播现场

▲ 在中国上海举办的英雄联盟赛事虚拟偶像AR直播现场

在LED品牌的选择上，目前包括《曼达洛人》《登月第一人》《西部世界》等众多电影、影视剧或短片都主要采用了国产品牌ROE（雷迪奥）的LED产品，比如Black Pearl系列和Diamond系列，其LED点距从2.6mm到5.2mm不等，根据摄影机到LED面板的距离来具体选择。此外，国内厂商Leyard（利亚德）的LED全彩小点距系列也是众多虚拟发布会、影视综艺节目的首选。

▲ 在《曼达洛人》中用了ROE的BP2与CB5系列LED屏

XR制作的案例

迪斯尼+星战剧集《曼达洛人》的虚拟制作

2019年，拍摄完《狮子王》的制片人乔恩·费儒（Jon Favreau）在迪士尼的星战剧集《曼达洛人》中首次使用了XR技术，通过LED环境拍摄了其中一半的场景。费儒的团队搭建了20英尺高的LED屏幕（270°环幕），为演员和工作人员提供了冰冻星球、贫瘠沙漠等场景的照片级逼真环境，在75英尺直径的空间内节省出了大量布景搭建和道具切换、交通转移的时间。

▲《曼达洛人》第一季虚拟制作幕后花絮

说唱歌手戴夫（Dave）在全英音乐奖的现场表演

在2020年的全英音乐奖上，戴夫在XR设置过的钢琴旁完成了引人入胜的虚实结合演绎。在Mo-Sys的摄影机追踪系统、Notch的粒子特效、Disguise的投屏服务器的帮助下，钢琴上显示出了逼真立体的3D动画，结合环绕的精确摄影机运动，整首歌的旋律和视觉体验达到了高潮。

▲戴夫的表演幕后花絮

凯蒂·佩里在《美国偶像》决赛现场的演出

《美国偶像》决赛现场直播由技术领先的XRStudios团队进行XR的项目制作与落地，使用了Disguise的媒体服务器，特效由Silent Partner Studios团队在Notch VFX中制作。许多人都好奇这场表演是如何实现的，从美国偶像的LED舞台背景开始，周围环境突然拉开，将观众带入一个梦幻般的世界，且里面的虚拟元素不断地与歌手进行交互。

▲ 凯蒂•佩里在《美国偶像》决赛现场的XR演出

XR的案例还有很多，今天就介绍到这里吧，希望今后能有更多创意与艺术想法能在迅猛发展的技术加持下，碰撞出更多令观众赞叹的作品。

作者｜郑珩
知乎ID｜毁男孩的小图纸

END

【推荐阅读】

	《唐人街探案3》两大名场面特效解析
	437名领军人才、740名青年创新人才！广电总局公示拟入选名单
	【干货贴】快闪节目《我和我的祖国》制作全流程解析！
	以电影制作标准讲述东方传奇——《西游记之再世妖王》是怎样炼成的？

我知道你在看哟