力行而后知之真｜记Surreal的一次虚拟拍摄实战演习

Original 周澄清虚幻引擎 2022-05-24

在2019年的Siggraph上，虚幻引擎首次展示了新一代基于LED的相机内视效（in-camera VFX¹）虚拟拍摄技术的技术演示，因其不受时间与空间的束缚的创作自由获得了好莱坞众多视效工作室的青睐。诸如《曼达洛人》、《西部世界》等大制作纷纷采用了该项技术。到了2020，更为COVID-19阴霾笼罩下的影视制作行业带来一丝曙光。

《曼达洛人》拍摄花絮

科幻剧集《西部世界》

看着欧美同行将新技术用于实战，国内不少影视公司自不甘人后，纷纷投入研发基于虚幻引擎相机内视效的新一代虚拟拍摄解决方案。其中就有一家由一群虚拟拍摄行业的老兵们创立的叫做先壤（Surreal）的影视创业公司。当他们看到了Epic Games这项新的技术Demo后，立刻敏锐的意识到，相对于上一代的基于绿幕的虚拟制作方案，in-camera VFX可以解决浅色表面溢绿、金属表面反绿的问题，能够模拟真实环境光，让演员能过在更接近真实的环境下表演等优势, 可以说虚幻引擎再一次颠覆了整个虚拟拍摄行业！于是毫不意外，先壤立刻投入到了对自主虚拟拍摄解决方案——SURA新版本的研发中。

众所周知，“实践是检验真理的唯一标准”。这是为什么Epic Games自家的《堡垒之夜》总是第一个“吃新功能的螃蟹”；哦不，是“吃螃蟹的人”；也不对，姑且称之为第一个“吃螃蟹”的游戏吧。这对于SURA 基于LED Stage的虚拟拍摄新功能当然也不例外。

于是Surreal联手业内知名的Craft Creations（上海合匠影视制作有限公司）团队在前不久完成了一次从商业电影、TVC的实际需求出发，着力挖掘LED stage及虚拟制作的应用方向的“实战演习”。

本次联合测试中，团队共同搭建了45m x 6m ,由1080块LED面板拼接而成，共计38,776,320个像素的巨型弧面LED墙。但这还不是全部，团队还搭建了21m x15m，由1280块LED面板组成的总计20,643,840个像素点的巨幅天幕。

想要实时照片级渲染如此巨型的图像，对于任何引擎都将会是一个巨大的挑战！而新版本的SURA使用了虚幻引擎的nDisplay作为其 LED智能虚拟拍摄系统的基石。UE4.25中的nDisplay提供了相机视体映射（RTT viewport）, picp的投影策略和对多种画面同步策略的支持等新功能是实现in-camera VFX不可或缺的功能。

测试共使用了5台工作站组成了集群渲染，并通过nDisplay 新支持的Nvidia Quadro Sync 技术进行了硬件同步，其中4台负责渲染LED墙，1台负责顶部LED的渲染。

一群人紧盯着LED接缝处的回弹球，努力检查是否画面同步的景象颇为有趣

为了保证双机位方案的测试，也为了尽可能的降低系统时延，项目必须始终稳定运行在50FPS. 为了达到这一目标Surreal研发了根据相机姿态，智能动态分配每个nDisplay 视窗的渲染资源的功能。

同时为了给影视后期留出更大的创作空间，SURA支持将相机的视锥所在的LED区域显示为绿屏，配合现场灯光和调度，基本解决了LED绿幕溢色的难题，还同时保留了LED模拟环境灯光的优点。

将相机内的区域转换为绿幕+标记点，但仍保留大部分LED模拟环境光

现场还有值得一提的是，为了应对现场瞬息万变的需求变化，测试团队利用了虚幻引擎内置的Multi-user Editing的功能，使得多人多工位多工种可以在同一个工程内同步编辑，互不干扰，大大提高了现场的响应速度和拍摄效率。

测试大量使用了Unreal Marketplace中的影视级美术资产

最后，得益于虚幻引擎丰富的在线资源市场，本次测试直接使用了大量商城中的影视级美术资源，尤其是对Quixel Megascans的资源使用，可以大大加快了场景制作进度，降低美术成本，保障项目的顺利进行。

通过这样一场“真刀真枪”的演练，现场的参与人员都感慨良多，全程参与测试的CG VIEW主理人高枫在采访中提到：“虚拟拍摄系统就好像把想象照进现实，把纸上的概念变得不再那么难以想象，把大家的创作语境统一在了同一个平台，帮助团队更有效的进行沟通，当然也更直观展现出中期拍摄的要求，为拍摄避开了很多坑。

LED虚拟拍摄的使用是目前发展的方向，更进一步的解放影视的中后期，分担了灯光师的一部分工作难度，同时为视效提供了更为真实的参考，也减少了一部分视效制作的工作量。

善用这套系统可以帮新人导演更好的规划和实验自己想法，可以帮助习惯实拍的导演，让他们穿越绿幕的屏障，触碰不敢触碰的题材，更大的发挥他们能力，观众带来更好更有想法的作品。”

而曹正之作为先壤影视的技术总监，经过这次实践，也让他心中多了分底气，表示：“在虚幻引擎技术的助力下，我们能够打造世界领先的可视化虚拟制作工具，标准化的制作流程，能完成从前期创作、拍摄现场实时监看到后期渲染合成校色的完整虚拟制作流程。未来我们会持续对流程和工具进行开发和升级，不断解放创作生产力，降低制作的人员和时间成本，助力推动影视广告行业的数字化变革。”

文中提及的相关链接

[1] in-camera VFX

https://www.unrealengine.com/zh-CN/blog/new-in-camera-vfx-onboarding-resources-for-virtual-production