硬货！《曼达洛人》虚拟美术制作大揭秘~

点击上方蓝字CG世界关注我们

“ 感知技术 · 感触CG · 感受艺术 · 感悟心灵 ”

中国很有影响力影视特效CG动画领域自媒体

本文转自公号：电影设计师

引言

关于虚拟制作，之前已经介绍过多次了，但对于中间的一些流程细节规范始终是隔岸观火，缺乏更深层面的记录。但今天，我们第一次了解到LED虚拟制作中新的部门间工作关系和交互细节。

对于虚拟制作的项目流程，网上大多只是推广式的报道及测试视频演示，或者是一些国外的小型团队在尝试了绿幕虚拟制作（基本都只涉及预演层面）后撰写的经验笔记。

▲ LED Volume《曼达洛人》拍摄现场

这其实也是正常的，毕竟LED虚拟制作虽然在2020年叫的很响，相关的摄影棚在世界各地陆续建立，但成熟的作品和案例似乎只有《曼达洛人》系列。更难复制的是，只有类似迪斯尼这样的大厂才有意愿和实力去联合国际知名视效及数字交互企业来完成行业的试探与革新。

技术的成熟到正式的行业应用，往往需要更多的试错和沉淀，但变化方向始终是一致的。就像二十年前，人们曾讽刺电脑游戏与电影的融合，指责游戏叙事结构和摄影技巧的潦草笨拙。但如今，游戏引擎等技术却反过来影响了电影的拍摄与破局。

▲ 在LED体积内拍摄的《曼达洛人》最终镜头

关于虚拟制作的介绍和优势这里不再多说了，有兴趣的读者可以翻看往期文章，下面主要根据《曼达洛人》和《狮子王》的美术监制（supervising art director）弗拉德·比纳（Vlad Bina）在ADG上的分享，来探究美术部门在虚拟制作中的新变化。

由于很多工作词汇和流程是首创或独有的，我将根据自己的理解进行翻译解读，有误区欢迎评论区指正。

首先，他先介绍了美术指导应该如何高效地管理因虚拟制作诞生的新部门。

在这个新的制作环境中，复杂的数字工作将更加提前，有时是在前期制作的初始阶段。除了视觉特效和预演团队之外，还有会有一系列额外的数字供应商的介入。他们的范围包括数字资产的构建者（负责建模、纹理、预渲染）到 LED 舞台的技术总监（负责改进优化及加载资产到引擎，并保证投射到LED 屏幕时的正常拍摄）。

▲ 在UE4引擎LED渲染画面前的合成效果

▲ Maya中的场景模型

传统的美术部门系统将不得不处理这些新的工作流程。部门和子部门的依赖关系不再是层级化的，而是网状的结构。美术指导必须在确保设计朝着原始设定发展的同时，浏览各个网络节点的需求和时间表。

在比纳接触的流程中，团队会分为外包和内部制作两个类别。数字资产的获取和构建团队负责聘请第三方的专业 3D 建模师和纹理艺术家。这些团队会使用摄影测量（涉及3D 空间映射和照片重建）和激光雷达（使用激光扫描三维场景）来建立和装饰场景。他们中的大多数人还拥有对接及操作虚幻引擎场景的经验和能力。

▲ 数字采集摄影测量及激光扫描的3D模型

在制作领域已经开始有许多供应商提供内部数字资产的构建了，并与美术部门进行合作，为最终效果及LED的呈现进行优化。这些公司包括Magnopus、Happy Mushroom、Lux Machina、Mold 3D，以及传统 VFX 或视效预览团队，例如 The Third Floor、Digital Domain、DNEG、Weta Digital 和 Lucasfilm。

▲ 布景元素在maya中进行布局

但团队的庞大，也带来了管理上的难点，比如在等级权限上类似围绕核心的局部卫星关系，财务上管辖权也是不同的。

以往对预演流程的控制一直是美术团队和视效团队之间的一个敏感问题。而资产构建供应商和 LED 舞台技术额控制团队的加入使情况更加复杂化。由于制片人乔恩·费儒（Jon Favreau）与艺术总监之间罕见的协同和一致性，使《曼达洛人》成为了这种跨部门整合模式的黄金标准。

对于美术相关流水线来说，主要涉及四个部门，包括美术部门、虚拟美术部门（Virtual Art Department，简称VAD)、预演可视化部门、视觉特效部门，他们在同一屋檐下及本地网络上进行工作，LED舞台也位于同一个建筑群中，这大大便利了部门间的平衡配合与每次的视觉审查。

▲ 虚幻引擎灯光及天空测试

▲ 虚幻引擎灯光及天空测试

其中，有两个关键解决方案使《曼达洛人》的工作流程更加快速灵活：

1、虚拟美术部门和预演可视化部门之间共享的虚幻引擎网络。其中，版本控制管理软件（例如Perforce 的 Helix）解决了数字资产在大型团队工作流程中的监控和备份。却别与代码的版本控制，它主要应用于3D场景，保证预演部门始终使用最新的布景设计进行迭代，无需手动交付。

2. 艺术总监和美术指导可以无限制地访问虚拟艺术部门（VAD）及 LED 拍摄合成的每个环节。VAD 在设计开发支持和3D资产构建方面为艺术部门提供协助，而LED拍摄合成团队（Lucasfi lm 的 Stagecraft虚拟制作系统）则负责管理主要拍摄期间的屏幕数字内容及呈现。LED团队会改进和优化来自VAD的纹理和资产，使之用于最终拍摄。

▲ 虚拟布景中的3D模型元素

▲ 虚拟布景中的3D模型元素

VAD 设计评审是非正式的，类似于日常会议，因为基本都在同一个空间工作。然而，Stagecraft 的设计审查更加正式。美术监制团队每周与湾区的主管在 Cinesync 上进行两次沟通，以确保艺术总监和导演对最终 LED 屏幕上显示的主要内容拥有最终决定权。

以下是一些关于与这些部门沟通协作时遇到的核心问题及工作流程说明：

1、虚拟美术部门（VAD）必须与美术部门保持同步，以消除信息偏离。3D 资产构建者必须密切关注来自美术部门的材料，不得进行任何自我的解释和创作。如果在设计审查期间发生修订，两个部门都必须对其进行反馈。在某种程度上，VAD 既是一个设计开发团队，也是一个数字化构建团队。

2、在使用虚幻引擎的设计审查和虚拟堪景期间，供应商需要提供良好的软硬件来支持勘察中的摄影机移动、平移、悬臂和倾斜，同时使用具有正确传感器和镜头规格的机型。摄影指导应该能够使用“lighting TD”以 3D 交互方式对场景进行预照明，lighting TD可以实时循环天空和昼夜场景照明。

▲ 最终加入VFX的镜头

3、实际 VR 中的虚拟勘察（包括导演、设计师和摄影都要佩戴VR眼镜并处于同一个虚拟空间中）可能会对创作有所帮助，也可能会分散主创的注意力。这一切都取决于勘察团队对虚拟空间和勘察要求的容忍度。因此，美术指导必须与技术助理一起仔细安排这些审议过程，特别提前进行调试和虚拟空间交互校准。

4、对于一些设计师来说，精美渲染的图像会分散他们的注意力，所以有时候直接呈现虚幻引擎的酷炫逼真效果反而是不必要的。在这种情况下，可以使用只有环境遮蔽（AO）和平面阴影渲染的场景进行快速缩放及比例检查。在将资产移入虚幻引擎之前，Maya 仍然是重要的场景组装工具。因此，Maya到UE的数据传输应该是双向的，在设计过程开始后数据能在二者间流畅来回传送。

▲ LED舞台前的真实布景

▲ 模型预设好LED舞台的虚实Layout

5、要探索实景和虚拟景的依赖关系，虚拟美术部门需要能够访问最终在LED屏呈现的详细 3D 模型。LED舞台内的实际布景与屏幕的关系有两个层面：一是保证地面和天花板层的物理连续性外观，二是物理实景与数字孪生之间的对应关系。

▲ LED舞台真实拍摄的虚拟环境

与传统的视觉特效类似，实际搭建的物理场景区域也可以出现在 CGI 镜头中。不过，在这里它必须在LED 屏幕前的摄影镜头内呈现，因此数字构建的时间需要更加提前，更加紧迫。

在《曼达洛人》上，制作团队在同一场景环境、多种外观和不同日/夜照明的情况下测度了多个LED屏内的场景位置。因此，需要创建许多略微差别的场景变体，并标记需要扫描和数字孪生化的真实布景区域及道具。根据拍摄计划，美术监制与制作经理和第一助理导演一起，为LED体积场景变体提供了一个全新的数据管理等级。其间，制作经理需要对数字和物理设计有很好的理解。助理美术指导需要在多个部门之间不停地协调沟通。

▲ 最终的LED虚拟布景效果图及VAD提交的参照

▲ 最终的LED虚拟布景效果图及VAD提交的参照

▲ 两个选定的LED体积区域有重叠的部分

围绕这些不断发展的工作流程，出现了一种新的术语。下面对其中比较有趣的进行列举和解释：

LED体积（LED Volume）

它是围绕虚拟制作舞台的 LED 面板系统。《曼达洛人》上使用的那个是椭圆形的，平面范围为 90 x 70 英尺，高度为 23 英尺。

重叠体积（Crossover Volumes）

覆盖了相同环境中同一区域的两个LED体积变体。

雷达、摄影测量及混合的数据（Lidar, Photogrammetry and Hybrid Data）

虚拟美术部门使用的复杂3D数据采集工作流程，由摄影测量、激光雷达扫描或两者组合而成。

数字孪生（Digital Twin）

物理布景、道具或布景陈设元素的3D扫描生成及加工制作后的模型。

越界布景（Transliminal Set）

超出 LED 体积门（LED doors，这个词由艺术总监安德鲁Andrew L. Jones首创）之外的物理布景集合。例如，《曼达洛人》第二季的 LED 舞台有两个大的LED门，可以通过铰链悬挂在不同的位置。如果移除这些门，物理布景可以搭建到LED范围区域之外。超出的部分对于更长轨道的拍摄十分有利，且削弱了“戏剧表演”的感觉。

▲ LED Volume拍摄现场

VR堪景（VR Scouting）

在 VR 眼镜的帮助下，使用针对 3D 环境校准过的虚拟摄像机在虚拟布景中进行侦察。

虚拟作战室（Virtual War Room）

一个快速灵活的数字板系统，允许远程演示。比如名为 PureRef 的简单图像管理软件。

Unreal Prelight Sessions（虚幻预照明会话）

虚拟美术部门内的交互式会话，摄影指导可以在其中测试虚幻引擎场景的照明是否符合规范。

最近因为欧美疫情，影视人员在家工作的情况促使制作公司纷纷采用了很多以上的设置。例如，电影《匹诺曹》的前期制作主要在 Zoom 和 Cinesync 上进行，并从 Carpinteria 进行虚拟勘察。

美术部门对于虚拟制作技术与对待其他技术类似，成员们需要了解使用游戏引擎进行设计和制作的细节和限制。简单地说，虚幻引擎（UE）和Unity是场景的组装器。它们可以从各种软件中接收几何、相机和动画信息，并针对实时浏览和照明进行优化。Maya也可以充当场景组装器，是通往最终游戏引擎场景的大门。

以下列出两者之间的一些差异：

1、虽然可以在 Maya 内实时组装复杂的3D场景，用于过肩镜头的勘察和抓屏，但虚幻引擎（UE）可以处理更高的多边形数并且具有更好的几何优化。

2、由于Maya是一个出色的建模和纹理制作软件，具有更好的枢轴和空间变换控制，并允许快速修改几何面及拓扑。目前，UE在这方面是有限制的。

▲ 《狮子王》中根据真实非洲地区建立的模型及细节深化

▲《狮子王》荣耀之地的模型到概念到制作的虚拟化流程

▲《狮子王》中场景Layout和最终效果

3、对于地形和植被，UE能提供很好的解决方案。Maya 中不提供这些模块且没有与 SpeedTree的平滑接口。

4、UE中的实时光照和大气系统比maya要好得多。

5、UE可以与VR系统配合使用，而maya目前没有。

对于虚拟制作来说，目前有庞大的3D几何库供在线获取。它们要么是免费的（比如 Epic Games 的 Megascans），或者付费或订阅（Kitbash3D、TurboSquid等）。此外，关于即将到来的元宇宙（Metaverse）以及现有世界大部分地区的数字孪生，都将促进更多数字内容的供应。目前，虚幻引擎有一个插件叫Cesium，它允许在类似 Google Earth 的设置中进行真实世界位置的侦察。

在《曼达洛人》中，还使用了拓展的HDR天空库来为 LED 舞台的虚拟场景提供环境照明。虚拟美术部门内的资产建模人员可以额外使用激光雷达扫描和地理位置或道具摄影测量数据。而导入虚幻引擎的资产可以有简单的用于快速审查的白模，或复杂处理完UV、纹理、组装完毕的高模。

▲ 用于做LED Volume灯光和颜色测试的渲染全景图

▲ 虚幻引擎VAD摄影测试

因为工作流需要在不同的软件平台之间进行多次往返。因此，导入导出过程应组织有序，快速灵活，并对人为错误和冗余具有合理的容忍度。

上述工作流程和技术只是在不断发展中的美术部门新工具。如果使用得当并与其他解决方案结合使用，可以更好地控制实际成本，提高创作的灵活性优势。当然，根据项目不同，可能每个项目组的内部视觉逻辑将决定适合自己的工作流和部门交互方式。

本期就分享到这，希望往虚拟制作方向努力的朋友及团队能得到启发和帮助。

- END -