乔恩·费儒（Jon Favreau）的制作公司 Golem Creations 联合工业光魔（ILM），与Epic Games携手以全新的虚拟制作形式为观众带来了《曼达洛人》（The Mandalorian）。去年，我们分享了尊正案例《曼达洛人》的前中后期色彩匹配要点和两季实时调色工作流。《曼达洛人》剧组打造 HDR 版本，在现场使用尊正 XM 系列监视器在今天的这篇文章中，我们将与这部剧的视效总监理查德·布拉夫（Richard Bluff）聊一聊在《曼达洛人》的制作中学到了哪些经验。工业光魔与制作技术合作伙伴 Fuse、Lux Machina、Profile Studios、NVIDIA 和 ARRI 一道，开发出一套新的实时环绕式摄影棚。新的虚拟制作摄影棚与工作流可以让电影人利用实时游戏引擎技术和环绕式 LED 屏在摄影机内拍摄完成大量复杂的视效镜头。这种手法可以实现拍摄过程中动态的如照片般逼真的数字实时景观与布景，这大大降低了对绿幕的需求，并且所生成的效果是我们所见过最接近“全息甲板”（Holo-deck）风格技术的东西。这个过程是靠摄影机以单通道进行拍摄来实现的，并可以动态更新背景以匹配摄影机在现实中所录制的透视关系与视差。为此，LED 摄影棚需要结合动作捕捉摄影棚（motion capture volume），动作捕捉摄影棚清楚摄影机所在位置和移动方式。在这项技术为 Disney+ 的《曼达洛人》制作出惊艳视效的同时，工业光魔也在开发其新的端到端虚拟制作解决方案 —— ILM StageCraft —— 供全球电影人、娱乐公司和节目主创使用。《曼达洛人》第一季超过 50% 都是应用这种新方式拍摄的，完全无需实地取景拍摄。代替实景的，是一个高 20 英尺（约合6.1米）、270° 视角的半环形沉浸式巨型 LED 视频墙与天屏，拥有直径为 75 英尺（约合22.9米）的表演空间，在屏幕上，实体布景和数字布景延伸相结合，《曼达洛人》的演员们就在其中表演。由工业光魔创建的数字 3D 环境会在 LED 墙上交互式回放，拍摄过程中可以实时进行编辑，这就能实现精确到像素的跟踪和透视关系正确的 3D 图像渲染，高分辨率渲染采用搭载 NVIDIA GPU 的系统完成。环境依据摄影机的视角进行布光和渲染以提供实时视差，LED 屏自身能发出精确的互动光线打在演员和摄影棚内实体布景之上。
乔恩·费儒和摄影师格雷格·弗莱瑟（Greig Fraser）帮助进行系统开发，随后拍摄了试播集。之后剩下的几集由巴里·巴兹·伊多因（Barry Baz Idoine）担任摄影指导（DP）。
《曼达洛人》各集由不同导演负责，制作团队改变其工作流以提前做好更多决策，这样就能在拍摄过程中对视效做出更具体的创意选择，实现实时摄影机内合成，由游戏引擎提供“成片”效果。当无法在摄影机内完成成片背景的拍摄时，工业光魔团队就会用传统的 3D 技术替代实时 LED 部分，而仍然避免绿幕带来的许多问题，比如溢散绿光，以及光线接触到演员身上效果不好等问题。
主创正在基于尊正监视器的当前画面沟通创作构想
相较于传统的绿幕摄影棚，LED 墙提供了曼达洛人反光盔甲上正确的高光和反光。如果以老法子进行拍摄，这些全都不会存在在主体拍摄当中。让摄影机内合成与特效在片场成为现实所需的技术与工作流，是来自 Golem Creations、Fuse、Lux Machina、Profile Studios 与 ARRI 等合作伙伴的人才，结合工业光魔的 StageCraft 虚拟制作影视拍摄平台，以及虚幻引擎（UE4）平台的实时互动共同实现的。视效总监理查德·布拉夫评论道：“与金·里贝里（Kim Libreri）及其虚幻引擎团队、Golem Creations 和 ILM StageCraft 团队的合作为电影人和《曼达洛人》项目中我其他的主创同事打开了新天地，让我们能够在照片级逼真的虚拟布景中完成主体拍摄，这些虚拟布景不仅与实体布景别无二致，同时还能在需要互动的时候融入实体布景与道具。这真的是颠覆性的。格里夫·卡加一角（卡尔·韦瑟斯-Carl Weathers饰）和曼达洛人一角与导演黛博拉·周（Deborah Chow）在 StageCraft Volume 虚拟摄影棚场景中“在我过去的项目中，我们一直在对这些技术进行实验，终于能够创建一组人马共同从不同角度融合影视与游戏的技术进步，并测试实时摄影机内渲染的极限，”乔恩·费儒补充道，“我们对于实现的效果感到非常骄傲，我们认为所搭建的这套系统是将《曼达洛人》化为现实的最有效方式。”“将我们的努力与乔恩·费儒一直以来在自己的拍摄中利用虚拟现实和游戏引擎技术所想达到的东西相融合，给了我们实现构想的机会，”工业光魔执行创意总监与负责人罗布·布雷多（Rob Bredow）说，“StageCraft 是数十年来工业光魔不断积累虚拟制作革新的产物。看着我们的数字布景能在摄影棚中完全实现实时集成，在提供我们梦寐以求的那种摄影机内镜头的同时还提供了大部分布光，这真的是梦想成真了。”剧集开发者兼监制乔恩·费儒与视效总监理查德·布拉夫在《曼达洛人》片场查看镜头。在应用这种新式手法拍摄的过程中，理查德·布拉夫与工业光魔都颇有收获。fxguide 与理查德·布拉夫坐下来好好盘了一盘对于这种全新的虚拟制作手段的深刻理解。对于每个“拍摄地”，都会在现场“走一遍”。就算布景还没达到能用于拍摄的程度，也没进行实时时间性能优化，工业光魔也会渲染一个经纬度360°的虚拟布景投到LED片场上。在这些利用午餐时间的小测试当中，美术团队也会带来需要进行匹配的实体布景。之后会在正式拍摄当天，在片场进行更精确的布光调整。实体布景：
匹配真实与虚拟布景
在这个拍摄之前的时间段里，需要做很多数字与实体调整。初步获得的虚实结合的布景不仅可以用于安排走位，还能给予负责实物的美术团队以时间按需重新绘制道具。调整色彩是个复杂的过程。由于实体布景会被虚拟 LED 布景照亮，对它们进行色彩匹配几乎就是一个先有鸡还是先有蛋的问题。如果飞船部分为实物部分为数字，那么调整数字色彩就会影响照射到实体飞船上的光。两者色彩不匹配的情况下，知道实体被笼罩在其数字版本的光线下看起来是什么样子，有时候更容易重新绘制布景，比去调整数字布景的颜色更简单，因为这样也会改变落在实体部分上的光线。仅调整数字部分可能会污染落在道具上和/或演员身上的光。“我举个例子，”布拉夫说，“想像一个内景，这里面会透入天光。假设天空/日光带一抹蓝色，但却落在一堵暖色调的墙上。”他补充道，“若突然之间我们实体的墙颜色变浅了，然后我们开始把数字的墙调亮想要去匹配，那么我们就会破坏有天光照射进来并且是由天空提供了那些光线的错觉。”DP 格雷格·弗莱瑟在 StageCraft 虚拟摄影棚内调整镜头。（小插图）该场景摄影机内成片镜头UE4团队早早就开发了一种新的色彩校正形式，可以将其想成类似一个 3D 球形的“power window”。在这个球形体积中，可以调节任何东西。这个系统以球形而非圆形的方式运行，因为它会在 UE4 世界中完整的三个维度里运作。这个体积也可以被羽化或柔化来在目标空间内外缓和或过渡色彩校正效果。这种体积色彩校正不需要是严格的球体，并且 LED 摄影棚内的人用 iPad 就能交互控制它。比如，如果一个中景的石头的一部分需要饱和度更高，那么操作员就可以选择物体，或将色彩校正体积后移到那个 3D 的部分上，这么一来体积空间中任何物体的任何部分都可以被调色。梅费尔德一角（比尔·伯尔-Bill Burr饰）和外号“兰”的兰扎·马尔克一角（小马克·布恩-Mark Boone Junior饰）穿过太空站，走回剃刀冠号飞船在摄影棚内有许多实体道具。有时候，这些实体道具会延续到屏幕中的虚拟世界中，或者类似的物体会出现在LED墙上。除了能够对物体进行色彩校正，摄制组必须把它们的2D概念作为“反光”物体来理解。想像有一排亮黄色的杆子，每根杆子相间一段距离隔开，现场只有一个实体杆子，其余的延伸到远处。莫斯艾斯利太空港的场景中，摄影棚实地的地面上铺满真沙子，而沙子也延续到虚拟“布景”中，制造出空间更广大的错觉。“在实体片场，我们有这些黄红罐子用作置景，”布拉夫解释道，“而我们在数字墙幕上也有相同的红黄罐子，它们看上去的距离是在实际沙地的30英尺（约合9.1米）外。当然，这些从摄影机位置看过去都是处于正确的透视关系上，因此那些红黄罐子在屏幕上会显得更小。但在现实中，当你不是从摄影机镜头看过去，那些红黄罐子就处在屏幕之上离沙地12英寸（约合30.5厘米）的位置，因为屏幕是挨着沙地垂直立起来的。”他解释道，“因为 LED 屏幕会为实体布景提供所有的布光，于是就得到了直接照在屏幕之前的沙子上的来自屏幕的红黄光源。而在摄影机看到的现实里，罐子在沙地好几米开外，而片场看到的距离只有十几到几十厘米远。LED 布景的优势在于它可以作为项目的布光光源，而无需魔术腿架上 Kino Flo 灯和反光板，但是“正因为它是个布光光源，它同样也是个问题，”布拉夫指出。当镜头为塔图因星球上的画面，并且沙子很亮，还会反射来自屏幕的色彩，这里的问题就凸显出来了。《曼达洛人》团队在地板上的布景为暗色调时，这个问题并不显著，比如内瓦罗星球岩浆流动的画面。现场拍摄采用实时布景延伸搭配实体布景。注意，暗色调可以避免多余的反光污染。就像实物布景是由LED墙照明的一样，工业光魔团队还要考虑到3D世界也会被实物所反射的光照亮。实体布景上的大型物体应该始终将光线反射回数字布景的一些部分。片场的一个实体黄色罐子应该会将黄色的光反射到其附近的数字资产上，这是3D布光团队需要纳入考量的。因此，工业光魔需要始终与美术部门密切同步配合。莫斯艾斯利小酒馆场景就是显著的例子。部分原因在于这是星战世界中的一个经典场景，同时也因为其复杂的内部道具。“我们必须完整地建造出小酒馆里一切会出现的东西，包括酒馆本身、所有装饰、各种酒水、酒水分配器和吧台中间的一切，因为它们全都是反光极强的表面。”布拉夫解释道，“此外，所有桌椅、包厢和环境中都的一切都完整搭建出来了，然后位于旧金山的工业光魔团队再开始有选择性地处理在数字摄影机上我们不需要看到、但仍需要投射非直接光影的元素。”用单反采集到的 HDR 素材是一切片场视效团队日常工作的基础。工业光魔 3D 布光团队从《曼达洛人》片场获取 HDR 根本没意义，因为片场是由 3D 团队自己的环境来照明的。工业光魔不得不使用替代性的 HDR 素材，而不能依靠任何片场有用的 HDR 素材。许多布景是搭在高于地面的平面上的，并利用道具来隐藏 LED 屏幕底部与地面接连的拐角点。同理，中景会放上草或实体的石块来融合过渡，隐藏布景底部的接缝。当拍摄外景时，虽然 LED 片场提供了绝佳的天幕，它可以利用iPad交互式改变位置，但 LED 屏幕更类似一个大型柔光箱，而非照明的点光源。就算（LED墙）亮度高达1800尼特，演员也无法获得强劲的室外照明配置去达到（来自太阳的）平行光所能制造的常规的外景中的强烈阴影。于是，摄影棚搭建成 LED 面板可以有选择性地被抬高，并且还可以添加额外的传统聚光灯的样子。另外，摄制组其实还在 Manhattan Beach Studios 摄影棚附近的一个外景进行了实拍，美术部门在那搭建了各种《曼达洛人》的布景。卡拉·邓恩一角（吉娜·卡拉诺-Gina Carano饰）在摄影棚内。（小插图）该场景摄影机内成片镜头工业光魔的马提亚斯·夏芬伯格（Matthias Scharfenberg）及其团队测试了 ROE Black Pearl BP2 LED 的性能，并将其与 LF 摄影机的色彩敏感度和色彩重现性能相匹配。这就意味着《曼达洛人》采用了针对 Alexa LF 摄影机的管线。由于摄影棚呈曲线形状，有硬表面和 LED 天花板，其音频音量非常大。站在棚里空间的某些点上，自然的音响效果会让对话声传播出去，几米外都易于听到。因此，摄影棚在运行中必须很安静，不能有摄影机外的外来噪音或震颤声。为了减少摩尔纹，背景总是稍带柔化来拍摄的，这样能降低出现摩尔纹被观众看出来是数字墙面的可能性。这通过镜头的选用搭配亮度级就能轻松实现，但是反过来，没有办法消除散焦。若墙面因为距离太近而失焦，那么数字图像就会显得特别遥远，那么对焦的时候就无法让图像恢复对焦。“没有什么好办法能有助于这个对焦问题，只能看格雷格·弗莱瑟和巴里·巴兹·伊多因选用了哪些镜头，”布拉夫说。在这种情况下，唯一的选择就是用后期制作中清晰、对焦的素材替代掉数字 LED 素材。乔恩·费儒想要模仿原版《星球大战》电影，显然尤其想模仿《星球大战4：新希望》（Star Wars: Episode IV — A New Hope）。因此，其意图从来就不是制作出锐度过高的图像。费儒和弗莱瑟想要“观众能在我们的剧集中看到 70 年代变形镜头可拍出的柔和风格，”布拉夫说。所得到的结果就是光衰减（fall-off）更大，这对在 LED 屏幕上可能看到的任何潜在的摩尔纹问题都是有益的。
《曼达洛人》的摄影机与一切道具都可以通过 Profile Studios 的红外摄影机动作捕捉系统跟踪。这些红外摄影机围绕在 LED 墙顶部，并且监看着安装在拍摄使用的摄影机上的红外标记。这些实体的测量传感器要看得见才能跟踪摄影机。在“空中”无法把它们藏起来，因此需要在后期将它们去除。从 Profile 公司的系统接收到摄影机位置信息，到 UE 在 LED 墙上渲染新位置，有约8帧的延迟。假设，若信号之后还要发送回斯坦尼康操作员，那么这个延迟可能会稍微更久些。为此，当团队要渲染演员背后高分辨率的摄影机专用的图案（显示从摄影机视角的正确视差），团队实际上会渲染出一个大了40%的图案。这个额外的误差范围给予了掌机空间，不会在系统（从延迟中）跟上正确的视场之前因进行平移俯仰而看到图案边缘。从天使岛上的医院二楼看向楼上 图片来源：Jonathan Haeber
无论是现场还是后期视效的目的都是为了让剧情世界更真实，为此，布拉夫从一开始就计划只要是有可能的情况下，背景都使用真实素材。“我过了一遍工业光魔这边的存档，找出了一切在突尼斯或比如格陵兰岛等任何其他《星球大战》实拍地的图像或照片。”布拉夫回忆道。随后，工业光魔搭建了这些图像的《曼达洛人》资料库以供团队使用。作为补充，团队为加州北部旧金山湾区的天使岛上的一个废弃破败的混凝土建筑进行了完整的摄影测量重建。工业光魔拍摄了数百个镜头，并搭建了一个高度细节化、纹理复杂的 3D 环境导出到 UE4。“当我们把那个投到 LED 屏幕上时，我们可以用 dolly 操纵摄影机拉远，让角色与摄影机一起移动，并可以拍出穿过门廊的效果，我们可以看到所有正确的光线位移，那算得上是我们‘找到答案’的瞬间，”布拉夫说。这扩展到了搭建微缩模型，在拍摄完它们之后建立球形全景图。“那（‘找到答案’的瞬间）对我来说，就是当我跟乔恩聊到我们忘了这回拍摄使用了游戏引擎……干脆我们搭一个微缩模型，它一定是达到相片级逼真程度的。我们来对微缩模型做一个完整的摄影测量拍摄，并把它也放到游戏引擎里吧。”
有一处微缩模型的例子是渔村的屋子，那就是以照片建模并用 CG 重建出来的。
虽然 50% 的镜头可以在摄影机内完成，仍然还有很多镜头需要靠传统的工业光魔环境制作管线来完成。摄影机内环境在 UE4 中进行渲染，但工业光魔的标准管线环境是在 V-Ray 里渲染的，并非 UE4，所以两者需要在视觉复杂程度以及色彩、纹理、对焦上一一匹配。工业光魔的管线是在 3DsMax 或 Maya 中建模，然后再在 V-Ray 中对图像进行光线跟踪。由于布景需要提前以数字技术精确地搭建出来，这就得以让电影人用资产进行 VR 摄影机勘景。乔恩·费儒此前在《狮子王》（The Lion King）中早已大量使用过 VR 技术，因此他当然十分适应。该技术还能进行快速置景与布光测试，有利于与安德鲁 L. 琼斯（Andrew L. Jones）指导的虚拟美术部门（VAD）打磨细节。《曼达洛人》中，在 StageCraft Volume 虚拟摄影棚内为曼达洛人与尤达宝宝的镜头创造的无尽的魔术时刻。
• LED屏幕是由 ROE Black Pearl BP2 屏组成的曲面幕墙。最高亮度达1800尼特，亮度极高。处于峰值亮度时，LED墙所创造的光强度约达168英尺烛光，相当于摄影机以标准180°快门拍摄 24 fps 时调到 f/8 3/4，感光度 800 ISO 的效果。这意味着，亮度级不是问题，并且通常拍摄时会将 LED 亮度调得远低于最高亮度。• 《曼达洛人》使用了 Panavision 全画幅 Ultra Vista 1.65x 变形镜头。变形挤压可以充分利用 LF 摄影机 1.44:1 的宽高比来创造一个 2.37:1 原生宽高比，最后成片仅需稍作裁切，制成 2.39:1（信息参考见《American Cinematographer》2020年2月刊）。• 虚拟摄影棚为曲面，高达20英尺（约合6.1米）。180°的 LED 视频墙由1326块独立的 LED 屏构成。• 主 LED 屏是个270°半环形背景，顶部为 LED 视频天花板。这为演员和道具提供了一个直径为75英尺（约合22.9米）的表演空间。• 摄影棚需要有开口方便进出和拍摄，但有两块由132块 LED 屏组成的悬挂起来的大小为18英尺×20英尺（约合5.5米×6.1米）的平面屏幕，可以将其降下来构成一个完整的360°效果。
《曼达洛人》StageCraft Volume 虚拟摄影棚中的尤达宝宝。（小插图）该场景摄影机内成片镜头
• LED 屏的像素间距为 2.84 毫米。这之所以很重要是因为间距会对在镜头中拍摄 LED 屏幕时产生的摩尔纹有所影响。Panavision Ultra Vista 镜头的 T-stop 2.3 类似 Super 35 的 T-stop 0.8。这会产生非常浅的景深，因而迫使LED屏常常散焦。拍摄一般使用较长焦的镜头，通常是 50mm、65mm、75mm、100mm、135mm、150mm或180mm 的 Ultra Vista 镜头，在T2-T2.8范围内，DP一般会把镜头曝光至T2.5-T3.5。• 在片场有一个“决策吧台”（Brain Bar），当中就是一排工作站和一群来自工业光魔、虚幻引擎和 Profile 公司的艺术家，由他们控制布景和动作捕捉摄影棚。出处：MIKE SEYMOUR | fxguide
翻译：LorianneW | 盖雅翻译小组
您可能还对以下的内容感兴趣