LED墙与虚拟拍摄：革新制作流程+实现“所见即所得”

作者 | 北京电影学院中国电影高新技术研究院

        谭娅芳 马绪怡

订阅 | 010-86092062

近年来，随着 LED 显示技术的快速发展，影视制作技术也在快速地进步，越来越多的影视作品在拍摄中使用 LED 墙技术。LED 墙技术的出现及在影视拍摄中的成功应用，改进了影视制作流程，降低了制作成本，提高了拍摄制作效率，为影视制作提供了解决问题的一种新方式。

LED 墙指的是由若干个 LED 显示屏拼在一起组成的大型 LED 显示屏幕。随着 LED 技术的快速发展，越来越多的影视创作使用 LED 墙作为重要手段进行影视拍摄，实现“所见即所得”的制作效果，提升拍摄和制作效率。 
LED 墙的加入，改变了传统影视制作流程。在拍摄时，影视制作者将虚拟环境投影到 LED 墙上，这可以给现场拍摄的演员提供真实的环境参考，并且会给演员提供正确的沉浸式环境照明，相比于绿(蓝)幕拍摄，演员不用对着绿幕想象所处的环境进行表演，也不会有绿色溢出到演员身上和道具上。
同时摄影机可以捕捉到演员身上和现场摆放的道具上正确的反光，这有助于增加特效镜头的真实感，并且对后期工作也有极大的帮助。此外，在拍摄中加入动作捕捉技术和游戏引擎实时渲染技术，使得在摄影机内直接拍摄最终的画面成为可能。在拍摄现场，工作人员将虚拟场景投影到 LED 墙上，实时捕获摄影机的运动，再结合游戏引擎实时生成摄影机内正确的视角，实现“所见即所得”。

1

LED墙中虚拟环境的制作

制作虚拟场景

LED 墙上显示的虚拟背景是由虚幻引擎实时渲染的，尽管虚幻引擎的渲染能力是令人惊奇的，但是单凭虚幻引擎实时渲染完成的虚拟场景和环境不够逼真，无法作为摄影机内取景的最终图像。
因此，制作者们使用了摄影测量法，先创建虚拟场景，然后结合真实世界物体的照片、纹理和位置，并将这些照片映射到虚拟物体上。这并不是一种全新的技术，但摄影测量法的使用实现了在摄影机内生成最终画面的目标。
对于被摄影测量法捕捉的环境来说，最理想的天气情况是阴天，因为环境中几乎没有阴影，而有着强烈的阳光和阴影的情况则意味着在虚拟引擎中无法很容易地对其进行重新照明，需要用图片处理软件将照片中的对比度降低，从而获得用于虚拟照明较为中性的背景。
另外，还运用到摄影扫描法，即对物体进行摄影扫描，从许多不同的视角采集数千张照片，生成三维模型，也是创建虚拟环境的关键组成部分。扫描是从物体多个位置和多个角度获得图像的，引出的视差越多，软件就可以更好地解析 3D 几何形状。
将采集到的图像映射到虚拟场景中，然后根据需要进行修改或修饰，以符合《星球大战》系列影视作品的设计美学。
如果没有真实的拍摄地点，那么虚拟环境完全由工业光魔的环境视效团队创建。将以上创建的虚拟环境导入到虚幻引擎中，结合 Profile 系统捕捉到的位置信息，便会获得一个实时的 3D 环境，从而根据摄影机的位置做出实时变换。

虚拟场景与真实场景的匹配

在拍摄过程中，美术部门还会根据剧情需要，在舞台内搭建实际的场景和道具。所以在拍摄过程中需要对数字场景和实际场景做一些颜色匹配的调整。

比如，如果有一艘船一部分是真实的，一部分是数字制作的， 二者颜色不匹配，仅调整数字船的颜色就会影响投射 在真实船体上的光效，重新粉刷真实船体会比调整虚拟船更容易，因为知道了数字船体在数字版本灯光下的颜色是什么样子的，会以此作为根据调整真实船体部分的颜色。而调整数字部分可能会破坏道具和演员身上的光照。

虚拟制作的工作流程

传统的影视作品制作流程可以简要概述为 :一部作品的前期工作准备好后，导演、摄影师、演员以及其他工作人员在片场合作拍摄完素材后，将拍摄好的素材交给后期部门进行剪辑、特效等工作，直至调色结束后出成片。
《曼达洛人》的工作流程产生了颠倒，因为虚拟背景和 CG 元素必须在拍摄之前完成。在摄影部门确定了拍摄的分镜，也就是确定了虚拟部门负责的虚拟环境和灯光之后，投屏的影像会交由虚拟制作团队拍摄和制作，以及建立虚拟资产。
在拍摄的时候，可以对虚拟元素进行简单的操作和更改，但是已经确定的前后景遮挡关系和照明方案则不能更改。因此，这需要导演部门、摄影部门以及虚拟部门之间的紧密协作，以保证可以在摄影机内拍摄出最终的画面。

2

LED墙与摄影机的交互

《曼达洛人》使用的摄影机是 ARRI 的 Alexa LF， 搭配 Panavision 全画幅 Ultra Vista 1.65x 变形镜头。

LED墙颜色校正

《曼达洛人》能够成功在摄影机内创建最终视觉效果的一个关键是将 LED 墙的输出颜色与 LF 摄影机的颜色矩阵进行色彩匹配。
LED 是非常窄波段的彩色光谱发射器，其红色、绿色和蓝色二极管为每个像素输出非常窄的颜色光谱，这使得达到某些颜色非常困难。
工业光魔对 ROE LED 的性能进行测试，并将其与 LF 摄 影机的颜色敏感度和再现性进行了匹配。在 LED 墙上运行校准序列，也就是一系列色块，与 LF 摄影机的色彩敏感度进行同步。
这意味着其他型号的摄影机在此舞台中拍摄将不会获得正确的颜色。尽管 LED 墙匹配后的色彩通过肉眼看可能是不对的，但是通过摄影机看起来却是真实的。
这意味着目前的 LED 面板不能完全满足高端生成所需的精度要求，但通过匹配调整，还是能够成功的。由于其播放端口为电脑屏幕和小尺寸的手机屏幕或 iPad 屏幕，上文中提到的方法可以顺利完成拍摄。
在 LED 显示技术色域方面有更好的提升之前，如若拍摄在大银幕放映的影视作品，则需要进一步发展 LED 墙的色彩科学，满足其高端生产所需要的色彩精度。

沉浸式环境照明

LED 墙和其播放的图像自然也会给舞台内的演员、置景以及道具提供沉浸式环境照明。从 LED 墙上发射出来的光提供给演员、置景或者道具在该环境中的真实感，是在绿幕拍摄方式中很难实现的。
LED 墙提供的沉浸式环境照明大大降低了对传统影视制作照明设备的需求，LED 墙发出的光成为舞台演员(置景和道具)的主要照明。
例如 LED 墙上显示的环境中有一个很亮的太阳，墙上的太阳位置会比周围的天空明亮很多，这个亮点将在舞台内演员和道具上产生明亮的亮点。从 LED 墙和 L E D 天花板反射的环境元素在演员身穿的高反光性的盔甲上出现，在镜头内看起来他仿佛真的在那个现实世界中。
处理这样的反光物体时，摄影机画面之外的环境往往比在摄影机画面中看到的背景更重要。镜头后面的灯光反射在演员的头盔和服装上，这对于在摄影机内制造演员身处真实环境中的假象至关重要。
即使只是在一个特定的地点朝一个方向拍摄，负责虚拟环境的工作人员也必须建立一个 360 度的虚拟场景，这样才能获得正确的环境式照明和反射，这也是安装两个可移动 LED 面板的目的，即在摄影机后面的 90 度开放区域做出正确的环境式照明。
同时，摄影部门还制作了一个虚拟灯光控制系统，利用 LED 墙生成虚拟照明，根据现场拍摄需求可以在 LED 墙上创建任何大小、颜色和亮度的光线形状，集成在 iPad 上控制。

虚拟白色灯带在LED墙顶部

如果摄影师需要大的、柔和的镜头外部的光源，就可以使用这个系统在屏幕上创建白色的方形条。例如在 LED 墙顶部创建一条狭长的白色灯带，这个环绕的光源会在演员的头盔上创造一个很好的背光效果。
此外，也可以在 LED 墙上创建黑色区域，也就是虚拟黑旗，以便添加到任何需要的地方。
尽管 LED 墙提供了出色的照明系统，但 LED 屏幕的作用就像一个大型柔光箱，而不是点光源。当摄影师需要在画面中添加一些锐利的阴影时，可以选择性地提起 LED 面板，并可以添加其他传统的聚光灯。

摩尔纹的解决方法

摩尔纹(Moiré Pattern)简单来说是将具有透明间隙的不透明直纹图案覆盖在另一个相似图案上，当两个图案发生不同角度的旋转或者不同方向的位移时，就会产生摩尔纹图案。

摩尔纹

在 LED 墙的拍摄过程中，由于 LED 墙和摄影机的传感器都是使用逐行扫描的方式来显示和捕获影像， LED 墙显示的影像与摄影机捕获到的影像重叠时，可能会产生摩尔纹。
摩尔纹也是《曼达洛人》的拍摄中必须要面对的问题。但幸运的是，导演希望《曼达洛人》拥有与原始《星球大战》相匹配的视觉美学，因此在影像上，摄影机机位的运动是缓慢的平移和俯仰，不会激烈地运动，并且会产生 70 年代变焦镜头的光滑细腻感。
同时，选用的 Ultra Vista 变形镜头也产生了很大帮助，由于其镜头本身具有足够平滑和柔软的特性，在边缘的处理上不会过于锐利，这使得拍摄得到的画面更接近真实。因此，为了减少摩尔纹的效应，拍摄的 LED 墙背景通常 会处在焦点外，也就是背景处于虚化状态。

3

现场拍摄与实时渲染

一切准备就绪后，当摄影机进入舞台内，LED 墙上的 Profile 系统会捕捉到摄影机的运动信息，即 X、Y、 Z 位置，并将信息实时导入到工业光魔的 StageCraft 软件中，该软件负责管理和记录完整的信息，同时结合虚幻引擎实时渲染正确的 3D 视差，然后将图像输出到屏幕上。
从 Profile 系统收到摄影机位置信息到虚幻引擎在 LED 墙上对新位置的渲染完成，大概共有 8-9 帧的延迟。
摄影机运动的跟踪会占用 1-2 帧，甚至最多 3 帧，同时在此时间内还会将捕捉到的信号传递到虚幻引擎内，虚幻引擎的渲染需要 2-3 帧时间，随后 LED 墙显示处理器还需要 2-3 帧将图像显示到 LED 墙上， 所以从摄影机移动到 LED 墙上显示正确的视差图像的 时间大概为 8-9 帧。
LED 墙上实时显示图像分辨率为 12288×2160 像素，由于 GPU 的限制，无法在拍摄时及时渲染出完整的高分辨率图像。
折中的解决方案是根据摄影机的视角渲染出具有照片真实感的高分辨率图像，其余部分为低分辨率图像，低分辨率的图像仍然可以有效地用于沉浸式照明以及对演员(置景和道具)的反射。
但在高分辨率区域和低分辨率区域中间会看到很明显的边缘，因此在摄影机能够取景到的背景之外，会多渲染出 40% 的部分，这种额外的补偿会为摄影机操机员提供平移和俯仰的空间，并且在摄影机内看不到高质量渲染图像和 低质量渲染图像的过渡线。
虽然在《曼达洛人》中用上述方法成功地完成了拍摄，但8-9帧的延迟仍然是此拍摄系统最大的瓶颈。此外，演员的表演是如何与 LED 墙上显示延迟 8-9 帧的 画面同步的，作者在参考的幕后资料中没有找到明确的介绍，这也是此系统中需要解决的问题。

4

LED墙在摄影机内虚拟制作中的技术特点

通过前文对《曼达洛人》拍摄过程的分析，LED 墙在影视拍摄中的应用方法已经很明晰了，即 LED 墙与游戏虚拟引擎实时渲染技术、动作捕捉技术相结合组成了一套摄影机内虚拟制作的拍摄系统。
相比于那些有大量镜头需在绿(蓝)幕背景下拍摄的影片来说，这是 一个更好的解决方案。有了 LED 墙的加入，演员不需要再对着绿幕凭靠幻想进行表演，同时，LED 墙可为演员以及周围布置的场景提供正确的环境照明。
加入动作捕捉系统和游戏引擎实时渲染技术，可以使摄影机拍摄得到具有正确透视视差的背景，还大大节省了拍摄的预算和时间，所有的工作人员只需要在一个摄影棚内工作即可完成影片的拍摄，甚至可以在一天内更换多个场景进行拍摄，省去了去外景地拍摄的需求和转场的时间。
更为重要的是，摄影机内虚拟制作改变了传统影视制作的工作流程，可以缩短影片的制作周期，使后期的视效人员提早参与到影片的创作中来。

影视作品的传统制作流程与虚拟制作流程

在摄影机内拍摄得到的画面在后期阶段只做适当的修改即可，不用像传统的影视制作那样，经过建模、动画、合成等一系列特效制作环节，极大地压缩了后期制作的时间和预算。
因此，将 LED 墙技术应用在影视拍摄中，能够有效改进影视制作流程，减少制作成本，提高工作效率，对新技术在影视拍摄中的推广应用具有正面促进作用。
LED墙与虚拟拍摄完整内容见《影视制作》2022年8月刊

推荐阅读

我知道你在看哟