不用修可直接用？DI4D超精细度面捕技术

点击上方蓝字CG世界关注我们

“ 感知CG · 感触创意 · 感受艺术 · 感悟心灵 ”

中国很有影响力影视特效CG动画领域自媒体

著名动作捕捉公司Dimensional Imaging（DI4D）又有大动作了！

DI4D自从2018年推出了无标记面部捕捉技术后，时隔3年，又新推出了PURE4D，这是一种新的高效并且可以扩展的4D面部捕捉。这个新的制作管线可以让开发人员利用高保真4D面部表情捕捉为游戏动画制作出写实的数字替身。这次推出的PURE4D提供了以前仅适用于大型视频游戏项目的电影视觉效果和预渲染电影效果的保真度和写实度。利用公司的DI4D PRO系统、面部捕捉技术和新的机器学习技术，PURE4D能够提供大规模的高保真面部动画。

上面是一段演示视频，从视频可以看出新PURE4D的捕捉和动画保真效果，可以在任何引擎或游戏中使用。

现在DI4D的4D技术已被世界领先的视频游戏和电影领域工作室使用，其中包括动视，Digital Domain，MPC，RemedyEntertainment，Electronic Arts等。DI4D公司的重点是基于时间的动画，或者是用新引擎和渲染所需要的数据，提供细致入微的性能。DI4D有一个坐式PRO捕捉系统，这个系统带有9个1200万像素的摄像头，可捕捉表演者最高写实度的4D面部数据。这个系统已在无数高端产品中得到证明。如今，PRO主要用于技术或机器学习数据，或作为面部操纵数据的来源。

DI4D HMC大约重1公斤，虽然比较重，但平衡很好，摄像头数据规格与Technoprops的装备相似。DI4D MHC拥有400万像素立体摄像头（2K x2K），最高每秒60帧的录制速度，尽管考虑到人脸肖像性质，但DI4D系统录制的是2K x1.5K。这个系统使用皮带或后置CPU单元配合使用，这个就是给最新的DI4D工作提供的4D数据的部分。公司曾经尝试在头盔上安装一组更大的摄像头，但是Urquhart解释说，这样就失去了使用头盔的必要性，因为头盔会变的太重而没有办法佩戴。由于无法在演员身上安装更多的摄像机，所以公司转向机器学习，以提供高质量的4D数据，公司因其坐式多摄像头设备而闻名。

游戏平台（如PS5）的进步以及视频游戏引擎（如UE5）的图形复杂度的提高，将预渲染的电影和实时渲染的游戏角色之间的界线变得模糊。DI4D的4D性能捕获服务已在VFX中用于电影，电视，视频游戏和高级研究应用程序。最近的项目包括华纳兄弟公司的电影《银翼杀手2049》和《神奇动物在哪里》，Netflix动画选集《爱、死亡与机器人》，以及微软工作室的视频游戏《量子破灭》，还有多个项目正在制作中或正在等待后期制作。 

游戏里的数字替身在每一代的平台上变得越来越真实，而这一趋势将随着新一代视频游戏机和游戏引擎功能的强大而加速。因此，这给视频游戏开发商带来了一个关键挑战：如何在预算范围内制作出更详细，更逼真的游戏？

PURE4D系统使用的是DI4D专有的网格跟踪技术，因此可以将来自DI4D HMC（头戴式摄像头）系统的精确面部性能数据与来自DI4D PRO的更逼真的表情数据结合在一起。然后，系统会部署先进的机器学习技术，来扩展AAA游戏中大量的典型的角色动画。

新的PURE4D管线包括：

1. DI4D PRO系统，用于获取每个演员的高分辨率的4D面部表情数据。

2. 头戴式DI4D HMC系统，可用于捕捉准确的4D面部表情数据，通常是来自多个演员，同时进行全身运动捕捉。

3. 有效结合两组数据的机器学习算法，显著提高了解决方案的可伸缩性。

这个新的管线主要目的是捕捉演员面部表情中细微差别和微妙的表情，并且可以将其准确的转移到游戏中的数字替身角色动画中。

首先，参与者在PRO系统中执行一系列运动（ROM）和采样线，这为参与者建立了基线解决方案空间。然后，使用头戴式（HMC）摄像头系统来进行捕捉。随后从HMC摄像机创建基本的4D数据，最后将其解析为从PRO会话中提取的那些形状。以往在这个过程中，需要进行大量的手动清理，尤其是眨眼和演员眼皮周围，由于手动清理限制了游戏所需要的大量工作的扩展，因此，在最后一个阶段是新的人工智能清理，这样的工作持续了好几年。现在有了新的制作管线，可以利用新的机器学习来更有效的生成4D数据，不再需要传统的手动跟踪过程，这对于制作大型项目的小伙伴们来说，不得不说是一件兴奋的事。

PURE4D的宗旨是满足下一代的需要数千秒高质量面部动画的大型游戏项目的要求。DI4D公司刚刚使用这个新技术交付了他们的第一个项目，并且将生成一个多小时的4D数据的整个过程减少到了几个月，这比公司以前制作同样质量级别的项目快了很多。现在，DI4D能够处理多个小时的高质量4D数据项目，同时保持高保真度和准确的性能捕捉。

作为捕捉过程的一部分，PURE4D不需要传统的面部动画绑定。到目前为止，只有大型电影项目才能提供这种细节和真实感。PURE4D可以精确地捕获演员的面部表情，不再需要艺术家校正修改，并且可以作为超写实的面部动画提供给大家使用。

实时

PURE4D捕捉这个过程不是实时的，但是公司现在已经使用了强大的机器学习功能，因此这项技术确实为将来进行实时处理打开了大门。大家都希望能够在某个时刻进行实时数据处理，但是这不是现阶段就可以做的事情。目前，开发者渴望将他们为预渲染电影提供的高质量转移到实时渲染的游戏体验中，但是公司还没有做好从实时捕捉过程中进行实时处理的准备。

虽然对于大型电影项目还不能进行实时处理，但是有一些有趣的应用是使用4D数据进行实时处理的。官方负责人指出：“从代码中提取面部形状，从PRO数据中创建简单的形状实际上是一种超高效的实时传递机制。在这个应用程序中，因为每一帧的形状都不同，所以不一定要获得精确的“ 4d数据”，在这种情况下，它是形状的组合，这就是所谓的“无约束绑定”，我们可以看到在处理这些形状的时候仍然可以直接从演员的脸上看出来，所以大家还是非常喜欢最原始的效果。”他解释说。“这是一件令人兴奋的事情，这是我们寻求解决的新型项目，而不仅仅是我们过去所做的纯粹的电影和视觉特效。”

好了，今天的内容就到这里了，我们期待更高技术的开发，让我们看到更逼真的面部动画。

本文翻译整理自：

https://www.fxguide.com/quicktakes/di4d-extends-with-pure4d/

- 全文完 -