“换脸”新技术！全新实时混合AI+CGI
关于面部建模，我们之前发表过一些文章，比如用手机软件捕捉面部肌肉运动并生成FBX；比如结合高端表演捕捉、机器学习和专用软件生成的数字版马丁·路德·金利。今天我们重提面部建模，是因为Mike Seymour于2020年7月3日发布了一个全新的实时混合AI+CGI换脸系统。不知道怎么回事？那就听小编慢慢道来~
今年2月份，有一篇关于Pinscreen进行的换脸报道，换脸实际上就是利用实时技术将一个人的脸换成另一个人的脸。这种技术现在正应用在UE4游戏引擎中，它可以使一个完全CG数字角色看起来更加逼真，对游戏和虚拟制作有很大的帮助。
Davos演示的是经过创新训练的机器学习（ML）系统来实现“多对一”面部解决方案。他这个系统通可以让任何人走到镜头前，将他与电脑已经训练好的内部模型“一对一”地映射。由于模型已经过训练，所以可以对各种不同的人进行处理。游戏引擎里已经植入了所有的信息，因此不用再花费大量的时间去解决头部的位置、姿势等问题，准确性也远远超过了视频处理方法。
在最初的Davos系统中，演示的核心技术是paGAN RT,这种实时版本只需要输出目标人脸，不需要原人脸的训练数据。但它不符合Pinscreen的非实时高级版本paGAN HD的非实时质量。实时演示因不需要收集训练数据而占用时间而备受关注。新paGAN 2的混合进程与之前的版本不同。它是将一个新推断出的合成人脸组合成一个CG场景，取代的不是网络摄像头上看到的图像，而是游戏引擎中数字角色的脸。
首先，这张脸是可以用来训练的已知脸，这直接提高了输出质量，从以前的paGAN RT到一个非常接近全paGAN HD的水平，是实时运行的。第二个巨大的区别是，与在视频流上渲染的系统不同，paGAN 2是在引擎中进行人工智能脸交换，因此它可以感知3D空间，能准确的知道人脸在三维空间的位置，更重要的是它不会再因为被手或其他遮挡脸部的东西而破坏效果。像AI或者“deepfake”风格的人脸交换在面部有遮挡的情况下会出现巨大的问题。比如一个歌手拿着麦克风，他们拿着麦克风可能会把嘴挡住，这样就会打乱换脸技术而出现问题。而在UE4版本中，麦克风是一个3D麦克风，面部交换就会发生在麦克风后面的脸上。那是因为麦克风和歌手的手都是真实的3D物体，paGAN会识别出脸部相对于麦克风和歌手的手的空间位置。
在Mike Seymour的演示中，UE4中的数字角色是由Cubic Motion公司Persona系统+Mike在悉尼大学实验室穿着的Xsens传感器创建的，这为UE4.24中3Lateral的绑定提供了支持。然后，Pinscreen的软件将这些数据与其paGAN 2流程相结合，得到最终效果。前景中的麦克风是UE4资产（由Genoris2提供），而房间是静态的jpeg，已加载到UE4内的卡上。
paGAN 2处理程序与传统的Deepfake软件是有所不同的。DeepFake（Faceswaps）和DeepFaceLab等大多数公开的开源人脸交换方法，都是依赖于Autoencoders，并且不需要使用GAN。而对于paGAN 2，Pinscreen为了使其通用、耐用和暂时稳定，在制作过程的多个阶段都依赖于GAN，这就提高了结果的质量，并使系统能够处理更广泛的照明条件、表情、主题和环境。
目前，在渲染了CG角色之后可以运行诸如DeepFaceLab或Faceswap GAN之类的非实时人脸交换软件，并且CG角色与真实人物的预录制视频没有区别。新paGAN 2系统中不仅使摄像头能够移动或由用户控制，还可以让用户与真实的数字角色进行对话和互动，以及通过“内置引擎”操作可以得到真实的感受。
paGAN 2还可以处理实时光线跟踪的虚拟场景，随着Epic Games从UE4迁移到UE5的光线跟踪越来越多，paGAN技术用相同的方法进行移植也会奏效。由于人脸不是作为后期效果应用，而是在生成最终场景的过程中应用，因此其他任何UE4后期处理，像镜头光斑或相机视差都可以应用于paGAN 2面部。这个过程是以GPU或系统允许的帧速率运行的。Pinscreen团队会继续开发可供脱机使用的其他V-Ray for UE4渲染器类型版本，但是由于这样的用例很多，因此Pinscreen公司主要关注的点是实时性能。核心技术与渲染引擎是无关的，例如，在LINUX上运行的Pinscreen的内部测试平台。
UE中的全身实时Pinscreen Intelligent Agent Prototype
Pinscreen在全球拥有活跃的客户群体，团队为了平衡性别和种族背景，在培训数据中支持少数族裔，因此为了确保系统可以尊重所有民族和民族背景，Pinscreen在数据集上投入了大量资金，尽可能广泛地覆盖各种面部类型。即使这样，数据驱动的解决方案也可能会对某些种族类型产生偏差，但那纯粹是培训数据中的偏差了。
尽管团队非常关注实时，但有可能会构建非实时版本。也会考虑实现来自UE4的某些导出功能，以便在虚拟制作工作管线中进行脱机重新渲染，但这将采用数据导出和深度学习解决方案导出的形式，而不是单个.fbx或USD样式导出。因为paGAN解决方案并不是烘培到UE4纹理中，而是创建它们。团队目前仅对面部问题进行处理，但也正在探索类似的头发解决方案，并且，公司的规划还包括针对全身的类似的解决方案。对于身体上带来的问题是，艺术家们不仅想要人形，还想要一种由布料推算出来的合成物。Pinscreen团队致力于服装和时尚，但paGAN 2方法可以在面部有效的运用，却不能直接转化为全身穿着衣服运动的身体。
但方法总会有的，期待Pinscreen可以给我们带来一个全新的可以捕捉全身穿着衣服运动的身体的解决方案。
整理自：https://www.fxguide.com/
-End-
点下面图标刷刷CG作品吧