哪哪都是AI了！任意替换背景重光照论文和AI模拟不同语言的嘴唇运动技术
假期结束了，大家玩的心往回收一收吧，搬砖挣钱！加油CG儿们。
今儿个给大家讲解一篇论文和介绍一个技术。
等等，别一听论文就走人了，没准以后用上呢！来，先了解下，涨涨知识！
一、任意替换背景重光照论文
这是在今年的SIGGRAPH大会上AugmentedPerception团队发布的一篇关于替换背景重光照的技术。论文名字为《 Total Relighting: Learning to Relight Portraits for Background Replacement》翻译过来大致意思是：完全重光照：学习型重光照肖像替换背景。直白点说，就是把原始图像的人物抠出来，放到任何一个背景环境中都能完美的匹配环境光。
这是AugmentedPerception团队提出来的一个全新的基于深度学习的人像背景替换系统。这个系统会保持高频边界细节，并能精确地合成被拍摄主体在新环境光照下的外观，无论换成什么环境场景都能合成超真实的合成影像，而且不需要什么绿幕或其他专门的拍摄硬件。
大家平时玩的都是传统的遮罩估算恢复前景和alpha遮罩，但是如果直接用于合成，前景的光线可能与新背景环境光不匹配，合成后感觉很假。这时候我们需要处理很多步骤让前景和背景融合的完美些，但效率太低了。目前有类似的APP，直接把人物抠出来，放到其他背景中，感觉适合老年人没事的时候搞下，发发朋友圈。
说回到论文，这次的技术是同时考虑背景估计和人像重光照的框架，在一个完整的无约束设置系统中，可获得具有高质量边界细节和真实外观的合成。
如何实现的呢？大致过程是这样子的。
1.大体过程
首先把一张原始图像输入到这个系统中，然后基于机器学习的蒙版模块开始推算alpha遮罩和前景颜色。
接下来，重光照模块输入HDR照明环境图，重新照亮前景，准备匹配目标背景的场景
,然后将扣出来的对象合成到有一致光照的全景图中。
2.重光照过程
对于重光照模块，使用了一种新的Pixel-Aligned光照表示法（Pixel-Aligned将2D图像中的像素和该像素对应的人体的3D信息进行关联。）它是基于u-net类型的架构，U-Net是比较早的使用全卷积网络进行语义分割的算法之一，有利于空间对齐的输入。
然后用漫反射和Phone镜面反射波瓣预卷积（卷积是分析数学中一种重要的运算）目标光照，再使用推算出来的表面法线索引到这些预过滤的环境图中生成漫反射和镜面反射光贴图。
用这些提供的光照图以及推算出来的反照率作为神经渲染网络的输入内容，生成每个重光照的前景。
3.如何训练机器学习
为了训练抠像过程和重光照模型，研发团队在一个灯光舞台系统中，使用58个不同的摄像头一次捕获70个不同个体图像。从这些图像中恢复基准（Ground Truth）反照率和表面法线。
给出了一个干净的模板和一个trimap（一种静态图像抠图算法），这里还引入了一种技术来恢复每个视点的高质量的基准值alpha遮罩，用于在light stage中捕捉数据。
然后使用许多高分辨率HDR光照环境，使用基于图像的重光照生成合成肖像，将重光照主体合成具有一致照明的新背景中。
二、AI模拟不同语言的嘴唇运动
接下来看看另一个技术，用AI改变嘴唇运动。
大家经常看那种国外的影片配国语的电影或者电视剧，因为各国语言发音导致嘴唇的运动是不一样的，很多时候都是靠配音演员的实力和经验来控制语气和长短。对于观众来讲可能没什么影响，但看着有时候也别扭。比如四川方言配音版的《你丫闭嘴》就太经典了，如果这时候演员的嘴唇运动和配音能匹配上是不是更完美了呢？那现在这个可以实现了！
伦敦一家名为“Flawless ”的科技初创公司发布了一个新工具，是利用人工智能和神经网络模拟不同语言的嘴唇运动。
Scott Mann是Flawless的联合创始人，也是2015年一部抢劫电影的导演，他在拍摄电影时提出了这个想法。他说配音扼杀了剧情的表现，因此Scott Mann决定找到一个解决方案改变配音过程，于是开始研究。来看一段宣传片，看看什么效果。
他们研发的这个系统叫TrueSync，是一个人工智能产品。它允许电影制作人和视频内容所有者直观地将外语电影翻译成任何观众的母语，可以让唇音同步无缝匹配，而且可以保证银幕上演员的演技都完好无损。系统的核心是一个表演保持引擎，它可以捕捉原始素材中的演员所有细微差别和情感。
是不是想上手试试了？哈哈哈，但可惜的是这是人家的技术产品，如果你想让你的视频中嘴型变成中文的，要把视频或者图片素材交给Flawless，然后他们使用AI驱动的TrueSync系统来创建口形同步的效果，之后还需要视效艺术家完善结果，完事后才会把最终版本交给到你手中。我觉得这个生意还是蛮刚需的，想想世界上得有多少电影需要这样来做啊，是不是？
真希望这样的AI技术多一些，让更多的复杂工作变得简单，让更多的不可能变成可能。
好了，今天内容就到这里吧。
全文完
在UE4中如何实现影视级的效果？
Blender接下来都会开发什么功能？2021开发开发规划公布
这些年几个经典超写实CG角色开发概述~
都起开，不要妨碍我捏女友！3款强大的人物角色创建工具