PS已哭！NVIDIA人工智能修图技术太6了

Original pansking CG世界 2022-05-24

点击上方蓝字CG世界 关注CG我们

“ 感知CG · 感触创意 · 感受艺术 · 感悟心灵 ”

中国最具影响力CG领域自媒体

今天为大家介绍个黑科技~人工智能修复技术的新软件。最近两年人工智能，机器学习，深度学习的词汇特别热。也在各个领域开发和应用。CG领域也一直在不断的使用机器学习和人工智能来开发各种软硬件。

这不来自NVIDIA的研究人员最近介绍了一个基于先进的深度学习方法，开发了一个可以编辑图像或者重建图像的技术。有人说，那不就是Photoshop么？不不，这是人工智能的。怎么个智能？看看下面这个动图。

厉害吧？先不给大家看视频。我们先介绍它的来龙去脉。

这种方法执行过程称为“图像修复”，可以在照片编辑软件中执行，然后去除不需要的部分，同时用实际的计算机生成的替代方法填充被移除的部分。

研究成果可以很稳定的处理任何情景的图片，也就是说无论图片上什么奇形怪状，位置的不同或者图像边缘都能应付，而且处理的效果很好。那么可能大家自然想到了Photoshop中的修复画笔工具。但它是依靠庞大的后期处理完成的。而且以前的那种基于深度学习方法的工具主要位于图像中心附近的矩形区域内。

为了达到深度学习方法的准确性。研究团队对他们的神经网络进行了大量的训练。首先生成了55116个随机条纹以及任意形状和大小的孔洞用于训练。进行了25000次的测试。为了提高重建准确性，依据相对输入图像的大小进行了详细的六个类别分类。

然后使用NVIDIA Tesla V100 GPU和cuDNN加速的PyTorch深度学习架构，将生成的蒙版应用于来自ImageNet，Places2和CelebA-HQ数据集的图像来训练其神经网络。在训练阶段，将孔洞或缺失部分放入上述数据集的完整训练图像中，以使网络能够学习重建缺失的像素。

接下来在测试阶段，在将没有参与训练的不同孔洞或缺失部分的图像放入数据集中，进行测试，检测重建准确性。

再再深入的解释，是这样的：（可不读）

现有的基于深度学习的图像修复方法有局限性。会因丢失像素的输出必须依靠提供给神经网络的输入值，才能找出丢失的像素。这就导致图像修复的一些颜色差异和模糊很假。为了解决这个问题，NVIDIA团队开发了一种方法，可以确保丢失的像素输出不依赖于像素提供的输出值。

这个方法是使用“部分卷积”层，根据相应字段有效性对每个输出进行重新正则化。这种重新正则化可确保输出值与每个接受域中缺失像素的值无关。该模型是从这些部分卷积实现的UNet架构构建而成的。使用一组损失函数，匹配VGG模型的特征损失以及风格损失，来训练模型以产生逼真的输出。

一脸蒙逼，千脸蒙逼，万有引力定律蒙逼·····是不？Emmm，看看就好。知道大致是怎么来的就可以了。

研究人员还在论文中介绍说他们可以应用相同的架构来处理图像超分辨率的任务。

好了，来看看视频吧。

当然了，这种修复还是有一些缺陷的，有些地方还是能看出修复的痕迹。如果真的天衣无缝了，岂不上天了？技术是需要慢慢迭代才慢慢完美的，不是么？

编译自NVIDIA官网

关注新浪微博：爱CG世界

CG影像一睹为快

· CG世界 ·

使劲按住下面二维码

并识别它