前沿 | ​梵高究竟长啥样？深度神经网络根据油画重建出他的照片

选自 TechCrunch

作者：Lucia Maffei 

机器之心编译

参与：微胖、无我莽莽

我们都对 Prisma 情有独钟，它是一款 P 图神器，将智能手机里的普通照片转变为著名艺术家画作的风格。但是，另一转变过程——将艺术作品转变为照片——同样很迷人。来自荷兰的研究员们说，这并非那么遥不可及。

由内梅亨大学（ Radboud University）四位神经科学家组成的团队正致力于研究一种模型，借助深度神经网络，将面部素描逆向合成为逼真面部图像。研究结果（Convolutional Sketch Inversion）第一时间发布到了网站 arXiv 上，已被在阿姆斯特丹举办的欧洲计算机视觉大会接受。

图1：卷积素描逆向变换模型的例子。我们的模型将面部素描图转变合成为逼真的面部图片。每一行展示了素描图逆向变换/照片合成的流水线过程，即借助不同的深度神经网络，将同一张脸的不同素描图转变为同一张脸的不同图片。每一个神经网络层由其特征地图的前三个基本成分表示。

论文摘要：在本论文中，我们使用深度神经网络将面部素描图转化合成为逼真的面部图片。通过扩大现有不受限的面部数据集，我们首先构建了一个半模拟的数据集，包括海量风格不同的计算机生成的面部素描图以及相应面部照片。然后，充分利用深度学习近期取得的成果，比如，batch normalization，深度残差学习，知觉损失和随机优化与我们新的数据集结合起来，训练模型获得最好的结果，无论是在计算机生成的素描上还是手绘素描上。我们最终证明了模型在美术和法医学上的应用潜力。与已有的基于块的（ patch-based）方法相比，我们的基于深度神经网络的方法，能够被用于合成逼真面部图像，方法就是逆向反转面部素描。

科学家们说，他们的模型的应用领域不但涵盖美术，将自画像转变为更像照片的图画，而且还可以涵盖法医学，例如，将根据目击证人做出的素描，变成可以使用图像识别工具的东西。

「我们的灵感源自最近关于神经风格迁移（neural style transfer）的研究，这种算法以艺术作品的方式重新想象图片作品。」两位认知神经科学博士生 Yağmur Güçlütürk 和 Umut Güçlü 说，他们和 Marcel van Gerven 以及 Rob van Lier 共同参与了这项研究。

Yağmur 和 Umut 提及的这篇论文描述了一种技术：以梵高油画《星月夜》的风格重新想象一张德国图宾根城市照片。「这个例子让我们开始思考反转（逆向）的问题。也就是说，用照片风格重新想象梵高的艺术作品，会怎么样？」 Güçlütürk 和 Güçlü 写到。

这里，Güçlütürk 和 Güçlü 描述了他们软件（使用了人工神经网络）的运作原理： 

「我想教会人工神经网络如何将素描（输入）转变为照片（输出）。首先，我构建了非常庞大的数据集，由素描和对应的照片组成。我给人工神经网络输入素描图，然后让它将这些素描转变为照片。系统随机选择一种策略并加以尝试。起初，输出照片可能和数据集中的照片不大像。系统比对两者，并找出系统所犯的错。基于反馈，系统会调整起初的策略并再次进行尝试。逐渐地，输出照片质量提高了。」

来自 LFW 数据集的合成的逆向素描的例子。每一栏中第一列图片是基准图片，第二列是生成的素描图，第三列是合成的逆向素描。（来自作者论文）

教会一个模型如何匹配素材图和照片，非常重要的一点是重复训练（这对于训练神经网络是相当正常的）。「我们一次次重复着最后两步。」Güçlütürk and Güçlü 写到。「最后，它的照片看起来就像数据集里的照片。如果一切顺利，它不仅可以使用新技能将已经见过的素材转变为高质量图片，还能将未见过的新素材转变为高质量照片。」

为了训练和测试算法，科学家们使用了计算机基于  CelebA 数据集（这是一个网上资源库，有超过 20 万张名人图片）和 LFW 数据集（一万三千张人脸图片，来自网站）生成的素描。手绘的素描图来自 CUFS 数据集。

这两位博士首先尝试的事情之一，是将他们自己的脸部素描—— Yağmur 画的，转变为图片。多亏了这一算法，根据三位著名荷兰艺术家（伦勃朗，梵高和埃舍尔）的自画像，他们也获得了三位大师的逼真面部图像。

自画像素描和合成的逆向素描以及著名荷兰艺术家的参考绘画或照片：伦勃朗（上），梵高（中），埃舍尔（下）。（来源：「卷积素描反演变换」研究）

两位研究员如今正在探索如何将他们的研究成果应用于市场。他们正考虑从美术和法医学中获得收益。

「我们的 Neurant 公司正致力于这样的市场应用。我们希望不久就能将我们的技术投入市场。」Güçlütürk 和 Güçlü 总结说。

©本文由机器之心编译，转载请联系本公众号获得授权。

✄------------------------------------------------

加入机器之心（全职记者/实习生）：[e-mail]

投稿或寻求报道：[e-mail]

广告&商务合作：[e-mail]

点击「阅读原文」，下载论文↓↓↓