AI+VR，原来照片还可以这样玩！

点击上方蓝色字体“慧天地”即可订阅

秒变蒙娜丽莎毫无PS痕迹！

AI神器已开源，嵌入任何名画

与世界名画同框的梦想终于可以实现了，并且毫无违和感！康奈尔大学AI研究团队于去年4月发表的一篇论文，可以将物体和人完美的嵌入到画作中，而现在，这个技术的代码开源了！大家快来尝尝鲜！

如果你一直梦想着在《最后的晚餐》中和耶稣同框，或者融入进《尖叫》的情境里，那么恭喜你，现在，梦想可以轻易的实现了！并且毫无PS痕迹！

去年4月，康奈尔大学(Cornell University)的一个人工智能研究团队发表了在arXiv上发表了一篇论文，详细地介绍了他们的新机器学习算法，该算法可以将物体和人完美(或近乎完美)地嵌入画作中，且与艺术家的风格完全匹配。

论文地址：https://arxiv.org/abs/1804.03189

现在，研究人员已经将代码开源至GitHub上，大家都可以去使用呦！

https://github.com/luanfujun/deep-painterly-harmonization

正如下图一样，将蒙娜丽莎替换成迪克特·康伯巴奇(Benedict Cumberbatch)的脸，也不会觉得违和。

迪克特·康伯巴奇的脸与达·芬奇的绘画风格完美地融合在了一起。

该团队的算法简单来说主要分为三个步骤：

• Step 1：首先粗略地将人脸或物体放在画上，这个阶段所呈现的效果就仿佛让你的爷爷在没有任何指导的情况下使用photoshop一样。

• Step 2：在下一个阶段，它会对绘画进行粗略的风格匹配，让它们看起来还像那么回事。

• Step 3：最后一个阶段中，进一步协调导入的对象，使纹理和样式与原始绘画相匹配，令其具有惊人的准确结果。

最后，艺术家似乎真的预言了轻型飞机的发明。

这也正是为什么下图中的战士仿佛拥有美国队长的盾牌了。

作者在他们的研究中写道：“绘画合成是一项艰巨的任务，因为合成的风格与原画并置，任何差异都能立即显现。”

由于风格和纹理的细微差别，观看者往往能够立即发现所添加的“新对象”。有些东西特别引人注目，尤其是当你把赝品和原作作比较时。

“相比之下，我们进行了一项用户研究，结果表明，我们算法生成的合成物往往被视为真迹，”作者写道。

开源一出，各种恶搞！

这下可把网友们给开心坏了，各种“恶搞”名画。

网友Gene Kogan将自己融入名画后，不禁感叹：“这是我见过最诡异的照片了！”

也有网友给梵高的肩上加了一只别致的小鸟。

各位看官是否也心动了呢？快去试试吧!

照片大变活人！

平面人物秒变3D模式，还会动

12月，华盛顿大学和Facebook的研究人员提交了一份最新成果：平面人物秒变3D模式，图片中的人物可以从平面中“跑出来”，动起来。如果再结合VR技术，那么你手机照片中的任务不再只是静态的人物，他们会穿越层层障碍，奔向你。

哈利·波特里有项魔法“黑科技”很让我等麻瓜羡慕——照片会动甚至会从平面照片中伸出头或者手和你互动。

上月，华盛顿大学和Facebook的三位研究人员（Chung-Yi Weng、Brain Curless、Ira Kemelmache-Shlizerman）在arXiv上发表文章，彻底将J.K.罗琳的黑魔法变成了真实的黑科技。

论文地址：https://arxiv.org/pdf/1812.02246.pdf

这三位最新开发了一项动画制作方法和应用程序：照片动起来已是小case，这项技术可以保持照片背景不变，激活平面人物变成3D模式，直接跑出画面奔向你。如果再结合虚拟现实技术，那么画面中的人会真的出现在你面前。

技术效果展示

有了这项技术，那些小哥哥、小姐姐甚至动漫人物都不再只是固定在某一姿势的静态人物，他们会被唤醒，走出照片穿越人群，奔向你。

构建完美的可动画化3D模型方法，让画中人动起来

研究人员称这项技术为“唤醒”照片，他们甚至基于此开发了名为Photo Wake-Up的软件。

但与电影图谱不同的是，电影图片是从视频中创建的2D体验，而最新的方法是将一张照片作为输入，并产生完全的3D体验。

而在此过程中最主要的挑战是重构后的3D人物与照片中原形人物的轮廓紧密匹配，这事实上非常困难，因为身体可能被部分遮挡，通常被其他身体部分遮挡，比如有人站立时双臂交叉在胸前，这使得机器难以直接从平面图像中确定3D身体结构。

在此项研究中，该团队最关键的贡献就是构建了可动画化3D模型的方法，该模型可匹配单张平面照片中的身体轮廓并处理被遮挡住的身体部位。

也有很多计算机科学团队曾试图解决这一问题，之前Microsoft团队和德国Max Planck智能系统研究所开发了一种名为SMPL（Skinned Multi-Person Linear Model）的程序，Weng团队的研究突破正是基于SMPL程序。

SMPL模型是首先需要将2D对象的人体轮廓减下来，分割人物的四肢和躯干，识别人物的骨骼点，然后将3D骨架叠加到2D形状上，最后可以形成一种半裸的3D模型。

根据模型，可以对3D骨架进行动画处理来创建运动感。从一定程度上，这解决了人体姿势估计的问题。这种方法需要从正面看到从头到脚的剪影。它可以处理某些类型的遮挡，例如身体前方的手臂，但SMPL不能处理更复杂的遮挡，比如跷二郎腿的人。而且在SMPL中，即使将剪切的照片映射到3D骨架上，也不会产生逼真的动画，更重要的是这种3D模型与人的衣服轮廓并不匹配。

基于SMPL模型，Weng团队尝试了不同的方法——他们从2D层面上开始下手，下图就是这个方法的完整图解：

首先让SMPL模型匹配原始图像中的人物轮廓，然后将SMPL模型转成两种映射模式：普通贴图（normal maps，可看清轮廓）和皮肤贴图（skinning maps，通过不同颜色区分了身体部位），将两种贴图合二为一后，升级到3D模式，为动画做好准备。

该团队的实验成果：每个人物的左侧为原图，右为实验结果

最后，研究人员们使用运动捕捉序列来进行动画处理，纸片人就真的活啦！

简单来讲，就是将图片中的人物在2D层面中实现对齐，再将其转换成3D，然后再调整成动态，来看下效果：

该团队还提供了具体视频进行成果演示和分析：

团队特别关注观众更容易注意到的人物头部。他们说：“头部姿势的准确性对于效果漂亮的动画很重要。” 因此，他们的算法还可以识别，诸如注视方向和头部角度之类的特征，然后使用它来获得身体网格头部姿势的精确角度。

如果结合虚拟现实技术，那么玩法会更多

这一技术目前还有一些局限性，例如，人物身上的阴影和反光尚未在此方法中建模，因此不会随动画移动，这可能会略显生硬；另外，SMPL模型可能会产生不正确的3D姿势。

基于这些缺点，该团队还在软件中开发了一个用户界面，允许任何人更改3D骨骼相对于身体的方向，并允许用户纠正错误并微调动画。

该团队表示：“我们的方法适用于各种各样的全身，相当正面的照片，从体育照片到艺术品和海报。”

事实上，这是一项很有趣的研究，具有很大娱乐潜力。研究人员说：“我们相信这种方法不仅为人们提供了新的方式来欣赏和与照片互动，而且还提出了一种从单一图像重建虚拟化身的途径，同时提供了对现有技术的深入了解，从一张照片中就能进行人体建模。”

想象了一下，如果结合虚拟技术的话，应该是这样的：

点一点手，Beatles就从专辑封面中向你走来。

不止是现实人物，连毕加索画作中的人都能从走出画框，少女小跑地奔向你：

额，如果这不是你理想对象的话，那将来就拿右键保存的男神女神照片来试试吧。

来源：“新智元（ID：AI_era ）”，原标题《秒变蒙娜丽莎毫无PS痕迹！AI神器已开源，嵌入任何名画》以及《照片大变活人！华盛顿大学&FB最新成果：平面人物秒变3D模式，还会动》（版权归原作者及刊载媒体所有）

荐读

点击下文标题即可阅读

星标公众号小教程

👇

编辑 /卜玺  审核 / 卜玺 胡芳霞

指导：万剑华教授