—— 青亭网
其他
只需2D图像即可生成动态人像的“MR照片”来袭
hi188｜ 撰文
我不确定AR这个词的有没有官方定义，或者官方相关协会，但我认为当今对于AR的定义远比VR要广泛，比如说VR在多数人眼里的概念就是一个头盔式显示设备，而AR则不同，不仅仅有AR眼镜，例如HoloLens、谷歌眼镜，而且手机上也有AR技术，例如《精灵宝可梦Go》。
这也难怪MR这个概念被催生，但这绝对是让AR概念变得更混乱的方式之一。
“AR照片”都是假的？
排除概念性的因素，我们今天来看看谈谈手机上的AR。为什么，我会说大部分移动AR都是假的？
这要源自于我近期看到一些所谓的打印机，被冠上“AR照片”的称号，接下来会详细说一说。
XPrint打印机的AR照片演示
华为便携打印机-AR照片
华为便携打印机-京东众筹
首先，我并不确定这项所谓的“AR照片”技术对于打印机的必要性，或者说这项功能的“实用性”，以及对产品的实际销量能有多大提升作用，但我认为这是一个看上去炫酷、温馨、还能勾起某些回忆甚至情感的的功能，但应用频次较低，从众筹结果也能看出一些结果。
其次来看看使用方式，你可以选定任何一段视频进行导入，视频可以是本地的，现阶段的AR照片几乎都基于本地视频，畅想一下未来5G时代可基于高速网络扫描后立刻弹出在线视频。而照片则是基于这段视频中的某一张，选定之后作为封面打印出来，之后扫描照片即可在手机上弹出这段视频。
也就是说，该功能就是你可以选定一段视频，之所以这么设计是因为AR照片功能“从照片到视频”看起来比较连贯。
从技术角度来看，这项AR照片的功能就是“图像识别”的过程。反过来说，程序会在打印AR照片时将你选定的封面图按找已有模型进行解析，然后生成一个数值，这个数值直接对应着你导入的视频，每当App扫描到这张图片时就会弹出对应的视频，因为两者之间已经被关联。
这时你会问了，难道就不能换成其它图片吗？从技术角度来看当然可以，你完全可以将一段小猫小狗的头像对某个明星跳舞的视频，只不过这样会大大降低场景的连贯性和使用体验，只能当作恶搞工具而已，违反了该功能初衷。
当然，我们以上讨论的也仅仅是其中的“AR照片”功能， 和打印机本身无关。
接下来，我们先来看看目前移动AR市场一些经典案例。
AR扫五福
朋友圈AR祝福（孔明灯是AR叠加的）
AR翻译
更多支付宝AR应用
可以看到，上述的应用玩法多样，多数是营销工具，而为数不多的实用工具则是AR识花，不过微软也有一款类似应用，只是叫做“微软识花”而已，并没有加上看上去“炫酷吊炸天”的AR。
另外我们还注意到，以上的这些AR应用半数都是以“扫描”为基础的体验，就是说你扫描识别到什么，就对应出现弹出什么，功能简单，玩法也可以扩展出多样。这其中，考验的往往是你的识别算法。
当然，我们的疑问是每天我在用手机扫码付款时的二维码为什么不能换成一张我的照片，叫做“AR付款码”呢？当然，这里面有隐私、速度、稳定性等因为，而且二维码算法基本成熟稳定，更重要的还是安全性问题。甚至，考虑很多支付场景是被扫描，而收银员往往使用激光二位扫码器，可识别二维码，但图像就识别不了。
“MR照片”来了
当我们还沉浸在这种AR照片时，似乎我都分不清所谓的AR照片是不是AR，一时陷入困惑。那么，有没有沉浸式的AR照片呢？我不确定，但我看到了一个新的依据2D照片生成动态人像的方案。
近期，华盛顿大学与Facebook联合推出了一个功能后（论文第一作者为Chung-Yi Weng），与其被称作“AR照片”，我认为它更像是“MR照片”。
他们开发了一项能够让照片动起来的名为“Photo Wake-Up”的技术，该功能依托于ARKit或ARCore技术，能创建出更炫酷的AR照片效果。
该技术的特点是，通过一张给定的2D照片，即可模拟出照片中物体的3D动画，与AR结合可呈现出“让人物走出照片”的效果。
https://v.qq.com/txp/iframe/player.html?width=500&height=375&auto=0&vid=q0818ptlds9
通过视频来看，该方案的人物模拟效果还算不错，主要是能够让里面的人物或动物“走”或“跳”，甚至还能让钢铁侠坐下来，交互动作还算连贯，整体稳定性不错。原因是该方案可以识别不同的身体部位，如手臂和腿，并通过扭曲贴图算法输出不错的匹配效果。
这套方案还能改变虚拟人物的动作（关节），例如调节调整篮球员库里的肘关节等，让其挥手、奔跑、走动等动作都是基于此。
据青亭网了解，这套方案的基本操作步骤是，给定一张图片--人体检测--二位姿态估计--人像分割，这些都是基于现有的算法，而此后的包括SMPL轮廓和贴图系统，然后将对应的映射图象分割出来。
该方案的核心是：在人的轮廓和SMPL轮廓之间找到一个映射，将SMPL轮廓和贴图结合扭曲法线贴图结合，创建包含深度的贴图。
除此之外，还需要对人像后的背景进行估计，因此最终能以3D化呈现出来，支持最大180度观看，即向左90度、向右90度，因为背后的图象是无源的，模拟难度很大。当然，该方案也有一些不完美，例如目前只能直线行走。
最终效果
以上就是最终呈现出的效果。综合来看，该方案能够适用于移动AR，AR头显，甚至部分的VR场景中。
当然，这个方案也只是给今后的AR交互方案带来新的思考，例如今后的AR博物馆，AR画展等可能都会迎来变革，甚至还如果算法成熟还能节省大量动画设计似的时间，未来的前景无限。
（END）
推荐阅读
—— 青亭网