DayDream Labs发布新技术为虚拟现实混合视频除去VR头盔

星佳之前在逛youtube的时候无意间看到了Goole Lab发布的新技术『Google Research and Daydream Labs: Seeing eye to eye in mixed reality』，其实看英语远比机器翻译出来的技术文档舒服很多，以下为部分机翻...

用中国话表达的意思就是，通过谷歌最新的技术可以让MR视频实现的效果更酷，我们来看看最终的实现效果：

虚拟现实（VR）能够提供身临其境的体验，提供新的观察世界的方法，以及探索真实和想象的新环境的能力。然而，与物理现实相比，与其他人分享这些经验可能是困难的，因为隔着VR头盔使得创建参与体验的人的完整体验依然不够友好。

通过混合现实（MR）可以来协助大家解决这个问题，混合现实（MR）是以二维视频格式共享VR用户的虚拟体验，允许其他观看者获得用户的虚拟体验的感觉。即使MR能够帮助旁观者讲明白什么是VR，但是体验者的VR头盔却阻止了他的面部表情和眼睛注视。

而谷歌的方法是使用3D视觉，机器学习和图形技术的组合，它由三个主要组成部分来实现如上的效果：

1.动态面部模型捕获

我们的技术的核心思想是使用用户面部的3D模型作为隐藏面部的代理。该代理用于在MR视频中合成面部，从而创建头戴被移除的印象。首先，我们为用户捕获个性化的3D脸部模型。这个初始校准步骤要求用户坐在彩色+深度相机和显示器前面，然后用他们的眼睛跟踪显示器上的标记。我们使用这种一次性校准程序（通常需要不到一分钟）来获取用户的3D面部模型，并且学习将外观图像（或纹理）映射到不同的眼睛注视方向和眨眼的数据库。这个注视数据库（即具有由眼睛注视索引的纹理的面部模型）允许我们在合成期间动态地改变面部的外观并且生成任何期望的眼睛注视，从而使得合成的面部看起来自然。

在左边，当她用她的眼睛跟踪监视器上的标记时，用户的脸部被照相机捕获。在右边，我们显示重建的3D脸部模型的动态性质：通过移动或点击鼠标，我们能够模拟视觉眼睛注视和眨眼。

2.校准和对准

创建混合现实视频需要一个专门的设置，包括一个外部摄像头，与VR头盔进行校准和时间同步。相机在绿色屏幕的前面捕获VR用户的视频流，然后将用户的剪辑与虚拟世界合成以创建最终的MR视频。这里的一个重要步骤是准确地估计摄像机和头戴式耳机坐标系统之间的校准（固定3D变换）。我们通过在头盔的前部添加一个物理标记，并以3D方式在视觉上跟踪，简化了过程，这使我们能够从VR会话自动优化校准参数。 

对于VR头盔“移除”，我们需要将3D脸部模型与相机流中的脸部的可见部分对准，使得它们将彼此无缝地融合。这种对准的合理代理是将面部模型放置在耳机后面。上述校准与VR头戴式耳机跟踪相结合提供了足够的信息来确定这种放置，从而允许我们通过将虚拟脸部渲染到其中来修改相机视频流。 

3.合成和渲染

已经处理了对齐，最后一步涉及产生与照相机流中的内容一致的3D面部模型的合适渲染。我们能够通过将我们的动态注视数据库与已经由SMI修改以并入眼动跟踪技术的HTC Vive头盔相结合来再现用户的真正眼睛注视。来自这些眼睛跟踪器的图像缺乏足够的细节来直接再现被遮挡的面部区域，但是非常适合于提供细粒度的注视信息。使用来自跟踪器的实时注视数据，我们合成准确地表示用户的注意力和眨眼的面部代理。在运行时，在预处理步骤中捕获的注视数据库被搜索与查询注视状态相对应的最合适的面部图像，同时还考虑诸如时间平滑度的美学考虑。此外，为了解决凝视数据库获取和运行时间之间的照明变化， 我们应用颜色校正和羽化，使得合成的面部区域与面部的其余部分匹配。

人类对面部的伪像非常敏感，甚至在闭塞面部的合成中的小缺陷也可能感觉不自然和分心，这种现象被称为“ 恐怖谷效应 ”。为了减轻这个问题，我们不完全去除VR头盔，选择了通过将颜色校正的面部代理与半透明头戴式耳机进行合成来传达“透明面具效果”的用户体验。提醒观众VR头盔的存在有助于我们避免『恐怖谷效应』。

这种修改的相机流，显示透视耳机， 随着用户的脸部被显露并且他们的真实眼睛注视被重新创建，随后与虚拟环境合并以创建最终的MR视频。

结果和扩展

我们使用我们的VR头盔去除技术来增强混合现实，允许视频不仅传达VR用户与虚拟环境的交互，而且以自然和令人信服的方式展示他们的脸和表情。

下面的示例演示了我们在虚拟环境中应用于使用Google Tilt Brush的艺术家的技术：

    艺术家使用Google Tilt Brush创建3D艺术，如混合现实中所示。顶部是传统的MR结果，其中面部隐藏在耳机后面。底部是我们的结果，这揭示了整个脸和眼睛的更自然和参与的经验。

最后，看一段最终效果吧

https://v.qq.com/txp/iframe/player.html?vid=u0381rxie40&width=500&height=375&auto=0

星佳说：

作为国内比较早研究MR的第一波玩家，星佳基本见证了整个MR技术的进步，从最早第一个HTCvive的宣传视频到现在也差不多快有一年的时间，从那时候以为就是个抠像那么简单，到现在会越来越高要求的去完善MR的技术，不管是基于HTCVive还是Hololens的MR，星佳都坚定的相信MR技术会改变很多行业，比如教育，影视拍摄和制作，还有互动游戏等。

再上周看到谷歌发布的这个技术后，突然想起了PSVR的宣传视频，又想起来MagicLeap的特效门事件，而前几天在展会上看到的基于UE4引擎的实时动作捕捉技术，和诺亦腾发布的Hi5手套又让星佳觉得有时候搞技术真的是挺苦逼的，扯远了，我们来看看这个牛逼的技术吧，基于游戏引擎的实时动作捕捉，而且还有互动哦..

抱歉，家里突然停电了，明明用『掌上电力』App缴纳了电费，真是心累，马上又12点了，不忍心错过每天一次的推送机会，最后就附上之前关于MR的几篇文章吧，希望认可MR价值的朋友们可以一起多多交流。

微信：xingjia10086

微博：@星佳是个小人物

相关阅读：