Google 机器学习“头显摘除术”，让 VR 共享体验更真实

我们可以通过 VR 设备在虚拟世界中尽情畅游，但 VR 的美妙体验并不能与旁人分享。旁人眼中的 VR 玩家，只是戴着“头盔”，在自言自语，手舞足蹈。

Google Machine Perception 研究人员与 Daydream Labs 和 YouTube Spaces 合作，找到了这个问题的解决方案：将 3D 模拟画面、机器学习与图形技术结合在一起，“摘除”头显，让用户“露脸”，营造逼真的透视效果。

https://v.qq.com/txp/iframe/player.html?vid=t0378gn96d3&width=500&height=375&auto=0

混合现实（Mixed Reality）技术可以将 VR 用户影像与虚拟世界影像结合起来，但美中不足的是，观众仍然无法看到 VR 用户的完整表情。

VR 艺术家 Steve Teeple 用 Tilt Brush 作画。
新技术可模拟头显后面 VR 用户的面部表情，完整呈现其 VR 体验

要“摘除”头显，首先需要采集 VR 用户的面部表情数据，制作出 3D 模型。这样，即便用户的脸被头显遮挡住，其视线改变、眨眼时的面部表情变化也能用 3D 画面完整模拟出来了。

然后，利用可以追踪用户视线的 VR 头显设备，记录下头显之下用户的视线变化情况。将视线变化数据和 用户的 3D 面部模型相结合，使模拟画面更加流畅。

人类对合成面部高度敏感，最微小的面部合成瑕疵也会令人感觉极不自然，这种现象被称为“恐怖谷（uncanny valley）。”为解决这个问题，最终成品中头显并没有被彻底去除，而是选择类似于“潜水面罩效果”的形式，将经过色彩校正的面部模拟与半透明头显合成在一起。

最后，将用户的 3D 面部模拟图像、VR 影像、外部摄像机拍摄画面结合起来，用 2D 视频鲜活自然地还原 VR 用户的奇妙体验。

这项新技术的有着很大的潜力，实际上，它的应用范围远远超出混合现实的领域。

这项技术有助于改进 VR 世界的社交互动模式，可用于 VR 视频会议、多玩家 VR 游戏等，用户还可以使用它与家人和朋友一起在虚拟世界中探险。从笨重的头显到轻装上阵，在机器学习技术的帮助下让用户在虚拟现实中“露脸”，将成为人类走向 VR 世界的重要一步。