查看原文
其他

Google 机器学习“头显摘除术”,让 VR 共享体验更真实

2017-02-24 谷歌黑板报 谷歌黑板报


我们可以通过 VR 设备在虚拟世界中尽情畅游,但 VR 的美妙体验并不能与旁人分享。旁人眼中的 VR 玩家,只是戴着“头盔”,在自言自语,手舞足蹈。

Google Machine Perception 研究人员与 Daydream LabsYouTube Spaces 合作,找到了这个问题的解决方案:将 3D 模拟画面、机器学习与图形技术结合在一起,“摘除”头显,让用户“露脸”,营造逼真的透视效果。

https://v.qq.com/txp/iframe/player.html?vid=t0378gn96d3&width=500&height=375&auto=0

混合现实Mixed Reality)技术可以将 VR 用户影像与虚拟世界影像结合起来,但美中不足的是,观众仍然无法看到 VR 用户的完整表情。


VR 艺术家 Steve Teeple 用 Tilt Brush 作画。
新技术可模拟头显后面 VR 用户的面部表情,完整呈现其 VR 体验


要“摘除”头显,首先需要采集 VR 用户的面部表情数据,制作出 3D 模型。这样,即便用户的脸被头显遮挡住,其视线改变、眨眼时的面部表情变化也能用 3D 画面完整模拟出来了。


然后,利用可以追踪用户视线的 VR 头显设备,记录下头显之下用户的视线变化情况。将视线变化数据和 用户的 3D 面部模型相结合,使模拟画面更加流畅。

人类对合成面部高度敏感,最微小的面部合成瑕疵也会令人感觉极不自然,这种现象被称为“恐怖谷(uncanny valley)。”为解决这个问题,最终成品中头显并没有被彻底去除,而是选择类似于“潜水面罩效果”的形式,将经过色彩校正的面部模拟与半透明头显合成在一起。


最后,将用户的 3D 面部模拟图像、VR 影像、外部摄像机拍摄画面结合起来,用 2D 视频鲜活自然地还原 VR 用户的奇妙体验。


这项新技术的有着很大的潜力,实际上,它的应用范围远远超出混合现实的领域。

这项技术有助于改进 VR 世界的社交互动模式,可用于 VR 视频会议多玩家 VR 游戏等,用户还可以使用它与家人和朋友一起在虚拟世界中探险。从笨重的头显到轻装上阵,在机器学习技术的帮助下让用户在虚拟现实中“露脸”,将成为人类走向 VR 世界的重要一步。




您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存