—— 青亭网
其他
眼球追踪VR+面部追踪模块，网友打造最强MetaHuman虚拟人方案
Esther｜编辑
Epic不久前发布全新的浏览器工具MetaHuman Creator，该工具基于像素流和云端技术，可以让你在网页端创建高保真的3D虚拟形象，结合动作捕捉技术，这种虚拟形象可实时模拟你的面部表情和身体动作。
可以想象，MetaHuman Creator将大幅降低3D虚拟形象创作门槛，用户大约不到1小时就能完成形象创建、动画绑定和动捕。此外，该工具未来将支持ARKit等多个动捕平台，进一步降低硬件使用门槛。
那么这款工具到底可以用来做什么呢？效果又如何？目前，正在公测阶段，并未正式上线，因此只有部分用户有幸体验。
https://v.qq.com/txp/iframe/player.html?width=500&height=375&auto=0&vid=k3234rijo5l
比如近期，一位叫Matt Workman（CitizenMetaOne）的开发者抢先体验到MetaHuman Creator，并在网上与大家分享了一些心得体验。据悉，Workman曾开发逼真的影视场景模拟器应用，因此他将用MetaHuman创作的3D形象与自己创作的电影场景结合，并搭配VR手柄和追踪器，实现了用动作和表情控制虚拟人在3D空间中行走的效果。
据了解，为了预览和实现基于姿态和面部追踪的3D虚拟人效果，Workman采用的硬件包括：HTC Vive Pro-Eye头显、Index手势追踪手柄、Vive Tracker、Vive面部追踪模块。这些Vive Tracker将用于追踪胸口、后背和手臂。
Vive Pro Eye下方为Vive面部追踪模块
也就是说他可以利用眼球、手势、上身姿态、面部表情完整控制3D虚拟人的上半身，下半身则是通过动作模拟来实现，他利用手柄让虚拟人行走，行走的步伐和动作是预设的。谈及这样设计的原因，Workman表示：则是为了降低3D虚拟人动画的复杂性，使之运行更顺畅，而且自己站在原地就能控制虚拟人。
Workman将制作的3D虚拟人和场景应用在直播、视频中，他可以轻松控制虚拟人的动作和表情，还能切换视角，甚至可以模拟电影镜头切换的效果。据悉，他将这套利用VR远程控制的动捕方案称为“实时智能玩偶系统”，而不是动捕系统，因为用VR头显和手柄可以直接与虚拟场景互动，比专业的动捕更智能。
除了用VR头显外，Workman还尝试用iPhone来进行面部识别，结果发现：Vive面部识别模块每秒刷新率60帧，因此大多数情况下比iPhone面部识别反应更快。除此之外，在VR中还可以直观查看VR沉浸空间以及虚拟人的位置，因此动捕观感会更逼真。相比之下，不戴VR的方案需要他看显示屏，头和眼神会偏离。
他将3D虚拟人在不同虚拟场景中测试，比如：赛博朋克风的城市、白宫发布会、水面等等，效果看起来比PC游戏中的人物更加动态，尤其是眼球转动的表情足够逼真。
为了展示Vive Pro-Eye和面部追踪模块对眼球和嘴唇追踪的效果，Workman还制作了一个放大面部的动捕视频。实际上，此前HTC用面部追踪模块控制3D卡通形象时并不能直接看出来面部识别竟然这么逼真，当与MetaHuman结合后，你可以发现虚拟人可以像人一样挤眉弄眼，张嘴说话，Epic的渲染技术将虚拟人的毛发、皮肤纹理、牙齿、面部光线等细节呈现的足够逼真。可以看到虚拟人的牙、牙床、舌头等细节。
不过，他的电脑配置足够高，是一台HP Z8商用计算机，配备NVIDIA Quadro RTX 8000，以1080p分辨率运行，因此不确定在普通PC上运行能否有同样实时的效果。同时，他所呈现的动捕效果也是经过长时间校正和性能检测达到的水平。
除了Workman外，还有不少抢先体验者通过视频展示了用iPhone面部识别来控制3D虚拟人的效果，看起来足够稳定、实时，甚至也能模拟皱眉、嘟嘴、伸舌头、转眼球等多种表情，也就是说使用支持面部识别的iPhone即可打造低成本虚拟偶像、虚拟动捕、动画等方案。除了iPhone外，还有网友用全身体感服来测试MetaHuman。
有网友说：有传闻说MetaHuman将偷走3D画师的工作
实际上，在MetaHuman Creator出现之前，虚拟偶像方案的使用门槛已经足够低，不过大多数虚拟形象更偏向卡通人物，毛发、牙齿、皮肤等细节的渲染不需要太准确。而MetaHuman的出现，意味着未来将逼真的虚拟人用于PC游戏、VR游戏、VR社交、虚拟拍摄等场景时，可以更加生动，而且足够通用，可以被大部分人广泛使用
MetaHuman快被网友玩坏了
总之，看好MetaHuman未来在虚拟场景的应用，其潜在应用场景将包括：游戏、社交、影视娱乐、虚拟偶像等等，想象一下，如果未来你在多人PC游戏中也可以控制自己角色的表情，那么在与其他玩家交流时沉浸感应该会更强。那么，如果将PC屏幕变成沉浸的VR，那么整个虚拟社交的逼真感又将大幅提升。
（ END）
推荐阅读
—— 青亭网