—— 青亭网
其他
专注虚实融合，Meta最新Presence Platform特性解析
Esther｜编辑
在前不久举行的FC大会上，Meta公布了构建元宇宙平台的宏观愿景，其旨在打造一个虚实融合的互联数字体验，通过AR/VR技术拉近虚拟和现实之间的距离，营造不受地理位置限制的共享体验。也就是说，你可以在元宇宙平台具有虚拟形象，还可以穿越到遥远的场景。
据悉，Meta将与开发者、创作者合作，在Horizon基础架构之上继续丰富元宇宙应用场景。那么与开发VR应用相比，为元宇宙开发内容有什么区别呢？
为了丰富元宇宙开发工具，明确相关内容形式，Meta推出了Presence Platform，其中包含了多种基于AR透视的功能，以及语音和手势交互工具。从Presence Platform的各项功能可以看出，未来Meta想要打造一个AR和VR无缝衔接的虚拟平台，为了展现这样的效果，其还将于明年推出demo应用：《The World Beyond》。
此外，Presence Platform与Oculus Platform SDK具有高度互通性，因此你可以在开发VR应用的同时，开发AR模式或开启自然交互功能。
Meta表示：元宇宙的基础架构已经存在，为了在此基础上进一步提升虚拟环境的自然感和逼真感，应用中运动和场景交互的呈现形式需要得到优化。换句话说，就是如何通过具有空间感的虚实融合效果，提升AR/VR场景的沉浸感，让人更加信服。
https://v.qq.com/txp/iframe/player.html?width=500&height=375&auto=0&vid=j3306qc9pcm
据青亭网了解，Presence Platform（中文直译为临场感平台）包含四大部分：1）Insight SDK；2）Interaction SDK；3）Voice SDK；4）Tracked Keyboard SDK。据悉，Insight SDK包括一系列透视AR功能，除了此前已经公布的Passthrough API（透视API），Insight SDK还包括空间锚点和场景理解两个新功能，进一步丰富透视AR的效果和应用场景。而Interaction SDK则包含一系列标准化的模块化手势和自定义工具，旨在进一步简化手势识别功能的开发流程。Voice SDK可以帮助开发者在应用中集成语音交互功能。
目前，Passthrough API已经随v34版Oculus系统推出正式版，而Spatial Anchors、Scene Understanding则将在明年推出测试版。
基于VR的透视AR
实际上，语音和手势交互功能此前已经开放实验性测试，透视API是更新的功能，对于Meta打造AR生态具有关键作用。尽管Quest并不是真正的AR头显，但是通过Passthrough API的这些功能，开发者也可以开发出沉浸感足够好的AR内容。此外，Quest的优势在于可以将VR与AR融合，你可以看到周围的部分场景，同时也能看到VR渲染的场景，效果看起来足够自然。
https://v.qq.com/txp/iframe/player.html?width=500&height=375&auto=0&vid=x3306demdyl
细节方面，Passthrough API可帮助开发者制作基于透视的AR内容，而空间锚点（Spatial Anchors）和场景理解（Scene Understanding）分别指的是，将AR内容持续固定在物理空间（LBS AR），以及让AR与物理场景互动。这些功能此前已经在Magic Leap等AR头显上展示，而Quest视频透视也能支持这样的功能，也是为了探索优质的AR效果，同时也能为Meta的AR眼镜打下内容基础。
空间锚点：该功能将以头显周围的物理空间作为框架，让你可以将AR定位在特定的位置，并持续保存。此外，利用空间锚点开发的AR还将支持6DoF定位，可追踪相对于Quest头显的6DoF范围。而且你在Quest系统中也可以查看已经保存的持续AR内容。
应用场景方面，空间锚点功能可以让你将虚拟界面以AR的形式固定在家里的任何地方，比如你可以将视频窗口放在客厅，模拟电视的功能。你还可以在周围空间中固定桌面、网页等多个界面。
场景感知：此前开发者Bob Berkebile就曾开发类似的功能，可以在Quest透视模式中测量周围空间，也就是说你可以在透视模式设定墙壁的边界，之后AR游戏便会具备对墙壁的感知，如果AR球体撞到墙面，会像真实的撞击一样反弹，模拟遮挡等逼真的物理特性。
相比之下，Quest官方的场景感知功能可以映射/标记场景中的物体，如天花板、墙壁、桌椅、沙发、地板等等。Meta表示：场景感知功能利用场景建模来捕捉物理空间，也就是通过几何和语义的形式代表空间的结构和其中的物体。在完成空间设置后，便可以运行沉浸的空间级AR体验。
应用场景方面，通过场景感知功能，可以开发出支持空间遮挡、物理交互的空间级AR效果。
实际应用场景
目前已经有一些独立开发者开始尝试用透视API探索AR透视的应用场景，与此同时，Meta的合作伙伴们也正在开发游戏、视频等有趣的应用或功能，比如Unity Labs、YouTube VR、Spatial。
1）《The World Beyond》
从《The World Beyond》宣传视频来看，这个demo将融合AR透视、手势识别、虚实融合的物理交互、AR/VR场景融合等多种功能，营造了一种沉浸感十足的虚实体验。
https://v.qq.com/txp/iframe/player.html?width=500&height=375&auto=0&vid=r330657ntyx
Meta Reality Labs混合现实孵化团队表示：Presence Platform加速了AR混合现实内容开发的流程，只用几周时间，我们就开发了《The World Beyond》demo。这是一款支持Quest 2的迷你游戏，其特点是将透视与VR结合，你可以与游戏中的动物Oppy互动，沉浸感足够。
在视频演示中，可以看到玩家首先用手柄来设定边界，以及映射场景，而之后的游戏交互部分则支持手势。FRL表示：用户只需要对场景进行一次映射，因为Insight SDK的空间锚点功能可以在空间中持续保存映射信息。
Insight SDK还有一个功能，就是让用户划定透视的区域，可实现透视和VR画面混合的效果。而且对于用户来讲，限制透视画面大小也有助于保护隐私。
同时，基于Insight SDK开发的透视AR将支持遮挡，不仅AR画面可模拟与真实物体的遮挡，真实物体与VR背景也可以实现遮挡（语义感知功能），虚实融合的效果足够自然。
为了进一步增强沉浸感，《The World Beyond》还在AR物体上加入了动态的阴影效果，也就是说AR的影子也能感知周围环境，并模拟物理规律做出变化。
有趣的是，该应用还展示了在透视模式中，可以通过手势同时与AR和VR交互的效果，而且在透视模式中你的手势也能与虚拟物体产生遮挡。实际上，这种细致自然的遮挡将需要准确的语义分割效果，宣传片中效果看起来足够好，未来真实的体验是否如此将值得期待。
2）《Unity Slices：Table》
Unity Labs表示：开发这款应用的目的是，将AR棋盘等游戏自然叠加在任何桌面上。Quest 2目前不支持准确的自动桌面识别，因此在开发这款游戏时，我们用VR手柄来定位桌面，效果足够好。也就是说，你在玩这款游戏之前，也需要用VR手柄进行校正，然后将手柄放在桌面上才能开始玩。
此外，由于这是一款多人游戏，还需要确保每个玩家都能将AR棋盘的位置与桌面对齐。在完成优化后，发现效果足够好且足够沉浸，尤其是你可以听到其他玩家敲桌子的声音，同时能看到他敲你自己桌子的效果，仿佛你和他在同一个空间。
为了进一步增强游戏的交互性，Unity Labs团队为游戏中的棋子加入了互动元素，比如你可以用手指将棋子按下去等等。但考虑到Quest的手势识别技术难以追踪到手指上下移动的变化，于是将棋子从圆柱形改成扁平，这样你可以触碰桌面来移动棋子，简化了手势识别的问题。
另外，Passthrough API可以让开发者设定透视范围，利用该功能，Unity Labs在使用者的手上创建了遮挡网格，这样透视模式中的手便可以和虚拟内容自然融合。有趣的是，《Unity Slices：Table》的宣传视频中可以看到透视模式中的手势识别效果不够稳定，会出现类似于游戏中“穿模”的效果。
Unity Labs还在游戏中的棋盘上设计了一个开关，可以让你在VR和AR两种模式之间自然切换，而且还可以设置透视模式和VR模式的范围，比如混合VR背景和AR透视背景。这样做的好处是，可以保证沉浸的VR游戏体验，同时还能看到周围环境，不摘下头显就能和周围环境互动。
值得注意的是，你甚至可以将VR中的棋子放在透视环境中，视频效果看起来相当神奇。
3）《YouTube VR》新功能
为了优化在VR中使用YouTube看视频的体验感，YouTube VR应用陆续支持了手势识别、查看评论等功能。接下来，该应用将支持AR透视模式，这意味着你可以将YouTube视频固定在自己家墙壁上，供随时查看。这种效果类似于虚拟的电视，或是动态的数字屏。
4）《Spatial》
《Spatial》最开始是一款AR会议应用，后来为了满足市场对于虚拟会议的需求，这款应用陆续登陆Quest 2等VR平台，以及网页端和移动端。
接下来，《Spatial》将支持Quest透视模式，形式同样是将VR场景与透视场景融合。对于一些基础外观的物品，你可能很难区分虚拟和现实的边界，不过对于细的凳子腿，Passthrough API的效果会差一些。
同时，透视与VR融合的效果也有望提升安全性，比如当你在VR场景中看电影时，你可能想躺在家里的沙发上，如果开启对沙发的透视，你可以准确定位沙发的位置。
实际上，这种形式与Meta此前展示的Infinite Office有点类似。
（ END）
推荐阅读
—— 青亭网