—— 青亭网
其他
微软MR设计师：如何用视觉模拟弥补AR交互缺乏的体感反馈？
Esther｜编辑
支持遮挡、支持物理模拟和互动一直是AR技术在不断探索的方向之一，如果AR图像能够与真实的环境产生逼真的物理互动，那将大幅增强AR内容的沉浸感，虚实融合效果更好。
实际上，Magic Leap早就通过《Undersea》、《愤怒的小鸟AR：猪岛》、《Tonandi》等AR应用，展示过AR与真实空间融合、碰撞的效果，比如你可以将AR水族馆固定在房间中的某个角落，水族馆中的热带鱼会在空间中移动，并且和房间中的平面产生交互。
近期，为了进一步优化AR虚实融合的效果，微软MR设计师Oscar Salandin开发了一种逼真的物理模拟AR demo。据悉，该应用基于物理交互模拟和AR，乍一看只是一个可以自由交互的AR立方体，但它的独特之处在于，可通过基于视觉的反馈来增强AR的逼真感，尽管没有体感反馈，也能给体验者带来足够虚实结合的感受。
该应用有多种玩法，你可以尽情探索，甚至可以尝试用手指轻弹、抓取、摆弄AR物体。从Saladin公开的视频来看，该应用可以让使用者的手与AR物体自然且实时的交互，足够模拟真实交互。
据了解，该应用的设计目的，是为了探索如何通过自然交互，让AR全息影像模拟真实物体。另外，该应用的特点是直观的交互，你不用向使用者解释玩法，让他们直接拾取AR物体、放置在特定位置，就能触发人本能的动作。
即使是对创新科技不感兴趣的人，在第一次使用该HoloLens 2应用时，也未觉得使用困难，甚至还觉得很有趣。
Saladine表示：与初代HoloLens相比，HoloLens 2升级了手势识别、眼球追踪和视场角等技术，同时也为多样化的应用和交互带来可能。作为MR设计师，我们的目标是利用HoloLens 2的输入方式，进一步探索沉浸式AR，优化AR全息交互对物理特性的逼真模拟。
手势交互的视觉反馈
那么，如何让手势交互变得更自然？首先，Salandin和设计团队以自然规律为基础，从0开发AR手势交互方式。比如，抓取、推、扔等手势，实际上与动力、撞击、阻力和引力等基础因素有关。
Salandin表示：目前，实时物理交互引擎已经是市面上许多PC游戏（《半衰期》等等）的关键部分，这些物理交互引擎可处理玩家与虚拟物体之间的开放式交互。那么同样，AR交互也可以使用物理引擎来模拟交互。
为了开发物理引擎，Salandin通过HoloLens 2识别的手部模型，模拟使用者的数字手，包括模拟手的位置、活动速度、不同部分的动力等特质。当HoloLens 2识别到虚拟手与虚拟物体的交互时，物理引擎会模拟出交互的结果，然后加入对应的动力、撞击、阻力和引力效果，并组合模拟出抓取、扔、轻弹等各种手势交互动作。
在PC游戏中，物理引擎是一个完全可控的虚拟架构。相比之下，AR不仅结合模拟物理原理的引擎，还需要结合真实的物理环境，实现虚拟与真实之间的互动。当然，尽管在视觉上可以模拟自然的物理交互，但由于体感和触觉反馈的缺失，体验者并不能感受到触碰虚拟物体时的反作用力。
弥补体感反馈
那么，如何去弥补AR交互所缺少的持续性体感反馈呢？
为了避免体感反馈的缺失破坏沉浸的体验感，Salandin决定放大视觉和声音反馈。也就是说，当你触碰或离开AR物体时，都会听到声音，并看到AR物体发光。这样做的目的是，通过视觉和听觉来提示你交互的产生。
Salandin表示：物体之间的物理交互是双向的，两个物体会互相作用。由于体感反馈的缺失，目前还没办法让AR物体对你的手产生触觉反馈，于是我们采用光和声音的变化，来代表手与AR物体之间的关系。
有趣的是，当你抓取AR物体时，AR物体不仅自身发光，还会将光照在你的手上，以此来代表AR对手产生的反馈。实际上从视频中可以看到，并不是AR物体的光亮照在你的手上，而是HoloLens 2在你的手上实时渲染光影效果。
这种基于虚拟手势模型的虚拟光影效果，大幅提升手势交互的逼真感，同时向你提示深度、距离、方向等信号。Salandin表示：这种模拟的光照效果，让虚拟物体与真实物体变得难以区分，因为AR虚拟光线与环境光在你的手上进行了叠加和融合。
一些体验者表示，手握红色AR全息物体时，看到自己被映红的皮肤，甚至有一种温暖的错觉。
尽管如此，缺少体感反馈依然影响AR交互的逼真感。
适应性用户体验
接下来，Salandin开始在体验者中测试优化的AR手势交互应用，从中发现一些效果不好的交互。比如，走到远处捡起物体，或在地上捡起物体等动作，即使是日常生活中的真实交互也足够令人头疼。那么，在AR中或许可以省去这些体验感不好的交互内容，简化AR交互体验。
如果关闭引力模拟效果，或许可以避免AR物体掉落到地上，不过关闭引力后，AR物体可能会从平面飞走，就像是太空中零重力环境那样。
于是，Salandin和创作团队想到了一种叫“表面重力”的概念，也就是说当AR物体下方有物理平面可以坠落时，会启动重力效果，如果没有物理平面，AR物体则悬浮在空中。如此一来，如果AR物体不小心从你手中掉落，也不会直接掉到地上，而是落在下方最近的平面上，比如桌面等等。
另一方面，在测试过程中，当体验者将AR物体扔上天空，会发现它一直向上飘浮，最后只能爬到凳子上把它抓回来。这种体验感并不好，于是为了解决这一问题，Salandin和团队发明了一种“遥感”手势，即：用手召唤远处的AR物体。
这种控制远处AR物体的手势有点像星战电影中的“原力”，而并非模拟真实的物理性质。尽管如此，结合HoloLens 2的眼球追踪功能和手势识别功能，你可以准确召唤远处的AR物体，体验感足够好。
未来应用场景
通过Salandin设计的这款AR应用，或许可以看到未来AR与物理交互结合的更多应用场景，比如：你可以将AR毯子抓在手上查看，仔细预览电商平台的商品，同时进一步提升AR试用的沉浸感和互动性。或者，你也可以将AR毯子扔到沙发上查看效果，还可以将它叠起来，放入购物篮中。
总之，通过对环境、手的追踪，可进一步优化AR与周围环境的互动，让AR内容看起来更真实。同时，如果为AR试用加入更自由的玩法，将交互创作力交给消费者，将有望进一步增加AR的互动性，带来更多样化的交互体验，同时也将延长消费者用AR试用商品的时间。
当然，更自由的AR交互也能够提升教育等其他类型的应用，让枯燥的课程变得更有吸引人。
参考：
https://medium.com/microsoft-design/blank-story-e286ac1fb11a
（ END）
推荐阅读
—— 青亭网