—— 青亭网
其他
微软新XR研究成果（一）：不用透视功能，戴VR头显上街是什么感受
Esther｜ 编辑
人们常说，AR头显/眼镜在未来比VR更适合全天候佩戴，因为AR可以让你看到周围的环境，而VR挡住了你的视线，因此几乎不可能戴着VR头显随意移动。
当然，为了解决这一问题，硬件厂商一直在优化能够让你看到周围环境的pass-through透视功能，比如：Varjo XR-1混合现实头显就搭载两个1200万像素前置摄像头，可为用户提供支持3D感知和遮挡识别的彩色AR透视效果。沃尔沃设计师甚至曾一边开车，一边戴着XR-1测试车内UI。
不过高质量的彩色AR透视相机对算力的要求更高，而且会让VR头显更重、体积更大，因此市面上大多数VR头显并不支持。即使是Vive Cosmos上搭载的两颗RGB摄像头，在分辨率上也还没达到理想值。
近期，在微软科研人员将在于美国新奥尔良举行的ACM用户界面软件与技术研讨会上发布的三篇论文中，有一篇提到了一种可以让你戴着VR头显也能安全行走的方法：DreamWalker，它的特点是将周围的真实环境与VR相结合，在不需要透视功能的情况下，自适应选好的路线，在VR中为你导航。据悉，其他两篇论文也与XR相关，分别涉及眼球追踪的新应用和新式体感反馈方案。
其实，微软科研人员今年3月时，就曾在IEEE VR 2019大会上展示过一款能够实时识别室内环境并生成对应虚拟场景的研究成果：VRoamer系统，它的特点是可以将任何室内场景变成支持交互的大空间VR游戏场景。
而与VRoamer最大的不同是，DreamWalker将环境识别的规模扩大到环境更复杂的室外，这样的话即使你需要从家里去单位、学校也不用摘掉VR头显。还有一大不同之处在于，DreamWalker在扫描用户周围环境之前，会预先规划好路线，然后再与实际路线情况进行动态匹配，比如识别道路上的障碍物对路线进行调整。
简述原理和过程
据悉，为了防止戴VR头显的用户与真实环境中的物体和人相撞，DreamWalker系统结合了多样化的传感技术，比如：三星奥德赛WMR头显上搭载的Inside-Out定位系统，还有来自小米8手机的双频GPS传感器和双Intel RealSense 425 RGB深度摄像头等。
接着，在用户开始移动之前，DreamWalker会根据实际路线匹配差别最小的VR环境和路线，并识别出行走过程中可能出现的突发状况，然后通过渐进的重新定向，实时修正实际路线环境与预置虚拟路线之间的差异，并生成路障等虚拟场景来引导用户避开障碍物，同时也会根据用户移动速度来调整行走路线。
也就是说，DreamWalker系统由三个主要部分组成，路线规划、实时环境识别、运行时系统。
DreamWalker中标记的虚拟地图数据来自于Openstreetmap标记，为了验证街道、通道、区域和墙壁标记的准确性，科研人员还对比了卫星图来修正Openstreetmap数据。
那么模拟真实路况的虚拟场景是怎么生成的呢？首先，DreamWalker需要融合来自两颗RGB深度摄像头（以30刷新率运行，RGB和深度分辨率达640x480）、Inside-Out定位系统、GPS定位系统的数据，以此来实时识别用户周围的立体障碍物和人。DreamWalker不仅实时追踪用户周围的3D环境，也会持续更新可移动的区域图，其中包含真实坐标，以及建筑、可步行道路等地标。
接着，DreamWalker将地图中代表的真实障碍物以静止和动态的虚拟元素来表示，并且根据可移动的区域来预测接下来的路线，引导用户在VR中移动。
关于界面设计
DreamWalker系统界面中最重要的元素是，用来引导用户避开障碍物的虚拟路障，为此微软科研人员想出了三种形式：
1，静止的固定路障：用墙壁、车、桌子、热狗餐车、垃圾箱、围栏等静止的虚拟元素，来代表在路线规划时期就识别到的建筑、柱子、墙、楼梯、围栏、街道、十字路口、草地等不能越过的区域；
2，临时路障：这种路障是在实际行走过程中，用来代表摄像头临时发现的静态障碍物，比如静止的车、垃圾桶、路障、支柱、路坑或易拉罐等物品。通常这些物品在DreamWalker中会以动态出现的虚拟人或交通锥来表示，或者直接用类似于吃豆人中的一排圆球来指引轨迹；
3，动态路障：这种指的是在实际行走时，摄像头实时追踪到的动态障碍，比如：其他行人、狗、自行车、汽车等，DreamWalker会用移动的虚拟人来代表它们。
而虚拟场景方面，DreamWalker目前有两种选择：布满汽车、行人和物体的曼哈顿街道，或者Unity自带的维京村落资源，其中布满木房、沙滩、狭窄的道路和拐角、围栏、桶、成堆的资源等。
科研人员表示，为了自然模拟真实的大规模户外空间，因此虚拟空间也为户外场景，而并没有模拟成室内场景。
实时环境识别
前面提到，在预先规划好虚拟路线后，在行走过程中还需要通过实时路面检测来调整路线和场景。这个步骤类似于自动驾驶汽车用各种传感器探测路面，不过区别在于VR头显上的传感器方向不固定，会根据用户头部的移动而改变。
在行走过程中，DreamWalker系统的传感器会为运行时系统提供高度地图和轨迹图两种信号，用于定位、重定向，同时也提供全局路障图和动态路障图，用于渲染VR障碍物。总之，环境识别系统持续集成RealSense摄像头模组中的两个深度信息和RGB彩色图，并将这些信息与WMR头显Inside-Out光学定位识别到的变化进行匹配，并调整差异。
针对真实环境进行调整
在实际行走过程中，虚拟路线和场景难免发生改变，如果变化过于突然，体验感会比较奇怪。因此，DreamWalker会以不容易察觉的渐进调整方式，来进行重新定向和线路规划。
也就是说，DreamWalker会限制过大的改变，并在用户不会察觉的范围内，一点一点引导他们走到正确的位置。
此外，为了避免方向改变让用户产生错乱，DreamWalker也会用箭头来指示路线，用户只需要跟着箭头来移动，不需要考虑周围环境的方向。
关于验证实验
为了验证DreamWalker与RGBD透视效果相比有何优势，微软找来8位体验者来尝试戴着VR头显在园区中两个常见点之间行走，这段路大约需要9到15分钟路程。
每个受调查者需要分别体验两种情况，包括：体验完整的DreamWalker系统（除了躲避虚拟物品和跟随箭头外不给予其他指示）；仅开启DreamWalker重定向系统，并融合到RGB深度摄像头识别到的5米范围内原始纹理化网格，这样参与者就能看到地面纹理和前方障碍物以及身边的物品，系统也不会叠加虚拟人或者路障。
结果与总结
结果发现，参与者在完整DreamWalker中行走的平均速度比RGBD透视中要快，不过在第一种情况中需要平均4.5次路线修改，在第二种情况中仅需要3.6次，未来有望通过提高深度摄像头分辨率来得到优化。此外，在空间临场感、参与感、逼真感、娱乐性方面，DreamWalker更胜一筹，不过大部分认为RGBD透视的安全感更高。
在未来，科研人员计划通过提高深度摄像头的视场角来优化对余光部分动态障碍的识别，并且优化虚拟人的自然移动和行为，比如让他们在视野范围外生成，并保持持续移动，尤其是结合眼球追踪技术后，还可以在用户注视点外、视场角内让虚拟人消失或出现。
同时，还将优化人群的动态和更多样化的外形，未来可以结合被动的体感反馈来帮助引路，甚至用来在大空间内训练视觉障碍患者。
当然DreamWalker还有一些局限需要解决，比如考虑到微软在演示中为WMR头显搭配了惠普OMEN背包式游戏PC（搭载GTX 1080显卡），目前还不能确定DreamWalker对于算力是否有很大要求，能否应用在一体机中。毕竟在未来，人们不会希望全天候背着厚重的PC，而是更倾向于使用VR一体机。
（END）
推荐阅读
—— 青亭网