—— 青亭网
其他
支持多人跨平台、云端渲染，微软为何重磅推出Mesh AR平台
Esther｜编辑
3月3日消息，微软在Ignite活动上发布Mesh服务平台，该平台基于微软Azure云服务，可用于开发多人跨平台沉浸式AR应用。简单来讲，就是一个支持云计算的AR开发平台，应用场景侧重于远程协作、会议、虚拟网课、社交等等。同时，也为未来的MMO AR游戏、全球范围的LBS AR/metaverse、AR云渲染带来可能。
此外，微软还与Niantic合作展示了基于Azure和HoloLens 2的AR眼镜版《精灵宝可梦Go》多人demo体验，并宣布继续合作开发基于地理位置的全新社交内容。而微软的VR社交应用《AltspaceVR》也将推出企业版，提供安全沉浸的VR会议功能。
https://v.qq.com/txp/iframe/player.html?width=500&height=375&auto=0&vid=o3231r1wd9m
微软表示：开发Mesh平台的原因是看好AR成为第四代计算平台的潜力，它将在C端和B端市场普及，为用户带来不受屏幕限制、交互自然、与真实环境和人互动的体验。目前，已经有上亿人使用过Niantic的移动端AR游戏，并且随着疫情来袭，演唱会、健身培训等越来越多的线下活动开始转战线上。
据青亭网了解，全球财富500强企业中超过半数曾采用HoloLens等AR解决方案来驱动投资回报，但市面上真正应用的AR内容却并不多。为了促进AR内容发展，解决开发门槛和痛点，微软推出了全新的Mesh平台。
具体来讲，微软计划通过Mesh实现以下效果：
1）降低逼真AR形象开发所需的时间和资源； 2）让多人AR内容更稳定，不受延迟和跨平台影响； 3）支持更多或统一导入至AR平台的3D文件格式； 4）支持流畅同步的远程多人AR体验。
从微软公布的Mesh构成图来看，目前支持该平台的应用包括HoloLens Mesh应用、AltspaceVR（新增企业级功能）、微软Teams、Dynamics 365套件、合作伙伴应用。而兼容的设备则包括：HoloLens、惠普Reverb G2、Oculus Quest 2、iOS或安卓手机/平板电脑、PC/Mac等等。此外，Mesh平台由SDK和UX架构组成，功能包括多人沉浸式体现、空间地图、全息渲染、多人同步。
Mesh功能大解析
接下来，我们将逐步解析Mesh平台的几大特色：1）支持设定和导入3D虚拟角色；2）AR空间地图；3）AR云渲染；4）多人同步。
首先，利用Mesh开发应用时你可以导入已有的3D模型，并进行绑定和自定义，同时也可以上传已骨骼绑定的虚拟形象，通过基于AI算法的动作模型，可准确捕捉用户动作，并在虚拟形象上同步。定位方面，Mesh平台同时支持基于inside-out和outside-in两种定位方案的AR角色，其中inside-out指的是HoloLens等配备光学摄像头定位方案，而outside-in则包括AR容积捕捉或是Azure Kinect 3D拍摄等场景。
除了支持AR虚拟形象开发外，Mesh还具备Spatial Maps功能，可用于开发持续性的LBS AR应用，比如：AR导航、AR技术服务记录备注、AR留言等等。微软表示：在Mesh平台出现之前，每一部设备通过摄像头只能捕捉到本地的数据，而现在Mesh平台将综合每台设备的本地缓存，并生成全球范围的LBS AR架构。这种架构可以让你将内容锚定在特定的空间位置，并与其他人合作或共享。
在官方博客中，微软着重介绍了开发AR空间地图的意义，并认为基于视觉定位的AR地图有望比GPS更加精准，即使在室内等GPS信号弱的地方也能使用。同时，AR地图支持空间锚点，为AR应用带来更准确的固定效果。
考虑到Mesh基于Azure云服务，而云端计算与AR最直接的结合就是通过云端服务器来分担AR设备的计算压力，从而实现降低AR硬件成本、缩减设备体积、提升AR计算和显示效果等目标。据微软称，Mesh的AR云渲染功能将原生支持大多数3D文件格式，意味着在AR协作应用中导入已有的3D模型也支持Mesh云端渲染。
除了上述功能外，Mesh还支持多用户同步，也就是说可以在多人AR应用中同步用户的姿态、动作、表情、变化，据称延迟可控制在100毫秒，不受地理位置约束。通过空间音频功能，可进一步增强沉浸感和临场感。
总之，Mesh开发平台的核心是Azure云服务，该服务的特点是具备安全性和稳定性，为稳定的多人AR应用提供基础。同时，开发者也无需考虑账单、音频/视频传输、管理等核心功能。与此同时，Mesh平台具备AI功能，有助于解决大型多人AR游戏的一些复杂技术难题。而具体应用场景方面，你可以利用Mesh开发基于3D虚拟形象的多人线上应用，或是开发持续性的LBS AR内容。
为了进一步降低开发门槛，Mesh将支持Unity引擎和C++、C#语言，用它开发的AR应用可以在AR/VR/PC/手机等多平台分发。未来，该平台还将支持Unreal、Babylon、React Native等引擎和框架，同时Mesh SDK预置的UX架构让AR内容开发更加简单快捷。
《Microsoft Mesh App》
目前，支持Mesh功能的应用包括：HoloLens 2的《Microsoft Mesh App》（预览版）、《AltspaceVR》（新增企业级功能）等等，感兴趣的开发者或爱好者可以下载体验。其中，《Mesh App》支持一些基础的多人功能，包括：远程协作、自定义动态虚拟形象、从OneDrive（微软3D控件平台Remix3D已于去年关闭）导入3D内容、保存同步和异步会话/合作内容、AR标记。而全新的《AltspaceVR》企业版将支持VR会议、安全登陆、会议管理、隐私规定等功能。
展示AR眼镜版《精灵宝可梦Go》
在今天举行的Ignite活动上，为了展示Mesh平台的多人同步和协作效果，微软与Niantic合作，在HoloLens 2上展示了基于《精灵宝可梦Go》的多人AR demo。据悉，《精灵宝可梦Go》原本是移动端LBS AR游戏，而在Azure云服务技术支持下，微软成功展示了两个人同步用AR眼镜来玩游戏效果。
微软技术院士Alex Kipman表示：用眼镜体验AR内容是行业的初心，因为用AR眼镜看到的画面足够沉浸，可以让使用者在虚拟环境中与其他人实时远程共享内容，不受地理位置约束，也能有共处一室的体验。
除了沉浸式体验感外，HoloLens 2还支持手势操作，因此徒手就能与游戏互动，画面和操作范围、方式不受屏幕的限制，比手机用起来更自然、方便。尽管在AR眼镜中玩游戏看起来很有趣，目前微软和Niantic都没有将其商业化的计划，考虑到HoloLens 2高昂的价格，显然它目前难以被C端用户接受，因此现在推出游戏应用确实有点早。
不过，Niantic CEO John Hanke表示：目前Niantic正在与微软合作，开发融合数字和物理世界的创新体验，带来全新的社交和互动方式。值得注意的是，Niantic曾打造Real World LBS AR平台，并正在《Ingress》和《精灵宝可梦Go》等游戏上测试收集真实环境数据，为未来的3D AR世界地图做准备。因此，Niantic与微软的合作将会以何种形式呈现，值得关注。
除了Niantic外，微软还公布了其他的一些合作项目，比如：海洋探测团队OceanX将推出3D AR海底实验室，加拿大创意组织Lune Rouge将打造AR/VR活动平台Hanai World，开发AR/VR演唱会、戏剧表演、DJ演奏、社交等应用，可以让你体验策划的活动内容或是用户创建的空间和内容。据悉，Lune Rouge创始人名为Guy Laliberté，同时也是受疫情影响而申请破产的太阳马戏团创始人，他希望通过逼真的线上活动来弥补线下活动的局限。
为何现在才推出AR云平台
实际上，在PC时代微软通过Windows系统助力电脑软件生态，让软件开发和分发越来越轻松，让用户得到越来越多丰富的内容。而现在，微软也将通过Mesh平台，进一步简化AR内容开发门槛，吸引更多开发者来丰富AR生态。那么，为什么微软选择在现在这个时间点推出AR云平台？
首先，Kipman表示：为了全新计算平台发展，你需要在整个生态上进行深度投资，这就是微软一直在做的事。通过Mesh平台提供的完整开发方案，希望让更多开发者受益，开发出有价值的AR/VR内容。
微软一直定位云战略，发展Azure、Office 365、Dynamics 365三驾智能云马车，因此不止是AR，Office等大量业务也围绕云展开。此外，微软作为AR硬件大厂，在现在推出AR云平台应该是认为时机已经成熟。相比之下，这也意味着现有的AR云服务功能不够完善，还存在一些问题。尤其是在规模上，还没有人做到像Mesh一样支持HoloLens 、AR/VR、PC、手机等大部分主流平台。
据了解，在微软发布Mesh之前，市面上已经存在Scape、Arvizio、GridRaster、8th Wall Web AR、Magic Leap Metaverse、Niantic Real World等AR云端开发平台，它们并不像Mesh那样通用于各种多人、跨平台、云渲染AR场景，而是各有不同的侧重点。比如，Scape主要应用场景是基于AR云地图的视觉导航（VPS），而GridRaster和Arvizio则侧重于移动端AR指导、可视化、模拟和协同解决方案，8th Wall侧重于WebAR内容开发。
另外，Magic Leap Metaverse更像是一个虚实结合的概念应用，在公布多年后才于今年初与Google Cloud合作推进，与此前定位的大规模LBS AR地图场景相比，目前Metaverse更侧重于B端应用。而Niantic Real World目前来看主打LBS AR游戏内容开发，未来的长期布局是3D世界地图。除此之外，还有人爆料特斯拉正在开发基于户外场景的AR云平台，助力汽车和导航技术。
与上述AR云平台相比，微软Mesh几乎融合所有的功能，让开发者在统一的平台上就能开发支持多个设备/客户端的云AR服务和应用，适用于多样化的应用场景，且AR云渲染也为轻量化AR带来可能。
不过，对于消费者来讲AR作为计算平台可能还是比较遥远的概念。就像是电脑最初以办公、科研为主要应用场景，AR的应用也将以B端场景为主，而打开C端市场应该还需要一段时间。
参考：
https://techcommunity.microsoft.com/t5/mixed-reality-blog/microsoft-mesh-a-technical-overview/ba-p/2176004
https://news.microsoft.com/innovation-stories/microsoft-mesh/
https://vrscout.com/news/niantic-mr-pokemon-go-demo-hololens/
（ END）
推荐阅读
—— 青亭网