XR 世界导览 NEWSLETTER #003
写在前面
2010 年发布 iPad 时，乔布斯曾说道：iPad 是《全球概览》的电子化身。
时间来到 2023 年，另一项可与个人电脑 、智能手机媲美的个人计算设备，正在走向主流消费市场，那便是 XR，即扩展现实设备（Extended Reality，包括了增强现实 AR、混合现实 MR 及虚拟现实 VR 等设备）
XR 设备的成熟和推广，必将引发下一场个人计算设备的变革。在这样的黎明时刻，我们希望和你一起关注这一领域的进步与突破，第一时间知晓产品与技术的快速迭代，享受科技进步带来的美妙体验。
欢迎打开《XR 世界导览》，《XR 世界导览》是由少数派与 XR 基地共同创作的栏目，我们会以图文、播客和视频的形式，和你分享 XR 领域的行业动态、应用推荐、产品体验和技术解析。
一起进入 XR 的世界吧！
本期导览
头条：Meta 发布图像分割模型 Segment Anything，可以将其视为图像分割领域的 GPT;LumaAI 发布 Unreal 插件;OpenXR Toolkit 开始支持 Meta Quest Pro 眼动追踪;NuEyes 将推出针对医疗和牙科市场的下一代智能眼镜; 创意：本期将分享5个 XR 领域的开发创意，软件工程师 Stijn Spanhove [1]用 ChatGPT 和 WebAR 成功地创建了一个场景;Owlchemy Labs 开发的新游戏：Cosmonious High，让失明和低视力人群也能尽情游玩; Code 与工具：本期将分享 5 个开发框架或工具，其中 SkyboxLab 可以根据文本提示生成令人惊叹的 360° 天空盒。
行业头条
Meta 发布图像分割模型 Segment Anything
项目地址[2] 在线演示地址[3]
关键词：图像分割、全卷积神经网络、生成式 AI、人工智能
Facebook 最近发布了一款名为「Segment Anything」的模型，它基于图像分割，在某种程度上，可以将其视为图像分割领域的 GPT ，通过简单的提示，就可以对图像中的任何物体进行精确分割，如人、车、树等。
从技术角度来看，Segment Anything 采用了全卷积神经网络。这种网络可以对图像进行像素级的分割，因此可以处理不同大小和形状的图像，并且可以在不同场景下进行准确的分割。相比于传统的方法，全卷积神经网络在分割效果和准确性方面表现更为出色。
另外，Segment Anything 支持一种称为「模糊性处理」的方法进行数据标注，可以使得标注师只需要标注一部分区域，就能够得到整张图像的标注信息。这种方法可以大大提高标注效率，同时也减轻了标注师的工作强度。
除此之外，Segment Anything 还有以下优点：
可以根据数据特点自适应调整模型参数，使得模型的分割效果更加精准； 可以通过引入多种 prompt 信号，使得模型能够对不同类型的图像进行分割； 可以处理更为复杂的图像场景，例如医学图像、城市街景等； 支持主动学习等功能，可以帮助用户更加高效地进行数据标注； 提供了一种称为「数据标注引擎」的工具，可以在大规模数据标注时提高效率。
因此，Segment Anything 不仅可以提高数据标注的效率，还可以提高标注的精度和数据的利用率。
Meta 提供了一些关于使用 Segment Anything 的实际案例。例如，SAM 可用于 AR 眼镜识别日常物品，向用户发出提醒和指示。SAM 还可以在农业领域，帮助农民或协助生物学家进行研究，辅助自动驾驶等等。
LumaAI 发布 Unreal 插件
说明文档[4]
关键词：游戏引擎、 拍照建模、神经辐射场、体积渲染
近日，Luma AI 发布了第一版的 UE 5 （Windows） 插件。此插件使用本地运行的体积渲染——这意味着不需要再使用传统的基于网格、几何、材质的三维模型来进行渲染。根据网友测试，该插件只需 6G 显存的 RTX2060 显卡就可以流畅运行起来。
Luma 是一个利用 NeRF（Neural Radiance Fields：神经辐射场） 技术来进行三维物体或场景重建的手机 App。简单地说，Luma 利用了 NeRF 来进行拍照建模，友好的界面引导、良好的重建效果及利用重建后的模型生成视频，是它的重要特色，同时还支持多种格式导出：obj、gltf、usdz、ply。随着本次 UE5 插件的发布，LumaAI 还支持导出为 Luma Field File，并导入 UE5 中直接进行体积渲染。
使用过程共 5 步：
下载示例工程并解压； 双击 文件打开 UE5；.uproject 下载自己建模好的 Luma Field 文件（需要自己提前使用 Luma App 拍照建模好）； 将下载好的文件拖入到 Unreal 编辑器的内容浏览器中； 等待几秒钟，就会根据 NeRF 文件生成 Unreal 蓝图，将其拖入到 UE5 中使用；
Luma 官方声称：对于其它三维引擎和三维软件的插件支持，要等 UE5 插件足够完善（as good as possible）之后，才会推出。所以 Unity 和 Blender 等版本插件还需要继续等待。
NeRF 最先是应用在新视点合成方向，由于其超强的隐式表达三维信息的能力，后续在三维重建方向迅速发展起来。相比较传统拍照建模算法，它可以生成无空洞、表面质量更高的三维模型。
NeRF 直接生成的数据是体素格式，也就是类似于一堆不同颜色的小球体，要想在 3D 游戏或 VR 中使用，需要转换为传统的 Mesh 格式模型。随着本次 UE5 插件的发布，可以无需经过格式转换，直接在 UE5 中进行体积渲染。
目前市面上，使用 NeRF 技术进行拍照建模的 App 还有 Epic Games 家的 RealityScan，也就是 Unreal Engine 自家的 NeRF 服务，不过目前还不支持导出并使用体积渲染。
OpenXR Toolkit 支持 Meta Quest Pro 眼动追踪
项目页面[5]
关键词：Meta Quest Pro、眼动追踪、OpenXR
从 2022 年 3 月开始，OpenXR Toolkit 已经支持 Varjo Aero 和 Pimax 的眼动追踪插件的眼动追踪式渲染。现在已更新支持 Quest Pro。
OpenXR Toolkit[6] 是微软员工 mbucchia 的一个免费开源项目，为基于 OpenXR 标准的 PC VR 应用带来本身不支持的新功能，比如低分辨率图像 AI 放大、手势追踪、静态和动态注视点渲染等等。
眼动追踪注视点渲染（Eye Tracked Foveated Rendering，简称 ETFR）是一种新兴的技术。它只渲染眼睛当前正在注视的小块区域以全分辨率的形式，而其余部分则以较低的分辨率进行渲染。这种技术可以大大提高游戏的性能，因为释放的 GPU 资源可以用于提高性能、提高渲染分辨率或增加图形设置。眼动追踪技术还可以让玩家在游戏中更加自然地移动头部，这样他们可以更好地享受游戏的体验。总之，眼动追踪技术是一项非常有前途的技术，OpenXR Toolkit 的支持将为更多玩家带来更好的游戏体验。
OpenXR[7] 是 Khronos 提供的开放标准，旨在通过允许开发人员无缝地针对各种 AR / VR 设备来简化 AR / VR 开发，Khronos Group 一直致力于统一 XR 没有标准的混乱问题。目前，Meta、Sony、Valve、Microsoft、HTC、NVIDIA 和 AMD 已相继支持该标准。
NuEyes 将推出针对医疗和牙科市场的下一代智能眼镜
官方网站[8]
关键词：智能眼镜、医疗 AR、医疗 VR
NuEyes 即将推出一款名为 NuLoupes 的智能眼镜，将会彻底颠覆外科和牙科放大镜市场，并且为医疗专业人士和患者带来许多便利。
对于医生来说，NuLoupes 的高分辨率可变数字放大技术提供亚毫米精度的深度感知，让医生能够更好地理解他们所看到的环境。此外，NuLoupes 还有实时 3D 立体成像和大量的增强现实应用和内容的生态系统，专门用于帮助临床医生。这些特点使得医生能够更准确地诊断和治疗疾病，提高手术和治疗的效率和精度。
对于患者来说，NuLoupes 也提供了更好的治疗体验。比如，医生可以通过 NuLoupes 使用增强现实应用和内容，进行口述或者记录手术笔记，进行物体识别，以及远程健康和 3D 立体直播流，同时可以在视野内查看患者数据和影像。这些特点让患者能够更好地了解自己的病情，同时也能够更好地理解医生的治疗方案。
除了智能眼镜外，虚拟现实（VR）和增强现实（AR）技术在医疗方面也有许多潜在的应用场景。医学生和实习医生可以利用 VR 技术进行沉浸式的模拟手术和临床实践，从而提高其技能和信心。此外，AR 技术可以为医生提供实时的指导和提示，帮助他们更好地诊断和治疗病人。
使用 VR 技术可以帮助病人分散注意力，从而减轻疼痛和不适感。研究表明，使用 VR 技术可以降低手术后的疼痛程度，减少使用止痛药的需要。VR 技术还可以用于治疗焦虑症、抑郁症和创伤后应激障碍等心理健康问题。通过提供沉浸式的体验，VR 技术可以帮助病人学会应对和管理情绪。AR 技术可以提供实时的反馈和指导，帮助病人进行正确的动作和姿势，促进康复。
VR 和 AR 技术在医疗领域的应用潜力巨大，可以帮助医生提高诊断和治疗效果，同时也可以帮助患者更好地管理疾病和恢复健康。
产品创意
Jim Henson’s The Storyteller：给阅读带来更上一层楼的体验
产品介绍[9]
关键词：AR、创意、阅读、概念视频
电子设备和纸质书，其实并不一定是完全冲突的关系。在 Felix & Paul Studios[10] —— 一个获得过艾美奖的创作者眼中，二者甚至可以是互相成就的关系。
在这个视频中，Felix & Paul Studios[11] 向我们介绍了如何使用增强现实（AR）技术来增强阅读体验。通过将 AR 标记添加到印刷材料中，读者就可以使用 AR 眼镜来换一种方式「看」这些书。当读者打开书本的时候，书本中的城堡就可以以 3D 模型的形式展现出来，在这个过程中再辅以生动的动画和逼真的音效，读者就可以更加沉浸式地感受书中场景。
基于这种构思，AR 眼镜还可以做到更多的真实交互，例如在视频中，当读者阅读到一个充满海水的场景时，随着读者将书本倾斜，书本中的海水也随之流出。不得不说真实度拉满。
使用 ChatGPT 制作 AR 场景
产品演示[12]
关键词：ChatGPT、WebAR
最近，人工智能公司 OpenAI 发布了一款名为 ChatGPT 的对话模型。这个模型的应用非常广泛，创建者使用它做了很多有趣的实验，包括电影大纲、Blender 的 Python 脚本、"Choose Your Own Adventure" 故事，甚至还有一场金融科技和银行之间的 RAP 对决。这几个实验都展示出了 ChatGPT 的惊人能力。
此外，软件工程师 Stijn Spanhove [13]还利用 ChatGPT 在增强现实（AR）领域做了一些有趣的实验。他利用 ChatGPT 和 WebAR 成功地创建了一个场景。先前，Stijn Spanhove 也在 AR 领域展示过他对 AI 的实验，他使用 Stable Diffusion 的图像修复功能在一个选择的区域内生成了艺术品。
Before Your Eyes —— 一部美丽的 VR 叙事艺术展示
产品介绍[14]
关键词：PlayStatation VR2、VR 游戏
Before Your Eyes是一款 2021 年在 PC 上发布，去年在移动设备上发布的游戏，现在首次在 PlayStation VR2 上推出。玩家在游戏中扮演一个孩子 Benny，通过回忆他的成长经历、了解他的家庭生活和探索他的艺术才能来进行游戏。游戏通过眨眼来进行互动，通过在回忆中看到的标识物来操作，包括翻书、弹钢琴和画画等等。
眨眼也可能会让玩家失去一些互动机会。当回忆中出现节拍器图标时，意味着下一次眨眼就会进入另一个场景，但你不知道会跳到多远。有时，在对话进行的过程中，小节拍器也会出现，这意味着你可能会因为不小心眨眼而中途截断回忆，并因此错过一些场景。尽管这点让人烦恼，但也增加了游戏的梦幻感，就像真实的回忆一样，有时候你就是想不起来某些部分。
这是一款极具感召力的虚拟现实故事游戏，让游戏玩家身临其境，能够体验到故事中的情感。
让失明和低视力人群也能使用 Cosmonious High
产品介绍[15]
关键词：无障碍游戏、视觉、触觉、盲症
Owlchemy Labs 致力于为所有人创造虚拟现实游戏，并在其 Accessibility Statement 中公开承诺致力于此。他们过去一直将无障碍领域的重大进展，如字幕、身体可达性和高度可达性等，作为团队的优先事项。他们鼓励每个开发者在创作时都要注重无障碍设计，并在游戏发布时和后续更新中积极地融入无障碍功能。
他们最新为《Cosmonious High》增添了一系列无障碍游戏选项，包括单手控制器模式、坐姿模式、字幕等，这也是他们为无障碍游戏不断探索新领域的体现。如果一款游戏只能被没有任何残疾的观众玩家所玩，这表明该产品未完成。他们通过研究、测试和合作不断开拓新的道路，确保游戏可以面向最广泛的观众。
游戏强调了为盲人和低视力玩家开发游戏不仅仅是添加音频提示和选项。盲症是一个谱系，因此创建游戏以完全包容盲人和低视力玩家还需考虑触觉和视觉方面。
为了实现这一目标，他们增加了更多的触觉反馈，当玩家选中一个物体时，这一方法可帮助他们识别该物体。在完成谜题等任务时，这一点特别重要。玩家可以在选择时感受到物体。
此外，他们还添加了高对比度的物体突出显示。对关键物体进行轮廓标记使得玩家更容易看到该物体，并通过触觉反馈理解他们的选择。
使用 UE5 制作的游戏 VR 手持相机
产品介绍[16]
关键词：Unreal、摄影模拟游戏
近期，游戏开发者 Matt Newell 为他即将推出的 Lushfoil 摄影模拟游戏分享了更多演示。Lushfoil 摄影模拟游戏的核心玩法是扮演一名旅行摄影师，将不同的真实地标通过精细的数字重现展示出来。这一玩法不仅能够带来视觉上的愉悦，同时也能够让玩家在探索世界的过程中，更好地了解各种地标的背景和文化内涵。
在这个新的演示中，我们可以看到游戏的一个全新的 VR 手持相机功能，展示了游戏的逼真场景在 VR 下的效果。据 Newell 介绍，这个出色的相机使用了 Unreal Engine 5 开发，使得游戏的画面更加细腻逼真，让玩家更好地沉浸在游戏的世界中。这一功能的引入不仅加强了游戏的娱乐性，同时也使得玩家能够更好地探索游戏世界，发现更多的惊喜和乐趣。
值得一看的 Code 和工具
RealityUI
项目链接[17]
关键词：苹果 AR、RealityKit、iPhone
RealityUI 是一个开源的 AR 交互组件，它基于苹果 RealityKit 框架创建，主要目的是为了让用户能够更加方便快捷地开发 AR 交互应用程序。
在 2019 年，苹果公司从头开始为 AR 开发量身打造了一个全新的 Swift 渲染框架，这就是 RealityKit。其重点解决的问题也是现实环境中的虚拟元素 PBR 渲染以及精准的行为模拟，包括物理仿真、环境反射、环境光估计等。RealityKit 专为真实环境中虚拟元素渲染而设计，所有的特性都围绕营造真实感更强、代入感更好的 AR 体验。另外，借助于 Swift 语言的强大能力，RealityKit 程序接口界面简洁、使用简单，大大地方便了 AR 开发者使用。
RealityUI 是在 RealityKit 框架的基础上，进一步将基本 3D 几何类型进行组装得到的，外形模仿了现有 iOS 平台的 2D UI 风格。RealityUI 按照 ECS 架构进行开发，并使用 PBR 渲染。除此之外，RealityUI 还自带了手势和动画，这样用户可以更加轻松地为他们的 AR 应用程序添加交互功能。
Unity Core ML Stable Diffusion Plugin
项目链接[18]
关键词：游戏引擎、生成式 AI
一个让 Unity 能够本地运行 Stable Diffusion 的插件，原理是利用了苹果的 CoreML 接口[19]，能够让 Unity 调用苹果 SOC 的 CPU、GPU 和 ANE（神经网络引擎）实现本地计算与推理，无需联网，无隐私问题。因为利用了苹果的 CoreML，所以该插件只能在苹果设备上运行。该插件在 Apple Silicon Mac 上即可以在 Editor 中直接执行，也可以打包后在 Mac 上运行，在 iPad Pro 上仅支持打包后安装运行。
系统要求：
Unity 2023.1 Apple Silicon Mac (editor/runtime support) , macOS 13.1 iPad Pro with Apple silicon (runtime support) , iOS 16.2
具体使用过程，可参照提供的示例工程：Flipbook3[20]
Bezel —— 基于浏览器的设计工具，快速输出 VR/AR 的 Demo
官方网站[21]
关键词：AR 创作工具、Web AR 服务
Bezel 是一款基于浏览器的设计工具，旨在帮助设计师快速创建 VR / AR 的演示。通过 Bezel，设计师可以在不需要任何编程知识的情况下，快速创建富有交互性的虚拟现实和增强现实体验。Bezel 拥有直观的用户界面，可以轻松添加和管理 3D 模型和动画，并支持多种文件格式。此外，Bezel 还提供了丰富的素材库，包括纹理、光源和音效等，以帮助设计师更好地实现其想法。
如果您是一名 VR / AR 设计师或对此领域感兴趣，那么 Bezel 是您不可或缺的工具之一。已经有人使用 Bezel 与 Blender 结合，完成一个快速的 Demo 教程[22]。
MyWebAR —— 一个无需代码即可创建 AR 项目的 Web 服务
官方网站[23]
关键词：AR 创作工具、Web AR 服务
MyWebAR 是一个建立在 Web 平台上的增强现实服务，与从前的基于应用程序的解决方案不同，它可以支持旧设备，甚至可以在低端笔记本电脑和 Chromebook 上运行。这使得 MyWebAR 成为一种非常实惠的增强现实解决方案，更多的人们可以通过 MyWebAR 来获取 AR 体验。
如果你是创作者、博主或艺术家，你会发现 MyWebAR 是一个非常好的选择。你可以免费使用 MyWebAR 的服务来创建你所需要的 AR 项目。当然，这仅限于非商业用途。无论你是想要创建一个 AR 展览，还是想在你的作品中加入 AR 元素，MyWebAR 都是一个非常好的工具，可以帮助你实现你的创意想法。
SkyboxLab —— 根据文本提示生成令人惊叹的 360° 天空盒
官方网站[24]
关键词：全景图片、生成式 AI、天空盒
SkyboxLab 是一个使用 AI 技术的全景图片生成工具，让您可以在几秒钟内创建一个令人惊叹的虚拟空间。只需提供文本提示和选择风格，SkyboxLab 就会根据这些信息生成一个广袤的 360° 全景图片。更令人兴奋的是，这些全景图片可以被导入到其他工具中，例如 Unity，这样就极大地提高了您的生产力。
除此之外，SkyboxLab 还可以根据用户选择，为图片添加新的元素，例如树木、建筑等等，来丰富场景。也可以选择不同的天气、色调等等，为场景添加不同的气氛。这些功能都非常实用，提供了更多的创作空间。
与其他全景图片生成工具不同的是，SkyboxLab 的全景图片非常逼真，仿佛置身于真实的场景中。这是因为 SkyboxLab 使用了高质量的渲染技术，让每一个细节都非常真实。此外，SkyboxLab 还提供了多种风格以供选择，例如科幻、城市、自然等等，可以根据自己的需求选择合适的风格。
SkyboxLab 是一个非常优秀的全景图片生成工具，使用方便、功能丰富、效果逼真。如果需要创建全景图片，不妨试试 SkyboxLab，它会让创作更加轻松快捷。
参考资料
Stijn Spanhove : https://sspai.com/link?target=https%3A%2F%2Ftwitter.com%2Fstspanho
[2]项目地址: https://sspai.com/link?target=https%3A%2F%2Fgithub.com%2Ffacebookresearch%2Fsegment-anything
[3]在线演示地址: https://sspai.com/link?target=https%3A%2F%2Fsegment-anything.com%2Fdemo
[4]说明文档: https://sspai.com/link?target=https%3A%2F%2Fdocs.lumalabs.ai%2F9DdnisfQaLN1sn
[5]项目页面: https://sspai.com/link?target=https%3A%2F%2Fmbucchia.github.io%2FOpenXR-Toolkit%2F
[6]OpenXR Toolkit: https://sspai.com/link?target=https%3A%2F%2Fgithub.com%2Fmbucchia%2FOpenXR-Toolkit
[7]OpenXR: https://sspai.com/link?target=https%3A%2F%2Fgithub.com%2FKhronosGroup%2FOpenXR-SDK
[8]官方网站: https://sspai.com/link?target=https%3A%2F%2Fwww.nueyes.com%2Fnuloupes
[9]产品介绍: https://sspai.com/link?target=https%3A%2F%2Fyoutu.be%2FLKH1lwbrUJE
[10]Felix & Paul Studios: https://sspai.com/link?target=https%3A%2F%2Fwww.youtube.com%2F@felixandpaul
[11]Felix & Paul Studios: https://sspai.com/link?target=https%3A%2F%2Fwww.youtube.com%2F@felixandpaul
[12]产品演示: https://sspai.com/link?target=https%3A%2F%2F80.lv%2Farticles%2Fmaking-ar-scenes-using-openai-s-chatgpt%2F
[13]Stijn Spanhove : https://sspai.com/link?target=https%3A%2F%2Ftwitter.com%2Fstspanho
[14]产品介绍: https://sspai.com/link?target=https%3A%2F%2Fwww.theverge.com%2F2023%2F3%2F10%2F23632733%2Fbefore-your-eyes-playstation-vr2-psvr-2-vr-showcase-storytelling
[15]产品介绍: https://sspai.com/link?target=https%3A%2F%2Fblog.unity.com%2Fgames%2Fdeveloping-for-blindness-low-vision-in-vr-with-cosmonious-high
[16]产品介绍: https://sspai.com/link?target=https%3A%2F%2F80.lv%2Farticles%2Fue5-powered-vr-handheld-camera-made-for-a-game%2F
[17]项目链接: https://sspai.com/link?target=https%3A%2F%2Fgithub.com%2Fmaxxfrazer%2FRealityUI
[18]项目链接: https://sspai.com/link?target=https%3A%2F%2Fgithub.com%2Fkeijiro%2FUnityMLStableDiffusion
[19]苹果的 CoreML 接口: https://sspai.com/link?target=https%3A%2F%2Fgithub.com%2Fapple%2Fml-stable-diffusion
[20]Flipbook3: https://sspai.com/link?target=https%3A%2F%2Fgithub.com%2Fkeijiro%2FFlipbook3
[21]官方网站: https://sspai.com/link?target=https%3A%2F%2Fwww.bezel.it%2Fhq
[22]Demo 教程: https://sspai.com/link?target=https%3A%2F%2Fwww.youtube.com%2Fwatch%3Fv%3DLYK0tocJa50
[23]官方网站: https://sspai.com/link?target=https%3A%2F%2Fmywebar.com%2F
[24]官方网站: https://sspai.com/link?target=https%3A%2F%2Fwww.blockadelabs.com%2F