昨天2021.1.16周六@上海的黑设会上，傅嵌华、荔枝君、Nakhqin为我们分享了AR、VR、XR相关的研究、行业动态、创新项目等。在2021新的一年，我有了新的理解，有种曲径通幽、别有洞天的感觉。于是抽空更新了这一指南，分享给大家。目前，有一些AR应用程序与沉浸式技术无关，只是简单地模拟增强现实，或者根本不需要AR来实现（假AR）。找到真正非同寻常的AR解决方案，就像海底捞针一样困难。有些是单纯很酷，很好玩：
AR实时求解数独
独特的跨屏协同体验
设计超乎用户预期的体验，隔空取物的体验
研究变换空间的手法，应用到AR空间里
新的交互界面
AR眼镜能否跟手机一样人手一部呢？
算法方面，三维重建
专业级开发工具
非专业级玩家，易于使用的工具
AR增强平面设计
AR+视觉传达
AR交互设计
* AR历史部分，本文暂不赘述，有兴趣可以进一步了解：
摘录自《AR全攻略知识地图》
加入社群
获取高清版
AR正在推动Web向前发展，搜索＋AR让我们进入Web三维时代。Google搜索，在结果中添加显示“3D视图”的选项，可以使用AR模式浏览。目前可用的3D内容包括用于教育目的的一系列动物和科学内容。
下图演示了一个基于大白鲨3D模型的案例，可以让你在真实环境中了解大白鲨的体型有多大。
这是Google申请的一个专利，希望通过了解人们所处的周围环境，将相关的虚拟对象放置在混合现实视图中。 当用户在智能手机或眼镜上打开AR体验时，应用会在物理环境中寻找空白区域。通过判断附近的物体，推断物理空间的背景，以便可以识别出适合环境的相关虚拟物体。 还有另一分支方向，就是跟主题乐园结合。主题乐园，一种实体空间，由于其娱乐的属性，成为了AR技术的绝佳落地场景。美国有家Adenturous创业公司，用AR技术在特定的旅游地点设置虚拟活动，游客抵达指定地点时，由Adventurous的工作人员引导他们去”遇见“传说中或影视中的知名形象（IP），并通过与虚拟形象互动完成特定任务，完成体验。医疗健康业界对AR的投入特别显著，3 D技术公司的3d4medical开发了的解剖学软件Complette Anatomiy软件加入着AR功能。用户在宽面制作可调整尺寸的标本，在AR近距离感知标本，进行各操作。良好的造型让用户明确理解人体器官的大小和关系的大小，学习解剖练习操作。主要用于新闻/故事，新闻制作的一种形式，它允许第一人称体验新闻报道和纪录片中描述的事件或情况。它为观众创造了一种“在场”的感觉，并提供了一个亲身参与故事的机会。《时代周刊》杂志推出的一种体验新方式“TIME Immersive”。这款身临其境的应用程序可在谷歌游戏和Apple App Store中使用，利用AR和VR的强大功能，将故事和报道带入生活。例如该APP允许用户沉浸在1969年7月阿波罗11号登月的历史当中。TIME AR应用程序，“希望利用记者和摄影师的技能，以新的方式将与新闻相关的内容带给用户”。从本质上讲，该APP旨在加深记者和观众之间更深层的联系。日本将AR应用于击剑比赛。在第72届日本击剑锦标赛上，AR技术将剑尖端的轨迹可视化，将剑尖端运动的轨迹变成立体图像。从而提高观赏性，帮助裁判做出决定的人可以帮助选手复盘比赛。另一个跟信息可视化相关的是地图。我们每天都在外奔波（除非你宅……），只要频繁与用户接触，就有了商业变现的机会，为了改进出行的体验，地图应用开始着手用AR来提升指路、导航的体验，更为可视化地指示方向（之前只看手机地图，还是有很多人会走错路）
谷歌发布了早些时候的AR步行指南，它的应用范围更广。谷歌地图（GoogleMaps）功能现在被称为实时视图，它可以通过使用箭头和街道名称实时帮助用户在周围环境中进行引导。
结合AR可以产生新的体验感受，促使消费者参与其中，从而达成品牌/交易的目的，因而也成为了广告营销的手段之一。产品化的AR营销技术，在AR品牌营销场景中开始清晰，比如ARxxx影像展、ARxxx瓶，如何在标准化的同时，设计一种灵活可定制的模块，是此类产品的技术核心。百事可乐用AR营销，联合《星球大战：天行者崛起》发售限量可乐罐。百事可乐早些时候，还联合过《蜘蛛侠：英雄远征》。Pinfinity AR，AR与徽章、纪念品结合，本身IP具有收藏价值，通过AR赋予玩家个性化玩法，包括视频、音频等，使得用户的参与感更强，更加凸显出IP的收藏价值。
这里要举一个沉浸式家居设计的工具：Planner 5D为例。Planner 5D是一款易于使用的家居设计工具，支持在2D和3D模式下拖放设计，使任何人都可以在几分钟内创建平面图和室内设计，而无需任何专业技能。利用苹果最新的ARKit，设计师可以在真实空间中进行设计的“仿真”，实时进行调整。对比以往，这项工作需要凭经验来判断，甚至是制作模型小样来进行，AR的解决方案效率高、门槛低。用户无需任何编码或设计师技能，即可完成专业设计师的工作。
image courtesy of Planner 5D
任天堂《马里奥赛车Live:家庭巡回赛》。该游戏将马里奥大叔搬到现实中,玩家可以真实触摸到实体化的游戏角色,与AR技术的结合让马里奥系列游戏比以往的更具有沉浸感。
从事AR项目的设计师扮演着探险家的角色。他们试验并尝试各种方法，以便找到最适合自己产品的方法，并为将要使用它的人提供价值。设计师可以设计独特的跨屏协同体验。微软Your Phone、戴尔Dell Mobile Connect，华为Huawei Share 和联想Lenovo one 等，相继发布类似的功能：将手机投射到 PC，投屏似乎成了一种趋势。本质上，投屏的目的是为了协同（协作）。手机和电脑有各自适用的场景，而AR可以引入现实空间，相当于有了3块屏幕，互相之间会碰撞出什么火花？adobe有一款应用，老师在电脑上标注，学生通过手机AR查看书籍上的标注，实现了不同屏幕、不同用户角色的互动。
甚至是设计超乎用户预期的体验，隔空取物的体验。如下图所示，一款由Cyril Diagne（艺术家/设计师/程序员）所开发的可“克隆万物”的app。一部手机，基本只靠对准镜头，然后移动，即可完成以往至少需要5个步骤才能完成的工作：手机拍照、传输至电脑、抠图、复制粘贴、调整位置。再一次验证了一项新技术的本质是由各种以往的小技术所重组而成。新技术带来了新体验，AR作为连接虚拟与现实的桥梁，实现了屏幕之间的“物理交流”，体验由此超越用户预期。另外，对于空间设计师而言，可以如何参与到AR的设计中呢？在黑设会聚会中，嘉宾给我们介绍了视错觉空间艺术，其中有一个手法是使用格子来变换空间（上图所示），这在AR空间变换中绝对是“万金油”。我们可以采用格子来产生独特的空间体验。这是设计师可以发力的地方，研究变换空间的手法，应用到AR空间里。当然还有非常多值得设计师关注的，比如新的交互界面是怎么样的？正如嵌华所说的：
硬件方面，AR眼镜能否跟手机一样人手一部呢？成为日常的随身携带物品。OPPO发布旗下首款AR眼镜，今年AR眼镜要扎堆?还有Display.land，采用类似于摄影测量法的原理，支持SLAM定位，可以让你通过智能手机或平板电脑的摄像头就能捕捉到真实环境的3D建模，准确性可达厘米级别。在打开Display.land的iOS端或安卓端应用后，你便可以开始扫描环境，在完成扫描后，将捕捉到的数据上传至云端的服务器进行处理。接着，你可以对处理完成的3D扫描结果进行标记和编辑，并可在线分享给朋友。通过把现实中的人、物体带入虚拟世界，AR有了丰富多样的3D数字内容可以使用。除了3D数字内容本身的创作之外，专业级开发工具方面，Google有ARCore增强现实体验构建平台。ARCore 利用不同的 API 让您的手机能够感知其环境、理解现实世界并与信息进行交互。一些在 Android 和 iOS 上同时提供的 API 支持共享 AR 体验。ARCore已更新到v1.20.0，欢迎一起实验。https://developers.google.cn/ar非专业级玩家，还需要有易于使用的工具，构建AR项目。比如一款基于web AR.js的工具，可以简单三步就完成AR项目的构建。AR.js Studio是一个能够让大众免费构建Web AR而无需编写代码的一个网站。让用户无需登录，只需访问他们的URL链接，即可选择呈现的方式（基于标记的AR，基于位置的AR，基于图像的AR），然后便可开始使用向导式流程完成全部的构建。基于AR.js studio的Location的流程使没有技术背景的人们创造和创新成为可能，无需编码即可创建AR项目。
AR既是一项技术，也是新的设计手法。可以被各行各业所采用，于是具备了跨学科的可能。当两种不同领域的东西重组在一起，往往能找到创新的机会。AR增强平面设计，这个项目叫Post-print。2017年启动，是毕业生 Serafim Mendes 在 ESAD Matosinhos 的 Communication Design 硕士论文/期末项目的成果。这是一个旨在探索增强现实(AR)与平面设计的创造性可能性的项目。通过使用实时的、交互式的 3D 动态视觉作为交流工具。
增强的内容层可以为设计增加深度和移动性，它还可以创建新的信息层，从而为观看者带来更具交互性和吸引力的体验。
视觉传达方面，有一个叫Super You的项目，由顶级创意工作室 Universal Everything开发，这款 APP 利用 AR 技术，可以让用户将朋友的装扮转变为独特的造型。只要用摄像头对准用户，就能识别出他的衣服颜色，自动转换成对应的AR 图案和颜色交互设计方面，是一种人机交互技术与设计的交叉方向。AR响应式手绘技术RealitySketch，是一种用于绘制交互式图形和可视化效果的增强现实界面交互技术方案。此项技术/设计，可用于增强物理实验、交互式可探索的概念表达、运动锻炼的可视化、控制虚拟物体。
在XR探索的道路上，一个人成长是有限的，而一群人可以走得更远。mixlab有一个XR的社群欢迎大家加入。