AR、VR和MR等沉浸式技术正在快速发展,一定程度上改变了消费者、企业与数字世界的互动方式。用户期望更大程度上从2D界面转移到更身临其境的3D世界,从3D捕捉更丰富、更平滑的图景,从3D获得新的体验。影响面包括商业、店内体验、聊天机器人、虚拟助理、区域规划、监控等,人们将从只使用语言的功能升级到包含视觉元素在内的全方位体验。AR将超越VR,并满足用户的需求。
本文主要观点:
1 到2022年,20%的早期用户将使用3D输入/输出接口来取代传统的2D/平板交互;
2 到2021年,20%的虚拟助理、聊天机器人和短信互动在发达国家将获得更丰富的形象,2017年这个比例只有3%;
3 到2022年,增强现实将超过虚拟现实成为头戴式显示器的主流,将占头盔式显示销售的55%,2017年这一比例小于5%;
4 到2021年,25%的大型企业将试点并部署混合现实(MR)解决方案,而今天只占1%;
5 到2021年,硬件和平台市场的整合将导致苹果、微软和谷歌占据沉浸式解决方案60%的营收。
在未来五年:3D接口及相关技术环节将发生连续变化,人工智能有望从2018年开始对沉浸式解决方案产生更大的影响,包括添加个性化元素。
人工智能和计算机视觉技术的进步将为3D图像扫描、创建和消费者用户案例提供更多的价值。预计计算机视觉功能将越来越多地嵌入智能手机和智能终端。亚马逊最近投资于人体实验室,用于3D人体模型扫描,一些初创企业和公司,如Styku和Bodi.me,正在推动3D人体扫描,以实现对衣服的虚拟试穿和健康状况评估。空间音频的进步可以为用户提供既能将声音放置在3D环境中,又能检测出声音位置来源的体验。Google VR音频系统创建多个虚拟扬声器来再现声波。空间音频的进步可以为用户提供在三维环境中放置声音以及探测声音的位置源的体验,而DearVR空间连接简化了集成音频之间的互动环境和3D空间渲染。智能手机厂商的强大投资,为3D深度感知成为智能手机的标配功能开辟了道路。苹果公司已经将3D深度传感技术嵌入到新的iphone x中。它使用了Tof深度传感器。索尼推出了其Xperia xz1系列的3D创建者应用程序,该应用程序通过用单个摄像头从多个角度拍摄物体或表面来创建3D图像。Gartner预计,中国、韩国等其他手机大公司将在2018年迅速效仿这一做法。最近,高通和奇景光电宣布合作,利用结构光模块(SLIM)3d depthsensing提升Android智能手机的功能;英特尔的RealSense 3D传感摄像头解决方案已经嵌入在个人电脑和平板电脑;Windows 10支持的混合PC机中的3D摄像机已用于windows系统进入验证。微软正积极推动3D、混合现实与其全息镜头的融合,其Windows 10于2017年10月发布的更新,提供了许多3D工具,如绘制3D或启用3D对象到Office。微软最近收购了社交VR公司altspaceVR。脸谱网推出了它的社交VR平台脸谱网空间。
在室内使用3D全息广告平台正在变得可行,商业化的供应商如三星、英特尔、国家地理、天空和百事可乐等主要品牌正在加快3D全息图布局,以提高产品和品牌体验。随着厂商不断提高产品知名度,主流产品的价格不断降低,相机市场正在发生变化。像脸谱网这样的公司通过提供一个平台来创建和分享虚拟内容,正有效地激发用户的兴趣。
沉浸式技术的进步,加上人工智能和计算机视觉,将重塑用户与数字世界、现实世界互动的未来。从使用3D获取更丰富、平滑的输入,到使用3D来呈现新体验,用户的期望将从2D界面逐渐转向更丰富、更沉浸式的3D世界。对于涉及与3D技术合作的战略规划者,需要快速建立与图像处理、专业软件、图像传感器公司的关系,这将是在价值链中占领高地的关键。这一价值链将围绕3D移动设备和智能手机市场增长而增长。5G网络、专注于人机界面(HCI)改进的专用AI芯片将加速这一竞争。
智能手机摄像头帮助用户生成以家人、朋友、同事为主题的数字内容,导致那些在全球广泛共享的照片和视频内容快速增长。对于AR、VR、MR的成长,一个关键的组成部分将是丰富。栩栩如生和动画体验的形象。这些体验将真实地反映用户的生理和性格,从而提升在虚拟环境中所需的亲密感并实现共存。
在协作环境中,呼声最高的往往是“更多的对象”,制造商将越来越多地填补空白,提供下一代产品目录,使用图像识别将真实的场景、准确的云描述、数字孪生(Digital Twin)联系起来。然而,要真正让用户感觉完全沉浸在虚拟环境中,就需要一个虚拟形象来代表和描绘用户。虚拟形象是一个图标或人物,代表一个特定的人在一个视频游戏、社会环境或虚拟空间。几十年来,虚拟人类互动实验室(VHIL)一直在探索从面部表情到身体位置等虚拟人的视觉描绘的细微差别,以及它们如何对社会互动产生明确的影响。一是语音技术。例如,亚马逊在2017年推出了它的语音标记功能,允许开发人员通过同步语音和面部动画来进行唇同步。二是面部跟踪技术。脸谱网展示了今年早些时候的社会虚拟实验。通过机器学习工具从2d照片中推断3D模型。例如,loom.ai通过机器学习将自拍转换为个人3D形象,并以内嵌式自动实现头像的创建过程。它使用公共API和视觉效果(VFX)创建逼真的可视化,然后可以动画化,并用于一系列应用程序。三是人体扫描技术。多伦多的ITSME这样的公司使用全身扫描,并且能够在扫描后的一分钟内创建一个个人的3D形象。它的第一款产品ITSMIJI,允许个性化形象作为表情符号。这些技术也将在消费环境中发挥作用,用户当前不存在于社会虚拟现实中,将能够支持基本的自动化交互。像Furhat机器人公司这样的动画厂商也将扩大业务,提供品牌体验,利用应用于酒店、商店、交通枢纽和其他公共场所的AR\VR技术。
头盔显示器将从2016的1,600万台增长到2021年的6,700万台(复合年增长率为33%)。在这个预测期内,ARHMD将增长到这一数量的近一半。由于苹果和谷歌等领先厂商发布了各自的平台ARkit和ARcore,开发者和消费者的关注度有所提高。
AR是一组技术集合,提供一种将物理世界与数字信息结合在一起的体验和用户界面。智能手机实际上是消费者的个性化设备。智能手机上的一般消费者AR体验很难获得吸引力,这是因为形式因素(手持)限制了用户的行为。大众市场的用户不愿意不停地拿起手机到他们周围的环境,以获得更多的信息。随着时间的推移,这些设备将成为用户的重要装备,多模态(触摸、手势、语音和运动)和免提交互将成为这些设备的主流功能。消费者将开始转变,从智能手机到HMDS,以更透明、更直观的方式与物理和数字世界互动。计算机视觉等技术将使消费者能够直观地搜索和识别其物理环境。目前,虚拟现实的销售额绝大多数来源于头盔显示器,主要是索尼PSVR,Oculus Rift和HTC;移动设备如三星的GearVR。另一方面,AR的兴趣更多地集中在企业的使用上,消费者的使用受到硬件成熟度、用户体验、受众范围、隐私等因素的阻碍。随着时间的推移,技术使AR体验更加舒畅,性价比更高,我们预计ARhmd销售将超过VRhmd销售。这也是因为AR可以作为用户在物理世界和数字世界之间的用户界面,而VR仅限于纯数字再现的交互。
Gartner预计,到2020年,增强现实和虚拟现实将合并他们的特性和功能。预计,微软的其他技术供应商可能在2018年和2019年推出更便宜的MR硬件。混合现实是市场中的一种沉浸式解决方案,不像AR和VR那么成熟,这项技术是通过一个带有透明镜头的耳机,将3D图形叠加到真实世界的视图上。MR促进了复杂的用户体验,增强了真实世界的视觉覆盖、音频和触觉反馈。混合现实目前处于早期阶段,以航空航天、空间探索、汽车制造、建筑和设计、医疗保健等领域为中心正在进行试点。该技术使企业能够使用复杂的多通道和多视觉体验来桥接物理真实世界和虚幻世界。更自然的是,与3D对象和数字世界进行交互,并提供虚拟和真实环境的更灵活的集成,支持在业务和虚拟现实中更广泛的协作场景。可视化和定制新车、新房子、新的互动游戏、新的购物或娱乐体验(博物馆或旅游目的地)等方面将潜伏商机。
沉浸式技术包括增强现实技术、虚拟现实技术和混合现实技术。AR与实际环境相关度较高,VR使得用户被放置到充分的虚拟环境中,MR把虚拟对象被插入到实际环境中。谷歌和苹果两家公司,都在积极关注身临其境的体验,并将其带给主流用户。最近推出的ARcore,旨在使AR开发人员能够不需要特殊的深度传感器来操作安卓系统。苹果的关注点是AR,因为苹果已经发布了ARkit(IOS 11的一部分)。iPhoneX也有一个正面的3D深度感测相机,将允许用户查看三维的世界。微软是市场的领导者,它的全息透镜设备正在引领未来。
沉浸式设备和技术的现实市场非常分散,就像苹果、微软和谷歌等科技巨头的新兴科技市场一样,如今占据的市场份额不到15%。所有这三家领先的技术供应商都对沉浸式的现实市场抱有很高的期望。他们希望在这些市场上获胜,因为这是用户如何与设备以及物理和虚拟世界互动的一个新兴前沿。目前,AR、VR和MR更像是一个单独的市场,每个市场都有特定的参与者。沉浸式现实解决方案的成功不仅取决于硬件/设备的可用性和能力,还取决于内容、开发人员的支持和生态系统。
因此,预计沉浸式现实市场将在2018和2019年经历大量整合,将看到更大的平台领导者出现,比如谷歌、微软和苹果、脸谱网等,技术的进步也将推动未来三至五年内AR、VR和MR市场的融合,因为新的设备将能够支持不同层次的沉浸体验。
本文由上海市科学学研究所产业创新研究室副研究员孟海华根据Gartner相关报告翻译撰写。文章观点不代表主办机构立场。
◆ ◆ ◆
编辑邮箱:sciencepie@126.com