VR（虚拟现实）技术是怎样沉浸的

点击图片上方蓝色字体“慧天地”即可订阅

（点击图片可放大观看，更多精彩请留意文末推荐)

虚拟现实(Viaual Reality，简称VR)作为一种综合计算机图形技术、多媒体技术、传感器技术、人机交互技术、网络技术、立体显示技术以及仿真技术等多种科学技术而发展起来的计算机领域的新技术，目前所涉及的研究应用领域已经包括军事、医学、心理学、教育、科研、商业、影视、娱乐、制造业、工程训练等。VR技术已经被公认为是21世纪重要的发展学科以及影响人们生活的重要技术之一。

VR虚拟现实技术

自从计算机发明以来，计算机一直是传统信息处理环境的主体，它只具有在数字化的单维信息空间中处理问题的能力。而事实上，人类是依靠自己的感知和认知能力全方位的获取知识，是在多维化的信息空间中认识问题。这样就产生了人类认识问题的认识空间与计算机处理问题的信息空间不一致的矛盾，人类被排斥在计算机为主体的信息处理环境之外，而且较难以直接理解信息处理工具的处理结果，更难以把人类的感知能力和认知经验与计算机信息处理环境直接联系起来。因此，人们迫切需要突破现有的数字计算机只能处理单纯数字信息的限制，建立一个能包容图像、声音、化学气味等多种信息源的信息空间，人们不但可以从外部观察信息处理的结果，而且能通过视觉、听觉、嗅觉、口令、手势等多种形式参与到信息处理环境中去，这种信息处理环境被称为虚拟环境。虚拟环境是由计算机生成的，通过视、听、触觉等作用于用户，使之产生身临其境感觉的交互式视景仿真。

虚拟现实是一种可以创建和体验虚拟世界的计算机系统(其中虚拟世界是全体虚拟环境的总称)。通过虚拟现实系统所建立的信息空间，已不再是单纯的数字信息空间，而是一个包容多种信息的多维化的信息空间(Cyberspace)，人类的感性认识和理性认识能力都能在这个多维化的信息空间中得到充分的发挥。

要创建一个能让参与者具有身临其境感，具有完善地交互作用能力的虚拟现实系统，在硬件方面，需要高性能的计算机软硬件和各类先进的传感器；软件方面，主要是需要提供一个能产生虚拟环境的工具集。

虚拟现实技术的特征

VR用三个“I”，“Immersion”、

“Interaction”、“Imagination”来说明虚拟现实的特征，即沉浸、交互、想象，三者缺一不可。

1、沉浸性(Immersion)

是指用户作为主角存在于虚拟环境中的真实程度。使用者戴上头盔显示器和数据手套等交互设备，便可将自己置身于虚拟环境中，成为虚拟环境中的一员。使用者与虚拟环境中的各种对象的相互作用，就如同在现实世界中的一样。使用者在虚拟环境中，一切感觉都是那么逼真，有一种身临其境的感觉。

2、交互性(Interaction)

是指用户对模拟环境内物体的可操作程度和从环境得到反馈的自然程度。虚拟现实系统中的人机交互是一种近乎自然的交互，使用者不仅可以利用电脑键盘、鼠标进行交互，而且能够通过特殊头盔、数据手套等传感设备进行交互。计算机能根据使用者的头、手、眼、语言及身体的运动，来调整系统呈现的图像及声音。使用者通过自身的语言、身体运动或动作等自然技能，就能对虚拟环境中的对象进行考察或操作。

3、多感知性(Imagination)。

由于虚拟现实系统中装有视、听、触、动觉的传感及反应装置，因此，使用者在虚拟环境中通过人机交互，可获得视觉、听觉、触觉、动觉等多种感知，从而达到身临其境的感受。研究和开发VR是为了扩展人类的认知与感知能力，建立和谐的人机环境。VR技术是人与技术完善的结合，它是计算机图形学和人-机交互技术发展之产物，人在整个系统中占有十分重要的地位。利用VR技术的手段，使我们对所研究的对象和环境获得“身临其境”的感受，从而提高人类认知的广度与深度，拓宽人类认识客观世界的“认识空间”和“方法空间”，最终达到更本质地反映客观世界的实质。

沉浸式VR系统

沉浸式VR系统利用头盔显示器和数据手套等各种交互设备把用户的视觉、听觉和其他感觉封闭起来，而使用户真正成为VR系统内部的一个参与者，并能利用这些交互设备操作和驾驭虚拟环境，产生一种身临其境、全心投入和沉浸其中的感觉。  

沉浸式VR系统的特点

① 高度的沉浸感。

沉浸式VR系统采用多种输入与输出设备来营造一个虚拟的世界，并使用户沉浸于其中，同时还可以使用户与真实世界完全隔离，不受外面真实世界的影响。

② 高度实时性。

在虚拟世界中要达到与真实世界相同的感觉，如当人运动时，空间位置跟踪定位设备需及时检测到，并且经过计算机运算，输出相应的场景变化，并且这个变化必需是及时的，延迟时间要很小。

沉浸式VR系统的基本组成

沉浸式VR系统的分类

常见的沉浸式VR系统有：基于头盔式显示器的VR系统、投影式VR系统、遥在系统。

基于头盔式显示器采用头盔式显示器或投影式VR系统是或投影式显示系统来实现完全投入。它把现实世界与之隔离，使参与者从听觉到视觉都能投入到虚拟环境中去。

遥在系统是一种远程控制形式，常用于VR系统与机器人技术相结合的系统。

VR沉浸式技术的发展趋势

沉浸式技术正在快速发展，一定程度上改变了消费者、企业与数字世界的互动方式。用户期望更大程度上从2D界面转移到更身临其境的3D世界，从3D捕捉更丰富、更平滑的图景，从3D获得新的体验。

在未来五年：3D接口及相关技术环节将发生连续变化，人工智能有望从2018年开始对沉浸式解决方案产生更大的影响，包括添加个性化元素。

第一：使用3D输入/出接口取代传统的平面交互

人工智能和计算机视觉技术的进步将为3D图像扫描、创建和消费者用户案例提供更多的价值。预计计算机视觉功能将越来越多地嵌入智能手机和智能终端。亚马逊最近投资于人体实验室，用于3D人体模型扫描。一些初创企业和公司，如Styku和Bodi.me，正在推动3D人体扫描，以实现对衣服的虚拟试穿和健康状况评估。

空间音频的进步可以为用户提供既能将声音放置在3D环境中，又能检测出声音位置来源的体验。Google VR音频系统创建多个虚拟扬声器来再现声波。空间音频的进步可以为用户提供在三维环境中放置声音以及探测声音的位置源的体验，而DearVR空间连接简化了集成音频之间的互动环境和3D空间渲染。

智能手机厂商的强大投资，为3D深度感知成为智能手机的标配功能开辟了道路。苹果公司已经将3D深度传感技术嵌入到新的iphone x中。它使用了Tof深度传感器。索尼推出了其Xperia xz1系列的3D创建者应用程序，该应用程序通过用单个摄像头从多个角度拍摄物体或表面来创建3D图像。Gartner预计，中国、韩国等其他手机大公司将在2018年迅速效仿这一做法。

最近，高通和奇景光电宣布合作，利用结构光模块（SLIM）3d depthsensing提升Android智能手机的功能；英特尔的RealSense 3D传感摄像头解决方案已经嵌入在个人电脑和平板电脑；Windows 10支持的混合PC机中的3D摄像机已用于windows系统进入验证。

微软正积极推动3D、混合现实与其全息镜头的融合，其Windows 10于2017年10月发布的更新，提供了许多3D工具，如绘制3D或启用3D对象到Office。微软最近收购了社交VR公司altspaceVR。脸谱网推出了它的社交VR平台脸谱网空间。

在室内使用3D全息广告平台正在变得可行，商业化的供应商如三星、英特尔、国家地理、天空和百事可乐等主要品牌正在加快3D全息图布局，以提高产品和品牌体验。随着厂商不断提高产品知名度，主流产品的价格不断降低，相机市场正在发生变化。像脸谱网这样的公司通过提供一个平台来创建和分享虚拟内容，正有效地激发用户的兴趣。

沉浸式技术的进步，加上人工智能和计算机视觉，将重塑用户与数字世界、现实世界互动的未来。从使用3D获取更丰富、平滑的输入，到使用3D来呈现新体验，用户的期望将从2D界面逐渐转向更丰富、更沉浸式的3D世界。

对于涉及与3D技术合作的战略规划者，需要快速建立与图像处理、专业软件、图像传感器公司的关系，这将是在价值链中占领高地的关键。这一价值链将围绕3D移动设备和智能手机市场增长而增长。5G网络、专注于人机界面(HCI)改进的专用AI芯片将加速这一竞争。

第二：更丰富的智能设备的形象

智能手机摄像头帮助用户生成以家人、朋友、同事为主题的数字内容，导致那些在全球广泛共享的照片和视频内容快速增长。对于AR、VR、MR的成长，一个关键的组成部分将是丰富。栩栩如生和动画体验的形象。这些体验将真实地反映用户的生理和性格，从而提升在虚拟环境中所需的亲密感并实现共存。

在协作环境中，呼声最高的往往是“更多的对象”，制造商将越来越多地填补空白，提供下一代产品目录，使用图像识别将真实的场景、准确的云描述、数字孪生（Digital Twin）联系起来。然而，要真正让用户感觉完全沉浸在虚拟环境中，就需要一个虚拟形象来代表和描绘用户。

虚拟形象是一个图标或人物，代表一个特定的人在一个视频游戏、社会环境或虚拟空间。几十年来，虚拟人类互动实验室(VHIL)一直在探索从面部表情到身体位置等虚拟人的视觉描绘的细微差别，以及它们如何对社会互动产生明确的影响。

一是语音技术。例如，亚马逊在2017年推出了它的语音标记功能，允许开发人员通过同步语音和面部动画来进行唇同步。

二是面部跟踪技术。脸谱网展示了今年早些时候的社会虚拟实验。通过机器学习工具从2d照片中推断3D模型。例如：loom.ai通过机器学习将自拍转换为个人3D形象，并以内嵌式自动实现头像的创建过程。它使用公共API和视觉效果(VFX)创建逼真的可视化，然后可以动画化，并用于一系列应用程序。

三是人体扫描技术。多伦多的ITSME这样的公司使用全身扫描，并且能够在扫描后的一分钟内创建一个个人的3D形象。它的第一款产品ITSMIJI，允许个性化形象作为表情符号。

这些技术也将在消费环境中发挥作用，用户当前不存在于社会虚拟现实中，将能够支持基本的自动化交互。像Furhat机器人公司这样的动画厂商也将扩大业务，提供品牌体验，利用应用于酒店、商店、交通枢纽和其他公共场所的ARVR技术。

第三：戴式显示器的主流

头盔显示器将从2016的1,600万台增长到2021年的6,700万台(复合年增长率为33%)。在这个预测期内，ARHMD将增长到这一数量的近一半。由于苹果和谷歌等领先厂商发布了各自的平台ARkit和ARcore，开发者和消费者的关注度有所提高。

AR是一组技术集合，提供一种将物理世界与数字信息结合在一起的体验和用户界面。智能手机实际上是消费者的个性化设备。智能手机上的一般消费者AR体验很难获得吸引力，这是因为形式因素(手持)限制了用户的行为。大众市场的用户不愿意不停地拿起手机到他们周围的环境，以获得更多的信息。

随着时间的推移，这些设备将成为用户的重要装备，多模态（触摸、手势、语音和运动）和免提交互将成为这些设备的主流功能。消费者将开始转变，从智能手机到HMDS，以更透明、更直观的方式与物理和数字世界互动。

计算机视觉等技术将使消费者能够直观地搜索和识别其物理环境。目前，虚拟现实的销售额绝大多数来源于头盔显示器，主要是索尼PSVR，Oculus Rift和HTC；移动设备如三星的GearVR。

另一方面，AR的兴趣更多地集中在企业的使用上，消费者的使用受到硬件成熟度、用户体验、受众范围、隐私等因素的阻碍。随着时间的推移，技术使AR体验更加舒畅，性价比更高，我们预计ARhmd销售将超过VRhmd销售。

这也是因为AR可以作为用户在物理世界和数字世界之间的用户界面，而VR仅限于纯数字再现的交互。

第四：虚拟与现实的交互

Gartner预计，到2020年，增强现实和虚拟现实将合并他们的特性和功能。预计，微软的其他技术供应商可能在2018年和2019年推出更便宜的MR硬件。混合现实是市场中的一种沉浸式解决方案，不像AR和VR那么成熟，这项技术是通过一个带有透明镜头的耳机，将3D图形叠加到真实世界的视图上。

MR促进了复杂的用户体验，增强了真实世界的视觉覆盖、音频和触觉反馈。混合现实目前处于早期阶段，以航空航天、空间探索、汽车制造、建筑和设计、医疗保健等领域为中心正在进行试点。该技术使企业能够使用复杂的多通道和多视觉体验来桥接物理真实世界和虚幻世界。

更自然的是，与3D对象和数字世界进行交互，并提供虚拟和真实环境的更灵活的集成，支持在业务和虚拟现实中更广泛的协作场景。可视化和定制新车、新房子、新的互动游戏、新的购物或娱乐体验（博物馆或旅游目的地）等方面将潜伏商机。

第五，硬件与市场的整合

沉浸式技术包括增强现实技术、虚拟现实技术和混合现实技术。AR与实际环境相关度较高，VR使得用户被放置到充分的虚拟环境中，MR把虚拟对象被插入到实际环境中。谷歌和苹果两家公司，都在积极关注身临其境的体验，并将其带给主流用户。

最近推出的ARcore，旨在使AR开发人员能够不需要特殊的深度传感器来操作安卓系统。苹果的关注点是AR，因为苹果已经发布了ARkit(IOS 11的一部分)。iPhoneX也有一个正面的3D深度感测相机，将允许用户查看三维的世界。微软是市场的领导者，它的全息透镜设备正在引领未来。

沉浸式设备和技术的现实市场非常分散，就像苹果、微软和谷歌等科技巨头的新兴科技市场一样，如今占据的市场份额不到15%。所有这三家领先的技术供应商都对沉浸式的现实市场抱有很高的期望。他们希望在这些市场上获胜，因为这是用户如何与设备以及物理和虚拟世界互动的一个新兴前沿。

目前，AR、VR和MR更像是一个单独的市场，每个市场都有特定的参与者。沉浸式现实解决方案的成功不仅取决于硬件/设备的可用性和能力，还取决于内容、开发人员的支持和生态系统。

因此，预计沉浸式现实市场将在2018和2019年经历大量整合，将看到更大的平台领导者出现，比如谷歌、微软和苹果、脸谱网等，技术的进步也将推动未来三至五年内AR、VR和MR市场的融合，因为新的设备将能够支持不同层次的沉浸体验。

沉浸式技术若要使得用户与内容和媒体之间的互动更加愉快、充实，我们还有很多工作需要做。而这一切的实现主要取决于将用户置于其价值主张核心的技术设计。

来源：传感器技术（本文作者不详，请原作者及时和《慧天地》联系，我们高度尊重原创，版权归原作者及刊载媒体所有。)

荐读

点击下文标题即可阅读

编辑 / 张洁  审核 / 张洁  韩磊

指导：万剑华教授(微信号wjh18266613129)