赵沁平院士谈虚拟现实中的10 个科学技术问题
↑点击上方“中国科学信息科学”, 及时获取期刊动态!
2013年以来，随着虚拟现实(virtual reality, 简称VR)/增强现实(augmented reality, 简称AR) 设备(如头戴式显示器等) 质量迅速提升、价格大幅降低, VR开始普及化, 从军事、航空航天等高端行业应用进入大众生活. 在这样的趋势下, 越来越多的科技公司将眼光投向VR, 部署研发团队并推出自己的VR创新产品, 展开抢占VR产业制高点的激烈竞争, 使得VR 技术进入了前所未有的快速发展时期.
任何一项新兴高技术产业的可持续发展都需要有三方面的条件支撑, VR产业也不例外, 这就是需要关键技术突破与科技创新的持续支持, 各类VR 人才的强大支撑, 以及市场需求的不断推动, 而市场的形成又有赖于VR 应用系统与内容的不断丰富与创新.
实现一个VR系统, 大体需要四方面的技术: 数据与获取、分析与建模、绘制与表现, 以及传感与交互. 这四个方面均涉及硬件平台与装置、核心芯片与器件、软件平台与工具和软硬标准与规范. 同时VR应用也需要结合各行业领域的应用技术, 因此VR是学科高度综合交叉的科学技术领域, 是存在许多有待解决的科学技术问题、并不断产生新科学技术问题的充满活力的新兴领域.
2009年我根据自己多年从事VR技术研究的体会, 归纳总结了当时VR 中的10个科学问题, 并于2011年发表于Communications of the ACM. 现在回头来看, 这些问题的提出, 在一些方面推动了VR技术的研究, 其中有的在一定程度上有所突破, 有的进展不明显, 有的则被更为迫切的问题所掩盖, 这体现了VR技术领域的活跃性. 根据本人对近年来VR技术的发展趋势、VR应用和产业发展所遇到的技术瓶颈的认识, 以及本人新的研究体会, 在本文提出当前VR科学技术中新的10个科学技术问题. 这些技术的突破会导致VR 应用和产业的新的巨大进展.
”1 VR头戴显示的输入与交互
现有VR头戴式显示器看不到体验者自身, 输入不便, 也缺少与景物的交互机制, 身临其境的感觉受限. 因此, VR 鼠标等便捷友好的VR 输入方式, 能够实时逼真地表现体验者肢体、并能与虚拟场景对象实时交互的机制是需要研究的问题.
2 头戴式显示的空间计算
与AR虚实融合及其室外化
头戴式显示虚拟场景的空间计算, 包括体验者头部和位置的实时精准跟踪定位, 以及AR头戴显示中虚拟对象在现实空间中的位置计算与实时表现是需要进一步研究的问题. 与此相关, 虚实融合是AR的基本问题之一, 包括视频式AR显示中图形对象与视频图像的融合, 以及光学透视式AR显示中图形对象与现实景物的融合. 前者研究的时间比较长, 后者随着光学AR头戴显示的实用化, 逐步成为这一方向的主流, 许多问题有待解决. 同时, 光学透视式AR 的室外化, 包括室外大场景下的虚实融合是有待探索的一个方向.
3 VR视频的采集、制作
与交互式播放
VR全景视频(包括基于桌面、移动终端或Web的VR视频) 的采集、制作、交互式播放技术与设备, 以及跨平台VR视频播放器, 是一个研究发展方向. 如何在VR 视频中引入几何与控制元素, 增加VR视频的交互类型, 提高其交互性是值得研究的问题.
4 基于移动终端和互联网的VR
基于移动终端和互联网的VR具有巨大发展潜力. 对于前者, 低计算、低存储VR 技术, 云计算VR技术, 低延迟大数据传输与新型交互等是可创新技术方向. 后者需要全屏3D绘制、VR设备接入与更合适的人机交互机制, 以及新型浏览器标准. Web VR将对现有浏览器和邮件系统等带来变革和颠覆性影响, 成为互联网的新入口.
5 物理特征的更多表现
与新型物理模型
目前, 虚拟对象的物理表现及其物理模型研究主要集中在运动学和动力学方面. 物理模型也只有粒子系统、弹簧模型、SPH (smoothed particle hydrodynamics) 方法等少数几个. 物质的许多物理特征(如材料特征), 爆炸、切割等物理现象, 柔、黏、塑、流、气、场等物质对象的物理特征与交互响应的实时逼真表现, 存在许多理论问题. 由于物理模型计算量巨大, 因此具体应用时实时性和逼真性之间的平衡也是需要考虑的问题. 提出表现某类物理特征和物理现象的新型物理模型, 构造其物理引擎及核心算法芯片PPU (physics processing unit), 可以带来原创性、平台工具性成果.
6 进化演化模型与虚拟孪生
基于化学、生物学和生命科学的人体器官的生理、化学、生物进化演化模型是有待深入研究的科学问题, 可能产生新的知识型、概率型等模型类型. 现实世界中的每一个(类) 对象, 均可以构建虚拟孪生, 使其与现实孪生在几何、物理、生理, 以及进化演化等方面高度相似. 人体、城市和复杂装备的虚拟孪生会成为未来发展的重点, 并对医疗健康、城市规划管理和装备设计维护领域产生颠覆性影响. 构造虚拟孪生, 特别是可交互几何类虚拟孪生的理论与方法, 既是VR, 也是AR, MR (mixed reality, 混合现实) 等的基础.
7 智能行为模型
随着VR应用领域的不断扩展, 虚拟人(或计算机生成的人) 操纵实体(如飞机、车辆等) 成为VR系统的重要组成部分, 这些智能体的行为使得VR 系统所具有的3I (immersion, interaction, imagina-tion) 特征向4I发展, 即VR系统将具有更多的智能(intelligence) 特征. 该类问题的解决有赖于人工智能技术和人脑科学的发展.
8 力交互的柔韧感与新型自然交互
人与虚拟对象之间的力/触觉逼真感知的方式、机制及其设备仍然存在大量的问题, 特别是柔韧感; 此外新的感知通道, 如温湿感、嗅/味觉等, 有的刚起步, 有的尚未涉足. 这是一个需要多学科交叉研究解决的问题领域.
9 VR内容的智能化生产技术
与通用软件开发工具
目前VR内容制作生产力低下, 原因一是VR 建模、绘制、修补等生产环节的工具和开发平台自动化、智能化程度低, 二是VR 硬件不兼容, 均采用各自的软件开发工具包(software development kit, SDK). 提高3D建模(几何、图像、扫描等) 的效率和空洞修补的自动化水平等是需要进一步研究的内容, 研发标准应用程序接口和通用软件包是提高共享和研发效率的必然途径.
10 VR的逼真性度量
与VR心理学、VR社会学
VR的逼真性, 即虚拟与现实孪生的相似性测度是有待研究解决的一个理论问题. 在此基础上研究各类VR应用的效果评价, 特别是对人的心理影响, 以及对人类社会带来的影响, 并进行相关约束与法律研究也是必要的, 这会形成新的人文学科研究方向.
上述是本人认为VR领域当前迫切需要研究解决的10个科学技术问题. 实际上, VR研究与应用领域中存在大量的科学技术问题. VR是一项可能的颠覆性技术, 主要体现在六个方面: 突破目前以2D为主的显示, 实现3D, 以及未来的真三维显示; 突破目前屏幕物理尺寸的局限, 实现全景显示和交互体验; 突破键盘、鼠标人机交互方式, 实现手眼协调的人机自然交互; 突破时空界限, 把用户带入未来或过去的时空环境; 取代现有互联网邮件系统为主的通讯交互方式, 成为互联网的新入口和人际交互新环境. 有助于实现上述颠覆性的基础理论与关键技术都应该是VR 技术研究者所追求的目标.
虚拟现实中的10个科学技术问题.
赵沁平
中国科学: 信息科学, 2017, 47: 800-803