什么是扩展现实（XR）？云XR系统怎样实现？终于有人讲明白了
导读：5G大潮下的VR/XR/AR云化探索。
作者：林瑞杰 冯林 温向东 陈乐 等
来源：大数据DT（ID：hzdashuju）
我国政府正在积极推动虚拟现实技术的全面发展。虚拟现实（含增强现实）已被列入“十三五”信息化规划等多项重要文件中，国务院各部门均已出台相关政策，各省市地方政府也从政策方面积极推进虚拟现实产业布局，已有十余地市相继发布了针对虚拟现实领域的专项政策。
随着5G技术的不断发展与完善，以及5G的试点和商用落地进程的加快，探索面向消费者的低延时、高带宽的业务和场景，已经成为运营商需要完成的重点工作。在诸多业务形态中，扩展现实（Extended Reality，XR）有望成为新一代计算平台。而云XR 是推进XR大规模应用的最佳形态和发展趋势，将成为5G时代的典型应用之一。
为了实现智慧校园网关和AR（Augmented Reality，增强现实）、XR交互式智慧教学，打造教育行业核心能力，中国移动（成都）产业研究院提出了基于5G技术、边缘计算、云XR技术，构建5G环境下智慧校园的解决方案，提升中国移动在5G时代教育行业的市场份额和行业影响力，从而全面带动产业经济发展。
具体来说，就是建设具备虚拟化数字存储、管理、分发等功能的虚拟现实教育内容云XR平台，将第三方硬件设备厂商、第三方平台提供厂商资源和VR教育内容整合于一体，为跨行业、多领域的教育培训平台提供整套解决方案。
基于以上背景，目前中国移动运营商正在推进面向5G的云XR关键技术的研究工作：
基于TCP、UDP分别实现云XR系统，并对比整体接入性能差异；
将云XR系统移植到GPU虚拟化环境中，并进行最大并行用户数压力测试。
同时，运营商也在积极推进将XR头盔接入云渲染平台中软件开发工具包功能的开发工作：基于5G云XR终端实现相关功能，达到XR头显接入云系统的目的。目前已有2～3家主流XR头显可以正常接入，并能进行业务展示。
01 关键技术和系统设计
1. 关键技术
XR终端安装云XR终端服务APK（Android Application Package，Android应用程序包），通过APK采集用户姿态、方位及操控信息，并按照OpenVR、WebGL、WebVR、WebXR规则进行转换，然后通过上行FTTB（Fiber To The Building，光纤到楼）+Wi-Fi网络或5G网络传输到云渲染服务器。
云渲染服务器根据用户终端上传的信息和业务逻辑，捕获应用的运行结果，然后调用GPU资源对画面进行渲染，最后将结果回传至用户终端。
云渲染服务器抓取渲染后的音频、视频，并利用通用音、视频编码器（音频编码支持AAC，视频编码支持H.264和H.265）将其压缩成通用格式，然后通过下行FTTB+5G网络传输到AR、VR终端，支持TCP、UDP两种网络传输协议。
AR、VR终端将音、视频流数据解码后完成相应的处理，最后将声音和画面传输到用户终端设备。
用户根据应用画面显示信息实现对应的操作，完成应用体验。
AR、VR终端支持投屏服务，可以将头显上的显示内容投射到对应的机顶盒或电视机上，以便于头显用户之外的用户也能旁观。
2. 系统设计
云XR平台由云端和终端系统软件两部分组成。云XR平台总体框架如图1所示。
▲图1 云XR系统架构图
云端系统
云XR平台云端系统由能力平台、统一运营平台、业务支撑平台三部分组成。
能力平台
能力平台由云流化管理系统、云渲染系统、云编辑系统、云控制系统、XR视频系统组成。
云流化管理系统由中心管理、分前端管理、应用运行平台三部分组成，中心管理系统由管理网站、统一会话调度管理系统组成。分前端管理系统主要是指会话资源管理系统。应用运行平台主要承载应用的运行，以及应用结果的渲染流化处理。
云渲染系统由云渲染服务、实时编码服务、云流化服务三部分组成，主要负责对应用的运行结果进行实时渲染，并编码流化发送至终端。
云编辑系统由内容存储服务、内容编辑生成服务、内容上传服务三部分组成。用户在PC上登录云XR在线编辑平台，该平台对用户导入的全景内容进行编辑（添加三维模型、全景内容运行逻辑等），然后通过云渲染服务器渲染和编码编辑好的内容，最后通过5G网络将压缩后的XR内容传输到XR头显设备，用户通过终端解码即可看到已经编辑完毕的XR内容。
云控制系统由设备管理服务、消息分发服务、内容控制服务三部分组成，通过浏览器可以进行如下操作：启动、查看终端状态、在终端安装对应的云控制APK。管理员可以通过Web页面对接入平台的终端进行控制，通过消息分发控制子终端中应用的启动和停止，并将云端渲染后的内容流分发至指定头盔，以实现终端用户的VR内容体验。
XR视频系统支持多路高清远程VR授课，配套带有大量的VR教学内容，支持大规模远程同步启动。一体化全景直播相机可以将实时拼合好的4K、8K高清全景视频流实时传输到云端，或者传输到多路单目视频流，并利用5G网络推流到VR一体机、大屏幕等终端以供观看。
云端存储了大量的VR内容应用，在本地控制终端，可以实现云端虚拟现实应用的统一播放。通过5G网络，系统运维人员可以即时监控所有虚拟现实一体机的设备状态，实现虚拟现实内容的大规模同步启动。
统一运营平台
统一运营平台由统一门户、业务管理、统一认证模块三部分组成。
统一门户主要用于管理用户终端界面（UI）展示的内容，包括基础数据、页面管理和图片管理等。
业务管理系统主要用于管理业务相关数据，如用户管理、充值管理、会员管理等。
统一认证模块主要用于用户登录业务鉴权，以及管理用户在系统中的付费操作，提供支付通道。
业务支撑平台
业务支撑平台由数据运营分析系统和统一监控模块两部分组成。
数据运营分析系统提供了分析和查看经营与使用相关综合数据的功能，并为经营策略的修正、平台建设的改进提供了数据支撑和依据。
统一监控模块用于监控云XR平台下各服务器和平台模块的运行状态、服务器资源占用情况。
终端系统
云XR终端系统用于实现与云端的协议交互、操作指令等数据的回传，以及流解码播放等功能，需要集成云XR平台的终端系统软件。
云XR平台要求终端具备视频解码能力、XR显示能力和交互能力，因此需要终端提供较好的性能。云XR平台支持三种形式的客户端作为终端设备，分别是：云VR机顶盒+PC VR头显、XR一体机、手机+XR眼镜盒子。
02 应用实践
基于5G云XR的教育平台将在南昌师范附属实验小学、南昌航空大学附属小学、江西移动106个移动营业厅陆续落地。
中国移动在5G业务上的定位为：综合服务提供商、技术研发/服务商、云服务平台以及终端设备商。通过与云游戏、云VR 技术公司的合作，中国移动将逐步实现其在5G业务上的目标定位。
关于作者：林瑞杰，中国信息通信研究院5G数字文创研究中心副主任，高级工程师。5G云游戏产业联盟秘书长，全国电信终端产业协会云游戏工作委员会主席。专注于移动互联网与软件、5G新应用，特别是5G云游戏的行业研究、技术研究、标准制定、测评体系构建，是国内云游戏产业发展的积极推动者与践行者。
冯林，咪咕互动娱乐有限公司CEO、5G云游戏产业联盟理事长、中国文化娱乐协会副会长。拥有24年通信和互联网行业研究及管理经验，在云游戏技术领域具有非常深厚的积累，是云游戏ITU国际标准的核心贡献者之一。
温向东，云鹭科技CEO，白鹭科技合伙人，5GCGA云原生游戏工作组主席。前光宇副总裁、Discuz! 副总裁、腾讯广点通总监。完整经历端游、页游、手游、小游戏、云游戏时代，从0到1推动小游戏行业，并成功打造白鹭引擎H5游戏领先品牌。
陈乐，星游纪CEO，5GCGA国际合作与交流工作组主席，20年IT及游戏行业从业经验，海外精品主机游戏上云的先行者。曾担任Unity Games中国区总经理、育碧Ubisoft中国发行部总经理、第九城市运营总经理等。
本文摘编自《云游戏：5G开启数字娱乐新时代》，经出版方授权发布。
延伸阅读《云游戏：5G开启数字娱乐新时代》
点击上图了解及购买
转载请联系微信：DoctorData
推荐语：5G云游戏产业联盟出品，产业、技术、商业3维度展开，金山云CEO、完美世界总裁、盛趣游戏CEO联袂推荐。
干货直达👇
更多精彩👇