虚拟现实技术在融媒领域中的应用与实践

点击蓝字

关注我们

摘要

VR/AR、云计算和人工智能等技术高速发展，元宇宙被赋予了丰富内涵和形态。本文从智能XR演播室和数智人2D真人视频制作平台着手，结合人民日报社国传技术支撑体系项目建设内容，探讨在虚拟现实技术领域进行探索实践，助力全媒体矩阵视频制作提质增效。

虚拟现实技术在融媒领域中的应用与实践

刘星宏  许  阳  郝冠南

2019年1月25日，习近平总书记主持十九届中央政治局第十二次集体学习，首次提出“四全媒体”：“全媒体不断发展，出现了全程媒体、全息媒体、全员媒体、全效媒体，信息无处不在、无所不及、无人不用，导致舆论生态、媒体格局、传播方式发生深刻变化，新闻舆论工作面临新的挑战。”其中，全息媒体指充分利用多维成像、物联网、大数据等技术，通过图文、视频、游戏等多元立体的呈现方式，大幅提高仿真程度，使媒体展现的拟态环境高度还原真实环境。而元宇宙作为一个创新型、融合型、虚拟型的传播生态体系，是全息媒体的一个重要实现手段。随着VR（虚拟现实）/AR（增强现实）、云计算、芯片、5G和人工智能等技术的高速发展，虚拟空间作为完全模拟现实空间的想象成为可能，元宇宙也被赋予了丰富的内涵和形态，作为一种新颖的泛在化的媒介集成体，实现了人与虚拟、人与人、人与世界的多元融合，给新闻媒体发展带来了一次新的技术变革。

人民日报社认真贯彻落实习近平总书记重要指示精神，以报社国传技术支撑体系项目为抓手，从元宇宙的虚实融合和数智化这两大核心内涵着手，打造人民日报智能XR（拓展现实）演播室和数智人2D真人视频制作平台，在虚拟现实技术领域进行探索实践，应用在报、刊、网、端、微、屏等全媒体矩阵中，助力视频制作提质增效，进一步提升传播效果和舆论引导能力。

虚拟现实技术在媒体行业的应用现状

元宇宙技术正重塑传媒行业的模式和形态，表现为沉浸式传媒产品兴起、技术赋能延展产业边界、加深媒体的社交属性等。作为元宇宙领域最典型的两类产品：虚拟演播室和数字人，在媒体领域得到广泛应用。

虚拟演播室使得原本需要赶赴现场的记者可以足不出户地“置身”现场进行新闻报道，既能大大提高新闻报道的时效性，又能迅速实现不同地区、不同场地的背景切换。同时，这一技术使受众在收看新闻报道时仿佛跟随记者身临其境，无论是观看各种重大会议的报道，还是欣赏旖旎的自然风光，都能带给受众最直观的沉浸式体验。

数字人作为一个内容和技术深度融合的产品，通过引入XR、绿幕合成、动捕、面捕及AI（人工智能）、3D复现等技术，将进一步推动媒体行业内容制作的革新。凭借技术门槛较低、沉浸式互动感较强的特性，数字人现已广泛应用于媒体行业的新闻传播。根据新闻传播效果分析的经验，视频的传播效果优于图片，图文的传播效果优于单纯的文字。由数字人作为虚拟主持人制作的视频产品，既能进一步保证新闻报道的时效性、准确性，又能为观众带来沉浸式互动体验，在新闻报道便捷高效的同时为传播效果提供有力保障。

建设智能演播室

在媒体行业中，新闻演播厅是常见的资讯内容传播载体。传统的实体演播厅通常需要花费大量资金和时间才能建设完成，而且在新闻内容不断更新的同时，实体演播厅的场景调节能力有限，主持人与观众的内容交互传达也受限。虚拟演播室的出现有效解决了传统实体演播厅的困境。

通过将计算机生成的虚拟背景与新闻主持人进行实时合成，虚拟演播室使新闻主持人在任何场景下进行新闻报道成为可能，并且可以迅速地任意切换演播室场景。

诸如MR（混合现实）演播室、XR演播室等虚拟演播室的搭建，通常需要造价昂贵的多种专业设备和大面积的真实场地，但建设完成后不仅硬件操作要求高、配置繁琐，而且难以满足外景、多地同时录制等轻量级、可迁移场景的需求。从技术角度看，现有的摄像机跟踪定位技术在跟踪精度和稳定性方面具有多种不确定因素，抠像处理技术对于主体边缘和高光阴影区域处理效果欠佳，动作捕捉技术仍需优化，虚拟制作技术对人工成本和资金投入均要求较高。

人民日报社打造的智能XR演播室不同于通常意义上实地搭建的XR演播室，而是通过XR虚实混合技术，仅基于图像方案，就能实现虚实融合，既降低了拍摄的硬件成本，又降低了人员的使用门槛，助力媒体传播的多维信息呈现。在智能XR演播室中，系统软件利用虚拟摄像机和虚拟稳定器搭建起虚拟演播室，与绿幕前的主持人实时合成，实现新闻报道的直播或录制，进一步提升和改善新闻传播效率和传播质量。

XR演播室。

人民日报社智能XR演播室具有以下核心亮点：

一是低成本拍摄。使用智能XR演播室拍摄时仅需相机和灯光设备，即可将新闻主持人合成到虚拟演播室背景当中，同时支持自动运镜、跟踪等多种功能，省去了场地、其他专业设备和电子硬件的成本。

二是高精度效果。智能XR演播室通过算法升级实现高质量的实时绿幕抠图，得到的人像色彩、边缘处理等均达到了较高的水平，可以满足高质量视频制作和直播要求。

三是无硬件依赖。智能XR演播室能够做到无绿幕下的虚实融合，同时支持自动运镜、跟踪等多种功能，不需要额外的硬件设备支持，接入视频流即可使用。

四是普适性好。无论是专业电影机等专业设备，还是记者日常使用的手机设备，智能XR演播室均能很好适配，具备良好的普适性。

五是可用于各类视频制作。智能XR演播室具备渲染出2D、VR360等各类视频的能力，且制作方便、质量较高，既能实现传统视频的制作，也能完成VR视频的制作。

打造数智人视频制作平台

数字人技术主要通过动作捕捉、二维或三维建模、语音合成等构建拟人的虚拟数字形象，高度还原真实人类。数字人发展至今，已能够实现从外形到动作、表情均十分逼近真人的呈现效果，数字人不仅能够做到动作、声音、唇形实时同步，而且可以向观众表达情感、与观众自然流畅沟通和交流，为收看新闻报道的观众带来全新的感官体验。

与传统的真人报道相比，采用数字人进行新闻报道可以提高效率、降低成本，同时由于其受人为情绪和自然条件影响小，故而能够更大程度地减少新闻报道中的差错。

目前，市场上广泛应用的数字人大体上可分为2D真人数字人、2D卡通数字人、3D写实数字人、3D半写实数字人和3D卡通数字人五种。其中3D数字人普遍存在建设成本高、制作周期长的缺点，难以满足新闻报道时效性的要求；而在新闻报道的大多数场景下，传播信息的媒体方和接收信息的受众方均对专业性有较高要求，相比卡通形象而言，真人形象适用场景更为广泛。综合考量各方面因素，人民日报社选择2D真人数字人形象，以自研垂直领域大模型赋能，构建具备生成式人工智能能力的数智人，打造人民日报数智人2D真人视频制作产品。

人民日报数智人2D真人视频制作，在语音合成、文本及语音驱动方面采用端到端语音合成模型，使得数智人具有与真人近似的音质水平和语言表达、交互能力；在数智人及场景渲染方面采用实时渲染技术，并且对皮肤、眼睛、毛发、服装材质、光照模型等细节进行针对性优化，在保证制作效率的同时使得生成的数智人形象更加精美；在多模态交互方面，通过人脸检测和追踪技术，使数智人可以精确感知到视野内有潜在交互需求的观众，并且同时追踪多个移动对象，通过手势识别技术，使数智人在交互过程中能够感知观众的手势表达，具备更为智能的交互能力。

根据人民日报社真人记者制作的虚拟数字主持人。

人民日报数智人2D真人视频制作具有以下核心亮点：

一是形象效果佳。2D真人数智人形象拟人度极高，动作涵盖幅度大、过渡变化流畅，且面部表情自然，渲染效果逼真，同时具备多语种能力，能够满足全媒体传播多方面需求。

二是技术能力强。2D真人数智人首帧延迟短，交互延迟低，播报性能快，能够为观众提供自然顺畅的交互体验，助力新闻传播效果有效提升。

三是接待性能优。数智人2D真人视频制作对GPU（图形处理器）需求不高，能够在节约成本的同时为覆盖更多新闻报道场景提供有力保障。

结  语

虽然元宇宙领域仍然处于探索阶段，但技术的演变已开启全新的数字化时代，尤其是AIGC（生成式人工智能）的创新应用更是标志着强人工智能时代的开启。随着元宇宙相关关键技术的突破、整个社会数字基础设施的完善，尤其是新型算力基础设施开始布局和高性能通信网络的普及覆盖，元宇宙的建设脚步将逐渐加快。

党的十八大以来，人民日报社扎实推进媒体深度融合，现已发展成为拥有报、刊、网、端、微、屏等10多种载体，综合覆盖用户超过13亿人次的新型主流媒体。有了智能XR演播室和数智人2D真人视频制作平台的助力，将更好地为视频新闻作品制作提质增效，并以良好的沉浸式交互体验提升传播效果。

例如，在无处不屏、无屏不宣的人民日报电子阅报栏上，通过直接投放沉浸式新闻报道作品，可吸引更多人关注党报的重要报道，充分发挥人民日报对“扩大三个覆盖面、发挥三个作用”的引领效果，进一步提升人民日报传播能力，提高主流媒体舆论影响力。

未来，人民日报社将继续强化互联网思维，充分运用AIGC、5G、大数据、物联网、人工智能等新技术新产品，坚持内容创新和技术创新双轮驱动、双管齐下，让技术创新成为传播效果升级的新引擎。

（作者刘星宏系人民日报社技术部融合保障处副处长，许阳系该部工程师，郝冠南系该部融合保障处处长）

责任编辑：王  月

本文刊发于《新闻战线》2023年10月（下）。