我国文化科技创新及应用趋势
The following article is from 企业改革与发展 Author 陈孟 等
陈孟 腾讯研究院数字内容研究中心高级研究员
2012年，科技部会同中宣部、财政部、文化部、广电总局、新闻出版总署发布《国家文化科技创新工程纲要》，开启了探索文化和科技融合路径的新篇章。2022年，实施国家文化数字化战略写入党的二十大报告。在政策指引下，文化科技已成为“十四五”时期文化产业创新发展的动力引擎，文化产业也成为文化科技重要的“孵化器”与“试炼场”。如今，文化科技的应用整体呈现虚实共生、视听多维、商业创新、跨界应用四大趋势。
一、虚实共生
1、生成式AI 为AIGC 注入新动能，变革大众内容生产与交互范式
AIGC（AI-generated Content）即“人工智能生成内容”，是区别于UGC、PGC 等互联网上人类生产内容的全新内容生产方式，代表着AI 技术向创造力的跃迁。生成式AI 是驱动AIGC 发展应用的技术引擎，随着生成式AI（Generative AI）技术的快速发展创新，AIGC 技术的通用化能力和工业化水平快速提升，并将给文化内容的生产与交互方式带来深远影响。
游戏设计师杰森·艾伦使用Midjourney模型生成的《太空歌剧院》是首个获奖的AI生成艺术
一是生成算法模型在性能、稳定性等方面实现突破， 极大提升了AI 生成内容的质量、类型的丰富性。同时， 多模态技术让不同类型的数据可以相互转化和生成，进一步提升了 AIGC 内容的多样性，文字转图像、文字转视频、静态图片转3D 动态场景、3D 内容创建等应用类型不断涌现。
二是拥有巨量参数（目前已超万亿）的预训练大模型具有更强的通用性，引发了AIGC 技术能力的质变。同一个模型可以完成多种多样的内容生产和交互任务，而无须针对每个任务分别训练模型。AI 大模型的发展显著提升了AI 的工业化能力，足以支持构建自动化内容生产的“工厂”和“流水线”，给大众内容生产“提质增效”。
借助AIGC 可以实现高效率、高质量的自动化内容生产，将给文化内容产业带来多重创新与变革。首先， AIGC 应用为文化艺术创作提供了创意辅助工具，并有望拓展文化创作的叙事空间。其次，AIGC 应用将影响文化艺术创作的工作流程，有望大力提升文化生产力。此外， AIGC 应用将降低文化艺术创作门槛，或将促使文化生产与消费进一步“大众化”。
2、数字孪生技术应用于国际赛事制播，“虚拟预演”提升创作效能
数字孪生主要涉及数字支撑、孪生构建、人机交互三大类技术。近年来，伴随3D 建模、物理仿真、影像技术、实时渲染等单点技术的突破及交叉融合，孪生构建技术实现快速发展。各类文体场景的孪生体正在加快构建中，成为助推文化创意落地的基础设施。
一是实现文旅景区、文体场馆等空间的可视化、智能化监测，保障文化活动的安全管理与顺畅运行。通过虚拟仿真技术搭建文化遗产、景区、体育馆等场景的“副本”， 既能够支持观众进行虚拟游览，也能对场景进行可视化、实时动态的监测与管理。
二是支持文化创意在仿真场景中进行预演，推动演出、赛事等内容的制播更加高效、精准。传统节目制作中，为了给观众呈现最佳视角，往往需要在平面图纸上先行设计拍摄机位与方案，再到实际场地进行反复勘查与试验。而数字孪生技术则能够在三维空间内搭建完全仿真的场景外观，能帮助媒体“足不出户”地完成拍摄方案设计。
未来，数字孪生技术有望被应用于更多文化活动的组织与创作环节，以“身临其境”的远程方式减少创意演练的人力、物力成本，对文化产业产生更为广泛的影响。
3、虚拟制作技术应用提速，引领视听节目制作技术体系升级
当前虚拟制作技术有多个细分应用方向，具有代表性的技术方向包括VP（Virtual Production，虚拟制片） 与XR（Extended Reality，扩展现实）等。影视制作中， 相比传统的绿幕制作，虚拟制作在制作效率、沉浸感、灵活性等方面具备明显优势。
传统的绿幕制作主要采用“绿幕+ 色键抠像+ 虚拟包装系统”实现，制作特效是在绿幕前拍摄好再进行后期合成，无法实时看到合成效果，真实感、沉浸感往往受影响，同时迭代成本高昂；虚拟制作采用实时渲染技术将照片级别的动态数字场景，在LED 显示屏上还原，并搭建拍摄场景，运用摄影机追踪系统定位空间、位置信息，实时映射人物与场景的空间关系，不仅能让演员沉浸其中， 还避免了耗时的合成制作渲染阶段，提高内容制作的效率。
随着虚拟制作硬件成本下降、技术成熟，虚拟制作在国内的应用提速，尤其在综艺、晚会等领域实现了广泛的应用。同时，国产化团队和技术的出现，为国内虚拟制作技术的自主可控奠定了基础。虚拟制作技术的商业化与应用提速，引发了视听节目制作技术体系的变革。
河南卫视借助虚拟制作技术制作出《唐宫夜宴》等作品，实现传统文化创造性表达
一方面，虚拟制作技术拓展了现实舞台场景，丰富了视听节目的表达空间。虚拟制作被越来越多地应用于电视和网络节目制作中，呈现出多样化的视听设计。2022 年， 河南卫视“奇妙游”系列节目通过“5G+XR”技术实现舞台与虚拟场景特效的结合，将河南历史文化中最耀眼的元素与精彩的歌舞、戏曲、武术等艺术表演结合起来。另一方面，虚拟制作技术增强了实时交互体验，塑造了“虚拟化在场+ 实时互动”的内容直播效果。
可以预见，伴随技术与应用的不断成熟，虚拟制作将成为数字文化产业的重要生产工具，推动内容制作流程和效率全面升级，让影视与节目内容的制作不再局限于有限场域，真正打造出“科幻级”的视听体验与感官想象。
二、多维视听
1、数字人集成多维媒介要素，社会服务场景广泛拓展
伴随数字人生产效能的提升，高保真数字人、超写实数字人、AI 数字人在多方向的应用进一步成熟，为行业效率提升、服务升级提供人性化的工具，引发了数字人社会应用的新爆发。
近年来，计算机图形学、图形渲染、动作捕捉、深度学习、语音合成等技术不断融合发展，共同推动数字人的创作进入了更加成熟高效的阶段，极大地提高了数字人的制作效能。
一是数字人生产管线进一步完善成熟，制作效率不断加快。从早期由画师、建模师一笔笔、一帧帧地画出人物，到现在可以借助光场技术快速形成高精度模型；二是从游戏产业孵化出的工具化产品加快数字人的制作流程。
一方面，高保真数字人、超写实数字人提升了信息交互的沉浸感，为新闻报道、直播、综艺等领域提供了创新业务形态的突破口。
数字人作为语音、3D 视频等多种媒介要素的集大成者，能够提升内容的创意性、交互性、沉浸感。
另一方面，AI 驱动的数字人能够在各类场景提供接近真人的服务，成为传媒、文旅、金融等行业数字化转型的“加速器”。
数字人整合语音交互、自然语言理解、图像识别等AI 能力，成为“数字员工”，进入传媒、文旅、金融、电子商务等领域，承担资讯播报、文旅导览、坐席客服等多元角色。例如，腾讯技术团队打造的央视频AI 手语主播“聆语”参与国际冰雪赛事，首次实现了AI 手语解说赛事直播，可以用手语表达超过160 万个词汇和短语。在企业服务领域，结合行业知识图谱，数字人能够通过不断的自学习、自适应提升服务能力，助力企业数字化转型升级，越来越多的“数字员工”开始走进千行百业。
2、3D 数字建模助力传统文化“数字永生”
随着扫描建模技术、引擎渲染技术、PCG（Procedural Content Generation，程序化内容生成）等技术的进步， 文化遗产的3D 还原走向更加精细、逼真，具有沉浸感， 开辟了传统文化“数字永生”的新路径，也进一步拉近了大众与文化遗产之间的距离。
故宫和腾讯联合主办的“纹”以载道——故宫腾讯沉浸式数字体验展，让文物实现22 倍高清放大，同时打破物理空间限制，将故宫文物展览“搬运”到距离故宫博物院两千余公里外的广东深圳，实现了“文化+ 科技”的创新融合发展。
目前通过3D 建模助力文化遗产数字化的方式，主要归为两种。
一是将现实世界中的文化遗产，通过激光或者照扫的方式，制作为数字模型。比如，3A 级游戏常使用的照相建模（photogrammetry）技术，通过激光扫描文化遗产实际形状、单反拍摄照片（贴图）、无人机拍摄大致地形等方法，能够实现对文化遗产的精准摄影测量，以保证实现实物级别的3D 逼真还原。目前在对精妙珍稀的小型文物进行数字化扫描时，通常使用16K 高精度照扫模型制作。16K 代表贴图分辨率，数值越高，照扫出来的模型精度就越细腻。
二是在3D 建模软件中建构模型，让已经消失的文化遗产在数字世界中“复生”。借助三维内容制作软件打造数字场景，同时可以通过PCG（程序化内容生成）工具， 利用算法来自动生成相应的内容。在底层技术支持上，目前3D 建模有WebGL（Web Graphics Library）和游戏引擎两种展示方式。前者被集成到主流浏览器中，让2D 和3D 模型在网页中进行很好的展示，完成轻量化的模型展示效果，但性能会受到很大的限制；而通过游戏引擎， 可以实现视觉呈现质量好、性能高，同时实景互动、沉浸感强的展示效果，让用户以更具沉浸感的方式体验文化遗产的魅力。
3、超高清视频与社交推荐技术激活云演艺新场景
演唱会作为演艺行业线上转型的“排头兵”，在“云模式”下重新构建了演唱会内容的供给与分发方式，探索出相对成熟的市场模式。其中，“超高清视频技术+ 社交推荐技术”的结合，还原了线下演出的沉浸感、实时性、社交性三大优势，打通了线上演唱会高质量供给、高效率分发的路径，也引发了演出市场的现象级热点。
一方面，超高清视频技术的成熟，保障了线上演唱会的高质量内容供给，同时，智能超高清视频修复技术进一步丰富了超高清内容的供给。在超高清内容生产端，长期存在着超高清内容制作、经典老片及视频转高清的成本高、效率低等痛点，通过AI 视频修复技术，能够使大量画质欠佳的经典文化作品“经典重生”。
另一方面，直播技术与社交推荐技术的结合，提升了演唱会的线上分发效率，进一步还原线下演出的实时性、社交性等优势。直播能通过实时的表演赋予受众 “参与感” 和“共享感”，而要形成广泛的影响力，往往还需要连接社交场景、具备“社交货币”的功能。近年来，云演艺在微信视频号等具有社交属性的短视频平台落地，为用户搭建了基于观看演出进行共享交流的桥梁，有效激活了演唱会的市场热度。
三、商业创新
1、区块链技术助力数字藏品市场在探索中发展
区块链技术在文化产业实现多元应用，助力数字版权保护领域提高确权效率、降低维权成本的同时，也推动了国内数字藏品市场兴起。区块链技术能够使文化资源可以确权成为区块链上独一无二的数字资产，即数字藏品，得以兼具文化价值、收藏价值。
国内数字藏品市场的快速发展也为文化业态重塑、文化产品创新带来深远影响。
一方面，数字藏品为传统行业创造了低成本的营销路径，成为传统行业探索数字化转型的新抓手。数字藏品为文化艺术作品创造了新的市场空间，和线下实体经济实现了紧密连接，使传统企业能够以便捷、低成本的方式连接消费者与数字世界。
另一方面，数字藏品使文化资源以数字化的形式释放新价值，助力传统文化资源实现创造性转化。基于数字藏品题材的包容性，文化遗产、音乐、影视、画作、表情包等各类文化创意资源都可以转化为数字藏品，以更年轻潮流的方式传递文化价值。同时，数字藏品能够打破时空局限，让文化艺术的观赏和收藏进一步走向大众化，推动大众对传统文化形成更多的关注与理解。
2022年3月舞剧《只此青绿》推出数字藏品，受到广泛欢迎
数字藏品在文化科技深度融合的背景下兴起，对推广传统文化起到了积极作用，同时也在政策的引导下呈现“脱虚向实”的趋势，与传统文化企业、实体经济实现广泛的结合。随着全球数字化进程加快，数字藏品将在规范有序的发展路径下，进一步构建连接文化与消费、数字与实体的新桥梁。
2、视频广告智能生成技术变革视频广告生产能力
随着视频时代的到来，以独立视频广告、贴片视频广告和短视频原生广告等为代表的视频广告形式日益受到品牌方的青睐，引发了广告主对于视频广告创作诉求的激增。同时，伴随互联网广告系统的逐步进化，AI 技术和视频广告生产的结合日益丰富，推动视频广告智能生成技术及其应用走向成熟。
首先，视频广告智能生成技术能够增强创作能力，极大地提升视频广告的生产效率。依托于多模态视频标签、视频时序解析、视频封面图生成等算法能力实现视频广告的智能生成，可以通过结构化视频广告叙事框架，让广告创作的生产效率得到指数级提升。
其次，视频广告智能生成技术能够自动生成配音、特效等元素，丰富视频广告的创意玩法。在AI 的助力下， 实时输入文本、音频、图片等元素，就能够生成含有配音或者特效的视频成片。
此外，视频广告智能生成技术还能助力广告提升质量、适配平台，降低广告的投放门槛与成本。通过AI 算法、人工运营的有机结合，能保障视频广告符合媒体端平台的投放要求，提升视频广告适配效率。
未来，视频广告智能生成技术方面将有更为广阔的想象空间。智能创作技术将会让广告的品牌效应和效果效益的鸿沟日益打破，通过智能分析影视、综艺、体育赛事直播等视频内容的场景，用更少时间，更精准地识别场景和融入广告，并实现品牌展示和商品购买的融合，让“所见即所得”，不断缩短广告转化的链路。
四、跨界应用
1、游戏引擎逐步成长为“新型工业软件”
游戏产业在硬件和软件突破的加持下，向实现更大规模、更流畅、更逼真的实时3D 体验进发，也推动游戏引擎实现了更广泛的跨界应用。游戏引擎正发展成为跨行业、跨场景应用的数字交互引擎，不仅能够支持游戏创意落地， 也能助力实体经济领域进行测试、演练，正在成为建筑设计、汽车制造、航空航天等实体领域的新型工业软件，为“超级数字场景”的构建提供底层技术支撑。
一方面，游戏引擎能支持文化创意活动，丰富沉浸式体验，并有望打造文化领域通用、开放的技术能力。另一方面，游戏引擎能跨界至工业制造等实体领域，打造测试、演练、交流的虚拟空间，实现“以数促实”。自动驾驶仿真系统中普遍使用游戏引擎构建逼真的城市路网场景， 50% 的建筑行业专业人士已尝试使用游戏引擎作为渲染平台。游戏引擎可以增强传统工业软件在3D 显示、智能交互等方面的能力，正在成为“新型工业软件”。例如， 南航翔翼与腾讯游戏深度合作，基于南航虚像显示技术和腾讯自研游戏引擎技术，共同打造了全新一代视景系统， 让民航飞行员实现更高效安全的飞行训练，使中国成为全球第三个能自主研发完整视景系统的国家。
南航和腾讯深度合作，基于南航自研虚像显示技术和腾讯自研游戏引擎技术共同打造的全动飞行模拟机视景系统，实现了我国民航关键技术突破
未来，各行各业的数字化转型将产生更多对实时3D 场景、沉浸式人机协作与交互的需求。游戏引擎有望在新型终端、云边协同等领域实现广泛应用，成为更多社会需求的创新解决方案，助力构建一个具有丰富价值与可能的“超级数字场景”。
2、实时音视频技术助力远程实时操控跑出“加速度”
音视频技术是社会信息交互、连接协作的底层技术， 应用已经从消费互联网走向产业互联网。随着实时音视频技术（Real-time Communication，RTC）在稳定性和流畅性方面实现提升，以RTC 技术为核心的远程实时操控类应用发展迅速，并广泛落地于生产作业、专业服务、大众消费体验等各类场景。
远程实时操控由于操作复杂、感知要素多样，对操纵流畅度、视频反馈及时性要求高，相比直播、会议等传统实时音视频场景，需要更低的网络传输的时延、更高的可靠性，是对RTC 技术的极致挑战。
近年来，5G 技术改善了网络带宽与网络时延，推动RTC 技术实现多项能力的升级：一是实现更低时延，使音视频端到端延时缩短至100 毫秒以内；二是强化安全可控，满足远程操控对安全性的高要求；三是抗弱网，在做到极致的低延时同时保留抗弱网的能力；四是全网络场景支持，面向公网场景、专网场景以及混合网络场景，能够自动找到最近的接入路由、降低端到端的时延。
技术的突破助力远程实时操控应用跑出“加速度”。当前在远程操控场景下，音视频技术可以跨界应用于多类场合。
第一类是生产作业类场景。在高危和环境恶劣的作业场景下，5G 和RTC 技术的结合，能够以远程操作的方式替代工作人员“在场作业”，实现少人化和安全作业。自动驾驶的远程介入、应急接管是其中的典型应用场景。通过远程实时操控，一个远端安全员能够同时看管多个无人设备，并应急处理自动驾驶发生的意外情况。
第二类是专业服务类场景。传统的实时音视频主要是支持人与人的线上交互，而远程操控为“线上人力向线下服务”带来了全新可能。在远程医疗领域，5G 和RTC 技术的结合能够支持实时影像的高清、流畅传输，让处于线上的医生如同“在场” 一般对病人进行检查、诊断与手术。
第三类是大众消费体验类场景。在5G 和RTC 技术的支持下，远程操控使“线上用户体验线下资源”成为可能。例如在“无人机云旅游”场景下，用户通过操控无人机，在家就可以自由观赏风景，获得旅游体验。
音视频技术将成为构建“全真互联”的核心技术之一。当前技术融合的速度明显加快，实时音视频技术和5G 、VR/AR 等技术的深度融合，使人与人、人与物、物与物实现更深层次、更逼真的连接，为社会协作、实时交互提供更加顺畅便捷的渠道，愈发成为打破时空局限、推动“在线”转向“在场”的桥梁。
（本文作者为：陈孟、曹建峰、易镁金、胡璇、童祁、王枢，作者单位：腾讯研究院）
（本文刊登于《企业改革与发展》杂志第7期。如需转载，请注明出处。文章仅代表作者观点，供诸君思考。）
推荐阅读
腾讯研究院：《附报告下载｜文化科技十大前沿应用趋势——数字文化迈向高质量发展：共生、革新与连接》