想怎么看，你说了算！北大“黑科技”来了！
The following article is from 北京大学 Author 北京大学
关键词：科技冬奥
编者按
想怎么看，你说了算！类似2022年北京冬奥会这样的体育赛事，因为一项科技突破，你可以自己做自己的导播，选择你最想看的视角。即使身在家中，也能通过设备听到、看到场馆内的实时情况，身临其境地享受一台独属你的赛事转播。
近日，小北在北京大学前沿计算研究中心，亲身体验了“人在北大、身处国家馆”的神奇。今天让我们一起走进这项技术，解读它的与众不同！
这项技术来自国家重点研发计划“科技冬奥”重点专项“冰雪项目交互式多维度观赛体验技术与系统”。由北京大学牵头，国家实验室、企业和其他高校参与合作研发。
这一次，北大要向世界展示中国的新视频科技，将5G、VR等技术送入寻常百姓家。
5G技术带来交互体验
“奥运会也是各国展现技术的赛场，每届奥运赛事转播都体现技术发展的里程碑”，在北京大学教授、冰雪项目交互式多维度观赛体验技术与系统项目负责人陈宝权看来，这场北京冬奥会的意义在于自主研发实现引领国际的“交互式自由视点”（交互VR）转播技术。
转播分辨率从2K到4K，再提高到2021年春晚的8K试播，每一步升级换代背后都是视频编解码技术突破与标准成熟落地的体现。8K与5G技术相结合，无疑是构建了一条视频传输的高速公路。而交互式自由视点转播，如同“在5G高速公路上进行‘花式’飙车”，与传统单视点转播相比，在数据容量上是数倍甚至数量级的提高，给观众带来全新的体验。
项目组在国家体育馆内安装了42个相机的阵列，按U型线环绕比赛场地分布，并在8K分辨率下进行多媒体编解码和通过5G、广电网和互联网的全链路传输。
2021年春晚，由北京大学牵头产学研用数十家单位合作研发的8K技术高清试播，让中国视野的清晰度逼近世界64倍；北京冬奥会的8K技术再次升级，实现用户交互式、连续自由视点视频生成与传输，让观众不仅看得更清晰，更能看得更真实，提供身临其境而又“超人”般的观感体验。
计算出的无缝视点
冰球比赛行进速度快、对抗激烈，传统转播只能依靠导播切换镜头带给观众观赛体验，而“交互VR”的应用，让观众只需手持一部5G手机点开应用软件，或是穿戴VR头盔等设备，即可自主选择观赛角度，让进球轨迹就像电影“黑客帝国”中的子弹时间特效，带给观众强烈的视觉冲击。
冬奥测试赛自由视点
从场馆图像数据采集到观众在任意地点实时观看，一个端到端的解决方案清晰可见，这正是整个项目的难点和亮点。
现场图像拍摄后送往云端，场馆与比赛信息被三维重建和新的视点生成，再通过编码与解码提供给观众“自由视点”观看体验。由于场馆内部限制，42台摄像机稀疏地分布在210米的轨道上，每台摄像机间距5米，这就需要更加智能的算法补充中间视点画面，实现全场域的无缝自由视点。
项目组为其配置了一个“聪明大脑”——首先，通过三维重建让新视点的合成变得可能；然后，自适应编码与传输技术，根据用户视点改变的意图来预测下一步趋势，进行有针对性的计算与数据传送。“通过实时预测，避免了简单粗暴式的计算与数据传输，也保证了8K数据的高效供给用在流畅观看这个刚性需求的‘刀刃’上。”陈宝权教授说。
VR冬奥赛事孪生推演与视听语言创意设计
通过这项技术，项目组将电视导播的转播选择权转交到观众手中。但同时也出现了新的问题，大多数观众并不具有丰富的转播经验，不一定能够自主寻找到最佳的观赛视角而错过精彩瞬间。为此，项目组还进行了大量的竞技赛事研究，根据赛事的发展情况对场景进行分析预判，智能化地提供视点轨迹设计，为观众做好“镜头规划”，以新的镜头语言配适新转播技术。“数字孪生推演系统就像比赛现场的导演一样”，陈宝权教授表示，针对不同比赛场景在系统内设置不同的镜头规划，向观众展示比赛的精彩瞬间。
数字孪生系统演示
冬奥改变生活
据陈宝权教授介绍，“冰雪项目交互式多维度观赛体验技术与系统”分为四个课题，总项目由北京大学牵头，阿里优酷、北京航空航天大学、清华大学参与视频内容制作；深圳鹏城实验室负责视频编解码与传输的技术与标准，以及创维集团负责超短焦高清VR头盔攻关，联通公司提供5G技术，歌华公司提供有线技术；协作单位还包括中央广播电视总台、河北广电等。
高校与企业产学研的深度融合，让新技术有机会进入寻常百姓家。5G时代下，观众对视频观看的需求正在从“看得清”向“看得真”转变，实现超高清和沉浸式虚拟现实的观看要求势在必行。
成本高、受众少、企业推广难，5G和VR技术的推广一直难以“打通最后一公里”。在北京冬奥的契机下，新技术推广有了方向和动力。“无特殊的装备，也无专用带宽，5G手机配合5G网络，用户就可以实现高质量的交互式观赛，使交互式VR技术直通到寻常百姓的手中。” 陈宝权教授介绍说。像网络游戏一样，运动员在行进中，头顶可以显示姓名等个人基本信息，观赛角度实现全视域选择……来自优酷阿里的课题负责人盛骁杰对未来更多的用户体验提供了畅想。新技术下的转播可以实现高效的内容生成，给予观众交互参与的机会，也打通了技术下沉的中梗阻。
项目组人员现场测试VR直播观赛
每一次国际大型赛事中，各国都倾尽心力，应用新技术成果，展示新科技亮点，让科技成为赛事最安心的保障和最耀眼的底色。
北京冬奥组委与国家科技部联合，在推进科技创新和赛事深度融合方面进行积极探索。北京大学不负使命牵头攻关，“冰雪项目交互式多维度观赛体验技术与系统”甫一亮相测试活动就惊艳各界，端到端的全链条实战检验大获成功。
乘着科技冬奥的东风，陈宝权教授还将带领团队，与各界项目组协作，在一次次测试中更多技术突破，期待为这场盛会增添来自北大的一抹亮色。
来源 | 北京大学官微
图片、视频 | “冰雪项目交互式多维度观赛体验技术与系统”项目组、央视频、北京广播电视台
编辑 | 王艺遥
排版 | 白雨琪
责编 | 昭花花、王嗖嗖
— 版权声明 —
本微信公众号所有内容，由北京大学前沿计算研究中心微信自身创作、收集的文字、图片和音视频资料，版权属北京大学前沿计算研究中心微信所有；从公开渠道收集、整理及授权转载的文字、图片和音视频资料，版权属原作者。本公众号内容原作者如不愿意在本号刊登内容，请及时通知本号，予以删除。