查看原文
其他

从赛场到屏幕,从大模型到大赛事,巴黎奥运的“模”力时刻

Shanghai AI Lab 上海人工智能实验室
2024-12-31

巴黎奥运会落下帷幕,中国体育代表团以40金27银24铜的成绩,创造了境外参加奥运会的最佳参赛纪录。赛场内外,来自中国的原创AI也为选手和观众带来了更具智慧感的竞技与观赛体验。


上海人工智能实验室(上海AI实验室)探索把通用模型泛化能力与专用模型纵深优势相结合,将“大模型”融入“大赛事”,呈现赛场精彩“模”力时刻。在体育训练侧,通过书生·浦动体育技战术实时分析大模型,为选手提供准确全面的技战术指标参考;在赛事呈现侧,以创新的AI媒体编创技术赋能“央视听媒体大模型”,助力中央广播电视总台提升效率,同时让观众透过屏幕,以更专业、更多角度体验精彩赛事。

从赛场到屏幕,从大模型到大赛事,巴黎奥运的“模”力时刻

洞悉技战术,知己知彼

作为国内首个AI体育技战术大模型,今年5月,书生·浦动在总台央视2024汤尤杯直播中首度亮相,实现了无需借助穿戴设备即可实时获取并分析出关键参数信息的突破,杜绝数据采集过程对运动员水平发挥的负面影响。
本届奥运期间,书生·浦动再次迎来升级:突破了单视频无法进行分析的技术壁垒,实现了仅基于单路电视PGM信号(最终播出信号)即可获取技战术指标的能力。无需于赛场额外架设多机位图像采集,有效提升了监测分析的实时性和效率。
通过构建场地三维模型和3D动作捕捉算法,书生·浦动为三人篮球国家队提供全程数据分析和策略优化支持。同时,伴随多模态技术与体育专家知识库的深度融合,书生·浦动还可自动生成分析解读短视频,为运动员及教练组提供参考建议。 
当地时间7月30日,巴黎奥运会女子三人篮球循环赛开启,加时阶段,中国球员王丽丽命中两分完成绝杀,中国三人女篮队以21:19战胜东道主法国队。
在中国女子三人篮球队的比赛现场,上海AI实验室联合团队运用书生·浦动体育技战术实时分析大模型监测球员数据指标,为教练组及队员提供详细的技战术建议。 
比赛现场,上海AI实验室联合团队运用书生·浦动监测球员数据指标。
在巴黎奥运会网球女子单打金牌赛中,中国选手郑钦文战胜克罗地亚选手夺得金牌,取得了中国网球运动的历史性成绩。书生·浦动直观呈现了郑钦文进攻的球速及角度,在防守反击中,郑钦文紧抓对手防守漏洞,展现了卓越的技战术能力。
AI战术分析:球速快调度强 看郑钦文如何赢得女单金牌。来源:央视频
通过单视频的空间虚拟测量和3D重建等技术,书生·浦动能够准确分析出网球、羽毛球比赛中的杀球过网速度、过网高度、吊球角度、球员位移、落点预测估计及压线质量等关键技战术参数指标。洞悉赛场,知己知彼。

动态切片,细节还原

助跑、起跳、翻腾、旋转、落地……在体操、跳水等技巧项目中,运动员展现出令人惊叹的身体协调能力与力量美感。动态时间切片技术(Dynamic Figure Out)的应用,将运动员“一气呵成”的动作逐帧还原,呈现关键细节,弥补电视观众“意犹未尽”的遗憾。
在体操女子资格赛中,书生·浦动清晰呈现中国体操选手罗欢的平衡木下木动作细节。

书生·浦动将核心能力与“央视听媒体大模型”相结合,在竞技体操、跳水等技巧类项目中,运用动态时间切片技术,灵活抓取每一帧动作画面。仅使用单路电视PGM信号,即能够在动态视频中完成切片及场景重建
大模型提供的图像分割和拼接能力,可与直播信号无缝连接,使“切片”不再受限于在现场布设多视角超高速相机,可大幅降低硬件部署成本,并提升转播制作效率。

当地时间8月5日,巴黎奥运会田径女子跳高决赛,世界纪录保持者乌克兰选手雅罗斯拉娃·马胡奇赫(Yaroslava Mahuchikh)以2米的成绩夺得冠军,澳大利亚选手尼古拉·麦克德莫特(McDERMOTT Nicola)以相同成绩(更多的挑战失败次数)摘银。书生·浦动以多视角呈现尼古拉跳高全过程。


智能缩编,精彩呈现

将赛事中最激动人心、最具观赏性的瞬间剪辑为精彩集锦,是体育赛事传播的常用形式。通过集锦,观众可以再短时间内感受比赛的高潮阶段,满足公众对体育新闻的需求。同时,比赛精彩集锦还可为运动员和教练员服务,回顾自身表现,分析对手的策略,从而进行针对性的训练和提升。
当地时间8月4日,巴黎奥运会乒乓球男单决赛现场,中国选手樊振东战胜瑞典选手莫雷高德摘得金牌。得益于智能缩编技术,比赛结束后不久,观众即观赏到了樊振东的5局精彩瞬间。
精彩缩编集锦:樊振东夺得乒乓球男单冠军,成就“大满贯”。
AI既是场记,也是剪辑师。上海AI实验室推出的体育智能缩编系统,可准确定位运动员的每个得分瞬间及相关慢动作,快速呈现关键帧事件。基于书生通用大模型体系,以视频大模型为核心,智能缩编系统可实时分析赛场信号流智能缩编系统可实时分析赛场信号流,描述每个画面内容,综合赛况进行分析,定位精彩瞬间的起始和结束时间点,并担任AI场记实时记录赛事直播情况。
通过该系统,超过1小时的比赛直播,在结束后数分钟内,即可缩编为2至3分钟的精彩瞬间集锦视频,显著提升体育节目编创效率。
为保证观赏性及故事性,智能缩编过程还可自动融入“教练指导”“观众席欢呼”等场外画面,更符合人类剪辑习惯,为观众带来更多情感共鸣。
在7月27日的女子双人3米跳板跳水决赛中,大模型准确定位每个跳水片段,以及每段跳水在不同镜头下的慢动作,记录每帧画面的关键事件,同时在缩编过程中综合考虑了内容的观赏性和故事性。

体育、艺术与科技的交相辉映

AIGC技术也为本届奥运的赛事传播工作增添色彩。基于原创的视觉内容生产技术,央视听媒体大模型支持了中央广播电视总台生成奖牌榜等播出内容的制作,在助力提升媒体编创效率的同时,也为观众带来了更具趣味性的观赛体验。

通过央视听媒体大模型生成奖牌榜,大幅提升效率。上图为CGTN World Today 8月12日播出画面。

将巴黎奥运会开幕式神秘女骑手转绘为本届奥运会官方“庆典版”(Celebration Edition)海报的风格。

通过AIGC技术,可将比赛画面转绘为中世纪剑士决斗风格。转绘原型为7月28日中国香港选手江旻憓在女子个人重剑金牌赛中战胜法国选手的比赛画面。

修改于
继续滑动看下一个
上海人工智能实验室
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存