查看原文
其他

PaddleSports:“AI+体育”端到端开发套件及落地实践

飞桨 百度AI 2023-03-16


本系列根据WAVE SUMMIT+2022深度学习开发者峰会「开源开放 生态共建」论坛嘉宾分享整理。本文整理自「开源开放 生态共建」百度研究院的资深研究员卢飞翔的主题演讲——PaddleSports:“AI+体育”端到端开发套件及落地实践。


百度3D+AI智慧体育团队针对数据、算法、产品三方面开展工作,基于飞桨框架,面向体育场景打造端到端开发套件PaddleSports,实现AI技术与体育行业的深度融合。


 01 

 百度智慧体育的发展背景及概览 


在新发展阶段,AI技术正驱动着体育实体经济高质量发展。通过以AI技术为箭,自主创新为弦,体育行业为靶,最终实现竞技体育实力提升,全民健身有效落实,体育制造业转型升级,体育服务业提质增效。



下图所示,百度3D+AI智慧体育团队主要从事以下三个方面的工作。
  • 赛事IP数字化。主要以赛事直播、内容生产、体育元宇宙,实现数字化服务。
  • 智慧场馆2.0。主要将AI技术应用在具体场景中,比如足球、篮球、乒乓球等,最终实现AI导览、AI驻训、AI传播、AI互动等。
  • 百度智能云智慧体育产业生态圈。通过数据采集和知识沉淀,实现产业升级和价值创造,主要包括科学训练、赛事传播、粉丝互动、智慧场馆。



 02 

 PaddleSports相关简介 


如下图所示,PaddleSports是飞桨面向体育场景的端到端开发套件,实现AI技术与体育行业的深度融合,打造“AI+Sports”的标杆案例集。



首先,PaddleSports提供了标注、分割、追踪等功能,实现对海量视频数据的快速处理与高质量标注,再通过飞桨产业级模型库中的模型对标注好的数据进行训练,最后将训练后的结果应用在多场景中,比如足球、乒乓球、花样滑冰等。


PaddleSports采用5W1H产品架构,即从When(时间)、Where(空间)、Who(人物)、What(内容)、Why(探索)、How(执行)六个维度对体育场景所需要的AI技术进行梳理。基于此,PaddleSports能够进行算法模型的整理与开发。同时,能够给客户提供具体软件工具,比如视频拆条、3D姿态等,然后在多场景中进行应用,比如足球、篮球、排球等。



PaddleSports架构设计分为开源工具和产品与解决方案两部分。
  • 开源工具:PaddleSports通过开源开放和共享深度学习模型,促进体育生态发展,吸引更多用户从事体育科研。
  • 产品与解决方案:PaddleSports面向多个客户提供定制化产品,包括国家队、体育总局、科研高校、央视等,具体提供的智能应用产品包括赛事分析、辅助训练、智能剪辑、智能创作等。 



 03 

 PaddleSports主要应用


应用1:科学训练,助力跳水梦之队勇夺金牌


百度为中国跳水队打造了一套“3D+AI”跳水训练系统,具有看得清、看得准、看得全、看得懂四大核心亮点。目前,PaddleSports已累计采集分析了9万多条训练视频,队伍日均使用180多分钟,队伍反馈训练效率提升显著。



今年,百度对该跳水训练系统进行了三方面升级。
  • 百度为队伍提供跳水运动智能一体机,实现电视转播级别跟拍效果。
  • 百度对算法工具集进行了升级,使3D姿态估计算法在V100显卡上的推理速度达到400FPS。
  • 百度为跳水队打造了首个跳水冠军模型解决方案,把专家经验知识与大数据分析进行融合,提高运动成绩,预防运动损伤,助力青训选才,探索冠军运动员的培养模式与训练方式。



■ 应用2:助力央视总台北京冬奥会、卡塔尔世界杯节目制作


在冬奥会期间,百度助力央视总台《奥秘无穷》和《荣誉殿堂》两档节目,通过3D+AI技术,对当天或者前一天的比赛进行复盘与技术分析。


下面展示了在自由式滑雪大跳台项目中的同场竞技技术,通过3D还原与虚拟叠加,把单人比赛变成多人同场竞技,冠亚军对比一目了然。



下面展示的是时空定格技术,将奥运冠军的连续动作定格到3D空间,实现360度观看。



下面展示的是结合XR的应用技术,克服了场地、空间、视角的限制,有效增强节目的丰富度。



在卡塔尔世界杯期间,百度助力央视总台《足球盛宴》节目,主要提供3D虚拟还原、量化分析和数字化图片,主要呈现高度、速度、角度等指标,带给观众全新的观赛视角,更好地欣赏比赛的精彩瞬间。



■ 应用3:体育直播,普惠大众比赛的赛事传播诉求


在体育直播领域,百度开发了普惠大众比赛的赛事转播方案。相比于普通转播方案,比如转播车,成本可降低10倍以上,效率可提升200%。同时采用AI无人值守方式提供7×24小时无人直播。



面向长尾赛事(青少年、大众赛事)市场,构建AI摄像机和云导播台智能赛事转播方案,自动进行画面的推、拉、摇、移,实现人球跟踪直播效果。这种直播方案的特色,是无需专业导播和昂贵的转播车,即可让大众体育赛事能够以微小成本,以无人值守的形式,开启一场专业级赛事转播。



 04 

 AI助力体育,创新价值创造闭环范式 


目前,“AI+体育”得益于PaddleSports AI技术工具集和百度智能云体育产业生态圈,通过在科学训练、赛事传播、技术分析、互动体验等方面的相关技术以及产品,进一步推动竞技体育发展,提高健康水平,发展体育经济,发扬体育文化。



最后,百度非常感谢PaddleSports的合作者以及客户,通过开源共享AI技术,用中国技术助力中国体育事业,助力体育强国、健康中国的伟大目标。




您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存