GTC23 | 作为支撑文心一言的深度学习平台,百度飞桨将在GTC带来哪些精彩分享?
3月16日,百度在北京总部召开新闻发布会,主题围绕新一代大语言模型、生成式 AI 产品文心一言。百度创始人、董事长兼首席执行官李彦宏及百度首席技术官王海峰出席,并展示了文心一言在文学创作、商业文案创作、数理推算、中文理解、多模态生成五个使用场景中的综合能力。
目前,大语言模型和生成式 AI 代表了一个新技术范式,是全球每家企业都不可错过的机会。百度凭借其在人工智能领域深耕多年的技术储备发力,抓住此次生成式 AI 发展风口,文心一言显示了其引领中国生成式 AI 产品发展的势头。
事实上,截至2022年11月底,支撑文心一言的飞桨深度学习平台已凝聚535万开发者,创建了67万个 AI 模型,服务于20万家企事业单位,在工业、能源、交通、农业等领域大放异彩,构建起一个繁荣的深度学习生态。
在下周举行的 GTC 2023春季大会上,百度飞桨又将带来哪些精彩分享?
3月20-23日
锁定 GTC 2023!
面向全球AI开发者的 GTC 2023将于3月20 – 23日在线上举办。这场被 NVIDIA 创始人兼首席执行官黄仁勋描述为 “迄今为止最重要的一次 GTC”,将带来650多场演讲、专家座谈会和特别活动,几乎涵盖了计算领域的所有热门内容,预计将有超过25万人报名参加。
本次 GTC 大会上,来自百度的四位专家将带来精彩的内容分享。
其中,百度 AI 技术生态总经理马艳军,将以《飞桨深度学习平台高效支持大模型生产及应用》为题,分享飞桨和文心大模型的发展现状,并详细介绍飞桨框架的训练和推理技术以及相关应用实践。对文心一言底层技术支撑感兴趣的朋友,请勿错过!
此外,百度主任架构师、百度 MEG 商业模型中台技术负责人焦学武,将介绍百度基于 GPU 的超大规模图模型训练框架 PGLBox。在2023年1月举行的百度 Create AI 开发者大会上,PGLBox 作为十大 “黑科技” 之一首次亮相。据悉,通过多种技术手段,PGLBox 已全面解决了图模型训练的性能问题、规模问题、建模问题,是业界首个同时支持复杂算法、超大图、超大离散模型的大规模图学习训练技术。
如果说 AI for Science,能帮助未来的科研成果加速来到现实,那么 PGLBox 将在生活中帮助我们构建 “预知未来” 的能力引擎,有望大幅提升生活中所经常需要的出行时间预测和信息推荐等服务的准确性。PGLBox 为百度业务创新提供了广阔的空间,目前已经在智能交通、信息推荐、搜索等标杆场景实现落地,大幅提升业务效率和用户体验。
除此以外,还有关于飞桨端到端大模型开发套件的介绍——百度资深工程师敖玉龙,将以《面向大模型的端到端套件 PaddleFleetX》为题,介绍依托于飞桨产业级深度学习平台的大模型训推一体开发套件 PaddleFleetX。百度飞桨高级产品经理雷青,将介绍全场景、高性能的 AI 部署工具飞桨 FastDeploy。
以下为演讲具体介绍。扫描二维码,搜索会议代码找到对应演讲内容,通过点击“Add to Schedule” 或 点击“星星”,将该演讲内容添加至您的日程,大会开始后登录即可在线观看。
飞桨深度学习平台高效支持
大模型生产及应用
▎演讲人:
马艳军,百度 AI 技术生态总经理
▎会议代码:
[S52366]
▎演讲时间:
3月22日 即可在线观看(自主点播形式)
▎演讲概要:
源于百度业务对人工智能技术的广泛应用,飞桨深度学习平台结合应用持续创新,研发了业界领先的大规模分布式训练技术。飞桨先后发布了4D 混合并行训练、端到端自适应分布式训练、超大规模图训练引擎等核心技术,并基于这些技术支持文心大模型的训练和部署。目前,文心大模型已经覆盖基础大模型、任务大模型、行业大模型的三级体系,飞桨+文心大模型赋能千行百业的智能化升级。
扫码预约观看本场演讲
进入页面后,点击会议标题右上角 [五角星] 完成注册并加入收藏
PGLBox:百度基于GPU的
超大规模图模型训练框架
▎演讲人:
焦学武,百度主任架构师、百度 MEG 商业模型中台技术负责人
▎会议代码:
[SE51302]
▎演讲时间:
3月22日 3:30 PM
▎演讲概要:
PGLBox 是百度研发的基于 GPU 的大规模图模型训练框架,支持数百亿节点和边的图模型全 GPU 训练,已在百度广泛部署。与传统的基于 CPU 的分布式解决方案相比,PGLBox 可以在相同的成本下获得28倍的训练加速。相比业界主流的分布式 CPU 解决方案,PGLBox 具有超高性能、超大规模、算法丰富、灵活易用、落地广泛等优势。
■ PGLBox 由以下主要组件组成:
1
超高性能的分布式 GPU 图学习训练框架,图存储、深度行走、采样和训练全流程 GPU 化,通过使用 GPU 并行技术大大加快了图模型的样本生成和训练。
2
业界首个多级存储图引擎,对图/属性/模型差异化存储构建多级存储体系,能够使用单台 GPU 服务器训练数百亿节点和边的图模型。
3
吞吐最大化的流水线架构,采样、属性拉取、参数拉取和模型训练的流水线架构,高效进行端到端的图模型训练。
4
预置丰富的图表示学习算法,支持跨场景异构图建模和复杂图属性建模,首次实现 ERNIE-Sage+大规模图结构信息+大规模离散特征的统一建模。
扫码预约观看本场演讲
进入页面后,点击 [Add to Schedule] 完成注册并添加至您的日程
面向大模型的端到端套件PaddleFleetX
▎演讲人:
敖玉龙,百度资深工程师
▎会议代码:
[S51309]
▎演讲时间:
3月23日 10:00 AM
▎演讲概要:
大规模预训练技术已经在多个领域表现出了优秀效果,但是从应用和落地的角度来看,其门槛并不低。PaddleFleetX 是一款依托于飞桨深度学习平台的面向大模型的端到端套件,涵盖了开发、训练、小型化、推理等全流程,具备简单易用、性能领先、且功能强大等特色。本演讲将介绍 PaddleFleetX 相关核心技术,包括全场景分布式并行策略、极致的分布式训练优化技术,丰富多样的模型小型化能力和高效的大模型分布式推理与部署方案。
扫码预约观看本场演讲
进入页面后,点击 [Add to Schedule] 完成注册并添加至您的日程
全场景高性能AI部署工具FastDeploy
▎演讲人:
雷青,百度飞桨高级产品经理
▎会议代码:
[S52367]
▎演讲时间:
3月23日 2:00 PM
▎演讲概要:
FastDeploy 是一款全场景、极致高效、易用灵活的 AI 推理部署工具,支持云边端部署。统一飞桨及生态的多端部署 API ,目前支持 Paddle Inference、Paddle Lite、TensorRT、ONNX Runtime、Poros 等推理引擎,一行命令可灵活切换多个推理引擎后端;同时支持 Triton Inference Server,一款工具可实现快速地云边端部署。
通过集成 CV-CUDA、FastTokenier、FlyCV 等 AI 加速库以及 PaddleSlim 自动压缩工具,实现AI模型端到端的性能优化。FastDeploy 精心完成了部署 API 设计,确保使用不同语言的开发者能够享受到统一的 API 体验,只需要3行核心代码,就可以实现预置模型的高性能推理。基于预置的160+SOTA 产业模型的端到端示例 ,快速完成 AI 的产业落地。
扫码预约观看本场演讲
进入页面后,点击 [Add to Schedule] 完成注册并添加至您的日程
预约观看百度GTC 2023精彩演讲
想要预约以上精彩内容?扫描下方图片二维码或点击 “阅读原文”,即可搜索相关会议代码找到对应演讲内容,通过点击 “Add to Schedule” 或点击 “星星” ,将该演讲内容添加至您的日程,大会开始后登录即可在线观看。
例如:搜索演讲代码 [SE51302],点击 “Add to Schedule”,即可将该演讲添加至您的日程。
例如:搜索演讲代码 [S52366],发现没有 “Add to Schedule” 按钮,说明该演讲为自主点播形式,从3月22日开始即可在线观看。点击右上方的星星,将该演讲添加至您的日程。
如果尚未注册,请点击链接查看 GTC23 注册教程。
请在3月26日前完成在线注册,免费观看以及回看GTC 2023春季大会超过650场精彩内容!
欢迎加入 GTC 2023,与全球 AI 者同行!