查看原文
其他

“数据、模型、算力”协同发力,飞桨突破深度学习产业应用“三大三多”挑战

百度AI 2022-12-19


过去十年,中国数字经济蓬勃发展,产业规模快速增长。数字化转型的大趋势为人工智能技术发展奠定了更好的基础,同时,人工智能技术也为数字经济的高速发展提供了新的动能。


作为人工智能的核心关键技术,深度学习在推动数字经济发展的过程中发挥着怎样的作用?日前,百度飞桨总架构师于佃海在2022数字中国创新大赛高峰论坛上以飞桨为例,进行了深度学习平台助力数字经济高质量发展的主题分享。于佃海表示,深度学习技术具有通用性强的特点,它正在推动人工智能走向工业大生产阶段,而深度学习平台作为共性平台在其中起到关键支撑作用。


百度飞桨总架构师于佃海


作为中国首个自主研发、开源开放的产业级深度学习平台,飞桨协同产学研用各界构建 AI 技术生态,尤其重视 AI 人才培养,积极支持承办 AI 相关赛事。在本届数字中国创新大赛中,飞桨与国家对地观测科学数据中心、中国科学院空天信息创新研究院、国家超算济南中心对大数据赛道卫星应用赛题——海上船舶智能检测提供了技术支持。于佃海表示,遥感在自然资源、智慧城市、应急管理等多个方面发挥着重要作用,是飞桨重点关注的领域之一。


突破深度学习产业应用的“三大”“三多”挑战


近年来,在深度学习技术的加持下,人工智能与产业结合的场景正在不断深化,逐渐从各行各业的通用场景渗透到行业的关键场景。于佃海同时也强调,深度学习技术在实际应用中仍面临着 “三大”“三多”挑战,“三大”是指深度学习技术依赖大数据、大模型、大算力,“三多”是指深度学习技术实际应用场景多、模型算法多、硬件芯片多。此外深度学习技术实际开发应用的整个流程也存在一定的门槛。


在此背景下,一个能够下接芯片、上承应用,提供从开发训练到推理部署全流程支持的基础共性平台——深度学习平台作用更加凸显。深度学习平台相当于智能时代的操作系统。面对产业应用的实际挑战,我们应该如何去打造一个产业级的深度学习平台?


飞桨以全局视角,从数据、模型、算力三方面解决产业应用的痛点。于佃海强调这包含两层含义,一方面,打造产业级深度学习平台需要以数据、模型、算力三要素为抓手,不能只盯着神经网络模型的抽象计算实现;另一方面,这三个要素是互相依赖的关系,分析或者看重其中一个要素的同时,也要考量其他两个要素的影响。


对于“数据”,要从模型角度考虑需要什么样的数据,模型可以怎么助力数据加工处理;要从算力角度考虑硬件计算、访存特性对数据处理实现的影响。于佃海举例飞桨打造的交互式高效数据标注工具 EISeg,通过预训练模型对原始图像数据预标注和人工精细化校正结合的方式,极大提高了数标注效率,受到到广大开发者的欢迎。此外,飞桨框架实现了数据 IO 和模型计算的负载均衡设计,并针对变长数据输入场景提供了计算实现和多流执行上的优化。飞桨考虑硬件的数据处理性能优化,也支撑了飞桨在 MLPerf 2.0 中 BERT 模型训练性能在同等 GPU 配置下取得榜首成绩。


对于“算力”,要考虑不同场景下,模型训练部署面临的广泛硬件适配问题;要考虑如何充分发挥硬件性能,支持大数据、大模型高效训练的问题。飞桨提供低成本的硬件接入统一方案,已适配的主流芯片超过30种。飞桨的端到端自适应分布式训练架构,通过软硬协同方案具备异构、自动、弹性三大特点,可以支持不同数据类型、不同模型结构、不同硬件环境下的高效分布式训练。


对于“模型”,要考虑如何充分利用大数据训练出更有效的模型,引领技术发展新范式;要考虑复杂硬件环境下模型训练部署的可靠性问题,消除实际应用落地风险。百度基于飞桨研发的知识增强文心大模型,实现了大数据和知识的有效融合。文心大模型已经覆盖视觉、语言、跨模态等各个领域,业界首发能源、金融、航天等行业大模型,通过领先效果和低成本应用特性,打造 AI 行业应用新基座。此外,飞桨通过训推一体工具链,对基于飞桨开发的模型实现云边端多场景下多硬件的充分验证。目前,飞桨已建成拥有超过500个产业级开源算法的模型库,具备低门槛、高性能、高精度等特性,并配合产业模型选型工具和产业实践范例库,有效支撑各领域的深度学习应用需求。


深入行业场景,持续助力数字经济高质量发展


飞桨在历经广泛的产业实践打磨后,现已建设成为包含核心框架、模型库、开发套件、工具组件和开发平台在内的产业级平台。通过功能丰富的全栈平台,飞桨可以适应不同的人工智能应用场景以及不同智能化水平企业的具体需求,有针对性地提供适合的技术和产品,全面了降低 AI 应用的门槛。飞桨的愿景就是让强大 AI 人人可用,实现普惠 AI。


目前,飞桨的应用已经深入到农业、能源、金融、交通等各行各业,帮助企业实现了提质增效。比如在工业制造领域,基于飞桨的 AI 应用已经覆盖产品生产工艺优化、生产质量控制、仓储调度等多个工作环节,实现了效果和效率双提升;在城市智慧管理方面,智慧交通中的车流量监控以及智慧政务中的信息提取等工作中,都有飞桨提供的产业级模型能力;在农业领域,飞桨加持的无人驾驶农机成功“解放”了农民的双手,让大田耕种不再费时费力。


实实在在促生产的同时,飞桨亦在把握 AI 技术和应用发展的脉搏,助力前沿科技探索和应用突破。基于飞桨的 AI 技术已经应用于蛋白质结构分析、化合物性质预测等生物计算领域,并拓展向更加广泛的科学计算场景。前不久召开的2022百度世界大会上,也展示了飞桨联合中国航天推进深空探测智能化的相关工作。


数据显示,截至2022年5月,飞桨平台已经凝聚了477万开发者,服务了18万企事业单位。未来,百度飞桨将继续在培养 AI 人才、促进产业应用、助力科研探索等方面加大投入,构建更加强大的 AI 技术生态,为数字经济高质量发展提供强有力的支撑。


您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存