查看原文
科技

【AI大模型展】百度文心大模型——文心加飞桨,翩然赴星河

百度 数据猿 2023-11-03





百度AI大模型

该AI大模型由百度投递并参与数据猿与上海大数据联盟联合推出的《2023中国数据智能产业AI大模型先锋企业》榜单/奖项”评选

大数据产业创新服务媒体

——聚焦数据 · 改变商业



随着数据井喷、算法进步和算力突破,效果好、泛化能力强、通用性强的预训练大模型(以下简称“大模型”),成为人工智能发展的关键方向与人工智能产业应用的基础底座。

百度文心大模型源于产业、服务于产业,是产业级知识增强大模型。百度通过大模型与国产深度学习框架融合发展,打造了自主创新的AI底座,大幅降低了AI开发和应用的门槛,满足真实场景中的应用需求,真正发挥大模型驱动AI规模化应用的产业价值。文心大模型的一大特色是“知识增强”,即引入知识图谱,将数据与知识融合,提升了学习效率及可解释性。 文心ERNIE自2019年诞生至今,在语言理解、文本生成、跨模态语义理解等领域取得多项技术突破,在公开权威语义评测中斩获了十余项世界冠军。2020年,文心ERNIE荣获世界人工智能大会WAIC最高奖项SAIL奖。 

2022年11月30日,由深度学习技术与应用国家工程研究中心主办、百度飞桨承办的WAVE SUMMIT+2022深度学习开发者峰会举行。百度集团副总裁、深度学习技术及应用国家工程研究中心副主任吴甜发布文心大模型的最新升级,包括新增11个大模型,大模型总量增至36个,构建起业界规模最大的产业大模型体系,并通过大模型工具与平台的升级和文心一格、文心百中等基于大模型技术的产品应用,进一步降低大模型产业化门槛,让更多企业和开发者步入AI应用的新阶段。2023年6月,百度文心大模型3.5版本已内测可用。10月17日,文心大模型4.0正式发布。

应用场景/使用群体


百度文心大模型源于产业、服务于产业,是产业级知识增强大模型。

文心一言面向全社会开放一个多月,用户规模达到4500万,开发者5.4万,场景4300个,应用825个,插件超过500个。飞桨和文心生态愈加繁荣,已凝聚800万开发者,服务22万家企事业单位,基于飞桨创建了80万个模型。

产品功能


文心大模型4.0,相比3.5版本,理解、生成、逻辑、记忆四大能力都有显著提升。其中理解和生成能力的提升幅度相近,而逻辑和记忆能力的提升则更大,逻辑的提升幅度达到理解的近3倍,记忆的提升幅度也达到了理解的2倍多。百度基于文心大模型研制了智能代码助手Comate,从内部应用效果来看,整体的代码采纳率达到40%,高频用户的代码采纳率达到60%。

在万卡算力上运行飞桨平台,通过集群基础设施和调度系统、飞桨框架的软硬协同优化,支持了大模型的稳定高效训练。建设了多维数据体系,形成了数据挖掘、分析、合成、标注、评估闭环,充分释放数据价值,大幅提升模型效果。基于有监督精调、偏好学习、强化学习等技术进行多阶段对齐,保证模型更好地与人类的判断和选择对齐。可再生训练技术通过增量式的参数调优,有效节省了训练资源和时间,加快了模型迭代速度。

此外,文心大模型4.0在输入和输出阶段都进行知识点增强。一方面,对用户输入的问题进行理解,并拆解出回答问题所需的知识点,然后在搜索引擎、知识图谱、数据库中查找准确知识,最后把这些找到的知识组装进Prompt送入大模型,准确率好,效率也高;另一方面,对大模型的输出进行反思,从生成结果中拆解出知识点,然后再利用搜索引擎、知识图谱、数据库,以及大模型本身进行确认,进而对有差错的点进行修正。

在强大的基础大模型的基础上,百度进一步研制了智能体机制,包括理解、规划、反思和进化,能够做到可靠执行、自我进化,并一定程度上将思考过程白盒化,让机器像人一样思考和行动,自主完成复杂任务,在环境中持续学习实现自主进化。

产品优势


1、知识增强:从大规模知识和海量数据中融合学习,提升了学习效率、可解释性及模型效果

2、产业级:源于产业实践,服务于产业实践,满足真实场景中的应用需求

基于更强平台、更优数据、更好算法,百度训练出规模更大、效果更好的文心大模型4.0。通过飞桨与文心的协同优化,模型周均训练有效率超过98%,训练算法效率提升3.6倍,推理性能提升50倍。文心4.0的理解、生成、逻辑、记忆四大能力显著提升,其中理解和生成能力的提升幅度相近,而逻辑和记忆能力的提升则更大,逻辑的提升幅度达到理解的近3倍,记忆的提升幅度也达到了理解的2倍多。

技术说明


1、模型效果优:所需标注数据少,在各场景上的效果处于业界领先水平。

2、生成能力强:拥有丰富的AI内容生成(AIGC)能力。

3、应用门槛低:文心大模型提供了丰富的平台与工具,包括大模型开发套件、API以及内置文心大模型能力的EasyDL和BML开发平台。


服务客户

航天工程、国家电网、浦发银行、人民网、深圳燃气、吉利等。关于企业



·百度

百度Baidu)是拥有强大互联网基础的领先AI公司。百度愿景是:成为最懂用户,并能帮助人们成长的全球顶级高科技公司。

“百度”二字,来自于八百年前南宋词人辛弃疾的一句词:众里寻他千百度。这句话描述了词人对理想的执着追求。1999年底,身在美国硅谷的李彦宏看到了中国互联网及中文搜索引擎服务的巨大发展潜力,抱着技术改变世界的梦想,他毅然辞掉硅谷的高薪工作,携搜索引擎专利技术,于 2000年1月1日在中关村创建了百度公司。

百度拥有数万名研发工程师,这是中国乃至全球都顶尖的技术团队。这支队伍掌握着世界上领先的搜索引擎技术,使百度成为掌握世界尖端科学核心技术的中国高科技企业,也使中国成为美国、俄罗斯和韩国之外,全球仅有的4个拥有搜索引擎核心技术的国家之一。点击文末“阅读原文”链接,还可了解更多“百度AI大模型”信息。


以上由百度投递申报的项目案例,最终将会角逐由数据猿与上海大数据联盟联合推出的《2023中国数据智能产业AI大模型先锋企业》榜单/奖项

该榜单奖项最终将于11月14日以下活动中进行榜单的首发与奖项的颁发,欢迎报名莅临现场:


继续滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存