我们发现,移动应用、深度学习和云计算三个时代有所重叠,移动应用市场的蓬勃也受益于深度学习和云计算的发展,但是应用、AI 技术和 IT 基础设施仍然是三条平行线独立演进。
而在大模型开启的 AI 原生时代,这三条平行线终于迎来了交汇:
在应用层,大模型独有的理解、生成、逻辑、记忆的能力将会在场景中以 AI 原生应用的方式落地。
与此同时,大模型会成为通用的服务,即 MaaS,这将大幅降低 AI 落地的门槛、实现真正的 AI 普惠。
而作为基础设施的云计算将会在大模型发展的驱动下,在 AI 原生应用的引领下发展成为 AI 原生云,重塑云计算的产业格局。
2 生成式 AI 催生研发新范式:新架构、新服务、新计算
生成式 AI 会催生新的研发范式,这体现在 AI 原生应用落地需要新的架构指导,AI 模型能力的研发和推理需要新的服务承载,而基础设施也会发展出以 AI 为核心的新的计算体系结构。下面我们逐个来介绍一下:第一,新的架构。AI 原生应用是面向大模型,以大模型为核心来设计的,要充分发挥大模型新的特征,因此对应用提出了新架构的要求。我们认为构建 AI 原生应用需要几个关键技术组件:
首先是 Model,就是模型能力,将以 API 调用的形式提供服务。这里的模型包含基础模型也包括客户自己的微调模型。
然后是 Prompt,帮助用户从模型获得更好的回答。
还有 Chain 和 Agent 来实现静态编排和动态编排,利用大模型的独有能力实现链式调用。
这些是可以更好地使用到的模型能力,是大语言模型带来的变化。而因为这些变化,应用自然需要对其数据流和业务流进行重塑。第二,新的服务。模型能力将成为新的基础服务 MaaS,而 MaaS 需要具备模型丰富、易用和面向 AI 原生的三个特点。这要求:首先,大模型平台应该提供丰富的大模型供客户选择。因为我们相信应用一定是「通专结合」的,未来不可能一个模型解决所有问题,需要模型组合去满足不同客户场景的需求。其次,大模型平台要简单易用,需要有全套工具链 ,覆盖从数据收集标注到模型研发训练评估,再到模型上线推理优化的全生命周期。最后,大家都知道数据对于 AI 模型至关重要,平台需要帮助客户建立起自己的数据闭环能力,更好地支持客户模型迭代。第三:新的计算。大模型需要进行大量数据的高密度计算,对于计算体系结构带来新的要求。我们看到计算负载在加速向异构计算迁移,且规模越来越大。微秒级互联成为将算力规模化扩展的关键能力。这些都需要我们从整个体系结构的层面上,用软硬一体的方法去解决。下面我会进一步介绍 AI 原生应用新架构、模型新服务和面向 AI 的新计算基础设施。
3 Prompt the Future,让 AI 原生应用开发更简单
AI 需要在场景内落地,这将由一个应用来实现承载。一个 AI 原生应用如何设计、都包含哪些服务组件,我想这是大家非常关心的。我这里分享一下一般的业务调用流是什么样的。大模型应用流程从用户的一次请求开始,系统先对用户意图进行拆解编排,得到的多个子任务通常以领域知识增强、搜索增强等方式实现,输出的内容通过大语言模型合成完整结果,最后经过安全模块的审计后返回给用户。基础设施为任务的编排调试、系统的日志监控等提供支持。这是一个基本的大模型业务调用流。而 AI 原生应用开发的背后则需要三个关键的能力:一是高效的应用开发环境,百度会提供低代码工具、丰富的垂类应用模板和可视化调试工具;二是丰富的领域增强支持,百度提供自研向量数据库及数据湖、搜索增强等服务;三是完备的内容安全保障,我们提供多种手段保障输出内容的安全。基于以上能力,客户可以非常方便地搭建一个 AI 原生应用。
4 千锤百炼,让模型应用更便捷
刚才抖的分享,大家已经看到我们千帆大模型平台 2.0 的超强能力,帮助企业跨越大模型应用的鸿沟。千帆大模型平台正是按照 AI 原生的全新技术栈打造,在数据、Model、Prompt、Chain、Agents 每一层都提供了丰富的功能和组件,让大模型应用更便捷。千帆平台的特点总结起来有三个:
在基础设施层,百度研发了百舸异构计算平台。百舸平台为大模型和 AI 原生应用提供了:稳定高可靠的系统、高性能的训练推理服务和基于高速网络的数据交换能力。在高可靠方面,大规模并行训练的稳定性是客户关注的基础设施关键能力之一,百舸具备强大的容错能力,能做到秒级故障感知、分钟级自动故障容错,能实现万卡训练月级不中断,充分满足客户大模型训练需求。在高性能方面,经过百度多年在 AI 基础设施上的积累,百舸已经实现对公开模型库的训练性能提升 30%+,推理吞吐提升 10 倍。在高速网络方面,我们有自研的高速网络,支持更低的通信延时和更大的通信吞吐,为算力规模的扩张打好了基础。
6 百度智能云 AI 原生云产品全景图
面对 AI 原生时代的历史机遇,百度智能云已经打造了全方位的产品。这里我们展示一下百度 AI 原生云的产品全景图,大家可以看到我分享的内容只是其中一小部分,更多的产品分享会在下午的《智能计算&大模型技术》分论坛,欢迎大家到时莅临我们分论坛现场。