其他
大模型时代的异构计算平台
1. GPT-3 开启大模型时代
2. 大模型基础设施全景图
最上面的是模型层,包括内外部发布的模型和一些配套组件。比如百度的飞桨 PaddlePaddle 和 Fleet ,Fleet 是在飞桨上做的分布式策略。同时在开源社区,比如 PyTorch 有 DeepSpeed/Megatron 等一些基于 PyTorch 框架做的大模型训练的框架和加速能力。 在框架之下我们还会做加速库的相关能力,包括 AI 算子加速、通信加速等。 再下面是一些偏资源管理或者偏集群管理的相关能力。 最底下是硬件资源,比如单机单卡、异构芯片、网络相关的能力。