节能超80%！达摩院发全球首个“低碳版”巨模型M6

跑出万亿参数，需要3000张GPU还是2000张TPU？

最新答案是：480块GPU。

今天，达摩院正式发布“低碳版”巨模型M6，在全球范围内，首次大幅降低万亿参数超大模型训练能耗。

通过一系列突破性的技术创新，达摩院团队仅使用480块GPU，即训练出万亿参数多模态大模型M6，规模达人类神经元10倍。与多家海外公司相比，M6能耗降低超八成、效率提升近11倍。

M6团队研究：万亿分组MoE模型将收敛速度加快5倍，训练效率大幅提升。在更快的收敛速度下，AI能拥有更优秀的表达流畅度。

大模型将成为下一代人工智能基础设施。生物体的神经元越多，往往越聪明；AI模型也是如此，参数规模越大，智慧上限越高。训练大模型，或将让人类探索通用AI上更进一步。

过去，大模型的算力成本高昂，很大程度阻碍了学界、工业界对大模型潜力的深入研究。

达摩院联合阿里云机器学习PAI平台、EFLOPS计算集群等团队改进了MOE（Mixture-of-Experts）框架，创造性地通过专家并行策略，大大扩增了单个模型的承载容量。

同时，通过加速线性代数、混合精度训练、半精度通信等优化技术，达摩院团队大幅提升了万亿模型训练速度，且在效果接近无损前提下，有效降低了所需计算资源。

相比此前英伟达使用3072 A100 GPU实现万亿参数、谷歌使用2048 TPU实现1.6万亿参数大模型，此次达摩院仅使用480块V100 32G GPU就实现了万亿模型M6，节省算力资源超80%，且训练效率提升近11倍。

达摩院资深算法专家杨红霞表示，“接下来，M6团队将继续把低碳AI做到极致，推进应用进一步落地，并探索对通用大模型的理论研究。”

M6巨模型

M6巨模型是国内首个实现商业化落地的多模态大模型。

经过一段时间的试用，M6将作为AI助理设计师正式上岗阿里新制造平台犀牛智造，通过结合潮流趋势进行快速设计、试穿效果模拟，有望大幅缩短快时尚新款服饰设计周期。

此外，M6拥有超越传统AI的认知和创造能力，擅长绘画、写作、问答，在电商、制造业、文学艺术等诸多领域拥有广泛应用前景，现已应用于支付宝、淘宝等平台，参与跨模态搜索、文案撰写、图片设计等工作。

/ END /

更多推荐