查看原文
其他

训练即将启动,和CPM-Ant一起乘风破浪!

OpenBMB OpenBMB开源社区 2023-01-04



经过多天的准备,CPM-Live第一期模型CPM-Ant的各项工作已经准备就绪,训练将于今日16:00正式启动!




▶  算力准备


CPM-Ant的算力将使用国家超级计算济南中心的计算节点,目前模型训练启动阶段将使用1台具有8块NVIDIA A100显卡的服务器,后续我们将会扩展到多台机器。感谢BMTrainhttps://www.openbmb.org/toolKits/bmtrain的高效计算和低资源占用设计,让我们能以较少的资源和成本开启训练。


- BMTrain官方页面




▶  数据准备


前期我们整理了约4TB原始数据,面对MB级别的网络带宽,我们的小伙伴挠起了头。但正如那句经典老话,“永远不要忽略一辆载满磁带的在高速公路上飞驰的卡车的带宽”,我们最终将一块满载数据的硬盘通过快递寄到了算力中心,完成了数据的上传。




▶  代码准备


CPM-Ant相关代码目前已更新至GitHub(https://github.com/OpenBMB/CPM-Live),欢迎大家观摩拍砖!


- CPM-Live GitHub页面


训练开始后,官网将实时展示训练过程中使用的GPU数、模型的吞吐量、损失值等动态数据,后续也会陆续更新更多的模型训练动态。另外,每天下午的四点左右,我们将会上传前一日的训练总结,欢迎大家前来围观。


- 启动前的训练“仪表盘”


训练即将开始,让我们一起屏息期待!如果有你任何感兴趣的话题,欢迎来到GitHub讨论区https://github.com/OpenBMB/CPM-Live/discussions参与讨论。此外,我们也欢迎任何组织与个人提供的算力、数据与资金等支持,如果您有意愿,欢迎联系 openbmb@gmail.com





   关注我们


  官方网站:https://www.openbmb.org
  启智社区https://git.openi.org.cn/OpenBMB
  交流QQ群:735930538
  GitHub:https://github.com/OpenBMB
  微博http://weibo.cn/OpenBMB
  知乎:https://www.zhihu.com/people/OpenBMB
  Twitter:https://twitter.com/OpenBMB


欢迎转载
商务合作请联系
OpenBMB
邮箱:openbmb@gmail.com


往期文章
👇


叮!你有一份大模型直播训练邀请函!


您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存