超长序列,超快预测!深势科技联手阿里云,AI蛋白质预测再下一城
摘要:强强联合,突破 AI 蛋白质预测模型推理性能瓶颈,支持最高 6.6k 长氨基酸序列蛋白质的预测计算,达到目前已知最优推理效果。
自2020年DeepMind 推出基于深度学习模型的 AlphaFold2 以来,AI技术辅助蛋白质结构精确预测的相关研究备受关注,产学研界不断涌现创新成果。然而,在推动 AI 蛋白质结构预测规模化、产业化落地进程中,基础设施及工具完善性、AI 模型开发与部署效率等问题,仍然是横亘在研究者面前的难题。
2022年8月,深势科技升级并开源Uni-Fold 项目,成功复现了AlphaFold2、AlphaFold-Multimer 模型的全尺寸从头训练,并通过多项效率优化,并将 AlphaFold 训练速度提升220%,超越 OpenFold、FastFold 等方案,惠及更多研究者。
其中,针对困扰业界已久的 Evoformer 神经网络结构推理性能瓶颈问题,深势科技与阿里云PAI 团队,基于在 AI 模型系统优化领域的长期积累,融合多卡并行、混合精度、编译优化等多项推理优化技术,使 Uni-Fold 训练的模型能进行多卡推理加速,并支持计算更长的氨基酸序列。
典型加速效果的测试结果如下(基于A100-80G GPU,并启用bf16)
Uni-Fold 升级开源,支持复合物训练
作为生命科学领域重要的基础问题,蛋白质结构研究关系到癌症预警、靶向药物研究、衰老等临床医学和生命科学课题。传统的蛋白质结构研究手段,如:X射线晶体学、冷冻电镜等,需要消耗大量时间和资源。如何快速高效并且能够规模化地预测蛋白质结构,一直是研究者们探寻求解的重要问题。
2021年12月,深势科技推出 Uni-Fold v1.0.0,国际首次复现了AlphaFold2官方代码的全尺寸从头训练,并开源了训练与推理代码;2022年8月,Uni-Fold升级并开源了最新代码与模型参数,完整支持蛋白质单体、复合物结构预测模型的推理与训练。
此次开源的Uni-Fold基于PyTorch复现并改进的AlphaFold (-Multimer) 模型,支持从头训练和推理部署,并且在Protein Data Bank(PDB)最新公布的、模板相似度小于40%的单体与复合物测试集上,都取得了与同类开源项目一致或更优的准确率。
此外Uni-Fold也进行了多项效率优化,将训练时间由11天缩短至约4天,显著优于其他同类开源项目。
机器学习平台 PAI 提供全链路 AI 工程支撑
阿里云机器学习平台PAI 为 Uni-Fold 项目提供了完善的AI工程能力。PAI 是国内唯一连续入选 Gartner 数据科学与机器学习平台报告的机器学习/深度学习平台,面向AI开发及应用全链路提供全面的工程化服务,并具备丰富的场景化落地实践。
针对模型推理优化场景,PAI自研的通用推理加速器 PAI-Blade 能在不同业务场景下,通过模型系统联合优化,使模型达到最优推理性能,兼容主流机器学习框架,适配GPU、CPU、端侧设备等多类型加速设备。
其中,PAI-Blade 核心组件 BladeDISC 具备业界领先的动态尺寸模型优化、大颗粒度算子融合等编译优化技术,在阿里巴巴集团内外客户的实际生产场景广泛应用,助力实现高性价比的 AI 应用部署。2022年2月,BladeDISC 项目正式开源。
未来,为前沿科研提供更好用的AI基础设施
以 AI 蛋白质结构预测为典型代表,AI for Science 的科学研究新范式正取得越来越多突破,人工智能与生命科学、物理、化学等领域的技术交织,将为科学研究和产业进步带来极大推动,也对AI基础技术与平台应用提出了新挑战。
深势科技是 AI for Science 科学研究范式的先行者,阿里云机器学习平台 PAI 是国内应用最广泛的机器学习平台之一,我们将持续为生物医药、能源、材料等领域的研究与产业应用提供更好用的AI基础设施,共同推动 AI for Science 领域的技术生态建设。
附录
深势科技开源项目Uni-Fold:https://github.com/dptech-corp/Uni-Fold 阿里云开源AI编译器BladeDISC:https://github.com/alibaba/BladeDISC
点击 “阅读原文” 了解更多关于机器学习平台 PAI 相关消息