MLIR:借助开源基础架构加快 AI 发展
文 / Chris Lattner TensorFlow 资深工程师
Tim Davis TensorFlow 产品经理
这些进步如此之快,业界正努力加紧步伐,以保证各类机器学习软件框架能与多元化且日益增多的硬件组合搭配使用。机器学习生态系统需要依赖多种不同的技术,但这些技术复杂程度各异,通常很难协同工作。应对这种复杂性的重担便落在了研究人员、企业和开发者的肩上。这一复杂性会拖慢全新机器学习驱动型产品从研究到落地阶段的速度,最终影响我们解决棘手的实际问题的能力。
今年早些时候,我们推出了 MLIR,这是一款开源的机器学习编译器架构,它可解决软硬件日益碎片化所导致的复杂性,降低 AI 应用的构建难度。该工具提供全新基础架构,其设计理念是让用户在任意类型的硬件上统一地表示和执行机器学习模型。今天,我们宣布,我们将向非营利组织 LLVM 基金会捐献 MLIR。此举将助力整个行业尽快采用 MLIR。
MLIR 旨在成为 ML 基础架构的新标准,并获得了包括 AMD、ARM、Cerebras、Graphcore、Habana、IBM、英特尔、Mediatek、NVIDIA、Qualcomm Technologies, Inc、SambaNova Systems、三星、小米、Xilinx 在内的全球软硬件合作伙伴的大力支持——这些品牌提供了全球 95% 以上的以数据为中心的加速硬件、超过 40 亿部移动电话和无数 IoT 设备。在 Google,我们的服务器与移动硬件都已整合并使用了 MLIR。
机器学习已经取得长足进步,但仍任重道远。借助 MLIR,AI 将助力研究人员训练和部署更大规模的模型,提升应用于不同硬件时的一致性、速度和简洁性,从而实现更快发展。之后,这些创新成果便可快速应用于人们日常使用的产品中,并在所有设备上顺畅运行,最终使 AI 对每个人都更有帮助且更加实用。
如果您想详细了解 本文提及 的相关内容,请参阅以下文档。这些文档深入探讨了这篇文章中提及的许多主题:
预测极端天气
(https://www.youtube.com/watch?v=p45kQklIsd4)
帮助语言障碍者更顺畅地沟通
(https://ai.googleblog.com/2019/07/parrotron-new-research-into-improving.html)
协助农民检测植物病害
(https://www.blog.google/technology/ai/ai-takes-root-helping-farmers-identity-diseased-plants/)
MLIR
(https://medium.com/tensorflow/mlir-a-new-intermediate-representation-and-compiler-framework-beba999ed18d0)
非营利组织 LLVM 基金会
(http://llvm.org/foundation/)