计算架构革新：现在是否正是时机？
苏黎世联邦理工学院（ETH Zürich）
随着对人工智能实时数据分析需求的激增，单纯依靠CPU来集中处理如此庞大的计算任务可能并非最佳策略。
以下是《The Register》对苏黎世联邦理工学院（ETH Zürich）的Onur Mutlu教授的专访，让我们一探他对下一代计算架构的独到见解。
《The Register》：如果审视一下当前计算架构的运作方式，这种模式存在哪些挑战和不足？
Onur Mutlu：我们当前设计计算系统的方式存在严重问题。最突出的问题是，尽管数据集不断增长，且处理复杂度日益提高，但真正进行计算的组件仅占系统的一小部分。以一个典型的节点为例，超过98%的部分用于存储、控制和数据传输，而用于处理数据的处理器仅占很小一部分。我们的系统设计过度集中在处理器上。处理器是核心，所有数据都必须传输到处理器才能进行计算。而存储系统、内存系统和互联设备都是被动组件，无法有效参与计算过程。当数据在处理器、内存或存储子系统之间频繁传输时，这就会形成严重的瓶颈。
《The Register》：这一现状如何适应数据密集型应用的时代？
Onur Mutlu：随着数据密集型应用（如机器学习和基因组学）的使用，我们越来越需要存储大量数据。我们与Google合作进行了一项研究，分析了使用机器学习加速器的大型机器学习模型。我们发现，超过90%的系统总能耗实际上用于内存访问。这不仅导致能源问题和性能问题，还造成了硬件潜力的极大浪费，进而影响到可持续性。所有这些仅用于数据存储的处理硬件加起来，就构成了巨大的碳排放浪费。
《The Register》：面对这一挑战，是否存在更高效的方法？
Onur Mutlu：我认为，未来内存和存储将更紧密地集成，将更加主动地参与计算。例如，当处理器在处理数据密集工作负载（如大型语言模型中的密集推理）时，它可以将这部分工作卸载到内存中处理。然后将结果返回给处理器，以便其处理其它事务。这种模式将使得所有组件更加协作，以更高效、更高性能的方式解决问题。
《The Register》：采用这种方法，哪些类型的应用可能会获得最大的性能提升？
Onur Mutlu：我们现在谈到的是以数据为中心的应用，如基因组学或机器学习的训练和推理。用户可以为每种应用程序分配存储节点，并根据应用需求动态调整。通过在存储系统中直接处理数据，可以实现巨大的能效提升。当前的计算方式并不节能。将数据从内存移动到处理器仅进行简单的计算会浪费大量能源。我将其称为数据移动的“隐性成本”。我们正努力改变这一点，例如在内存侧增加加速功能。
《The Register》：能否请您分享一下您在基因组学方面的工作？
Onur Mutlu：随着强大且低成本的基因组测序技术的出现，基因组数据在全球范围内呈爆炸性增长。有时，我们需要迅速分析这些数据，例如在紧急情况下为婴儿确定最佳的个性化医疗方案。目前，这些数据存储在云端，并需要传输到处理器进行处理。我们希望通过减少数据传输来加快决策速度。我们已经成功地将分析时间减少了大约30倍。同时，能源效率也得到了提升，具体取决于分析类型和数据类型。而这仅仅是通过将加速能力转移到存储侧实现的。
《The Register》：您能举一些其它例子吗？
Onur Mutlu：我们也在机器学习推理和大型语言模型研究中取得了显著成果。当需要对大量数据集进行推理或训练时，数据需要被结构化和存储，因此我们一直在为此创建数据库。我们在每个闪存芯片旁边配置了加速器，类似于我们在基因组学应用中的实践，并实现了相似的性能提升。我们在性能和能效方面至少实现了20倍的提升。
此外，在其它应用中也取得了一些进展。例如，在处理大型图数据 (例如社交网络) 以寻找结构时，数据移动会占据大部分的时间和能源消耗。通过将这些数据处理任务卸载到内存和存储系统上，我们实现了显著的性能提升，大约14倍，以及能效的大幅提升，约10倍。如果将这些收益相乘，总共可以达到约100倍的改进。
《The Register》：人工智能和机器学习是否正在重塑对快速数据传输的需求和标准？
Onur Mutlu：确实如此，我们需要调整系统来应对这一变化。每次与构建这些机器学习加速器的行业专家交谈时，他们都面临着大量数据的问题。这确实改变了他们的工作方式。我们必须转向以数据为中心的架构来应对这些挑战。这并非易事，但我们必须摆脱目前过于依赖处理器的系统。这需要寻找一些相对容易实现的方法，同时不需要程序员投入过多努力。
在变革的过程中，必然会遇到一些困难。我们都需要更加努力。编程模型和系统软件支持不会在初期就达到完美状态。但随着以数据为中心的方法逐渐增多，随着时间的推移，我们将更清晰地看到能源和性能方面的优势。软件堆栈会随之适应。尽管转变不会一蹴而就，但尽快实现这种转变无疑是迫切需要的。我认为，随着向以内存和存储为中心的计算转变，我们将逐步实现这一点，但我们可能需要找到更快速的方法来实现这一目标。
《The Register》：您的团队计划如何推动这一变革？
Onur Mutlu：我们的研究不仅限于以存储和内存为中心的计算。我预计，未来不仅会采用以存储为中心的模型来优化机器学习，机器学习本身也将用于设计更高效的系统。我们对此充满期待。如果审视当前的系统设计，我们会发现许多决策仍然依赖于人为制定。例如，设计存储控制器时，策略通常由人来制定。但通过机器学习，我们可以开发出能够随着时间自我优化的更智能控制器。这样，系统在性能和效率方面将随时间变得越来越好。更智能的控制器将做出更好的决策。即便自动化技术不断进步，人的参与依然至关重要，但他们的角色不再是策略制定者。我认为我们面临着许多激动人心的发展机遇。
-----
Onur Mutlu教授任职于瑞士顶尖的公立研究型大学——苏黎世联邦理工学院（ETH Zürich）。他同时还是斯坦福大学的客座教授和卡内基梅隆大学的兼职教授。他的研究兴趣广泛，涵盖计算机体系结构、系统、硬件安全和生物信息学等领域。他与众多同事和合作者共同努力，对商业微处理器和存储系统的发展产生了重大影响。他的研究工作获得了多项荣誉，包括IEEE高性能计算机体系结构（HPCA）“时间测试奖”（Test of Time Award）、非易失性存储器系统研讨会“持久影响奖”（Persistent Impact Prize）、英特尔杰出研究员奖和华为奥林帕斯奖（存储系统研究）。
Source:Guy Matthews; Time for a fresh approach to compute architecture?; 23 May 2024
--【本文完】---
近期受欢迎的文章：
更多交流，可添加本人微信
（请附姓名/单位/关注领域）