VAST Data创新：将BlueField3 DPU转型为GPU服务器存储控制器（另2篇）
VAST Data创新：将BlueField3 DPU转型为GPU服务器存储控制器
Source:Chris Mellor; VAST Data turns BlueField3 DPUs into storage controllers for Nvidia GPU servers; March 12, 2024
VAST Data，作为全闪存储阵列的领先供应商，已经成功将其存储控制器软件迁移至Nvidia的BlueField-3 DPU，将存储数据直接输送到Nvidia GPU服务器的核心。VAST公司表示，这一举措将其转型为AI数据引擎。
BlueField-3是一款集成了软件定义硬件加速器的网络平台，专注于网络、存储和安全领域。Nvidia的BlueField-3系列包含DPU和SuperNIC两款产品，它们支持RDMA over ROCE技术，在最高速度下可达400Gbps，并配备PCIe Gen 5接口。而VAST Data则提供了一款分离式的单一QLC闪存层，这是一个并行、可扩展的、基于文件的存储系统。在这之上，他们构建了多层软件，包括数据目录、全局命名空间、数据库以及即将推出的数据引擎，所有这些软件都以人工智能应用为核心。
VAST Data的联合创始人Jeff Denworth在一份声明中谈及这一消息，他使用了“AI工厂”架构术语并表示：“这一新架构完美展现了VAST Data平台的并行性。借助NVIDIA BlueField-3 DPU，我们得以实现分离式数据中心的愿景的充分潜力，这自公司创立以来便是我们不懈努力的目标。”
目前，VAST的存储控制器节点（即C节点）主要采用的是x86服务器。而此次，他们的控制器软件已迁移至BlueField-3卡上的16个Armv8.2+ A78 Hercules核心。这种全新的VAST架构首先在GPU即服务云供应商CoreWeave进行了测试与部署。
相较于配备先前VAST分布式数据服务基础设施的NVIDIA驱动的超级计算机（GPU服务器），BF3控制器减少了独立的计算和网络资源需求，使得VAST基础设施的功耗和数据中心占地面积减少了70%，净能源消耗更是节约了超过5%。 通过为每个GPU服务器提供专用且并行的存储和数据库容器，BF3消除了对数据服务基础设施的争用问题。每个BlueField-3都能在不需协调容器间IO的情况下，自由读写VAST数据系统的共享命名空间。 数据及其管理受到保护，并与主机操作系统隔离，从而显著增强了安全性。 BF3还提供了SNAP功能，为主机操作系统原生提供块存储服务，与VAST的文件、对象和数据库服务完美融合。
谈及这一功能，VAST Data的AI/HPC解决方案工程总监Neeloy Bhattacharyya表示，这并不是VAST独有的技术：“它适用于任何搭载BF3的GPU服务器，不受操作系统或BF3连接平台的限制。块设备由BF3直接提供，这使得GPU服务器能够实现无状态运行。”
当我们问及VAST是否已开始普遍向主机系统提供块存储服务时，Bhattacharyya回答说：“目前还没有，但预计将在今年晚些时候推出。”
VAST目前拥有搭载BF1的Ceres存储节点（D节点），我们也询问了块协议是否将涵盖这些节点。他回答说：“是的，块设备在BF3上呈现，因此与CNode功能相连的后端硬件类型并不重要。”
对于这是否是对2022年3月Ceres-BlueField 1公告的更新，Bhattacharyya澄清道：“不是，这次公告是关于逻辑功能（即CNode）在基于GPU的服务器中的BF3上运行的情况。这意味着VAST现在具备了一个完整的BlueField端到端解决方案，涵盖GPU服务器中的BF3和DBox中的BF1。通过在BF3上托管CNode，每个GPU服务器都拥有专用资源来访问存储，这不仅提升了安全性，还消除了GPU服务器间的争用问题，简化了扩展流程。”
去年五月，我们曾在一张图表中阐释了VAST的Thinking Machine愿景，对此，Bhattacharyya表示：“这次公告正是对该愿景的切实实现。”
CoreWeave的工程副总裁Peter Salanki表示：“VAST的革命性架构彻底改变了CoreWeave的游戏规则，使我们能够完全解耦数据中心。我们正努力将VAST的先进软件无缝集成到GPU集群中。”
性能方面尤其引人注目。由于VAST端的数据路径完全绕开了x86服务器，因此无需再让x86服务器的主机CPU绕过GPUDirect。Denworth向B&F透露：“从性能角度看，VAST软件在BlueField处理器上的引入并未改变我们DBox的原有数据表现，二者是正交的。目前，我们通过运行在主机上的BlueField-3获得了6.5GBps的带宽。总带宽是关键……一些主机配置了一个BF-3，而其他主机为了特定目的配置了两个，使得每台主机的带宽高达13GBps。大型集群包含1000台安装了GPU的机器。因此，我们实际上是在讨论能够为每1000个客户提供高达13TBps的传输速率。”
关于Supermicro和EBox的合作
VAST Data还与Supermicro携手，为服务提供商、超大规模技术公司及大型数据中心企业提供一套经过Nvidia认证的全栈、超大规模、端到端AI系统。现在，客户可以直接从Supermicro或其选定的分销渠道购买基于行业标准服务器构建的、完全优化的VAST Data Platform AI系统堆栈。
VAST与Supermicro的另一项合作是为EB级规模部署提供BlueField-3配置的替代方案。VAST员工John Mao在LinkedIn上的一篇文章中提到，公司开发了一个名为“EBox”的产品，即一个标准的（非高可用性）服务器节点，经过验证可同时运行VAST的“CNode”软件容器和“DNode”容器，作为安装在同一台机器上的微服务。
“尽管从外观上看，这种解决方案可能与市场上的许多其他软件定义存储方案相似，但重要的是要了解，DASE软件架构仍然保持完整，以确保真正的集群范围数据和性能并行性（即无需分布式锁定或缓存管理，每个CNode容器仍然挂载每个SSD以显示为本地磁盘，CNode容器在读写数据路径上从不相互通信）。”
“EBox”这一术语专指EB规模的系统。Mao表示，在这个规模下，“故障域从服务器级别转变为机架级别，系统的同质性变得至关重要，以优化硬件供应链，并更好地利用数据中心机架空间和电力。”
写速度获得显著提升
Denworth撰写了一篇名为《我们引领写入新纪元...宝贝》的博客，详细阐述了VAST是如何大幅增强其系统写速度的。由于AI训练处理的规模不断扩大，作业期间需要频繁进行检查点操作。这一举措旨在避免因基础设施组件故障而需要重新运行整个作业。在博客发布之前，我们提前看到了博客的副本。Denworth表示：“大型AI超级计算机正在改变读/写IO的平衡，而VAST也期望随之不断进步。今天，我们宣布了两项重大的软件进步，将让每一个VAST集群在处理写入密集型操作时速度更快。”
这两项进步分别是SCM RAID和Spillover技术。关于Storage-Class Memory（SCM）RAID，Denworth写道：“以往，写入VAST系统的所有数据都会被镜像到存储类内存设备（SCM）中，但这种镜像方式相比使用纠删码来说效率较低。…从2024年4月开始，我们自豪地宣布，写入路径现在将通过在数据流入系统的写入缓冲区时应用RAID技术来加速。这一简单的软件更新将带来高达50%的性能提升。”
目前，VAST系统中的写入缓冲区是SCM驱动器，其容量固定，可能无法满足大型作业的需求。因此，Denworth进一步介绍：“今年夏天晚些时候（2024年），VAST OS的5.2版本将引入一种新模式，即大型检查点写入将能够自动溢出到QLC闪存中。这种智能模式能够检测系统何时处于高频写入状态，并允许大型、短暂的写入操作自动溢出到QLC闪存中。”
综上所述，这两项变化将有助于减少用于AI训练的VAST硬件数量。Denworth指出：“在考虑如何为大型AI计算机配置这些系统时，我们发现，在6个月内，写入密集型配置所需的硬件数量将减少62%。…以NVIDIA DGX SuperPOD的性能规模作为参照，我们的写入流优化技术将大大减少单个可扩展单元（SU）所需的硬件数量。”
VAST Data基于Nvidia DPU的人工智能云架构
Source:Steve McDowell; VAST Data's Nvidia DPU-Based AI Cloud Architecture; Mar 12, 2024
VAST Data基于NVIDIA的BlueField-3 DPU技术，推出了全新的AI云架构。这一架构旨在显著提升AI数据服务的性能、安全性和效率。其核心理念在于将存储和数据库处理功能集成至AI服务器中，从而优化数据中心运营，并构建出一个安全的零信任环境。
VAST Data正在积极利用NVIDIA的BlueField-3 DPU为其AI云解决方案注入创新活力。DPU是一款专为卸载、加速和隔离数据中心工作负载而设计的处理器，其独特功能使得数据处理变得更为高效、安全。
VAST成功将资源解耦至NVIDIA BlueField-3 DPU，这意味着DPU现已肩负起传统上由服务器处理的部分数据处理任务，如网络、安全和存储操作。通过将这些功能转移至DPU，VAST有效减轻了主CPU的负担，使其能够更专注于AI和机器学习计算。
该架构的工作原理如下：借助NVIDIA BlueField-3 DPU，VAST构建了一个并行系统架构，实现了存储和数据库处理服务在AI服务器内的直接嵌入。
这一设置确保了每个运行VAST并行服务操作系统的GPU服务器都能获得一个专用的、无状态的容器。它极大地促进了数据服务的线性可伸缩性，实现了跨大量GPU的高效计算，避免了传统x86硬件和网络层可能带来的瓶颈。
通过摆脱对传统硬件的多层依赖，并充分利用DPU的卓越处理能力，VAST的网络附加数据平台基础设施变得更加高效。这种效率的提升直接反映在数据中心基础设施的功耗和占地面积上，据VAST透露，这两项指标均减少了70%，从而显著降低了整体能源消耗。
此外，这种方法对于管理多租户环境的GPU云提供商同样具有显著优势。通过VAST的零信任安全模型，DPU实现了数据与主机操作系统的有效隔离和管理。借助在DPU上托管数据服务并应用标准客户端协议，VAST成功降低了潜在的攻击风险，并确保了数据的安全性。
分析师观点
当NVIDIA凭借收购Mellanox的技术推出首款BlueField DPU时，业界初时仅将其视作一种智能网络适配器。它能够卸载深度数据包检查、压缩等复杂且资源消耗大的存储和网络任务。然而，NVIDIA的后续表现证明，这种加速器的潜力远不止于此。
紧接着，VMware也对这一技术进行了深化拓展。他们证明，只要基础设施软件设计得当，便可利用NVIDIA BlueField DPU大幅提升系统整体性能。在vSphere 8.0的发布中，VMware更是将vSphere分布式交换机以及NSX网络及可观察性堆栈的关键组件转移至NVIDIA DPU上。如今，VAST Data也采用了类似策略。
DPU技术的出现，标志着计算模型从传统单片设计向分离式计算的重大转变。VAST Data通过原生嵌入整个VAST操作系统至AI集群，充分利用了NVIDIA BlueField-3 DPU的固有优势，成功将超级计算机转型为高度专业化的AI数据引擎。这一转变对于消除AI及类似性能敏感环境中存储瓶颈具有重要意义。
除了卸载任务外，VAST的零信任安全模型同样举足轻重。如今，AI训练多采用“云优先”策略，组织通常依赖GPU云提供商进行模型训练。VAST Data在这一市场领域表现突出，与Lambda、CoreWeave和Core42等一流提供商建立了合作关系。这些多租户环境迫切需要强大且基于硬件的安全模型，而VAST Data正是通过其基于DPU的架构提供了这样的解决方案。
大型AI集群正逐渐摒弃传统存储解决方案，这些方案已难以跟上AI工作负载对规模和性能日益增长的需求。在这一市场中，VAST Data与WEKA等公司展开竞争，后者在GPU云市场也取得了显著成绩。同时，VAST Data还面临着来自IBM的GPFS和开源Lustre等并行文件系统的竞争压力。
VAST Data与NVIDIA所采取的策略，在优化数据服务以满足AI独特需求方面取得了重大突破。通过DPU进一步消除数据路径中的性能瓶颈，VAST Data在激烈的市场竞争中脱颖而出，为高性能数据提供了令人瞩目且可能颠覆行业规则的解决方案。
VAST Data为AI工厂推出新的数据中心架构
Source:VAST Data Unveils New Data Center Architecture for the AI Factory; March 12, 2024
AI数据平台公司VAST Data今日隆重推出了全新的AI云架构，旨在带给AI工厂前所未有的性能提升、服务质量升级、零信任安全保障，以及空间、成本和功耗的高效利用。凭借NVIDIA BlueField-3数据处理单元（DPU）技术，VAST Data成功实现了并行系统架构，使得VAST操作系统能够整体原生地解耦，并转化为高效的AI数据引擎，将超级计算机的功能发挥到极致。
NVIDIA BlueField网络平台凭借强大的计算能力和集成硬件加速器，为AI打造了一个既安全又软件定义的加速计算基础设施。通过为每台GPU服务器配备专用的、运行在状态容器中的NVIDIA BlueField DPU，为VAST并行服务操作系统提供强大动力。这种创新的架构设计将存储和数据库处理服务直接嵌入到AI服务器中，实现了真正的线性数据服务，设计能够轻松扩展到数十万个GPU。此外，通过移除VAST网络附加数据平台基础设施中的多层x86硬件和网络，这种新型AI工厂架构大幅降低了与AI数据服务相关的成本、占地面积和功耗。
通过与NVIDIA的紧密合作及首次集成，VAST Data实现了以下重大突破：
最大化数据中心效率：VAST的分离式、共享一切（DASE）架构充分利用NVIDIA BlueField-3的处理能力，减少了独立计算和网络资源的需求，使得VAST基础设施的功耗和数据中心占地面积降低了惊人的70%。这种综合的端到端解决方案相较于之前采用NVIDIA驱动的超级计算机部署VAST分布式数据服务基础设施的方式，能够节省超过5%的净能源消耗。 实现前所未有的服务质量：通过为每个GPU服务器提供专用且真正并行的存储和数据库容器，这种新型AI工厂架构彻底消除了对数据服务基础设施的争用。VAST的DASE架构具有极高的并行性，使得每个NVIDIA BlueField-3都能够轻松读取和写入VAST数据平台的共享命名空间，无需在容器之间协调IO。这种架构在最基础的层面上消除了基础设施的争用，对于多租户服务提供商来说至关重要，有助于满足客户合同服务水平目标并最大化所有GPU计算资产的利用率。 增强零信任安全性：这种新型的AI工厂架构确保了数据和数据管理的安全，并与主机操作系统实现了有效隔离。相较于使用并行文件系统客户端的AI计算机（这些客户端对数据服务层有深入了解），VAST能够通过NVIDIA BlueField-3 DPU主机工业标准网络附加服务、对象服务和数据库服务，利用标准客户端协议，在不暴露底层数据平台系统拓扑的前提下，消除多租户环境中的许多潜在攻击向量，如NFS、SMB、S3和Apache Arrow等。 提供块存储服务：由NVIDIA DOCA软件框架驱动的VAST系统，如今可以原生地向主机操作系统提供块存储服务。该框架支持容器化服务的快速开发，结合VAST的文件、对象和数据库服务，为高性能应用程序提供了全面、多样的数据呈现方式。
“我们非常荣幸能与NVIDIA携手推动AI计算的产业化进程，”VAST Data的联合创始人Jeff Denworth表示，“这种新架构完美地展现了VAST Data平台的高度并行性。借助NVIDIA BlueField-3 DPU，我们终于可以全面实现公司自成立以来一直追求的分离式数据中心愿景。
这种创新的VAST架构——在AI服务器中运行的VAST软件通过BlueField DPU驱动——已经在领先的GPU云提供商CoreWeave完成了测试和部署。VAST与CoreWeave自2023年起便展开合作，共同打造了世界上一些最具扩展性的AI设备，并助力众多领先的LLM构建者和蓝筹企业客户建立属于他们自己的AI工厂。
“VAST操作系统将新一代加速计算解决方案与先进加速网络基础设施完美结合，使得企业和服务提供商能够享受到更加简化、安全的高性能系统带来的益处，”NVIDIA存储技术副总裁Rob Davis指出。
VAST的革命性架构为CoreWeave带来了颠覆性的改变，使我们能够彻底解耦数据中心架构。我们正在将VAST的先进软件无缝集成到GPU集群中，”CoreWeave工程副总裁Peter Salanki表示。“利用NVIDIA BlueField DPU，我们始终处于创建复杂、软件定义的数据中心抽象的前沿。如今，通过将存储和数据库服务原生整合到BlueField上，我们不仅简化了基础设施，还通过消除AI数据计算管道中的瓶颈，提升了客户的整体体验。CoreWeave不仅与云数据管理的未来保持同步，我们更在引领和定义这一未来。”
---【本文完】---
近期受欢迎的文章：
更多交流，可添加本人微信
（请附姓名/关注领域）