突破内存墙：软件定义内存技术详解及其应用（演讲/技术白皮书）
技术原理
传统的服务器架构中，内存资源与CPU紧密绑定，每个CPU只能访问与其直接相连的内存。这种模式导致内存利用率低下，形成一个个“内存孤岛”。Kove:SDM则通过软件将多个服务器的物理内存整合到一个逻辑内存池中，并将内存资源与计算资源解耦，使任何CPU都可以访问内存池中的任何内存资源，从而打破了内存孤岛的限制，实现了内存资源的共享和高效利用。
架构解析
管理控制台（MC）：负责协调和管理整个内存池，包括内存资源的配置、分配、监控等功能。用户可以通过MC制定策略，控制内存资源的分配方式和使用权限。
主机软件：部署在应用服务器上，负责将应用程序的内存请求发送到管理控制台，并接收从目标软件传输的内存数据。主机软件对应用程序透明，无需修改代码即可使用SDM功能。
目标软件：部署在提供内存资源的服务器上，负责响应管理控制台的内存分配指令，并将内存数据传输到请求方。
工作流程
发送请求：应用服务器上的主机软件向管理控制台发送内存请求，包括所需的内存大小、访问权限等信息。
分配资源：管理控制台根据预先配置的策略，选择合适的目标服务器，并将内存资源分配给应用服务器。
传输数据：目标服务器上的目标软件将内存数据通过高速网络传输到应用服务器。
访问内存：应用服务器上的主机软件接收内存数据，并将内存地址映射到应用程序的地址空间，使应用程序能够像访问本地内存一样访问远程内存。
技术亮点
分布式缓存管理：Kove:SDM使用分布式缓存管理机制，将经常访问的数据缓存到靠近CPU的位置，减少远程内存访问的次数，从而降低延迟。 多路径传输：Kove:SDM支持多路径传输，将内存数据通过多条网络路径并行传输，提高数据传输效率，进一步降低延迟。 智能调度算法：Kove:SDM的管理控制台采用了智能调度算法，根据应用的内存访问模式，动态地调整内存资源的分配，将热点数据迁移到靠近CPU的位置，提高内存访问效率。
应用场景
AI/ML：为AI/ML模型的训练和推理提供充足的内存空间和更高的内存访问速度，加速模型训练和推理过程，提高数据科学家的工作效率。
HPC：为HPC应用提供更大的内存空间和更高的内存访问效率，满足对高性能计算的需求，例如科学计算、金融建模、天气预报等领域。
数据库：为内存数据库提供更大的内存空间，支持更大规模的数据集，并提升数据库的查询和事务处理性能。
虚拟化和容器化：提高虚拟机和容器的密度，并简化虚拟化和容器化环境中的内存资源管理。
边缘计算：扩展边缘计算能力，支持更复杂的应用场景，例如实时视频分析、工业自动化、智能交通等。
案例分析
案例：Swift利用Kove的软件定义内存(SDM)和Red Hat OpenShift构建企业级AI平台，用于实时监测全球金融交易，进行近乎实时的欺诈检测。
挑战：
金融数据高度敏感，不能使用公有云。
全球交易量大，需超高速处理与大内存支持。
解决方案：
SDM技术整合多个服务器内存资源，提升模型训练和推理速度。
与OpenShift集成，30天完成部署，模型训练速度提升60倍。
实现亚毫秒级欺诈检测并对每笔交易评分。
案例：Red Hat和Kove将SDM应用于放射学和基因组研究，加速脑部扫描图像和基因序列数据的处理。 挑战： 传统图像分析效率低，脑部扫描图像处理需20分钟。 基因组学数据处理需求巨大，内存和计算力要求高。 解决方案： SDM技术整合内存资源，提升处理能力，加速医学研究。 帮助医生快速诊断脑部问题，优化治疗方案。
案例：Red Hat与IOWN合作，利用SDM技术连接两个相距700公里的数据中心，提供低延迟实时音乐会直播。 挑战： 传统架构难以支持低延迟实时应用。 边缘节点内存和计算能力有限。 解决方案： SDM技术整合内存资源，降低延迟，提升带宽。 结合全光网络(APN)扩展低延迟性能。
案例：Supermicro、Kove和Red Hat合作，构建高性能计算集群，提供高达39TB内存空间，支持内存密集型应用。 挑战： 超级计算对内存容量和带宽要求极高。 超级计算中心需降低能耗。 解决方案： SDM技术整合内存，提升内存容量。 降低能耗，通过Kove软件实现12%-54%功耗节省。
演讲：软件定义内存已经到来
John Overton（Kove CEO）
我们正在开发的是软件定义内存（Software-Defined Memory, SDM）技术。这项技术已经在大规模生产环境中部署运行超过十年。有一个政府实验室已经持续使用我们的SDM技术长达13年之久。这绝非新生事物，也不是未经验证的概念，而是一项已在商业环境中得到大规模实践检验的成熟技术。
什么是软件定义内存？本质上，它是一种内存池化（Memory Pooling）技术。这既不是新的内存层级，也不是实验性概念，而是真实的内存资源。可以将其部署在机架上，分布在整个数据中心，甚至延伸到建筑物的另一端。它能够提供接近本地内存的性能，仅带来1%-2%的性能开销。这就是使用该技术所需付出的全部代价。
该技术具有线性扩展能力，可以在任何支持Linux的硬件平台上运行。无需修改任何代码，只需完成安装即可，整个安装过程仅需40分钟。我们的系统受限于硬件的理论规格限制。例如，在AMD64架构处理器上，其规格决定了最大支持128 TB的动态内存实时按需分配。
这项技术能带来什么价值？首先，它突破了传统内存容量的限制。从各个方面来看，它不仅显著提升了系统性能，还能降低能耗。Supermicro和Red Hat的测试表明，仅通过安装我们的软件，无需任何代码修改，就能实现12%-54%的功耗节省。因此，对于ESG，你可以很自信地说："部署Kove解决方案可以帮助数据中心减少30%的能耗。"
该技术使得一些原本被认为不可能实现的本地计算成为可能。其结果可能会让你感到惊讶，甚至震撼。
举个例子，某服务器厂商在进行Redis Memtier基准测试时——这是一个针对Redis（全球部署最广泛的数据库）的第三方独立基准测试——仅通过安装我们的软件，在该厂商的硬件上，80%的测试场景显示，位于25英尺（约7.6米）之外的远程内存的性能竟然超过了本地内存。这个结果是可重复的，经过多次验证，确实可靠。
实施这项技术需要什么条件？让我从几个角度来说明。这项技术现在就可以使用。只需40分钟，点击三次按钮，就能在任何硬件平台上完成安装。你可以使用自己的软件、工作负载和应用场景进行测试。你可以亲自验证我们所说的一切。在30天内，你就能将其部署并进入正式生产环境（GA）。这不是推测，也不存在风险。
多年来，业界一直在讨论内存墙（Memory Wall）问题。我们都知道物理定律是不可违背的——光速限制和传输距离必然会带来延迟问题。许多人认为这个问题无解。但如果这个问题真的能够解决呢？
我可以明确地告诉你，我们已经解决了这个问题。它是可以解决的，而且已经解决了。
这意味着什么？这意味着，如果你在边缘计算节点进行AI运算，你可以实现一些前所未有的操作。如果你能在普通服务器上实现内存的动态调度，就不再需要购买固定内存配置（如128 GB或256 GB）的服务器，而是可以拥有一个动态可变的1 TB内存池，根据需求、时间、模型、训练、推理等因素实时调整。内存可以在集群中动态迁移，创建一个1 TB的虚拟内存空间，这是当前技术能力的四倍。
设想一下在城市中部署服务器集群的场景。你可以以一种前所未有的方式开展边缘计算。
从另一个角度来看，如果你能够掌控内存接口，就可以考虑部署大型语言模型（LLM）或基因组测序应用。如果你想构建大规模基因组测序模型并应用真正的AI技术，就需要考虑内存需求，因为随着数据规模增长，内存需求会呈指数级增长。
让我们看一个真实的超级计算机案例。有人知道世界上最大的超级计算机耗电量相当于多少个家庭的用电量吗？大约相当于3万个家庭的用电量。想想我们前面提到的12%-54%的节能效果，这可能会成为改变游戏规则的技术。
同样，如果你突然能够训练一些之前无法想象的模型，这要归功于我们这款支持内存动态灵活迁移的软件。
硬件是我们最好的伙伴。我们支持所有类型的硬件。任何硬件都可以运行我们的技术，而且现在就可以使用。
Ian A. Hood（Red Hat CTO）
在我们周围涌现着诸多创新技术，像飞行赛车这样的概念令人振奋。但更重要的是，我们今天所讨论的主题与生成式AI（GenAI）、数字孪生（Digital Twin）和气候可持续性（Climate Sustainability）等技术密切相关。当前，业界正在积极探索实现气候变化目标的途径，其中包括低轨道卫星和全光网络（All-Photonic Network, APN）等前沿技术，这些都对未来发展至关重要。
值得注意的是，我们今天讨论的软件定义内存（SDM）技术将为这些创新提供强有力的支持，在为全球企业提供这些能力方面发挥核键作用。
首先谈谈可持续性议题。目前，人们正在探索能源来源并寻求提升能效的方法，通过信息收集来优化电力使用。在科技领域，我们一直专注于降低CPU功耗。虽然我们可以通过调整可用内存容量来降低能耗，但这只解决了部分问题。冷却系统的能耗也是一个重要问题，这对电信运营商和所有移动通信用户来说都是一个重大挑战。
从全球范围来看，移动通信和电信基础设施，尤其是其无线网络部分，约占行业总电力消耗的70%。面对这一严峻问题，我们需要找到降低功耗的方法，同时解决温控问题。我们需要能够实时应用度量指标、提取数据，并实现网络自动化现代化的系统。
当我们将这些因素纳入内存方程时，SDM技术的重要价值开始显现。
我们已经意识到计算系统中存在一个严重的瓶颈——内存（Memory）。随着CPU优化逐渐接近极限，内存使用效率依然低下，平均利用率仅为25%左右。尽管我们已经具备了应用程序、硬件和安全措施，但要实现下一阶段的性能突破，我们仍需要找到解决这些挑战的方法。
现在是彻底革新的时候了。通过软件定义内存技术，我们可以释放系统性能和可扩展性的潜力。通过内存池化（Memory Pooling）并使服务器能够通过高速接口从内存池获取资源，我们可以显著提高资源利用效率，提升CPU使用率，并实现动态资源调整。
作为一家平台公司，Red Hat的首要任务是帮助企业开发应用程序并在各种环境中部署。我们的第二个重点是支持电信工作负载，包括5G和边缘计算（Edge Computing）。最近，我们在AI领域投入了大量资源，支持客户在我们的平台上优化和部署AI模型及AI驱动的应用程序。
当Red Hat的技术与Kove的解决方案结合时，就形成了一个高效的系统。我们通过开源功能实现与OpenShift的通信，这种被称为"操作员"（Operator）的组件负责配置平台底层的软件定义内存。这是一个高效的过程：软件定义、软件配置，完全自动化。
我们进行了大量测试。我们在实验室中完成了数十亿次交易测试。这是一个惊人的数字。我们全面测试了性能、内存和电力消耗，包括节能模式的开启和关闭状态。
此外，我们还使用了与Intel共同开发的开源工具Kepler。这是一个适用于所有Linux系统的开源项目，通过调整CPU状态来优化CPU使用。这为我们提供了更精细的控制能力，使我们能够更好地管理CPU和软件定义内存的使用。
在实际应用中，我们有一个与大型服务提供商的案例。他们希望提供更高效的弹性服务（Elastic Services）。目标是加快收入实现，并通过优化云服务交付来提升竞争力。
在与我们合作过程中，他们发现通过减少所需服务器数量，显著降低了基础设施成本。电力消耗降低了40%，这对他们来说是一个重要成果。更为显著的是，他们的内存使用效率提升了80%，性能甚至优于本地内存。
最关键的是，他们运行的应用程序和提供的服务几乎没有遭受任何性能损失。这成为他们的主要卖点，使他们能够改变商业模式并推动更高的效率。
让我们关注另一个特别有意思的领域——医疗技术应用。我们已经在放射学和基因组研究等领域应用生成式AI，推动医学科学进步。
我们主要处理放射学领域的脑部扫描图像，或分析不同病毒的基因序列。关键优势之一是我们能在几分钟内处理数千张图像。在此过程中，我们确保数据安全处理并分布式存储在数据中心，同时保护隐私数据。这是整个过程中的核心要素。
例如，传统上医生审查一张脑部扫描图像需要约20分钟，而使用我们的系统，同样时间内可以审查约1000张扫描图像。这是一个颠覆性的改变。它加速了研究过程，使治疗更快速、更精准。医生能够更快地诊断出患者的脑部问题，无论是儿童还是成人，并迅速制定合适的治疗方案。
对我而言，这种将技术创新与全球医疗需求相结合的应用极具意义。
另一个有意思的案例是Red Hat与一个相对较新的通信社区建立了合作关系。这个社区创建了一个独特的缩写——IOWN（Innovative Optical and Wireless Network Forum，创新光子与无线网络论坛）。IOWN致力于标准化下一代网络技术的交付，整合了三个核心要素：跨广域数据中心的全光网络（All-Photonic Network）、交互式数字孪生（Interactive Digital Twins）和认知AI（Cognitive AI）。
在Red Hat，我们与多个光通信合作伙伴和客户合作，通过光纤网络连接两个数据中心，实现了一场现场直播音乐会。这场演出在日本两个相距700公里的舞台上进行，管弦乐团和一架钢琴在一个舞台，另一位钢琴家在700公里外的另一个舞台。整个系统的端到端延迟仅为2毫秒，两位钢琴家感觉仿佛在同一舞台演奏。这展示了该技术的卓越性能和架构优势。
我们还展示了这种技术在分布式边缘计算中的应用，特别是在分布式环境中部署AI的场景。
我们的系统能够从远程位置的数千个监视器、摄像头和传感器收集数据。通过Alaton网络进行RDMA来摄取这些数据，并使用OpenShift进行处理。我们可以在每个数据中心部署Kove的软件定义内存，将这种能力扩展到任何需要低延迟和分布式边缘计算的应用场景。
如前所述，我们正将这项技术应用于架构的不同层面，包括数字孪生。下一步是提供Alaton网络，为下一代5G网络提供支持，其中光纤路径能够为移动前传（Mobile Fronthaul）提供更低的延迟。
通过将Kepler与KDM结合，我们实现了50%的电力消耗降低。此外，通过在边缘运行AI并使用OpenShift，我们成功将延迟降低了60%。这是因为我们减少了大规模的光电转换过程，逐步向直接光子接口（Direct Photonic Interface）发展，尽管这一目标尚未完全实现。
我最近参加了在圣地亚哥举行的光学会议，了解了这项技术的发展方向。虽然我们还没有实现将光子接口直接集成到NIC和服务器中，但这是发展的趋势。目前，我们仍在使用400Gbps的电气接口，这些接口虽然使用光纤，但尚未完全实现光子化。
这一切意味着什么？为什么这项突破性技术如此重要？这项技术已经到来，并正在改变现状。
从AI角度来看，这项技术显著节省了应用程序开发者和数据科学家的时间。关键是确保数据科学家能够更高效地工作，避免因内存不足导致工作负载崩溃而需要重新开始。
其次是规模经济效益，这有助于降低基础设施成本。在房地产和能源成本不断上涨的背景下，我们需要更好地利用资源，特别是提高内存效率。我们在电力消耗方面实现了巨大节省，通过共享模式最小化每台服务器的电力使用。
另一个重要特点是解决方案的高度安全性。数据存储在独立的实例中，类似于我们在平台上对容器（Container）和微服务（Microservices）之间的安全隔离。这种方法确保了内存的安全性，同时不影响其上运行的应用程序。
最终，这带来了更好的TCO和惊人的可扩展性。我们观察到性能提升了100倍，投资回报率（ROI）的回收期仅为6个月。这就是我们通过这项技术实现的成果。
Tom Zschach （CIO, Swift）
企业级AI（Enterprise AI）正在为金融服务行业带来深刻变革。正如前面提到的其他领域的案例，这种变革也正在金融服务业中发生。作为全球金融服务社区的重要参与者，Swift在推动这一转变方面具有独特优势。
简要介绍Swift：我们实际上是全球资金流动和交易的基础设施提供者。我们运营着一个覆盖200个国家和地区、连接超过11500家金融机构、监管机构和银行的全球安全金融信息传递网络。我们的系统设计始终以大规模运营为目标——这种规模是巨大的——金融服务行业的重要性怎么强调都不为过。
今天，我想分享Swift的数字化转型历程，特别是我们与Red Hat和Kove在AI领域的合作。我们将讨论已经实现的成果，这些与Ian和其他人在会议中提到的内容相呼应。
我们的核心目标是提升交易速度、打击欺诈，并在一个高度复杂的环境中简化运营，同时将数据安全和隐私视为最高准则。我们的所有行动都必须确保数据隐私和安全不受损害，这也是我们的社区成员高度信任我们服务的原因之一。
我们面临的挑战是：我们处理的数据极其敏感，且不能使用公有云来处理这些数据。由于多种原因，我们没有这样做的权限。因此，我们需要找到创新方式来保护全球金融服务社区。虽然存在诸多障碍，但在深入讨论具体实施方案之前，让我们先来看看这个问题。
关键数据：金融犯罪是一个严峻的现实问题，诈骗手段不断推陈出新。每年接近5000亿美元的损失不仅包括欺诈交易本身的损失，还包括全球银行为保护行业、维持运营和合规而必须支付的成本。我想我们都能达成共识：金融犯罪对社会毫无益处。
我们正在进行一场转型之旅，让我总结一下我们的工作成果。
首先，我们实现了空前的处理速度和基础设施优化能力。在对欺诈检测模型（我们称之为异常检测模型（Anomaly Detection Model））的训练时间进行公平对比时，我们发现使用Red Hat和Kove的AI平台C3进行训练的速度提升了60倍——注意是60倍而不是60%。
我们还将单台机器上的容器（Container）密度提高到预期的100倍。例如，我们可以使用一台配置128GB内存的标准服务器，将其扩展到为任意容器提供128TB的内存容量。通过实时交易监控，我们能够帮助银行和社区及时发现欺诈并提升运营效率。我们能够在毫秒级别实时处理交易数据。对于通过应用程序进行现金支付或转账的用户来说，处理时间不能持续数分钟，必须快速、可靠且安全，而我们已经实现了这一目标。
第三项成就是建立了可扩展且可优化的基础设施。具体来说：我们正在使用Swift两年的网络流量数据，训练基于Transformer架构的下一代模型。就我们所知，这是全球交易数据库或直接交易数据库服务中规模最大的数据处理。我们已完成早期模型的训练，取得了显著成果，目前正在与合作银行分享这些成果。
我们选择Transformer架构是因为它特别擅长检测序列数据（Sequential Data）中的模式，并捕捉长期依赖关系（Long-term Dependencies），这对欺诈检测至关重要。这类似于大语言模型（LLM）预测下一个词的任务，在我们的场景中，我们预测的是下一个欺诈事件。这种创新方法需要大规模计算支持。
此外，由于资源利用率和性能的提升，我们实际延长了服务器的使用周期。系统已经运行近三年，明年我们不需要进行技术更新，因为现有性能已经足够。本地部署（On-premises）意味着我们减少了硬件采购，并能更高效地利用现有设备。
我们是如何实现这一切的？这要从我们的合作伙伴说起。这是我们AI运维（AIOps）平台的架构概览。我想强调的是，我们依靠战略合作伙伴来获取我们目前不具备的能力和专业知识，这使我们能够实现更大规模的运营。我们可以接触到全球顶尖人才，这对解决金融服务行业的实际问题至关重要。
这是一个整体架构图。我想强调的是，Kove的软件定义内存（SDM）与Red Hat的集成非常顺畅。整个集成过程无需任何代码修改。在启动容器进行训练或运行推理（Inference）时，我们不需要调整代码。你只需享受更高效的硬件利用率，更重要的是，获得近乎无限的内存资源。你不再需要担心如何将数据适配到容器大小——因为内存可以容纳所需的所有数据，你可以使用更多数据进行训练。这突破了我们一直讨论的内存瓶颈。
得益于Red Hat和Kove的这种集成，我们在30天内就实现了系统部署。这使我们能够在实验室环境中进行测试并快速创造价值。目前，我们正在使用完整数据集训练Transformer模型，并能够以亚毫秒级性能执行欺诈检测并为交易分配风险评分。
接下来，我想快速强调几点重要内容：使用这一解决方案，我们显著提升了数据科学家的生产效率。例如，由于内存分配只需约200毫秒，数据科学家无需排队等待资源。他们不再需要等待数天或数周才能获得训练模型所需的基础设施。这对于我们这样珍视数据科学家这一稀缺资源的公司来说是巨大的优势。
另一项重要收益是加强了我们的数据隐私和安全标准。作为负责任的AI创新和治理框架的一部分，我们正在实施机密计算（Confidential Computing）和联邦学习（Federated Learning）。该框架确保数据得到充分保护，为客户提供安全可靠的交易环境。
总之，我们实现了前所未有的处理速度，这使我们能够加强欺诈检测能力，并与社区合作提升整个金融服务行业的安全性。这是我们的目标，也是我们的使命。我们以具有成本效益的方式取得了这些成果，同时保持了控制力。如果没有Red Hat、Kove和C3平台的支持，这一切都是不可能的。
因此，我们现在能够以安全可靠的方式，探索推动金融服务社区和全球经济发展的变革性方法。
技术白皮书：最大化性能超越硬件限制
引言
软件定义内存（Software-Defined Memory）的愿景成为现实
服务器内存的重要性是毋庸置疑的。克服内存限制是当今技术人员面临的最棘手挑战之一,尤其在内存扩展成本高昂且需求与容量持续增长的情况下。许多技术人员不愿将服务器内存使用率提升至接近极限,因为他们担心内存耗尽会导致系统崩溃,更糟糕的是可能触发交换操作,这种情况可能需要数周才能恢复。因此,他们通常只使用可用内存的一小部分。
现今市场上存在多种内存技术可供选择,每种技术都有其独特优势,同时也存在令人担忧的局限性。而且,没有任何一种技术能完全解决上述核心问题。
直到现在。
这是因为软件定义内存（Software-Defined Memory, SDM）真正解决了这些问题,为用户带来了广泛的收益——且几乎没有明显的缺陷。
尽管提升处理能力并降低整体服务器内存需求的优势显而易见,但技术挑战使得软件定义内存在过去几十年未能实现。例如,一个常见的解决方案是基于硬件的对称多处理器（Symmetric Multiprocessing, SMP）以及软件SMP（vSMP）。关键问题在于：这些方案未能有效扩展缓存一致性,当内存距离处理器（CPU）越远,性能就会越差。
然而,软件定义内存的技术难题最终得到了有效解决。
Kove公司通过其专利的Kove:SDM技术克服了这些挑战。该技术避免了缓存一致性扩展的问题,能够使内存位于距CPU数百英尺远的位置,同时保持可预测且易于理解的真实内存性能。
本白皮书将探讨当前可用的各种内存技术方案,深入分析软件定义内存的核心优势,特别是Kove:SDM的优点,并提供实施该解决方案的路线图,以助力提升计算能力。
竞争激烈的内存技术领域
DRAM和SDRAM提供最高性能的易失性内存 存储级内存（Storage Class Memory, SCM）是连接企业级闪存（Enterprise Flash）与DRAM的桥梁,可能是未来替代DRAM的候选技术 持久性内存（Persistent Memory, PMEM）包括电池备份DIMM、闪存备份DIMM以及提供字节寻址能力的内存技术,这些内存位于内存总线上,具有不同的性能、成本和容量特征 企业级闪存（Enterprise Flash）可加速基于磁盘的数据访问,但无论是在单设备还是跨Fabric网络环境下,都无法替代RAM作为主内存使用 对称多处理器（SMP/vSMP）架构多年来一直在进行CPU和内存的聚合以构建更大规模的机器,但仍面临扩展性挑战 消息传递接口（MPI）具有良好的扩展性,但需要大量前期数据建模工作 超级计算机类型的架构采用大规模硬件、定制芯片及其他定制集成方案,但用户无法享受到服务器市场带来的效率优势（成本、规模、物流等）
这些技术的问题在于,任何基础设施——无论规模大小,也不论是否为边缘计算——都无法实现服务器内存的100%利用率。虽然内存通常占服务器成本的65%-85%,但其使用率仅为15%-30%左右。更重要的是,如果没有足够的内存,CPU利用率往往只有5%-10%。因此,未被充分利用的内存实际上被束缚在服务器内部——它与特定的CPU绑定,无法与数据中心内的其他资源共享或交互。
再谈：软件定义内存
市场力量持续推动效率提升,但在Kove:SDM出现之前,完整的软件定义内存（SDM）一直是一个技术难题。
值得注意的是,软件定义内存是软件定义技术（Software-Defined Technologies, SDT）的组成部分,后者专注于虚拟化资源的管理。SDT还包括存储、计算、网络等其他领域。软件定义内存使组织能够像管理其他已经广泛应用的虚拟化数据中心资源一样管理内存。
Kove:SDM实现了软件定义内存的理论承诺,使单个服务器能够从共享内存池中按需调用内存资源。这样,工作负载可以获得所需的精确内存量,甚至超出物理服务器的容量限制。当任务完成后,内存会返回到内存池,供其他服务器和任务使用,从而提高整体内存利用率。通过这种方式,企业不仅可以降低单个服务器的内存需求,还能减少总体内存需求,因为它能够更具策略性地在需要时、需要的地方使用内存。
对称多处理器（SMP）和软件SMP（vSMP）表现如何?
Kove:SDM并非首次尝试扩展计算基础设施。此前的尝试包括使用对称多处理架构（SMP）和软件SMP（vSMP）进行计算聚合。这些方案往往过于繁琐,因为它们需要专用硬件、定制编程技术和集成工作。此外,它们通常还需要对硬件和软件进行修改,且扩展性有限。
与SMP和vSMP方案不同,Kove:SDM无需专用硬件或软件代码更改。它可以在本地计算环境中聚合任意规模的内存,使用标准且未经修改的硬件,提供纳秒级的确定性计算,并且能够实现线性扩展。
目前,Kove:SDM的单机架系统提供了全球最高的性能密度,能够保证稳定的纳秒级确定性。例如,使用1U标准服务器机架,Kove:SDM可将聚合PCIe总线带宽提升至超过17亿IOPS和1TB/秒的按需带宽,延迟范围在约2微秒到8微秒之间（具体取决于接口）,并提供稳定的纳秒级计算确定性。我们的软件便于在服务器、机架乃至整个数据中心范围内灵活调整计算与内存的关系。
深入理解内存数据库、缓存及其他方案
虽然像SAP HANA、Coherence、MemSQL或eXtremeDB等内存数据库可以根据本地系统规模进行扩展,并且非常适合高端对称多处理器（SMP）系统和专用硬件,但它们在扩展时可能出现"分片"（shard）容量问题,导致性能下降。它们的延迟目标通常是针对计算机内存规模优化的,而基于TCP/IP或UDP/IP的以太网延迟则在毫秒级别。
作为内存数据库的自然补充,Kove:SDM使用户能够动态管理和扩展跨服务器的内存资源。Kove:SDM为计算提供纳秒级的确定性,并且即使在未经修改的标准设备上也能实现线性扩展。相比之下,存储级内存（SCM）技术虽然声称具有某些重叠功能,但实际上无法达到这种性能水平。
某些内存网格可能通过"分片"容量或计算来提升性能,但这些提升并非总能有效扩展。虽然内存网格可以在内存中存储数据并将计算与数据存储放在一起,但它们通常只能横向扩展,而不像Kove那样可以在所有维度上任意扩展。内存网格不适合动态或按需场景,它们的目标是实现基于TCP/IP或UDP/IP的毫秒级延迟。相比之下,Kove:SDM能够在数据中心内跨服务器动态地任意扩展内存,为存储和传输接口提供微秒级访问延迟,同时为计算提供纳秒级确定性。Kove:SDM能够在保持线性扩展的同时,使用通用且未经修改的硬件。
企业级闪存、NVMe、Intel Optane、3D XPoint和Z-NAND等技术主要解决存储性能问题,但未能解决内存受限或内存孤岛（stranded memory）问题。在这些方案中,服务器内存容量仅能通过内存插槽数与DIMM（Dual Inline Memory Module）容量的乘积来确定。虽然增加容量能提升性能,但也大大增加了内存孤岛的风险——即未被使用、隔离且无法共享的服务器内存。
虽然这些技术可能声称具有某些重叠功能,但存储级内存（SCM）网格技术并非真正的内存。相比之下,Kove:SDM是真正的内存解决方案,它提供了一种真正的软件定义内存方案,有效地实现了内存与服务器的解耦。它将内存聚合为资源池,能够随时随地按需提供内存,减少甚至在某些情况下消除内存孤岛。
以真实内存为目标,同时支持存储级内存（SCM） 聚合并按需提供超出服务器限制的内存资源 通过配置规则将内存灵活调配到所需位置,减少内存孤岛 支持字节寻址介质,包括DRAM、Intel Optane、Z-NAND等
简要了解CXL
计算扩展链接（Compute Express Link, CXL）是一项开放标准倡议,旨在支持处理器、加速器和外部内存设备之间的缓存一致性内存。CXL主要面向机架内持久性内存的自然内存语义实现,特别适合多GPU性能扩展场景。
Kove:SDM在机架内存设计的基础上,实现了跨机架、边缘设备或整个数据中心的内存管理。我们的软件在提升性能的同时优化了灵活性,支持逻辑内存（如1MiB粒度）而非基于设备大小（如按DIMM）的内存配置。它可部署在标准服务器上,无需专用设备或CPU升级。
尽管CXL尚未广泛应用且需要新的服务器硬件,但随着各种内存规范和互连技术的发展与普及,Kove:SDM将原生支持CXL及其他竞争性技术。
Kove:SDM工作原理简述
Kove:SDM通过将内存从服务器解耦,将其聚合为可分配、可共享的资源池,实现了跨服务器或整个数据中心的内存分配与使用,同时采用未经修改的标准硬件。
使用Kove:SDM策略,在每天5点到8：30期间为200台服务器按需分配最多2 TiB内存 制定配置规则,支持在需要时瞬间创建数千个额外容器 在数小时内为服务器配置40 TiB内存,或为每天早晨的临时高吞吐需求提供100 TiB的RAM磁盘（配备RAID备份存储） 允许机器学习（Machine Learning, ML）任务使用超出物理边缘服务器容量的内存
1）管理控制台（MC）负责协调内存池使用; 2）Kove Host软件将应用程序与内存池连接; 3）我们的软件将服务器转化为内存目标,形成内存池。
用户和应用程序无需感知Kove的存在,所有操作对它们而言完全透明。
消除内存孤岛
策略可使一组应用程序在超出物理服务器容量时自动扩展内存,以满足日终需求 任务完成后,另一策略可重新配置内存,将特定服务器从3 TiB扩展至30 TiB
使用完毕后,Kove:SDM会安全地将内存清零并返回资源池供重用。因此,Kove:SDM为内存安全提供了强有力的保护,有效防范Rowhammer攻击等针对内存的攻击。
提供基础内存韧性（Memory Resilience）
对于本地部署服务器：组织需发起服务请求,可能面临数小时或更长的停机时间 在云环境中：用户重新登录后将获得全新服务器（内存故障会导致CPU和内存同时丢失） 然而,Kove:SDM提供的内存恢复与CPU无关。它能在数百毫秒内创建替代分配,无需服务器停机或重建。服务器只需请求新的内存分配,即可从内存池中获取资源。
同时,Kove:SDM继续支持各类硬件韧性技术,包括内存条冗余（rank sparing）、内存镜像（memory mirroring）、持久性内存（persistent memory）以及新兴的韧性技术。
易于安装的内存技术
Kove:SDM可在常见硬件上实现。它采用两种网络交换架构：以太网用于控制平面（即命令与控制）,InfiniBand用于数据平面（即内存数据传输）。
值得注意的是,Kove:SDM对InfiniBand的使用正符合该技术最初的设计意图：作为内存使用。使用以太网和InfiniBand时无需任何特殊修改。
此外,Kove工程师在设计Kove:SDM时已预见到多种快速"内存互联技术"的引入,如PCIe、GenZ、Photonics、RoCE、Omni-Path、Slingshot、CXL等。Kove的设计将随这些新兴内存互联技术的普及逐步支持它们。
Kove:SDM安装完成后,客户可创建内存目标。每个目标可直接连接服务器或参与内存池。换言之,Kove:SDM提供了灵活的部署能力。下表展示了Kove:SDM在使用PCIe 3.0总线的标准1U服务器上的性能表现。结合内存分配,客户可将内存动态地按需分配到边缘设备、数据中心或任何中间位置。这一过程对用户透明且无需代码修改。
1U配置：内存容量3 TiB，IOPS达3700万，带宽（延迟8微秒）为50 GB/秒。 40U配置：内存容量60 TiB，IOPS达17亿，带宽（延迟8微秒）为1 TB/秒。
提升安全性
如前所述,Kove:SDM使用后会安全清零内存并将其返回内存池重用。
类似于存储中的"LUN掩蔽"（LUN Masking）,Kove:SDM提供安全的客户端掩蔽（client masking）,确保客户隔离并支持多租户环境。同时强制执行交换区划分（fabric partitioning）,并使用64位密钥对主机-交换适配器（host-fabric adapters）进行加密。因此,Kove:SDM为内存攻击提供了强有力的安全防护。
本地部署替代云计算
虽然Kove:SDM可与Microsoft Azure协同工作,但它也可作为云计算的替代方案,特别适用于以下场景：数据量巨大、私密性要求高或对延迟敏感而无法通过互联网传输的客户,以及具有边缘计算需求和/或动态内存需求的客户,如AI/ML应用场景。
Kove:SDM关键特性
灵活性（Flexibility） 简单性（Simplicity） 便利性（Convenience） 节省成本（Savings） 可扩展性（Scale） 性能（Performance）
Kove:SDM应用场景
Kove:SDM适用于各类内存密集型应用场景,包括分析、数据库、大数据计算、虚拟桌面基础设施（VDI）、可视化、基因组学、蒙特卡罗模拟、AI/ML、增强虚拟机基础设施（提高密度、改善性能）等。
在电力受限环境中,Kove:SDM能带来额外优势。由于内存持续消耗电力,通过按需调配内存,用户可以利用较少数量的低性能服务器获得相当的计算成果。这不仅减少了资源浪费,提高了利用率,还能确保所需计算资源的可用性。
AI/ML 动画 分析 云计算 虚拟化 容器 边缘计算 数据库 图形计算 Web服务 金融服务 可视化 生命科学 基因组学 电信
可见的成果
这些特性意味着什么?这表明Kove:SDM已与存储、计算和网络一起,成为企业虚拟化的又一项基础技术。它为市场提供了真正灵活、全面通用且完全专利的软件定义内存架构。毕竟,Kove:SDM适用于任何场景,无论新旧、简繁、性能提升还是成本降低。您甚至可以让边缘设备具备云计算级别的能力。立即了解Kove:SDM,探索它如何为您的企业带来变革。
投资回报率（ROI）达200%或更高 典型回报周期为6个月 提升虚拟机和容器密度 节省50%的电力和制冷成本 在本地处理敏感工作负载,无需妥协 降低55%的有效插槽成本 实现内存虚拟化,与其他资源虚拟化同理 TCO降低33% 提供50%更多计算能力 支持本地运行敏感工作负载,规避云端风险 通过按需、任意规模的内存扩展,缩短解决方案交付时间 延长现有硬件使用寿命
Overton, John. "Kove FMS 2024 Keynote: Software-Defined Memory is Here." YouTube, Kove, 11 Oct. 2024, www.youtube.com/watch?v=ryBk9nvSBmw. Kove. "Maximizing Performance Beyond Hardware Limitations." 16 Jan. 2024.
--【本文完】---
近期受欢迎的文章：
更多交流，可加本人微信
（请附中文姓名/公司/关注领域）