主存储的未来：内存逐渐替代传统存储

Source: Stephen Foskett, Primary Storage is Becoming Secondary Storage, September 19, 2023

存储行业正在逐渐将关注点从传统存储转向内存，这反映了计算堆栈的架构变革。本期《On-Premise IT》聚焦于新的存储堆栈，其中现在包含了内存，与出席Storage Field Day 26和SNIA存储开发者大会的Andy Banta、Jim Jones、Vuong Pham和Stephen Foskett一同探讨。过去，内存和存储之间的差异主要取决于可用技术，但这些界限现在变得模糊不清。最新的系统可以以极其相似的方式处理存储和内存，并且可以将先进的数据管理技术应用于内存和存储之中。NVMe、NAND闪存、CXL和持久内存技术正在模糊这些界限，而在SNIA的SDC上突显的软件最新发展也带来了全新的功能。随着内存越来越像存储，曾经的主存储在层次结构中扮演着新的角色，侧重于数据管理、勒索病毒和数据保护。

内存逐渐取代主存储

正如Storage Field Day的演示和讨论以及今年的SNIA存储开发者大会所反映的，主存储正在逐渐采纳二级存储的特性。这是由于内存技术的进步，它们正在取代主存储的地位，并引起主要供应商对二级服务的关注。

在Storage Field Day之前，Andy Banta、Jim Jones、Vuong Pham和Stephen Foskett讨论了这种新的存储方法。讨论集中在持久内存和CXL、内存系统、内存分层以及与内存分层相关的新问题上。我们一致认为，主存储看起来越来越像二级存储，而靠近CPU的内存正在成为“主内存”的热门选择！

当然，内存并非存储，因此我们必须考虑数据的持久性。尽管需要更快的数据访问，但我们始终需要数据的持久性存储，而这不仅仅是传统的归档。我们还必须考虑缓存一致性，因为这些系统将具有多个缓存级别，超出了L1、L2和L3。

CXL（Compute Express Link）提供了前进的途径，因为它将提供系统扩展和缓存一致性，尽管一致性和处理器争用（CXL 3.0的一部分）令人担忧。尽管存在这些担忧，但该协议的广泛采用表明了其势头和潜力，有望彻底改变IT基础架构。

内存和存储的根本重组、分层内存的不断突显，以及CXL等颠覆性工具的整合，都标志着对主存储和二级存储理念的范式变革。它们正在塑造IT堆栈的未来，引领着一个既具有挑战性又充满激情的行业新时代。

对话记录：

今天的这期节目是与Storage Field Day和SNIA的Storage Developer Conference合作录制的，重点关注存储。关于主存储、次要存储、持久内存、CXL等等的一切。实际上，主存储正在逐渐演变为次要存储，而持久内存正变成主要存储，对吧？

但在我们深入讨论这个话题之前，让我们先快速认识一下今天在座的专家。

我是Andy Banta，我是存储领域的清洁工。我在存储行业有着多年的经验。

我是Jim Jones，我是Level 11 Systems的高级产品基础架构师。

我是Balloon Fam，我是一名高级解决方案架构师。我在存储、计算等领域有丰富的经验，所以这些都很有趣。

我是Stephen Foskett。我负责发布这个网站和播客等等，但我也是一个存储领域的狂热爱好者，我热爱Storage Developer Conference，因为这是唯一一个真正可以深入研究存储的时候。看一下本周的议程，都是关于持久内存、CXL、内存和存储的内容。

Andy，这个行业发生了什么？

这个行业发生了很多事情。令我惊讶的是，作为一个存储开发者已经多年的人，这是我第一次参加这样的Storage Developer Conference。当我看到议程时，我感到惊讶的是，我们不再谈论老式的存储。实际上，我们正在讨论内存系统、内存层次和各种使用内存的方式，正如Stephen所说，通过CXL、PMem等等。实际上，关于老式存储的主题非常少。我对此的看法是，多年来被认为是主要存储的东西现在只是次要存储。主要存储是靠近CPU的地方。我们需要开始将我们多年来一直对存储使用的那些东西应用到主存储上。这并不意味着我们已经真正解决了所有的存储层次问题。实际上，我们只是引入了更多的内存层次问题，这些都是我们需要继续解决的问题。你知道，我们从五个层次扩展到十个层次，问题变得更加复杂。

没错，实际上，我们正在探讨数据中心持续发展的问题。我在这个领域已经有20多年了，还记得我第一份工作，有人提出了一个点子，想要创建一个RAM驱动器，就是在一个PCI卡上放置了大量的RAM，可以用来存放数据库。但你最好确保系统永远不会重新启动。我们一直在不断尝试将存储尽可能地靠近处理器，并提高速度，而这是下一代、下一个迭代版本的发展方向。有趣的是，从我的角度来看，无论是机械硬盘，还是后来的固态硬盘或闪存，一直以来，我们都在试图尽可能地将存储靠近处理器，这是存储领域的不懈追求。而现在，这是下一代的挑战。从我的角度来看，这个行业的一个持续问题是，在我们拥有某项技术之前，我们总会遇到减速的问题。我们一直在努力寻找方法，无论是机械硬盘还是后来的固态硬盘或闪存，来克服阻碍我们速度的问题。那么，对于下一代或类似的技术，我们将使用什么来消除瓶颈？我认为这非常令人兴奋。我们将面临一些新的范例，一些新的挑战，以及对性能的新要求。在我们开始这个播客之前，我们在谈论新的瓶颈，发生了什么新的情况，新的事物，因为当我第一次踏入IT领域时，我对瓶颈的探索就像是魔法一样，你知道的，因为从我的背景来看，了解生物学就像，哦，你得知道这个与那个之间是如何相互关联的。而现在，这个领域已经升华到一个不同的层次，我们正在讨论比我们过去所能想象的规模更大的问题，我们必须对当前运营、未来运营产生影响，以及今天事物的运作方式以及应用程序将如何行为和响应。

是的，我认为重要的是要记住，我们一直在处理整个存储体系结构，即存储和内存之间的分离，而这种分离只是技术的产物。这就是为什么存储和内存之间一直存在历史性的差异，因为内存在物理上是一种不同的实体。必须以不同的方式访问内存，因为它由不同的原子构成。然而，现在内存和存储正在彼此融合，因此存储已经大部分转向了基于PCI Express的NVMe，内存正在向基于PCI Express的CXL转移。传统上，存在着位基址、字节基址、页面基址和块基址寻址方法之间的差异，但现在很多这些差异正在发生变化。但持久性与非持久性、RAM与NAND等之间仍然存在差异。那么，这些差异是否如此显著，以至于我们真的正在消除这些界限吗？我认为它们之间的差异非常显著。我们仍然需要持久性地存储数据，因为你的银行账户不能存在于易失性内存中。我认为我们将永远需要一种方法来实现完全持久的内存。

计算机行业目前正在发生的一个关键变革是，与处理器关联的内存量并不是固定的。我们已经达到了这样一个程度：你购买了一台具有这么多CPU的服务器，可以通过CXL扩展内存，无论是在机箱内还是在机箱外。谁能说我们不会最终在这个内存上实施类似于RAID或纠删码的东西，这些内存可能在多个系统之间共享，只要内存保持开启，并且有一种方式来恢复数据，如果内存的某部分出现故障？我不是说这将会发生，但如果曾经被认为是主存储的东西现在变成了存储的辅助，那么新的主存储可能会采用不同的架构来保持一致性并确保数据完整性。

没错，数据完整性无论速度多快、可用性多高都至关重要。即使是非易失性内存，只要数据的完整性没有受损，也是必不可少的。我们是否正在走向这样一种情况，未来的CPU将具有大型缓存，重新架构操作系统，并模糊了历史上被视为独立存储层的界限？我们是否正在重新定义今天我们所知道的HCI？我认为HCI不断重新定义自己。随着核心数量的增加，处理器的体系结构可能不会显著扩展L1和L2缓存，这可能会导致多个核心访问L2缓存时出现一致性问题。性能和数据完整性至关重要，而缓存一致性是像CXL这样的技术正在解决的关键问题。

CXL带来了缓存一致性，允许具有多个核心的系统确保正确的数据位于缓存中，而不是过时的数据。它启用了一种不同类型的树形拓扑结构，将盒外的内存视为另一个处理器，实现了共享和汇集。所有这些都是缓存一致的，预计CXL 3.0将进一步推进这项技术。

那么哪个是规范，哪个是规范，我在存储行业工作了很长时间，当规范实际上需要转化为代码时，它变得非常困难。缓存一致性是一个非常棘手的问题，多个来源之间的竞争也是一个非常棘手的问题。CXL 3.0应该能够神奇地解决这两个问题，而且你可以按照任何你想要的方式进行规范。实际生成代码，解决多个来源之间的一致性问题、多个处理器之间的竞争问题和缓存一致性问题，这实际上非常困难。所以我同意Stephen的观点；CXL正试图解决这些问题。与此同时，尽管你在这些系统之间不进行共享或一致性，但我们今天使用CXL的方式提供了许多可能性。

你说得对，Andy，因为这似乎是那种试图从理论到实施的问题，然后许多公司都面临着从实施到从未预期过的场景的问题。CXL是我仍在努力真正理解的那些神奇、不可思议的技术之一。我期待着参加会议并深入研究。我将很感兴趣看到最终用户如何查看这些技术并说：“哦，好的，现在我可以用那个来做这个事情。”但尽管如此，产品的实施和仅仅对其进行规范之间总是存在一定的距离。

内存池化和内存共享是CXL联盟试图提供的重要产品，整个行业都在拥抱CXL。现在，每个CPU平台都支持CXL 1.0或2.0，或者将在下一个版本中支持。整个行业都在强力推动这一技术。CXL背后的颠覆性概念是分层内存，我们不能将所有内存都视为相同，整个存储架构都将因此而改变。正如Andy一开始提到的，主存储已经不再是主存储了。传统的存储类型，如SAN、NAS、块存储或对象存储，都不再涉及其中，它们是下一个存储层次。

当然，我们的目标是实现更接近零环的处理，这是我们迈向这一目标的一大步。传统的混合存储，其中包含SSD和传统硬盘，已经成为过去，现在更加简化和一致。尽管我们会在网络和其他方面面临挑战，但正确的编码对于处理这一转变至关重要。传统主存储仍然会有场景，因为非易失性内存并不适用于所有情况。我们需要确保数据的完整性，并妥善处理这一过渡。

每家主要的处理器公司都在处理CXL，而主要操作系统，如VMware和Linux，正在编写软件以与CXL兼容。硬件和软件供应商通力合作推动这些创新。随着我们朝着多层内存的方向发展，我们将需要更多的软件来有效管理不同类型的内存。我们可以期待开发适用于各种内存架构的软件，以及用于内存的RAID或纠删码等潜在技术。请密切关注这个领域，因为将会有进化和革命性的方法来解决这些问题，而且这不仅限于单一供应商或平台。

有趣的一点是，总会有人提出疯狂、出奇不意的场景。我们将看到一些全新的概念，涉及共享内存和重新定义以前所认为的主存储。如果你看看今天的主存储公司，如NetApp、Pure Storage、Dell和HPE，它们的主打功能已经不再是传统的存储功能。

的确，事实上，很多这些公司现在更多地关注勒索病毒的防护。他们讨论的是与二级存储相关的事项。这让我想到，Andy，这个整个主题是否正处于正确的轨道上，因为主存储不仅被内存技术推向了二级存储，还受到人们所需和人们正在采购的需求的影响。所以，正如Steven所说，我们认为的许多主存储公司正在认真研究它们在多云环境中的存在。

你可以在数据中心中拥有你自己的云，或将其迁移到云中，这类似于10年前的二级存储。现在，主存储公司提供了二级存储类型的功能，例如成为云计算的一部分。我的设备中的内存现在实际上就是我的主要存储。

是的，正如你所说，事实是，我们现在在识别勒索病毒攻击方面的平均时间已经缩短到了分钟级，而不再是以前的天级。在应对这个问题时，我们面临着更多的智能化压力。目前推动创新的一切都与引入新层次有关，每次触及飞行中的数据时，都需要使其更快。因此，我们正在朝着更快、更靠近的存储方向迈进。

我正期待着能够实现直接写入磁带的CXL应用，我们可以称之为“未来完整”。我希望看到CXL操作能够涉及到压缩的RNA。想象一下，处理二进制的零和一，而DNA则是四进制，然后将其压缩到二进制，这个领域正在不断创新。

这次讨论非常精彩。内存技术的进步正在推动存储从主存储向次要存储的转变。我们正在亲眼见证一场变革，看到接下来会发生令人兴奋的事情。

---【本文完】---

近期受欢迎的文章：

我们正处于数十年未见之大机遇中

新技术爆发式发展，催生新产品

然而，颠覆式创新并非简单的技术堆叠

而是异常复杂的系统工程

需要深度洞察

欢迎一起分享思考和见解