PB级存储的介质考虑：全闪存是一切问题的最优解？

【ANDY】这是一家之言，有一定的代表性，虽然未必切中技术要点。例如，基于CDM技术的数据备份/恢复，就需要全闪存技术加持，实现RPT/RTO和整体投入成本的绝佳方案。

Source: Paul Speciale, All-flash storage all the time? Why it doesn't make sense for petabyte-scale data, June 1, 2023

自 2010 年首次推出 Scality RING 以来，Scality 已经提供了十几年的一流存储解决方案。我们的目标始终是为客户提供多 PB 级数据解决方案，以实惠的价格提供轻松的应用程序集成、简化的系统管理和可靠的长期数据保护。

通过九个主要软件版本，RING 在存储服务器中采用了基于闪存的 SSD 和硬盘驱动器 （HDD） 介质，因为它们各自都做得很好：

• 闪存 SSD 为小型 IO 密集型元数据和索引操作提供低延迟访问。
• 高密度 HDD 非常适合以文件和对象的形式存储大量客户数据，适用于大多数工作负载（包括需要高吞吐量的工作负载）。
• 对于延迟敏感型读取密集型工作负载，我们建议将全闪存用于主数据存储。

Scality将闪存和 HDD结合使用，在特定情况下利用各自的优势，在性能、容量、长期耐用性和成本之间实现了最佳平衡。从本质上讲，我们的软件能够使用适当的存储介质来为每个工作负载提供最佳选择，因为这最终是为了为我们的客户提供价值。

高密度闪存 SSD 是否是高容量非结构化数据存储的理想选择？

最近，高密度闪存 SSD 被认为是用于高容量非结构化数据存储的 HDD 的卓越替代品。行业新闻和一些存储解决方案供应商已经将最新一代闪存在容量成本方面与HDD“相提并论”，声称它支持PB级存储以及闪存的其它几个优势。有些人甚至预测HDD即将消亡，认为高密度闪存SSD可以做到这一切，而且做得更好。

但是，全闪存对于大量数据真的有意义吗？硬盘是否走渡渡鸟的道路？并不是。

原因如下：在性价比方面，高密度 SSD 无法完全取代 HDD，尤其是在应用程序工作负载范围内 PB 级非结构化数据存储方面。

高速闪存存储简要历史

在过去的十年中，闪存受到了企业数据存储行业的极大关注和投资。虽然在我们的领域，十年可以被认为是一个亿万年，但考虑到闪存 SSD 自 EMC 从 2008 年开始交付以来，已经在企业存储阵列中实施超过 15 年了。为了帮助加速对这种新的低延迟介质的访问，随着行业从光纤通道 （FC） 发展到 SATA 和 SAS，再到基于 PCI 总线的接口，我们看到了接口协议和速度的快速发展，最终在 2011 年形成了英特尔的 NVMe 规范。

同时，底层NAND闪存取得了令人难以置信的进步，这种非易失性存储器于1980年代后期首次出现在市场上。最初的NAND闪存技术是单级单元（SLC）——每个单元一位——使其容量有限且价格昂贵。过渡到每个单元两位（多级单元或MLC）使SLC的密度增加了100%。TLC（三级单元）比MLC增加了50%，每个单元从2位增加到3位。这是一个主要的转折点。闪存随后被主流IT采用，因为它具有高性能，可靠且更实惠。

四级单元（QLC）是闪存的最新一大步，其密度是TLC的两倍。但是，同样重要的是要了解，由于其更高的位密度（每个单元的位数更多），QLC SSD 的耐用性特性本质上比 HDD 低几个数量级，甚至与低密度闪存 SSD 相比。我们通过各种闪存类型的众所周知的“P/E 周期”评级来证明这一点——衡量闪存介质本身可以被编程和擦除的次数，因为我们在 QLC 上从 100000 个周期下降到仅 1000 个周期。

每个单元和 P/E 周期的 SLC、MLC、TLC 和 QLC 存储位的比较。

在我们讨论这些 QLC 闪存耐久性属性对存储系统的影响之前，让我们确定 QLC 闪存 SSD 声称提供什么：

• 高密度（在最新的基于 NVMe 的 2.5 英寸驱动器中，每个驱动器仅超过 30 TB）
• 低延迟访问（与 HDD 上的毫秒级访问时间相比，微秒级）
• 改进的成本曲线（按每 GB 计算，每年的趋势优于 HDD）
• 比HDD更好的“绿色”特性（特别是从功耗的角度来看）

但这些说法与现实相符吗？让我们先解决性能问题。

高密度QLC闪存SSD的性能现实

针对 PB 级非结构化数据（主要是文件和对象存储）优化的存储系统主要利用 HDD 的高密度、可靠性和性能特征，更重要的是，它们在每 GB 容量的低成本方面具有成本效益。

对于需要数十 PB 或更多数据的组织（如金融服务、医疗保健、政府机构、媒体等），基于 HDD 的存储解决方案仍然提供性价比和经济性的最佳组合，以存储和保护长期保留期的数据。这些存储解决方案提供卓越的性价比，其绝对原始性能对于这些数据工作负载来说非常出色。大规模展示其久经考验的特性：如今，云数据中心 90% 的存储容量仍基于 HDD。

近年来，一些供应商已开始采用更新的 QLC 闪存 SSD 作为基础，为存储大量非结构化数据提供高密度、高性能和低成本的三重奏。这些解决方案的论据取决于这些供应商提供上述优势组合的能力：

• 对应用程序有意义的更好性能
• 将有效成本降低到接近每 GB 成本 HDD 的水平
• 足够的持久性，可长期提供企业级数据可靠性

闪存存储系统可以优化需要随机访问小型数据负载的工作负载的性能。一个典型的案例是针对产品订购系统执行随机查询的事务系统，根据键（如客户姓名或电话号码）执行客户记录查找。具有类似模式的较新工作负载是涉及小型 IoT 或设备传感器事件流的工作负载，这些工作负载具有较小的事件数据（每条记录的千字节或更少）。在这种情况下，与 HDD 相比，闪存 SSD 可以在更低的延迟和更高的每秒操作方面提供收益。

在全球范围内，企业客户在基于 HDD 的系统上实现了足够的性能，即使对于延迟敏感的工作负载（和每秒操作数）也是如此。如果微秒级和毫秒级延迟之间的差异对最终用户来说不可见或不重要（同样，关键字有意义），那么包括解决方案定价在内的其它因素将成为主要购买标准。

大多数存储人员都知道性能要求取决于数据（类型、大小、卷）和应用程序的访问要求，因此我们必须了解存储的各种工作负载需求。当应用程序需要顺序访问较大的有效负载（MB和更大范围内的文件）时，性能等式会因较小的文件工作负载而发生巨大变化。

许多现代应用程序都符合这种特征——任何处理视频、高分辨率照片和其它大型二进制数据类型（如视频内容交付、监控、医疗保健成像和遥测）的应用程序都可能具有顺序写入和读取模式。

广泛的数据保护环境中的备份应用程序也符合此配置文件。随着网络犯罪分子在 93% 的攻击中以备份数据为目标，Veeam、Commvault、Veritas、IBM 和 Rubrik 等供应商的解决方案作为抵御勒索病毒威胁的关键任务防线变得越来越重要，并与不可变数据存储解决方案齐头并进，成为存储备份的目标。

这些应用程序倾向于将更大的文件有效负载读取和写入存储，由于固有的不变性优势，对象存储不断上升。就存储系统的性能要求而言，这些应用程序在性能需求方面与随机 IO、延迟敏感型工作负载几乎完全相反：

• 备份：按顺序将大型备份有效负载存储（写入）到存储系统中
• 恢复：对于快速业务恢复至关重要，应用程序将这些存储的大型备份有效负载按顺序读回用户应用程序。

备份应用程序的重要性能指标是以GB/s（或TB/小时）为单位的吞吐量，以便快速顺序访问大型备份文件。此外，在当今拥有数百个任务关键型应用程序的企业中，将需要同时并行处理多个备份和还原作业。从经济上讲，利用共享存储系统并避免经典的存储孤岛爆炸是有意义的。

对于这些顺序 IO 工作负载，QLC 闪存和基于 HDD 的解决方案之间的差异微不足道。基于 HDD 的对象存储解决方案可以配置为达到数十 GB/秒（每小时数十 TB），并具有足够的吞吐量以使网络饱和到应用程序。这是关键，因为存储系统不是性能方面的限制因素。

此外，应用程序本身可能是整体解决方案性能的限制因素，应用程序处理、重复数据删除/压缩和数据重组时间是备份和恢复的主要时间因素。这意味着 HDD 和闪存 SSD 吞吐量之间的增量差异通常可能变得毫无意义，尤其是当我们考虑成本因素时（正如我们在下一节中所做的那样）。

在分析成本之前，闪存还有一个主要性能特征需要注意。当工作负载“改动”（覆盖和删除）闪存介质以及容量接近最大利用率时，性能会下降。当驱动器出厂时，新数据将以线性模式写入驱动器，直到可用容量被填满。在此方案中，驱动器不必对其内部块和页面执行任何重组或回收（称为垃圾回收），这是由于数据被删除或覆盖而导致的。

对于许多应用程序工作负载（包括备份），数据经常被覆盖和删除。这意味着驱动器必须执行垃圾回收，并且写入数据的模式将开始影响性能。整个研究都致力于闪存SSD的利用率和垃圾收集动态，以及与数据缩减技术和数据熵相关的更深奥的方面。

我们可以总结一下，在实践中，特别是对于非纯顺序工作负载，SSD 的性能在达到约 50% 满后开始下降，容量应保持在 70% 以下以提高性能。

这对最终用户意味着什么？闪存存储解决方案首次部署时的初始性能代表绝对峰值功能，随着系统填充，性能会随着时间的推移而下降。一些精明的管理员甚至诉诸SSD上的自定义“过度配置”级别，以保留额外的内部容量以提高性能——但这有效地减少了驱动器的可用数据存储容量，并进一步增加了实际成本。

QLC 闪存固态硬盘的实际成本

作为一家软件定义的存储供应商，Scality 与几乎所有行业领先的服务器平台提供商合作，为我们提供了对 HDD 和闪存 SSD 范围内存储介质真实价格的独特见解。为了公平评估闪存SSD和HDD之间价格平价的当前声明，您首先必须澄清真正比较的内容。

对于大容量存储，我们需要在以下闪存SSD和HDD驱动器类型之间进行比较：

• 高密度、大尺寸 （3.5” LFF） 硬盘驱动器 （HDD）：每个驱动器高达 22 TB（截至今天撰写本文时）
• 基于 QLC 的高密度闪存 SSD：每个驱动器高达 30 TB（目前）

如今，现实情况是 QLC 闪存驱动器的介质成本是 LFF HDD 的 5 到 7 倍，按每 GB 美元计算。

由于这两种类型的介质技术都有积极的路线图开发，这一差距将缩小，但预计到本世纪末仍将是 HDD 的 4 到 5 倍。一个非常重要的注意事项：与小型（2.5” SFF）硬盘驱动器相比，供应商可以对SSD进行更有利的价格比较。

向您的供应商询问有关闪存 SSD 与 HDD 的成本声明时所比较的棘手问题，因为 SFF 硬盘驱动器不提供与 LFF HDD 相同的优势。

考虑到闪存SSD容量价格比高出5至7倍，供应商必须依靠数据缩减技术来降低闪存的有效成本。闪存存储系统采用数据压缩和去重等技术来实现这种降低（同时也保护闪存介质的耐久性），宣称可以将所需存储容量的降低比例从2:1到20:1不等。

这些声明假定应用程序本身不实现数据缩减技术。虽然在某些专门的应用领域中可能是这样，但我们可以再次提及企业备份应用程序，它们确实执行数据缩减功能，大大降低了存储系统实现上述减少因子的能力。对于视频内容和基因组学等领域也是如此，在这些领域，数据已经以某种形式进行了极大的优化和减少。在这里，与备份数据一样，底层闪存系统不能获得与未优化数据相同的数据缩减级别。这最终会最小化并侵蚀声称的闪存SSD三重奏的第三条腿：每GB成本。

这些说法假设应用程序本身不实施数据缩减技术。尽管在某些专业应用领域可能是正确的，但我们再次提到企业备份应用程序，它们确实执行数据缩减功能，大大降低了存储系统实现上述缩减比例的能力。对于视频内容和基因组学等领域也是如此，数据已经以某种形式进行了极端优化和减少。在这些领域中，与备份数据一样，底层的闪存系统无法达到与非优化数据相同的数据降低水平。这最终减少和侵蚀了声称的闪存SSD三位一体的第三个要素：每GB的成本。

总结

• 闪存SSD的成本平价承诺尚未实现。
• 闪存供应商无法通过数据缩减技术消除备份和其他非结构化数据工作负载中的介质价格劣势。
• 虽然闪存SSD在顺序访问工作负载方面可能有相对较小的优势，但其价格与基于硬盘驱动器的解决方案相比存在显著的劣势。

要点

对于所有大规模的、关键的工作负载，并不需要基于QLC闪存的数据存储。尽管我们推荐并使用它来处理对延迟敏感、读取密集的工作负载，这些工作负载能够证明其更高的成本是合理的，但在当今的大多数其他工作负载中，包括备份在内，QLC闪存并不是理想的选择，而备份是现代数据和勒索病毒保护策略的核心。