Pure Storage CTO：数据存储技术面临扩展瓶颈
Pure Storage EMEA地区CTO Alex McMullan近日表示，数据存储、网络和软件数据集的规模正迅速逼近可扩展性极限。
本月在伦敦举行的一场简报会上，Pure Storage公司高级副总裁Alex McMullan详细阐述了公司在存储可扩展性方面的战略定位及面临的挑战。
McMullan透露，Pure Storage即将推出新一代大容量直接闪存模块（DFM）。其中，75TB的NAND驱动器已开始交付客户，150TB型号在拉斯维加斯Accelerate大会上亮相，而300TB版本正在紧锣密鼓地开发中。
"我们将在未来几个月内发布一系列重要公告，"McMullan表示。
他指出，三星等NAND芯片供应商对实现500层乃至1000层技术持乐观态度，并正在研发容量达到PB级的驱动器。
固态硬盘（SSD）容量的提升主要依赖于芯片内部层数的增加。例如，美光科技已实现232层技术，并有望从QLC扩展到PLC。然而，如此高容量的NAND驱动器需要更强大的控制器来管理数据分配、磨损均衡和垃圾回收等复杂任务。
以150TB驱动器为例，需要追踪管理150万亿字节（约1.2千万亿比特）的数据，这还不包括额外10-20%用于“预留空间”（OP）的存储空间。对于控制器而言，存储和处理如此海量的元数据无疑是一项艰巨的挑战。
McMullan补充道："我们可能会暂时放缓QLC技术的发展，转而专注于提高芯片层数，从目前的数百层向更高层数迈进。"
但他补充道："这个问题有两个方面：我们能否做到，以及我们是否应该这么做？"
碳排放问题
这些硅基设备通常具有较高的内嵌碳含量。Pure Storage存储阵列重量约为40至50公斤，但其碳足迹却是重量的100倍。从制造角度看，每台设备的二氧化碳排放量达4000公斤，其中92%来自硅材料加工，包括从沙漠开采岩石到粉碎、精炼、制成硅片和蚀刻等过程。
"问题是，如果我们正迈向Gartner等分析师预测的ZB甚至YB级存储时代，我们能否继续承受如此高的碳成本？我们可以采取哪些措施来缓解这一问题？"
McMullan表示，Pure Storage的企业客户非常关注减少内嵌碳排放，包括存储阵列的内嵌碳和持续的电力消耗。
"我们正在多方面努力，包括硬件工程、改进算法和提高供应商效率。"
"我们计划将更多电力优化功能整合到我们的平台中，如通过功率限制运行而非全速运行，或利用人工智能优化系统，在预期用电较少时降低功耗……这些都是我们已经开始实施的措施。"
"假设我们在短期内继续推进这一计划，并且生产出PB级别的驱动器，我认为我们很可能达到这一里程碑……我们实际上已经在与NAND厂商讨论这种规模芯片的可能性。"
后NAND时代的绿色存储技术
"目前，我们正从1Tb向2Tb芯片过渡。但我们的目标远不止于此，可能是现有容量的四倍或五倍。关键问题是，我们是否要继续沿用当前的NAND固态硬盘技术路线？"
三种可能替代NAND的技术：
1. 光学存储介质
2. 新型存储器技术（如PMem、MRAM和ReRAM）：这些技术仍处于Gb级别，适用于嵌入式系统，但要达到当前NAND的存储容量，需要成千上万个芯片。
3. DNA存储：表面上看环保，但目前研究方向仍涉及硅芯片。"这不仅仅是培育DNA序列并冷藏。所谓的酶促DNA研究实际上是在生产带有微孔的硅芯片，将存储介质插入这些孔中。访问数据仍需通过硅芯片，这意味着仍会产生大量内嵌碳。"
关于DNA存储，McMullan认为："DNA存储在数据密度方面前景良好，但目前传感器速度极慢，每小时仅能处理四位数据。这对摩尔斯电码消息很有用，但要达到录制视频的水平，还需提高10到12个数量级。因此，DNA存储可能在长期归档方面有应用，但不太可能在2030年前实现。"
第四种替代方案是在玻璃基板上进行陶瓷蚀刻，类似Cerabyte的技术。与NAND或DRAM不同，这种技术没有直接的电气连接到存储单元，因此访问时间会比NAND慢。McMullan估计："首次字节访问时间可能不到一分钟。当然，也许可以通过缓存或预取等方式来解决这个问题。"
网络挑战
McMullan指出，数据存储扩展是一个多维度问题。"我们从客户那里得到反馈，特别是那些处理PB级甚至EB级数据的客户，不仅限于AI工作负载。"
"所有人都面临着相同的数据管理、数据引力和相关吞吐量挑战，这不仅涉及存储设备本身，还包括设备之外的问题。"他提到了"Nvidia在InfiniBand和Spectrum X领域的主导地位"，并表示这种垄断局面并不理想。
为应对这一挑战，加入了Ultra Ethernet联盟。"我们认为以太网是未来发展方向，但它需要加速扩展。目前我们的以太网速度是400Gbps，但已有客户要求800Gbps。"
McMullan介绍了几项正在推进的新兴技术："我们正积极推动CXL技术的发展。最新的3.1规范引入了内存池化和共享功能，这是一个重要突破。同时，CXL光纤技术也展现出令人瞩目的潜力。这些技术创新的共同目标是显著提升数据传输速度。"
假设能够通过系统联合存储即将到来的大规模数据集，并在网络中快速传输数据，"数据科学家告诉我们，对于拥有庞大且迅速变化的数据集的巨型集群，这将意味着使用基于排名的技术进行索引和标记，背后支撑着巨大的因子数据库，其规模在某些情况下可能与源数据集相当。这让许多人感到震惊。涉及AI标签时，这种影响可能会加倍。"
关于近期技术进展，他表示："PCIe 5可能会在明年进行硬件迭代。但这只是增量改进，并非根本性突破。"
McMullan对NAND驱动器的扩展限制、网络问题以及缺乏足够快速且环保的替代方案表示困惑，同时也提到了相关的软件挑战。
软件挑战
McMullan指出："真正的挑战在于我们能走多远，以及工程师们所指出的限制。讨论制造和交付大容量驱动器很好，但如何处理包含10万亿对象的文件系统？这比当前客户使用的规模大两个数量级，但我们的工程师正在推动我们在2030年前实现这一目标。"
"我们目前的主要关注点是如何构建性能和规模提升两个数量级的系统。这不仅影响计算、内存、网络和带宽，实际上更是一个软件挑战。增加硬件数量相对容易，我们可以从四个控制器增加到八个或十二个。关键是如何处理如此庞大的数据集。"
为应对这一挑战，公司在算法、数据管理和压缩方面投入了大量资源。"去年我们在较大系统上默认提供了压缩卡。现在，基于对实际遥测、工作负载配置和基数的了解，第二代压缩卡也在推出。"
然而，这些仍属于增量改进，而非根本性突破。McMullan解释道："这涉及复杂的计算机科学难题。我们当前支持的文件系统可以处理十亿个文件，某些用例要求十倍于此的规模。但如果需要测试一个包含2亿个文件的目录，你就需要一个能创建2000亿文件的测试系统，这在某些情况下可能需要数天甚至数周。"
为解决这一问题，公司正在采用创新的测试方法："我们现在在测试中使用实际阵列作为伪驱动器，连接到另一个阵列进行测试。我们已经测试了一个500TB的驱动器，实际上这是一个通过旁路连接到设备的阵列。"
McMullan强调："最大的挑战在于碳排放影响，以及构建如此规模系统所需的软件工程。其他方面反而相对简单。如果我们能神奇地从田野中开采出纯硅晶圆，那将是理想的。但我们关注的是影响……这是我们未来规划中的重点之一，即探索使用环保介质的可能性。"
"科技行业正面临巨大挑战。我们似乎陷入了一个没有出路的迷宫。问题在于我们能在这个迷宫中坚持多久……我们可以盲目地继续开发更大更强大的系统。但终有一天，我们必须承认整个制造链需要彻底改变。"
"关于2026年平台的前景，许多工程师都感到困惑。这是一个重大问题。我们似乎正处于一个需要推倒重来的临界点。"
McMullan认为，他和其他IT技术专家都意识到这些即将面临的可扩展性问题，但他们可能在解决方案出现之前就已退休。
Source:Chris Mellor；Pure Storage CTO discusses future scalability challenges in data storage；July 22, 2024
--【本文完】---
近期受欢迎的文章：
更多交流，可添加本人微信
（请附姓名/单位/关注领域）