闪存与AI相互影响，及闪存价格前景
大约20年前，闪存技术首次进入企业数据中心，这项开创性技术迅速改变了各类应用程序的性能。
我们希望深入了解闪存与当前AI领域发展之间的关系，因此我们汇集了一组专家，向他们了解闪存对AI、以及相关领域如分析、物联网和边缘计算的影响程度。
反之，我们还请教了专家们这些技术将如何改变对闪存的使用率。由于成本是影响任何技术实施的重要因素，而在过去20年里，闪存价格已经大幅下降，我们还询问了专家们是否预计未来5年内闪存价格将继续走低。
AI与闪存的关系难以定义
随着应用程序需要访问的数据量增加，将数据存储在闪存而不是HDD上可以提供更大的性能提升。由于AI是一种高度数据密集型的应用程序，人们可能认为，没有闪存，就不会有现代的AI。然而，我们小组中的多名成员对这一观点提出了质疑。
“在这个行业中，有人认为如果不是过去十年向固态存储的转变，我们就不会有今天的AI。虽然这可能是真的，但这是非常难以证明的。AI训练消耗巨大的资源，SSD已经加速了计算性能的全面提升，因此AI将从中受益，”分析公司Objective Analysis的总监Jim Handy表示。“对于基于先进计算技术的任何学科，无论是分析、核物理还是气象学，都是如此。”
Bloor Research分析公司的发展与政府实践领导者David Norfolk表示：“闪存使存储变得更快、更便宜、更可靠，从而实现了数据密集型创新，如AI/ML、分析、物联网和边缘处理。相反，这些创新需要更多快速、廉价、可靠的存储，我预计闪存的使用率将与这些创新的使用率保持一致。”
Graid Technology公司总裁兼首席执行官Leander Yu表示：“闪存和AFA存储解决方案都关乎性能。AI/ML和分析的杀手级应用是客户投资于其IT基础设施的地方，而这些工作负载需要全闪存储提供的性能。”
Atto Technology公司产品总监Peter Donnelly提出了更为广泛的观点，他表示：“我相信我们正处于数据的收集和消费方式发生戏剧性变化的中间阶段。这正推动着对数据中心进行去集成化的需求。这并不是说数据中心将不复存在，但它们变得更加灵活、结构更少。这是一个重要的动态，推动着对闪存和闪存存储的需求。我们如何访问和使用遍布全国甚至全球的数据，使其看起来像是本地存储的数据？闪存有助于解决这一挑战，它使AI和数据分析等新兴技术在以前难以实现的规模上变得可能。”
AI和分析正在改变基于闪存的存储系统的架构
即使闪存对AI、分析、物联网和边缘处理的影响难以量化，但闪存无疑是构建用于处理这些工作负载的IT基础设施的关键元素。根据Futurum Group分析公司的高级战略师Randy Kerns的说法，当涉及到实施AI时，该基础设施将比以往更受关注。
“我认为，我们如今才刚刚开始认识到AI/ML底层设备技术的重要性。目前，大家的关注点主要集中在来自多个来源的算法和数据调优上，以操作和构建训练及测试数据。当然，让功能方面运作起来一直是我们的焦点。现在，随着这个领域的不断成熟，改进技术并更快地获得结果的重要性将使存储技术成为更重要的考量因素。一些应用可能比其它应用更成熟，但我们将会看到AI/ML和闪存存储方面发挥越来越重要的作用。”
闪存处理小规模、随机数据访问或IO操作的能力符合AI/ML和分析的需求。
“HDD是蒸汽朋克时代的产物，但SSD由于具有显著的IO/s优势，已经接管了涉及小规模和/或随机传输的所有工作负载。AI/ML训练和分析涉及大量的随机IO工作负载，而物联网主要由极小的传输所主导。因此，全闪存储系统已经成为应对这些需求并取得早期成功的关键案例，”Panasas公司的软件架构师Curtis Anderson表示。
除了促使全闪存储系统的部署，AI/ML的性能需求还在这些系统内推动着架构变化。
“除了存储架构的考虑之外，数据在存储系统中的进出也是关键。这也是为什么传统的存储系统，如高性能计算存储，非常适合AI工作负载的原因。市场上有很多新兴的存储公司正在利用闪存和NVMe（一种用于访问闪存的存储协议）来提供低延迟并消除潜在的存储瓶颈，从而在整个系统中实现更高的性能，”Boston Server & Storage Solutions GmbH的解决方案专家Amos Ankrah表示。
从TB到PB：闪存使用的规模差异巨大
Anderson表示，自主驾驶和大型语言模型（LLM）等AI应用是“典型代表”之一，使用庞大数据集进行AI模型训练的代表。他举例特斯拉使用了超过惊人的200PB的“热缓存容量”。然而，Anderson指出，大多数组织在AI开发中使用的数据集要小得多。
“绝大多数（按数量计算）的AI/ML项目的容量需求都远远低于100TB，”他说。
这相比特斯拉的热层容量小了2000倍。
Anderson及其在Panasas的同事们预计，这些更典型的AI数据集将会增长，但增长速度较慢。这是正好的，因为闪存的价格显著高于磁盘，但在AI训练中通常是必不可少的。对于AI而言，磁盘和闪存性能之间的差距甚至比其它应用程序更大，这是因为AI数据访问的普遍随机性。几十年来，存储供应商通过识别热点或频繁访问的数据，并将其存储在非常快的DRAM内存读缓存中，弥补了HDD相对低速处理半随机请求访问数据的能力。
“当只有一小部分数据多次被访问时，读缓存会很有帮助。AI/ML与那些传统的I/O访问模式并不经常匹配，这迫使组织在许多AI/ML工作负载中采用主要基于闪存的方法，”OSNexus Corp公司创始人兼首席执行官Steven Umbehocker表示。
性能并非唯一的闪存优点，尤其对于物联网和边缘计算
除了性能优势之外，闪存相对于磁盘还具有其它优势。SSD在功耗方面更加节省，同时可能更加可靠，能够经受住恶劣环境的考验。
“在物联网、边缘处理和TinyML（边缘机器学习）等应用中，首要的设计目标是不断降低功耗，同时要确保尽可能高的性能。除此之外，降低成本对于任何物联网设计来说都是一个非常重要的优先事项，”Weebit Nano Ltd公司首席执行官和创始人Coby Hanoch表示。
闪存在恶劣环境中的运行能力是另一个优势
“在边缘计算领域，特别是基站和其它本地化基础设施中，固态存储特别是SSD绝对是一项关键技术。因为它们在极端温度条件下的表现优于其它存储技术，例如HDD，这些技术在这些环境中可能会遇到问题。” 分析公司Coughlin Associates总裁、行业组织SNIA的Compute、Memory和Storage Initiative成员Tom Coughlin表示。
Omdia研究公司首席分析师Roy Illsley在提到闪存的另一个物理特性时表示：“另一个值得注意的方面是，在边缘场景中，闪存在较小尺寸情况下能够运行，这使得可以在远程位置部署AI推理工作负载。这意味着在空间受限的情况下，闪存是首选的存储解决方案。”
Omdia的首席分析师Dennis Hahn表示，在边缘，闪存存储通常在超融合基础设施内。“在边缘等场景中，实时处理结果通常是必要的，因此需要紧邻处理服务器的快闪存储。根据Omdia的研究，这些边缘系统经常是使用SSD设备的超融合基础设施系统。”
但这并不意味着IoT数据总是存储在闪存中。“像物联网这样的数据收集通常更注重成本，而数据经常通过相对较慢的互联网传输。因此，更频繁地使用像HDD这样的大容量存储解决方案。但是，最终闪存在IoT数据处理的速度方面发挥着关键作用。”
谈到嵌入在片上系统（SoC）处理器中的闪存的NOR变体，Hanoch表示：“在边缘执行AI或ML的设备中，闪存不仅用于代码/固件存储和引导，更重要的是，闪存，尤其是像ReRAM这样的新型非易失性存储器，也用于存储进行AI计算所需的神经网络权重。为了支持这一功能并将成本和功耗降到最低，我们看到设计趋向于更先进的技术，如28纳米和22纳米，目前是物联网和边缘设备的理想选择。这需要在SoC中单片集成的非易失性存储器，但嵌入式闪存无法扩展到28纳米及以下，因此设计者无法将其与单一芯片上的其它功能集成。这是设计这些小型、廉价且通常由电池供电的设备时面临的巨大挑战。”
磁盘和闪存价格差距将不会改变
NAND闪存作为主导闪存使用的关键因素，其发展历程充满了戏剧性的变化。在90年代末之前，NAND闪存一直是一项昂贵且鲜为人知的技术。然而，随着便携设备制造商如MP3播放器和手机制造商对更低功耗存储介质的迫切需求，NAND闪存凭借其卓越的性能得以迅速崭露头角。生产量的大幅增长和价格的急剧下降，使得NAND闪存在短时间内实现了从昂贵的新兴技术到主流存储解决方案的华丽转身。令人惊讶的是，直到2004年左右，NAND闪存的价格才真正低于DRAM内存，这一里程碑式的转变进一步巩固了其在市场中的地位。
然而，重要的价格比较一直是闪存和磁盘之间的比较。尽管过去20年闪存的价格一直在下降，与磁盘相比，当以每存储单位的美元计算时，磁盘的价格也在下降。在过去的十年里，两者之间的差距相对稳定。
"Anderson表示：“SSD每TB的价格与HDD每TB的价格在过去的十年里大致保持在相同的5x-7x倍数。”
Umbehocker和Scality公司CTO Giorgio Regni也对每TB价格差异估算为5倍表示同意。
"Anderson表示：“我们认为市场未来不会迫使闪存供应商大力改变这一点。”他提到了所谓的晶圆厂 - 制造闪存和其它半导体芯片的工厂。他补充说：“全球只有少数几家闪存晶圆厂，新的晶圆厂建设速度无法超过对闪存需求的增长。”
其它专家也分享了这一观点，他们指出需要建设新的晶圆厂以增加全球产能，而这一过程需要耗费数亿到数十亿美元的资金，并需要数年的规划和建设时间。
专家们预计闪存价格将继续下降
从短期来看，闪存价格有剧烈波动的历史。
Handy说：“在短缺时期，价格通常趋于稳定，但有时会略微上升。在非常罕见的情况下，它们会大幅上升，就像2018年那样。当短缺转变为过剩时，价格就会迅速崩溃。我们在20122H经历了这样的崩溃，价格下跌了多达70%。”
StorPool Storage的CTO兼创始人Boyan Krosnov概述了影响闪存长期价格趋势的因素：“未来闪存价格将取决于资本成本、能源成本、供需状况，这在很大程度上取决于IT基础设施的整体增长。因此，如果您相信世界经济将增长，而IT基础设施将增长得更快，那么在未来1-2年内闪存的价格将上涨。然后，晶圆厂产能将迎头赶上，在未来几年价格将回到缓慢下降的趋势。”
Tintri by DDN公司的Field CTO Shawn Meyers也表示同意：“全球经济将是最大的推动因素，除非有关闪存制造的新的革命性突破。供应链的波动将在可预见的未来一直存在。”
然而，在价格崩溃和价格激增之间，每TB的价格会缓慢下降，根据Handy的说法，价格趋势出奇地可预测，并且他的公司产生了业界最为准确的价格预测。那么，Objective Analysis认为未来五年内闪存价格将以多快的速度下降呢？
“从现在到2028年中期，每年的平均价格下降率将约为15%”，Handy说，并补充说，2024年中期至晚期可能出现的短缺将在2026年随之而来的供应过剩和价格崩溃。
然而，Regni预测了闪存最低成本的QLC变体价格将会以更快的速度下降。
“根据硬件和磁盘制造商的路线图，我们看到高密度（QLC）闪存SSD的成本（以每TB美元计）将大幅下降。与我们分享的数据显示，在2022年至2025年之间将会下降60%以上，”他说。
Regni为QLC闪存提到的60%价格下降相当于从2022年到2025年的复合平均降低了26%，这将比Handy对于整体闪存价格在较长时间范围内（2023年到2028年）的15%的预测要快得多。
Regni补充说：“虽然这比等效的高密度HDD下降得更快，但我们仍然看到在同一时间范围内，HDD保持着对SSD的5倍成本优势。”
---【本文完】---
近期受欢迎的文章：
我们正处于数十年未见之大机遇中
新技术爆发式发展，催生新产品
然而，颠覆式创新并非简单的技术堆叠
而是异常复杂的系统工程
需要深度洞察
欢迎一起分享思考和见解