边缘存储格局与挑战:SSD的机遇
【ANDY】数据中心战略:SLC+TLC+QLC和CSAL软件解决方案,QLC技术主导读密集工作负载。从核心到边缘存储格局:核心数据中心仍在用HDD,但边缘SSD的CAGR达到50%。智能汽车和边缘应用推动数据急剧增长,单辆汽车约需30TB的存储空间,而AI模型的数据量每两年增长10倍。AI趋势涵盖了本地服务器、耐用型服务器和智能设备。研究表明94%的SSD用于读取密集工作负载。
数据中心战略
这是我们的数据中心战略。为了实现所有工作负载的最佳解决方案,我们推出了一系列组合产品,涵盖了SLC、TLC、QLC、引领技术以及存储密度。尤其是QLC技术在其中起到了主导作用。最近,我们还推出了SLC,并推出了一款名为CSAL(Cloud Storage Acceleration Layer)的软件。将它与QLC结合使用,你会突然发现,有机会将QLC的所有优势应用于许多工作负载,甚至是那些密集型工作负载。因此,我们在这里讨论了以读为主的一部分工作负载,实际上,QLC主要面向这些工作负载。
从核心到边缘的存储格局
以下几张幻灯片展示了我们对从核心到边缘的存储格局正在如何塑造的看法,以及我们对边缘存储所面临的独特位置限制和存储挑战的看法。因此,需要强调的是,我们在这里呈现的内容不是一个精确的模型,而只是一个高层次的概述。
众所周知,目前存储了大量的数据,其中大部分数据存储在核心区域。在大多数核心数据中心中,存储设备仍然主要采用机械硬盘(HDD)。实际上,各种研究表明,高达90%的核心数据中心存储仍然在使用HDD。因此,我们认为这对于未来的QLC技术来说是一个巨大的机会。
当然,在边缘计算方面,存储的数据量也在不断增加,这将在下一张幻灯片中进行详细讨论。边缘存储面临一些相当特殊的挑战,尤其是涉及到一些局部性约束时,如可用空间、可用电力、重量等等。当考虑到可能需要在不同位置放置服务器或需要更便携的边缘设备时,这些问题都变得更加突出。因此,在接下来的内容中,我们将更详细地探讨这些局部性约束。
从未来的角度来看,虽然这并不是一个精确的模型,但由于成本、隐私安全、响应性、延迟和用户体验等原因,我们看到越来越多的数据被存储在边缘计算的位置。这不仅仅是因为现代化工作负载和技术,如人工智能和5G,产生了更多的数据,还因为,正如我们刚才讨论的原因,我们看到越来越多的数据被存储在边缘。
边缘SSD存储两倍速增长
这里是一些IDC的数据,看图的左边,可以看到从核心到边缘的基础设施,从服务器到终端设备。图的左边显示了数据的存储位置,这可能与前面几张幻灯片上的图稍有不同,但我们认为这份IDC的研究有意思的地方在于,它将存储位置从核心位置分解为中间位置和边缘位置,并提供了一些独到的洞察。
首先,可以看到HDD的大规模替代机会,三个分解图中的HDD都以绿色表示。其次,可以看到边缘存储增长最快,这可以从中间位置的CAGR(年复合增长率)数字中看出,然后在中间右侧和顶部中心的CAGR数字中看到,SSD的CAGR达到50%。这也是我在最后一个要点中指出的,行业分析师预测SSD在边缘有巨大的增长机会。
那么,为什么SSD在边缘的增长速度会快于核心区域的设备呢?这是一个很好的问题,我们将在接下来的讨论中解释。局部性约束是一个关键因素,SSD在可靠性方面更高,而在边缘计算中可靠性非常重要。考虑到它们的分布性以及相关成本和操作效率,SSD在EDSFF(企业级和数据中心固态硬盘外形尺寸)方面具有很大的操作效率优势。在大小、重量、容量扩展以及性能扩展方面,SSD也具有很大的优势。随着边缘设备数量的增长,需要使终端设备在性能和容量上保持同步,而SSD的能力非常适合这一需求。
还有一些环境因素需要考虑,如耐用性、军用标准、振动、冲击等要求,以及扩展的热问题。实际上,我们即将进行的演示由Storage Review的专家展示,其中包括Cheetah RAID的方案,虽然我不清楚具体的设备型号,但Cheetah RAID制造了一些小型服务器,可以放入背包供国防使用。他们还制造了较小的设备,可以在船上进行运输。这些都是一些很好的例子。
智能汽车场景案例解读
我想向大家展示一个很好的例子,智能汽车,来说明边缘数据的不断增长和存储需求的增加。让我们一起来看看。在这个图示中,有一个简单的概念,核心数据中心、边缘基础设施和终端设备。显然,在这种情况下,终端设备实际上是汽车中逐渐增多的小型服务器,这真是令人惊叹!
你可以看到,智能汽车的数据在未来十年中预计将经历大规模增长。在车辆的最边缘,传感器数量几乎每五年翻一番。你可以看到,每小时几乎会有20TB的大规模数据输入。而这种情况不仅仅局限于汽车,也可以应用于智能农业,例如约翰迪尔的SE和喷雾技术,配备了40个高清摄像头和两个GPU,用于精细微喷施肥、杀虫等操作。因此,这里有大量的数据输入。而随着更多的连接,如汽车、智能城市、智能道路、天气、娱乐等等,数据量将继续增加。
在图的右下角,我们展示了最先进的生产车辆和典型的存储情况,同时也展示了最先进的测试车辆,这些车辆正在道路上行驶,收集大量数据。实际上,我们已经赢得了这些测试车辆的设计合同,它们正在返回维修站下载数据。目前,最先进的测试车辆有大约30TB的存储空间,这对它们在道路上行驶和收集信息的时间有一定限制。
然后,我们回顾了核心数据中心和边缘基础设施。现在我们谈到了模型训练的地方,这些模型每两年增长10倍,这还是一个保守的估计。越来越多的数据被上传到这些模型中。在许多自动驾驶汽车和智能汽车中,可能不是我所说的术语,但在某些情况下,只有事件驱动的数据被推送到上游用于模型训练,例如特斯拉现在已经将完整的驾驶日志上传到上游。
在关于车辆数据上传的这部分,今天我们选择了一个代表性的核心数据中心服务器,它使用HDD,而典型的边缘服务器,许多仍然使用HDD,虽然边缘基础设施可能正在更多地转向SSD。但这也呈现了一个巨大的数据输入需求,以及在边缘需要更快更好决策的需求。我们认为从核心到边缘的存储生态系统都面临着巨大的挑战,当我们进一步深入边缘时,这些挑战将变得更加严峻。
各场景存储系统的挑战对比
我们已经讨论了一些边缘挑战。有大约4到5种不同类型的存储挑战。
首先,让我们谈谈大小和重量。显然,大家都了解,在核心数据中心中,有专门定制的基础设施,因此尺寸、重量、制冷和可维护性都可以按需定制。在这种情况下,尺寸和重量的挑战可能没有那么严重。但越来越多的数据中心开始采用垂直布局,特别是在城市附近,地价更高的地方,尺寸和重量逐渐成为核心数据中心的考虑因素。
然而,当移动到边缘时,情况变得更加复杂。我认为Open19是一个试图为边缘服务器提供类似OCP(开放计算项目)的行业联盟,他们提供了关于边缘基础设施服务器尺寸和重量的参考架构。当处在边缘位置时,实际的物理设备大小会受到限制。
接下来,让我们谈谈电源。典型的核心数据中心使用12千瓦电源,但我提到了Open19服务器,他们的参考架构使用了400瓦电源。我认为这是一个U高,半个U宽,如果对Open19不熟悉,可以查阅相关资料。然而,当到达边缘时,电源受到限制,同时还要满足更为严格的电源需求。
可维护性是一个更具挑战性的问题,尤其是在边缘。显然,在核心数据中心中,服务技术人员在现场,程序非常明确、高度规范化,维修工作高效有序。但一旦到达边缘,情况就变得不同,可能有数百个边缘位置,甚至数千个终端设备,因此维护性问题变成了一个数量和分布的挑战。
操作效率与可维护性类似,但在这种情况下,核心数据中心的操作高度规范化,程序明确,按部就班,非常有组织性和纪律性,因此效率非常高。然而,一旦到达边缘,正如我们之前所讨论的,操作环境可能更加复杂和苛刻,操作效率变得更加具有挑战性。我认为这是我们面临的最后一个挑战。
可用性和可靠性,众所周知,目前在核心数据中心中,存储设备的保修期通常为5年。然而,我们注意到,特别是在边缘环境中,人们希望能够延长设备的可用寿命,有可能达到7年。这是因为边缘部署通常伴随着更高的成本和维护成本,因此人们寻求更长的可用寿命,以提高投资回报。虽然这一点听起来有些重复,但这是由于不同环境和成本考虑,人们寻求比5年的可维修寿命更长的可用寿命。
AI细分模型
从硬件分类或细分的角度来看,这是我们对存储机会的一些看法。我将简要介绍一下。大家都了解什么是训练服务器,都熟悉推理服务器。当然,它们可以在核心中找到,但总的来说,我们观察到大量的推理任务正在迅速地从核心移向边缘。主要发生在企业级领域。我们还观察到存储管道的出现,这些管道不仅可以为训练和推理服务器提供数据,还可以满足大数据分析、企业资源规划和业务智能等各种需求。这就是核心基础设施中的一些趋势。
在边缘基础设施方面,我们可以简单地将其分为两个部分。首先是本地服务器,通常位于工厂车间等主要地点,周围还会有小型服务器。由于它们处于受控环境中,所以不像之前讨论的环境那样容易受到外界条件的干扰。此外,边缘基础设施中还出现了耐用型服务器。从我们的角度来看,其中最明显的例子是AWS Snowball Edge,它提供了约80TB的存储容量。与AWS Snow家族中的终端服务器AWS Snowcone相结合,这是一个出色的耐用型边缘基础设施服务例子。甚至可以在YouTube上找到视频,展示了这些设备连接到无人机,从天空中执行人工智能任务,甚至在太空中使用AWS Snowball Edge的视频。因此,这是关于边缘基础设施的一些观察。有本地服务器、耐用型服务器,而且显然每个人都随身携带了一个强大的人工智能设备,例如安全摄像头、车辆、机器人等。
NetApp研究报告:94%的SSD读多写少
这就是我们从存储分类的角度看待这个机会的方式。再往下,我将简要提及一张幻灯片。在宏观层面,我谈到了数据越来越多地移向边缘,这主要受到人工智能的推动。从存储工作负载的角度来看,我们认为这是一个以读为主的世界。其中包括人工智能、大数据分析和内容传输网络等领域。这些领域正不断进步,变得更加智能和沉浸式,因为它们能够存储、访问和分析越来越多的数据。这是一项NetApp的研究,该研究对超过200万个SSD进行了分析。基本上,它得出的结论是,绝大多数SSD都支持读取密集型或读取密集型工作负载。
-----
Gina Rosenthal:边缘基础设施和终端有什么不同,您如何看待它们之间的区别,终端是否可以拥有与之交互所需的所有基础设施?
Roger Corell:边缘基础设施和终端之间的区别很大程度上取决于不同的行业和用途。让我举几个例子来说明。首先,我们之前提到了智能汽车,边缘基础设施服务器可能会安装在某个杆上,而实际的终端服务器则安装在汽车内部,这是一种典型情况。另一个例子是内容分发网络,它通常拥有许多区域性数据中心,甚至越来越多的本地数据中心,但终端设备则放置在用户家庭中。因此,不同行业和用途之间存在巨大差异,因此边缘和终端的基础设施需求也各不相同。这是一个复杂而多样化的领域。
Jim Czuprynski:这些例子非常棒,我特别喜欢您提到约翰迪尔农用拖拉机的例子。我在农场长大,曾经开过约翰迪尔的拖拉机,所以对这个例子有深刻的共鸣。不过,您提到的拖拉机有些价格高达50万美元,您说得对,这牵涉到在田地中部署设备,以确保庄稼得到适当的灌溉。那么,是否存在与移动平台(如拖拉机或车辆)相比,与太阳能板农场或海上风力发电厂等其它事物完全不同的挑战?
Roger Corell:当然,存在着完全不同的挑战。我认为答案与用途密切相关,就像我们之前讨论的那样,具体情况取决于用途。我可以这样描述,边缘终端就像一片未开发的领地。对于军事领域来说,有军事标准;对于汽车领域来说,有汽车标准。至于您提到的例子,我们可能需要更多了解,但我认为情况正在不断演变。您会看到一些行业联盟或组织正在形成,就像我之前提到的Open19一样,它们可能会制定一些标准,或者更确切地说,制定一些参考架构。但这是一个很好的问题。我知道这个回答有点绕,但在很多方面,情况都有些模糊,对吧?
John Osmon:这是否会影响到您当前的工作方向和思考方式?值得一提的是,我曾经看到一些人受到RAM容量的限制,而不是受到硬盘的工作速度限制。因为他们首先将所有数据存储在临时硬盘中,然后再将其传输到RAM中。例如,我曾看到一些望远镜项目的团队,当他们得知在21世纪初有1GB的内存时,他们非常激动,因为这意味着他们可以运行大约三四分之三秒。
Roger Corell:我认为这些趋势将强化我们当前的工作。正如您所见,我们已经推出了61.44TB的SSD,这是因为我们看到了行业的发展趋势。正如我们之前所讨论的,数据的增长速度并没有减缓。我们谈到了传感器在不同领域的应用增长,例如汽车领域和智能农业领域。因此,高效地存储和访问边缘上的大量数据需求是行业发展的一个关键方向。我们相信,通过我们的QLC存储产品系列以及对存储密度的持续投资,我们将在这个领域继续引领行业发展。
---【本文完】---
近期受欢迎的文章:
我们正处于数十年未见之大机遇中
新技术爆发式发展,催生新产品
然而,颠覆式创新并非简单的技术堆叠
而是异常复杂的系统工程
需要深度洞察
欢迎一起分享思考和见解