2024年数字存储与内存展望（三）：存储系统、存储介质、归档和数据安全
新型工作负载中广泛采用基于NAND闪存内存的全闪存对象存储系统。 大数据/AI需求推动企业增加高密度硬盘存储的使用。 预测HDD介质将在未来几年内消失，但有专家认为到2028年，HDD在密度和成本方面仍将领先高密度SSD。
LTO磁带技术在活动归档中广泛应用，特别是处理冷数据，实现性能和成本效益的平衡。 光学存储的出现可能重新推动光学存储在归档领域的关注，满足对持久性、安全性和能效的需求。 随着AI广泛应用，归档数据量呈指数级增长，企业需要积极管理冷数据的访问。 针对长期保留的数据，需要审慎的数据管理策略，包括演进存储架构来确保可持续的平台基础设施。
云存储和本地存储都将实现增长，但需要解决跨源数据管理的挑战。 需求不断增长，要求提供跨平台兼容性和无缝集成解决方案。
存储系统越来越多地整合基于AI的防御纳入其安全策略。 机器学习用于实时检测和清除网络威胁，强化网络安全并简化事件响应。 主动归档被视为防范勒索病毒的重要手段，趋势朝着无法加密的不可变存储方向发展。 数据中心的基本组件将整合设备级的加密身份识别、验证和数据加密，以更好地应对AI部署带来的新型数字威胁。
存储和内存技术创新、AI增长以及对更多数据的需求将推动2024年成为数字存储和软件需求复苏的一年。 数据安全和成本控制将在数字转型的浪潮中发挥至关重要的作用。
---【以下为正文】---
这是我关于2024年数字存储与内存展望的第三篇，也是最后一篇博客。前两篇文章主要探讨了数字存储与内存设备，包括磁带、机械硬盘、固态硬盘（SSD），以及NAND、DRAM和新兴内存。此外，我们还介绍了共享存储和内存网络的发展。本文将重点关注数字存储系统和软件的发展以及它们在各种工作流程中的应用，同时分享对未来这些系统中使用的存储设备的一些看法。
在2022年下半年之后，2023年成为了数字存储（和内存）需求的低迷期，这给存储系统销售以及存储和内存设备的收入带来了影响。然而，随着大数据分析应用如AI对数据需求的增加，以及数字存储和内存技术架构的变革，预计存储系统和软件市场将在2024年及以后迎来复苏。
随着数字转型的推进，对存储和内存的需求将逐渐成为关键因素。据麦肯锡公司的预测，类似OpenAI的ChatGPT的深度学习算法，通过进一步利用企业数据，每年将为63个业务场景增加相当于2.5万亿至4.4万亿美元的价值。这一趋势在最近的NVIDIA博客中得到了强调。
Seagate执行副总裁兼首席商业官B. S. Teh表示：“预计在2024年，超大规模科技巨头将加速对云容量的投资，以适应AI应用的成熟。AI还将促使企业增加IT支出和数据存储需求，因为企业正在寻求通过提高生产力和效率来获取竞争优势。”他补充说：“相对于每比特基础上可比的全闪存解决方案，硬盘存储的成本将降低五分之一。这个价值差距在明年或未来十年内都不会缩小。”
根据NVIDIA最近的博客，一些AI专家预测，2024年的焦点将放在与云服务提供商、数据存储和分析公司以及其他具备处理、优化和高效部署大数据能力的公司建立合作伙伴关系和协作上，以实现AI在各种企业数据中的应用。数字存储和内存系统以及软件将成为关键要素，支持AI应用的实现。
存在一个趋势是在这些新型工作负载中更广泛地采用基于NAND闪存内存的存储，因为这种固态存储的价格已经下降（尽管有有关存储需求复苏后未来几个月可能大幅上涨的预测）。DataDobi的产品营销副总裁Steve Leeper观察到：“随着2024年的临近，存储技术的轨迹也将发生显著变化，闪存价格下降将推动全面转向全闪存对象存储系统。预计这种变革将带来卓越的系统性能，灵活地迎合AI驱动操作对庞大数据需求和快速访问的要求。”
随着新型工作负载的涌现，基于NAND闪存的存储将更加广泛，因为其价格已经下降（尽管有人预测在存储需求复苏后，未来几个月价格可能会大幅上涨）。DataDobi的产品营销副总裁Steve Leeper指出：“随着2024年的临近，存储技术的轨迹将发生显著变化，闪存价格的下降将推动全面转向全闪存对象存储系统。预计这种变革将带来卓越的系统性能，灵活地满足AI驱动操作对庞大数据需求和快速访问的要求。”
另一方面，Seagate的B.S. Teh认为：“对数据需求巨大的AI将迫使数据中心和企业转向高密度硬盘存储，通过保存原始数据集以及AI和LLM处理产生的洞察，来提前准备其数据价值。随着大量数据的生成，预计在2027年将达到291ZB（IDC），数据增长的速度将进一步加剧这种需求。”
HDD的持续使用也得到了Scality首席技术官Giorio Regni的认同。他表示：“一些全闪存供应商预测HDD介质将在未来几年内消失。尽管闪存介质和SSD在密度和延迟方面取得了明显的优势，且每GB的成本正在下降，但我们认为到2028年，HDD在密度和成本方面将比高密度SSD高出3-5倍。”
DataDobi的Steve Leeper进一步指出：“根据Gartner的预测，到2027年，预计至少有40%的企业将实施数据存储管理解决方案，对他们的数据资产进行分类、获取洞察并优化。这相比2023年初的15%基准是一个巨大的飞跃。这一趋势可能是由于数据量不断扩大，超过了企业扩展IT工作人员的速度，从而增加了大规模数据管理中自动化的必要性。”
云存储和本地化存储类别都将实现增长，这将对跨源数据管理提出更高的要求。DH2i的CEO兼联合创始人Don Boxley指出：“随着企业继续丰富其IT组合，2024年对提供跨平台兼容性和无缝集成解决方案的需求将不断增长。这些解决方案需要支持各种环境，从不同供应商提供的云服务到本地数据中心和新兴的容器技术。”
数据安全是另一个至关重要的考量，勒索病毒和访问威胁正在不断蔓延。随着AI的崛起，攻击手段变得更加复杂，但也为更强大的防御提供了可能性。CTERA的首席技术官Aron Brand指出：“存储系统将越来越多地将基于AI的防御纳入其安全策略的核心。这些系统将利用机器学习实时检测和清除网络威胁，保护数据免受勒索病毒的侵害，并确保存储信息的完整性。这种一体化将强化网络安全并简化事件响应。”
固态控制器和SSD公司Phison在最近的新闻稿中提出了关于固态存储和存储安全性的重要洞察：“数据中心的基本组件，如SSD、GPU和DRAM，将越来越多地整合设备级的加密身份识别、验证和数据加密，以更好地应对AI部署带来的新型数字威胁。” 此外，“AI和LLM的快速发展将对AI基础设施对GPU和DRAM的依赖提出挑战，从而促使采用新的架构方法，更充分地利用高容量NAND闪存。在这些系统中，PCIe 5.0 NAND闪存将得到更广泛的应用，以在生产环境中以最高速度和效率运行应用程序，释放GPU和DRAM以分别运行AI推理模型，最大化资源效率和生产力。”
数字存储中的一个关键要素是数据的归档。然而，对于不断增长的归档数据需求，这主要是由于数据的再利用需求，而不仅仅是保存。瑞士Vault的CEO Bhupinder Bhullar表示：“在2024年，大型语言模型（LLM）推动的AI广泛应用将导致数据量，特别是存档数据的指数级增长。每个企业都需要更主动地管理对冷数据的访问。”
对于长期保留的数据，必须采取审慎的数据管理策略，这需要一种更为长远的视角，而不仅仅是归档管理员的视角。Quantum Corporation指出：“这意味着您的企业必须制定今天所需的长期管理计划和持续的平台基础设施。您需要考虑的问题包括：在未来专家不再存在时，如何轻松地规划、访问和分析数据？如何确保数据始终得到可靠的保护？解决方案需要实施一种演进存储架构，能够在多代平台和技术之间实现无缝过渡。”
IBM DRI Tape Solutions的Kiyoshi Urabe补充说：“活动归档的需求不会减少，企业必须将数据管理与货币化成果以及财政负责相一致。这是数字数据存储管理的各个层面都将主导的新焦点。”
同时，企业需要明智地决定哪些归档应在本地进行，以及何时将数据迁移到云端。XenData的CEO Philip Storey表示：“在2023年，我们看到许多客户将其内容从云端转移到了一个结合了数据磁带库、磁盘缓存和管理软件的本地化存档中。为了实现安全的远程访问，轻松地添加了S3接口，形成了一个私有云。我们预计这些趋势将在2024年继续。”
在归档选择方面，成本效益是一个重要考量，特别是考虑到长期数据存储所需的较低能耗环保技术。Overland-Tanberg的全球产品和渠道营销经理Natlie Kremer表示：“到2024年，数据存储格局将发生变化，活动归档解决方案将越来越受欢迎。企业将通过利用LTO磁带技术来处理冻结数据，采用分层存储方法，实现性能和成本效益之间的无缝平衡。活动归档将继续成为整合磁带库的可靠且经济高效的解决方案，用于长期保存不经常访问的数据，确保数据耐久性和完整性。” 目前，IBM的企业磁带已经具备高达50TB的原始容量，而预计将在2024年推出的LTO-9的原始容量为36TB。
然而，光学存储可能会在归档存储领域重新获得关注。Folio Photonics的CEO Steve Santamaria表示：“随着光学存储的出现以及对主动归档系统的替代方案需求的不断增长，我们存储和归档数据的方式将在2024年发生转变。这一趋势将受到对既持久又安全、同时又能效的存储解决方案日益增长的需求的推动。”
主动归档可能成为防御勒索病毒的重要一环。Spectra Logic的IT副总裁Tony Mendoza指出：“预计在2024年，针对关键基础设施的持续攻击将迫使城市和州政府重新规划其防御勒索病毒的策略，着重于预防和恢复计划，并利用主动归档来推动这一进程。未来的趋势将是朝着无法被加密的不可变存储方向发展，更加重视无法被电子病毒感染的隔离存储，进行恢复事件的实践，并确保对所有数据都能够进行及时访问和存档。”
2024年将见证存储和内存技术的革新、AI的进一步发展，以及对更多数据的需求，以支持学习驱动的数字存储和软件。同时，数据安全和成本控制将在数字转型的大潮中发挥至关重要的作用。
---【本文完】---
近期受欢迎的文章：
更多交流，欢迎添加我的微信
---【下面是广告】---
闲着也是闲着，分享一些我觉得不错的东西