边缘计算与数据存储的趋势报告
Source: Julia Palmer, Jeff Vogel, Innovation Insight: Rethink Your Enterprise Storage and Cloud Data Services Strategies for the Edge Awakening, 1 August 2022
核心观点
数据中心不再处于中央位置,因为数据服务和存储正在向云和边缘扩展。
边缘数据存储可以通过远程管理,具有强大的部署和自我修复功能,实现云集成以及能够部署在便携式和灵活的硬件上来与数据中心中的传统存储区分开来。
随着云迁移的继续,基础设施和运营(I&O)团队正在从数据中心基础设施的服务商转变为无处不在的数据服务服务商,专注于始终需要在边缘存储的精选场景。边缘的四个最流行的场景是分布式云/数据中心、边缘数据处理、内容协作和访问以及数据摄取和流式传输。
尽管边缘存储解决方案具有共同的基本原则,但它不是一种单一的技术,因为它需要针对本研究中强调的特定场景进行定制。
主要建议
希望扩展到边缘数据中心基础设施的 I&O 领导者应该:
通过识别以边缘为中心的工作负载、场景和数据服务管理方法,创建边缘存储平台计划。
通过满足独特的工作负载要求来选择边缘存储拓扑和平台方法,这些工作负载要求具有自我修复、软件定义、高能效,并且可以经济高效地进行扩展和缩减,以处理各种数据量和数据类型。
通过确定边缘运营模式和公有云集成的优先级要求,为任何新的企业数据中心存储部署做好准备,使其随时可用于边缘。
选择专注于解决关键挑战的边缘存储产品和技术,例如自主操作、集中式数据管理、性能密度和数据传输优化。
战略趋势
到2025年,超过40%的企业存储将部署在边缘,这比2022年的15%大幅增加。
到2025年,60%的基础设施和运营(I&O)领导者将实施至少一种混合云架构,这比2022年的15%大幅增加。
I&O领导者正在开始制定战略,以制定他们打算如何在边缘管理数据。尽管 I&O 领导者拥护IaaS云服务商,但他们也意识到,基础设施服务的很大一部分可能保留在本地,并且需要边缘存储数据服务。图 1 说明了驱动边缘存储和数据服务需求的因素。
许多数据中心正在崛起或转变为云连接的边缘数据中心。这促使I&O领导者将他们的角色从基础设施的提供者转变为无处不在的数据服务服务商。考虑到这一点,I&O领导者正在为公有云基础设施以外的所有部署重置其存储策略和供应商选择,专注于边缘的特定数据服务。
尽管当前的大多数部署都紧密地将边缘存储连接到公有云服务,但也有联合的分布式边缘部署的出现。
边缘存储是一种使能技术,负责在生成或使用数据的位置(而不是在集中式环境中)或附近创建、分析、处理和交付数据服务。
边缘存储和计算正在成为支持新兴的互联服务和设备基础设施的首选技术。边缘存储有助于分散数据,以便从任何全球位置实时分析、处理、共享、访问和计算数据。
在大多数场景中,边缘存储支持在数据源进行处理,以最大限度地缩短传输时间、降低带宽成本并提高处理性能。在某些场景中,在大多数工作负载迁移到云基础设施和平台服务 (CIPS) 之后,边缘数据存储服务将是本地数据中心中留下的最后一个解决方案。
边缘存储服务正在出现,用于延迟敏感和带宽密集型工作负载,这些工作负载不适合云或核心数据中心。此类工作负载的示例包括实时数据处理、协作以及将大量数据与在线存储同步(。
尽管边缘存储的要求可能因特定场景而异,但常见要求如下:
坚固耐用且自我修复能力
可移植且灵活的部署模型
云绑定
连接且可见,同时进行远程管理
性能密度优化
坚固耐用,注重功耗
能够由 Kubernetes 编排器部署,并为其部署
优点和用途
边缘数据存储正在帮助组织响应不断增长的数据量,以及处理和分析这些数据的需求,而不会产生将信息流传输到中央数据中心或公有云所带来的成本和延迟。AI工作负载正在推动增长;5G连接;物联网(制造业,医疗保健,遥测数据收集和实物资产数字化中的分布式系统,以便长期保留);全局数据访问和协作;远程监控;和自动驾驶汽车。
尽管边缘存储解决方案具有共同的基本原则,但它不是一种单一的技术。它必须针对多个场景要求进行定制。
分布式云或分布式数据中心
此场景是指存储作为边缘数据中心的服务之一提供。随着企业从大型集中式数据中心转向小型分布式全球数据中心,这将是在不久的将来最受欢迎的场景。分布式数据中心模型适用于传统的本地客户和云优先客户,因为它们需要跨部署模型实现服务标准化,并且必须支持任何结构化或非结构化数据工作负载。
边缘数据处理
在此场景中,边缘站点的数据处理或数据分析需要存储服务。数据越来越多地在边缘生成和聚合,并且必须在创建数据的位置进行处理。这是由于数量和延迟造成的,并且数据子集可能会传输到集中位置。
数据协作
此场景侧重于在边缘进行数据访问或创建,其中数据源存储在集中位置。尽管数据正在公有云中整合,但从任何地方访问和更新数据的要求正在推动这一场景。
数据摄入和流式处理
对于此场景,边缘存储用作从边缘位置到数据中心或云的连续数据流的一部分。由于数据通常由提供数据流的传感器或其他设备持续生成,因此需要边缘存储服务才能传输到云。
边缘数据服务分类
分类 | 场景 1:分布式云或数据中心 | 场景 2:边缘数据处理 | 场景 3:数据协作 | 场景 4:数据摄入和流式传输 |
工作负载 | 为虚拟机 (VM) 和容器提供服务的任何企业工作负载 结构化数据:即数据库 非结构化数据:即文件和对象 | 边缘推理 实时分析 物联网 交互式和沉浸式工作流程支持 物联网数据聚合 | 跨站点协作 内容交付 富媒体 访问集中式数据 | 视频 物联网 备份和归档 连续数据传输 |
首要因素 | 兼容性 自治 健壮性 | 低延迟 密度 灵活性 安全 降低云迁移成本 | 全局数据管理 数据完整性 易用性 | 高吞吐量 云集成 健壮性 |
核心技术 | 超融合基础架构 分布式云 K8s 平台 统一存储 | NVMe 和 NVMe-oF RDMA, PMEM 计算型存储 组合型基础设施 K8 集成 | 缓存优化 云网关 软件定义存储 数据管理软件 混合云文件系统 | 分布式文件系统 混合云平台 数据传输 边缘设备 |
风险
I&O领导者必须采取措施,确定现在和将来应该采取哪些行动,以计划优化其IT运营模式,以降低风险并避免可能危及边缘工作的陷阱。边缘场景、工作负载、数据量和独特基础设施要求的多样性带来了系统管理、成本、安全性和弹性因素方面的潜在问题。IT 运营模式需要应对的其他风险包括:
确定哪些存储体系结构和硬件/软件技术非常适合各种工作负载和场景:
跨统一数据平面使用复制、迁移和重复数据删除技术 使用混合平台控制平面进行资产和生命周期管理 边缘计算堆栈,包括 VM 和容器的混合使用 协议(例如,块、文件和对象)和混合介质,例如 SSD 和 HDD 存储 硬件加固,如硬盘盒和数据传输设备 坚固耐用的自我修复系统
在适当的时间检索适当的数据可能会昂贵且低效地使用存储资产:
确定哪些数据具有保留价值,以及根据应用程序需求和要求将其最佳存储在何处 每个应用程序的服务质量 (QoS) 要求
建立适当的数据保护级别以限制攻击,例如:
勒索病毒攻击和感染 数据泄露 — 由于关键工作环境的性质和数据敏感性,医疗/保健组织最容易受到攻击 双重勒索策略,犯罪分子威胁要在网络上公开发布被盗数据 使数据无法访问的加密技术
建立数据主权、隐私、治理和法律合规政策:
满足更精细的数据主权和隐私要求
确定哪些类型的数据中心设施最适合,包括:
本地/远程数据中心物理安全服务 供应链、履行和物流,以支持远程中心 环境、社会和治理 (ESG) 标准和法规
存储管理功能支持:
位置之间的无缝数据移动 监视和预测工作负载放置和生命周期管理要求
建议
I&O领导者需要提前计划,以确定如何将边缘的存储和数据服务集成到其整体混合基础设施和平台服务战略中,以满足独特的场景和工作负载需求。
确定以边缘为中心的工作负载、场景和数据服务管理方法,这些方法将构成现在和未来五年的边缘存储平台计划。由于大多数工作负载正在迁移到云中,因此请专注于将保留在边缘的数据服务,并且需要混合云集成或远程办公室或数据中心中数据服务的集中化。
选择边缘存储拓扑和平台方法,以满足自主、软件定义、高能效的独特工作负载要求,并且可以纵向扩展以处理海量数据和数据类型。应选择存储拓扑,仔细权衡并根据核心场景属性和计算边缘位置要求进行调整。
选择可解决边缘常见关键挑战的边缘存储产品和技术,例如自主运营、小规模的高性能、存储密度、安全性、能效和云集成。应根据存储解决方案提供关键功能的能力来选择存储解决方案,这些功能包括集中化关键管理功能,而不会抑制最佳能效下的性能。
定义边缘存储数据服务时,请考虑整个边缘基础设施。存储决策不能是孤立的决策,它们需要与场景相关联,并进行优化以匹配计算、网络和应用程序/数据要求。