AI数据存储选择:五大策略
随着组织制定AI战略并设计新的AI解决方案,AI数据存储的位置和方式选择变得至关重要。存储决策直接影响数据的性能、可用性、成本和安全性。AI项目的成功往往取决于能否在需要时将正确的数据置于合适位置。
1. 选择网络连接优异的AI存储部署位置
在探讨AI存储策略时,企业往往过于追求低成本的托管方案,却忽视了网络连接的关键性。对于AI推理而言,网络连接是不可或缺的,因为最低成本的托管方案可能难以支撑AI解决方案对高速、安全数据访问的需求。AI推理需要确保在多个公有云、边缘节点、数据代理服务及合作伙伴站点等所有数据所在位置,都能实现无缝且高效的数据交互。
建议将存储和AI架构部署在网络服务提供商密集且临近公有云的位置,即所谓的"云邻接"区域。由于可能需要连接业务生态系统中的多个合作伙伴,此接入方式还应支持高带宽、低延迟的连接,以确保满足性能要求。
2. 就近处理数据
降低数据回传成本,减少总体开支 降低延迟,提升性能 确保数据隐私和合规性,满足各国数据本地化要求
如数据在云外生成,应在云外进行数据处理和AI模型推理;如在云中生成,则应在云中处理。
过去,企业常将边缘生成的数据迁移至云端处理,看重云的简便性、规模和运营支出模式。现在,企业可通过托管服务使用私有基础设施,无论是在数据生成的城市区域,还是靠近多个云服务提供商数据中心的中立位置。此方法支持多云架构,增强数据安全性和控制权,并在不迁移数据的情况下提供服务提供商切换的灵活性。
特别建议将AI推理基础设施部署在数据生成地附近。
3. 制定支持多云或多供应商AI模型的存储策略
目前,各大云服务提供商正竞相开发最佳AI基础模型。企业通常需要访问多个供应商的AI模型以完成不同任务,因此需要灵活切换AI模型供应商,以及在公有AI(数据上传至模型托管的云端)和私有AI(模型部署至机密数据所在位置)间切换,避免数据迁移或产生数据导出费用。
鉴于单一云服务难以满足所有AI需求,多云策略对任何数据管理策略都至关重要,使企业能在无需昂贵数据迁移的情况下灵活利用新兴AI服务。因此,每个AI战略都应考虑采用多云架构。将数据存储在云邻接位置可实现这一目标。
4. 寻求可预测的成本模型
云存储可能隐藏意外成本,如使用云对象存储时的读写操作费用和数据导出费用。数据在公有云不同区域间移动还会产生额外费用。将数据存储在中立的云邻接位置可助企业从可变存储成本模型转向固定模型,无需再支付可变的导出费用或每次数据请求的费用。根据使用场景,这些可变成本可能占存储总拥有成本的很大比例。
采用具可预测成本模型的存储解决方案可减少这些不确定费用,便于更精确的规划。
5. 选用支持多种存储类型和通信协议的存储设备
如前所述,AI工作流的不同阶段需要不同类型的存储,包括容量优化和性能优化的存储。AI集群从文件存储系统访问数据,而原始数据、向量数据库和早期检查点通常存储在对象存储系统中。根据性能和规模需求,通常选择基于SSD或HDD的物理存储介质。
同样,在AI训练和推理集群中,可选择InfiniBand连接的存储系统、支持以太网的存储系统,或两者的组合。因此,企业越来越倾向于从单一供应商处选择能满足所有需求的存储解决方案,而非为不同工作负载从多个供应商处采购,以降低运营成本并简化端到端存储架构。
---【本文完】---
近期受欢迎的文章:
更多交流,可加本人微信
(请附中文姓名/公司/关注领域)