《对象存储兼容性复杂性》讲座的问答
参考讲座原文:解析对象存储兼容性的复杂挑战(PPT)
Q:您认为对于AI类型的工作负载,需要快速的对象存储吗?
A:是的,对于AI工作负载对快速对象存储的需求正在增长。最初,对象存储主要用于备份或归档目的。然而,它发展为数据湖,并引入了诸如S3 SELECT API等功能,使其更适用于数据分析。亚马逊推出的S3 Express,一种更快但更贵的方案,清晰地显示了这一趋势。其他供应商也纷纷效仿,表明对象存储正逐渐成为特定工作负载的主要数据存储平台。
Q:随着对象存储在主存储空间中变得更为普遍,您是否可以谈一谈数据保护,特别是同步复制和多地部署等功能——或者您认为这对于对象存储部署来说是不必要的?
A:随着对象存储在主存储中的普及,数据保护变得至关重要,这涉及到同步复制和多地部署等功能。不同的对象存储解决方案有不同的实现方式。例如,亚马逊S3支持异步复制,而Azure ZRS(区域冗余存储)在特定地理区域内提供类似同步复制的功能。许多本地解决方案也提供了多地部署和复制功能。供应商需要提供独特的功能和附加值,为客户提供多种选择,以满足其特定需求。最终,客户需要明确其数据可用性和耐久性需求,并选择适合其应用场景的解决方案。
Q:关于网络研讨会中的第3个调查问题,为什么问题只问“超过10PB”?我们在看的是像100PB这样的多PB … 这是否意味着对象存储不适用于多PB?
A:对象存储本质上是可扩展的,可以支持从PB到EB规模的部署。然而,可扩展性可能会根据具体的实现而有所不同。每个对象存储解决方案可能在容量方面有其自己的限制。重要的是要查看每个解决方案的详细信息,以确保其满足您对多PB规模部署的具体需求。
Q:Wasabi与Amazon S3 100%兼容吗?
A:虽然我们通常避免在一般性论坛中讨论具体的供应商,但需要注意,大多数"S3兼容"的对象存储实现与Amazon S3相比存在一些差异。这些差异可能在重要性上有所不同。因此,我们始终建议对具体的对象存储解决方案进行测试,以确定是否存在任何关键问题或不兼容性。
Q:实现统一视图查看不同类型的存储(包括对象、文件和块)的最佳方法是什么?这对企业范围的数据追踪和多云部署可能最为相关。
A:有许多来自不同供应商的解决方案可供选择,可以查看多种类型的存储,包括对象、文件和块存储。这些解决方案特别适用于企业范围的数据管理和多云部署。然而,这个主题超出了我们当前讨论的范围。SNIA可能会考虑在将来的一个独立、专门的网络研讨会中讨论这个问题。
Q:有没有任何标准的对象存储实现,可以用来定义S3兼容性?
A:Amazon S3作为对象存储实现的事实标准。独立软件供应商(ISV)可以决定他们希望与Amazon S3实现多大程度的兼容性,包括要实现哪些功能以及在多大程度上实现。目标并不一定是在所有实现中实现相同的功能,而是让每个ISV意识到其解决方案中的具体差异和潜在的不兼容性。即使不能实现完全的兼容性,了解这些差异也是关键的。
Q:随着目录存储桶(directory bucket)的引入,您是否预计供应商将在此方面提供兼容性,还是坚持采用严格的扁平命名空间?
A:这是一个好问题。我们正在组织一个持续进行的对象存储论坛,将在后续的讨论中更深入地探讨,并将作为这类讨论的平台。我们预计不仅将讨论目录存储桶与扁平命名空间的概念,还将探讨其他想法,如S3的性能增强和替代传输层。该论坛旨在成为讨论对象存储未来方向的协作空间。
Q:如何将不兼容性分类为对客户重要的问题,而不仅仅是不符合AWS规范/行为的问题?
A:不兼容性应该根据每个实施者的具体需求和优先级进行评估。虽然我们不设定通用的兼容性目标,但每个实施者都需要确定他们与S3或其他协议的紧密程度。他们必须决定是否根据自己的目标和客户的需求来解决任何行为或功能上的差异。实质上,不兼容性的重要性取决于其对实施者目标和客户需求的影响。
Q:客户在使用不同SDK时是否遇到了与高可用性(HA)行为相关的不兼容性?负载均衡器与轮询DNS相比,在本地和云中使用其他HA技术?
A:是的,客户确实在使用不同SDK时遇到了与高可用性(HA)行为相关的不兼容性,特别是涉及对象存储时。对象存储不仅涉及API,还涉及负载均衡决策和HA技术等实施方案。这些差异通常是由于此类差异引起的,特别是当对象存储解决方案部署在客户的数据中心并需要与现有的网络基础设施集成时。这些不兼容性可能是由于各种因素,包括负载均衡是通过轮询DNS、专用负载均衡器还是其他本地或云中的HA技术处理。
Q:对于跟随AWS不断演进的S3 API,您有什么看法?我特别关注新的目录存储桶类型及其支持层次结构的相关API更改。
A:我们在SNIA云存储技术工作组与亚马逊进行对话,并鼓励他们参与我们计划的SDC'24插件测试。他们的参与对我们预测即将发生的变化、了解新的发展(例如目录存储桶类型及其相关的API更改)将是非常宝贵的。亚马逊提出的这种与原始实现不同的S3新变体强调了兼容性测试的重要性。尽管完全的兼容性可能并不总是可实现的,但对于独立软件供应商(ISV)来说,充分了解他们的实现与S3不断发展的标准之间的差异是至关重要的。
Q:在使用备份软件进行对象存储数据保护时,您是否也看到一些在恢复数据方面的不兼容性?
A:在进行数据备份到对象存储系统的过程中,最基本的需求就是确保日后能够顺利地检索这些数据。这种可靠性是所有存储平台的核心要求。然而,如果数据最初存储在某个特定的对象存储解决方案中,之后转移到另一个解决方案时,可能会出现问题。如果不按照备份软件供应商的要求来执行这种转移,可能会导致未来在访问这些数据时遇到困难。因此,在执行任何数据迁移操作时,为了避免出现这类兼容性问题,必须进行细致的规划,并遵循相关建议的实践。
Source:Gregory Touretsky; Complexities of Object Storage Compatibility Q&A; January 26, 2024
---【本文完】---
近期受欢迎的文章:
更多交流,可添加本人微信
(请附姓名/关注领域)