查看原文
其他

XGFS分布式文件系统的多协议互通实现

蒙正 XSKY星辰天合
2024-11-01
2021 年 10 月份 Gartner 发布了《2021 年 Gartner 分布式文件系统和对象存储魔力象限》,文章指出指数级数据增长、快速数字化和业务全球化带来的日益严峻的挑战,基于分布式文件系统和对象存储的存储基础架构产品正在增加,作为解决此问题的首选平台,部署的数量和容量都比以往任何时候都要快,同时 Gartner 最终用户报告非结构化数据同比增长超过30%。因此,基础设施和运维领导者正在寻找可扩展的内部存储产品。

文件和对象融合的趋势


在上述文章中 Gartner 的一个主要发现是分布式文件系统和对象存储产品的功能集正在融合在一起,从而合并了用例。将文件和对象存储产品的关键功能研究合并为一份研究报告的决定反映了 Gartner 从该领域的供应商那里看到的以及基础设施和运维团队采用的情况。


Key FindingsThe feature sets of distributed file systems and object storage products are coming together, resulting in the merging of the use cases.
关键发现:分布式文件和对象存储产品的功能集正融合在一起,导致用例也产生了合并。 来源:Gartner: Critical Capabilities for Distributed File Systems and Object Storage (分布式文件系统与对象存储关键能力报告)


在对象存储的早期,与分布式文件系统相比,对象产品具有明显的特点。但是当下,对象存储和文件系统之间解决非结构化数据挑战的能力差异已经变得非常小。Gartner 的调查表明,许多最终用户并不关心他们部署的解决方案是基于文件系统还是对象存储,只要他们可以通过他们喜欢的访问协议访问数据。虽然与本报告中评估的功能不完全相同,但基础设施和运维团队在考虑非结构化数据解决方案时寻找的基础功能包括:

  • 性能的可扩展性

  • 容量可扩展性

  • 可用性和弹性

  • 可管理性

  • 安全

  • 多租户

  • 部署灵活


      所有上述功能都可以通过文件或对象存储同样得到很好的解决。到这里我们会想,哪些场景会有这种多文件协议互通的需求呢?可以以融合媒体场景为例来解答这个疑问。

      融合媒体是信息时代背景下一种媒介发展的理念,是在互联网的迅猛发展的基础上的传统媒体的有机整合。它信息传输通道的多元化下的新作业模式,是把报纸、电视台、电台等传统媒体,与互联网、手机、手持智能终端等新兴媒体传播通道有效结合起来,资源共享,集中处理,衍生出不同形式的信息产品,然后通过不同的平台传播给受众。


      对于融合媒体场景来说,传统本地NAS架构其实不利于业务融合发展,在于融合生产环境打破了生产各环节界限,业务之间数据高度共享传统拷贝方式的业务间共享模式,流程繁琐,效率低下。并且融媒体的数字化特征,导致爆炸式数据增长多业务数据融合汇聚, 传统存储架构容量和性能扩展能力有限,无法应对高速增长的海量数据和大规模高并发的业务压力。分布式存储才是最好的选择。

      在信息爆炸的时代,融媒体平台承载了视频、音频、文字、图片多种类型的数据,同时这些数据需要在报纸、微博、微信公众号等不同的媒介中传播,就涉及到了同一份文件,需要满足不同接口应用的访问需求。


      XGFS 分布式全协议存储系统



      分布式全协议存储系统 XGFS,支持单一命名空间百 PB 容量,百亿文件数,同时可以做到多协议互通,也就是一份文件即可以通过传统文件接口访问,又可以使用 S3 SDK 访问。

      要做到文件与对象协议之间的互通,首先需要打通用户和元数据层也就是统一用户、统一命名空间。在 XGFS 界面创建一个本地用户后,可以配置开启对象访问,开启后,用户的对象访问一栏会显示已启用标签。


      进入指定用户的管理界面可以看到,用户所对应的访问密钥和安全密钥,也就是 AK、SK。


      接下来我们尝试一下进行跨协议访问。首先在网关集群开启所有的访问协议。


      创建文件用户并开启 S3 对象访问。

      创建一个目录,并且基于这个目录分别创建 S3 存储桶、CIFS 共享和 NFS 共享。





      到此,准备工作已经完成。首先使用 S3Browser 上传几个文件。

      使用 CIFS 上传文件。

      使用 NFS 上传文件。

      每个协议均可访问其他协议上传的文件。S3Browser 上可以看到桶 user01bucket 中由 CIFS 和 NFS 协议写入的文件。

      同样的,通过 CIFS 协议挂载到 Win10 系统的共享目录中可以看到 S3 协议写入的对象。


      通过 NFS 协议挂载到 Linux 的共享目录也可以看到其他两个协议写入的文件。


      至此已向大家展示了 XGFS 分布式全协议存储系统的统一用户和统一命名空间能力。

      总结


      过去的存储系统仅能支持一种或两种访问协议,但今天的 XGFS 分布式全协议存储系统可以提供 NFS、SMB 和 HDFS 文件接口,以及 Amazon S3 对象接口。对于基础设施和运维团队来说,可以不需要为不同的应用维护各种协议的存储系统,也不需要在多个存储系统中拷贝同一份数据了。

      END




      如想了解更多产品信息扫码联系XSKY星辰天合售前专家


      往期推荐


      一套软件,推动全球橡胶机械制造巨头的数字化转型

      新基建,新智造,新存储

      从制造到智造,软件定义如何赋能?

      XSKY星辰天合发布软件定义存储V5系列  统一平台实现数据常青



      继续滑动看下一个
      XSKY星辰天合
      向上滑动看下一个

      您可能也对以下帖子感兴趣

      文章有问题?点此查看未经处理的缓存