查看原文
其他

SmartX 分布式存储产品全新升级,支持文件存储能力与纠删码机制

让 IT 从容进化的 志凌海纳SmartX
2024-11-05
近日,SmartX 正式发布了 SMTX ZBS 5.6 版本,通过引入对文件存储的支持能力,可作为企业统一存储平台,为大规模虚拟化、私有云、容器等环境提供高可靠、高可用、高性能、易扩展的企业级分布式块存储和分布式文件存储服务。该版本还引入了全新的存储分层模式,将缓存层划分为集群粒度的写缓存池和节点粒度的读缓存池,并支持用户通过纠删码(Erasure Coding,EC)机制进行数据保护,同时提高空间利用率,满足更多大数据量存储场景需求。

下载《SmartX 分布式存储产品组合介绍》,了解 SMTX ZBS 最新功能特性!

扫码并关注 SmartX 用户社区后将自动弹出电子书


产品更新:统一存储平台提供分布式块存储和文件存储服务

基于自主研发的分布式文件存储组件 SFS,SMTX ZBS 5.6 可同时提供分布式块存储和文件存储服务,满足企业应用的多样化存储需求。目前,SMTX ZBS 5.6 支持块存储 iSCSI / NVMe over TCP / NVMe over RDMA 协议,以及文件存储 NFS / HDFS(预览版)协议,块存储和文件存储容量可在单一集群内自行分配。

对于文件存储,SMTX ZBS 5.6 支持多种企业级文件存储的功能及特性,包括数据高可用与业务连续性保障能力,多级性能优化,以及简单灵活的运维支持。文件存储也可支持纠删码冗余机制,并允许用户对块存储和文件存储分别进行设置。欲了解文件存储更多功能特性,请阅读:SmartX HCI 6.0 新增文件存储能力,一套架构满足多种存储需求


架构更新:全新存储分层模式优化缓存机制

SMTX ZBS 5.6 从存储引擎、逻辑数据结构、层次化流动等多个角度重塑了数据的组织方式。在新版本的存储分层模式下,集群内的存储设备分为缓存层和容量层:
  • 缓存层可进一步分为写缓存和读缓存。

  • 写缓存(又叫性能层):集群层级的写缓存池,无论采用副本还是纠删码,新写入的数据都会以副本形态写入写缓存,已下沉至容量层的数据,新写入时也会先写入写缓存,有效保证数据的写性能。对于关键业务,还可通过常驻缓存功能将数据保留在写缓存中,防止缓存击穿导致的性能下降,持续提供稳定的高性能。

  • 读缓存:节点粒度的读缓存池,缓存被频繁访问的容量层的数据,提升数据的读性能,满足快速访问需求。

  • 容量层:用来存放冷数据,根据用户设定的数据冗余策略和置备类型,以副本或纠删码的形态存储,通过纠删码策略可以提高空间利用率,降低存储和网络开销。


注:容量层中的 P 为开启 EC 功能后的校验块,D 为数据块。


全新的分层模式下,用户可以使用纠删码等依赖存储分层模式的功能,同时读写缓存分区比例可以动态进行调整,优化缓存空间利用率并避免缓存击穿的风险,灵活应对不同业务 I/O 的性能需求。目前,混闪配置和全闪配置下均支持新的分层模式。
  • 混闪或多种类型 SSD 全闪:高速介质做缓存,低速介质做容量。每块缓存盘内部划分为读缓存和写缓存。

  • 单一类型 SSD:所有物理盘使用一部分做缓存,剩余做容量,充分利用所有物理盘的性能。此时,缓存分区均为写缓存,用于 EC 卷的数据整理,EC 卷的数据先写入写缓存,再下沉至容量层,而副本卷不使用缓存层,直接通过容量层进行读写。



功能更新:支持纠删码机制,优化快照后写性能


纠删码机制


基于架构更新,SMTX ZBS 5.6 引入了纠删码机制(EC),在存储分层模式下,用户可以灵活选择以副本或 EC 提供数据冗余保护。
  • 副本通过将数据在不同的位置存储多份实现数据冗余,在部分数据副本损坏后,通过健康的副本继续提供服务,并重建数据副本,将副本数量恢复至期望的级别。

  • EC 通过对多个数据块(K)计算校验块(M),无需完整地存放数据副本,从而节省存储空间。在部分数据块损坏后(≤M),通过 K 个可用的数据块和校验块可以重建出损坏的数据。


在相同的容错能力下,与副本相比,EC 可以大大节省存储空间,提高空间利用率,因此非常适合存储数据量大但对性能要求相对较低的场景,如日志服务器、备份归档等。通过缓存加速机制可以保证 EC 卷在大部分场景下的读写性能,但由于 EC 机制下数据发生下沉后会分布在多个节点上,需要跨网络读取数据,因此读性能会比未下沉前有所下降,对于数据库等对性能要求较高的应用场景,依旧适合使用副本这种数据保护机制。

* 如果期望达到机箱或机架级别的容错能力,则对应的需要最小机箱或机架数量满足要求,并将主机分布到不同的机箱或机架上。


主要能力和特性


  • 支持卷级别设置 EC 存储策略。

  • 支持 28 种配比,可根据需求进行选择。

  • 通过缓存机制保证 EC 卷的读写性能。

  • 可通过完全克隆的方式实现 EC 卷和副本卷的转换。


快照后写性能改进


SMTX ZBS 5.6 还针对快照后的小块随机写性能进行了优化,减小性能下降幅度,加速性能恢复,从而降低快照对写性能的影响,保障业务的高性能。

除了纠删码机制和快照的优化,SMTX ZBS 5.6 还引入 NVMe-oF 多队列机制,进一步提升集群存储性能,并将运维场景下的 I/O 中断时间缩短至 1s 内,客户端不会感知到明显的 I/O 中断。欲了解更多 ZBS 技术特性与演进历程,请阅读:

您还可下载《SmartX 分布式存储产品组合介绍》,了解 SMTX ZBS 最新功能特性!

扫码并关注 SmartX 用户社区后将自动弹出电子书

继续滑动看下一个
志凌海纳SmartX
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存