分布式存储与集中式存储（HDS）的性能对比测试
作者：深耕行业的 SmartX 金融团队 金鑫
在金融客户的基础架构环境中，HDS 是一种被广泛使用的存储解决方案。作为集中式存储的代表之一，HDS 拥有高性能、高可用性和可扩展性的企业级存储特点，适用于实时数据处理、虚拟化和灾难备份等场景。
在《分布式存储支持数据仓库业务系统性能验证》文章中，我们对比了 SmartX 分布式存储 ZBS 与全闪集中式存储（EMC PowerStore）执行数仓跑批任务的效率。为了帮助用户了解更多应用场景下 ZBS 与传统集中式存储的性能表现，我们对 ZBS 和 HDS（Hitachi Virtual Storage Platform E590）展开了性能评测，包括基准性能测试和支持 Oracle 数据库的性能测试。结果显示，ZBS（开启 RDMA）在大部分基准测试和 Oracle 场景中，性能和稳定性均优于 HDS 集中式存储。
测试环境
准备三台计算节点，一台部署单机 Oracle，另外两台部署 Oracle RAC，采用 Oracle 19c 软件版本。
集中存储测试对象 Hitachi Virtual Storage Platform E590
利用三台 x86 服务器构建 ZBS 分布式存储
- NVMe 3.8TB x 8/RAID 6/双控/16G FC
- Intel Gold 6342 x 2/内存 128G/25GE x 2/100GE x 2/P5620 SSD 3.2 TB x 2/2.4TB HDD x 4
测试过程与结果
存储基准性能测试
基准性能测试利用 FIO 工具，分别测试两个环境在存储基准性能、读写延时控制 500us、长时间（12 小时）运行、快照等条件下的性能表现。其中，在存储基准性能测试用例中，分别测试单计算节点（1P1V 和 1P3V）和三计算节点（3P1V 和 3P3V）的性能表现，延时控制和长时间运行场景均基于 3P1V 进行测试，快照场景基于 1P1V 进行测试*。
* P 表示物理机，V 表示卷。1P1V 表示一个物理机挂载一个卷，1P3V 表示一个物理机挂载三个卷，3P1V 表示三个物理机各挂载一个卷，3P3V 表示三个物理机各挂载三个卷。
存储基准-单计算节点测试结果
由于 ZBS 在接入网络层面支持 iSCSI、NVMe over TCP 和 NVMe over RDMA（RoCE v2）三种协议，我们分别开启三种协议进行了测试。可以看到，除了 1P3V - 随机读场景下 HDS 的性能和延迟情况要优于 ZBS，其他场景下 ZBS 开启 RDMA 后的性能均优于 HDS，基于 TCP 和 iSCSI 协议的 ZBS 性能与 HDS 性能水平相当。
存储基准-三计算节点测试结果
在三计算节点配置下，ZBS 开启 RDMA 后性能均优于同一场景下的 HDS 存储。
读写延时控制 500us 测试结果
读写延时分别控制在 500us 时，ZBS 开启 RDMA 后性能远超 HDS （几乎翻倍）。
12 小时长时间测试结果
通过 12 小时长时间的性能压测（IODepth 2 *32），观察存储性能抖动，从测试结果中的性能曲线和抖动幅度，可以明显观察到，ZBS 性能表现均优于 HDS，表现出更好的性能稳定性。
卷快照后性能测试结果
在快照测试中，4k 小块随机写场景下 HDS 与 ZBS 都有一定幅度的性能下降，几分种后恢复到初始性能；256k 大块顺序写场景下，ZBS 性能稳定未受快照事件影响，而 HDS 性能波动较明显。
支持 Oracle 业务性能测试
除了基准性能测试，我们还针对两个环境下 Oracle 数据库性能展开了对比测试，包括单库读写测试、单库 TPCC 测试、RAC 读写测试和 RAC TPCC 测试。
写性能测试
测试场景：
基于券商委托插入脚本模拟压力
50 并发
单并发 150w 数据写入
每 1000 笔提交一次
测试结果：
单库：
度量单位：每秒插入数据行数
RAC：
度量单位：每秒插入数据行数
读性能测试
测试场景：
使用 CALIBRATE_IO 测试存储过程
1T Datafile
100G Redofile
测试结果：
单库：
RAC：
TPCC 测试
测试场景：
使用 Swingbench 进行测试
200 并发
测试结果：
单库：
RAC：
RAC（存储混合负载）：
总体而言，ZBS（开启 RDMA）环境下 Oracle 数据库性能表现均优于 HDS 集中式存储环境，尤其是在 TPCC 测试中，相比 HDS，ZBS 可提升数据库性能约 30%，充分满足业务性能需求。
总结
整体而言，在存储基准场景和 Oracle 数据库场景下，ZBS 开启 RDMA 的性能和稳定性表现要优于 HDS 集中式存储，ZBS 优化的快照机制也可降低快照创建对性能带来的影响。
欲深入了解 ZBS 架构设计与技术创新，请阅读电子书《分布式存储 ZBS 的自主研发之旅》。
您还可以关注 SmartX 用户社区，在 SmartX 学院中获取更多关于 IT 基础架构的干货内容与直播课程。
推荐阅读：
点击阅读原文，直达 SmartX 学院，获取更多 IT 基础架构干货知识！