银行用户 SAS 风控跑批测试:分布式分层全闪跑赢集中式全闪
作者:深耕行业的 SmartX 金融团队
SAS 企业风险管理解决方案(以下简称“SAS 风控系统”)是国内金融机构普遍使用的风控系统之一,该系统利用云计算和大数据技术,为各类金融机构提供风险评估、信用授予和欺诈防范等服务。由于系统运行时涉及大量的数据采集、处理、分析和模型构建等操作,SAS 风控系统对底层存储的性能、可靠性和弹性扩展能力有着十分严苛的要求。
某银行用户原使用某国产全闪集中式存储为 SAS 风控系统、DB、CDH 等系统提供高性能支持。而随着存储资源日趋紧张,用户面临高成本扩容和共享存储下需要限速运行 SAS 系统的两难困境。为此,用户开始探索其他存储解决方案,并针对 SmartX 分布式存储 ZBS 搭配信创 CPU 支持 SAS 风控系统的性能展开测试。结果显示,信创环境下的 ZBS 分布式存储(分层全闪,开启 RDMA)运行 SAS 风控系统的性能,与生产环境全闪集中式存储架构性能相当,甚至在两种跑批场景下可减少 11%-16% 的整体耗时。
下载阅读《金融核心生产业务场景探索文章合集》,了解更多金融业务场景下不同 IT 基础架构的性能表现。
测试环境
生产环境软硬件配置
虚拟化软件:VMware vSphere 6.7
测试环境软硬件配置
测试平台:vSphere 7.0 + SMTX ZBS 5.5(NVMe-oF)
软件配置:
硬件配置:
虚拟机配置
测试项目
Oracle 基准性能测试:通过 Oracle 常规使用语句(如添加表空间文件、数据泵导出导入、RMAN 备份还原)进行性能测试。
SAS 风控系统跑批测试:选取生产环境中成功加载并耗时最长的 Top15 表,在测试环境中进行加载耗时对比测试,通过性能监视器对比两者跑批期间性能差异。
测试过程及结果
Oracle 基准性能测试
使用生产环境 Oracle 数仓导出文件中最大的 5 个 TXT 构建测试数据,数据量约为 270G,分别在数据导入、查询、备份等多场景进行对比测试。为避免 CPU 差异带来的干扰,所有导出及备份测试均不采用压缩功能。
测试结果显示,基于 SMTX ZBS 搭建的测试环境在以上所有业务场景下的总体耗时短于原生产环境,整体用时缩短约 5%。
SAS 风控系统跑批测试
使用测试虚拟机中 Windows 性能计数器的数据,数据取值间隔为 5s(默认 15s),分别进行日跑批测试和月跑批测试。结果显示,SMTX ZBS 在月跑批和日跑批测试中均显著提升了 SAS 风控系统 Top15 表的数据加载效率。月跑批的总耗时由原先 1032 分钟缩减至 863 分钟,用时减少 16.3%,日跑批总耗时 528 分钟,较原架构用时减少 11.2%。
同时,测试环境跑批期间 SAS 系统虚拟磁盘 I/O 读写最大性能达到 3322 MB/s,相较原全闪集中式存储架构(2488 MB/s)有 35% 的性能提升。
总结
通过以上测试,可以看到:
SmartX 分布式存储架构在硬件环境相对弱于原生产传统架构的条件下,在 SAS 系统加载跑批测试中仍展现出与传统高性能存储相当的性能表现,并在两种跑批场景下实现 11%-16% 的用时缩短。
在 SMTX ZBS 分布式存储使用 NVMe-oF 协议的情况下,可支持当前生产环境中对 I/O 性能要求较高的业务场景。
测试过程中,银行用户对于 SmartX 分布式存储的性能、可靠性和稳定性都非常满意,并计划在未来探索 ZBS 在更多应用场景下的表现。
更多金融行业跑批类业务场景探索与实践,欢迎下载阅读系列电子书《金融核心生产业务场景探索文章合集》。
推荐阅读: