查看原文
其他

实战丨​​​​金融业“存储”变革时代

金融电子化 金融电子化 2021-08-11

欢迎金融科技工作者积极投稿!

各抒己见!

投稿邮箱: 

newmedia@fcmag.com.cn

                                 ——金融电子化

北京银行系统运营中心副总经理  杨春光


互联网金融的快速发展对支撑银行业务的IT架构提出了新的要求。银行为应对以“客户为中心”的业务创新,需要更高更快数据处理能力的新IT架构。


业务飞速发展下的挑战

2019年,北京银行各项经营指标均达到国际银行业先进水平,公司价值排名中国区域性发展银行首位。北京银行将数字化转型上升至核心战略层面,全方位开启数字银行建设。其业绩报告显示:2018年北京银行对信息科技投入同比增长41.22%。这其中包括以高标准建成的、可满足未来科技发展需求的顺义科技研发中心,2019年北京银行持续加大信息科技的投入力度。


在业务突飞猛进的同时,北京银行IT环境在长期运行过程中,业务压力和挑战开始显现。首先,硬件设备投资较大。每个系统在采购时都是采用购买服务器、存储、网络等硬件设备及相关软件构筑的竖井式设计,硬件设备的投入越来越多,使包括机房等基础设施环境不堪重负。其次,资源的变更繁琐。老旧存储替换前期需要准备较长时间,一些重要的设备往往需要停机窗口,缺乏对资源的全生命周期管理。第三,存储资源准备时间较长。存储资源准备与存储资源分配是两个独立的流程,无统一的流程化管理工具实现两个流程的交互。第四,存储资源交付标准化程度低。包括存储分配、光纤交换机配置、存储agent和多链路管理软件等安装部署需要借助脚本或者自动化工具进行手工操作,各个环节独立进行,交付管理员对于各个项目的沟通成本较高。


针对以上技术和管理的痛点,必须坚持科技赋能金融业务提升理念。为突破困局我行选择全闪存储重塑数据中心,打造统一的存储平台。


技术突破迎来破局机遇

1.时代的礼物——闪存技术

作为近年来最具变革性的技术之一,闪存技术将持续爆发强大的影响力。不仅仅是使用全闪存去替代传统的机械硬盘存储,还会有更多让人兴奋的功能在全闪存上被规划化使用。全闪存无损快照技术将颠覆传统存储中数据多份拷贝的历史,对生产业务性能不影响同时节省空间,并且数据拷贝的过程变得更加快捷。


相比较传统机械硬盘,全闪存硬盘由于没有机械部件,数据的读写全部是电子讯号,不存在马达转速的机械瓶颈,因此性能有了质的提升。同时,全闪存阵列在扩展和部署方面也有着诸多的优势。首先,全闪存阵列由于取消了机械部件,因此发热量更小,不需要大量的散热设备辅助散热,不但能够更好地节省能源开支,而且还能够降低企业安装和后期维护的成本。其次,由于全闪存阵列具备更高的性能,因此能够实现更加高效的数据迁移和部署工作,达到快速部署的目标,从而为银行节省了宝贵的时间和资源。


随着全闪存硬盘的迅速发展,单块全闪存硬盘的存储容量不断攀升,而价格却一路下探。尤其是QLC颗粒的SSD出现,使SSD容量能达到几十甚至上百TB。虽然QLC颗粒P/E寿命较低,但是QLC超大的容量可以大幅降低擦写次数,保证SSD的整体使用寿命。


2.用NVMe释放闪存能量

随着闪存在存储中的广泛使用,传统硬盘接口技术已经越来越无力,而当前主流的全闪存还在使用SAS(串行SCSI)接口,这让闪存能量的释放受到了很大的限制。NVMe规范提供了闪存访问的标准方式,充分利用PCIe通道的低延时和并行性,以及当代处理器、平台与应用的并行性,通过降低协议交互时延,增加协议并发能力,显著提高性能,在可控制的存储成本下,极大地提升固态硬盘的读写性能,从而进一步释放闪存的潜能,并推动全闪存在数据中心的普及。NVMe的多流并发处理以及简化高效的堆栈结构,让存储系统的并发能力得到了巨大的释放,同时响应时延则得到了大幅的缩减。NVMe相比SAS的效率有很大的提升,NVMe所需的每次IO的CPU周期少于SAS的一半;在相同的CPU周期下,NVMe提供的IOPS是SAS的2倍。和NVMe相比,SAS的劣势已非常明显。NVMe不仅仅可以用于基于闪存技术的SSD,还可以应用于未来的SCM等新的存储技术中。


存储数字化转型为业务赋能

1.云化存储管理提升运维效率

北京银行研发中心提出以IaaS层作为基础架构的私有云存储平台,统一纳管存储资源,向上提供存储资源的自助式申请服务,实现多服务目录体系,同时提供计量计费、统计报表等功能。整个云数据中心希望打造一个标准化、自动化、可视化、高安全、高可靠的生产环境私有云存储平台。


标准化:通过服务器虚拟化技术实现基础架构资源的标准化,并且以服务目录的方式对外提供标准化的云资源并实现细粒度的计量计费。


自动化:建立动态的资源平台,达到快速服务交付能力,与现有自动化运维平台进行对接,实现应用软件自动化部署。


可视化:对资源和业务运行进行全方位的监控和展示。


高可靠:通过容灾、高可用和数据备份等保护技术实现云平台及资源服务的高可用和业务的稳定运行。


高安全:实现云环境下的资源隔离和权限控制。


借助新的私有云存储平台,北京银行提升了运维效率,得到了安全可靠的有效保障,实现异地数据中心、异构基础资源统一管理;登录入口、账号和权限统一管理和全局资源统一调度。在架构上将同城灾备中心、西安异地灾备中心私有云统一纳管,实现多云管理模式。


2.全闪存存储体系保障数据库性能

北京银行原使用SSD磁盘与传统机械硬盘的混合存储,由于SSD磁盘的容量有限,只能通过存储自身动态分层技术进行数据的动态调整。存储系统在后台不断进行运算发现热点,并进行热数据和冷数据之间的位置搬迁,此技术能解决一部分热点数据的性能要求,但是也会消耗系统的CPU,同时存在热点数据判断是否准确和及时、冷热数据迁移是否及时等问题。


北京银行新数据中心全面引入了全闪存体系结构。充分发挥了SSD的性能优势,传统存储和全闪存储在同等配置下,性能提高3倍,响应时间从4ms降低到1ms。除了性能提升之外,在功能上也有新的发展,提供了SRDF双活功能,提供了性能更好的快照技术,能够减少系统资源消耗,节省了磁盘空间。还能够提供从存储到备份设备的之间备份功能。


全闪存储的使用更好地提升了北京银行的数据存储能力,为我行日益复杂业务水平提供了最坚实可靠的基石保障。


3.重删与压缩技术提供海量存储空间

在过去的十几年间,CPU的性能提升了8~10倍,DRAM速度提升7~9倍,网络速度提升100倍,Bus速度增长20倍,磁盘速度却仅仅增长了1.2倍,单位体积的存储容量增长也微乎其微——磁盘阵列已经成为IT系统中的短板。随着全闪时代的到来,高效的存储介质可以更好地提供服务,这就为很多领域的技术发展提供了突破口。例如,虚拟化使用全闪存方案,开启重删压缩机制,可以大幅度节省存储空间,提高存储利用率。我行在虚拟化发展长期实践过程中,总结出一套后端搭载全闪存存储架构的最佳实践方案,虚拟化层面使用精简置备,存储层面开启重删、压缩。存储端压缩前使用量与压缩后使用量比例达到3.7:1。而虚拟化端总置备量与存储端压缩后实际使用量比值更是达到了40:1的比例。而且针对银行多类高性能、低时延的数据诉求,全闪存储在节省空间的同时也提供了高效且可靠的数据保障。


展望:基于AI技术的“智慧存储”

中国制造2025,“中国制造”正在逐渐演化为“中国智造”,人工智能短短几年已经成功登顶当前最热的IT技术。用AI和大数据改造存储管理,实现设备运维智能化、资源调度智能化,并能使数据价值挖掘,正在成为存储领域努力的方向。而全闪存阵列的突出性能表现以及存储容量快速增长正在积极地推动实时智能的存储性能预估和容量管理。未来我行也会采用对存储的智能管理,目标是利用大量数据以及人工智能分析,以指导战略决策。


结 束 语

业务创新是企业持续发展的驱动力,IT基础架构的革新在其中起着至关重要的作用。北京银行采用私有云存储平台技术在IT架构的云化转型过程中扮演了非常关键的角色,充分发挥了其灵活横向扩展、弹性伸缩、资源管控等优势。支持北京银行构建开放、灵活的IT平台,资源随需所用,业务快速部署,满足不同场景应用需求。全闪存储的应用在为北京银行提升数据处理能力的同时也提升了存储空间利用率。全闪存储和私有云平台的使用为北京银行的业务创新、敏捷开发与运营工作开足了马力!





往期精选:

(点击查看精彩内容)


● 实战丨中小银行零信任架构场景探索与实践

● 实战丨基础架构云化四大新趋势,LinuxONE黑科技帮企业做减法

● 实战丨基于XGBoost模型的高频交易机会挖掘研究

● 实战丨金融科技赋能“终端”新未来

● 实战丨基于政务大数据的普惠金融数据模型研究






关于仿冒我刊收费的声明





我刊自创刊以来,从未向投稿人收取过任何费用。任何以刊发文章为名向投稿人收取费用的行为,均属于对投稿人的欺诈行为。


我刊官网地址为 www.fcmag.com.cn。

我刊投稿邮箱为 fcmag@fcmag.com.cn。


对于仿冒我刊网站、网页的违法行为,我社将追究其侵权责任,以维护我社和投稿人的合法权益。仿冒网站、网页举报电话:010-88232443



《金融电子化》新媒体部:主任 / 邝源  编辑 / 潘婧 傅甜甜

    您可能也对以下帖子感兴趣

    文章有问题?点此查看未经处理的缓存