工商银行率先完成金融高性能存储网络体系重构
作者
中国工商银行 吴仲阳 曾金 余学山
人工智能、大数据、云计算、区块链等新技术的不断涌现赋予了金融科技新的内涵，支撑着新的金融业态不断发展，加快了金融机构数字化转型的进程，推动金融业进入智慧金融时代。工商银行始终坚持数字化发展理念，以“数字工行”推动高质量发展取得新成效。作为支撑数字化转型的基础，金融IT基础设施如何适应数字化转型、赋能金融业务创新以及降本增效成为工商银行面临的一大挑战。
网络及存储是金融IT基础设施的重要底座，为金融业务数字化发展提供了基础保障。工商银行在深入调研高性能网络、存储基础设施等技术及产业应用发展情况后，选定高性能RoCE网络与高性能NVMe存储技术相结合的NVMe over RoCE技术作为金融高性能存储网络的技术路线，并率先完成金融高性能存储网络体系重构，在关键IT基础设施技术发展转型、缓解金融广域骨干网流量压力以及降本增效等方面取得显著成效。
一、 锐意改革，
率先开展高性能存储网络体系重构
在新技术不断迭代升级和高性能硬件迅猛发展的背景下，存储网络作为智慧金融的核心基础设施，需要在高带宽、低时延、无损传输等方面具备更高性能。存储网络如何突破性能瓶颈，向高性能网络平稳演进，以满足日益增长的数据流量和日益复杂的网络架构需求，是金融存储网络体系面临的核心挑战。
一是业务驱动。工商银行业务的持续增长驱动数据流量逐年递增。随着“数字工行”建设工作的推进，总分协同、城乡联动、线上线下一体化、全渠道等新场景新渠道新生态快速发展。业务增长的背后是各类交易系统网络流量及存储需求量的快速增长，给存储网络带来较大性能压力。
二是技术驱动。NVMe技术日趋成熟，驱动存储网络向高性能网络升级。存储介质已从机械硬盘发展到全闪固态存储，IOPS吞吐、时延性能持续提升驱动存储协议从传统SCSI协议发展到高速NVMe协议。为保证NVMe协议高吞吐、低时延的特性，存储网络必须向高性能网络升级。
三是架构驱动。分布式架构演进驱动数据中心间数据交互增加。“多地多中心”是贯彻落实国家“双碳”“东数西算”战略的关键，是促进数据要素流动、发挥数据潜能的基础，也是金融业数据中心向分布式架构演进的趋势。分布式架构体系下，数据中心之间的数据交互显著增加，广域网承载的各类应用流量不断增长，金融业骨干网络的带宽需求快速膨胀。
基于上述因素，工商银行锐意进取，率先开展新一代高性能存储网络体系重构工作。
二、 务实创新，
扎实推进高性能存储网络体系重构工作
1.明确高性能存储网络技术路线
近年来，高性能算力、高速闪存等高性能硬件技术迅猛发展，基于人工智能、大数据和云计算的金融科技和业务不断创新，数据中心网络持续创新面临更大挑战，传统TCP/IP网络难以完全满足金融数据中心更高性能传输需求，基于FC光纤通道协议的存储网络则面临技术封闭、演进受限等问题。同时，随着存储技术的发展，NVMe存储接口协议替代SCSI协议已成为趋势，业界在探索FC-SAN替代方案的过程中，提出了FCoE、iSCSI、NVMe over FC、NVMe over RoCE、NVMe over TCP等多种技术方向和路线。
工商银行深入开展高性能网络、存储等关键技术及其发展趋势的研判工作，对行业技术、产品及应用进行深入调研，开展实际场景测试验证，综合研判认为，高性能RoCE网络与高性能NVMe存储技术相结合的NVMe over RoCE在技术、产品和开放生态发展方面更为成熟，性能和稳定性更优，更符合技术发展趋势，并开拓性地选择其作为金融高性能存储网络体系的技术转型路线，通过对端网协同、远距拥塞控制及网络流量数据压缩等关键技术进行研究创新，在满足金融科技和业务创新需求的基础上，进一步实现了统一组网、统一运维，有效提升了数据中心的运营管理水平。
2.缓解金融广域骨干网流量压力
近三年来，数据库异步复制的流量带宽需求逐年增长，年均增长率接近50%，持续增长的带宽需求给专线带宽费用压降、不同应用传输质量保障、流量智能调度等工作带来极大的压力。为适配金融广域网流量特点，解决广域网流式数据报文压缩效率问题，工商银行对网络流量数据压缩技术开展研究攻关，通过在高性能存储网络体系异地灾备和数据库数据异地复制场景试点应用，持续缓解金融广域骨干网流量压力。
一方面，将网络流量数据压缩技术与高性能存储网络体系建设结合应用在存储异地灾备场景，填补了FC-SAN光纤交换机退出后依赖FCIP传输协议的磁盘异地灾备数据压缩传输的技术空白。工商银行通过在高性能存储网络体系异地灾备场景的技术验证，使流量压缩比达到2.1:1，有效提升了存储网络异地灾备场景的传输效率。另一方面，将网络流量数据压缩技术应用在数据库数据异步复制场景，解决了数据库异步复制流量逐年上涨带来的流量压力问题。工商银行通过对数据库异步复制数据开展特征分析和技术验证，应用网络流量数据压缩技术，使流量压缩比达到1.82:1，有效提升了数据库数据异步复制流量的传输效率。
广域网压缩技术实现了多点到多点的压缩与解压，可广泛适用于广域网传输数据流压缩。未来，随着数据中心从“两地三中心”架构向“多地多中心”高可用架构演进，工商银行将进一步拓展广域网压缩技术到多中心互联的更多应用场景，全面压降跨数据中心流量带宽，节省专线费用。
3.建成新型高性能存储网络体系
基于在高性能存储网络技术和网络流量数据压缩技术方面的研究成果，结合大型商业银行存储技术转型落地的需要，工商银行综合运用多项技术，全面建成RoCE-SAN金融高性能存储网络体系，实现存储网络体系的高性能、高可用，实现对FC-SAN技术路线的替代，保障工商银行信息系统安全、稳定、高效运行。
金融高性能存储网络体系突破了多项关键技术：一是采用端网协同等自动隔离技术实现存储系统高可靠，磁盘机、服务器和存储交换网络三者协同机制，通过技术集成和协议对接，构建设备和链路异常实时感知及故障快速收敛能力，提升RoCE-SAN存储网络体系高可靠水平。经实际生产检验，RoCE-SAN存储网络体系高可靠水平与FC-SAN相当。二是采用远距拥塞控制技术，基于以探测本地网络端口缓存队列状态替代探测远端设备状态的思路，攻克了RoCE网络跨园区长距离部署存在的技术限制的难题，实现RoCE-SAN存储网络同城高可用部署。三是采用网络流量数据压缩技术，实现RoCE-SAN高性能存储网络体系异地灾备和数据库数据异地复制流量的压缩，在提升数据传输效率的同时，有效压降了金融广域骨干网的专线带宽和成本。FC-SAN存储网络体系与RoCE-SAN存储网络体系对比如图1所示。
图1 FC-SAN存储网络体系与RoCE-SAN存储网络体系对比
2023年10月，工商银行完成RoCE-SAN高性能存储网络体系异地灾备子网建设并成功上线首个应用，标志着工商银行率先建成RoCE-SAN高性能存储网络体系的“多地多中心”高可用架构，并进入规模化推广应用阶段，完成金融高性能存储网络体系重构。
三、持续探索，
构建与业务发展相适配的
新型数字基础设施
面对IT架构转型和技术发展对金融存储网络体系提出的新挑战，工商银行在充分调研论证和对新技术深入研究的基础上，选择适配本行实际需求、符合技术发展趋势的技术路线，率先完成金融高性能存储网络体系重构，在关键金融IT基础设施技术转型、缓解金融广域骨干网流量压力及降本增效等方面取得了显著成效。
下一阶段，工商银行将不断拓展高性能网络的应用场景，提升高性能网络运载力和数据存储力，支撑金融算力基础设施建设，进一步赋能智慧金融业务发展，并积极参与行业生态共建，总结梳理工作经验，为金融同业应用高性能网络提供技术参考。围绕“数字工行”战略，工商银行将持续夯实数字化基础设施，积极推进关键IT基础设施领域技术创新工作，以点带面推动数字化转型工作向纵深发展，探索构建与业务架构相适配的新型数字基础设施，为全行数字化转型提供坚实稳定的支撑。