苏光牛:全面数字化时代,金融核心业务系统数据库如何选型?
在新一轮科技革命和产业变革的背景下,全球企业进入数字化时代,全球的营商环境发生了很大的变化,金融业需要加速进入智能化升级时代。此外,由于金融是国家经济的基础,结合营商环境,需要跟上产业的变革转型,增强金融产品的核心竞争力。
金融业的信息化建设思路一直走在前沿,早在十多年前,各家金融企业就开始思考以云和分布式的技术作为企业数字化转型的基石,结合自身应用特性构建大规模、自主可靠、灵活高效的企业级金融云平台,实现传统架构的转型,推进IT系统向快速响应、弹性伸缩、高可用、低成本的云计算环境发展。
信息化的转型绕不开一个核心的话题,就是核心交易系统的改造,而核心交易系统的核心基础软件就是OLTP(online transaction processing,在线交易处理)数据库,如何面向未来构建具备竞争力且安全合规的分布式云数据库,成为金融业信息化转型的关键。
华为云数据库服务总经理 苏光牛
拥抱分布式与云化是金融科技发展的必然趋势
金融业务的爆发式增长,对信息系统高并发请求及海量数据的高性能存取提出了极高的要求。当前,集中式架构需要快速转型为分布式系统是大势所趋。分布式的系统架构基于通用的硬件架构,如X86和ARM,从一开始就把扩展性、大容量作为基础的理念,从而在业务高并发和容量快速增加时可以从容应对。当前,多数的金融企业均已经从外围、边缘应用尝试分布式数据库。
华为全球产业展望(GIV@2025)指出,到2025年,85%的应用将运行在云上。我们认为:业务及各个组件的云化是大势所趋。云数据库并不是把数据库装进容器或者虚机,而是通过管理面与数据库内核的改进,与云基础设施深度融合,让核心交易系统具备高效弹性的部署能力和自动化运维能力,从而真正让“使用数据库像拧开水龙头取水一样方便”。
金融业选择分布式数据库会面临哪些挑战?
数据库承载了企业的核心数据资产,因此数据库的高效、稳定、安全至关重要。金融企业在分布式数据库的选型、建设和运维中,主要面临着以下几点挑战:
1. 安全合规:过去十年是开源数据库蓬勃发展的十年,但开源是否免费;开源开放背后的主导者是谁;开源代码协议的背后思考;开源对未来业务连续性的风险、及对商业软件的兼容和接口的模拟带来的法务风险;不遵从开源协议的简单包装等这些问题都值得深入思考。从业者需要从全局考虑,尤其针对当前复杂的国际产业环境,安全合规的要求看似非技术要求,但极为重要。
2. 拥抱变化:传统的应用开发和数据库进行了深度的耦合,然而安全合规的要求让我们不能期望一个100%兼容之前商业闭源数据库的国产数据库(即使有,是否能用也要仔细评估),与此同时,接口与兼容性也难以达到同样的要求。因此,对于想要数字化转型的金融信息系统来说,业务架构的改造是非常必要的,选择“躺平”并不能解决本质问题。我们要利用这次的改变机会让应用和数据库做好适配,规范数据库的开发规范,从而让未来金融业务的开发具备更好的活力。
3. 内核能力:数据库是一门相对古老但又极具挑战的技术学科,“古老”是指数据库已经有近40年的历史,“挑战”是指工程化要求高。虽然当前市场上有很多开源范本,但是真正满足金融级要求的商业数据库却寥寥无几,这需要在可用性、可靠性和性能上追求极致,这就必然要求数据库厂商的内核专家是“精专人才”而不是“数量人才”,需要真正有10年从业经验、熟悉数据库原理又懂数据库内核代码实现的人才。
4. 开放的生态:开放的生态代表了数据库的未来,包括数据库的SQL语法体系、数据库的日志接口、数据库管控API等等。友好协议下的开源能更好营造开放的生态,有利于广泛的应用与推广,从高校、ISV、个人开发者等多渠道培养人才,构筑良性循环、长期演进、开放共赢的数据库生态。
5. 规模化的运维:业务量的增加意味着容量的增加,从使用几百GB到几十TB,甚至100TB的交易型数据库,意味着运维节点数量也会出现爆发式增长,每个DBA需要管理的数据库实例也会成倍的增加,从长远看,DBA至少都应该思考如何以“云”的方式来管理自己的数据库,拥抱技术红利进而分担大规模的运维压力。
金融企业如何选择合适的分布式数据库?
综上面临的主要挑战,关于分布式数据库选型时,我们建议:
1. 厂商层面:
a) 优选具备持续10年以上战略投入与深耕的厂家,可以梳理一下真正懂代码的内核人才,并查看人才分布。
b) 其次,考虑开放自主可靠的内核生态、可积极推进人才培养与供给、考虑端到端的业务连续性、不封闭不锁定、耐心培养人才做强生态的品牌大厂,长期陪伴客户。
c) 最后,数据库厂商是否践行“自己的数据库,自己的业务先上”,是否具备大规模的丰富业务场景(如传统ERP业务与泛互联网业务就完全不同)来率先验证和催熟产品核心能力。
2. 技术层面:
a) 首先,SQL语法的相对完备性,数据库不只是分布式存储。KV存储上增加一定的SQL接口能解决特定场景的问题,但对于企业业务来说改造工作量相对较大。
b) 其次,性能需要结合场景,各种互联网大促的业务模型与企业的业务模型相差甚远,基于商业数据库的业务模型更多是复杂SQL,甚至混合少量HTAP的应用。
c) 第三,分布式的跨AZ能力才能真正解决高可靠和高可用。支持数据中心“双活”甚至异地容灾,在一个AZ故障的时候依然能支持系统的高可用,进而保障数据安全。
d) 最后,分布式是单机+中间件的组合还是分布式存储+并行的引擎及分布式事务模型的深度融合?从原生分布式数据库的架构来看,只有分布式存储+并行的引擎及分布式事务模型的深度融合才是真正的分布式数据库架构。
3. 工具等外围生态:
a) 数据迁移,要实现在线迁移数据,可控时间内业务切换;要实现数据的比对,防止数据的丢失;数据双向同步支持业务的灰度,减少上线的压力。
b) 容灾备份,一致性的快照支持分钟级的备份和恢复能力,让数据库系统在灾难面前从容应对,这也是为什么需要分布式存储而不是一个单机实例。
c) 完善的监控工具,对系统的性能分析、统一的运维监控,方便DBA能对上万个数据库实例进行数据的迁移和日常运维。在当下,即便基于单机数据库来构建自己的交易系统,也需要开发一套独立的管控面,对数据库实例进行弹性的伸缩、故障的自动切换,及备份恢复等工作,本质上这就是一种“云服务”的体现。
华为云GaussDB,金融级分布式数据库
华为公司从2007年开始进行数据库内核方面的开发,于2011年启动分布式数据库内核研发,在2014年发布商用版本的OLAP分布式数据库,2017年发布商用版本的OLTP分布式数据库。
华为现网数百万套电信产品(无线基站、路由器、交换机、光传输设备等),华为典型世界500强的全球流程与IT系统(包括财经、制造、采购、供应链、研发、销售与服务、办公等),面向数亿ToC客户的消费者云和面向ToB客户的华为云,都广泛使用华为GaussDB数据库产品与云服务。其中,电信产品是绝对的高可靠,流程与IT的ERP系统是复杂的传统应用,云则是典型的互联网流量。
在OLTP领域,GaussDB有两款核心产品,分别是GaussDB(for MySQL)与GaussDB(for openGauss)。GaussDB(for MySQL)是基于当前相对广泛的MySQL生态打造的分布式数据库,主要面向泛互联网市场,目的是为了方便客户更好的迁移上云。而GaussDB(for openGauss),是基于华为公司的开放生态openGauss打造的分布式数据库,这款数据库无论从生态还是代码都由华为自主研发,主要面向政企金融市场,满足客户高安全、高可靠、高性能、高扩展的要求。目前,openGauss单机社区版本已经开源且协议非常友好,国内已经有6家DBV服务商基于openGauss单机社区版本打造了自己品牌的数据库,而华为云GaussDB(for openGauss)也是基于同一个openGauss生态来打造的,目的是为线上线下提供统一的开放生态,使得客户获得一致的体验,方便数据流动,生态共享。
GaussDB(for openGauss)的关键技术能力如下:
(1) 混合负载高性能:单节点与分布式的极致性能和极高的线性度。基于鲲鹏多核和CPU指令集独创鲲鹏NUMA-Aware架构,有效解决跨NUMA内存访问时延问题;同时通过多核并行算法、SIMD指令加速技术,充分发挥鲲鹏处理器多核算力优势,实现极致数据处理能力。基于鲲鹏两路服务器,单节点处理能力达150万tpmC,32节点处理能力达1500万tpmC。
(2) 数据高可靠:底层的分布式存储基于华为企业级的分布式存储软件实现,经过大量复杂场景的锤炼,保证数据库的高可靠,可以实现跨AZ的部署。
(3) 高可用:多种高可用方案,包括同城AZ内高可用、跨AZ高可用、异地跨Region的两地三中心容灾方案,满足金融级监管要求。Switch Turbo技术确保同城AZ内单点故障能够快速切换,RPO=0,RTO<10s;支持同城跨AZ部署,AZ级故障RPO=0、RTO<60s;提供两地三中心异地容灾方案,实现1000公里以上城市级容灾能力,满足金融核心业务监管要求。
(4) 弹性扩展:在华为消费者云实际部署1000+超大分布式单集群,可以轻松应对海量高并发数据处理和复杂查询场景的考验。
(5) 安全合规: 业界首款纯软全密态数据库,提供丰富的数据库安全能力,可实现数据从传输、计算到存储的全程加密,解决数据库云上隐私泄露及第三方信任问题。
(6) AI-Native自治:GaussDB将AI技术融入分布式数据库的全生命周期,可以实现数据库智能调优、索引推荐、自诊断、自运维等能力,协助DBA降低运维难度,大幅提升管理效率。
(7) 算子下推:分布式数据库计算和存储通过网络实现存算分离,可以将大量的算子放到分布式存储上完成近数据计算NDP,在某些场景下10倍提升性能的同时大幅减少数据在计算和存储上的搬移。
目前,华为云GaussDB已在1000+大客户规模商用。 在金融行业,GaussDB已经和工商银行、建设银行、招商银行、邮政储蓄银行、永安保险、众惠财产相互保险社、证券交易所等多家银行、保险与证券公司展开合作。
客户需求是华为创新的源动力,GaussDB将始终坚持开放、合作、共赢的态度,和伙伴一起帮助金融客户实现数字化转型,确保安全合规,提供稳定可靠易用好用的数据库服务,助力金融机构可靠服务社会与客户。
推荐阅读
(点击图片查看精彩内容)
精彩内容回顾
(点击查看精彩内容)
■ 实战 | 助力金融IT变革,百度智能云Serverless应用揭秘
■ 案例 | 携手监管科技,助力金融机构关联交易系统全面升级
《金融电子化》新媒体部:主任 / 邝源 编辑 / 傅甜甜 潘婧