查看原文
其他

观点 | 数智一体DBPaaS平台的构建思考

金融电子化 金融电子化 2022-10-19

欢迎金融科技工作者积极投稿!

投稿邮箱:newmedia@fcmag.com.cn

                                           ——金融电子化

文 / 中国邮政储蓄银行金融科技创新部  何佳佳

数据库作为银行核心系统的基础软件,承载着金融核心资产的客户数据和账户数据,对各家银行乃至国家金融体系具有举足轻重的基础关键地位。在分布式、智能化、安全可控的发展趋势下,数据库管理的规模和复杂度急剧提升,迫切需要能够整合数据库资源并统一管理运维的平台,DBPaaS(Database Platform as a Service)的概念在这样的大背景下应运而生,并且在2018年入选了Gartner的数据管理成熟度曲线。


数据库管理的时代挑战

1.数据库实例数量急剧增长

随着应用系统从集中式朝着分布式的演进,数据库系统也从过去传统商业数据库的垂直扩展模式(Scaleup),演化为纵向扩展模式(Scaleout)。新一代数据库不论单机模式、分布式模式、集群模式、云原生模式,都通过强化自身的纵向扩展能力,来实现对传统商业数据库的技术弯道超车。在这种情况下,数据库实例数量会按照10倍以上的速度进行扩张,促使DBPaaS从集中式管理迈入到分布式管理迭代演进。


2.数据库引擎类型多元发展

在银行IT系统中,一般可以根据不同业务等级、业务场景的需要,选择合适的数据库引擎,这涵盖了关系型数据库的不同厂商,也包括非关系型数据库引擎,比如图数据库。传统模式下,数据库引擎与管理平台是强绑定的,随着数据库多样化的挑战,会催生出能够统一纳管多种数据库引擎的通用DBPaaS。


3.单元化与分布式共生融合

在从传统集中式到分布式架构的演化过程中,分布式核心业务系统呈现微服务和单元化的技术特征,数据库通过分库分布实现数据的打散和均衡分配,这显著提升了应用系统和数据库之间关系的复杂度。由于分布式架构的天然复杂度,给日常运维管理、问题排查、汇聚查询都带来了挑战。这种情况下,DBPaaS需要厘清应用与数据库之间的复杂关系,成为单元化应用与分布式数据库沟通的桥梁。


DBPaaS平台的建设思路

1.一体智能的数据库服务

DBPaaS以管控模块和监控模块为核心,打通上层业务应用和下层数据库底座。平台通过多种监控手段,引入异常检测算法、策略编排算法、流量调度算法等AI核心能力,实现系统问题智能预测、应用访问智能流控和管理预案智能调度来确保新核心数据库系统的可见、可管和可计。


DBPaaS提供多方式、多规则、高吞吐、低延迟传输的数据传输服务,并拥有覆盖所属域、血缘关系视图、取值范围、业务规则、数据来源等功能的元数据管理能力和通过建模分析反向助力运维管理决策、指标数据风控和资源管理的技术运营数据处理能力。


DBPaaS还将安全管理贯彻在整个数据库管理和访问中,落实审核、审批、检查、执行、审计等标准化运维和变更流程,杜绝越权操作,屏蔽误操作风险,保障数据库系统的运行安全。同时,业务访问控制、对象审查、非授权操作告警、数据脱敏、数据加解密等多种安全手段立体全面覆盖DBPaaS,为数据安全保驾护航。


2.开放分层的微服务架构

DBPaaS采用基于微服务架构的分层次和模块化设计,实现了开放式和可扩展的总体架构。通过微服务架构,平台预留了长期演化以满足未来动态需求的能力,实现了与邮储新核心系统整体运维体系的无缝集成,包括单点登录、服务目录、CMDB、统一告警平台、工单系统、应用全链路追踪、主机资源监控、日志管理平台等。无缝集成大大降低了DBPaaS的使用门槛,提高平台的接纳程度。


3.功能可配置、性能可扩展设计

运维工作的一大挑战就是需求的复杂多变,DBPaaS必须具备敏捷迭代的能力才能满足需求的动态变化。平台一开始就采用了功能可配置设计,在不同场景下,无需修改代码通过配置就可以为平台增加新的功能。DBPaaS支持用户自定义监控数据采集、自定义告警、自定义分析工具、录入和编排运维管理功能等。数据库专家可以通过DBPaaS在线设计和发布新功能,无需依赖开发人员。


同时,DBPaaS在设计上充分考虑了性能可扩展,各服务模块均能够横向扩展并且支持负载均衡,可以按需轻松扩容。

图1    DBPaaS功能架构


DBPaaS平台的落地实践

1.数据互联场景

在DBPaaS整体框架中,数据层作为基础底座,既是数据库系统的核心资产,又是串联各个模块和系统的关键要素。


在数据迁移、异地备份和数据订阅等数据传输场景中,数据传输动态血缘关系视图界面可以查看数据库间数据传输关系。血缘关系包括当前数据迁移任务及数据迁移任务之间的关系,即包括内部血缘视图和依赖关系视图两部分。内部血缘视图展示单个数据迁移任务内部的上下游数据的依赖关系,从任务粒度、库、表、字段逐级下钻,可以清晰展示数据的来源和去向。依赖关系视图展示数据迁移任务之间的关系,从数据迁移任务的整体拓扑、影响项目、业务板块、关联的数据迁移任务、关联的逻辑表等多维度逐层下钻。借助血缘关系视图,DBPaaS从内外部视角对数据链路的血缘关系实现了可视化管理。


数据安全是数据库内核的关键能力,尤其在金融行业数据是生命线,需要从内外多个维度对数据库进行安全保障,在数据安全场景中,DBPaaS具备传输加密、TDE加密、备份加密、密钥管理等数据加解密能力及动态脱敏、静态脱敏、标签安全等数据脱敏能力。


2.智能互联场景

智能化在DBPaaS整体框架中起着承上启下的作用,在数据库监控和数据库管控之间,借助智能化算法,实现问题诊断定位和故障处置的联动。


DBPaaS预案模块与监控关联,实现了监控告警与预案模块的联动。当数据库连接数异常时会触发相关告警,DBPaaS感知告警后会将告警作为预案的输入,关联提前录入的处置SOP,并推荐给用户。


DBPaaS具备索引推荐和SQL审核、SQL变更功能,在实际业务场景中,DBPaaS将这三者进行有机的功能结合,典型的使用场景是上线发布。同时,DBPaaS可以实时收集数据库的慢SQL信息,统一储存,然后进行实时的慢SQL异常检查以及离线的慢SQL智能优化,最终将慢SQL的优化建议给到用户。实现数据库告警与SQL智能化分析的联动场景。


DBPaaS具备数据库扩容的多种策略,包括垂直升级和水平升级。在此基础上,扩容策略与容量预测模块进行联动,实现不同场景下对数据库的快速扩容,避免出现因为容量不足导致影响业务系统的问题。


3.业务互联场景

DBPaaS从实际业务场景出发,向技术与业务融合的方向迭代平台能力。


DBPaaS数据库管控高可用模块基于业务全局视角实现了高可用策略的精准配置和实施。DBPaaS管控高可用模块具备对数据库集群做精准、安全、快捷、灵活的跨机房切换能力,并可以基于各个节点流量实现异常检测和灾难的预警隔离。同时在灾难发生时,DBPaaS可以提供基于实例、单元、数据中心等不同粗细力度的处置能力,保证生产系统业务的不间断运行,满足邮储银行对对数据零丢失和业务连续性要求。


数据库监控优化诊断策略与业务视角联动,注重数据库全局性的优化诊断,规避局部最优陷阱。DBPaaS数据库监控立足应用黄金指标监控、智能多维度分析、智能告警合并、异常主机定位四个阶段,第一时间发现异常问题,快速了解业务影响及范围,呈现相关性告警,提供排查问题思路和故障可疑根因,助力运维向技术运营转型。


另外,DBPaaS可以从管理、技术、审计层面实现数据安全与业务联动。管理层面,完善人员职责流程,规范内部员工日常操作;技术层面,建立完善的鉴权机制,使用多层级加密数据库内核,并设置防火墙拦截恶意操作;审计层面,制定审计策略,分析多维度风险,输出审计报告,保障新核心达到安全等保四级要求。


展        望

伴随着银行核心系统从集中式到分布式的创新演化,数据库在分布式、智能化和安全可控的趋势下,具备“数智一体”的DBPaaS平台应运而生,DBPaaS在数据、智能、业务三个层次不断迭代升级,会极大的提升数据库的管理质量和管理效率,朝着国家金融领域核心基础软件自主可控的目标迈出坚实的一步。


(栏目编辑:韩维蜜)





往期精选:

(点击查看精彩内容)


● 观点 | 开源组件漏洞治理实践与思考

● 观点 | 数据体系敏态模型下的服务能力建设

● 观点 | 以安全标准贯彻支付数据安全浅谈

● 观点 | 个人金融信息保护面临的困难与对策研究

● 观点 | 地方性银行数字化转型的思考和建议











《金融电子化》新媒体部:主任 / 邝源  编辑 / 傅甜甜 潘婧

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存