【阿里巴巴集团副总裁、ACM杰出科学家李飞飞】一站式云原生分布式数据服务加速金融行业数字化转型

阿

里

巴

巴

集

团

副

总

裁

 、

A

C

M

杰

出

科

学

家

李

飞

飞

随着《金融科技(FinTech)发展规划(2019—2021年)》《金融科技发展指标》《商业银行互联网贷款管理暂行办法》《促进大数据发展行动纲要》《新一代人工智能发展规划》等一系列规划、指标、办法的陆续发布，基于“金融与科技深度融合、协调发展”的顶层设计日趋成熟。《金融科技(FinTech)发展规划(2019—2021年)》中明确指出：建立“统一、全面、共享”的金融业综合统计体系，确保统计信息的完整性和权威性；利用云计算等技术实现资源高度复用、灵活调度和有效供给，探索构建跨层级、跨区域的自动化与智能化业务处理中心，提升金融服务运营效率；在切实保障个人隐私、商业秘密与敏感数据前提下，促进跨层级、跨部门、跨地区、跨行业信息规范共享，充分释放大数据作为基础性战略资源的核心价值；运用先进科技手段对企业经营运行数据进行建模分析，实时监测资金流、信息流和物流，为资源合理配置提供科学依据，引导资金从高污染、高能耗的产能过剩产业流向高科技、高附加值的新兴产业，推动实体经济健康可持续发展。

当前，金融科技逐渐向服务平台化、数据集中标准化、数据价值在线化、场景智能化方向稳步推进。在顶层设计日趋成熟的情况下，具备资源弹性和服务化能力的云原生技术逐渐成为服务平台的基础。基于云原生的数据库体系在金融业务数字化转型过程中，开始成为实现“数据集中标准化、在线化、场景智能化”重要目标的基础承载平台。金融业务在安全稳定的核心原则下，从传统数据库和数据仓库向云原生数据库体系迁移，需要完成替换迁移评估和稽核校验、数据集成和迁移、事务处理、数据分析、数据开发等的整体升级。金融行业需要一整套基于云原生的数据库体系和落地服务解决方案，运用存储和计算分离、事务处理与数据分析一体化、MPP数据仓库和大数据一体化等新技术与服务，来满足金融数字化转型的需要。

本文从数据库发展趋势、云原生分布式关键技术及一站式全链路数据管理与服务三个方面论述金融行业云原生分布式数据库的发展与实践。

一、数据库进入“云原生+分布式”时代

1.数据库的发展阶段

数据库的发展主要经历了OLTP关系型数据库、OLAP数据仓库、大数据、“云原生+分布式”一体化四个阶段(如图1所示)：

图1 数据库发展历程

(1)上世纪60年代

关系数据库之父E.F.Codd博士提出了关系模型，促进了联机事务处理(OLTP)的发展，诞生了Oracle、DB2等数据库帮助银行推进在线交易等核心业务的发展。

(2)1993年

E.F.Codd博士提出多维数据库、多维分析的概念以及十二条准则，促进了在线分析处理(OLAP)的发展，出现了MOLAP(Multidimensional OLAP)、ROLAP(Relational OLAP)、HOLAP(HybridO LAP)计算模型和引擎，诞生了Teradata、Greenplum、IBM Cognos等数据仓库，帮助业务实现海量数据存储、建模、业务分析探索的普及应用。

(3)2003-2006年

Google发表的The Google File System、MapReduce：Simplified Data Processing on Large Clusters、Bigtable：A Distributed Storage System for Structured Data三篇关于海量数据存储、处理的重要论文，促进了大数据技术的发展，诞生了以Hadoop HDFS、Hadoop MapReduce、HBase、Spark、Flink等为代表的分布式文件系统、分布式计算框架、分布式宽表存储，加速了大数据应用面向5V(Velocity、Volume、Variety、Value、Veracity)的发展和普及。

(4)2012年至今

随着云计算的发展以及云计算的资源池化、存储与计算弹性扩展等基础设施的升级，计算存储分离、在离线一体化等技术的创新，推动数据处理向一份数据开放计算、存储计算分离的云原生分布式方向演进，诞生了以Snowflake、AWS Aurora/Redshift/Athena、阿里云PolarDB/AnalyticDB为代表的新一代云原生分布式数据库和数据仓库，推动了数据处理向在线化、在离线一体化、结构化与非结构化融合处理方向演进，加速业务走向数字化、数智化创新的新形态。

2.数据库的发展趋势

在传统数据库的系统架构下，采用存储、计算紧耦合的设计方式，才能最大程度地发挥系统的优势。举个生活中的例子，过去每家每户会根据各家用水量打一口水井，这与传统的数据库系统使用、计算、存储资源的方式一样，但根据“用水量打水井”的方式属于紧耦合。如果水不够了怎么办？这就是传统数据库系统里经常提到的业务——扩容。在金融行业，数据库系统扩容通常需要提前几个月甚至半年去规划，进而细致部署、缜密实施，经过上线、灰度、再验证等一整套非常漫长的流程，而且业务高峰过后再进行缩容也很具挑战性，往往会造成极大的资源浪费，水平拓展的限制也很难达到业务层需要快速变化的要求。

金融业务的传统架构中，在线交易数据库(OLTP)、MPP数据库(OLAP)、Hadoop是典型的数据库和数据服务组合方案。OLTP关系型数据库负责核心交易系统如账户、交易等，MPP数据库(数据仓库)负责定期导入OLTP数据，实现ETL处理和分析，“Hadoop+AI平台”负责实现数据集中、数据价值挖掘等。这套架构面临着呈指数级递增的海量数据存储与处理的挑战，更多热点和突发流量带来的挑战，数据集中、实时、在线化的挑战，数据一致性的挑战，需要更智能的数据决策挑战，需要降本增效的挑战，以及运维越来越复杂的挑战。传统架构已经难以满足和响应快速增长的业务诉求，应对这些挑战，同时传统架构在数据链路中的数据传输、数据清洗、脱敏与安全管理、数据血缘、建模开发等诸多问题也亟待解决。

权威咨询机构Gartner在“There is only one DBMS Market”“The Future of the DBMS Market Is Cloud”等文章中指出，“云原生+数据库大数据一体化”的数据库体系是必然发展趋势。以“云原生+分布式”为核心的一体化与一站式数据服务，充分结合云计算的资源池化、存储与计算弹性扩展等基础设施能力，在此之上构建起分布式计算、数据库与大数据一体化能力，具备了高扩展性、易用性、迭代快速、成本降低、数据库与大数据一体化等特点，可以很好地帮助企业解决上述问题。 

未来数据库将全面进入“云原生+分布式”时代，具体来讲主要表现在以下四个方面：

(1)高扩展性、高可用性、弹性

云原生分布式数据库与底层的云计算基础设施分离，能够灵活及时地调动细粒度的资源进行扩容、缩容以及重负载操作，从容应对流量激增带来的压力，避免流量低谷期因资源过剩造成资源浪费。

通过架构上的创新，Shared storage、Shared everything架构实现共享存储、存储与计算池化、存储计算分离;Shared nothing架构实现分布式水平拓展;后续通过结合Shared nothing+Shared storage/Shared everything实现云原生与分布式的一体化。

云原生分布式数据库能够高度兼容Oracle、Teradata、PostgreSQL、MySQL等生态，也让云原生数据库具备很强的可迁移性和很低的学习成本。

(2)易用性与智能化

云原生分布式数据库易于使用，它的存储与计算节点统一部署，可以随时随地从多前端访问。因其集群部署在云上，通过自动化的容灾与高可用能力，出现单点失败时对服务的影响非常小。当需要升级或更换服务时，还可以对节点进行不中断服务的轮转热升级。

云原生分布式数据库结合AI算法，实现运维自助化和智能化，可大幅降低运维成本，提高资源规划效率。

云原生分布式数据库基于Kubernetes(K8S)来管理和运维底层资源，利用微服务来实现管控平台的核心组件，实现容器化部署与管理。

(3)快速迭代与敏捷开发

云原生分布式数据库中的各项服务相互独立，利用微服务化和容器化部署实现个别服务的更新不会对其他部分产生影响;在云原生的研发测试和运维工具高度自动化过程中，大量应用CI/CD体系以及敏捷开发和测试流程，可以实现更加敏捷的更新与迭代。

(4)数据库大数据一体化

云原生分布式数据库的存储计算分离架构，可以结合多样化存储实现存储规模海量扩展、计算单查询粒度弹性，并通过分布式架构支持结构化和非结构化数据融合分析及在离线一体化，实现一份存储多种计算，实现支持结构化、半结构化及非结构化的海量存储及计算;全面兼容数据库生态与体验。

数据库与大数据技术的深度融合将提供离在线一体化的数据处理平台，既支持在线交互式分析，也支持离线复杂ETL计算。将传统在线交互式分析的MPP引擎与传统的大数据并行计算模型BSP进行融合，提供一个hybridCBO来实现离在线一体化的优化器和执行器。

二、云计算推动数据库向云原生快速演进

数据库发展架构主要分为传统单机架构、共享存储架构、分布式架构、云原生分布式架构四种(如图2所示)：

图2 数据库发展架构

一是传统单机数据库架构。存储、计算都在单节点完成，具有部署简单、兼容性和生态完备的特点与优势，但是存在扩展性不足无法应对规模超越单机极限的问题，也存在存储与计算配比不均衡的成本过高问题。典型代表如Oracle、IBM DB2、微软SQL Server数据库。

二是共享存储架构。随着数据规模的进一步扩展，在传统单机架构上采用SAN等共享存储来实现存储在多个节点间共享扩展存储规模，实例采用Shared storage/Shared everything架构扩展并发规模，具有易于实现事务一致性、与单机数据库行为兼容的特点与优势，规模相比单机也有一定的扩展;但是存在节点扩展能力有限、存储扩展受限于共享存储、运维复杂的问题。典型代表有Oracle RAC(Real Application Cluster)技术、IBM DB2 pureScale技术等。

三是分布式架构。随着数据规模的进一步扩展，在传统单机架构上实现完全纵向扩展开始成为新的研究方向，此方式具有良好的水平扩展能力、大规模部署和服务能力;但是也存在存储和计算绑定无法独立扩展、数据分片带来跨节点处理查询和事务的开销、兼容性差的问题。典型代表有Google Spanner、Oracle Sharding等。

四是云原生分布式架构。随着云计算发展以及数据规模的实时爆炸性增长，结合云原生资源解耦池化和分布式水平扩展的能力形成“云原生+分布式”一体化的架构开始兴起，具备扩展能力不受限制、存储和计算分离实现资源独立弹性、运维自服务、一份存储多计算的优势。典型代表有Snowflake、阿里云PolarDB/AnalyticDB等。

三、云原生分布式数据库

需要核心技术创新

随着数据库技术向“云原生+分布式”数据库方向演进，一个相对完备、引领发展趋势的云原生分布式数据库需要具备如下六大关键核心技术。

1.“HTAP+数据库大数据一体化”

“HTAP+数据库大数据一体化”可以实现一份数据同时支持事务、分析等多场景，可以在金融业务中降低数据迁移成本，提高数据全链路实时性，减少数据不一致，支撑海量数据规模，实现多用户数据共享。

2.“云原生+分布式”一体化

“云原生+分布式”一体化包括CPU/内存/存储的池化与分离、Concurrency Scaling等云原生技术和基于Paxos/RAFT的分布式一致性事务、“MPP+BSP”融合的分布式计算等分布式技术，可以在金融场景中大幅降低成本，提升扩展性。

3.智能化

“云原生+分布式”智能化主要有AI for Database以及Database for AI两种方向，例如，通过AI for Database实现数据库的自感知、自决策、自恢复、自优化等运维自动化技术可大幅降低运维规划成本，提升资源规划效率;通过Database for AI实现针对非结构化数据的深度分析、支持算法的训练与推理等，面向场景化的数据推荐、推理建模等。

4.Multi-Model多模

Multi-Model多模支持多样和多类型数据的存储与分析，如面向半结构化场景的宽表/JSON/Key-Value类型、面向非结构化数据的Text/Vector/Graph等数据类型、面向时序的Time-Series等数据类型，应对物联网和多业务场景下带来的多源异构数据类型挑战。

5.软硬件一体化

通过对新的已经规模化量产的硬件创新特性(如GPU/FPGA/NVM等)进行深度支持和优化，大幅提升了性能和性价比。

6.安全可信

包括数据防泄露、防丢失、防篡改、隐私保护等在内的相关技术是金融行业数据业务发展的基础，主要包括可信存储、可验证日志与计算、全链路加密技术、加密数据库、多方安全计算与隐私保护等。

四、一站式云原生分布式数据库

实践优势明显

结合上文的技术与行业发展趋势，下一代云原生分布式数据库需要提供一站式的数据服务，助力业务数据的自由无缝流转，实现数据价值最大化。通过统一的数据服务平台来实现数据从存储到处理到交易到计算与分析的一站式管理与服务(如图3所示)。

图3一站式云原生分布式数据库管理与服务流程

云原生分布式数据库在银行、保险、证券、互联网金融等行业和场景逐渐落地，助力业务走向平台化，助力交易业务敏捷化和规模化，助力数据分析业务在线化，集中化，实现跨部门共享，助力运维智能化。其中，最为典型的是以Oracle/DB2为主流代表的交易数据库迁移替换以及以Teradata/Greenplum/Hadoop为主流代表的数据仓库升级。

1.一站式Oracle/DB2关系数据库替换实践

Oracle/DB2数据库在金融场景有多年的生产环境验证以及成百上千的业务调用经验，迁移的可行性评估、数据库的兼容性、扩展性、单节点性能、高可用、容灾体系、性价比是替换实践最需要的考虑点。

(1)云原生数据库体系在可行性评估阶段有一整套完善的方法，能够科学、严谨地支持一体化Oralce/DB2数据库进行信息采集(包括数据表、存储过程、用户自定义函数、数据类型等)、数据库结构迁移、“数据全量+增量”在线迁移、应用割接等。

(2)云原生数据库体系在应用阶段具有完善的Oracle/DB2兼容性，如数据表、存储过程、用户自定义函数、数据类型等。

(3)云原生分布式数据库体系在扩、缩容阶段，通过云原生分布式能力，支持存储和计算分离，支持实时秒级扩缩容以应对流量波峰波谷，降本增效。

(4)云原生分布式数据库体系在数据库的容灾体系方面，通过针对数据细粒度的RAFT/Paxos协议实现“同城双活+异地灾备+两地三中心/三地五中心”的部署，保障业务连续性和可靠性。

2.一站式Teradata数据仓库升级实践

Teradata数据仓库在金融行业承载着核心数据仓库业务，支撑数据存储与计算、数据分析与业务建模、数据集市等核心场景，迁移的可行性评估、数据仓库的超大规模、异构数据融合、兼容性(引擎、模型等)、数据库的性价比、在离线一体化、数据共享、基于时间点的备份/恢复/查询、湖仓一体是最需要考虑的点。

(1)云原生数据仓库体系在可行性评估阶段提供有一整套完善的方法，能够科学、严谨地支持一体化Teradata数据库信息采集(包括数据表、存储过程、用户自定义函数、数据类型、业务模型、DSQL等)、结构迁移、“数据全量+增量”在线迁移、集成稽核验证、系统并行等。

(2)云原生数据仓库体系在开发和应用阶段，具有非常完善的Teradata兼容性以及复杂查询支持能力，如数据表、存储过程、用户自定义函数、数据类型等。

(3)云原生数据仓库体系在应用阶段，通过云原生分布式能力，支持存储和计算分离来实现超大规模秒级扩缩容、分时弹性、Query级别弹性能力;通过行列混存、混合负载实现在离线一体化能力;通过和AI的结合实现结构化和非结构化数据融合分析能力；通过存储共享实现跨部门数据安全共享、统一数据视图和安全访问。

整体实现一份数据多种计算、多样分析，减少数据搬迁，提高数据一致性和实时性。

3.一站式全链路数据服务实践

一站式全链路数据服务在数据业务中变得越来越复杂，在数据业务需求快速增长的情况下，用户越来越需要完善的统一数据管理解决方案，解决数据存储类型和地域的复杂性，实现从数据的生产、存储、传输、加工到计算的全生命周期管理，数据源覆盖度、数据安全和治理、数据传输时效性、数据开发/加工/计算的敏捷性、数据资产管理的全局一致性是最需要的考虑点。

一站式全链路数据服务在数据生产阶段为数据安全和研发效率提供支撑，包括细粒度权限访问控制、稳定变更引擎、敏感数据脱敏、零停机迁移扩容等能力，支持数据库容灾和异地多活架构。

一站式全链路数据服务在数据集成阶段对数据源和数据目标进行统一管理，支持数据实时集中和计算结果分发，在链路中内置ETL传输转换一体化，当源端运维或结构变更时链路无感知，从而保障多源数据汇聚时效性、稳定性和全链路血缘。

一站式全链路数据服务打通在线处理和离线分析，通过任务编排定期归档数据到云原生存储，并使用数据湖分析对归档或备份数据进行价值挖掘，构建在离线一体化分析。整体实现元数据和数据目录统一，让数据自由流动，敏捷高效地被存储、被加工处理和被计算分析。

2020年，新冠疫情改变了我们的生产和生活方式，物理世界被按下“暂停键”，数字世界却被按下“快进键”，云计算的技术变革在数字世界的价值凸显，而云原生也已成为数字化转型的新技术方向。

阿里云作为云计算的先行者，从2008年开始在云计算推动的数据库变革领域持续加大研发投入力度，建立了相对完善的以“云原生+分布式”为基础的一站式数据服务体系，联合上百家的上下游生态服务商为全球客户提供完整的服务。

阿里云在Gartner公布的2020年度全球数据库魔力象限评估中进入全球数据库第一阵营——“领导者象限”，这是中国厂商在基础软件行业领域首次成为Gartner魔力象限的全球领导者。在OLTP(事务处理)领域，提供核心的云托管数据库服务RDS、云原生关系型数据库PolarDB以及其分布式版PolarDB-X，PolarDB是国内首个云原生分布式关系型数据库，也是国内首个基于存储与计算分离架构的云原生数据库，获得2020年度中国电子学会科技进步一等奖。在分析处理(OLAP)领域，阿里云推出了新一代云原生数据仓库AnalyticDB；AnalyticDB是新一代云原生数据仓库支持数据库与大数据一体化、在离线一体化分析，在2019年和2020年先后得了权威评测机构TPC发布的TPC-DS、TPC-H榜单全球第一的成绩；获得2019年度浙江省科技进步一等奖。面向业务开发，DMS(Data Management Service)提供一站式全链路的数据管理与服务，可以整合不同的数据库与数据仓库类型，利用云原生产品体系实现从数据的生产、存储、传输、加工开发、计算到数据资产的全生命周期管理。

阿里云坚定地认为云原生时代是中国数据库的历史新机遇，云原生与分布式技术的深度融合以及一站式数据服务平台不仅仅是传统数据库和传统数据仓库升级换代的必然选择，同时也将通过资源弹性、数据库大数据一体化、在离线一体化等新技术创新，助力金融业务走向服务平台化、数据集中标准化与在线化、场景智能化，加速业务实现数字化转型。

本文刊于《中国金融电脑》2021年6月增刊

《中国金融电脑》2021年6月增刊

征订热线：https://shop160045533.taobao.com

￥25

欢迎订阅

公众号ID

Fcc198905

长按识别左边二维码关注我们