镜舟科技 X 苏商银行——全场景数据统一极速多维即席分析底座建设

在 2017 年建行之初，江苏苏商银行股份有限公司（以下简称“江苏苏商银行”）确定“依托数据服务业务，科技立行”的发展战略，依托 Hadoop 生态体系搭建数仓，使用 Hive 进行数据加工处理。随着近 2 年数据量快速增长、业务场景多样化发展，该方案逐渐无法适应，暴露的尖锐痛点主要有：

1、数据链路加工复杂，导致数据开发和维护成本高。长链路下的数据口径容易发生不一致，导致业务数据应用不准确、用数需求的反馈通常需要T+1天，难以得到及时满足

2、大规模数据下的查询性能不足，随着外部竞争的激烈，前台业务人员对于数据的用数时效要求不断提高。尤其重点核心的贷款类业务，从之前的T+1时效，变为T+0.5，到现阶段的2小时内必须数据加工完成。导致科技研发和业务之间的沟通壁垒以及相互抱怨逐渐加深

基于以上2个核心诉求，江苏苏商银行迫切的希望，能够全面实现数据从源头的业务系统，到末端分析界面准实时的呈现，同时在数据湖上建仓，加速数据访问全面实现大规模下数据秒级查询分析。

时间周期：

开始时间：2023年10月里程碑1：深入分析痛点，全面整理数据加工处理全链路环节耗时，江苏苏商银行发现在查询请求多、且数据量大的情况下，查询性能会出现明显瓶颈。后经过调研、比对业内如ClickHouse、kylin、Presto、StarRocks等数据库，最终确定采用StarRocks来构建高性能查询底层OLAP分析引擎；里程碑2：全面升级现有BI系统。原有系统界面老旧，使用不灵活，难以适应业务多样化展示诉求；里程碑3：联合消金、客户分析、微商、财富等部门，全面收集分析业务痛点及诉求。打通Mysql、Oracle、Hive、Kafka 等多种异构数据源之间数据实时同步链路。截止时间：2024年3月

客户的数智化（数字化）转型升级需求

随着技术创新和科技发展，各商业银行从信息化阶段迈向数字化阶段，提高数据的处理和应用的价值成为数字化转型发展的关键。在此过程中，江苏苏商银行也积极面向自身业务，推动数据与技术的升级，全面发挥数据要素价值。其数智化转型升级需求主要体现在以下几个方面：1、数据管理成本与应用效率：随着用户和业务从线下网点向线上迁移，银行的数据量呈爆发式增长，传统数据仓库已无法满足要求，江苏苏商银行需要能够高效处理和存储大量数据的系统，以减少数据存储冗余和管理成本。2、技术升级与架构优化：客户需要采用先进的技术架构来提升数据查询性能，实现高并发下的极速响应，并具备横向扩展能力，以适应数据量的快速增长。客户希望通过构建统一的数据服务平台，实现数据的统一管理和服务，从而优化现有的技术架构。3、敏捷开发与响应：随着数据需求的爆发式增长，数据研发在面对业务需求时，需要更加及时、稳定、准确交付，配合业务方快速响应市场变化和业务需求，提高数据开发效率，保证数据研发交付服务能够顺利投产、稳定运行。

面临挑战

在项目实施中，江苏苏商银行面临一个非常突出的挑战：实时 OLAP 架构的升级改造，涉及非常多的业务线，且原有的业务数据加工处理链路长，加工逻辑复杂。在实现打通全行 200+ 业务系统的实时链路，实现数据的统一流转、统一管控、统一审核、数据容错等能力建设的同时，该如何尽可能的减少对行内现存系统的冲击，甚至无感切换适配。这个挑战对于整个项目实施的成功与否至关重要，甚至起决定性作用。此外，各个业务方不确定架构改造带来的价值和潜在未来收益，因此都保持谨慎态度。针对这个挑战，江苏苏商银行做了以下几个措施，概括如下：1、对于实时链路的升级改造。江苏苏商银行引入实时数据同步系统，基于开源 Flink CDC 组件，实现源端数据到目标端的异构数据源的秒级同步。业务系统的实时数据同步需求，历史的操作手段是，通过业务系统抛送数据到 Kafka 消息队列，目标数据系统再通过消费 Kafka 来实现数据的同步链路交互。引入实时数据同步工具之后，江苏苏商银行对整体链路架构进行了简化，不再通过 Kafka 进行异构数据源的流转，统一采用实时数据同步工具进行统一处理管控。2、对于各个业务系统负责人的疑虑。项目团队在前期和各个业务团队充分交流，并收集了当前实时数据的痛点，同时也多次组织进行项目价值的宣导和讲解。最终各个团队配合改造意愿达成一致。

数据支持

基于全行的业务数据和外部数据，依托数据底座提供的公共能力，江苏苏商银行构建了自己的数据湖体系，打造了湖仓一体的数据架构。通过在数据湖集市层，引入基于全场景 MPP 分析引擎 StarRocks 研发的镜舟湖仓分析引擎，实现极速统一的数据分析。

项目范畴：覆盖全行 200+ 系统及所有业务线，提供数据口径统一的、一站式的数据探查服务，使大量分布在消金、微商、财务等业务领域的实时数据，可以集中统一处理，对业务营销响应从原来的 2 天缩短到秒级。项目亮点/效果：实时数据场景下，通过打通标签、UC、埋点、存贷款核心、资损防控等 5 大业务场景的实时数据链路，实现企业报表产出由原来 n+6小时缩短到秒级，使管理决策用数效率从T+1天缩短到秒级。最新贷款等业务数据的实时查询，首次实现秒级响应。实时存贷款报表应用中，存贷款的对账时效从 2 小时缩短到 30 秒内，效率提升1000倍+。此次架构升级改造，江苏苏商银行的整体数据运维成本降低60%+，相关人力成本综合核减每月400人天。

应用技术与实施过程

项目启动之初，团队将整体数据底座架构重新进行梳理、优化升级，旨在满足各个业务团队的快速、高效、稳定的用数需求。其中，实时数仓架构以镜舟湖仓分析引擎为核心，支持高并发和低延迟的数据处理需求。

1、总体流程具体逻辑过程如下：第一，对于外部的数据，首先通过离线和实时的数据交换集成同步工具，抽取到数据层进行统一管理存储，其中可存储的数据类型涵盖大规模分布式文件系统hdfs、半结构化存储mongdb、列式存储hbase、分布式账本、对象存储ceph等。第二，在数据计算层，通过基于spark、hive、flink等开源组件，构建的流批一体化计算平台，对数据存储层的落库数据进行ETL加工处理，加工之后的数据最终存放到数据资源中心，形成全行的数据资产，也就是行内的数据湖产品。第三，依托数据湖的底层数据资产，在数据服务中心提供RestfulAPI、WebService、RSF等各种形式的数据接口，提供可对外服务的数据服务。第四，最后，构建数据服务总线，涵盖批量数据服务、实时无边界数据服务、DataAPI服务的形式统一对外暴露。最终服务各个业务系统，赋能业务数字化。

在整个数据底座垂直的数据流转体系中，在横向维度，江苏苏商银行进行了数据治理、保障体系、数据资产管理管控等拓展，尤其在数据流转的溯源排查上，通过全链路的数据血缘分析能力。可以快速的分析定位数据问题，赋能数据治理有了一个强力的数据分析抓手，系统截图如下：

数据血缘分析2、实时数仓架构根据业务现状，我们借助镜舟湖仓分析引擎的高性能分析优势，作为实时数仓的整个实时能力的核心部分，具体的：1）上游通过实时同步系统实时同步过来的数据，一条链路同步到Kafka，借助行内自研的大数据平台实时Flink消费到镜舟湖仓分析引擎；

2）一条链路是直接同步到镜舟湖仓分析引擎。下游业务方主要有2大业务域，一个是BI系统，主要实时报表。另外一个是客户营销，通过行内配置化的统一数据API系统，对下游提供熔断、限流、安全管控的API能力。

3、湖仓分析引擎集群划分湖仓分析引擎集群区域划分整体划分如下：1）批量存储DB区域

通过T+1离线数据同步到镜舟湖仓分析引擎数据集，主要承载的是各个业务条线的集市数据集；

2）实时存储区DB区域

承载财富、消金、支付、风险、微商等实时业务诉求；

3）临时存储区DB区域

设置7天、1天、3个月等不同维度的临时存储，主要为了满足业务方临时数据探查诉求；

行业变化

1、使大量分布在消金、微商、财务等业务领域的实时数据，可以集中统一处理，对业务营销响应从原来的 2 天缩短到秒级。

2、整体架构在数据湖之上引入 StarRocks ，搭建加速分析层，可分析数据集市的千万级、亿级数据量，时效从原来的 30分钟 -- n 小时的分析时效区间，缩短到秒级。

3、整体取数运维成本降低60%+。

4、智能运营增长平台可以实时监控触达转化数据；管理驾驶仓能实时查看时点存款、时点贷款的余额、实时总客户数的排名情况，辅助业务人员进行实时的分析决策。

苏商银行

江苏苏商银行股份有限公司，是江苏首家民营银行、国家高新技术企业，于2017年6月16日由多家知名企业发起设立，注册资本为人民币40亿元。江苏苏商银行从诞生之初就融入了科技创新的基因，秉承“科技使金融更简单”的经营理念，聚焦微商金融、消费金融、科创金融、产业链金融、财富管理和支付金融六大核心业务，产品突出“O2O”与“科技驱动”的定位，将自身定位于银行业市场的“补位者”，将长尾客户定位为目标客群。