实战 | 夯实基础，积厚成势——工商银行大数据服务平台建设实践

欢迎金融科技工作者积极投稿！

投稿邮箱：[e-mail]

                                          ——金融电子化

      

数字经济时代，数据已成为继土地、劳动力、资本、技术之外的新型生产要素，蕴含着巨大的经济和社会价值。银行是数据密集型的行业，数据资产在银行经营发展中具有基础性、全局性和引领性作用。人民银行发布了《金融科技发展规划（2022—2025年）》，将数字驱动作为第一条基本准则，强调发挥数据要素倍增作用，将数字元素注入金融服务全流程。银行业已全面进入数字化时代，如何夯实大数据基础设施建设，打造安全、高效、平稳的数据底座，发挥数据资产价值，提升应对挑战、抢抓机遇的新型数字化能力，成为摆在大家面前共同的焦点问题。

中国工商银行金融科技部  包馨悦

站在新起点，把握建设方向

近年来，各大商业银行相继启动数字化转型，大数据等新兴技术在金融领域加速应用，数据要素从业务创新和经营决策的辅助工具向驱动客户经营和业务发展的角色演进，成为感知客户行为背后的真实诉求、洞察客户复杂的关系脉络和提供基于场景平台的生态化服务的重要抓手。海量数据的增长和分析处理需求亟需商业银行从数据接入、存储、计算、管理、治理和应用六个领域，围绕“采—存—算—管—治—用”全生命周期实施端到端的整合和优化，开展大数据服务平台基础能力提升，构建全方位的数据安全体系，打造开放共享的数据生态环境，让数据存得了、流得动、用得好，真正实现数据资源向数据资产的升级。

图  绕“采—存—算—管—治—用”全生命周期实施端到端的整合和优化

1.采数：数据采集接入能力

要实现数据价值的提升，首先要有数据，需要从大数据“大”“全”“细”“时”四大方面全面提升数据的采集接入能力，一是要实现业务、交易的全面覆盖，包括前端、后端、日志，甚至第三方服务等。二是要从技术上实现多种数据源的接入，实现异构数据源的统一存储，打破“数据孤岛”。三是数据要包含多个维度，既要有交易的属性、状态等业务数据，也要有用户的浏览、点击等行为数据。四是数据的时效性要高，伴随着时间的流逝，数据的价值一般呈衰减态势，只有保障高时效的数据采集接入才能为真正实现数据价值的释放奠定基础。

2.存数：数据存储能力

数据只有“存得下”，才能“用得好”。随着历史数据的逐年累积，商业银行的数据量正以惊人的速度在不断增长，数据存储作为大数据基础设施的地基，其能力的强弱将直接影响数据资产的价值。数据存储能力是存储容量、性能表现、可靠程度和绿色效能的综合体现，需要迭代优化存储技术，提升单位存储所支撑的数据资产价值。传统存算一体的分布式架构需要存储资源和计算资源同步扩容，而存储和计算的性质导致二者对资源的需求不同，存储容量基本是线性增长的，计算资源需求随着业务高峰期和低峰期波动上升，两者的同步扩容将导致资源利用率下降。近年来提出的存算分离架构通过实现大数据存储资源和计算资源的独立扩容缩容，能够很好地解决二者矛盾，进一步提升资源利用率。

3.算数：数据计算能力

数据计算能力是挖掘数据无穷潜力的发动机，多源异构数据的快速融合、高效的数据计算和即时的数据反馈，能够帮助企业更快地做出决策、更好地服务客户。为满足客户营销、风险控制、经营分析和运营管理等不同业务发展的数据需求，许多商业银行均建立了数据仓库和数据湖两种体系，既需要数据仓库规范化的集成加工，满足长期存放、相对稳定的数据需求，也需要通过数据湖实现数据使用的灵活性、多样性和广泛性。然而当数据计算涉及多种数据源时，从技术层面不得不通过数据搬迁将数据再次汇聚到一起后再进行加工，过程繁重且费时。为打破数据湖和数据仓库之间的壁垒，“湖仓一体”概念应运而生，旨在通过数据的协同计算，解决批处理、流处理、交互式分析等大数据应用场景的技术挑战。

4.管数：数据管理能力

数据是银行的重要资产，但如何将海量的数据资源转化为有价值的数据资产还面临诸多难点。一是数据资产种类多、数量多，全面盘点难；二是数据资产信息不全面、不完整，用户理解洞察难；三是数据价值评估、权限管控、迭代运营难。商业银行需构建以数据支撑应用、以应用赋能业务发展、在发展中持续完善数据的全流程数据管理运营机制，做实数据资产，加速数据价值的释放与融合。

5.治数：数据治理能力

银行业是数据资源丰富型行业，在业务开展过程中积累了不同属性的海量数据，同时，根据业务发展需要建立了多个数据处理平台。然而多个数据处理平台架构复杂、功能冗余、体系多样，不同来源的数据缺乏统一的处理标准，数据的维护、分类、更新不到位，都加剧了数据治理工作的难度，影响数据传输、存储、分析能力，在日后的业务发展中又会进一步阻碍数据价值的发挥，制约自身发展。面对数字经济时代带来的诸多挑战，商业银行需从统一数据标准、质量闭环管理和安全管控等多方面建立完善的数据治理与管控体系，提升技术平台支撑能力，为数据保鲜，支持数据驱动下的业务创新。

6.用数：数据应用能力

随着经济发展进入新常态，市场化程度的不断提高，银行业竞争程度进一步加剧，传统的经验决策已不能适应复杂多变的经营环境。商业银行需要利用数据和技术对传统业务模式进行优化、创新和重构，建立数据驱动的新业务模式，将数字元素注入金融服务全流程，将数字思维贯穿业务经营全链条，盘活数据资产，将数据应用能力更好地转化为业务发展能力。

践行新思路，指导建设实践

工商银行自2002年开始建设数据应用体系，经历了数据集市、数据仓库、大数据平台、数据中台等多次迭代发展，实现了从以数据统计分析为主的“数据辅助决策”向以人工智能支撑的“数据驱动决策”的演进。通过20年的打磨，构建了涵盖批量计算、流式计算、联机分析、对象存储、数据交换、BI分析、安全管控、数据交付、数据安全管控等多方面技术能力的大数据技术平台，实现全流程一站式数据处理，建立了可看、可懂、可得的用数赋智体系，为业务场景注入有广度、有深度、有速度、有精度的数据服务，加速数据价值变现。

1.融合贯通的数据采集接入能力

工商银行通过将集团全量贴源数据纳入统一的数据湖，形成了贴源数据、主题数据、知识数据分层存储的“一湖两库”结构，同时积极参与数据要素市场建设，大力引入外部数据，不仅实现了全业务、全集团、全类型、全来源的数据上云工作，同时也构建了全面、快速、精准、融合的数据体系。为满足准实时性的产品服务推荐和客户行为洞察等数据使用需要，研发数据库复制等高时效数据采集技术，完善标准数据接入能力，实现MySQL、Oracle、GauseDB、GoldenDB、KVA、MPPDB、Hive等主流数据库准实时接入，全行数据得以向大数据平台的快速汇集。

2.海量智能的数据存储能力

工商银行历经多年的攻坚克难，建成集技术全栈覆盖、数据跨域聚合、资源弹性共享、生态开放共建于一体的大数据服务平台，突破存储和计算资源无法独立扩缩容的技术瓶颈，通过存算分离架构，实现资源的精细化管理，强化节点专用性，有效提升资源利用率。目前，工商银行大数据技术平台存储规模可达EB级，汇集贴源数据、主题聚合、知识图谱、客户标签、知识条目、指标等数据资产，打破数据孤岛，确保了工商银行大数据技术对业务场景的有力支撑。

3.高效共享的数据计算能力

为实现快速数据创新，解决跨集群异构数据融合计算的问题，工行建立湖仓融合体系，充分融合数据湖和数据仓库各自优势，通过融合引擎，让数据和计算在湖和仓之间自由流动，无需搬迁即可实现数据离线分析、实时分析、交互式分析，满足海量结构化、非结构化数据加工服务，保障数据时效。为进一步提升数据计算效率，工商银行通过流批一体技术，实现实时计算和批量计算融合，使流式数据处理的过程中可以直接引用批量结果进行计算，无需再将数据在流批两套引擎中同步，降低技术使用门槛和数据冗余，更好满足实时风控及事件式营销场景中对数据时效的要求。

4.规范科学的数据管理能力

工商银行建设大数据资产管理平台，形成数据资产全视图，建立以“数据驱动、数智融合”的运营机制。一是建立全集团数据资产的统一目录，覆盖20+类数据资产，实现数据资产的可见、可感，建立数据资产自动化、标准化盘点能力。二是建立数据资产全生命周期管理机制，对数据确权、数据质量、数据安全等核心内容进行有序管理，实现数据资产可信、可管，建立标准化、智能化、体系化管控能力。三是建立数据资产凭证、标签体系、全链路血缘溯源机制，实现数据资产易用、易懂，建立可视化、数字化分析能力。

5.全面闭环的数据治理能力

工商银行通过建立全行数据要素资产的统一标准，形成了上游源系统、数据湖、下游系统相互协作的三层数据质量治理机制，实现数据治理闭环，为数据共享奠定了坚实基础。一是建立企业级数据标准体系，按照“定义统一、口径统一、名称统一、来源统一、参照统一”的原则，通过数据标准全生命周期管理实现业务和科技联动的全流程贯标。二是建立数据质量管理体系，沉淀数据质量规则库，形成“制定规则、规则检查、发现问题、问题分析治理、后评估”的全流程闭环管理流程。三是构建企业级数据安全体系，按照“保障安全、最小沟通、用而不存、权益保护”的原则，运用隐私计算等新技术，做到数据“可用不可见”，强化数据合规使用，降低信息泄露风险。

6.开放灵活的数据服务能力

工商银行建立一站式全流程数据运营体系，打造端到端DataOps敏捷数据服务研发流水线，实现数据价值快速交付与规模化输出；沉淀高时效、低门槛的数据基础服务和专业服务，实现了全行各业务条线的数据合法合规横向打通，从而大幅降低了数据价值的挖掘门槛；通过即时BI平台提供数样分离的自助分析、可视化服务，快速满足实时分析、智能交互、灵活决策需求。对内通过数据服务打通决策、管理、服务、运营、风控等各个环节，对外推进政务数据融合，参与国家数据要素市场建设，为各行各业提供了全新的智慧金融服务，使4万余家B/G端客户、200余家金融机构通过享受到工商银行的大数据产品和服务。

开启新征程，持续技术创新

后续，工商银行将继续秉持“科技引领，创新赋能”的发展理念，持续提升大数据技术对业务的支撑能力，打造边、端、云协同体系，更好地发挥大数据服务云和数据中台在数据、算力、算法等方面的整合优势，强化金融服务实体经济的数字驱动能力，倾力构筑高质量发展的数字金融生态。

（栏目编辑：韩维蜜）

往期精选：

（点击查看精彩内容）

新媒体中心：主任 / 邝源  编辑 / 傅甜甜  张珺  邰思琪