某城商行全行级数据管控平台建设实践
The following article is from 沙丘社区 Author 沙丘社区
▏摘要
为实现高质量跨越式发展，某城商行以新信贷建设、新总账系统建设、新核算平台建设为契机，与亿信华辰合作启动数据治理和数据标准项目，以全新的建设思路打造“新一代”全行级数据管控平台，既满足外部政策和监管的要求，又解决自身组织人员支撑难、历史问题处理难、质量问题辨别难、跨领域协同难等难题，提升数据管控的成熟度。
01
案例企业
02
项目背景
对于A银行而言，数据治理既是外部政策和监管的要求，又是自身业务发展的迫切要求。A银行旨在加强信息管理和信息服务，以更好地创造数据价值，而数据标准化、数据自理等管控策略和体系的建设是整个信息系统建设不可缺少的环节。
从外部环境看，银行业数据治理进程起步较早，2000年左右国有银行在做数据仓库时就已经开始进行数据治理，涉及数据标准、数据模型、数据资产、数据质量等多个核心模块。
近几年，政府出台各种与数据治理相关的监管政策，2018年银保监会发布《银行业金融机构数据治理指引》，要求银行业金融机构将数据治理纳入公司治理范畴，并与监管评级挂钩；2021年人民银行发布我国首个数据管理领域的国家标准DCMM，市场对数据治理的关注度越来越高。2021年1800多家金融机构参与DCMM评估，良好和合格的占比为78%，没有优秀，大多数金融机构的数据管理仍处于平均水平。
从内部环境看，A银行在开展数据治理工作过程中遇到如下痛点问题：
第一，组织人员“支撑难”。中小型银行往往存在人员匮乏、员工专业技能及经验欠缺的难题，既懂业务又懂数据管控与治理的综合人才更是稀缺，因此很难找到足够多、足够专业的人员来组成专门的数据治理组织委员会来支撑管控的各个环节。需要专业的组织架构、管理办法等保障数据治理工作的推进，通过自动化的流程管理工具解决人员支撑难的问题。
第二，历史问题“处理难”。由于历史原因，中小银行很多历史系统建设不规范，没有统一的标准作为指导，升级改造又面临诸多困难，这些都成为了标准体系建设的阻碍，增大了标准规范实施落地的难度。
第三，质量问题“辨别难”。中小型银行往往为了更好的差异化经营，业务种类繁多，从而数据问题类型也复杂，数据质量不高，但仅凭行方人工判断难度大，这对本就专业人员匮乏的中小型银行来说，更是难以快速、精准的辨别并处理。
第四，跨领域“协同难”。数据管控和治理涉及工作内容很广，跨越多个部门，中小型银行往往缺乏相关的流程，协调沟通困难，成本较高；同时在技术层面，中小型银行也并未将元数据、数据标准、数据质量等领域打通，难以实现高效联动协同，导致数据治理工作一直没有成效。
03
解决方案
为实现高质量跨越式发展，A银行以新信贷建设、新总账系统建设、新核算平台建设为契机，启动数据治理和数据标准项目，以全新的建设思路打造“新一代”全行级数据管控平台，旨在解决标准不统一、数据质量差、组织架构不明确等问题，提升数据管控的成熟度。
在对数据治理供应商进行全面考察和选型后，A银行与亿信华辰达成合作。亿信华辰成立于2006年10月，是中国领先的智能数据产品与服务提供商，深耕商务智能和大数据领域十多年，着眼于打造数据全生命周期的智能化产品线，为超过8000家政企单位提供大数据相关服务。
A银行数据治理项目的总体目标是完成各银行各业务条线产品的梳理，新建系统全面落标，规范字段命名，规范业务接口，提升监管数据的数据质量，为业务发展及金融创新提供助力。为了满足以上目标，亿信华辰为A银行规划了四部分关键内容建设：
第一部分，体系建设。建立元数据管理系统，建立标准管理体系、建立数据质量管理体系、规范全行的数据管理机制。
第二部分，组织规划。建立管理委员会，成立首席信息官，让各部门、各项目组织积极参与到数据管理中来，提升数据管理水平。
第三部分，标准落地。制定8个主体的数据标准，新建系统全面推进数据标准的落标。
第四部分，搭建平台。搭建数据治理平台，对生产环境、准生产环境、开发环境的数据进行同时治理。
为了解决A银行过去在数据治理过程中遇到的难题，亿信华辰采取如下思路：
第一，通过专业管控工具减轻数据治理工作压力。数据管控平台在建设上具备针对标准、质量等迫切问题的解决方法，实现问题的快速辨别与有效落地，从而帮助银行告别以往事后处理的被动局面。
第二，为数据治理提供相应的保障机制。依次建立组织架构、岗位职责、实施细则等管理办法，构建完善的体系闭环，保证数据管控从顶层设计到落地的全面贯通。
第三，管控平台具备一定前瞻性。数据管控平台的建设要着眼于未来，在建设上具备通用性，同时融入多种智能技术，以保证能够自学习扩展，例如对实时数据进行核查等，从而满足发展的需要。
第四，形成数据治理的企业文化。数据治理是一个长期持续的过程，各角色基于平台对各治理领域的深度融合，从观念上进一步理解，养成习惯，形成氛围，主动优化，实现从僵化到固化到优化，保障管控治理的长久生命力。
具体来看：
（1）运用多项智能和可视技术，解决组织人员“支撑难”
针对中小银行人员匮乏，特别是既懂业务又懂数据的综合性人才稀缺问题，数据管控平台在关键环节运用了多项智能技术和可视化技术，取得了比较好的效果。比如实现数据标准和各个应用系统（数据来源）智能映射和自动检查，当数据来源结构变化，能对数据资产智能化更新，大大降低技术人员底层的维护工作量。
同时在管控平台设计上，引入主流的可视化技术，以业务人员能理解的方式组织功能界面、交互和展示治理成果，打通业务人员全流程的可视化，保证业务人员与技术人员的理解一致，降低对管控人员技术能力的要求。
（2）构建全域全流程标准规范，解决历史问题“处理难”
随着A银行信息化建设的不断深入，业务系统逐步增多、结构关系日趋复杂，数据管控平台针对现有的各类数据源实现了元数据自动化采集，从而全面了解历史建设情况，并以此为基础进行深度梳理，形成完善的词根管理，并通过定义统一的用语规范，为各方提供了权威可信的参考依据。
同时针对各类历史系统标准不一的情况，通过链接图谱、映射转换等技术手段，可以有效的进行标准规范的转换落地，避免了系统的改造，较好的降低了成本，解决了历史遗留问题。
（3）提炼多种针对性检查规则，解决质量问题“辨别难”
A银行业务种类繁多，数据问题类型复杂，数据质量不高，仅凭行方人工判断难度大，亿信华辰通过研究自身数据特征，量身打造了数据质量问题管控体系。基于对大量问题数据的研究分析，总结出契合银行的16大类质检规则（含SQL、JAVA、R、Python等），充分利用四则运算、数理统计、数据挖掘等多项技术，提供百余种质量规则模板，并通过可视化界面完成规则配置和调度，有效覆盖了100%以上问题场景，较好的降低了人工辨别难度。
管控平台通过对质量规则的组合、调度，实现了数据问题的自动、智能探查，避免了需要人工反复排查的局面。同时通过在平台上定义规范的整改流程和绩效评分机制，提供多维度的质量绩效报告为依据，实现责任到人，促进落实数据整改工作。
（4）打通全流程线上管理，解决跨越领域“协同难”
对于协同难问题，数据管控平台设计了严格的变更管控流程，保证了从源头进行管理。对于现已存在的各类流程，平台通过简单的拖拉拽就可灵活配置符合银行实际业务场景的规范流程，实现全流程线上管理，并可随着管理制度、组织架构的变更而变更，做到了快速协同反应。
对于数据治理的几大核心领域，管控平台采用全新Spring Boot+EUI开发，微服务架构，实现各模块的深度融合与联动，治理场景全面打通。同时，也充分考虑了系统集成与二次开发扩展性，保证能够适应未来发展需要。
亿信华辰为A银行实现数据治理三大模块——元数据、数据标准、数据质量的互联互通，既作为基础为其他模块提供支撑，也通过其他模块丰富了管理手段。
首先，数据质量发现数据问题，通过元数据分析对该字段进行溯源，分析出问题数据的根源，辅助数据的整改工作。
其次，元数据的智能映射推荐对数据标准的落地提供补充，同时也辅助了元数据的规范性管理；重复元数据分析对于数据标准的新建提供支撑，新建的标准同时也对元数据起到规范作用。
最后，根据数据标准中的值域范围、字段规范、是否为空等属性来快速新建数据质量规则。
在当前数据管理平台的建设基础之上，A银行未来仍需要进行进一步优化与拓展，建立数据治理长效机制：
第一，治理成效评估。数据治理是实现数据价值的过程，需要建立数据治理长效机制，形成常态化管控，定期输出绩效报告，让企业的数据治理处于常态化的管理中。
第二，打造智能化管控平台。例如采用智能评估、可视化界面等辅助手段，减少人员投入，实现可耻细化，降低管理成本。
第三，推进数据资产化。在不断使用数据服务平台的过程中完善，以实现业务价值为导向，沉淀数据资产，使得数据战略与业务战略结合统一。企业可利用数据资产进行数据驱动的决策，更好地了解客户、市场、产品和风险等情况，应用于智能风控、智能营销、智能解析、智能服务等应用场景，为业务增长打下坚持的基础。
第四，建立数据服务门户。形成统一的数据服务入口，开放数据论坛，面向不同用户提供提供差异化视图，使数据资产在平台上一目了然。
04
价值与效果
A银行通过与亿信华辰合作，基于明确的项目目标，完成了包含元数据管理、数据标准管理、数据治理管控三大主体模块的数据管理平台建设，实现如下价值与效果：
第一，在元数据管理方面，亿信华辰在元数据属性检核环节对属性填充率进行卡控，不符合要求的重新上线，通过长达5个月的元数据管理，实现新信贷、新总账、新理财、核算等系统的注释填充率到达100%；同时，实现元数据从事后到事前的管控，元数据上线前需要进行申请审批，保证每一次元数据变更都是可控的。后续可以开放接口集成第三方系统进行使用，也可以关联数据标准实现数据湖自动入湖等应用拓展。
第二，在数据标准方面，总计梳理了8个主题、1244条标准，对7000多个关键字段进行落地评估，将治理初期20%的标准通过率提升到现在85%的通过率。
第三，在数据质量方面，根据EAST 4.0要求，梳理了300余条规则，建立了相应的预警机制，通过数据治理体系规划以及数据质量闭环管理机制，从检核规则制定、方案执行、数据整改、数据下发、质量报告产出，都可以通过平台完成线上化管理，实现了监管报送指标的自动化监管，并严格按照PDCA策略数据质量进行持续提升。
欢迎了解更多数据治理案例：
END