实战 | 外部数据综合管理平台助力数字农商行转型

欢迎金融科技工作者积极投稿！

投稿邮箱：[e-mail]

                                          ——金融电子化

      

文 / 重庆农村商业银行数据管理部  刘引

近年来，在“零售立行、科技兴行、人才强行”战略指导下，重庆农村商业银行围绕数字化、智能化、平台化、生态化发展目标，不断加大金融科技投入，整合数据、科技、人才等资源，开启数字化创新转型，强化科技创新赋能，全力打造“数字农商行”，并取得了显著成效。已研发投产10余款自研数字产品，建立了涵盖个人经营消费和小微信用、抵质押、票据贴现等形态的完整产品体系。

随着线上产品体系的不断延伸，我行对于外部数据的接入和调用呈不断上升的趋势，数据驱动业务模式已成为产品创新的重要基础支撑，启动外部数据综合管理平台建设，目的是构建敏捷的外部数据服务能力以适应业务及管理需求的快速变化。

技术实践

平台集成了多种开源技术，经过深入分析选型，充分的POC验证性测试，现场定制化开发改造等过程开展建设。系统逻辑架构如图所示。

图  外部数据综合管理平台系统逻辑架构图

1.构建外部数据存储层，统一存储同时提供缓存功能。平台使用redis集群缓存外部数据，按需提供数据管理层查询。具体设计上，可按照查询的频度及返回的报文大小进行设置。如高频查询的方式为全量存储，高频查询大报文的方式为有效字段存储，低频查询大报文的方式为索引关系存储。缓存原理在于大多数外部数据源的数据都具有有效期的概念，在有效期内同样的外部数据请求将返回相同的结果，所以可将外部数据返回的结果根据不同的有效期存入redis缓存，在有效期内接收到相同请求即可直接获取缓存数据，节省费用同时提升查询效率。

2.构建外部数据处理层，实现外部数据结构化与标准化。平台对接收到的外部数据报文进行结构化解析，将解析后的结果保存在外部数据存储层。根据需要对外部数据报文字段进行标准化转换，例如不同的外部数据的接口报文针对身份证字段的命名有可能不同，可以按照行内的命名及码值规范等进行标准化转换，使行内外数据统一，便于外部数据源的快速切换。此外，在报文传输的过程中还可以进行轻量级的加工清洗，例如空值的标记及补全等。

3.构建外部数据管理层，实现具体业务与原始外部数据分离。包括服务超时判断、流量控制、总量控制、服务路由、访问及权限控制、接口代码的自动化生成等功能。通过配置化可以快速生成接口代码，实现外部数据源的快速接入。同时支持可视化的编排服务，平台可智能选择路由，例如可设置按数据源费用高低规则排序，在调用同类数据源时，优先选取收费低的数据源。能自动判断需要熔断限流的服务，按照“渠道+服务”的维度配置各类服务的超时时间。

4.构建外部数据展现层，完善监控运维体系。平台提供了相对完善的管理功能。例如可以查看数据源名称、数据供应商、数据类型、接口个数、平均响应时间、当日平均响应率、各个下游业务调用情况等。针对外部数据检核的需求，可设定对外部数据源返回数据的核验规则，包括非空判断、长度设定、代码值判断以及自定义规则，根据设定的规则进行数据质量检查及报告导出。

技术实践上，在效率、服务、安全等方面有较好的探索和创新。一是通过运用低代码思想，将对外部数据的实时自动化解析、转化、清洗、存储、关联等动作抽象成通用组件，减少人工干预及代码开发，大大提高了开发上线的效率；实现模拟接口测试，利用挡板数据解决部分外部数据源测试环境数据不足问题。二是建立外部数据开发测试相关规范，采用主流技术框架，保障技术、产品、服务、系统的自主可控；全流程监测外部数据服务状态，实时运行数据检核规则监测异常数据，保证数据服务的稳定性和数据的可靠性。三是提供完善的加密及审核机制，严格按照“先授权、后使用”的原则，保证数据访问的可控性；按照统一的数据加密规则和算法对敏感数据进行加密处理，防止数据在存储传输过程中被拦截获取，保障外部数据资产在存储、传输等环节的数据安全。四是多措并举提升平台稳定性。部署架构为两地三中心多活部署，定期更新业务连续性应急方案并进行实战灾备切换演练；进行全链路系统压测，全面验证平台各项参数指标；对各类外部数据服务进行隔离，避免因单个数据源出现故障引起服务雪崩现象。

管理实践

1.建章立制，规范管理，以制度落实外部数据管理工作。按照《中华人民共和国数据安全法》《中华人民共和国网络安全法》《征信业务管理办法》等法律法规以及行内的数据管理规范，我行制定了《外部数据管理办法》《外部数据平台管理实施细则》等内部制度，明确外部数据管理的基本原则，包括集中管理、统一性、合规性、稳定性、前瞻性等，同时强调外部数据的安全合规使用。

2.建立外部数据全生命周期管理体系，优化管理流程。外部数据引入时，要定期收集需求、统一核定预算、统一申请费用，按照“最小必须”“不重不漏”的原则做好成本控制。根据实践可将外部数据供应商入围审批和资料模板进行标准化，将引入流程进行合并，以提升外部数据的审批效率，统筹推进商务过程。同时将商务资料同步录入外部数据管理平台，便于后期根据调用量实现计费及分摊功能。

外部数据使用时，按照“无需求不接入”“超范围不接入”的原则进行审核，审核通过后再统一接入。测试时除了关注业务功能字段，还要关注对账功能是否完善、统计报表是否正确等管理功能。数据交互前，还应与第三方签署数据共享及授权协议，明确双方数据安全保护的责任与义务，确保数据的存储及应用安全。

外部数据评估时，数据管理部门牵头制定相关评估模板，组织各应用数据部门结合其使用场景对外部数据在数据合规、数据质量、数据服务、使用效果等方面进行评估。综合评估情况适时执行外部数据退出工作，从而促进数据资产的有效更新迭代，提升数据资产质量。

3.合理搭建团队，优化研发流程，提高服务效率。通过调整项目组内部研发流程，实施需求管理、开发测试职责分离、自动化打包部署、自动化测试、代码扫描等流程，减少研发质量对开发人员个人素质、经验和能力的依赖。搭建以“产品+技术”为核心的团队，团队成员各司其职，行方产品经理负责需求可行性分析、产品规划以及研发节奏把控，实现需求精细化管理；行方技术负责人负责研发任务详设、代码审查、设计回顾等工作，保障系统的研发质量。

具体成效与展望

外部数据综合管理平台目前已对接17个业务系统，上线48个数据服务供应商，发布250余个服务接口，目前周均调用量200万次以上，预计2022年全行调用量将突破6000万次，发布的数据服务包括核验类、评分类、标签类、黑名单类、金融市场类、价格评估类等类型，支持开户建档、授信审批、贷后管理、业务营销等场景，实现了单一个人客户超过130维、单一企业客户超过150维的数据描述，把传统银行通过低维数据对客户的简单刻画，有效改变为通过多源、高维数据的综合描述，满足了各个业务线日益增长的数字化运营、信贷、风控管理等需求。截至2021年末，行内线上贷款产品余额超过一千亿元，新增余额占比超六成，自主风控的贷款质量远优于行业平均水平。

目前我行接入的外部数据，包括工商、司法、房产估值、运营商等数据，在线上线下各类业务中发挥越来越重要的作用。外部数据来源广、服务水平也有一定区别，各业务条线还需要全面识别评估外部数据等关键资源对重要业务持续运营的影响，配合建立外部数据源备份机制，明确外部数据服务中断场景下的业务应急等流程预案。首先可参考各服务业务域范围，整合相似外部数据服务，建立标准化服务接口，对调用量大或影响范围广的重要数据源实现技术热备。其次要组织识别重要业务所需关键外部数据资源，分析认识外部数据资源特点，结合业务场景制定适当的风险防控措施，保障业务连续性。第三要定期实施应急演练，针对数据服务中断等潜在风险完善应急事件场景及处置方案，加强与外部数据服务提供商的协作联动与考核后评估，提高综合处置能力。

（栏目编辑： 韩维蜜）

往期精选：

（点击查看精彩内容）

新媒体中心：主任 / 邝源  编辑 / 傅甜甜  张珺  邰思琪