【金猿案例展】某大型股份制银行——指标的统一管理和分析平台

Kyligence案例

本项目由Kyligence投递并参与“数据猿年度金猿策划活动——2021大数据产业创新服务企业榜单及奖项”评选。

数据智能产业创新服务媒体

——聚焦数智 · 改变商业

---

在企业普遍开展数字化转型、以数据驱动决策的当下，如何构建企业的统一数据视图，深度挖掘数据价值，支撑各级业务团队进行高效的经营管理，已成为企业面临的一个现实挑战。

过去基于报表来响应业务用数需求的模式变得越来越低效。由此产生各部门间的数据定义和实施方式差异，导致企业数据集市的碎片化，不利于企业整体的数据治理。伴随而来的一系列问题，例如报表体系混乱，报表口径不一致和不透明，报表大量重复开发，缺乏数据价值管理体系等，严重阻碍了企业数字化经营的战略落地。

实施时间：

2021年1月—2021年12月

应用场景

近几年，不管是IT还是业务，都有数据开发团队做大量重复性的提数和报表工作，费时费人费力。现在是数据头条时代，一方面，把原来堆积的五六千张报表浓缩成几十张体系化报表；另一方面向业务方推出了对象即数据的新概念。举例来说，基于指标名、机构名、产品名等关键字，业务不但可以搜索到各种指标，还可以搜索到某个机构、行业、产品、渠道、客群实体的最新数据展现，例如这个实体在领域中的排名、特征标签以及趋势变化。目前，行业已经发展到下一阶段——智慧经营的时代，将企业经营和数据决策融合在一起，从业绩检视出发，到整个经营诊断，再到方法推荐，最后进行效果评估，形成经营的完整闭环。在数据分析演变的过程中，该银行逐步建设了很多创新型的数据应用，例如数据异动归因分析、数据自助分析、客群经营的分析、活动效果评估等。当这些应用在某个场景上获得业务方的肯定和欢迎，想要继续在其他场景铺开的时候，数据平台的问题就暴露出来了，比如底层宽表的构建成本越来越大，并且表与表之间有大量重复的指标。虽然IT团队做了一系列改造，让不同的顶层应用尽可能共用一套宽表，但仍然面临新业务接入成本过高的问题。因此，广泛的数据服务需求和数据平台产能不足的矛盾成为一个痛点，促使银行重新思考和规划新的指标的统一管理和分析平台，能够复用现有的指标，提升IT交付的效率，同时保证业务应用的灵活度和良好体验。

面临挑战

客户认为要想降低用户使用数据的门槛，首先应当以指标的治理为切入点，因为指标是企业最核心、最重要的数据资产。该银行通过打造统一的指标管理和分析平台，基于前沿的智能化技术快速整合、展现、治理和共享高价值的指标资产，打破了以往“业务提需求，IT 做开发”的被动响应模式，从而让业务方能够主动、快速地找到需要的业务指标，或者基于现有的指标快速派生新的指标。此外，系统还能自动匹配和推送有价值的指标给业务人员，让使用数据变得简单和高效。

对于指标的统一管理和分析平台的技术架构来说，指标加工和查询引擎是核心组件。从 Hadoop 生态兼容性、数据量、查询延迟、查询灵活性、QPS 五个方面提出了更高要求，另外，服务商是否具有本地化团队提供专业的技术支持和服务也是挑战之一。

应用技术与实施过程

近几年，该银行数据分析体系的衍化过程大致可分为三个阶段，第一阶段称为堆砌报表时代，不管是IT还是业务，都有数据开发团队做大量重复性的提数和报表工作，费时费人费力。第二阶段称为数据头条时代，一方面，把原来堆积的五六千张报表浓缩成几十张体系化报表；另一方面向业务方推出了对象即数据的新概念。举例来说，基于指标名、机构名、产品名等关键字，业务不但可以搜索到各种指标，还可以搜索到某个机构、行业、产品、渠道、客群实体的最新数据展现，例如这个实体在领域中的排名、特征标签以及趋势变化。第三阶段跨越到智慧经营的时代，将企业经营和数据决策融合在一起，从业绩检视出发，到整个经营诊断，再到方法推荐，最后进行效果评估，形成经营的完整闭环。在数据分析演变的过程中，该银行逐步建设了很多创新型的数据应用，例如数据异动归因分析、数据自助分析、客群经营的分析、活动效果评估等。当这些应用在某个场景上获得业务方的肯定和欢迎，想要继续在其他场景铺开的时候，数据平台的问题就暴露出来了，比如底层宽表的构建成本越来越大，并且表与表之间有大量重复的指标。虽然IT团队做了一系列改造，让不同的顶层应用尽可能共用一套宽表，但仍然面临新业务接入成本过高的问题。因此，广泛的数据服务需求和数据平台产能不足的矛盾成为一个痛点，促使银行重新思考和规划新的指标的统一管理和分析平台，能够复用现有的指标，提升IT交付的效率，同时保证业务应用的灵活度和良好体验。

经过思考和总结，该银行发现指标的统一管理和分析平台需要重点解决目前数据业务面临的四大痛点。

（1）指标标准不一致，例如命名不规范、口径不一致，造成指标的重复开发和数据的核对困难。

（2）数据加工成本过高，包括大数据集群资源和人力投入的成本，随着业务的快速扩展，集群需要扩容和搬迁，同时数据团队陷入大量基础ETL工作，团队的产能低下，无法转型到创新应用的研究和开发上。

（3）数据加工链路复杂，数据治理困难，整体数据时效性得不到保证。

（4）数据平台能力和应用需求脱节，由于大量依靠IT人力的开发，缺少自动化和智能化的指标开发体系，新应用的数据接入成本和时间都非常高。

通过搭建企业级统一的指标管理和分析平台，对数据资产进行盘点、联接和规范管理，对集市模型进行统一的治理，对指标开发流程制定标准规范，逐步形成"指标资产"管理体系，避免指标歧义和冗余开发，确保前端业务轻量化。基于 Kyligence 的 AI 智能建模技术构建自动化开发流程，将 IT 团队从重复的报表开发工作中释放出来，投入到持续的平台运营之中，整合和统一指标模型，增强指标的共享和扩展能力，向报表、可视化仪表盘、移动端、数据挖掘等应用开放数据服务能力。

（图片来源：Kyligence）

通过近一年的建设，平台初步形成了以构建服务、查询服务、数据治理和 AI 能力为核心的中台能力：

构建服务：提供了数据查询的自动视图构建、Kyligence 的 Cube 自动构建、任务的智能任务管理、智能资源队列等功能，实现指标模型的自动化构建；

查询服务：提供异步查询、主被动缓存、降级下压、智能聚合等功能，满足大数据量多维查询场景下快速响应与灵活分析的需求；

数据治理：以“边使用边治理”的理念为驱动，提供指标、维度、数据时效等的治理功能，提升数据规范性、减少指标和维度的二义性，提升数据管理水平。

AI 能力：平台以业务场景为导向，围绕指标应用，提供了算法的接入能力，目前已接入智能预警、规则预警、智能归因、指标推荐等算法，帮助用户更快定位问题，开展分析。

在此基础上，平台还为第三方提供了开放组件，可提供算法特征、数据交换、可视化组件、组件查询接口等服务，进一步赋能数据应用，提升效率。

指标的统一管理和分析平台改变了数据的日常开发模式，以及业务用户的数据应用模式，降低了数据开发的成本，提升数据应用的效率：

数据开发周期平均缩短了 3-5 天；

大数据报表开发人力耗费减少 30%；

常规需求替换率达到 25% 以上。

目前该平台接入指标 4000 余个，维度 500 余个，基本覆盖各业务条线核心指标和分析维度；在线看板 600余个，月均 UV 1500+，月均 PV 30000+。

商业变化

首先，指标的统一管理和分析平台显著提升了集群资源的利用率。通过规范的定义和自动化的检测流程，减少重复性指标的开发，保证指标口径的一致性，企业的核心指标得到高度复用。

其次，指标的统一管理和分析平台能够增强企业数据治理的能力。以往行内建设的数据资产管理平台，由于和业务脱节，缺少运营意识，时间长了往往沦为摆设。现在指标的统一管理和分析平台作为中台枢纽，打通了数据和应用，结合日常的运营和治理，能够保障业务方拿到的数据是最新的，口径是最准确的，也是唯一的。

最后，针对前文提到的场景复制的痛点，由于开发效率和平台资源的限制，无法快速将创新应用复制到各业务线场景。指标的统一管理和分析平台的建设能够帮助我们实现场景复制产能的大幅度提升，无论是可视化的应用，还是分析挖掘的应用，都离不开准确、高质量的数据支撑。

在平台建设之前，从业务方提出指标需求到IT交付完成，通常需要耗费12个工作日，其中很多指标是重复开发，至少要牵涉到三方合作，业务方和零售数据团队，还有其他条线IT，沟通成本很高。

当平台上线后，可以看到效率提升是非常明显的，协作效率大大提升，沟通成本显著降低。

总体来说，该项目的实践，改变了数据的日常开发模式，以及业务用户的数据应用模式，帮助客户降低了数据开发的成本，提升数据应用的效率：数据开发周期平均缩短了 3-5 天；大数据报表开发人力耗费减少 30%；常规需求替换率达到 25% 以上。目前该平台接入指标 4000 余个，维度 500 余个，基本覆盖各业务条线核心指标和分析维度；在线看板 600余个，月均 UV 1500+，月均 PV 30000+。

相关企业介绍

·Kyligence

Kyligence 由 Apache Kylin 创始团队创建，致力于打造下一代智能数据云平台，为企业实现自动化的数据服务和管理。基于机器学习和人工智能等技术，Kyligence 从多云的数据存储中识别和管理最有价值数据，并提供高性能、高并发的数据服务以支撑各种数据分析与应用，同时不断降低 TCO（总体拥有成本）。

·某大型股份制银行

某大型股份制银行是一家全国性股份制商业银行，通过百家分行及千家营业机构为客户提供多种金融服务。该行坚持不断深化数字化经营，保证各项业务稳健增长，为客户提供了有温度的金融服务。

联系数据猿

北京区负责人:Summer

电话：[phone](微信)

邮箱：[e-mail]

全国区负责人:Yaphet

电话：[phone](微信)

邮箱：[e-mail]