解读|金融大数据能力模型
2020年12月18日,由中国信息通信研究院、中国通信标准化协会联合举办的“2020数据资产管理大会”在京召开。在金融分论坛上,中国信通院云大所大数据与区块链部工程师王妙琼就《金融大数据能力模型》进行了解读。
各位领导嘉宾大家下午好,我是中国信通院工程师王妙琼。今天上午的主论坛中国信通院发布了大数据领域的一系列的成果,下午由我来分享一下其中金融大数据能力模型构建的一些背景情况,以及过程当中我们的一些观察。
我们首先看一下背景情况。在大数据领域中国信通院从14、15年开始了相关技术的跟进,以及大数据在各个行业的应用落地研究,从大数据产业发展至今,产业增速放缓,产业规模平稳增长,整个大数据技术产品的市场也已经成熟,产业和技术的成熟给行业发展大数据应用奠定了非常良好的基础。
我们看一下金融机构,其实金融机构很早就开展了数据的应用实践,出于金融机构内生的经营管理需求,会出现像经营分析、精准营销、风险管理等的数据应用。
今天上午也提到了,金融机构其实很早就开始建设自己的数仓,从零几年就开始了,有了数仓之后就进入了数据治理阶段,到大数据时期又建设大数据平台来汇聚大量数据,逐步开始探索数据运营和价值提升。
在大数据能力建设方面,金融机构和电信运营商一起始终走在各行业的前列,我们也看到很多的银行成立了数据主管部门来支撑自己的数据战略实施。
金融大数据能力的构建有内部经管需求也有外部监管需求,在外部监管方面可以看到2018年银保监会就发布了《银行业金融机构数据治理指引》,证监会也发布了《证券期货业数据分类分级指引》等一系列标准。
在监管数据报送方面的要求越来越高,也潜移默化的在督促金融机构提升自己的大数据能力。另外就是企业自己数据分析的内生需求,必须得通过不断提升大数据的能力建设,使数据可得、可用、好用,为银行精细化的管理和数据创新应用提供基础的数据支撑,更好的释放数据价值。
我们可以看到各行业在建设大数据能力可以分两个阶段,之前的一个阶段我们称为1.0阶段,在这个阶段各行业都会首先建设自己的数据基础设施,也就是数据仓库、数据平台、数据湖来汇聚数据资源。建设平台之后会随之出现很多问题,比如说平台工具不好上手,数据开发流程周期长,职责分工不明确,团队协作效率低,没有形成评价体系,体现不出数据团队的工作量和价值。
完成了1.0阶段的基础平台的建设,很多的银行开始向大数据能力2.0阶段提升,1.0关注的是平台建设和管理制度的构建,到2.0阶段其实我们更注重的是整个数据运营体系的构建,更关注如何更加高效地获取数据的价值。
这个环节我们关注四个方面:流程敏捷、团队协作、工具自动化、价值导向,关注怎样使数据价值最大化。
2014年开始很多的咨询机构推出了相应的大数据能力的模型,可以看到左边的这些聚焦顶层规划,企业在规划和建设大数据能力的时候,应该遵从怎样的一个方法论,右边的这些主要是偏向数据的管理能力,在数据汇聚之后我们如何去管好数据,如何建立自己的管理流程。到了2.0阶段除了对基础的数据平台和数据管理体系的构建之外,我们更关注的是如何运营数据。
其实数据运营这个词很早就出现了,最早是在IBM的一篇文章里面《数据运营对大数据成功至关重要的三个原因》,Gartner和其他机构也对数据运营提出了自己的概念解释。我们做了一下总结,其实理念是相同的,都是要通过团队间的高效协同和工具自动化的手段,来实现数据开发的效率的提升以及最终实现更多的数据价值的实现。
数据运营的最终目标就是要实现提质增效,可以看这一张解释数据运营的象限图,企业在最初构建自己大数据能力的时候都是从第四个象限开始的,这个时期数据运营成本很高,数据价值很低,我们需要通过一系列的手段降低数据运营成本,提升数据价值,最终演进到第二象限。
这个阶段我们就需要有一种新的方法论和体系架构,来指导企业去构建大数据能力,帮助企业找到构建大数据能力的方法论视图,定位过程中的问题及短板,可以针对性的帮企业找到下一阶段构建大数据能力的目标。
DataOps的理念其实最早来源于DevOps,通过自动化工具和技能交叉,减少沟通障碍,缩短数据分析周期,提升分析质量。其中有三个核心理念,第一个是流程的敏捷性,要消除组织间的流程障碍,缩短开发周期,应对快速变化的数据需求。第二个就是持续集成,通过自动化的工具实现开发流程的快速迭代。第三个就是自动化治理,通过数据的编排和监控实现自动化的数据和流程治理,也就是常说的以数治数。
要实现整个数据运营的过程,其实不仅仅是需要技术方面的一些支撑,也需要管理方面的配合。一条完整的数据流从原始数据开始,通过数据的处理、分析,最终提供给数据消费者,变成可消费的有价值的信息,其中包括了很多环节,我们在设计这个模型的时候会更聚焦整个数据流的流程自动化和敏捷化程度。
我们的模型主要分为四个模块,核心是数据运营,包括集成开发、分析和服务全流程,同时有数据管理和数据安全的支撑。在技术和管理方面我们又设计了左右两个支撑点,来考核企业的技术实力和管理框架。最终目的是评价整个企业的数据应用成效,包括对应用深度、应用广度和应用效果的综合考量。
在这个模型中我们会重点关注一些内容,首先是管理流程的考量,主要是三点,一是通过消除组织间的障碍来构建敏捷流程,二是考察组织间的协作机制,三是绩效评估体系,后面会做详细介绍。
组织架构设计方面,企业在不同的能力阶段都需要选择适合自己的一些组织架构。这是一些常见的组织架构,在企业建设数据能力的初期,很多都是第一种分散式的组织架构,业务部门有各自的数据分析人员,就能满足自己的业务分析需求;公司发展到一定规模,可能需要通过集中化的独立的数据管理部门来协调部门间的数据资源利用;第三个阶段是融合性的组织架构,有了牵头部门之后,为了达到更高效的协作需求,每一个部门都有数据团队配合这个独立的部门开展相应工作,提升工作效率。
人员能力的培养也是企业构建大数据能力重要的环节。我们调研了很多互联网公司和运营商,在人员能力培养方面可以总结为三点,
一是重视复合型人才的培养,不仅需要业务领域的知识,也需要有数据分析的能力。
二是有专业的晋升渠道,提升企业员工的积极性。
三就是日常数据文化的培养,企业需要有一些日常的培训,不停地对员工灌输数据文化意识。
绩效评估的机制也很重要。绩效评估主要是用来反馈整个数据业务所体现出的价值,简单的比如对数据任务运行状态的统计,或是通过业务、技术、时间成本多个维度构建价值评估的量化模型,反馈出一些重要的运营数据指标。
技术方面,我们看到现在出现了支撑数据开发持续集成的产品解决方案,来实现数据开发像软件开发一样,从需求分析到模型设计、开发、测试、发布上线全流程的快速迭代,能够快速地跟进业务部门所提出的数据需求。
通过自助式的分析工具实现人人都能用数据。我们知道让业务人员使用大数据平台开展数据分析有一定的学习成本,怎样通过工具化的方式,让业务部门也能像数据开发者一样快速开展数据探索和挖掘分析,其实也是一个重要的讨论的点。
下面这块也是非常重要的一个,通过使用模板化的工具来落地比较难读的管理规范。我们知道金融机构有非常成体系化的数据管理制度以及相应的操作细则,对于开发者或者业务部门来讲,很难对着规范文件一项一项去落实,如果能讲规范做成模板在系统里固定下来,那在源头就可以把控数据的质量和规范性。
我们邀请了很多的银行加入到模型的设计当中,工商银行、农业银行、光大银行、北京银行等都为我们模型的设计提供了指导。这是现在初步形成的能力域的设计,数据运营部分主要考察金融数据开发过程中规范化、敏捷化和自动化的情况;平台支撑会考量保障金融数据业务稳定、安全运行的一些基础要求,以及计算存储的性能;管理支撑会考核金融机构对于数据文化的一些认同,以及是否具备能高效支撑数据业务的敏捷的组织架构;另外一块就是应用能力,比金融机构的数据服务是否能够覆盖通用的业务场景,能否支持在线化的应用,以及智能化的应用。
我们在明年会进一步地细化模型的评估项和量化指标,并联合一些机构开展试点评估。
最后在这里打一下小广告,中国信通院正联合多家金融机构筹建金融数据智能联盟,在这个联盟里会围绕金融数据治理、数据开发运营以及外部数据源管理等工作,共同开展前沿研究、标准制定,并搭建同业交流平台,让大家共享最新的技术和理念。今天的介绍就到这里,谢谢大家。
联系人:王妙琼
wangmiaoqiong@caict.ac.cn
隐私计算系列再添新标准·区块链辅助的隐私计算技术工具标准发布
中国通信标准化协会大数据技术标准推进委员会(CCSA TC601,简称:数标委/BDC),旨在凝聚产业链各个环节,识别和解决大数据发展面临的重大问题,开展大数据技术、数据资产管理、数据共享与流通、数据安全等共性基础标准研究,以标准推进工作为纽带,推动大数据与实体经济深度融合。欢迎加入我们的行列!
入会咨询:张德民 15313961683
zhangdemin@caictyds.cn