查看原文
其他

【速记】河南农信 牛玲玲:数据辅助决策,决策引领创新

2017-11-07 星环科技

10月31日,2017星环智慧大数据巡回论坛——郑州站顺利举行。本次巡回论坛,星环科技联合众多合作伙伴、用户展开应用案例分享,让更多行业人士了解大数据在医疗、农业、政府、交通、金融等行业应用中可以达成的效果。


因会后收到不少嘉宾反馈,对演讲内容非常感兴趣,演讲信息量大,现场又无法及时记录,特在后期推出嘉宾演讲速记系列,以最大程度弥补这个遗憾。


【大数据在金融行业的应用案例之河南农信大数据平台建设】

内容导读:

会上,河南农信大数据平台项目经理牛玲玲女士向我们分享了河南农信大数据平台建设的情况。演讲内容主要包括以下三方面:

首先,介绍一下河南农信大数据平台的建设背景;

其次,介绍一下河南农信本期大数据平台的建设情况;

最后,在大数据上的业务创新和业务展望。


什么是大数据?


首先,我们还是老生常谈,来看一下什么是大数据,这是全球著名的麦肯锡实验室对大数据的一个定义,大数据是指数据集的大小超过了现有典型数据库的软件和工具的处理能力,与此同时及时捕捉、存储、聚合和管理这些大数据,以及对数据进行深度分析的新技术和新能力正在快速的增长,就像预测计算芯片增长的摩尔定律一样。我们看到中国的人口居全球第一,而移动互联网的用户也是全球第一,在2016年已经达到了10.77亿,而每个用户在每天的日常生活中,在交通、社交渠道、移动渠道、互联网渠道或者银行卡渠道,都会产生各种各样的数据,那么我们如何来挖掘这些数据的价值呢?这就是我们需要来一块探讨的。


在这里我们要注意一下,数据能创造巨大的价值,但是保留和处理数据是有成本的。


大数据的机遇与挑战


下面我们看一下大数据的机遇和挑战。这是大数据著名的4V特性,4V特性就带来了这四类问题:存储能力不足、计算性能不足、关联分析不足、非结构化和结构化数据难以处理的问题。这也是我们在项目建设过程中可能遇到的一些问题。然而大数据技术的出现就完美解决了这四类问题。

大数据平台的建设背景


河南农信大数据平台的建设背景


河南农信的新一代IT系统一期工程在2014年11月已经完成并且全部上线。一期工程主要完成了一些业务提升的项目,下一步的发展主要在于管理提升和决策提升的项目,也就是现在正在建设的一个二期项目。业务发展进入到一个新的阶段,新的业务模式的创新也离不开数据的支持,也给数据信息服务能力提出了更高的要求。


第二方面就是ODS,我们是T+1的ODS,ODS上线两年多以来,也积累了很多数据,在传统的处理模式下,我们用的是Oracle数据库,在那种模式下已经出现了很多数据加工的时间越来越长,遇到了很多这种数据加工的问题,而随着数据量的增长,存储消耗无疑也是很大的,因为河南农信的客户量和它的一些金融数据,在所有金融行业都是居于首位的,它的客户量比较大,数据量也非常大。


第三,大数据技术的发展提高了性价比,扩展了一个超大规模的处理能力,基于大数据技术,可以构建一个全新的IT信息系统架构,为各种数据分析型应用系统提供一个功能完善、稳定可靠的基础技术平台,更好地支持各类海量业务数据的存储、加工、使用和数据价值提炼,是我们急需的一个基础数据工程。


河南农信大数据平台的建设目标


第一,紧跟大数据发展趋势,围绕如何充分发掘数据指导与引领的作用,以增强省联社服务法人机构能力,促进全省农信社服务方式创新和经营模式转变为出发点。

第二,就是以提升全省农信社整体竞争能力、提升客户体验、增强客户服务为目标,同时突出省联社服务三农的农信特色。

第三,提升在数据处理技术之上业务洞察能力,达到数据辅助决策、数据引领服务的目的。


大数据平台与大数据应用的区别和联系


因为我们在项目建设过程中经常会遇到这样的问题,很多业务人员对大数据平台有误解。因为大数据平台是一个技术性的平台,而业务人员就觉得我们建了这个大数据平台,看新闻上或者在日常生活中说到的大数据分析的结果,有了我们这个平台就可以用了,事实上大数据平台只是一个基础的技术平台,所以我们要用好的话,要通过建设大数据应用来用这个平台。大数据平台是基础平台,它可以支持各类海量数据的存储加工和使用,提供一种超大规模的数据处理能力,而大数据应用就是利用大数据平台的优势和存储的数据,建立了业务系统,它是基于业务需求建立的模型,服务于业务,同时可以提炼数据的价值并展现,辅助领导决策。而大数据应用系统建设的好坏,它和数据源有很大关系,包括数据质量和数据量都有很大关系,和我们建立的业务模型也有关系,


我们要注意区分大数据平台和大数据应用,大数据平台要是想充分的发挥它的作用,就要通过大数据应用项目来展现,平台和应用是相辅相成不可分割,平台是基础,应用是我们最终展现的一个平台,展现平台功能的一个系统。


下面我们举一个例子来看一下大数据平台和大数据应用之间的区别和联系。大数据、大数据平台和大数据应用,这三者之间就是土壤、花盆和花朵的关系,首先大数据平台就是花盆,提供花卉成长的环境,并把土壤,也就是我们的数据整合起来,而大数据应用就是各类的植物,只有在花盆良好的环境下,有肥沃的土壤,才能开出鲜艳的花朵。

大数据平台的建设情况


大数据平台本期的建设工作,一方面主要的功能是各类数据的存储,我们要实现ODS的整体前移,我们这个ODS是一个T+1的数据,不是准实时的,我们要把ODS整体迁移到大数据平台,整合一些行业内我们主要的业务系统的数据,包括核心、信贷、手机银行等各个数据进行整合和集成。整合的这些基础数据可以供我们的下游系统来使用,下游所有的分析型应用系统都要在ODS上数据才能用的,都是在我们的大数据平台上做的。


这里我们要注意一下基础数据的质量问题,一定要保证基础数据的质量,才能更好更充分的利用数据,同时满足我们监管部门上报数据的要求,包括银行和银监局上报数据的要求,所以我们的数据治理工作是持续的推进,不断的完善我们的基础数据。


本期工作的另一方面就是海量数据的加工能力,为大数据量的数据加工提供工具,为各类报表模型计算,既要考核各种指标,像信用风险模型、审计模型、管控模型等业务数据计算提供一个平台和环境,还有一块就是数据的查询平台,我们要做历史数据的查询,统一报告平台,监管报送平台,包括审计系统的一个还原业务的查询功能,都是在大数据平台实现的。


二期项目之大数据应用系统


下面我们看一下我们现在建的一个二期项目中,基于大数据平台的一些应用系统。

ODS之监管报送、统一报表

首先是ODS的应用系,监管报送和统一报告平台,ODS将整体迁移到大数据平台,对所有的上游系统的数据进行整合,并为下游的应用系统提供一个共有的基础数据,避免了数据的多份存储,实现了业务指标以及模型的加工,各业务类型报表多维度、多角度的灵活展现和灵活配置。

ODS之历史数据查询

ODS另外一个应用系统就是历史数据查询,主要是满足各行社各种业务数据提出的需求,利用大数据平台海量查询,迅速找到结果的特性,提供一些业务数据的明细的查询。

审计管理信息系统

审计管理信息系统利用大数据平台实现了审计模型的计算和审计数据的查询,业务人员根据审计思路进行模型设计,已经设计的模型有100多个,根据各类业务产生的数据进行贷款资金流向分析,实现风险贷查找,照顾高风险业务的发现。利用对于信息追查资金流向,通过模型分析缩小范围,进行问题的精准定位,违规问题的精准打击。

ACRM

ACRM是基于大数据平台建设的,对大数据平台中存储的客户的行为和消费行为这些数据进行分析和加工,实现客户的三度一评级,设置客户各个维度的指标,实现客户的存款趋势、贷款趋势等各种业务的分析数据,供客户经理使用,进行客户群分析和客户关系分析。根据客户群的划分,有针对的进行同一客户群的客户进行相似产品的营销。

信用风险

还有信用风险,信用风险的信用风险提示是在大数据平台建设的,信用风险依托于大数据平台,以风险为导向,以科技为支撑,依靠对各类数据的整合和分析,实现对违规问题和风险隐患的精确定位与揭示,同时为各项业务经营和制度完善提供数据参照,从总体上提高风险监控的工作效率。

管理会计

管理会计在大数据平台上实现对各类业务数据的数据加工和计算,实现了账户资本、资金成本、运营成本、风险成本、税费成本等全成本的核算,对产品的定价提供依据,对存款资金业务等业务提供定价导向。

绩效考核

绩效考核系统的数据加工是在大数据平台实现的。利用ODS的数据提取并加工绩效考核的授信,实现业绩分类到人,业绩分散管理,业绩指标统计到人,并汇总到机构,业绩绩效考核到每个考核对象,因为农信的员工和客户量都非常大,所以这个绩效考核的数据量每天的增量数据大概都有两三笔,数据量比较大。

各类数据加工

还有一个功能就是各类数据的加工,国际结算会利用大数据平台加工一些报外管局的数据,还有我们的(ISA)系统,还有(金棕),将会陆续的迁移到大数据平台。

金融互联网项目

金融互联网在这一期主要是实现数据的采集,存储和积累一些数据,为以后的基于客户的限量行为分析和数据挖掘打下基础,实现智能的产品推荐和客户的精准营销。这个阶段我们只是打基础,来搜集数据。


本期大数据平台的整体架构


下面我们看一下本期大数据平台的整体架构,最底层是我们的数据存储区,在这里外部数据划的是一个虚线,我们这一期并没有引入外部数据,然后再往下面就是一个模型的加工区,是我们为各类应用进行模型加工的一个地方,这个框框起来的是在大数据平台上实现的功能,到了上面就是上层的一些应用,我们的应用系统主要有八个应用系统。

这是我们大数据平台下阶段的一个规划,在这里时间关系就不给大家主要讲了。

大数据的业务创新和应用发展


下面我们看一下大数据上的业务创新和应用展望,大数据平台的一个优势就是超大规模处理能力,交互和数据分析,秒级返回,数据挖掘,机器学习,还有结构化和半结构化数据的处理,利用这些优势,我们可以做什么呢?


大数据思维下的业务创新空间


首先,来看一下传统数据库业务的增强,我们可以做全量数据早期加工,更多的业务加工,高密度(2516)的一些业务报表。

其次,我们可以做一些实时能力带来的新业务,实时反欺诈,T+0的指标,实时交易预警,实时推荐营销。

第三部分,做一些半结构化、非结构化数据的业务想象空间。还有可以做数据挖掘和深度学习的业务创新,有客户画像,有产品推荐,有余额预测等等。还有服务分析类的创新应用,我们可以做担保链分析,企业的关联分析,还有服务的提升,我们以后要建成一个云平台的服务,灵活集中,带动地市和分行的子机构,原来我们是要下发数据,以后如果提供这个云平台服务的话,就不需要下发数据。


大数据平台的能力和应用领域


下面这个实线框框起来的是大数据平台可以提供的一个能力范围,虚线框框的是,我们可以建哪些应用系统,当然这些也可以根据我们的业务需求,可以建一些除了这些之外别的应用系统。


大数据应用系统在金融行业的能力进阶


首先从时效性来讲,它是从离线的批处理到准实时再到实时。从处理效果来看,首先是数据的存储和联机查询,再往上就是统计分析和数据加工,再往上就是数据的探索与业务预测,再往上就是对决策分析的一个支持,比如说我们可以做中小微贷的贷前的一个征信验证,贷中的一个辅助决策和管理,贷后的风险监测,再往上比较高级的就是自主学习,提供一些人工智能和自然语言处理的情况。现在我们还处于比较基础的阶段,现在做的主要是数据存储和联机查询,就是第一层和第二层的部分,上面那些功能有待于发展。


大数据应用项目中的人员


在应用项目中,一般的IT系统建设有三个角色,大数据应用项目中有四个角色,有业务部门、科技部门、平台厂商和应用厂商。


一个都不能少


我们想利用好大数据,这三个一个都不能少,首先是业务需求的驱动,第二就是技术能力的支撑,技术能力的支撑就是我们的大数据平台。第三就是一个执行能力的保证,就是要有领导的重视和支持,包括我们各种资源的满足,把我们建好的系统应用好,这样才能充分发挥数据的价值,达到数据辅助决策,提升业务创新的目的。


关于外部数据问题


最后我们来看一下,也是我们遇到的一些问题,跟大家一起交流一下,就是外部数据的问题,因为今年6月1日网络安全法已经出台,外部数据的合法性、完整性和有效性是我们比较关注的问题,国家的十三五规划,省政府文件,和一些监管部门都在呼吁数据的共享,然而这个数据的共享在实际应用中,每个拥有数据的部门都把它们的数据视为他们自己的数据资产,不愿意轻易共享这些数据,这就引发了社会上的一些大数据乱象。网络安全法出台之前,就有15家公司被调查,这也是网络安全法的一个预热行动,很多非正规经营的大数据公司将洗牌出局,有些公司会利用一些黑市来出卖它自己的数据,数据行业也面临一个生死结,处于二八分流,冰火两重天的情况,在这里我们期待数据行业能够逐步发展和规范化,这样的话我们就可以根据我们业务系统建设的需要,合法合理有效的引入外部数据,数据的利用和发展是一个循序渐进、逐步完善的过程,不可能一蹴而就的。


最后我们用前几天结束的会议报告中提到的,加快建设创新性国家,为建设数字中国和智慧社会提供有力支撑,所以在这样一个时代背景下,我们的大数据平台将大有作为,谢谢大家!


2017星环智慧大数据巡回论坛—郑州站相关阅读:

2017星环智慧大数据巡回论坛-郑州站即将拉开帷幕

2017星环智慧大数据巡回论坛-郑州站(中原高校教育大数据分论坛)

明天见 | 2017星环智慧大数据巡回论坛-郑州站演讲嘉宾介绍

行业案例分享—星环科技智慧大数据巡回论坛郑州站圆满举行



回复关键字,获取更多资讯


简介 | 产品 | 技术 | 案例集 | 培训 | 白话大数据

评测 |  投资 | 新手上路 | Holodesk | TED视频

技术支持| 金融 | 电力 | 视频监控 | 运营商 |交通

税务 | 电商 | 智能金融 | 医疗 | 快递|TDH5.0|流式计算 | 九城巡展 | 社区版

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存