星环科技助力中华财险ODS项目平台

项目背景

中华联合财产保险股份有限公司经过持续不断的业务信息化建设，已经建立了核心业务处理系统、财务系统等多个不同层次的业务应用系统，这些系统为中华联合财产保险股份有限公司的快速发展起到了十分重要的作用，并在此基础上建立了综合报表系统和MIS对公司各级管理人员进行经营决策提供数据支持。

问题与需求

但随着业务的发展，对于业务分析的粒度越来越细，角度越来越多，推动各个系统的职能越来越专业化。同时，现有数据应用系统因缺乏统一规划、技术落后，造成数据信息冗余、数据标准不一致、数据信息流通不顺畅、数据提供不及时、数据服务不全面、核心系统负载过重的现状，业务核心系统以及报表统计系统面临严峻的性能和功能的挑战。从数据建设能力看，不论在数据架构组织管理、数据获取和数据应用方面与业界相比还处于起步阶段。而随着公司精细化管理的逐步推进，提出更高量级和效率级要求，现有的数据架构体系已无法支撑和应对业务的“改良”和“变革”。

1、现有数据应用系统缺乏统一规划、技术落后

随着保险业务的发展，原oracle数据越来越多，而且缺乏有效的规划，业务梳理存在困难。

2、数据中转能力不足

数据需要经过多个集成系统进行处理和加工，必然涉及协同合作。一份数据可能需要在多个系统之间流传甚至重复流转，造成数据大量无效冗余，且增加流转成本。

3、海量数据处理能力不足

中华保险存量业务数据庞大，原oracle不能支撑起如此数据量的业务加工，ETL时间超长优化余地很小。

解决方案

下图是基于星环科技大数据平台的架构设计：                           

源数据通过全量落成文件、增量sqoop的方式，在集群内进行数据加工+业务处理，得到清洗后数据、轻度汇总数据、应用数据。处理后的轻度汇总数据、应用数据通过jdbc供给下游前端应用取数。

实施效果

中华财险借力星环科技批处理引擎及相关技术，颠覆了之前老旧ODS系统无法完成的批处理模式。实现了实时数据处理的目标。同时提高了数据处理规模、提供了数据活性、提升了数据响应能力、丰富了数据服务灵活性、增强了数据管控力度，为下游应用系统提供了全面的数据支持。

1、优异的数据处理性能

中华财险模型设计较为复杂，业务逻辑加工时多为很多张表关联，通过星环科技基于spark的分布式存储&计算框架，极大的缩短了ETL时间，保证了报表应用每天可以按时完成跑批，达到领导要求。

2、方便敏捷的调度模式

中华财险目前有接口层、偏源层、整合层、集市层等不同加工逻辑层级，各个层级之间依赖关系复杂，使用手工调度不仅工作量巨大，而且消耗人力，容易出错。借助星环公司workflow+transpoter，界面化配置工作流，条理清晰，触发关系明确不易出错，而且可实现sql+sh+transpoter多维度整合工作流调度。

3、数据的分析聚合

中华财险MIS报表系统，之前前端展示程序向数据源发送sql，并将sql返回结果展示，限于sql的计算能力，前端展示较为缓慢，影响了客户体验。通过使用星环科技的Holodesk技术，极大的提高了sql处理速度，前端展示时间由41s缩短至2s。

点击或回复关键词，查看相关内容

公司

产品

技术

白话大数据 | 白话大数据合集

深入机器学习 | 深入机器学习系列合集

案例

银行 | 中国银行：大数据在银行领域的应用与实践

视频监控 | Hadoop在实时视频监控的应用场景