案例丨十年磨一剑，数据智能高效落地——日照银行“湖仓一体”数据平台建设实践

21世纪的第一个十年是中国国内数据仓库第一个发展高潮，但随着第二个十年中大数据技术的普及，企业级的数据平台暴露出很多弊端，例如数据体系不规范，整合和扩展能力不足；开放体系不完善，数据价值释放效率低；存储计算混搭化，数据冗余高、时效性差；运营运维较分散，协同管理工作效率低；治理体系不健全，数据治理需加宽加深等。

日照银行高级专务兼数字银行部总经理  秦宝林

数字中国：打造智能数字金融数据平台是大势所趋

企业级的数据平台已经严重落后数字经济时代的发展潮流，而在单纯引入大数据技术后，问题不但未能解决，反而更加验证了企业级数据平台的现状。

在传统数据库基础上引入大数据技术后，以应用驱动方式建设的企业级数据平台，出现了多个储算产品并行、主次不太明显的情况，即虽然看起来使用了一套大数据集群，但应用系统和每个系统的产品部署也都相对独立，使用一类数据产品解决一类应用问题，数据冗余存放问题未得到解决，而平台开发、运维管理的复杂度却直线上升。

此模式多来自应用驱动方式建设企业级数据平台。企业级数据平台要从规划做起，尤其是建立统一的储算平台。在储算平台中，对于储算产品应划分明确的主次关系，即采用一个主要储算产品解决基础储算问题，并能解决大部分应用系统的数据需求，对于个性化应用需求采用特定产品解决。此模式在开发成本、运维成本、规范性和稳定性方面都表现出了明显的优势。基于此才能真正落实国家的数字化战略规划，打造企业的智能数字金融数据平台，数字金融信息化建设已经从应用级建设发展为高效智能金融数据体系建设，以持续提高数字金融在“质量、效率、成本”方面的能力，确保现代化金融企业具备持续盈利能力和持续发展能力！

企业需求推动数据管理架构的革新，企业级数据平台历经传统数据仓库阶段、大数据平台阶段、数据湖阶段、数据中台阶段，发展到现在的数据湖、数据仓库与数据中台融合的“湖仓一体”阶段。

自主可控的趋势首要是在数据分析、数据应用领域自主形成，国内分析型MPP数据库、大数据平台以及相关数据类产品是第一批真正做到自主可控的替代型软件产品，完全满足企业级“湖仓一体”建设需求。

智能数字金融数据平台建设已经进入深水区，需要一系列的配套机制跟上。首先，数据管理架构必须相应调整。其次，企业海量数据场景下实时处理、非结构化数据治理等需求进一步推广和深入，这是推动数据湖与数据仓库融合的重要动力。伴随数字化转型在各行各业的深化发展，“湖仓一体”技术借助海量、实时、多模的数据处理能力，实现全量数据价值的持续释放，正成为金融企业数字化转型过程中备受关注的焦点。

争当时代先锋：日照银行“湖仓一体”数据平台建设实践

日照银行是山东城商行中启动数据仓库建设最早的银行之一。2012年基于传统数据库建设数据仓库，在Hadoop技术兴起时果断引入BEH大数据产品，2017年引入国内MPP数据库CirroData，开始建设基于新一代MPP数据库+Hadoop生态，建设了初级的企业级大数据平台底座，又陆续完成了数据中台、实时流数据处理平台、外部数据管理平台和机器学习平台等系统的建设，逐步形成了现在“湖仓一体”的数据架构。

“湖仓一体”企业级数据平台规避了多个储算组件并行的情况，将传统数仓直接迁移到国内MPP数据库CirroData上，并以CirroData解决平台和所有应用的基础存储和计算问题，以BEH特定大数据组件实现特定场景需求，选择性摒弃了和MPP数据库功能类似但性能更差的或稳定性不佳的Hive、Spark、Imapla等储算组件。CirroData可以和BEH统一部署，进行集中规划和集中管理，进一步落实了湖仓一体的统一管控和运维。日照银行湖仓一体架构（如图）。

图  日照银行湖仓一体架构图

“湖仓一体”数据底座：包含了结构化数据、非结构化数据、实时数据区、外部数据区、图数据区。湖仓一体形成了日照银行的数据底座。

数据服务中台：包括缓存层、服务层和开放层，将湖仓中的数据以数据服务的方式对外发布，形成数据的统一应用。数据服务中心将支撑应用的全部数据服务、专题数据需求、公共数据需求，覆盖全行全部数据，面向全行提供数据支撑。

数据应用系统：“湖仓一体”是建设一个数据驱动服务的“大数据”平台，其应用的深度、数量、功能会根据系统所融合的数据量和数据范围变化和调整，在未来的项目建设过程中，针对新的应用场景和业务需求，由数据API服务和开放平台提供支持，可以快速接入与搭建新的业务应用系统。

数据实验室：将分析模型设计、数据挖掘模型设计面向全行开放，实现在线建模、发布等全生命周期管理。

能力支撑中心：实现面向全行的数据支撑能力，包括开发平台、数据虚拟机平台、AI平台等。

数据资产管理中心：实现元数据自动发现、湖仓元数据统一存储和管理，并纳入数据标准、数据模型，最终将数据资产化，实现数据资产统一管理。

1.“智能融合”的企业级数据平台建设特点

支持目前所有的数据分析、数据应用类系统，并在此基础上持续优化和建设。深度融合人工智能与机器学习技术，整体发展趋势为自动化、自助化、实时化、智能化、安全化。实现统一管理和部署，可进行360°全景运维监控服务，具体特点如下。

多引擎支持：融合批流一体、交互分析、机器学习等多种计算引擎，一份数据可同时应用于各类分析场景，湖仓数据协同计算、数据免搬迁。

混合存储：内置多模态、多级混合存储引擎，支持存储系统的可插拔式管理，结构化/非结构化数据可在湖仓中统一存储，满足集中式管理和可扩展的双向需求。

快速集成：支持数据以批、流、实时等多种方式接入，基于批流双计算引擎的数据交换，日志、事件流实时捕获，多源异构数据皆可高效入湖。

敏捷开发：提供可视化数据开发平台，丰富的输入、输出、加工、清洗、转换等开发组件，自动化的作业调度和运维监控，支持多人在线协同开发。

升级开发模式：建模开发前，对数据开发人员依赖度高，建模数据获取时间长，建模数据可用性低；平台建设后，建模开发对数据开发人员依赖度低，建模数据获取时间短，建模数据可用性高。

2.“智能融合”的企业级数据平台的角色划分

管理团队：行长牵头，科技与业务共同参与，负责定义业务目标，制定数据战略。

咨询规划团队：科技和业务专家参与，根据业务目标和数据战略规划落地方案，包括业务规划、技术规划、数据规划、管理规范和流程、实现路径等。

数据治理团队：负责数据质量管理，确保业务目标的完成。

业务运维团队：负责协助业务人员理解数据，制作和优化业务模型、分析模型、挖掘模型，规划业务产品等数据开发团队，根据应用系统和业务部门的需求，负责数据开发工作。

平台运维团队：保证平台的稳定、安全、高效的运行。

业务用户：是平台服务的最终用户，提出系统需求、功能测试、验收需求，基于平台和应用实现业务功能，持续提升日照银行综合业务水平。

展望未来：“湖仓一体”推动日照银行数据核心形成

湖仓一体企业级数据平台建设将促进业务系统的中心化建设，即业务系统建设也将基于企业级数据模型规划，在业务端实现信息的统一和标准化，无需在仓库区进行后续加工处理，进而简化数据仓库处理逻辑，强化存储了贴源数据的数据湖区的重要性，这也是业务系统的趋势。

在此前提下，湖仓一体企业级数据平台的数据服务中台将进一步标准化，形成类似ESB的全行级数据服务，不仅服务数据分析类应用系统，还将服务于全行的业务系统，实现应用端的功能整合，逐步建成全行的数据核心系统，面向全行提供数据服务。

“湖仓一体”的建设持续演进推动日照银行的双核心发展，强化数据挖掘能力、发挥深层数据价值。业务类系统产生数据，数据类系统基于数据产生决策，影响和优化业务系统，从而进一步完善业务数据，提升数据质量，进而制定更精准的决策，最终形成良性的企业信息循环，实现企业的智能化管理。

在数据核心建设过程中，日照银行将逐步完善湖仓一体平台体系化建设。一是湖仓一体数据平台夯实数据储算体系，整合产品，优化平台资源；整合数据，优化模型，提升综合性能。二是完善数据治理体系，扩展元数据，加大自动采集率；增强元数据展现，提升分析和管控能力；统一调度管理，统一开发模式，推动开发平台建设。三是完善数据开放体系，持续完善数据服务平台，提供数据服务。四是完善标签体系，统一标签管理。五是完善分析挖掘体系，持续完善数据挖掘平台。六是完善运营管理体系和运维规范，启动标准化运维管理。

在数据核心总体建设的目标下，对湖仓一体数据平台持续优化，打造数据生产力平台，实现模式升级革新，包括数据开发模式革新、数据生产模式革新、数据消费模式革新、资源管理模式革新、数据治理模式革新、运营管理模式革新。

“高效赋能”湖仓一体建设为我行带来数据智能价值

架构优化，“湖仓一体”架构满足了支撑实时查询和实时分析场景，具备多引擎实时处理多类型数据与分析非结构化数据的能力，避免了不同平台间数据移动所带来的成本。建立完整的自服务数据治理平台，实现数据全生命周期端到端透明化管控，致力实现“数据模型标准化、数据关系脉络化、数据加工可视化、数据质量度量化、数据服务统一化、全业务流程的实时监控”。

降本增效，“湖仓一体”融合了数据湖的灵活性与数据仓库的企业级能力，降低了数据流动带来的开发成本及计算存储开销，构建起全新的数据融合平台，打破了数据湖、数据仓库与各应用系统割裂的体系，降低平台运维成本，降低系统物耗与损耗，整体提升了工作效率与效益。

助力升级转型，以大数据人工智能为代表的金融科技技术，能够按需处理海量、多源、异构数据，发掘潜在关联关系，帮助金融机构更好总结历史经验，预判发展趋势及提高工作效率；推动建立数据资产、实现数据业务化、进而全线业务智能化，实现数据驱动下的企业数据智能创新，全面支撑企业未来大规模业务智能落地。

我行“湖仓一体”企业数据平台建设的成功实施并顺利运行，标志着我行高效智能金融数据体系建设已初具规模，金融业务数据核心初步形成，助力数字化转型升级，为我行各业务条线精细化管理奠定了坚实基础，必将在我行各类创新金融业务发展过程中，发挥关键性作用，体现核心价值。

（栏目编辑：魏亚楠）

往期精选：

（点击查看精彩内容）

新媒体中心：主任 / 邝源  编辑 / 傅甜甜  张珺  邰思琪