京东全域大数据平台的演进与治理历程（PPT）

导读：本文是根据包勇军在2020 DAMS中国数据智能管理峰会现场演讲内容整理而成，主要介绍了京东全域大数据平台的建设历程等相关内容，文中图片来自演讲的PPT，文末附有PPT下载链接，敬请赏析。

一、数据的价值

The Economist（经济学人期刊），2017年，5月版

众所周知，数据正如石油一样深刻改变着我们的信息化社会，为整个行业，更为我们的社会创造了越来越大的价值。

国内大数据行业趋势

二、行业大数据平台现状

1、行业大数据平台发展阶段

从一个技术人的角度看，大数据平台在应对整个行业诉求方面当前还处在一个探索期，还在起步的阶段。

2、行业大数据平台架构

来源于：公开资料整理

大数据生态是非常复杂的，里面涉及非常多元、多样的产品技术。同时，数据平台技术处于高速发展阶段，以及整个行业在每年都会涌现大量的新产品和技术。

3、行业大数据平台建设的挑战

随着市场竞争格局加剧，传统规则化的数据分析方式已经无法满足更精准的业务数据挖掘诉求。在后疫情时代，新基建激发了大量对数据的诉求，然而互联网企业所积累的数字化转型经验想要在其他相关行业落地推广，还需要继续探索。

三、京东全域大数据平台的建设历程

1、京东大数据平台的整体情况

从总体规模上来看，平台的集群服务器已经在数万规模，日计算任务数在数百万级别，总存储达到EB级别。

2、京东大数据平台建设历程

1）规模化阶段

随着业务增长，数据急剧膨胀，无论是堆机器还是人力，都无法满足高速增长的业务需求，也无法有效保障如此大规模平台的稳定性。

京东的实践表明，随着平台体量增加，业界开源社区流行的一些开箱既用技术，需要进行深度定制和创新性改造，才能有效支撑海量数据规模的需求。

所以做了以下几项工作：

① 高效的计算存储引擎

 ② 自动化运营管理系统

除了底层引擎核心能力以外，还需要建设上层的自动化运维和管理系统。

这不仅涵盖了对服务器资产的运维运营、资源治理和规划，还包括了对整个数据资产的盘点和收益分析。

2）体系化阶段

 ① 业务快速并行发展带来的挑战

随着主营业务的逐渐成熟，新兴业务也快速发展并对数据平台带来新的挑战：

 ② 数据中台的核心目标

从不同业务的特点和需求出发，逐步构建成标准化、可管理、可维护、可理解、可复制、一站式、体系化的数据中台，解决了前面提到的业务复杂、数据异构、烟囱化开发、建设成本高等问题。

3）实时化阶段

 ① 速度是永恒的诉求，快速响应市场变化

 ② Easy Realtime实时计算平台

4）智能化阶段

通过智能化改造，打造以高效精准业务决策为目标的数据化智能服务，同时通过智能化改造，把以统计分析为主的大数据平台，升级到以数据智能化、数据精准化、数据深度化理解的一个数据算法综合型平台。

通过这样一个平台，希望能够对数据进行一个全新的理解，深层次的加工，从而挖掘更多、更全面、更精准的信息，帮助我们业务方能够在市场竞争环境下获得更大的技术优势。

 ① 智能化转型面临的挑战

京东大数据平台智能化转型面临以下三个特殊挑战：

• 大数据下的大规模机器学习算力挑战：如何让整个大数据的算力与算法能高效结合？具体来说，在大数据背景下实现工业级的超大规模机器学习平台算力本身就是一个大的挑战；

• 数据安全背景下的跨业务实体数据融合分析：随着数据安全的政策、法规和理念越来越被重视，而且在数据安全背景下，如何对跨业务实体的数据做融合算法分析，以此帮助我们的业务团队获得更多的数据和竞争优势，也是一个新兴的挑战。为此我们研发了联邦学习数据交换平台，为京东生态合作提供数据交换安全屋(避难所)；

• 数据多模态的大量涌现，组织越来越复杂，应用越来越灵活：基于此我们打造出伽利略图计算框架，能够支持复杂关系的数据分析，轻松支持数十亿级别图数据的复杂关联计算，为整个多模态数据提供一个高效存储和计算平台。

 ② 九数(9N)商业分析和业务智能化平台

九数商业分析和业务智能化分析平台的架构图

平台里有几个核心的算法引擎，包括9N-FL联邦学习引擎。支撑这些引擎的基础是面向整个算法领域的云化资源管理系统，它与面向数据的管理系统无缝集成，形成一站式的数据算法解决方案，最终赋能京东的零售业务、健康业务、金融业务等, 推动业务的高速发展。

以京东广告业务为典型案例，

• 九数平台研发推动了整个广告从规则化到数字智能化转型，推进了整个京东无人投放广告的研发工作；
• 目前无人投放广告已经成为京东广告的最核心收入来源，而智能化平台转型是其中最大的一个系统助力因素；
• 我们也在积极的推动开源, 以回馈社区。现在九数联邦学习平台已经开源，伽利略图计算引擎计划在年底开源，平台整体开源也在筹备当中。

5）商业化阶段

京东全域大数据平台架构Easy JData

基于以上四个阶段的发展，最终打造出依托于实际业务支撑经验的，可同时支持多领域应用(零售、物流、金融、健康等)的全域大数据平台。它包含的系统、工具、产品和方法论，与业内主流数据中台也有一定的共同之处。

四、未来发展方向

让我们来一起畅想下全域数据平台的发展方向，希望伴随业务的发展，我们能够持续修炼技术内功，加强技术升级，实现云原生的智能数据平台。同时能深化和落实Deep AI的概念，加速业务深度赋能。最后希望能将京东经验回馈整个行业，以PaaS化、SaaS化为抓手，与合作伙伴协作共赢，建设健康可持续的大数据商业生态。

关注本公众号（数据学堂，ID：data_school），后台回复“京东大数据”，即可下载《京东EB级全域大数据平台建设和治理之路》PPT全文。

本文来源DAMS，作者包勇军

点击文末阅读原文，获取更多干货好文

觉得本文有用，欢迎转发分享，谢谢

<END>

大家都在看：

1、IBM数字化中台（PPT）
2、大数据资产管理实战（PPT）3、主数据管理（MDM）项目建设落地方案
4、数据中台建设方案（PPT）
5、华为税务大数据解决方案（PPT）6、企业级数据治理解决方案（PPT）7、华为大数据中台架构设计分享（PPT）8、华为数字化转型与数据管理实践（PPT）
9、阿里巴巴数据中台实践分享（PPT）10、埃森哲：企业数字化转型三步曲11、数据资产盘点+数据治理+数据价值实现=数据资产管理运营12、企业数字化转型之道（附PDF下载）13、万字长文详解数据仓库架构和建设方法论14、数据治理已成为数据中台的必争之地15、数据中台和ERP到底有啥关系？

数据学堂

欢迎扫码添加歪老师个人微信（data-school），邀请加入数据学堂数据专业微信群，与业内大咖一起识数据、存数据、管数据、治数据、用数据！