阿里数据中台解决方案(PPT)
二、阿里数据中台建设方法论
阿里数据中台建设方法论主要总结为四个部分:数据中台建设方法论体系的全局、OneData体系方法论、OneEntity体系方法论、OneService体系方法论,如下图所示。
1、数据中台建设方法论体系的全局
(1)全流程一体化:即从数据采集到数据服务实现全链路通。在产品层面,不会让用户在不同使用阶段来回切换于不同产品。
例如,用户要做实体识别、用户标签画像等,如果要依赖的数据在另外一个产品中, 甚至需要使用风格迥异的产品来完成,则用户会不知所措。所以,以数据建设为例,要实现数据从采集到标准化、实体识别、标签画像及最终面向应用的一站式服务。
(2)向上多样化赋能场景:不仅要有通用产品,还要有行业产品及尊享产品。应向不同的应用场景和用户,提供差异化服务。
例如,阿里数据中台向阿里生态内小二提供数据产品时,就包括数据工具、专题分析、 应用分析、数据决策这四个层次的产品和服务。
(3) 向下屏蔽多计算引擎:不管是哪里的云计算服务,都应该尽可能兼容甚至屏蔽的,让用户在应用时感觉简单。
在阿里10年大数据建设历程中,数据建设的底座依赖至少经历了Oracle— GP-Hadoop—阿里云计算平台的变化过程。很多大数据应用与创新者也一定会面临类似的变化。
所以,对于产品和服务,需要连同生态合作伙伴一起努力实现屏蔽多种计算引擎,不管底座是阿里云公共云,还是阿里云专有云,还是自建的私有云,都可以在此之上构建数据并实现平滑切换。
(4) 双向联动:在构建大数据及服务业务应用与创新的过程中,业务和技术是需要协同互动的,而不是一方是另一方的资源这种单向关系。
一般来说,对于业务需要技术的协同这一点,人们很容易理解,但对于技术同样也需要业务的协同这一点,人们可能就不太容易理解。例如,要对消费者进行识别、刻画、触达和服务,则需要业务部门在业务前台按照数裾技术规范和标准进行布点,以便采集到数据,以及需要业务人员与技术人员一起讨论刻画消费者标签的关键因素,并确定哪些标签符合业务线的价值诉求。
2、OneData体系方法论
OneData体系方法论至少包括:数据标准化、技术内核工具化、元数据驱动智能化3个方面。
(1)数据标准化。要从源头实施数据标准化,而非在数据研发之后,基于数据指标梳理的数据字典实施数据标准化。因为,只有每一个数据都是唯一的,数据模型才能稳定、可靠,数据服务才是靠谱、可信的。
(2)技术内核产品化。所有的规范、标准等,如果没有一个全流程的工具作为保障, 则无法实现真正意义上的全链路通,因此,我们首先推进技术内核全面工具化。
(3)元数据驱动智能化。阿里正在持续努力实现数据建模后的自动化代码生成,以及保障其实现和运行的智能计算与存储框架。为什么阿里能做这件事情?其中一个重要原因就是,在源头对每个元数据进行了规范定义,尽可能实现数据的原子化和结构化,并将其全部存在元数据中心里。这些元数据对于计算、调度、存储等意义非凡,因此有望实现从人工到半自动化,进而实现智能化。
3、OneEntity体系方法论
OneEntity体系方法论至少包括:技术驱动数据连接、技术内核工具化、业务驱动技术价值化3个方面。
(1)技术驱动数据连接。OneEntity要实现实体识别,首先依赖很强的实体识别技术,所以要用技术来驱动数据连接。
(2)技术内核产品化。产品化是目标,其发展过程不是一蹴而就的。一定要往这个方向努力,否则每一次进行标签画像(哪怕是类似的标签),都要通过人力重复做一次,这实在是一件让人非常痛苦的事情。所以,要高效地进行实体识别、用户画像,工具化是一条必由之路。当然,全部工具化总是很难实现的,一定还有工具无法替代人脑的部分,所以,努力追求的是将人脑智慧尽可能沉淀在工具型产品中。
(3)业务驱动技术价值化。将数据从孤岛变得融通,进而实现高价值,是需要业务来驱动的。在此过程中,再一次体现了业务和技术要“背靠背”“你情我愿”地进行双向联动的。
4、OneService体系方法论
OneService体系方法论至少包括:主题式数据服务、统一多样化的数据服务、跨源数据服务3个方面。
(1)主题式数据服务。举一个例子,假设用户想要看的是“会员”这个主题下的数据,至于“会员”主题背后有1000张物理表还是2000张物理表,他都不关心。而主题式数据服务要做的是,从方便用户的视角出发,从逻辑层面屏蔽这1000张甚至是2000张物理表,以逻辑模型的方式构建而非物理表方式。
(2)统一但多样化的数据服务。例如,双十一当天上百亿次的调用服务是统一的,但获取形式可以是多样化的,可以通过API提供自主的SQL查洵数据服务,也可以通过API提供在线直接调用数椐服务。
(3)跨源数据服务。不管数据服务的源头在哪里,从数据服务的角度出发,都不应该将这些复杂的情况暴露给用户,而是尽可能地屏蔽多种异构数据源。
三、数据中台核心产品Dataphin
Dataphin是一款PaaS产品,致力于一站式解决智能数据构建与管理的全链路诉求。具体来说,Dataphin向各行各业的大数据建设、管理及应用诉求,一站式提供从数据接入到数据消费的全链路的大数据能力,包括产品、技术和方法论等,助力客户打造智能大数据体系,以驱动创新。
智能大数据体系的建设,极大地丰富和完善了阿里巴巴大数据中心,OneData、 OneEntity、OneService三大体系也渐趋成熟,并成为阿里巴巴中上至CEO、下至一线员工共识的三大体系。
Dataphin将指导解决所有与大数据体系建设有关的OneData、OneEntity、OneService体系方法论,及其在解决阿里巴巴数据公共层建设,及后续数据体系建设中的实际问题的具体做法全部沉淀下来。
四、数据中台核心产品Quick BI
大数据构建与管理完毕之后,需要利用Quick BI这一智能数据与可视化组件将数据背后的价值展现在人们面前。
Quick BI扭转了当初重度依赖专业数据分析人才的局面,能够赋予一线业务人员智能化的分析工具,真正的做到了“数据化运营”让数据产生价值。
现在,越来越多的企业开始数据上云,也有的行业如政府、金融因为严苛的安全需求而自建本地数据库,导致企业出现数据分散式存储的状况。而Quick BI却可以链接各种数据源,满足云上和本地的不同需求,整合为可被统一调度的数据集。
Quick BI的可视化能力也不容小觑,内设地图、柱图、雷达图等21种数据图表,任何场景下的报表展示均毫无压力。特别令人惊喜的是Quick BI 特有的类Excel的电子表格功能,它足以让企业数据分析人员兴奋不已,不仅延续了本地化操作的经验,也更加贴合中国式复杂报表的制作需求。
以为为阿里云数据中台解决方案部分PPT,文末附PPT下载链接。
关注本公众号(数据学堂,ID:data_school),后台回复“阿里数据中台”,即可下载《阿里云数据中台解决方案》PPT全文。
点击文末阅读原文,获取更多干货好文 觉得本文有用,欢迎转发分享,谢谢
<END>
2、数据质量专项治理在政务大数据中的应用实践3、主数据管理(MDM)项目建设落地方案
4、数据中台建设方案(PPT)
5、数据治理连载漫画:什么是数据标准?6、企业级数据治理解决方案(PPT)7、华为大数据中台架构设计分享(PPT)8、华为数字化转型与数据管理实践(PPT)
9、阿里巴巴数据中台实践分享(PPT)10、建设大数据平台,从数据治理谈起11、数据资产盘点+数据治理+数据价值实现=数据资产管理运营12、京东全域大数据平台的演进与治理历程(PPT)13、万字长文详解数据仓库架构和建设方法论14、数据治理已成为数据中台的必争之地15、普华永道:企业如何进行数字化转型?(附下载)
数据学堂