大数据产品平台化体系.xmind

前

作者：空空，高级数开/架构师，就职于一线大厂。渣本逆袭，从外包到大厂，从月薪2k到pack80，善学谦卑。

言

导读：初级工程师搞技术，高阶工程师搭平台。没有几个工程师天赋异禀，技术的差距，是认知的差距。文笔差多包涵，希望对你有所帮助。一家之言，谢邀！

大家好，我是空空，空杯的空！

老朋友了。

“业务数据化，数据产品化，产品平台化”，中台或许不成功，但中台思想是先进性进步。一图胜千言，先上图。

大数据产品平台化体系.xmind 

作为数据工程师，不管你是数仓/BP/BI，还是大数据开发/ETL，天天只知道code代码的朋友，需要抬头顿首，从上帝视角思考大数据产品平台体系架构。敲代码，拼体力，肯定拼不过新生代年轻人。

在说平台体系之前，我们先简单聊一下方法论。方法论是什么？方法论有很多，如维度建模、3-One等，都需要落地才会产出价值。同一个东西，从不同的角度去看可能是完全不一样的见解。

方法论是仁者见仁，智者见智又指导实践殊途同归的思想。

其实可能很多人都听过，比如阿里经常讲的全域数据，背后是一系列在做数据化运营过程当中沉淀出来的一些方法论。如 OneID，就是我去拉通去看，我们把所有的消费者或者是把所有的商家的数据合到一起，我们去打造一个全域数据。如 OneModel，数据建设了这么多年，沉淀的一套数据建设方法论。还有 OneService，是再数据向上使用的时候，一套工具和方法论（引自阿里技术）。

无独有偶，数据中台更需要大数据平台化去落地与具象。

大数据产品平台体系，从数据生产、数据服务到数据管理、资源管治。与其说是大数据产品平台体系，或许不如说是当前大厂数仓平台化体系更合适。平台化，五花八门，职能细化，分工明确，合作协同的同时，造就了一个又一个岗位。对数据工程师来说，也是一大利好。下面我们通过强引具体看下都有哪些平台：

一、数据生产

• 数据集成平台
  

            数据同步（接入、分发）

• 离线开发平台

            离线数仓

• 实时计算平台

            实时数仓

• 调度平台

            现在一般会集成到开发平台 

• 数据质量中心

            DQC、SLA

二、数据服务

• BI报表平台
  

            传统报表

• 自助分析平台

           自助取数、OLAP多维分析、可视化

• 交互式查询平台

           HUE

• 用户画像系统

           DMP

• API开放平台

           API服务

• App分析

          用户行为分析

• ABTest平台

          通用A/B测试

三、数据管理

• 数据地图
  

             元数据管理系统

• 数据资产

             数据模型、数据权限

• 指标管理平台

             指标体系、指标库、

             维度/指标统一服务平台

• 埋点管理平台

              埋点元数据管理平台

• 需求管理平台

             任务协同、项目管理工具

四、资源管治

• 数据管治平台
  

             规范分、排名等

• 资源管治平台

             计算资源、存储资源、队列管理、资源治理

• 引擎服务平台

              存储引擎（HDFS等）、

              计算引擎（MR/Flink等）

注：今天作为一个架构强引，没有具体展开，每一个都是一个大项目，期待后面逐个陆续展开分享。

五、全局延伸

六、薪资与职级

欢迎同行心有灵犀的思想碰撞，更欢迎大佬给予强力的批评指正！

ps：欢迎加我微信：edw0808 讨论技术，批评指正！

写在最后

今天的分享到这里就要说再见了，主要是宏观介绍了一下当前大数据产品平台体系。横岭侧峰，见仁见智，只希望能对你大局认知有所帮忙。

And More，再次感谢仙子，谢邀，也欢迎大家关注这个公众号，一起升级打怪，一起走的更远！

欢迎大家点击下方订阅「数据仓库与Python大数据」内容并推荐给更多数据方向的朋友，希望有更多机会和大家交流。

点击回复：Hive，即可领取《Hive性能调优》资料

---

# 我是空空，公众号[数据仓库与Python大数据]、[数据爱好者社区]签约作者。擅长数据仓库、模型建设、数据治理等领域，涉猎金融、电信、电商、互联网等多个行业。希望大家支持，多多分享转发#