查看原文
其他

全链路数据治理案例分析

刘兵 技术琐话 2022-07-13

本文为作者首发投稿

现状分析

To 管理者

1: 成本不断增大,不知道哪个业务域耗费成本高,一天仅离线存算资源成本上10万
2: 尽可能少动用资源情况下,降低存算资源成本


TO 分析师

1: 中间表信息碎片化,很难找到有用的中间表信息作为数据应用的底表。
2: 无法衡量数据报表的使用情况。


TO 数仓开发


1: 由于缺乏文档沉淀,对于新人很难知道中间表被哪些数据应用使用,不敢轻易更改


TO 业务开发以及运营

1: 很难找到数据平台有用的数据,只能通过线下咨询分析师或者特定数仓开发人员,流程便利差


总结:一锅烂账,全靠人肉



作者履历:


京东

交易平台架构师(2014-03)
主要工作:
1: 负责京东优惠券,订单中 心,评价等核心应用 

2:参与京东多次618,双11 大考,大考期间丝般顺滑


阿里巴巴

技术专家(2017-02)
主要成果:
1: 负责菜鸟末端履行平台,平台承载中国末端1/4包裹单量 

2:经历多次618、双11 大考,其 中最高峰QPS 上千万


永辉云创 

合伙人 (2019-04)

1:数据中台建设 

2:供应链控制塔搭建,为供应链链条降损耗



得物

数据平台高级专家 (2020-12)

负责大数据平台基础设施



下载本pdf,请在公众号后台回复:数据治理


往期推荐:


技术琐话 




以分布式设计、架构、体系思想为基础,兼论研发相关的点点滴滴,不限于代码、质量体系和研发管理。


您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存