晓阳的数据小站

其他

数据看板的搭建思路

数据看板的搭建思路|0x00
2021年3月16日
其他

​数据建模实践

Vault模型不能直接面向业务进行数据分析决策,需要关联处理之后才能进行相应数据指标的统计,它的扩展性更好,但同时性能和便捷度更差。Anchor模型是对DATA
2021年2月23日
其他

数据资产治理概要:用数据来治理数据

数据资产治理概要:用数据来治理数据|0x00
2021年1月14日
其他

深入探讨数据测试

深入探讨数据测试|0x00
2020年12月25日
其他

浅谈数据测试

浅谈数据测试|0x00
2020年12月23日
其他

系统思考数据质量

Flink),所付出的成本有多少。|0x02
2020年12月21日
其他

一号位是一种心态,而不是职级

很多人是难以短时间内改变自己的认识误区的,并不是因为你努力工作而得到了职级的晋升,而是因为你承担起了应有的责任后,自然而然的晋升上来。也就是:“职级的晋升只是能力的附带品”。|0x01
2020年6月19日
其他

漫谈数据治理之二:思想上的体系化

漫谈数据治理之二:思想上的体系化数据的滚雪球效应现代数仓体系中,数据数量的高速增长已经不是什么新鲜事了,在大数据的作用被业界所认知到后,几乎所有对于业务有价值的行为,都将以数据的形式被收集。虽然这些数据很有价值,但在体现数据的价值之前,数据存储的成本已经扛不住了。据可靠统计,大公司每年数据的存储量以60%的速度在增长,5年后业界的数据规模就将达到今天的10倍,数据的滚雪球效应正在体现。数据暴增带来的系统风险数据暴增不仅带来了存储成本的增加,还带来了一系列无法避免的体系风险:数据计算链路越来越复杂,带来了很高的数据质量风险,高危风险数据开始增多;组织协作难度增加,跨部分的协作周期增加至原先的数倍,对于企业研发效能而言是一种巨大的损失;数据孤岛逐步增多,安全合规的风险被放大,数据计算链路难以被完整的追踪。数据治理的核心目标数据治理不单纯是一个技术项目,而是一个体系化的机制,比较强的依赖于各个部门组织管理的能力。如果说我们一定要给数据治理工作一个核心目标,来体现做这件事情的价值,那么我们可以用“降本增效”的概念来定义它。“降本增效”有两个方面涵义:一方面是“降本”,能够守住数据问题的底线,包括数据质量风险、数据安全风险、数据规模风险及数据成本风险,切实的降低我们在数据治理上支出的时间和金钱成本;一方面是“增效”,让数据更加便捷的被使用、更加广泛的参与到业务系统的建设中来,让数据为产品注入灵魂,带回动力和金钱的价值。数据治理的核心规则数据治理在技术上没有什么难题,主要是在执行落实上会有很多的困难:新人不熟悉、老人不配合,由于不直接产生收益,很多人执行的动力其实是不足的。这个时候,我们就需要强调数据治理的核心规则:”法制“。“法制”就像我们社会的组织一样,并不是说你想做就可以做,而是我给你制定一个规则,明确的告诉你什么是“法律”,“法”所规定的内容必须无条件的执行。如果我们看业界对于数据治理所采用的方法,无一例外的都集中在建立“组织”、明确“权责”、制定“标准”这几件事上。事实上,数据治理的问题,根源只有一个:“无序”。平时我们制定各种规则,要求数据需求评审、code
2020年4月29日
其他

迈向数据的最高境界:数据可视化经验详解

接下来,我们就开展工作了,通常分为三个步骤:第一步,加工需要展示的数据信息,并存到制定的系统上;第二步,选择合适的可视化工具,及展示的图表样式;第三步,将数据图表实现出来,并进行细节上的优化调整。
2020年3月25日