数据分析师应该了解的数据仓库(2)
小A以前是一名数据仓库工程师,现在他是数据仓库仓库➕数据分析……
by小AA
首先,来了解一下数据仓库吧!数据仓库是一个面向主题的、集成的、相对稳定的、反应历史变化的数据集合。
我们来看这几个词:
面向主题,数据仓库会规划各种业务主题,所以我们需要理解各大主题的范畴以及之间的关系,这样就了解了数据仓库的基本架构。
集成,数据仓库的数据会来自各个业务系统数据或者外部爬取数据,所以需要我们知道每个数据仓库的模型字段都是来自哪个源,这样我们就能快速全面的了解相关业务。
相对稳定,数据仓库的数据一般不会实时变化,所以我们今天看去年的数据和明天看去年的数据是一样的,如果我们发现某一个月度数据不对,就可能需要重新汇总历史月份每天的数据(请理解数数仓小伙伴们没及时给你数据)
反应历史变化,这就是为什么预测一般就需要数据分析师们大显身手了。
首先数据分析又是干什么的呢?基于业务需求,结合历史数据,利用相关统计学方法和某些数据挖掘工具算法对数据进行整合、分析,并形成一套最终解决某个业务场景的方案(刚入门数据分析的浅显思考)。
听团队小伙伴说,在数据分析的过程中有大部分的工作都是在处理数据(大部门分我认为是60%工作量),所以为了提高工作效率和质量,借助数据仓库进行数据分析无疑是一个很好的选择。
如何来使用数据仓库呢?
了解原始数据,想要真正地理解指标,你必须了解原始明细数据,知道是哪里来的,经过了怎样维度的计算得到的。
寻找“干净”数据,数据分析要求数据都是“干净的”(可以作为算法特征输入),而数据仓库中的模型一般都符合你的要求。我们需要找到“干净的”模型,但事实往往不会很顺利,我们需要找到相近的数据,然后自己找到之间同的“纽带”(关联条件)汇总数据。
反馈数据,数据分析在做完整个分析方案后,可以和数据放仓库小伙伴一起分享成果,让数据仓库同事学习数据分析思路的同时,也可以更好地规划模型,从而进入良性循环。
数据仓库和数据分析都存在的组织架构在很多大团队会有,很多小团队是没有专门的数据分析人员或者数据仓库人员的,二者是合为一体的。
作为一个数据分析猿,你都用哪些数据处理手段,或者对数据仓库需要到怎么的理解程度,可以留言告诉我,一起探讨!