职业规划 | 空谈5年数仓之路
前
作者：空空，高级数开，从外包到大厂、从月薪2k到温饱，TMD offer，渣本逆袭，5年数仓之路学习计划与职业规划复盘。
言
导读：那些年立下的flag，5年flag之回顾，分享给大家。从传统数仓到大数据数仓，从技术支持到数仓开发工程师。文笔较差多多包涵，希望对你有所帮助。承蒙厚爱，谢邀！
作者：空空
编辑：柠檬
Year: 2016年
一种数据库：Oracle、mysql、micro sqlserver
一种ETL工具：informatica、Kettle、datastage
一种BI可视化工具：Cognos、BIEE、BO
一种DW建模工具：PowerDesigner、Erwin
一种开发脚本语言：Java、Python、Shell (Linux)
Oracle数据库：存储过程、包、触发器； 一定的sql优化、性能调优；DW/BI理论；
---------------------------------------------------------------------
关键词：懵懂 传统数仓 外包 工具 Oracle
毕业一年了，意气风发时。经历了一年月薪2k的社会的毒打，却还不知天高地厚，更不知外面的世界是多么的精彩。或许是做为渣本学生的自卑，或许是性格上的怯弱，换工作却根本不敢面大厂或自认为的大公司，看到招聘网站20-99人的企业感觉那才是自己的归属。可悲又可幸的错过了四大外包公司，却懵懵懂懂的进入了一个更小的外包公司。年少是多么的无知！因为他们给开出了9.8k的天价offer（当时都做好了为这家企业卖命的心态0.0）
就这样，这一年在传统数仓领域摸打滚爬（主要是自己玩，有项目自己耍，现在看是瞎搞了一年）。虽然现在大家也在诟病外包不是一个好的选择，但也不能一棍子打死。如果自身硬件条件还不足够优秀，或也在北漂要先解决温饱问题，外包也是一个不错的选择（而且，如果一直在外包且站稳脚的话，也是很厉害的）。当时，公司是项目外包，一个人负责三个外包项目，证券、基金、电信三大传统数仓都有幸参与其中，虽然来回奔波中也确实学到了很多东西。尤其是传统工具，如informatica、Cognos等，还有强大的Oracle数据库。
Year: 2018年
数仓理念、建模思想、方法论；
Hadoop大数据生态圈：hdfs、mapreduce、hive、hbase、sqoop、
Spark：Spark sql 、Sparkstreaming 、 Spark ML 、
Python：爬虫 、 padas、numpy、scipy 、matlplotlib ✘
机器学习： ✘
深度学习：神经网络 ✘
推荐系统：✘
NLP：✘
人工智能：✘
And Prefer to Hadoop、hive、hbase、Spark、mr、sqoop、etc..
---------------------------------------------------------------------
关键词：蓄势 正路子 建模思想 大数据 贵人
这一年定的flag大多没有完成，到现在也没有完成。心太大，熊和鱼掌不可兼得。但这一年确是蓄势的一年，遇到了关键的两个职业引路人、贵人，开始接触大数据技术生态，开始走上数仓的正路子。
其一，是BAO胖子老师。因为在外包没有人探讨技术，更没有人指引你该如何走、如何学习、如何规划职业。有幸偶然的机会购买了BAO老师的《数据仓库建模指南系列》教程，应该有很多同学当年也购买过吧，主要就是讲数仓建模，竟然建模就讲了71节，当时还花了我599元RMB。（声明：非广告！课程在哪个平台也不要问我，我也是花了钱的，此处只是为了感谢老师的指引）但就是这样一个偶然的机会，我认认真真的学完了整整的71节，重新刷新了我之前在外包对数仓的认知和理解。真的有过来人带路真的太爽了！记得有一个章节是面谈会，老师一句话一下子触动了我：在外包做技术支持，待下去，一定废。过渡可以，悬崖勒马，越早越好！（原话忘记了，基本这个意思，比这个要狠一点）说者无意，听者有心。就因为这一句话，第二天，我离职了！一点都没有留恋天价的9.8k，和走的时候领导画的饼。现在看这是多么正确的一个选择呢。
其二，是后来培养我、带我飞的D总。凭借着71节建模网课，和投缘的运气吧，D总offer了我，此时我开始正式踏入了互联网公司，也开始工作中正式接触Hadoop大数据生态。D总脾气不好，我又是完全的小白，这份工作就很有挑战，几乎每天都要挨骂被怼，却又一直在培养我（后来才知道）。一边工作，一边被怼，有多少次都想过拍案而起、甩手走人。可我不能，我要学技术，只能忍。这其中，又报了很多网课投资自己，也是为了少被怼（狗头保命）。半年后，D总大小工作都喜欢带上我，也使得我技术进步很快。直到后来，把我提携到数仓leader的职位。很遗憾的是，由于种种原因，主要我的个人原因还是辜负了领导，单飞了！（此处两个巴掌送给自己-.-）因为我不想被庇护，我想更大的舞台，我要进大厂。这是多少程序员内心最纯粹的声音呢。
Year: 2020年
1.搭建Hadoop大数据集群
2.构建企业级数据仓库（离线数仓）
3.日志实时流量分析系统（实时数仓）
4.用户画像系统
5.Python爬虫
6.电商/信息流推荐系统
7.NLP自然语言处理 ✘
8.人脸识别 ✘
---------------------------------------------------------------------
关键词：蛰伏 用户画像 实时数仓 系统化
单飞后变得稳重，对技术更是充满敬畏之心。负责公司Hadoop集群搭建，离线数据仓库和数据内容建设，DPM用户画像构建，实时数仓调研落地，feed流推荐系统工程支持，忙碌而又丝毫不敢懈怠的时间。当你沉迷技术时，只有1024才是最美好的召唤。
重新梳理了从传统数仓到大数据数仓的各个方面，BAO胖子老师课上经常提及的结构化思维终于在这个时候发挥出极大的价值，发挥的淋漓尽致。通过结构化思维去梳理技术栈，才能把技能点真正系统化。
一言蔽之，对于高级/资深数据仓库工程师技术能力要求：
思想与方法论，套路，模型设计
Hive优化，Spark优化
Flink SQL，Java Flink
业务能力，业务理解能力
软能力：沟通协同能力 演讲能力 PPT能力 向上管理能力
Year: 2021年
1.软能力：表达能力、沟通协调能力、演讲能力、PPT能力、向上管理能力
2.性情：平和 前辈 与人为善
3.融入更优秀的圈子
4.数据思维、矩阵思维
5.数据产品能力
6.数据赋能：BI报表、App分析、API服务、ABTest
7.行业业务能力
8.多陪伴家人
---------------------------------------------------------------------
关键词：围城 软能力 圈子 家人
大厂是个围城，996并不是福报，只有健康和家人才是永恒。职场人生需要经营，每一次跳槽都是财力、运气、人脉、资源的碰撞，可能带来人生截然不同的体验，可能是平步青云，也可能是断崖式下降。跳槽也许不是最好的升职方式，但绝对是最快的加薪方式。
作为技术同学，适当的跳槽也是有必要的（能实现财务自由的公司除外0.0）。两年一跳在目前互联网大环境下属于正常节奏。很多时候，跳槽也是不得已而为之。一直待在一个环境，难免技术被禁锢，温水煮青蛙，是最大的悲剧(╥ω╥`)。到最后，可能毕业n年薪资也一直难以突破（可能工作十年薪资还是15k封顶）。如果有好的机会，为什么不突破一下自己呢？不逼自己一把，你可能真的不知道自己有多么优秀呢。
或许，工作前5年可以靠技术，5年后要靠软能力，要靠关系、人脉、圈子。如果一直打单独斗，35岁危机可能就属于你。但融入圈子，首先要做的是先强大自己！
写在最后
今天的分享到这里就要说再见了，希望能对你有所帮忙。你可以试着每年定一下flag，不一定要实现，但一定要复盘。相信你也一定会有很多感悟和收获。如果你对职业规划感到迷茫，有一种最简单的方式，面向招聘JD去学习、去匹配自己的技术栈与能力、去定制职位发展路线，机会一定会垂青你的。
One More，再次感谢仙子，由心感谢，也欢迎大家关注这个公众号，一起进步，一起走的更远！