大数据职业发展与规划【含干货】
点击上方蓝色字关注置顶我们！
相关推荐：记一次蚂蚁金服面试经历
☞ 关注公众号『数据仓库与Python大数据』，获取更多优质资源与干货文章。
作者： 張較痩
编辑： 紫霞仙子
正文
前言
可能很多童鞋还只是听说过大数据这行，或是想要入行，或是找工作ing……
今天就跟大家来简单聊聊大数据行业，职业发展和所感所悟…
首先，我今年才26，去年入的行，找到工作也是靠在B站上的数据仓库视频和本公众号的优质干货文章，经验和眼界有限，有口若悬河的嫌疑，所以以下内容大家有选择性看即可，本文只代表个人的一时观点。也欢迎加群讨论，戳：数据交流群
废话不说，先上图（干货）↓
想聊这个话题，主要是因为五一在B站偶然间看到韩顺平老师的公开课，讲了大数据的职业发展，上图是我从视频中整理。
我今年在思考一个问题，就是有了现在的工作，下一份工作怎么办，去做什么？
我现在从事的是数据仓库开发，上图的第五大类。目前项目进度没上来，日常的工作就是写写Hive Sql，偶尔测数据流程，写Spark，近期还要调一下该死的Azkaban -_-|| …
说实话，项目里的业务不涉及过于复杂的SQL实现，熟悉业务后写SQL着实有点枯燥。不否认SQL优化挺有意思的，但耐不住天天写。
偶尔会跟行业里的朋友聊天，先说一个我听到关于数仓的消极例子。
01
这是在B站网课里听到的。有一京东的哥们，在那干两年了，数仓岗。数仓搭好了之后，天天就是写SQL，一个月28k。
当时听了挺羡慕的。
羡慕的是薪水啊，不是工作。
在京东待两年，那业务和调优的手法，都是老法师了。据说大厂调到最后的手段，就是加资源，简单粗暴…… 这一眼望穿的工作生活，能让老哥继续留在这的理由或许是对SQL的热爱，亦或是那28k…
02
再说一个不算消极的，我从一个同行那听来的。
同行他师兄，一流985的硕士，数仓从业五年，如今在一个国企银行，做数仓方面的架构师，在二线城市一年50多万吧。情况记的不是特清了，差不多是这个数据。
这是去年跟他聊的，那个时候还没找到工作。觉得他这师兄有点可惜，换个方向，不干数仓，肯定年薪更高。
当时为啥会这么想呢？
一个是市场反应。就是找工作的时候，外包公司一线的开发，数仓方向会比Spark方向薪水少2-5k。部分中小公司出身Spark开发的面试官去面数仓岗的求职者，会有一种降维打击的感觉。我记得很清楚，面望京soho一家公司的时候，面试官直言：不就是写SQL吗！当然，那次面试我比较得瑟，面试官就想挫我一下
还有一个就是那时候还没上手真正的数仓设计，后来在公司做项目才体会到难度。以前会以为不容易，真上手的时候会感觉很难。决定哪个表做事实表，哪个表做维度表，哪些表要做宽表，做哪些快照表……
数仓建模，有点调兵遣将的意思，稍有不慎，做出来的就是一滩浆糊。
03
天下熙熙，皆为利来；天下攘攘，皆为利往。
我是不利而无往…… 所以那个时候会想，先找到工作，然后赶紧换方向！
毕竟我当时选择研究数仓也是因为boss直聘上它的岗位多……
换哪个呢？
不得不说我的虚荣心——人工智能，就是上图第二大类的算法工程师。
行业鄙视链确实存在，人工智能->大数据->开发->前端/测试/运维
不是引战的意思，这个是我在一些从业者的身上和帖子里观察到的，排序的依据多半是这些方向的难度和平均薪水。
很可惜，当时幼稚的我自以为是，想挑战难度……
上图职位介绍中说是一般要求硕士学历，这不假。
我记得我去年面的一家人工智能独角兽公司(自称)的大数据开发岗，面试官问我职业规划。我就提了一嘴大数据->机器学习，面试官笑着跟我说：“你知道我们公司研究院的算法工程师都是国外top10的博士吗？”场面一度尴尬
市场上其实是有招本科学历的机器学习算法工程师，不过跟硕士比太少了。
韩顺平老师是根据市场上学生的反馈做的这个导图，算法工程师这跟我想的不太一样。大数据为人工智能提供数据，在数据上游，人工智能应用数据，在数据下游。而且boss上招的算法工程师一般叫机器学习算法工程师，我以前的经验是这个第二大类岗位脱离大数据行业的，这个暂时无法下定言，有待我继续学习了解市场。
后来在B站看吴恩达视频，在知乎了解行业，加之疫情的到来，使我彻底改观。
04
首先，人工智能这个方向真的高大上吗？
跟大数据比是高大上一点，数理基础更多，用脑子的地方更多。
但是……有毛用呢… 是嫌研究生韭菜不够多是吗…
我大学室友今年研究生毕业，一个一本的研究生，研究生期间做推荐系统的，有京东实习经历。室友跟一些985的研究生没法比，让我没想到的是他今年找工作这么难。
人工智能在国内兴起于16、17年，起因我偶然在知乎看到：
“早些年，在模式识别领域（例如人脸识别、语音识别等），大家都发力在数学算法的时候，算法工程师虽然努力多年，精度却一直上不去，几乎没有实用价值。
然而，突然有一天，在NIST竞赛中，有一个厂家突然爆发，一骑绝尘，直接把竞争对手甩下几个身位，也直接把很多识别技术（例如人脸识别）推到了实用的地步。
这个事情对业界的震惊很大，不久后，大家了解到竞争对方之所以能取得这么大的进步，正是因为引入了以“深度学习”为基础的AI技术后，整个业界的研发重点就迅速切换到了AI的跑道上。
在随后的时间里，大家都如饥似渴的阅读各种paper，就是我这个打配合的软件工程师，也开始接触与AI相关的各种技术，包括神经网络、深度学习等等。
之后，各家厂商的人工智能平台就搭建了起来，各种模式识别技术（例如人脸、语音）放弃了传统的数学算法研究，直接切换到深度学习平台上。
而经过深度学习的训练，在两年后的NIST竞赛中，各家公司的算法精度上虽然没有赶上原来的第一名，但已经开始接近了。”
在技术达到了实用级别后，政府政策对人工智能市场也是利好。这使得近年人工智能在国内火速发展，各大高校人工智能学院相继成立。
05
没想到的是，来也匆匆，去也匆匆。
去年校招的时候，算法岗已然一片红海。一句话，僧多粥少。到今年我室友找工作的时候，他已经开始准备投大数据岗…
我阅读了一些文章，片面看待这个问题的角度是，招的少是因为市场愈加严峻，严峻的市场是因为最近两年各大人工智能公司的技术难以落地（产生实质性价值）。
拿自动驾驶来说，以现在的技术是别想看到玩着王者荣耀开车回家的场景。
人脸识别是达到了商用的地步，其他方向了解不多，有待继续了解学习…
当然，岗位招的少也和近年来经济大环境有关，比如人口红利的减少、贸易战等，这是社会上哪个行业都会面对的问题。不可否认的是，即使经济增速放缓，人工智能依旧是红利行业的风口方向（现在泡沫少了很多）。我看着那几十k的薪水，说不动心是不可能的。
前几个月我对职业发展还没有明确的想法，因为市场上招的岗位太错乱了，难以总结出一条明确的职业发展道路。当时想的只是，要做难的东西，这样可替代性弱，岗位和薪水就会稳定。
基于对薪水的追求和以上的想法，明知市场如此，还是依旧在私下自学机器学习。
06
然而机器学习真正学起来的时候，没有想象中那么高大上。
我看的是吴恩达cs229版视频，其中有很多公式推导。因为比较拖延的原因，才看完梯度下降算法。这个梯度下降是解决回归问题的，而这个回归问题不就是我们大学学的数值分析中的拟合问题吗… 梯度下降只是数值分析中一种很普通的线性拟合方法，怎么一跟计算机沾边就这么机器学习了…感觉有点被诓了…
以前和我室友讨论的时候就有一个问题，为什么机器学习做拟合的时候用梯度下降，不用最小二乘法。现在看来，最小二乘法有限的步骤内就能算完，而梯度下降需要迭代计算，计算机用最小二乘法体现不出来我强大的算力 (当然大数据量的情况下，这种迭代计算肯定要比最小二乘法拟合的效果好)。
给我的感觉就是，有的知识火，完全是因为它的特性贴近时代潮流，它并没有多玄妙。人工智能有些概念炒的太火了，明明就是偏微分、数值分析、概率统计、分形学…的应用。
知乎的文章中也提到了：
“我从不止一个算法科学家嘴里听过，从对脑力的挑战来说，深度学习的精巧度远不如传统的数学算法。
甚至，相对于早前的数学研究，大家都觉得“深度学习好“傻”，好“暴力”，一种常见的套路是：
设置框架，喂数据，调参数，喂数据，调参数…，循环往复。“
真要想挑战难度，不如去搞数学…
以上摘录的知乎文章来自沈世钧：
https://www.zhihu.com/question/352212884/answer/926913217
我室友戏称自己是调包侠、调参怪，还跟我透露了有许多国内的框架只是改了改谷歌、微软框架的参数… 自此我是不觉得人工智能有多高大上了
高不高大上，学完才有资格说，我这么说有失偏颇。但除了难度之外，这个方向薪水也高。
07
直至疫情来了……
因为学习机器学习，在B站和脉脉上关注了很多算法工程师。三月初，疫情中慢慢复工。我惊奇的发现有一些算法工程师被辞退了，甚至有的公司直接把算法部一窝端… 有的网友直呼，这公司是不干了吗？连算法都裁…
我一开始也是像网友这么想，后来随着疫情的持续，我体会到了为什么会这样。
其实互联网并不赢利，真正创造价值的是实体行业。不留情面的说，互联网是在吸制造业的血。
前两天，我跟一个在小米上班的朋友讲：如果小米卖不出手机，拿什么给你们这些做互联网的发工资呢？当然，我这里只是片面强调实体的重要性。没有互联网技术的加持，产品也会缺少竞争性。互联网公司的裁员，疫情中大量公司的倒闭，让我更愿意强调什么是主要矛盾。
从而给我最大的感受就是，选择有难度的、可替代性弱的技术不一定稳定（薪水和岗位），而真正被时代和社会所需要、能创造价值的技术才会留到最后。
有价值才最主要，这再说个例子。
08
找到工作后，空闲时间加了一些云栖社群的技术群。
有一个群友说，他上家公司做大数据精准营销，结果大数据把产品日活搞下来了，老板于是把整个部门裁了…
典型的技术指导业务掉沟里，技术没有创造价值，反而减少价值。要知道，不是NB的技术给你带来了丰厚的薪水，而是能创造价值的技术给你带来了丰厚的薪水。
如果要问“被时代和社会所需要、能创造价值的技术”是什么？或者直接一点：
未来几年大数据中的数仓更好？还是开发更好？还是算法更好？
这我没法答，我的经验有限，看不到很远的市场。而且每个人的学习能力和工作环境也不一样，没法普适的说该往哪个方向发展。不过大数据整体来说，未来几年是个好方向。疫情期间国家说今年要在5G新基建上投34万亿，5G代表的不仅是速度，更是井喷的数据量。
思考哪个方向发展更好，其实有点投机心里。像散户买股票一样，感觉涨就买，感觉跌就卖，不太可取。赚钱之道在于长期持有一支优质股，好的股票总能历尽牛熊沉浮，在未来给你应得的回报。
09
一个人最终往哪个方向发展，大多数是缘分吧，我们不妨在其中加点自我选择。想强调一点的是，如果同行也迷茫未来的方向，可以多学。学的越多，选择越多。（好像在废话
虽然算法市场很难挤进去，而且需求量不是那么大。但我私下仍旧偷偷学，等有朝一日，好风凭借力，助我上青云。
再补充说明一下，这些韩老师公开课里也有提到。有的童鞋可能会说，那直接往架构师方向努力不就可以了吗。
确实，大部分做技术的人的最终归宿就是架构师。知乎的轮子哥说程序员是个内卷的行业，这意味着即使你三四十岁，也要不停的学习新东西。对于一部分人来说，他们是做不到的。
技术群里记录的同行公司所用到的技术栈和知识点
10
还有的同学可能会说：那我做产品，往业务方向发展。
一个项目，一个产品经理就够了，剩下二三十个技术去实现。要知道，产品经理是个比较小的方向。而且一般公司的产品经理就是老板，老板不指导公司业务方向，没道理的。
还有图中的大数据科学家和合伙人。大数据科学家是那种发一篇paper指导一个行业方向级别的人物，一般的同学不要尝试了。合伙人就是创业，风险挺大。
最后，本篇只是基于个人情况和见闻，我这种普通人的经验肯定不适用于大牛和大佬。
如有不周，还望指点。
胡言呓语，一笑便罢。
进群方式：请加微信（微信号：iom1128），回复：数据，通过审核会自动拉你进群。
(备注：行业-职位-城市)
推荐阅读
热文推荐
01. 后台回复「经典」,即可领取大数据数仓经典书籍。
02. 后台回复「中台」,即可领取大厂中台架构高清ppt。
03. 后台回复「加群」,或添加小助微信ID：iom1128 拉您入群（大数据|数仓|分析|Flink|资源）或领取资料。
Q: 关于数据仓库，你还想了解什么？
欢迎大家扫描下方二维码订阅「数据仓库与Python大数据」内容并推荐给更多数据方向的朋友，希望有更多机会和大家交流。
更多精彩，请戳"阅读原文"到"数仓之路"查看
！关注不迷路~ 各种福利、资源定期分享！