从小白到入门算法,我的经验分享给你~
作者 | 石晓文
出品 | 小小挖掘机(ID:wAIsjwj)
研究生三年,作为一名非计算机专业的学生,能够从一名纯小白(Python不会,机器学习没听说过)到最后校招拿到几个不错的offer,个人感觉可以给自己打个及格分吧。写本文的目的,一是对自己研究生阶段所学习的知识做一个总结,二是希望对那些刚接触机器学习,准备往这个方向发展的同学们提供一些可借鉴的经验。
1、入门Python,掌握数据分析常用工具
第一次接触Python是在2016年4月,本科阶段的工作差不多完成,就开始联系研究生阶段的导师,希望能够跟他做一些项目。他给我安排的第一个工作便是使用Python爬取空气质量数据,并告诉我可以使用scrapy这个库。我与Python的邂逅,便从这个爬虫开始了。
由于上来就写的是爬虫,所以关于Python的基础我也没有系统的学习,不过还是推荐给大家廖雪峰老师的免费教程:
https://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000
如果想要深入了解一些Python的知识,推荐大家学习《流畅的Python》一书,封面如下。这本书我看了前面的九章,讲的十分不错,加深了自己对于Python里面内存管理、常用函数、类等的认识。
除了Python的基础知识,想要往数据分析、机器学习方向发展的话,还需要掌握一些常用的库,包括Pandas、Numpy、Matplotlib、Sklearn等等。
关于前三个,推荐的书是《利用Python进行数据分析》:
关于Sklearn的使用,包括调用常见的机器学习算法、使用网格搜索寻找最优的参数,可以参考的一本书是《Python机器学习及实践 从零开始通往Kaggle竞赛之路》
如果上面的书你都看完了,我觉得算是入门Python数据分析了。
2、初识机器学习,反复读反复看
第一次听说机器学习这个名词,大概是在2016年8月份,是我现在的舍友向我提到的,当时并没有太在意,直到研究生阶段开始,才慢慢有所接触。当时身边的人的普遍反应是,这家伙大家都在学,特别能挣钱。也许当时自己也是想着能多挣钱,才会开始入门机器学习的吧。不过现在,已经开始慢慢把机器学习当做一种兴趣,一种爱好去看待了。
想必大家都知道,入门机器学习,不得不看的三本书是吴军老师的《数学之美》、李航博士的《统计学习方法》和周志华老师的《机器学习》,也就是所谓的西瓜书。
但是有时候,有些算法比如SVM,说实话两本书讲的都不是最好的,还是得结合网上比较流行的帖子进行学习,整理了几个我看过的一些比较好的帖子,分享给大家:
SVM:http://blog.pluskid.org/?page_id=683
Word2Vec:https://blog.csdn.net/itplus/article/details/37969519
EM算法:https://blog.csdn.net/randy_01/article/details/88407432
其他的算法,大家结合两本书进行学习就可以了。值得一提的是,Xgboost和LightGBM是在面试阶段比较常考的两个机器学习方法,但是在上面的几本书中都没有涉及,我之前整理了一个简单的帖子,希望对大家有所帮助(最后的参考资料里面会有)。
除了书籍资料外,视频资料推荐的主要是吴恩达老师和李宏毅老师的机器学习入门课,地址如下:
吴恩达机器学习:
https://www.bilibili.com/video/av50747658?from=search&seid=9310704140991725193
李宏毅机器学习:
https://www.bilibili.com/video/av35932863?from=search&seid=16150707490146939986
如果你是刚入门机器学习的话,我的建议就是反复看,反复读,直到你能不依靠书本将模型的原理解释清楚为止。
3、面试不断碰壁,Leetcode得刷,得多刷
理想很丰满,现实很残酷,在自己刚学了点机器学习知识的时候,就出去面试闯荡,结果却是不断的碰壁,机器学习理论和经验少是一方面,数据结构题也是一问三不知,能想到的,只有时间或者空间复杂度最差的那种解法。所以我说啊,Leetcode不仅得刷,还得多刷。
不过咱也没必要着急,你得有一个计划,比如每天做三道五道,日积月累才行。尽管我现在在面试的过程中还是有一些问题写不出来,但大部分情况下,还是能够得到一个比较优的解。
关于刷leetcode这事,你可以往两个方向上走。一是按照从easy到medium到hard的方向。二是按照分类走,比如先刷树相关的,再刷数组相关的,依次类推。我自己是用的第一种方式啦,不过从校招面试的经验看,面试官关注的题主要集中在数组、链表、二叉树和动态规划上面,可以先把这几部分的弄明白。
在语言选择上,建议还是不要用Python吧,Python的小trick还是有点多的,就比如字符串表达式的值,我们用eval函数就可以得到,但是在真正面试的时候,这样是绝对不行的,所以建议还是Java或者C++吧。毕竟这两门语言,你总要掌握一门的。
除了在Leetcode上面刷题外,有两本书可以给大家参考,一是《剑指offer》,二是《程序员代码面试指南:IT名企算法与数据结构题目最优解》,封面如下:
4、相遇深度学习,论文积累是关键
关于深度学习,也是研一下才开始慢慢学习的,当时主要接触的是CNN、LSTM这些个算法,对于一些比较深入的如GAN、Seq2Seq、Transformer之类的,还没有接触。真正带我相遇深度学习的,是李宏毅老师的深度学习课:
https://www.bilibili.com/video/av9770302?from=search&seid=6099263941108862254
当然,吴恩达老师的课也十分精彩:https://mooc.study.163.com/university/deeplearning_ai#/c
除此之外,不得不提的一本书是我们所谓的深度学习圣经,不过说实话,我觉得这本书虽然写得好,但还是有一定阅读难度的:
个人感觉,深度学习这东西,重在不断积累和反思吧,多读论文,多写代码。论文的话大家平常可以多关注PaperWeekly这个公众号,代码的话我建议如果论文给出了参考代码,大家可以尝试着去敲一敲,不仅加深自己对于论文思路的认识,还可以提升自己的动手实践能力。
5、推荐与计算广告,广度优先VS深度优先
在整个研究生阶段,我其实并没有形成一个主要的研究方向,大家可能看我平时的公众号推荐系统相关的东西比较多,但我并不是研究这个的,主要还是自己对这个东西比较感兴趣,所以看的多了些。推荐系统的两本入门书籍是《推荐系统实践》和《推荐系统与深度学习》:
深度学习领域还是挺多的,如推荐系统和计算广告、CV、NLP等等,这就引出了广度优先VS深度优先的问题。个人感觉还是深度优先为主吧,确定好自己的一个研究方向,然后在这个领域进行深挖。不过同时,也要兼顾广度,深度学习的东西都是相通的,比如Transformer最开始主要应用于文本领域,GAN主要应用于图像领域,这两种方法现在也都开始在推荐系统中使用。
最近自己要开始研究计算广告方面的知识了,因为自己入职之后可能从事这一方面的工作,那还是给大家推荐两本书吧,一本是大家所熟知的《计算广告》,另一本是黄皮书《互联网广告的市场设计》,想要入门这个方向的同学,建议先看黄皮书,再看《计算广告》一书。
6、Hive和Spark,数据处理的标配
Hive和Spark大家还是要学一下的,使用Hive来存储数据,使用spark sql和Hive sql来处理数据,感觉是互联网里面的主流方式。关于hive,掌握一些常用的函数的使用方法,如concat_ws,row_number,case..when,if,get_json_object等等,对于spark sql,掌握其运行的基本原理,以及一些常见问题的处理方法。
首先,学会如何处理数据倾斜,有时候因为一个数据倾斜问题,一整天都浪费在调试一个spark代码中了,其次,学习如何尽量减少spark任务的空间占用,同时加速spark任务运行速度,spark作业在线上调用时,会占用公共资源,你的任务占用的资源越多,别人占用的资源就越少,同时,如果你的任务运行的快,也可以给别人的任务更多的空间。spark可以通过很多语言来实现,不过我建议还是学习一下scala吧,毕竟可以和java无缝衔接。除了spark和hive,掌握一定的excel知识也是必要的。
那么这里有两本书推荐给大家,《Hive编程指南》和《Spark内核机制解析及性能调优》:
原文链接:
https://mp.weixin.qq.com/s/TreJqyr9Yg3M8v7bL3ONow
(本文仅代表作者观点,转载请联系原作者)
◆
CTA核心技术及应用峰会
◆
5月25-27日,由中国IT社区CSDN与数字经济人才发展中心联合主办的第一届CTA核心技术及应用峰会将在杭州国际博览中心隆重召开,峰会将围绕人工智能领域,邀请技术领航者,与开发者共同探讨机器学习和知识图谱的前沿研究及应用。
更多重磅嘉宾请识别海报二维码查看,目前双日会议早鸟票发售中仅售699元(原票价1099元),点击阅读原文即刻抢购。
添加小助手微信15101014297,备注「CTA」,了解大会详情。
扫描二维码,立即参会。