查看原文
其他

爬虫系列的总结

猴哥 极客猴 2018-10-28

时光荏苒,四个月时间如流沙般从手心中流逝。这四个月自己算是收获颇多。因为在张哥的影响下,自己渐渐喜欢上写作。自己将所学的爬虫知识、学习心得以及如何学习分享出来。本文是爬虫系列文章的总结,主要是梳理下爬虫系列的文章。


如果你因爬虫而对 Python 感兴趣,想学习 Python 爬虫相关技术。你可以先阅读《学爬虫之道》,了解该如何系统地学习爬虫。同时,本爬虫系列是以理论和实战相结合的形式来分享爬虫技术。


我在《学爬虫之道》一文说道,学爬虫一共可分为四个阶段。

第一阶段是夯实,也就是打基础阶段。所以我们需要从最基础的库学起,分别是 Python 网络标准库《urilib》、《正则表达式》库、内容提取库《Beautiful Soup》,最后的《爬取当当网所有 Python 书籍》吹响了我们进击 “爬虫进阶”的号角。


第二阶段是进阶。进阶阶段主要是不断强化我们的羽翼。我们需要修炼以下《Python 多进程与多线程》、《Requests 库》、《“干将莫邪” —— Xpath 与 lxml 库》技能。最后的实战篇《爬取电影天堂的最新电影》是用来检验我们所掌握知识是否牢固。


第三阶段是突破。到了这一层次,我们追求的是厚积薄发。因为,需要学习能够爬取系列站点的 Scrapy 框架。Scrapy 知识点较多,我将其拆分成为五个部分进行讲解。分别是学会运用爬虫框架 Scrapy (一)》、《学会运用爬虫框架 Scrapy (二)》、《学会运用爬虫框架 Scrapy (三)》、《学会运用爬虫框架 Scrapy (四) —— 高效下载图片》、《学会运用爬虫框架 Scrapy (五) —— 部署爬虫》。除此之外,还需领悟《爬虫与反爬虫的博弈》。


第四阶段是为我所用。简而言之,就是数据分析。我们借用 NumPy、Pandas、 Matplotlib 三个工具将杂乱无章的数据进行整理并得出相对应的结论。

作者:猴哥,公众号:极客猴。爱好读书,喜欢钻研技术,梦想成为文艺青年的 boy。

极客猴

分享干货的公众号


长按指纹 > 识别图中二维码 > 添加关注



    您可能也对以下帖子感兴趣

    文章有问题?点此查看未经处理的缓存