关于分布式爬虫思考

作者：LEONYao

半路出家的菜鸟程序员

简书：http://www.jianshu.com/u/94bbc48171c7

这一篇，没有项目，没有教程。只不过是想记录下最近对于分布式爬虫的思考。半年前我去一家公司面试的时候，面试官问我什么是分布式爬虫，我只能回呵呵哒。在后来工作中渐渐地对这东西有了初步认识。爬虫无非两样东西

• 网站的破解

• 爬取的效率
  由于我很懒，爬虫就随便写写怼上服务器上跑就行了，从来不考虑效率的问题，所以用到分布式的情况很少。不过也有用到的时候，之前爬个youtube，除了爬取视频信息又要下载视频又要上传视频，还要下载缩略图上传缩略图。如果只用一个爬虫去做的话，其实也没什么，就是会失业而已。然后我就开始尝试去做分布式。我从网上看到的大部分分布式教程，都是用redis来储存任务队列，然后开启几个slave爬虫来提高爬取速度。不过我当时懒，懒得学redis，就直接用mongodb来存取任务队列。
  
  master爬虫在网站的列表页中爬取任务url去重后写入mongo，然后开启各个slave爬虫从mongo中领取任务，完成任务的就打上标签。这是我的做法，用mongo的读取速度应该比不上用储存在内存的redis。但由于我的slave爬虫不仅要完成爬取任务还要进行下载上传多种操作，mongo比redis更适合。
  不过看到网上把redis传得神乎其神，我自然也得去了解，不经意间就看到了scrapy-redis这个包 https://scrapy-redis.readthedocs.io/en/stable/ 可是它的文档内容很少，可以了解的内容不多，只能通过阅读源码去了解。我一开始心想，为什么要有这个包？因为我可以自己在我的scrapy项目里用redis来写分布式爬虫啊。无非就是一个爬虫爬任务url，其他的爬虫领任务来爬字段。然后把scrapy-redis的示例跑起来我发现了不一样的东西。使用这个包的爬虫如果没有获得任务队列，是可以挂起的，直到从redis中重新获得任务队列才会再跑起来。如果是我自己写的话，那我做不到让爬虫挂起等待任务队列。
  无意中我也看到了个celery的分布式爬虫。celery这个我之前用过，是完成异步任务的。之前在项目中是用在发邮件这个部分。我看到网上的一篇文章的分布式爬虫，只看源码我总觉得差了点什么。

代码来源:http://p0sec.net/index.php/archives/58/ # !/usr/bin/python # -*- coding: utf-8 -*- from spider import getPageUrl from spider import getUrl from spider import getImg import requests import threading x = 0 #run函数 def Run(): pageurls = getPageUrl.delay().get()#这个是celerytask for i in range(1,len(pageurls)): html = requests.get(pageurls[i]).text urllist = getUrl.delay(html).get()#这个也是celerytask for url in urllist: url = 'http://umei.cc'+url print url ImgHtml = requests.get(url).text imglist = getImg.delay(ImgHtml).get()#这个也是celerytask for imgurl in imglist: print imgurl urllib.urlretrieve(imgurl,'/test/%s.jpg' % x) global x x += 1 if __name__ == '__main__': Run()

我在上面标注的三个celery task。一般的操作都是 task.delay()，直接异步完成任务，不返回结果。可是这个爬虫有个返回结果的操作get()。这我就看不懂了，这等待结果返回才开始下一步，不成了堵塞么？
继续拿我的Youtube爬虫来探讨，按我的理解，celery的任务都是异步完成的。也就是说，我的视频爬取，下载上传全部异步完成。我只要写个爬虫爬取任务队列，然后建立写异步task（下载视频，上传视频，下载图片，上传图片），画个图吧

通过task.delay()这个操作让任务自己在后台执行并完成，完美！原来celery分布式爬虫是这样使用！
现在思路清晰了，也知道怎么做了。但素！我不想写代码去验证思路和效率！

福利：文末扫码立刻关注公众号，“Python爱好者社区”，开始学习Python课程：

关注后在公众号内回复“课程”即可获取：

1.崔老师爬虫实战案例免费学习视频。

2.丘老师数据科学入门指导免费学习视频。

3.陈老师数据分析报告制作免费学习视频。

4.玩转大数据分析！Spark2.X+Python 精华实战课程免费学习视频。

5.丘老师Python网络爬虫实战免费学习视频。