爬虫中去重是一件大事，使用了scrapy-redis后就很简单了。上面提到过使用redis的set类型就可以很容易达到这个目标了，即REDIS_START_URLS_AS_SET

最近工作中遇到这么一个问题，全站抓取时采用分布式：爬虫A与爬虫B，爬虫A给爬虫B喂饼，爬虫B由于各种原因运行的比较慢，达不到预期效果，所以必须对爬虫B进行优化。