从 Class 到 Scrapy
摘要：通过实际爬虫案例，分别用普通函数（类）和 Scrapy 进行实现，通过代码对比，助你快速入门 Scrapy。
上一篇文章，我们通过 3 个实际爬虫案例，分别用函数（def）和 类（Class） 两种方法进行了实现，相信能够帮助你加深对类（Class）概念和用法的理解。在该文的第 3 个例子中，我们从类的写法延伸到了 Pyspider 中类代码的写法，本文进一步补充，通过实际爬虫案例分别用普通类的写法和 Scrapy 中类代码的写法进行实现。
Scrapy 爬虫框架非常强大，但是初学起来会觉得有点复杂，因为完整的一段代码需要拆分放在不同的模块下，比如写一个爬虫，原先我们只需要用函数或者类从头写到尾即可，一目了然，但是在 Scrapy 中则不同，我们首先要在 items.py 中定义爬取的字段内容，在主程序模块中编写爬虫主程序，在 pipeline.py模块中实现数据处理、存储，在 middlewares.py 模块中定义代理 IP、UA 等。
总之代码的写法会发生一些变化，我在没适应用 Scrapy 之前，习惯在 Sublime 中完整地用函数实现一遍，然后再迁移到 Scrapy 框架中，虽然慢，但是写多几次后就适应了Scrapy 的写法，这比一上来就直接在 Scrapy 中写过渡地要顺利一些。
好，下面我们就以之前一篇爬取酷安 App 的文章为例进行说明，这篇文章用了 Scrapy 来实现，下面再用普通的函数写法实现一遍，并对关键的地方进行一下对比。
Scrapy 爬取并分析酷安 6000 款 App，找到良心佳软
▌爬取思路分析
在上面这篇文章里，我面已经对 目标网站 进行了分析，这里简单再说明一下，明晰后续的抓取思路。
首先，网页请求是 GET 形式，URL 只有一个页数递增参数，构造翻页非常简单。每页显示了 10 条 App 信息，通过点击尾页，发现一共有 610 页，也就是说一共有 6100 款左右的 App 。
接下来，我们需要进入每一个 App 的主页，抓取 App 相关字段信息，确定了 8 个关键字段，分别是：App 名称、下载量、评分、评分人数、评论数、关注人数、体积、App 分类标签。
然后，打开网页后台，利用正则表达式、CSS分别提取每个字段的信息即可。
如果你还不熟悉正则、CSS、Xpath 这几种网页内容提取方法，可以参考我早先通过案例总结的这篇文章：
通过上述分析，就可以确定爬取思路了：首先可以通过两种方式构造分页循环，一种是利用 for 循环直接构造 610 页 URL 链接，另外一种是获取下一页的节点，不断递增直到最后一页。第一种方式简单但只适合总页数确定的形式，第二种方式稍微复杂一点，但不管知不知道总页数都可以循环。
接着，每页抓取 10 款 App URL，进入 App 详情页后，利用 CSS 选择器抓取每个 App 的 8 个字段信息，最后保存到 MongoDB中，结果形式如下：
下面我们就来实操对比一下。
▌获取网页 Response
首先，遍历每页的 URL 请求获得响应 Response，提取每款 App 主页的 URL 请求，以便下一步解析提取字段内容。
def 写法：
两次 for 循环，提取所有的 URL 链接，供下一步解析内容。
1headers = {
2 'user-agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36'
3}
4def get_page(page):
5 url = 'https://www.coolapk.com/apk?p=%s' %page
6 response = requests.get(url,headers=headers).text
7 content = pq(response)('.app_left_list>a').items()
8 urls = []
9 for item in content:
10 url = urljoin('https://www.coolapk.com',item.attr('href'))
11 urls.append(url)
12 return urls
13
14if __name__ == '__main__':
15 for page in range(1, 610):
16 get_page(page)
Scrapy 写法：
1class KuspiderSpider(scrapy.Spider):
2 name = 'kuspider'
3 allowed_domains = ['www.coolapk.com']
4 start_urls = ['https://www.coolapk.com/apk/']
5 headers = {
6 'user-agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36'
7 }
8 def start_requests(self):
9 pages = []
10 for page in range(1,610):
11 url = 'https://www.coolapk.com/apk/?page=%s' % page
12 page = scrapy.Request(
13 url, callback=self.parse, headers=self.headers)
14 pages.append(page)
15 return pages
16
17 def parse(self, response):
18 contents = response.css('.app_left_list>a')
19 for content in contents:
20 url = content.css('::attr("href")').extract_first()
21 url = response.urljoin(url)
22 yield scrapy.Request(url, callback=self.parse_url)
这里有几点不同的地方，简单进行说明：
循环构造方式不同
普通函数用两个 for 循环就可以，Scrapy 中是构造最外层的循环，实现方法是先构造一个空列表，存放 page，URL 构造好之后通过 scrapy.Request () 方法进行请求，获得响应 response ，传递给 callback 参数指定的 parse() 方法，再进一步进行第二个 for 循环。
内容提取形式不同
以 CSS 选择器提取为例，普通函数和 Scrapy 中内容提取的方法稍有不同， 下面以提取提取单个节点文本、提取属性、提取多个节点，这三种最为常见的提取形式为例，将普通函数和 Scrapy 的写法进行对比：
1#提取单个节点文本
2name = item('.list_app_title').text()
3name = item.css('.detail_app_title::text').extract_first()
4#提取属性
5url = item('.app_left_list>a').attr('href')
6url = item.css('::attr("href")').extract_first()
7#提取多个节点
8content = pq(response)('.app_left_list>a').items()
9contents = response.css('.app_left_list>a')
这里顺便再说一下 Scrapy 遍历分页的第二种方式。
如果不通过构造 for 循环的方式遍历，可以先请求第一页获得 response 进行解析，然后再获取下一页 url 重复调用解析方法，直到解析完最后一页为止，这种方法 start_requests 构造就很简单，直接传递 url 到下一个 parse() 方法即可。
1 def start_requests(self):
2 url = 'https://www.coolapk.com/apk/?page=1'
3 yield scrapy.Request(
4 url, callback=self.parse, headers=self.headers)
5 pages.append(page)
6 return pages
7 def parse(self, response):
8 contents = response.css('.app_left_list>a')
9 for content in contents:
10 url = content.css('::attr("href")').extract_first()
11 url = response.urljoin(url)
12 yield scrapy.Request(url, callback=self.parse_url)
13
14 next_page = response.css('.pagination li:nth-child(8) a::attr("href")').extract_first()
15 url = response.urljoin(next_page)
16 yield scrapy.Request(url,callback=self.parse )
▌解析网页提取字段
接下来，我们就要提取App 名称、下载量、评分这些字段信息了。
def 写法：
1def parse_content(urls):
2 lst = []
3 for url in urls:
4 response = requests.get(url,headers=headers).text
5 doc = pq(response) # pyquery解析
6 name = doc('.detail_app_title').remove('span').text()
7 # 若不想要子节点文本则先去除掉
8 results = get_comment(doc)
9 tags = get_tags(doc)
10 score = doc('.rank_num').text()
11 # 评论数
12 num_score = doc('.apk_rank_p1').text()
13 num_score = re.search('共(.*?)个评分',num_score).group(1)
14 data ={
15 'name':name,
16 'volume':results[0],
17 'download':results[1],
18 'follow':results[2],
19 'comment':results[3],
20 'tags':str(tags),
21 'score':score,
22 'num_score':num_score
23 }
24 lst.append(data)
25 data = pd.DataFrame(lst)
26 return data
这里，值得注意一点：
pyquery 提取文本的时候，默认会提取节点内所有的文本内容，如果你只想要其中某个节点的，那么最好先删除掉不需要的节点，再提取文本。
比如这里，我们在提取 app 名称的时候，如果直接用：
1name = doc('.detail_app_title')text()
提取出来的则是「酷安 8.8.3」，如果只想要「酷安」，不想要下面的版本信息：8.8.3，需要删除子节点 span 后再提取：
1name = doc('.detail_app_title').remove('span').text()
Scrapy 写法：
获取字段信息，我们需要现在 settings.py 中设置，然后才能提取。
1class KuanItem(scrapy.Item):
2# define the fields for your item here like:
3name = scrapy.Field()
4volume = scrapy.Field()
5download = scrapy.Field()
6follow = scrapy.Field()
7comment = scrapy.Field()
8tags = scrapy.Field()
9score = scrapy.Field()
10num_score = scrapy.Field()
回到主程序中，通过 item = Kuan2Item() 来调用上面定义的字段信息。
1def parse(self, response):
2 contents = response.css('.app_left_list>a')
3 for content in contents:
4 url = content.css('::attr("href")').extract_first()
5 url = response.urljoin(url)
6 yield scrapy.Request(url, callback=self.parse_url)
7
8def parse_url(self, response):
9 item = Kuan2Item()
10 item['name'] = response.css('.detail_app_title::text').extract_first()
11 results = self.get_comment(response)
12 item['volume'] = results[0]
13 item['download'] = results[1]
14 item['follow'] = results[2]
15 item['comment'] = results[3]
16 item['tags'] = self.get_tags(response)
17 item['score'] = response.css('.rank_num::text').extract_first()
18 num_score = response.css('.apk_rank_p1::text').extract_first()
19 item['num_score'] = re.search('共(.*?)个评分', num_score).group(1)
20 yield item
▌存储到 MongoDB
提取完信息以后，我们便可以选择将数据存储到 MongoDB 中。
通过上面的方法，我们提取出了字段内容 data，然后转换为了 DataFrame，DataFrame 存储到 MongoDB 非常简单，几行代码就能搞定。
def 写法：
1client = pymongo.MongoClient('localhost',27017)
2db = client.KuAn
3mongo_collection = db.kuan
4def save_file(data):
5 content = json.loads(data.T.to_json()).values()
6 if mongo_collection.insert_many(content):
7 print('存储到 mongondb 成功')
这里用了 inset_many () 方法来插入数据，但其实不太建议，因为一旦出现爬虫中断，我们再接着爬的时候，它会插入重复数据，虽然我们可以再后续处理时去除重复数据，但有更好的方法，那就是用 update_one() 方法，该方法能够保证直插入新数据，重复数据不插入，下面我们在 Scrapy 中使用：
Scrapy 写法：
1class MongoPipeline(object):
2 def __init__(self,mongo_url,mongo_db):
3 self.mongo_url = mongo_url
4 self.mongo_db = mongo_db
5
6 @classmethod
7 def from_crawler(cls,crawler):
8 return cls(
9 mongo_url = crawler.settings.get('MONGO_URL'),
10 mongo_db = crawler.settings.get('MONGO_DB')
11 )
12
13 def open_spider(self,spider):
14 self.client = pymongo.MongoClient(self.mongo_url)
15 self.db = self.client[self.mongo_db]
16
17 def process_item(self,item,spider):
18 name = item.__class__.__name__
19 # update_one 方法可以不插入重复内容
20 self.db[name].update_one(item, {'$set': item}, upsert=True)
21 return item
22
23 def close_spider(self,spider):
24 self.client.close()
简单说明几点：
from crawler() 是一个类方法，用 ＠class method 标识，这个方法的作用主要是用来获取我们在 settings.py 中设置的这几项参数：
1MONGO_URL = 'localhost'
2MONGO_DB = 'KuAn'
3ITEM_PIPELINES = {
4 'kuan.pipelines.MongoPipeline': 300,
5}
open_spider() 方法主要进行一些初始化操作 ，在 Spider 开启时，这个方法就会被调用 。
process_item() 方法是最重要的方法，实现插入数据到 MongoDB 中。
Scrapy 字段提取后，通过 yield 返回的是生成器，内容是单个字典信息，此时，我们可以下面这句代码，实现只插入新数据，忽略重复数据。
1self.db[name].update_one(item, {'$set': item}, upsert=True)
以上，我们从获取网页 Response、解析内容、MongoDB 存储三个方面，对比了普通函数和 Scrapy 代码的写法，这三部分内容是多数爬虫的主要部分。当然，还有其他的内容比如：下载图片、反爬措施等，我们留在后续的 Scrapy 文章中继续介绍。
如需完整代码，可以加入我的知识星球「第2脑袋」获取，里面有很多干货，期待你的到来。
本文完。
推荐阅读：
Scrapy 爬取并分析酷安 6000 款 App，找到良心佳软