【爬虫实战】利用scrapy框架爬取豆瓣图书信息

本文作者：陈   鼎 中南财经政法大学统计与数学学院

文字编辑：任   哲

技术总编：张馨月

爬虫俱乐部云端课程

  爬虫俱乐部于2020年暑期在线上举办的Stata与Python编程技术训练营和Stata数据分析法律与制度专题训练营在不久前已经圆满结束啦~应广大学员需求，我们的课程现已在腾讯课堂全面上线，且继续提供答疑服务。现在关注公众号并在朋友圈转发推文《来腾讯课堂学Stata和Python啦！》或《8月Stata数据分析法律与制度专场来啦!》，即可获得600元课程优惠券，集赞50个再领200元课程优惠券！（截图发至本公众号后台领取）原价2400元的课程，现在只要1600元！   

一、前言

scrapy是基于twisted的异步处理框架，与传统的requests爬虫程序执行流程不同，scrapy使用多线程，将发送请求，提取数据，保存数据等操作分别交给Scheduler（调度器），Downloader（下载器），Spider（爬虫），Pipeline（管道）等爬虫“组件”来完成。多线程的运行框架使得爬虫的效率大大提升，让爬虫程序变得更快，更强。基于以上特点，本文将以爬取豆瓣图书信息为例，简要阐述基于scrapy框架下的爬虫实现流程。

二、爬虫流程以及代码实现

（一）分析需要爬取的网页结构

在编写一个爬虫项目之前，我们需要对所需爬取的网页有一个清晰的认识。爬虫的本质是在响应中的字符串提取所需信息，即只有我们提取到的响应中存在我们所需要的数据时，我们才能进行爬虫。我们访问豆瓣读书，发现豆瓣图书标签中存在许多大分类（文学，文化...），大分类中存在许多小分类（小说，外国文学...）。点开每个小分类标签，会呈现出不同类型的书的列表清单，且不止一页。我们要做的就是提取豆瓣所有类型书籍下的所有书籍的简要信息，包括图书作者，书名，图书价格，豆瓣评分，书籍评论人数等。网页的页面如下图所示：

图1.豆瓣的图书标签页

图2.豆瓣每个小标签下的url页面

（二）创建scrapy项目

创建scrapy项目十分简单，首先打开命令提示符，通过cd命令路径，将工作路径定位到我们需要创建项目的路径下，然后创建一个scrapy项目，用到的程序如下：

scrapy startproject douban_books #创建一个名字为douban_books的爬虫项目
cd douban_books #定位到项目文件夹内
scrapy genspider book book.douban.com #创建爬虫所需的脚本文件book.py；book.douban.com设置允许爬取的网页范围(allow_domains)																		

图3.scrapy项目内容显示

（三）设置USER_AGENT，LOG_LEVEL

接下来我们切换到settings.py文件中，对爬虫项目进行变量配置与赋值。首先，利用url地址请求头中的USER_AGENT对发送请求进行伪装，可更加顺利地发送请求并获取到服务器的响应。用LOG_LEVEL设置日志级别，让打印出来的结果更加干净，整洁。

USER_AGENT = 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36' #设置useragent
LOG_LEVEL = 'WARNING' #设置日志级别，即输出结果只会显示warning以及warning以上的日志

（四）编写爬虫程序

打开spiders文件夹下的book.py文件，我们将在此文件中编写实现提取数据的核心代码。

在此程序中，start_url为我们首先要发送的url地址，该url地址不受allowed_domains约束；parse函数用来执行提取start_url页面数据的主要逻辑，需要注意，该函数名不可以随意更改。如下：

import scrapy
import re
from copy import deepcopy

class BookSpider(scrapy.Spider):
    name = 'book'#爬虫名
    allowed_domains = ['book.douban.com'] #允许爬取的url地址范围
    start_urls = ['https://book.douban.com/tag/?view=type'] #首先发送请求的url地址

    def parse(self, response): #实现提取数据等主要逻辑
        pass

程序的基本框架搭建好后，就可以开始编写获取网页信息的程序。

1. 提取豆瓣图书的大标签，小标签

在开发者工具的elements界面，可以通过对网页的观察定位到所需信息的xpath并进行相应提取。此外，大家也可使用爬虫利器xpath helper进行定位，相关内容可以参考推文《XPath Helper助XPath爬虫一臂之力》。

通过网页标签分析可以看出，大标题（小说，外国文学...）对应了六块大标签，每块大标签下存放了以行捆绑的中标签，中标签下才是我们所需要提取的小标签（文学，文化...）。因此想要提取到所有数据，我们需要对响应进行三次遍历操作。

图4.该6个div标签下存放有标签数据

图5.每个小便签按照每一行进行分组

图6.每个td小标签下有我们所需要的标签数据和详情页地址

def parse(self, response):
	item = {}
	div_list = response.xpath(".//div[@class='article']/div[2]/div")  # 进行分组
	for div in div_list:
		item["big_title"] = div.xpath("./a/@name").extract_first()  # 提取大标签
		tr_list = div.xpath(".//table[@class='tagCol']")  # 进行分组
		for tr in tr_list:
			td_list = tr.xpath(".//td")
			for td in td_list:
				item["small_title"] = td.xpath("./a/text()").extract_first()
				item["cate_list_url"] = td.xpath("./a/@href").extract_first()

图7.我们所获取到的大标签、小标签以及对应的url地址

2.发送每个小标签地址的请求，获取每个小标签url地址的响应

从图7可以看出，我们抓取的url地址不完整，因此需要对其进行补充，再分别发送请求。

if item["cate_list_url"] is not None:
	item["cate_list_url"] = 'https://book.douban.com' + item["cate_list_url"]
	yield scrapy.Request(
		item["cate_list_url"],
		callback=self.parse_list,
		meta={"item": deepcopy(item)}
		)

3. 提取书籍的数据

在2节中我们获取了每个小标签url地址的响应，接下来只需要新定义一个函数parse_list来处理响应，就可以抓取到所需数据。而这些数据中往往带有换行符、制表符以及空格等我们所不需要的字符，因此可以使用正则表达式进行处理，使最终提取的数据更为美观。

def parse_list(self, response):
	item = response.meta["item"]
	li_list = response.xpath(".//ul[@class='subject-list']/li")  # 分组
	for li in li_list:
		item["book_name"] = li.xpath(".//div[@class='info']/h2/a/@title").extract_first()
		item["book_name"] = re.sub(r"[(\n)(\t)( )]", "", item["book_name"]) #删除书名中的空格与换行符等
		item["book_score"] = li.xpath(".//div[@class='star clearfix']/span[@class='rating_nums']/text()").extract_first()
		book_detail_str = li.xpath(".//div[@class='info']//div[@class='pub']/text()").extract_first()
		book_detail_str = re.sub(r"[(\n)( )]", "", book_detail_str) #提取书籍简要信息，并对简要信息进行切片处理，提取切片中的内容
		book_detail_list = list(book_detail_str.split("/"))
		item["book_price"] = book_detail_list[-1] if len(book_detail_list) > 0 else None
		item["book_author"] = book_detail_list[0] if len(book_detail_list) > 0 else None
		item["book_comment_nums"] = li.xpath(".//div[@class='star clearfix']/span[@class='pl']/text()").extract_first()
		item["book_comment_nums"] = re.sub(r"[(\n)( )]", "", item["book_comment_nums"])
		print(item)

图8.数据简要预览

4.实现翻页请求

通过对网页结构进行分析，小编发现每一个小便签下的图书信息不止一页，因此需要设置翻页请求，定位到“下一页”按钮标签后，同样发现抓取的url地址不全，需要将地址补全。小编将发出翻页请求所对应的响应（即callback）也放入parse_list函数。

图9.每一页数据爬取完毕需对下一页进行请求

next_page = response.xpath(".//span[@class='next']/a/@href").extract_first()#提取url地址
if next_page is not None:#判断，如果还有下一页，就继续发送请求
	next_page  = 'https://book.douban.com' + next_page
	yield scrapy.Request(
		next_page,
		callback=self.parse_list,#把发出的请求交给parse_list函数进行处理
		meta = {"item":deepcopy(item)}
		)
	yield item

5. 开启管道，保存数据

管道用于将爬取的数据保存到本地文件或数据库中。管道需要事先在settings.py文件中开启，将# Configure item pipelines下的注释行解除，便可在pipeline.py中实现保存功能，本文以创建一个.txt文档对数据进行保存为例。

import json
class DoubanBooksPipeline:
    def process_item(self, item, spider):
        with open("douban_book_list.txt","a",encoding="utf-8") as f:
            f.write(json.dumps(item,ensure_ascii=False))

6. 运行项目，爬取数据

完成上述设置后，就可运行项目抓取数据啦。运行项目仅需打开命令提示符，输入如下程序即可执行：

scrapy crawl book

三、注意事项

1.deepcopy是用于不同函数在多线程传输之中进行备份操作的行为。由于数据公用一个item字典，在多线程操作中可能出现重复值的现象，利用deepcopy可以有效地解决item中出现重复值的问题。

2.豆瓣具备一定反爬虫，scrapy可能用同一个headers运行数秒就会被服务器监测为爬虫行为，需要利用一些反反爬虫的操作。例如：在settings.py中设置一个USER_AGENT和IP池，并在发送请求时随机选择一个USER_AGENT和IP，便可以进行有效地伪装，达到更完善的爬虫效果。

(ps:完整的程序可以在后台回复“豆瓣图书”来获取~)

对我们的推文累计打赏超过1000元，我们即可给您开具发票，发票类别为“咨询费”。用心做事，不负您的支持！

往期推文推荐

关于我们

微信公众号“Stata and Python数据分析”分享实用的stata、python等软件的数据处理知识，欢迎转载、打赏。我们是由李春涛教授领导下的研究生及本科生组成的大数据处理和分析团队。

此外，欢迎大家踊跃投稿，介绍一些关于stata和python的数据处理和分析技巧。

投稿邮箱：[e-mail]

投稿要求：
1）必须原创，禁止抄袭；
2）必须准确，详细，有例子，有截图；
注意事项：
1）所有投稿都会经过本公众号运营团队成员的审核，审核通过才可录用，一经录用，会在该推文里为作者署名，并有赏金分成。
2）邮件请注明投稿，邮件名称为“投稿+推文名称”。
3）应广大读者要求，现开通有偿问答服务，如果大家遇到有关数据处理、分析等问题，可以在公众号中提出，只需支付少量赏金，我们会在后期的推文里给予解答。