终于有人把Scrapy爬虫框架讲明白了

导读：Scrapy由Python语言编写，是一个快速、高层次的屏幕抓取和Web抓取框架，用于抓取Web站点并从页面中提取出结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试等。

作者：赵国生 王健

来源：大数据DT（ID：hzdashuju）

Scrapy是用纯Python语言实现的一个为爬取网站数据、提取结构性数据而编写的应用框架，Scrapy使用了Twisted异步网络框架来处理网络通信，可以加快我们的下载速度，不用自己去实现异步框架，并且包含了各种中间件接口，可以灵活地实现各种需求。

Scrapy可以应用在包括数据挖掘、信息处理或存储历史数据等一系列的程序中，其最初是为页面抓取（更确切地说是网络抓取）而设计的，也可以应用于获取API所返回的数据（例如Amazon Associates Web Services）或者通用的网络爬虫。

01 Scrapy框架介绍

关于Scrapy框架的最简单的安装方法是：

通过anaconda→environments→最右边界面的第一个选项all，在搜索框里搜索scrapy→选择安装。

或者在terminal或者cmd中使用pip安装就好。

# python 3+
pip3 install scrapy

Scrapy内部实现了包括并发请求、免登录、URL去重等很多复杂操作，用户不需要明白Scrapy内部具体的爬取策略，只需要根据自己的需求去编写小部分的代码，就能抓取到所需要的数据。Scrapy框架如图8-1所示。

▲图8-1 Scrapy框架

图8-1中带箭头的线条表示数据流向，首先从初始URL开始，调度器（Scheduler）会将其交给下载器（Downloader），下载器向网络服务器（Internet）发送服务请求以进行下载，得到响应后将下载的数据交给爬虫（Spider），爬虫会对网页进行分析，分析出来的结果有两种：一种是需要进一步抓取的链接，这些链接会被传回调度器；另一种是需要保存的数据，它们则被送到项目管道（Item Pipeline），Item会定义数据格式，最后由Pipeline对数据进行清洗、去重等处理，继而存储到文件或数据库。

02 Scrapy框架详解

Scrapy由Python语言编写，是一个快速、高层次的屏幕抓取和Web抓取框架，用于抓取Web站点并从页面中提取出结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试等。

1. 框架内组件及作用

Scrapy框架内包含的组件如下：

• 爬虫中间件（Spider Middleware）：位于Scrapy引擎和爬虫之间的框架，主要用于处理爬虫的响应输入和请求输出。
• 调度器中间件（Scheduler Middleware）：位于Scrapy引擎和调度器之间的框架，主要用于处理从Scrapy引擎发送到调度器的请求和响应。
• 调度器：用来接收引擎发过来的请求，压入队列中，并在引擎再次请求的时候返回。它就像是一个URL的优先队列，由它来决定下一个要抓取的网址是什么，同时在这里会去除重复的网址。
• 下载器中间件（Downloader Middleware）：位于Scrapy引擎和下载器之间的框架，主要用于处理Scrapy引擎与下载器之间的请求及响应。代理IP和用户代理可以在这里设置。
• 下载器：用于下载网页内容，并将网页内容返回给爬虫。
• Scrapy引擎（ScrapyEngine）：用来控制整个系统的数据处理流程，并进行事务处理的触发。
• 爬虫：爬虫主要是干活的，用于从特定网页中提取自己需要的信息，即所谓的项目（又称实体）。也可以从中提取URL，让Scrapy继续爬取下一个页面。
• 项目管道：负责处理爬虫从网页中爬取的项目，主要的功能就是持久化项目、验证项目的有效性、清除不需要的信息。当页面被爬虫解析后，将被送到项目管道，并经过几个特定的次序来处理其数据。

2. Scrapy运行流程

Scrapy运行流程如下：

1. 引擎从调度器中取出一个URL用于接下来的抓取；
2. 引擎把URL封装成一个请求（request）传给下载器；
3. 下载器把资源下载下来，并封装成一个响应（response）；
4. 爬虫解析响应；
5. 解析出的是项目，则交给项目管道进行进一步的处理；
6. 解析出的是链接URL，则把URL交给调度器等待下一步的抓取。

3. 数据流向

Scrapy数据流是由执行流程的核心引擎来控制的，流程如图8-2所示。

▲图8-2 框架组件数据流

1. 引擎打开网站，找到处理该网站的爬虫并向该爬虫请求第一个要爬取的URL。
2. 引擎从爬虫中获取到第一个要爬取的URL，并在调度器中以请求调度。
3. 引擎向调度器请求下一个要爬取的URL。
4. 调度器返回下一个要爬取的URL给引擎，引擎通过下载中间件转给下载器。
5. 一旦页面下载完毕，下载器便会生成一个该页面的响应，并通过下载器中间件将其发送给引擎。
6. 引擎从下载器中接收到响应并通过爬虫中间件发送给爬虫处理。
7. 爬虫处理响应，并返回爬取到的项目及新的请求给引擎。
8. 引擎将爬虫爬取到的项目传给项目管道，将爬虫返回的请求传给调度器。
9. 从第2步重复直到调度器中没有更多的请求，引擎便会关闭该网站。

03 Scrapy框架中的Selector

当我们取得了网页的响应之后，最关键的就是如何从繁杂的网页中把我们需要的数据提取出来，Python中常用以下模块来处理HTTP文本解析问题：

• BeautifulSoup：作为程序员间非常流行的网页分析库，它通常基于HTML代码的结构来构造一个Python对象，对不良标记的处理也非常合理，但它有一个缺点，就是“慢”。
• lxml：一个基于ElementTree的Python化的XML解析库。

我们可以在Scrapy中使用任意熟悉的网页数据提取工具，如上面的两种，但是，Scrapy本身也为我们提供了一套提取数据的机制，我们称之为选择器Selector，它通过特定的XPath或者CSS表达式来选择HTML文件中的某个部分。

XPath是一门用来在XML文件中选择节点的语言，也可以用在HTML上。CSS是一门将HTML文档样式化的语言。选择器由它定义，并与特定的HTML元素的样式相关连。

Selector是基于lxml来构建的，支持XPath选择器、CSS选择器以及正则表达式，功能全面、解析速度快且和准确度高。

本文篇幅有限，具体实操案例请关注大数据DT后续内容推送，或查阅《Python网络爬虫技术与实战》一书第8章。查看更多爬虫干货文章，可关注大数据DT，在公众号后台对话框回复爬虫。

关于作者：赵国生，哈尔滨师范大学教授，工学博士，硕士生导师，黑龙江省网络安全技术领域特殊人才。主要从事可信网络、入侵容忍、认知计算、物联网安全等方向的教学与科研工作。
本文摘编自《Python网络爬虫技术与实战》，经出版方授权发布。
延伸阅读《Python网络爬虫技术与实战》点击上图了解及购买
转载请联系微信：DoctorData
推荐语：本书是一本系统、全面地介绍Python网络爬虫的实战宝典。作者融合自己丰富的工程实践经验，紧密结合演示应用案例，内容覆盖了几乎所有网络爬虫涉及的核心技术。在内容编排上，一步步地剖析算法背后的概念与原理，提供大量简洁的代码实现，助你从零基础开始编程实现深度学习算法。

划重点👇

干货直达👇

更多精彩👇

在公众号对话框输入以下关键词查看更多优质内容！
PPT | 读书 | 书单 | 硬核 | 干货 | 讲明白 | 神操作大数据 | 云计算 | 数据库 | Python | 爬虫 | 可视化AI | 人工智能 | 机器学习 | 深度学习 | NLP5G | 中台 | 用户画像 | 1024 | 数学 | 算法 | 数字孪生
据统计，99%的大咖都关注了这个公众号👇