Python 爬虫必杀技：XPath

本文作者：王玉婷  中南财经政法大学金融学院

文字编辑：王子一

技术总编：张馨月

爬虫俱乐部云端课程

  爬虫俱乐部于2020年暑期在线上举办的Stata与Python编程技术训练营和Stata数据分析法律与制度专题训练营在不久前已经圆满结束啦~应广大学员需求，我们的课程现已在腾讯课堂全面上线，且继续提供答疑服务。现在关注公众号并在朋友圈转发推文《来腾讯课堂学Stata和Python啦！》或《8月Stata数据分析法律与制度专场来啦!》，即可获得600元课程优惠券，集赞50个再领200元课程优惠券！（截图发至本公众号后台领取）原价2400元的课程，现在只要1600元！   

小伙伴、大伙伴们，大家好~今天要给大家介绍的是Python 爬虫必杀技：XPath。

1. 简介

一提到网络爬虫，就不得不提到Xpath Helper，我们常常用它来对所要提取的文本内容进行定位，详情可参考推文《Xpath Helper助Xpath爬虫一臂之力》。除了这一利器外，了解Xpath定位的原理及其基本用法可以大幅提高我们的爬虫技巧。

XPath即XML路径语言（XML Path Language），它是一种用来确定XML文档中某部分位置的语言。现在问题来了，爬虫是从HTML网页上抓取信息，你给我介绍XML干嘛？实际上，XML是一种与HTML很相似的可扩展标记语言，均为具备结构和层次的文档，我们所关注的文本内容都由各种标签“包围”着。不同的是，XML文档的结构更简洁，比HTML对初次学习爬虫的新手更友好。因此，我们学习Python爬虫，可以从使用XPath对XML进行定位开始~

2. 安装

在Windows环境下，同时按下Home+R，输入cmd：

确认后进入命令提示符界面，键入如下命令后回车：

pip install lxml

若出现下图所示界面，则表示安装成功：

3. XPath的节点

XPath的主要节点有4种，分别是：文档节点，元素节点，属性节点和文本节点。比如下面这个XML文档：

<bookstore>
<book category="Fantasy Novels">
<title>Harry Potter</title>
<author>J K. Rowling</author>
<year>2005</year>
<price>29.99</price>
</book>
</bookstore>

其中bookstore为文档节点，是book的父节点（parent）。category为属性节点，是book节点的属性。title、author、year和price均为元素节点，互为同胞（sibling），是book的子节点（child）。我们所关注的文本信息，比如Harry Potter、J.K. Rowling等则为文本节点。 

4. XPath的路径

当我们想要描述某个地方时，我们常常用不同层次的节点名称串联起来，比如：中南财经政法大学位于“中国 湖北省 武汉市”。类似地，我们想要定位XML文档中某个文本时，我们会说：“书籍名称Harry Potter位于book节点下的子节点title的文本节点”。  

当我们在程序中定位时，我们需要将这种表述转换为路径表达式，最常用的路径表达式有：

表达式	含义
/	从根节点选取
//	从任意节点选取
.	选取当前节点
..	选取当前节点的父节点
@	选取属性

5. XPath实例

准备工作完成，现在就让咱们实际操作一下吧~ 我们定义一个XML格式的字符串变量：

text = '''
<bookstore>
<book category="Fantasy Novels">
<title>Harry Potter</title>
<author>J K. Rowling</author>
<year>2005</year>
<price>29.99</price>
</book>
</bookstore>
'''

首先，我们导入lxml库，并将该字符串转换为Element对象，即告诉程序该字符串为XML格式或类XML格式。   

from lxml import etree
tree = etree.fromstring(text)

（1）定位元素

转换为Element对象后，即可使用XPath路径表达式对我们关注的文本内容进行定位。从根节点定位bookstore元素下的book元素，并以该元素为当前节点定位title元素，其路径表达式写作：

book = tree.xpath("/bookstore/book")
title = book[0].xpath("./title")

print(type(book))   # 打印xpath返回的数据类型
print(title[0].tag)    # 打印第一个title节点的tag

运行结果如下图所示：

以title为当前节点，从title的父节点定位year元素，路径表达式写作：

year = title[0].xpath("../year")
print(year[0].tag)

从任意节点选取price元素，其路径表达式为：

price = tree.xpath("//price")
print(price[0].tag)

从任意位置定位所有元素，其路径表达式为：

all_elements = tree.xpath("//*")
for element in all_elements:
print(element.tag)

运行结果如下：

（2）定位属性

以book为当前节点，定位其属性Fantasy Novels：

category = book[0].xpath("./@category")
print(category)

运行结果如下：

类似地，我们也可以从任意位置定位book元素的属性：

category = tree.xpath("//book/@category")

若定义的字符串text中含有不止一个属性时，也可以使用通配符来定位所有属性：

category_list = tree.xpath("//@*")

（3）定位文本

从任意位置定位title元素的文本节点：

title_text = tree.xpath("//title/text()")
print(title_text)

运行结果如下图所示：

我们还可以从任意位置定位所有文本节点：

all_text = tree.xpath("//text()")
print(all_text)

运行结果如下图所示：

其中，“\n”是换行符，被当做文本节点返回，如果仅需要与book相关的文本信息，其路径表达式应写作：

book_text = tree.xpath("//book/*/text()")
print(book_text)

运行结果如下图所示：

你以为这就是XPath的全部功能了？

事实上，XPath结合运算符能够对更复杂的XML文本进行精确地定位，我们在之前的推文《寻找B站的最爱--8月B站全站榜爬虫》、《Python带你看文献——xpath抓取知网文献》等都有所介绍。由于篇幅有限，咱们之后再聊~

对我们的推文累计打赏超过1000元，我们即可给您开具发票，发票类别为“咨询费”。用心做事，不负您的支持！

往期推文推荐

关于我们

微信公众号“Stata and Python数据分析”分享实用的stata、python等软件的数据处理知识，欢迎转载、打赏。我们是由李春涛教授领导下的研究生及本科生组成的大数据处理和分析团队。

此外，欢迎大家踊跃投稿，介绍一些关于stata和python的数据处理和分析技巧。

投稿邮箱：[e-mail]

投稿要求：
1）必须原创，禁止抄袭；
2）必须准确，详细，有例子，有截图；
注意事项：
1）所有投稿都会经过本公众号运营团队成员的审核，审核通过才可录用，一经录用，会在该推文里为作者署名，并有赏金分成。
2）邮件请注明投稿，邮件名称为“投稿+推文名称”。
3）应广大读者要求，现开通有偿问答服务，如果大家遇到有关数据处理、分析等问题，可以在公众号中提出，只需支付少量赏金，我们会在后期的推文里给予解答。