其他
答疑解惑:Python爬虫时中文乱码的解决方案
大家好,我是才哥。
这篇是我们答疑解惑的第2
篇,不过这并不是粉丝的问题,而是才哥在爬虫时候遇到的情况,今天就记录一下。
目录:
1. 中文乱码处理
2. html实体编码解析
1. 中文乱码处理
咱们就不讲背后的逻辑了,直接上才艺!
import requests
url = "http://www.baidu.com"
r = requests.get(url)
我们发现请求到的网页数据打印结果如下:
中文乱码了,处理方案如下:
# 自动选择合适的编码方式
r.encoding = r.apparent_encoding
中文乱码显示正常了!!
有时候,我们还会遇到通过这个操作后无法解决的情况,比如新浪首页的表现:
import requests
url = "http://www.sina.com.cn/"
r = requests.get(url)
r.encoding = r.apparent_encoding
出现这种情况,据说是使用gzip
将网页压缩了,必须先对其解码,使用r.content
会自动解码:
import requests
url = "http://www.sina.com.cn/"
r = requests.get(url)
# 指定编码解码方式
html = r.content.decode('UTF-8')
# r.encoding = 'utf-8'
其实吧,处理的方式有很多,大家注意一点,那就是看请求的html
数据中最前面对的charset
设置的是啥!!
2. html实体编码解析
在有些时候,我们请求到的网页数据中有很多html
实体编码。
比如,我在爬取TAPTAP
游戏评论的时候请求到的某条评论数据如下:
'目前玩的挺好的,就……<br>给四星是因为为什么不是同一个服的就不能进社团😬😬😬😬😬😬😬😬😬😬😬😬😬😬😬😬😬😬😬'
可以看到,有个'…
',这玩意是html
实体表示省略号'...
',因此需要进行处理!
如何处理呢?看招!!
In [1]: s = '目前玩的挺好的,就……<br>给四星是因为为什么不是同一个服的就不能进社团😬😬😬😬😬😬😬😬😬😬😬😬😬😬😬😬😬😬😬'
In [2]: import html
In [3]: html.unescape(s)
Out[3]: '目前玩的挺好的,就……<br>给四星是因为为什么不是同一个服的就不能进社团😬😬😬😬😬😬😬😬😬😬😬😬😬😬😬😬😬😬😬'
对于字符串中的<br>
,其实就是换行符,我们直接replace
替换为\n
即可。
以上就是本次全部内容了,后续可能还会遇到更多乱码情况,我们再补充到续作上吧!
如果你也遇到过类似问题,可以和我们一起交流哦!
推荐阅读
2021-09-17
2021-09-10