Python|文本数据的爬取与清洗

参考代码：

import requests
from bs4 import BeautifulSoup
url = 'https://movie.douban.com/chart' # 设置爬取网址
hd = {"User-agent": "*"} # 设置请求方式
r = requests.get(url,headers=hd)
r.encoding = 'utf-8' # r.apparent_encoding设置网页字符编码方式
soup = BeautifulSoup(r.content, 'html.parser')
print('网页标题：',soup.title.text)# 输出title标签的内容
#排行榜信息
name=soup.select('td>div>a')#电影名
#请同学们补充上映时间与豆瓣评分
time=soup.select('td>div>p')
score=soup.select('td>div>div>span')
for i in range(len(name)):
print(name[i].text.replace(' ','').replace('\n','')) # 输出电影名
# 输出上映时间
print(time[i].text)
# 输出豆瓣评分
print(score[3*i+1].text,score[3*i+2].text)
with open('douban.txt', 'w', encoding='utf-8')as f: # 保存到记事本文件中
f.write(soup.title.text)
#将爬取的数据存入记事本douban.txt
for i in range(len(name)):
f.write(name[i].text.replace(' ', '').replace('\n', '')+'\n') # 输出电影名
f.write(time[i].text+'\n')# 输出上映时间
f.write(score[3*i+1].text+score[3*i+2].text+'\n'+'\n')# 输出豆瓣评分
#ftp://172.16.20.46 用户密码：2019 拓展：自己去下载一部小说清洗提交

相关文章：

爬虫系列：程序5-3-3 爬取购物平台商品销售数据
Python|词频云图
爬虫|爬取全国中小学电脑制作活动技术讲座视频爬虫|以豆瓣为例简单地介绍清洗数据的方法爬虫|以豆瓣为例简单地介绍爬取网站数据的方法爬虫|python读写csv文件的方法完成生涯规划表推荐|Python 爬虫系列教程一爬取批量百度图片使用BeautifulSoup解析网页及清洗数据爬虫的基本原理关于爬虫的合法性中国爬虫违法违规案例汇总第五章 数据处理和可视化表达的学习