Python|任意网页中的所有网址的保存

参考程序：

import requests
from bs4 import BeautifulSoup
import pandas as pd
url = 'https://movie.douban.com/chart' # 设置爬取网址
hd = {"User-agent": "*"} # 设置请求方式
r = requests.get(url,headers=hd)
r.encoding = 'utf-8' # r.apparent_encoding设置网页字符编码方式
soup = BeautifulSoup(r.content, 'html.parser')
print('网页标题：',soup.title.text)# 输出title标签的内容
#排行榜信息
hurl=soup.select('a')#如何获取超链接的网页标记语言？自己补充
hurls=[]
for x in hurl:
#请参考清洗图片的代码完成网页超链接的清洗
htmlurl=x.attrs['href']
hurls.append(htmlurl)#要存储的所有的超链接
print(hurls)
print('网页链接清洗完成')
df=pd.DataFrame({'网址':hurls})
df.to_csv('豆瓣的网址.csv',index=0)
#作业提交：豆瓣的排行榜.py 豆瓣的网址.py
#拓展作业：自己爬一部小说.py 自己爬一个网页的图片.py
#ftp://172.16.20.46 用户名密码：2019

相关文章：

爬虫系列：程序5-3-3 爬取购物平台商品销售数据
Python|词频云图
爬虫|爬取全国中小学电脑制作活动技术讲座视频爬虫|以豆瓣为例简单地介绍清洗数据的方法爬虫|以豆瓣为例简单地介绍爬取网站数据的方法爬虫|python读写csv文件的方法完成生涯规划表推荐|Python 爬虫系列教程一爬取批量百度图片使用BeautifulSoup解析网页及清洗数据爬虫的基本原理关于爬虫的合法性中国爬虫违法违规案例汇总第五章 数据处理和可视化表达的学习