查看原文
其他

Python自动化利器RPA爬数据so easy

大邓 大邓和他的Python 2022-07-09

RPA for Python 简单而强大的自动化套件!您可以使用它快速实现自动化操作网站、自动化处理桌面应用程序上的重复性耗时任务。

https://github.com/tebelorg/RPA-Python


安装

!pip3 install rpa

快速上手

首次运行下方代码会,提示安装200M左右的配置文件,建议选择状况较好的网络环境。

import rpa as r

r.init()
#操控Chrome打开某个链接
r.url('https://www.google.com')

#定位搜索框,输入decentralization,回车执行搜索
r.type('//*[@name="q"]''decentralization[enter]')

#定位结果页的统计信息。
print(r.read('result-stats'))

#截屏
r.snap('page''results.png')
r.close()
找到约 1,590,000,000 条结果 (用时 0.39 秒)

True


需要注意的是 //*[@name="q"]result-stats 都是网页的定位表达式,建议大家稍微学一下html选择器 selector。咱们爬虫课程中的pyquery部分讲的主要是selector,感兴趣可以付下一下。


再试一下

这里我给大家操作一下,通过开发者工具Element面板选定并复制的方法构造selector。

import rpa as r

r.init()
r.url('https://www.baidu.com')
r.type('#kw''大邓和他的Python[enter]')
print(r.read('//*[@id="tsn_inner"]/div[2]'))
r.snap('page''results.png')
r.close()
搜索工具百度为您找到相关结果约1,920,000个
True

近期文章

视频专栏课 | Python网络爬虫与文本分析

如何在DataFrame中使用If-Else条件语句创建新列

BERTopic 主题建模库 | 建议收藏

案例实战 | 企业信息数据采集

KeyBERT库 | 自动挖掘文本中的关键词

SmartScraper | 简单、自动、快捷的Python网络爬虫

SHAP | 机器学习模型解释库

ashares库 | A股市场历史行情数据

Backtrader库 | 均线买入卖出策略实现

读完本文你就了解什么是文本分析

文本分析在经管领域中的应用概述

综述:文本分析在市场营销研究中的应用

在会计研究中使用Python进行文本分析

文本分析方法在《管理世界》(2021.5)中的应用

hiResearch 定义自己的科研首页

SciencePlots | 科研样式绘图库

Wow~70G上市公司定期报告数据集

漂亮~pandas可以无缝衔接Bokeh  

YelpDaset: 酒店管理类数据集10+G

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存