查看原文
其他

看看人家那智能在线爬虫系统,那叫一个优雅(附源码)!

猿哥 GitHub猿 2022-07-01

来源:GitHub猿 整理

往期文章:分享一套在线教育系统(附源码)!


正文

大家好,我是GitHub猿。今天,推荐一个在线爬虫系统项目。猿哥第一次使用就有点上头,爱不释手,必须要推荐给大家。

上次是谁要的智能在线爬虫系统项目啊,猿哥帮你找到了。

这是我目前见过的智能在线爬虫系统项目。功能完整,代码结构清晰。值得推荐。

介绍

本项目系统是新一代爬虫平台,以图形化方式定义爬虫流程,不写代码即可完成爬虫。平台以流程图的方式定义爬虫,是一个高度灵活可配置的爬虫平台。

技术功能

  •  支持Xpath/JsonPath/css选择器/正则提取/混搭提取

  •  支持JSON/XML/二进制格式

  •  支持多数据源、SQL select/selectInt/selectOne/insert/update/delete

  •  支持爬取JS动态渲染(或ajax)的页面

  •  支持代理

  •  支持自动保存至数据库/文件

  •  常用字符串、日期、文件、加解密等函数

  •  支持插件扩展(自定义执行器,自定义方法)

  • 搜索公众号Linux中文社区回复“外卖”,送你一份惊喜礼包。

  •  任务监控,任务日志

  •  支持HTTP接口

  •  支持Cookie自动管理

  •  支持自定义函数

功能演示

爬虫列表

爬虫测试

Debug

日志

源码获取

扫码下方二维码,后台回复【爬虫】即可获取

--END--


猿哥个人微信


添加猿哥个人微信即送一份惊喜大礼包


→ 技术资料共享

→ 技术交流社群



版权申明:内容来源网络,版权归原创者所有。除非无法确认,我们都会标明作者及出处,如有侵权烦请告知,我们会立即删除并表示歉意。谢谢!

往日文章:
推荐一套开源通用后台管理系统(附源码)
一款神奇的极客工具,用了永无 Bug
推荐一个酷炫的监控系统(附源码)!
看看人家那博客系统,那叫一个优雅(附源码)!
推荐一套企业级支付系统(附源码)!
看看人家那权限管理系统,那叫一个优雅(附源码)!


最近,GitHub猿建了一个「GitHub猿交流群」,欢迎大家一起交流优秀开源项目,也可以宣传自己的开源项目,在 「GitHub猿」公众号后台回复【加群】邀请你入群。

你点的每个赞,我都认真当成了喜欢

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存