查看原文
其他

一款在线爬虫系统,以图形化方式定义爬虫流程,不写代码即可完成爬虫!

关注Java就该这么学带你全面认识Java
Java就该这么学后台回复 1024 有特别礼包

责编:Java就该这么学 | 来源:GitHub猿 整理

上一篇精彩:干货!300万数据导入导出优化方案,从80s优化到8s(实测)
大家好,我是Java就该这么学。
今天,推荐一个在线爬虫系统项目。我第一次使用就有点上头,爱不释手,必须要推荐给大家。

上次是谁要的在线爬虫系统项目啊,我帮你找到了。

这是我目前见过最好的在线爬虫系统项目。功能完整,代码结构清晰。值得推荐。

📚 项目介绍

最近我在逛网站的时候发现一个不错的开源项目,这个项目目前收获了 6.1K Star,猿哥觉得不错,值得拿出来和大家分享下

本项目系统是新一代爬虫平台,以图形化方式定义爬虫流程,不写代码即可完成爬虫。平台以流程图的方式定义爬虫,是一个高度灵活可配置的爬虫平台。扩展:接私活!

技术功能

  •  支持Xpath/JsonPath/css选择器/正则提取/混搭提取

  •  支持JSON/XML/二进制格式

  •  支持多数据源、SQL select/selectInt/selectOne/insert/update/delete

  •  支持爬取JS动态渲染(或ajax)的页面

  •  支持代理

  •  支持自动保存至数据库/文件

  •  常用字符串、日期、文件、加解密等函数

  •  支持插件扩展(自定义执行器,自定义方法)

  • 搜索公众号Linux中文社区回复“外卖”,送你一份惊喜礼包。

  •  任务监控,任务日志

  •  支持HTTP接口

  •  支持Cookie自动管理

  •  支持自定义函数

功能演示

爬虫列表

牛逼啊!接私活必备的 N 个开源项目!赶快收藏

爬虫测试

Debug

日志

  最后,想学习这个项目的可以查看项目地址:

项目源码,怎么领取?

源码获取

牛逼啊!接私活必备的 N 个开源项目!赶快收藏

扫码下方二维码,后台回复【爬虫】即可获取所有系统

欢迎有需要的同学试试,如果本文对您有帮助,也请帮忙点个 赞 + 在看 啦!❤️

在 GitHub猿 还有更多优质项目系统学习资源,欢迎分享给其他同学吧!



公众号后台回复 Java 或者 面试 有惊喜礼包!Java就该这么学交流群

 「Java就该这么学」建立了读者Java交流群,大家可以添加小编微信进行加群。欢迎有想法、乐于分享的朋友们一起交流学习。

扫描添加好友邀你进Java群,加我时注明姓名+公司+职位】


版权申明:内容来源网络,版权归原作者所有。如有侵权烦请告知,我们会立即删除并表示歉意。谢谢。

往日文章:

想了解Java后端学习路线?看完这篇就够了!
2天3夜开发了一个商城系统,用它挣了10.7万!
别再用 BeanUtils 了,这款 PO VO DTO 转换神器不香么?
一款神仙儿企业级 ERP系统!
Spring Boot 并行任务,这才是优雅的实现方式!
从 Java 8 升级到 Java 17 全过程,贼特么坑!
神仙接私活神器,牛到不行,绝了!Spring Boot 程序优化的 14 个小妙招!
JWT 实现登录认证 + Token 自动续期方案!
一款自动化网络平台,无需编写过多代码,即可实现网络自动化运维!
面试官:你项目中怎么处理重复请求(并发请求)
Docker 夺命连环 15 问

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存