查看原文
其他

牛逼啊!一款在线爬虫系统,不写代码即可完成爬虫!

点击关注👉 后端架构师 2023-09-18

推荐关注

扫码关注“后端架构师”,选择“星标”公众号

重磅干货,第一时间送达!

责编:架构君 | 来源:GitHub猿


上一篇好文:Docker + IntelliJ IDEA,助你提升 10 倍生产力!

大家好,我是后端架构师。今天,推荐一个在线爬虫系统项目。栈哥第一次使用就有点上头,爱不释手,必须要推荐给大家。

上次是谁要的在线爬虫系统项目啊,栈哥帮你找到了。

这是我目前见过最好的在线爬虫系统项目。功能完整,代码结构清晰。值得推荐。

📚 项目介绍

最近栈哥在逛网站的时候发现一个不错的开源项目,这个项目目前收获了 6K Star,栈哥觉得不错,值得拿出来和大家分享下。

本项目系统是新一代爬虫平台,以图形化方式定义爬虫流程,不写代码即可完成爬虫。平台以流程图的方式定义爬虫,是一个高度灵活可配置的爬虫平台。扩展:接私活!

技术功能

  •  支持Xpath/JsonPath/css选择器/正则提取/混搭提取

  •  支持JSON/XML/二进制格式

  •  支持多数据源、SQL select/selectInt/selectOne/insert/update/delete

  •  支持爬取JS动态渲染(或ajax)的页面

  •  支持代理

  •  支持自动保存至数据库/文件

  •  常用字符串、日期、文件、加解密等函数

  •  支持插件扩展(自定义执行器,自定义方法)

  • 搜索公众号Linux中文社区回复“外卖”,送你一份惊喜礼包。

  •  任务监控,任务日志

  •  支持HTTP接口

  •  支持Cookie自动管理

  •  支持自定义函数

功能演示

爬虫列表

牛逼啊!接私活必备的 N 个开源项目!赶快收藏

爬虫测试

Debug

日志

  最后,想学习这个项目的可以查看项目地址:

项目源码,怎么领取?

源码获取

牛逼啊!接私活必备的 N 个开源项目!赶快收藏

扫码下方二维码,后台回复【爬虫】即可获取所有系统

欢迎有需要的同学试试,如果本文对您有帮助,也请帮忙点个 赞 + 在看 啦!❤️

在 GitHub猿 还有更多优质项目系统学习资源,欢迎分享给其他同学吧!

PS:如果觉得我的分享不错,欢迎大家随手点赞、转发、在看。


最后给读者整理了一份BAT大厂面试真题,需要的可扫码加微信备注:“面试”获取。


版权申明:内容来源网络,版权归原创者所有。除非无法确认,我们都会标明作者及出处,如有侵权烦请告知,我们会立即删除并表示歉意。谢谢!

END

最近面试BAT,整理一份面试资料《Java面试BAT通关手册》,覆盖了Java核心技术、JVM、Java并发、SSM、微服务、数据库、数据结构等等。在这里,我为大家准备了一份2021年最新最全BAT等大厂Java面试经验总结。

别找了,想获取史上最全的Java大厂面试题学习资料

扫下方二维码回复「面试」就好了

历史好文:

比特币又爆了。。。

分享一个牛逼的开源后台管理系统,不要造轮子了(附源码)!

基于SpringBoot 的CMS系统,拿去开发企业官网真香

10w 行级别数据的 Excel 导入优化记录

面试官:MySQL 批量插入,如何不插入重复数据?

写代码爬取了某 Hub 资源,只为撸这个鉴黄平台!

一款数据可视化分析平台,自由制作任何您想要的数据看板,支持接入SQL、CSV、Excel、HTTP接口、JSON等多种数据源!

使用uuid做MySQL主键,被老板,爆怼一顿!

比 Navicat 还要好用,功能还很强大的数据库管理工具!

如何使用 Gateway 搭建网关服务及实现动态路由?

SpringBoot + Flyway,自动化实现数据库版本控制!

一款很酷的图床系统(自带鉴黄功能)

后端架构师技术大全(69个点)

新来的 CTO 规定所有接口都用 post 请求...

扫码关注“后端架构师”,选择“星标”公众号

重磅干货,第一时间送达!

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存