其他
看看人家那智能在线爬虫系统,那叫一个优雅(附源码)!
来源:GitHub猿 整理
上次是谁要的智能在线爬虫系统项目啊,猿哥帮你找到了。
介绍
本项目系统是新一代爬虫平台,以图形化方式定义爬虫流程,不写代码即可完成爬虫。平台以流程图的方式定义爬虫,是一个高度灵活可配置的爬虫平台。
技术功能
支持Xpath/JsonPath/css选择器/正则提取/混搭提取
支持JSON/XML/二进制格式
支持多数据源、SQL select/selectInt/selectOne/insert/update/delete
支持爬取JS动态渲染(或ajax)的页面
支持代理
支持自动保存至数据库/文件
常用字符串、日期、文件、加解密等函数
支持插件扩展(自定义执行器,自定义方法)
搜索公众号Linux中文社区回复“外卖”,送你一份惊喜礼包。
任务监控,任务日志
支持HTTP接口
支持Cookie自动管理
支持自定义函数
功能演示
爬虫列表
爬虫测试
Debug
日志
扫码下方二维码,后台回复【爬虫】即可获取
猿哥个人微信
添加猿哥个人微信即送一份惊喜大礼包
→ 技术资料共享
→ 技术交流社群
推荐一套企业级支付系统(附源码)!
看看人家那权限管理系统,那叫一个优雅(附源码)!
最近,GitHub猿建了一个「GitHub猿交流群」,欢迎大家一起交流优秀开源项目,也可以宣传自己的开源项目,在 「GitHub猿」公众号后台回复【加群】邀请你入群。