学好Python薪水有多少|我爬取了所有的Python职位

这是菜鸟学Python的第120篇原创文章

阅读本文大概需要3分钟

     Python现在这么火，相信每个学Python的同学都非常关心学好Python到底能赚多少钱，薪水高不高呢，Python有哪些大的公司，都是哪些岗位在招人.于是第一步我爬取了拉勾所有的Python相关的岗位，我们用数据说话，小伙伴一起看一下吧.

1

爬虫思路分析

招聘网站非常多，有51job,拉勾网，Linkedin等等，因为Python偏互联网，所以我选择爬取拉勾网的数据.

但是发现拉勾网需要验证吗，试着登入进去之后，发现网页的数据都是Ajax方式的数据，不是非常好爬取。

于是我们退而求其次，选择手机网站爬取，相对容易一些.

2

动手爬取数据

爬虫的库和方法非常多，这里我选择用selenium的方式，模拟登入绕过反爬虫的机制来获取数据.

首先要保证你的电脑上安装了selenium环境和chrome浏览器，当然firefox也可以，只是我个人习惯用selenium，哈哈。

1.进入搜索页面，输入Python

2.获取Python相关岗位

3.网页分析

我们可以用BS解析数据，也可以用PyQuery解析数据，这次我换一个口味，以前我一直习惯用bs解析，这次爬取我用了PyQuery发现还不错，用的蛮爽的.

3

开始写代码

整个的代码量非常小，大概只有70行左右，非常适合小白练手.

1.启动Selenium登入拉勾

2.爬取页面

每一个页面主要关心的招聘网页，薪资待遇，公司名称和发布时间

当然还要翻页:

load page:1

加载中...

load page:2

加载中...

load page:3

加载中...

。。。

load page:47

加载更多

load page:48

加载中...

load page:49

加载中...

load page:50

加载中...

load page:51

加载更多

load page:52

加载中...

load page:53

加载中...

3.数据存储

这里我们选择最简单的存为json格式的数据，方便后面的数据分析.

一共100多页数据，总共1552个岗位，设计全国10几个的城市的所以Python数据，下面是部分数据的展示：

结论：

---

今天只篇只是开个头开胃菜，熟悉我的文章的同学应该知道，数据分析才是王道，后面我写一篇所有Python岗位的薪资，地域和岗位要求年限等详细数据分析报告，大家敬请期待吧！

长按二维码，加入小密圈

来源 | 菜鸟学Python

作者 | xinxin

本文章为菜鸟学Python独家原创稿件，未经授权不得转载