查看原文
其他

有红包有礼物|小密圈实战项目第二期报名

leoxin 菜鸟学Python 2020-11-18

阅读本文大概需要3分钟

菜鸟独白

我记得以前也有同学问过什么时候开实战项目!其实我们上一期的实战项目爬取拉勾网的Python和Java数据,已经结束了。我写了一篇很长的总结(值得每一个学Python爬虫的人,反思的项目总结),同学们的源码已经放在Github上,现在第二期的数据库存储马上要开始了,有兴趣的同学可以留言一下。



1.开场白

我们上一期的爬虫其实是一个非常好玩的项目,也是一个比较适合练手的项目!如果把这个小项目做好了,是可以扩展到其他的爬虫的项目的。一个学编程学技术是很枯燥的,大家一起学,一起讨论会进步的很快,有的时候别的一句话,可以让你少走很多弯路!


2.项目内容:

1).获取数据是第一步,接着要清洗和入库

这里我们用比较通用的库,sqlite3,Mysql,Mongodb。都是非常主流的数据,通过这个项目希望大家学会用Python对数据进行存储!


无论你是做Python的web开发,还是做数据挖掘,都涉及到数据的存储!相信大家面试的时候也会被问到数据库相关的知识。


2).存取内容

我会把上一期的拉勾爬取的java,python的全国岗位,我会发给大家!数据量大概在几千左右。数据库里面一共两个db,一个java.db,一个python.db (城市,公司名称,职位名称,薪资,发布日期)


3).数据查询

我们可以用数据库的查询,方便的过滤出, 单个数据库的查询: 比如根据城市查询:北京的职位, 比如根据薪资查询,年薪在50万以上的 还有数据表的合并查询,自查询,分组和汇聚等等!


这次实战项目主要涉及增,删,改,查,以及合并查询,分组,汇聚,排序等等。我们并不涉及大规模的数据存储和数据库的优化,性能的提升等等!


3.如何参加

1).加入小密圈

这个项目是针对小密圈的活动,如果你要参加可以加入小密圈,小密圈是一个大家交流,提问和分享资料的平台,可以随时的提问,大家帮你解答,提高大家的Python功力!费用是一年的,现在多了一个福利,可以随意多次加入实战训练营的活动,还是非常划算的!现在邀请好友参加还能赚一顿午饭的钱。


2).项目开始时间

我们的项目一般是2周,考虑到马上放长假,我们的项目从下周三3/28开始-4/14结束!中间有一个清明长假, 大家可能要出去玩,放宽几天,大家时间应该足够的!


4.代码如何提交

我们有统一的Github地址,项目完成之后会一一匿名点评,欢迎大家交流指正


5.征集一名助教

上次爬虫我们请到了爬虫高手阿蔡,跟我一起设计和讨论实战爬虫的细节,提了很多宝贵的意见!这次我们还是征集一名数据库的高手,同时负责解答群里的问题,当然我也会解答群里的问题,上次爬虫我几乎每天都在解答问题!


项目结束如果大家都按时完成任务,我送一个大红包群发实战群,助教会得到一本SQL畅销书,有的学,有红包拿,真好!助教特别优秀可以免费入小密圈!


助教的福利




小密圈启动了数据分析实战项目,我们第一期是爬取拉勾的招聘数据,马上第二期开始数据库的存储,有兴趣的赶紧加入小密圈,错过了这次要再等1个月了。


有兴趣的同学

马上加入小密圈



    您可能也对以下帖子感兴趣

    文章有问题?点此查看未经处理的缓存