我本身并不是做爬虫的，但是由于爱好，就在工作之余给同事们做了一个分享。其实这个ppt的内容还是比较有含金量的，不过今天我们就只讲其中的一部分，即爬虫架构，如下图所示：

成都，我们还回得去么？这篇文章，希望在北京混不下去的时候，家乡还能张开怀抱欢迎我。年轻人，如果想在北京“苟活”，一定要坚强！技术分解数据抓取：scrapy+redis

License，详情可以参考官方文档：https://www.elastic.co/guide/en/elasticsearch/reference/6.2/update-license.html。

除了它本身，它还有一个可视化的插件——Kibana。Kibana本身也是一个服务，和ElasticSearch之间可以通过http连接，这样就可以把Kibana部署到不同的机器上了。

然后，在9月初通常会进行校园招聘，也就是正式的招聘环节。在这个过程中，企业首先会到各个学校举办宣讲会，宣讲会上主要是为大家介绍一下企业的招聘流程和企业内部的一些讯息，有时间的同学都可以去听一下。

如图所示，北邮、武大、华科、北航、电子科大等学校占据了头几名，不过二胖听说百度的哈工大学生也不少，可是为什么没有发现哈工大的身影呢？是哈工大的学生都不玩知乎吗？

道理是这么个道理，可是事儿不是这么个事儿。服务器资源是比较昂贵的，平时部署太多的机器会徒增很多额外的开销，所以大部分企业平时都只会部署能承受正常流量3~4倍流量的机器。

像刚才我们举例说的IPv4地址“111.199.123.41”，IPv4地址是由32个二进制位组成，满打满算，IPv4可用地址最多只有2^32（大约43亿）个，可并不是所有的IPv4地址都是可用的。

卖个关子，说到这里肯定有不少同学好奇，我是怎么拿到了10个offer的。其实我也有这个打算，将自己找工作的过程分享出来，正好再过20来天，校园招聘就要开始了，那就在后面的文章慢慢分享吧。

"text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8",

今天分享这段代码主要是想说一下：大家不要把爬虫和Python绑定，也不要把数据分析和Python绑定，不是只有Python才可以写爬虫，Java、PHP、Lua、Ruby，甚至C++都可以写爬虫。

其实这是一种强加的关系，二胖认为，其实一个人聪明与否和姓什么没啥联系。这里强加相关性，主要是因为在知识文化水平维度，教授是处于塔尖的那群人，所以就把他们作为聪明的人的代表吧。

这里多说一句，如果你刚开始学习Python，那么就直接学Python3吧，Python2已经慢慢过时了，并且Python3对中文友好，Python2的中文编码有时候是会把人搞得十分头疼。

(一个在17年校招中拿到10家名企offer的同学悄悄告诉大家)，这本书不仅能让你学到不少知识，还能让你在计算机招聘的面试中相对容易获得offer，因为很多面试题和这本书脱不了干系，加油吧。

二胖：知乎小v，百度高级软件开发工程师，自媒体人。日常聊编程|Python|PHP|C++|大数据|互联网|金融|职场|学习方法以及那些你关心的事儿。

而现在既然有了这个需求，那就找一本网页设计相关的书系统地学一学，在优秀开源框架的基础上，我已经实现了基本功能，不过还差一些细节和功能需要用到前端知识去完善，可以先给大家看看。

霸气得有些自大的狮子女最介意这一点，狮子座是最不服输不认命的星座，她们试图把所有事都做得滴水不漏且令人崇拜，多数狮子女追求爱情的完美主义，她们对另一半婚况的要求也许来自她们骄傲的潜意识吧。

也许你会说：“我既不用A站也不用京东”。那只能说明这次信息泄露不包括你的隐私，但不能证明你的隐私在其他平台没有被泄露。你能看到这篇文章，说明你是一个互联网的用户，使用互联网就有信息泄露的风险。

二胖：知乎小v，百度高级软件开发工程师，自媒体人。日常聊编程|Python|PHP|C++|大数据|互联网|金融|职场|学习方法以及那些你关心的事儿。

难点1：分析阶段，要想拿到全国全量的数据，必须要以街区为单位。主要原因是每个列表页默认只展示30页，每页大约20条消息，如果我们以城市维度去抓取，相当于每个城市只能至多拿到600个店铺的消息。

虽然最后这个同学的问题解决了，可是我相信他并不知道自己究竟遇到了什么问题，也不知道我给他回复的那三行命令到底是什么意思，下次遇到同样问题的时候还是一样不知所措，只会机械地运行程序，而不去问为什么。

这个功能的原理就是对每个好友的个性签名利用自然语言处理技术提取关键词，然后按照词频来生成词云，下面词云中的关键词个头越大表示越多人使用，看来二胖的好友们说得最多是“自己”，“我们”。

可以看到，在城市方面，成都、重庆位居第一第二，并且远远高于其他城市，所以说“四川人一年吃3亿只兔子，成都人就要吃一半”还是有根据的。并且！四川包揽了前十二名！四川人爱吃兔子，真不是吹得。

在文章开始前，先来一张图给大家热热身。这里是宅男们最喜欢的妹子中排名前200位的头像（实际193张图，部分不规则的图已被二胖过滤）。排名不分先后哈！快来看看有没有你们熟悉的面孔。

不过不用担心，我已经尽我所能，将我看过或者我认为好的课程和书本资料给串了串，整理好上传了，所有学习资料均免费，无任何收费课程。如果需要，请关注微信公众号【大数据前沿】回复：【编程路径】获取。

比如二胖在实际开发中就会使用到很多台服务器：我有一台笔记本电脑，通过ssh连接着很多台服务器[如上图所示]，我需要经常在不同的服务器上进行开发，所以总会遇到在不同计算机之间传输文件的情景。

拿一个网页来举例：知乎。如果大家平时要访问知乎首页，一般都是通过网址，即www开头的url进行访问。而二维码其实是把这个“网址”用图像表示出来，和网址一样，它们都指向的是知乎首页。

save_images(image_list)相信大家看了代码就知道是怎么实现的了吧，代码中可能比较难理解的地方二胖也给出了相应的注释，大家赶快把代码下载下来拿去跑一跑。

学习经济的小伙伴毕业以后的工作方向还是非常多的，有创业公司的创始人、有投资经理投资总监，还有数据分析师、培训讲师、合伙人、咨询顾问等，毕竟各行各业的发展都离不开经济，经济人员的就业前景还是比较广阔。

不过不用担心，我已经尽我所能，将我看过或者我认为好的课程和书本资料给串了串，整理好上传了，所有学习资料均免费，无任何收费课程。如果需要，请关注微信公众号【大数据前沿】回复：【编程路径】获取。

可是，二胖可不仅仅只分析了这几个公司，为了让大家看得更尽兴，二胖对500家公司做了可视化，并且将可视化之后的结果打包上传，观看下面的视频，让二胖告诉你怎么使用这个数据查看自己感兴趣的公司吧。

经过分析，二胖发现，各位一二线城市的童鞋们挣得还真不少。经过统计，也论证了那句老话“知识改变命运”，学历越高，挣得确实越多。还在读书的童鞋们，听妈妈的话吧：“好好读书，天天向上👆”

比如下面三部手机都是苹果手机，虽然它们的型号不同，但是它们的名称中都出现了Apple，所以我们只用提取Apple，即当某个品牌关键词出现在了手机的名称中，就能获得这个手机的品牌。

Girls心底的柔软都体现在对蛙儿子的牵挂中，遍布朋友圈的“寻蛙启事”充分说明了“蛙行千里母担忧”。小姐姐们蛙蛙的名字也大多比较“温柔”？比如“长大的种子”、“大姨妈的春天”、“李泽言和我的儿子”。

本公众号的一切内容源于一个程序员对生活和信息技术的热爱，希望通过大数据和计算机分享从不同角度看待的世界。本篇为“二胖并不胖”的处女作品，积极听取大家的建议和新奇idea，可直接回复后台或留言，感恩！