查看原文
其他

登上爬虫俱乐部“时光机” |上“机”出发 开启一段奇妙之旅

爬虫俱乐部 Stata and Python数据分析 2022-03-15

 







回顾2021,我们经历了新冠疫情的反复及病毒变异,我们响应号召,陆陆续续接种了新冠疫苗及加强针,出门佩戴口罩,为防疫贡献自己的绵薄之力;我们经历了“杂交水稻之父”袁隆平及“肝胆外科之父”吴孟超的去世,他们是时代的楷模,一生都在为国家和人民奉献自己,他们重新定义了我们心目中的“明星”;我们经历了河南的暴雨灾害,一方有难八方支援,全国人民齐心协力,患难与共,帮助河南度过了这次难关;我们见证了鸿星尔克因向灾区捐款而爆红,受到大家的“野性消费”,我们意识到善良是中国人刻在骨子里的品质,消费者的疯狂扫货是对鸿星尔克真诚善良的回馈;紧接着我们迎来了2021的除夕,盼望着除去这一年的痛苦和灰尘,迎来新的一年......

                          

2021,爬虫俱乐部与你一同成长

2021年,Stata and Python数据分析微信公众号累计60754人关注,其中净增长9838人。公众号粉丝分布中国大江南北,特别是北京、广东、湖北、上海等省市,粉丝数均超过4千人;不过聚焦于大数据产业发展的贵州省粉丝数量并未凸显。


微信公众号关注人数

原创推文阅读情况

2021年,爬虫俱乐部原创推文230篇,其中有7篇阅读量超过5000,43篇阅读量超过2000,约60%的阅读量超过1000人次。特别是《看这里,近五年各校高被引论文上榜名单》,阅读量最高,超过9000人次。



你最爱看的排行榜是:/  高校经管类核心期刊发文排行榜/  爬完独立董事的年薪,我的眼镜跌破了!

/  考研之后,文科生需以"do"躬"do"

/  这些年,爬虫俱乐部走出的博士们!

/  大数据下的大学分数线排行榜,快来围观

/  《唐探3》做错了什么?|来自150万字影评的证据!

  


你最感同身受的事件是:

/  地毯式搜索之"徽州宴"

/  最近《扫黑风暴》有点火爆!我从豆瓣评论中发现了这些……



最想知道的Stata&Python技术是

/  学术明星——双重差分法(DID)的Stata操作

/  初识PyStata

/  疯狂的科研创新加速器——Stata



你觉得最有趣的爬虫是:

/  爬取京东评论数据进行情感分析

/  B站弹幕爬虫——今天你"帕梅拉"了吗?




你最感兴趣的研究主题是:

/  Seminar | 来自女儿的塑造:高管、女性社会化与企业社会责任

/  Seminar | 公司董事会的人才增长:来自中国的证据

/  Seminar | 总统的朋友:政治关联与企业价值

/  Seminar | 董事会的性别多样化和企业创新:来自国际证据


2021,爬虫俱乐部与你一同成长

2021年初,爬虫俱乐部发布年度总结《请回答2020》,一方面,回顾新冠肺炎疫情下的2020;另一方面,展望2021,对后疫情时代下祖国的发展以及人民生活展望,同时基于我们团队的健康成长和你的继续关注不断奋斗。


     1-2月展望之余,值新春佳节之际,爬虫俱乐部发布了多篇与春节相关的原创推文。春节拜年最重要的环节之一莫过于发邮件拜年了,爬虫俱乐部暖心为你送上自动群发邮件方法,一招轻松解决问题。同时,忙忙碌碌的一年结束了,春节假期这段闲暇的时光最适合宅在家里,爬虫俱乐部特献上畅销书、豆瓣高分好剧以及颜值打分小游戏给各位社员们消磨时光。

//自动群发邮件--email和smtplib基本模块的使用

//自动群发邮件(二)——附带附件

//听说相貌也能量化 | 调用百度人脸检测API实现颜值打分

//【爬虫实战】亚马逊网站Top100畅销书爬取

//春节假期临近,来看看豆瓣有什么好剧



3月爬虫俱乐部发表推文《【爬虫实战】“中国人不吃这一套”——人民日报微博评论分析》,数据分析体现了网民们对我们日益强盛国力由衷的自豪感以及对我们伟大祖国强大的认同感!

  

4月阳春三月出游季,踏春赏花正当时。正值踏春出游的大好时节,爬虫俱乐部通过对去哪儿网爬虫,看看在出游的黄金三月,哪些城市、哪些景点、哪些旅游主题最吸引人!为你的下一次旅行提前做好计划攻略吧~~

 


     5月2021年4月20日,Stata17重磅推出,爬虫俱乐部针对此版本新增功能及亮点展开讨论;同期,2021年5月11日,第七次全国人口普查结果公布,全国人口(不含港,澳,台)共1411778724人。爬虫俱乐部结合新版的Stata17中优化的与Python的交互功能,尝试在Stata中调用Python来绘制一些生动炫酷的图形,来展示近十年来的中国人口变化。

 


6月爬虫俱乐部继续推出Stata17新功能及应用;同期,爬虫俱乐部李春涛教授在天演融智和武汉大学联合主办的公益活动——Stata研讨会及系列讲座中向大家介绍此系列命令使用方法和应用场景,最高峰时吸引了近万人观看。


7月是考试季也是求职季,为了给考生助力,爬虫俱乐部特地制作了大学分数线排行榜,希望可以为考生和家长提供一些参考;同期,我们也展开讲述了一些制作简历以及更换照片背景色的方法,希望为毕业生求职提供一些绵薄之力。

//大数据视角下的大学分数线排行榜,快来围观!

//用Markdown制作简历,强力助力你的求职季

//OpenCV库——轻松更换证件照背景色



8月,爬虫俱乐部为了给有志于投稿《金融研究》的科研工作者提供一点参考,在中国知网爬取了2011年至2020年在《金融研究》上发表的所有文章的关键词、摘要、作者单位、被引量等信息,汇总了历年文章关键词制作了词云图,并在最后展示了这十年被引量排名前100的文章信息以及作者单位。

//  这十年,《金融研究》的编委和读者偏爱哪些研究话题和文章?
9月最近一段时间在追的电视剧《我在他乡挺好的》终于完结了。该剧讲述了异乡青年来到北京奋斗生活的故事,将他们在大都市中所面对的社会现实问题展现得淋漓尽致。找工作谈合作被劝退、上下班打卡挤地铁、找房合租换房、职场内卷加班等等,都是都市青年生活的真实写照。

 

10月,爬虫俱乐部主要进行爬虫实战及其基础知识教学。//爬虫实战 | 爬取东方财富网经济数据——以居民消费价格指数(CPI)为例
//爬虫实战 | 爬取中国天气网//“好哭”是衡量一部好电影的标准吗?//[技能篇]多线程爬虫

 

11月爬虫俱乐部举办了一场数据分析线上沙龙活动,促进了各位学友关于Stata&Python数据分析学习的交流与探讨,分享并解决数据分析过程中遇到的困难,实现思维的碰撞及共同提升。

  //邀请函|Stata&Python数据分析线上沙龙

 


12月我们介绍了用Stata绘图的强大功能,作为数据分析结果的一种展示,图形是Stata的强项,不仅能够绘制直方图、饼图、散点图等描述性统计一类的图形,也能绘制一些有趣的图形。//如何用Stata绘制带指向性箭头标注的图像//我几乎画出了“隔壁三哥”家的国旗//手绘五星兴家国——用Stata绘制五星红旗



回顾2021,我们为因新冠肺炎逝去的同胞深感痛心,我们为战胜病毒的英雄的武汉人民和中国人民无比自豪。此时此刻,我想对2021说:再见,再也不见。

展望2022,我们将为祖国的繁荣富强和人民的幸福安康祈求福祉,我们将为团队的健康成长和你的继续关注不断奋斗。今时今日,我想对2022说:你好,有你就好。


最后,对于爬虫俱乐部后台的工作人员这一年来的辛苦付出,我们深表鸣谢。下面附上爬虫俱乐部本年度成员名单:




 对我们的推文累计打赏超过1000元,我们即可给您开具发票,发票类别为“咨询费”。用心做事,不负您的支持!











往期推文推荐 

       【基础篇】查找并输出子字符串的定位

        Stata中的小清新命令——添加观测值

        PCA(主成分分析法)降维——Python实现

       超好用的事件研究法

        如何绘制任泽平《鼓励生育基金》的几幅图

        Python 第六天——字符串

        findname——想要什么找什么

        Python字符串之“分分合合”

        PDF转docx可批量操作?——wordconvert的小技巧

        考研之后,文科生需以“do”躬“do”!

       手绘五星兴家国——用Stata绘制五星红旗

        Seminar丨董事会的性别多样化和企业创新:来自国际的证据

       Python与数据库交互——窗口函数

        Stata之post命令——数据邮递 

        爬虫俱乐部成员的Stata学习经验分享来啦!

       Seminar丨2002年萨班斯·奥克斯利法案的经济后果

        我几乎画出了“隔壁三哥”家的国旗

        Python基础——三大数字类型,你都了解吗?
        如何用Stata绘制带指向性箭头标注的图像       
       Seminar丨荐仆贷款——19世纪中国的信任辅助贷款       【技能篇】多进程队列间通信

Seminar丨公司董事会的人才增长:来自中国的证据

正则表达式--懒惰模式

爬完独立董事的年薪,我的眼镜跌破了!识别旅游“照骗”——看风景名胜是否名副其实主成分分析的Python实现

正则表达式--贪婪模式

Seminar丨谁更重要:高管股权薪酬与财务报告欺诈DOS能量,超乎你想象!

爬虫实战丨走进哈利波特的魔法世界

数据集合并的新路子-frlink命令

Seminar丨附近的公司:利用卫星图像研究本地信息优势

线性同余法生成伪随机数 

[技能篇]多线程爬虫

“好哭”是衡量一部好电影的标准吗?

关于我们 


   微信公众号“Stata and Python数据分析”分享实用的Stata、Python等软件的数据处理知识,欢迎转载、打赏。我们是由李春涛教授领导下的研究生及本科生组成的大数据处理和分析团队。

   武汉字符串数据科技有限公司一直为广大用户提供数据采集和分析的服务工作,如果您有这方面的需求,请发邮件到statatraining@163.com,或者直接联系我们的数据中台总工程司海涛先生,电话:18203668525,wechat: super4ht。海涛先生曾长期在香港大学从事研究工作,现为知名985大学的博士生,爬虫俱乐部网络爬虫技术和正则表达式的课程负责人。



此外,欢迎大家踊跃投稿,介绍一些关于Stata和Python的数据处理和分析技巧。

投稿邮箱:statatraining@163.com投稿要求:
1)必须原创,禁止抄袭;
2)必须准确,详细,有例子,有截图;
注意事项:
1)所有投稿都会经过本公众号运营团队成员的审核,审核通过才可录用,一经录用,会在该推文里
为作者署名,并有赏金分成。

2)邮件请注明投稿,邮件名称为“投稿+推文名称”。
3)应广大读者要求,现开通有偿问答服务,如果大家遇到有关数据处理、分析等问题,可以在公众
号中提出,只需支付少量赏金,我们会在后期的推文里给予解答。



您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存