查看原文
其他

上个爬虫课竟然被豆瓣禁了,O(∩_∩)O哈哈~

陈鸥辉 信息科技时代 2024-03-15

一开始我没有意识到被禁,讲完BeautifulSoup解析不出title数据,打开豆瓣网址才发现我们被禁了,哈哈,同学们与我都被逗得哈哈大笑,本来想正儿八经上一堂课,瞬间有种被人当黑客的感觉……

我确实没有预留另外的上课方案,于是第一反应将下次课爬淘宝的内容搞上来,但是实在不符合我设计的上课内容,突然头脑灵光一现,既然都是爬电影排行榜,爬猫眼行不?嘿嘿,打开猫眼一看,还真行,有电影名,有上映时间,有评分,跟我的课的设计大体一致!

第九次课 大数据清洗与存储

第一节课代码临时开始修改教学,一切竟然一样顺利,以下为猫眼代码,O(∩_∩)O,G2015班廖智忠提交的作业。

第二节课的图片爬取我用最快的速度改好了,然后又开始讲解网页网址爬取,结果又出了问题,其中一个a标签没有href属性,爬取出错,然后我立刻想到try...except...,试了一下,还真能解决问题,O(∩_∩)O。

虽然猫眼也在不断地要我验证,但好歹刷新一下就解决问题了,可以继续爬取数据,豆瓣则需要我登陆,哈哈……一堂上课危机就这样愉快地解决了……

继续滑动看下一个
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存