其他
上个爬虫课竟然被豆瓣禁了,O(∩_∩)O哈哈~
一开始我没有意识到被禁,讲完BeautifulSoup解析不出title数据,打开豆瓣网址才发现我们被禁了,哈哈,同学们与我都被逗得哈哈大笑,本来想正儿八经上一堂课,瞬间有种被人当黑客的感觉……
我确实没有预留另外的上课方案,于是第一反应将下次课爬淘宝的内容搞上来,但是实在不符合我设计的上课内容,突然头脑灵光一现,既然都是爬电影排行榜,爬猫眼行不?嘿嘿,打开猫眼一看,还真行,有电影名,有上映时间,有评分,跟我的课的设计大体一致!
第一节课代码临时开始修改教学,一切竟然一样顺利,以下为猫眼代码,O(∩_∩)O,G2015班廖智忠提交的作业。
第二节课的图片爬取我用最快的速度改好了,然后又开始讲解网页网址爬取,结果又出了问题,其中一个a标签没有href属性,爬取出错,然后我立刻想到try...except...,试了一下,还真能解决问题,O(∩_∩)O。
虽然猫眼也在不断地要我验证,但好歹刷新一下就解决问题了,可以继续爬取数据,豆瓣则需要我登陆,哈哈……一堂上课危机就这样愉快地解决了……