《我和我的家乡》影评高频词原来是这些！

本文作者：李婷婷 河南大学经济学院

文字编辑：崔赵雯

技术总编：余术玲

爬虫俱乐部云端课程

  爬虫俱乐部于2020年暑期在线上举办的Stata与Python编程技术训练营和Stata数据分析法律与制度专题训练营在不久前已经圆满结束啦~应广大学员需求，我们的课程现已在腾讯课堂全面上线，且继续提供答疑服务。现在关注公众号并在朋友圈转发推文《来腾讯课堂学Stata和Python啦！》或《8月Stata数据分析法律与制度专场来啦!》，即可获得600元课程优惠券，集赞50个再领200元课程优惠券！（截图发至本公众号后台领取）原价2400元的课程，现在只要1600元！   

导读

  前段时间电影院上映了几部重量级电影，《我和我的家乡》、《姜子牙》、《夺冠》等等，使沉寂已久的电影院又热闹了起来！不知道大家看了哪一部电影呢？

  《我和我的家乡》这部电影中的五个故事既有让大家捧腹大笑的瞬间，也有让大家感动落泪的时刻。今天我们就通过豆瓣电影来看一下《我和我的家乡》这部电影的评价。在本篇推文中，我们通过爬取豆瓣电影上《我和我的家乡》的影评内容并制作词云图，让大家可以直观看到影评中出现的一些高频词汇。

一、爬取影评内容

  首先，我们找到豆瓣电影中《我和我的家乡》，这部电影的影评（网络链接：https://movie.douban.com/subject/35051512/reviews），然后查看网页的源代码，并观察源代码信息，找到目标信息所在的位置。

  通过观察，我们发现每条影评的标题和链接都在同一行，而且所在的行都包含</a></h2>这个标签。先以第一页为例，通过正则表达式保留目标信息所在的行，并提取影评的标题和链接。

clear all
cap mkdir D:/影评爬取
cd D:/影评爬取
copy "https://movie.douban.com/subject/35051512/reviews" temp.txt, replace
infix strL v 1-100000 using temp.txt, clear
keep if ustrregexm(v,"</a></h2>")
gen url=ustrregexs(1) if ustrregexm(v,`"<a href="(.*)">"')
replace v =ustrregexra(v,"<.*?>","")
rename v title

  这样我们就可以得到第一页当中所有影评的标题和链接了，但是影评不止一页，所以我们需要先从第一页的源代码中提取出影评的总页数，之后再遍历所有页面进行提取所需要的信息。

copy "https://movie.douban.com/subject/35051512/reviews" temp.txt, replace
infix strL v 1-100000 using temp.txt, clear
keep if index(v,`"<span class="thispage" data-total-page="')
replace v=ustrregexs(0) if ustrregexm(v,"(\d+)")
local p=v[1]

  接下来对页码进行循环，抓取所有页面的信息，并将每一页的信息分别保存，之后再进行合并。

forvalues i=1/`p'{
    local j=(`i'-1)*20
    cap copy "https://movie.douban.com/subject/35051512/reviews?start=`j'" temp.txt,replace
    while _rc!=0 {
        cap copy "https://movie.douban.com/subject/35051512/reviews?start=`j'" temp.txt, replace
    }
    infix strL v 1-100000 using temp.txt, clear
    keep if ustrregexm(v,"</a></h2>")
    gen url=ustrregexs(1) if ustrregexm(v,`"<a href="(.*)">"')
    replace v =ustrregexra(v,"<.*?>","")
    rename v title
    save "我和我的家乡影评_`i'",replace
}
 *合并文件
clear
local files:dir "." file "我和我的家乡影评*.dta"
foreach file in `files' {
    append using "`file'"
    }
drop if url==""
save "我和我的家乡影评.dta", replace

  如图所示，我们得到了所有影评的标题和影评的链接，下一步我们就可以使用这些链接进行二次爬虫抓取影评的内容啦！

gen v=""
forvalues i=1/`=_N' {
    sleep 1000
    replace v=fileread(url) in `i'
    while filereaderror(v[`i'])!=0 {
        sleep 5000
    replace v=fileread(url) in `i'    
    }
    dis `i'
}
split v,p(`"<div id="link-report">"' `"<div class="main-author">"')
replace v2 = ustrregexra(v2,"\s","",.)
replace v2 = ustrregexra(v2,"<.*?>","",.)
replace v2 = ustrregexra(v2,"&nbsp|&copy|-|;","")
rename v2 content
keep title content
save "我和我的家乡影评1.dta",replace

  如图所示，我们得到了《我和我的家乡》这部电影在豆瓣上所有影评的标题和影评的内容。接下来就可以根据影评内容进行制作词云图了~

二、词云图

  我们通过Stata和Python的交互实现对影评内容的分词处理，因为影评的内容通常较长，而且含有名词、形容词等多种词性，因此，这里使用jieba.posseg进行分词，获得每个词语的词性。

use 我和我的家乡影评1.dta,clear
keep content
export delimited using content.txt,replace

*调用Python分词
clear all
python
import jieba.posseg
word=[]
with open(r"content.txt",encoding="utf8") as f:
    for i in f.readlines():
        str=i
        word.append(str)
jieba.load_userdict(r"tsdict.txt")
with open("分词.txt","w",encoding="utf8") as f2:
    for unit in word:
        seg_list = jieba.posseg.cut(unit)
        for word in seg_list:
            f2.write(word.word+" "+word.flag+"\n")
end

  将分词的结果导入到Stata之后，删除缺失值、单字和停用词并进行词频统计。

import delimited using 分词.txt, clear encoding("utf-8")
split v1,p(" ")
drop v1
rename (v11 v12) (keyword flag)
drop if ustrlen(keyword) == 1
drop if keyword ==""
preserve
import delimited using 停用词表.txt, clear encoding("utf-8") varname(nonames)
outsheet using 停用词表.txt, replace
levelsof v1, local(keyword)
restore
foreach word in `keyword' {
    drop if keyword == "`word'"
}
 *词频统计
bysort keyword:gen frequency = _N
gsort -frequency
duplicates drop
save word,replace

  最后，我们在得到的分词结果中只保留名词、动词和形容词，并进行词云图的绘制。

use word,clear
keep if ustrregexm(flag,"^[anv]")
keep in 1/100
wordcloud keyword frequency using 词云.html, replace size(15 80) range(3480 2160)
shellout 词云图.html

  制作的词云图结果如下图所示：  从词云图中可以看出，“故事”、“家乡”、“北京”、“老师”、“回乡”这些词出现的频率很高。从电影的影评内容也可以看出，这部电影唤起了很多人的家乡情怀。你去电影院看这部电影了嘛？欢迎大家留言交流观影感受哦~

对我们的推文累计打赏超过1000元，我们即可给您开具发票，发票类别为“咨询费”。用心做事，不负您的支持！

往期推文推荐

关于我们

微信公众号“Stata and Python数据分析”分享实用的stata、python等软件的数据处理知识，欢迎转载、打赏。我们是由李春涛教授领导下的研究生及本科生组成的大数据处理和分析团队。

此外，欢迎大家踊跃投稿，介绍一些关于stata和python的数据处理和分析技巧。

投稿邮箱：[e-mail]

投稿要求：
1）必须原创，禁止抄袭；
2）必须准确，详细，有例子，有截图；
注意事项：
1）所有投稿都会经过本公众号运营团队成员的审核，审核通过才可录用，一经录用，会在该推文里为作者署名，并有赏金分成。
2）邮件请注明投稿，邮件名称为“投稿+推文名称”。
3）应广大读者要求，现开通有偿问答服务，如果大家遇到有关数据处理、分析等问题，可以在公众号中提出，只需支付少量赏金，我们会在后期的推文里给予解答。