查看原文
其他

【读者来稿】数据解读《爱情公寓》电影版——十年一瞬间

法纳斯得 数据森麟 2019-06-23


张凡幸,人工智能初阶小白,初学Python,喜欢数据分析、爬虫相关内容

微信公众号:学习随笔(ID:walker398)

       

前言:

数据森麟公众号收到读者来稿,一篇关于《爱情公寓》电影版的数据分析,在此向张凡幸同学表示感谢,同时感谢张同学允许将这篇文章的原创tag打在数据森麟公众号上。张同学个人公众号的二维码在下方,大家可以多多关注,互相交流:

下面进入正文:

最近闲来无事,看到数据森麟公众号分享的有关《西虹市首富》的猫眼电影评论分析3天破9亿!上万条评论解读《西虹市首富》是否值得一看,恰巧《爱情公寓》电影版上映,10年青春,来看看大家是怎么去吐槽的。


PART1:数据爬取


相关代码:

# coding: utf-8
import pandas as pd
import requests
import random
import json
import time
header={
    'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36',
    'Connection':'keep-alive'
}
cookies = '_lxsdk_cuid=1651950e6dfc8-02b4e01b2f82ec-6b1b1279-100200-1651950e6dfc8; _lxsdk=FA2EEC709AFE11E883FE1F23FDF\
          D6ADBB39CE732DF384D9DADFD1909B110AD64; v=3; _lx_utm=utm_source%3DBaidu%26utm_medium%3Dorganic; __mta=121983668.153372\
          8057235.1533731802598.1533731803845.10'
cookie = {}
for line in cookies.split(';'):
    name, value = cookies.strip().split('=', 1)
    cookie[name] = value
love_apartment = pd.DataFrame(columns=['data','score','city','comment','nick'])
for i in range(0,1000):
    j = random.randint(1,1000)
    print(str(i)+' '+str(j))
    try:
        time.sleep(2)
        url = 'https://m.maoyan.com/mmdb/comments/movie/1175253.json?_v_=yes&offset='+str(j)
        html = requests.get(url=url, cookies=cookie,headers=header).content
        data = json.loads(html.decode('utf-8'))['cmts']
        for item in data:
            love_apartment = love_apartment.append({'data':item['time'].split(' ')[0],'city':item['cityName'],
                                                    'score':str(item['score']),'comment':item['content'],'nick':item['nick']},
                                                   ignore_index=True)
        love_apartment.to_csv('爱情公寓.csv',index=False)
    except:
        continue


       数据获取的最大的难点就是猫眼电影短评的api,如果直接在电脑上用浏览器是获取不到api的,本次采用的是利用手机,UC,Fiddler软件对网站的url、header及cookie进行获取,具体网址:

https://blog.csdn.net/shimengran107/article/details/78644862




       另外这回也是第一次尝试pandas,所以也费了不少时间去学习,附上相关网址:

https://blog.csdn.net/liufang0001/article/details/77856255/

获得数据表如下:

       这里遇到比较多问题就是编码问题,生成的CSV文件会出现乱码,有两种方法,我选择的是CSV转为Excel,附上相关解决方案的网址:

https://blog.csdn.net/lht_okk/article/details/54929103

https://blog.csdn.net/erinalees/article/details/78862011

       基本上数据获取就完成了,电影短评截止到现在大概有7万条,我利用Python的随机函数获取了其中的1千条左右(我也不知道为什么这么少...,有待考究,可是1千多条的数据清除无效地图城市也花了不少时间),然后进行数据分析,详情请见后文。


PART2:数据分析

首先附上图表神器pyecharts的技术文档的网址:http://pyecharts.org/#/zh-cn/charts

这里主要是使用其中的HeatMap(热力图)、Bar(柱状图/条形图)、Line(折线/面积图)、Geo(地理坐标系)、Overlap 类。


词云生成wordcloud使用网址:

https://blog.csdn.net/fly910905/article/details/77763086

这里遇到最大的障碍就是Pycharm导入pyecharts库、wordcloud库失败,至于为什么也是不懂。无奈只好通过相关网站下载.whl格式的安装包,在文件夹环境下安装库,可以成功使用。


上篇的pandas也在这里有应用,主要是涉及对数据表的排序、计算处理。主要的函数就是groupby和agg,groupby可以理解为基于行操作(对相同行进行归类),agg则是基于列的(统计列的平均值和数量)。

import pandas as pd
from pyecharts import Bar, Line,Overlap,Geo
import jieba
from wordcloud import WordCloud,ImageColorGenerator
import matplotlib.pyplot as plt
from collections import Counter

love_apartment_com = pd.read_excel('爱情公寓.xlsx',encoding='utf-8')
grouped = love_apartment_com.groupby(['city'])
grouped_pct = grouped['score']

city_com = grouped_pct.agg(['mean', 'count'])
city_com.reset_index(inplace=True)
city_com['mean'] = round(city_com['mean'], 2)
data = [(city_com['city'][i], city_com['count'][i]) for i in range(0, city_com.shape[0])]
geo = Geo('《爱情公寓》全国热力图', title_color="#fff",title_pos="center", width=1200, height=600, background_color='#404a59')
attr, value = geo.cast(data)
geo.add("", attr, value, type="heatmap",  is_visualmap=True, visual_range=[0, 20],visual_text_color="#fff")
geo.render('爱情公寓全国观影图.html')


在做第一张图表的时候,出现最大的问题就是pyecharts地图资源不全面,所以只好自己慢慢对Excel表筛除无效数据,着实是费了不少时间。从图中看出来,内陆确实人烟稀少,长三角,珠三角,沿海,北京,重庆都是金钱大佬,毕竟能去看电影,评得起分......

city_main = city_com.sort_values('count',ascending=False)[0:20]
attr = city_main['city']
v1 = city_main['count']
v2 = city_main['mean']
line = Line("主要城市评分")
line.add("城市", attr, v2, is_stack=True, xaxis_rotate=30, yaxis_min=0, mark_point=["max", "min"], xaxis_interval=0,
         line_color='lightblue', line_width=4, mark_point_textcolor='black', mark_point_color='lightblue', is_splitline_show=False)
bar = Bar("主要城市评论数")
bar.add("城市", attr, v1, is_stack=True, xaxis_rotate=30, yaxis_min=0, xaxis_interval=0, is_splitline_show=False)
overlap = Overlap()
overlap.add(bar)
overlap.add(line, yaxis_index=1, is_add_yaxis=True)
overlap.render('主要城市评分and评论数.html')


这边少了折线图y轴坐标的注释,明明程序里是有添加的,但是不知为何没有显示,我对城市其实没多大兴趣,主要想看就是电影评分,不过总的来说确实分低,也许这就是卖弄情怀的结果,欺骗了广大观众朋友的感情。


city_score = city_main.sort_values('mean',ascending=False)[0:20]
attr = city_score['city']
v1 = city_score['mean']
line = Line('爱情公寓主要城市评分')
line.add("城市", attr, v1, is_stack=True, xaxis_rotate=30, yaxis_min=0, mark_point=["min", "max"], xaxis_interval=0,
         line_color='lightblue', line_width=4, mark_point_textcolor='black', mark_point_color='lightblue', is_splitline_show=True)
line.render('爱情公寓主要城市评分.html')


最高:4.36分,最低:2.21分,数据收集的不少,应该还算可靠。


city_score_area = city_com.sort_values('count',ascending=False)[0:30]
city_score_area.reset_index(inplace=True)
data = [(city_score_area['city'][i], city_score_area['mean'][i]) for i in range(0, city_score_area.shape[0])]
geo = Geo('《爱情公寓》全国打分图', title_color="#fff",title_pos="center", width=1200, height=600, background_color='#404a59')
attr, value = geo.cast(data)
geo.add("", attr, value, visual_range=[0, 5],visual_text_color="#fff", symbol_size=15, is_visualmap=True,is_roam=False)
geo.render('爱情公寓全国打分图.html')


一片黄颜色的点点,评分大多在中间段


love_apartment_str = ' '.join(love_apartment_com['comment'])
words_list = []
word_generator = jieba.cut_for_search(love_apartment_str)
for word in word_generator:
    words_list.append(word)
words_list = [k for k in words_list if len(k)>1]
back_color = plt.imread('爱心.jpg')
wc = WordCloud(background_color='white',
               mask=back_color,
               font_path='C:\Windows\Fonts\STZHONGS.TTF',
               max_words=2000,
               max_font_size=250,
               random_state=30,
               )
love_apartment_count = Counter(words_list)
wc.generate_from_frequencies(love_apartment_count)
image_colors = ImageColorGenerator(back_color)
plt.figure()
plt.imshow(wc.recolor(color_func=image_colors))
plt.axis('off')
print('生成词云成功!')
wc.to_file('love_apartment.jpg')


生成的词云如下:

怎么说呢,一开始看跑男的节目的时候还以为有点搞头,慢慢的时间越长名堂也越来越明显了,网上的评论也是吐槽不少,不过这也不是我该操心的事了。

十年青春,说过就过,依稀还记得里面的一句台词:人生没有彩排,每一天都是现场直播。共勉!


如果大家周围有对数据分析&数据挖掘感兴趣的朋友,欢迎在朋友圈分享&转发我们的公众号,让更多的朋友加入数据森麟。有好的文章也可以联系我与大家分享,需要获取代码转载本公众号文章,可以直接在公众号或者文章下方留言

往期文章

在机器学习的项目中,特征是如何被找出来的

爬虫告诉你, 互联网大数据行业有多赚钱【数据挖掘&机器学习篇】

“水泊梁山“互联网有限公司一百单八将内部社交网络

Python爬虫&可视化第1季-城市旅游数据分析

Python爬虫&可视化第2季-舌尖上的“小龙虾”

人工智能在京东金融中的应用

    您可能也对以下帖子感兴趣

    文章有问题?点此查看未经处理的缓存