Python 爬取了 121.3 万条大众点评，告诉你哪里的小龙虾才是一绝！

俗语有云，酷暑三伏钓早晚。那么啤酒配上小龙虾，岂不甚妙哉？本文是一篇吃货指南，给广大的小龙虾爱好者扒一扒，哪里的小龙虾才是一绝。

题图来源：金渡广告摄影

获得数据

本次数据我们爬取了大众点评中所有打上小龙虾标签的餐厅。

从上图中可以看出，我们可以获得餐厅的人均消费、点评数量、推荐菜、评分（口味、环境、服务）等信息，用于我们之后的分析。我们此次总共爬取到了225个城市，6758个餐厅，121.3万条评论。

我们截取其中的部分核心代码：

1. def find_city_page(path):

2.    data = pd.read_excel(path)

3.    city_lobster_page = pd.DataFrame()

4.    driver = webdriver.Chrome()    

5.    for i in range(0,len(data)):

6.        try:

7.            js='window.open("'+data['city_lobster_url'][i]+'")'

8.            driver.execute_script(js)

9.            bsObj = BeautifulSoup(driver.page_source,'html.parser')

10.            bs = bsObj.find_all('a',attrs={'class':'PageLink'})

11.            this_city_lobster={'city_name':data['city_name'][i],

12.                               'page_num':max([int(l.text ) for l in bs])}

13.             city_lobster_page = city_lobster_page.append(this_city_lobster,ignore_index=True)
    

14.        except:

15.            continue

16.    return city_lobster_page

城市对比

首先要进行分析的是各个城市的小龙虾热度。我们以带有“小龙虾”标签的餐厅评论总和作为最终的对比依据，得到的TOP20城市如下：

可以看出上海市的点评数遥遥领先，可能存在以下两个因素：a.上海市的小龙虾餐厅数量较多，本身存在较大的消费群体；b.大众点评总部在上海，上海的商户入驻数量较多。有兴趣的朋友可以进行更深一步的研究。

圈定了TOP20城市后，我们首先看一下TOP20城市小龙虾的人均消费：

该项统计中，包邮区占据了靠前的位置，体现出来包邮区对小龙虾的热情和自身的消费水平。同时可以看到株洲的人均消费接近于上海的一半，有机会到湖南旅游的朋友可以考虑到株洲品尝物美价廉的小龙虾。

紧接着要看的是TOP20城市味道、环境、服务三部分的分数情况：

我们发现服务分与环境分排序相同，二者具有极强的相关性，符合通常认知。同时可以看到在三项分数中，北方的四个城市天津、西安、北京、青岛各项指标均处于靠前的位置，其中天津的服务和环境均处于首位。

结合下图全国小龙虾热力图，似乎有些有悖于大家的认知。

由此我们可以得出在小龙虾整体热度比较强的区域，人们对于小龙虾各方面的要求会相应提高，相反在整体热度偏低区域，人们评价时会相对宽容。同时我们看到海口的各项指标均处于最后一位，需要进行相应的调整。

探索龙虾

我们看过了各个城市的情况后，进一步看一下小龙虾本身的一些有趣的内容，首先看一下龙虾的口味，我们选取了各个餐厅中带有龙虾的推荐菜，分词后获得TOP20的口味：

十三香、蒜蓉、麻辣高居前三位，根据笔者的经验，这基本上是符合大家整体口味的选择。TOP20中的蛋黄、白灼对于笔者而言相对陌生，有品尝过的朋友可以分享一些这些口味的体验。

看完了口味，再看一下龙虾的好丽友：

螺丝、花甲、毛豆位高居TOP3，看来大家吃龙虾的时候，会希望同时选择一些不用摘手套就可以享用的食物，毕竟吃的过程中频繁摘手套会比较费劲。

龙虾画像

目前互联网公司中非常普遍地会进行一些人群画像的分析，我们在这里借用一下这个概念，也为小龙虾绘制一副专属的画像。下面展示的两幅图分别是词云图和模板原图：

部分词云绘制代码如下：

1. # 解析小龙虾图片

2. back_color = imread('小龙虾.jpg')  # 解析该图片

3. # 参数配置

4. wc = WordCloud(background_color='white',  # 背景颜色

5.               max_words=300,  # 最大词数

6.               mask=back_color,  # 以该参数值作图绘制词云，这个参数不为空时，width和height会被忽略

7.               max_font_size=100,  # 显示字体的最大值

8.               font_path="C:/Windows/Fonts/simhei.ttf",  # 解决显示口字型乱码问题，可进入C:/Windows/Fonts/目录更换字体

9.               random_state=4,  # 为每个词返回一个PIL颜色

10.               #width=2000,  # 图片的宽

11.               #height=1860  #图片的长

12.               )

13. # 通过encounter计数器生成词云

14. wc.generate_from_frequencies(word_counts)

15. # 基于彩色图像生成相应彩色

16. image_colors = ImageColorGenerator(back_color)

17. # 绘制词云

18. plt.figure()

19. plt.imshow(wc.recolor(color_func=image_colors))

20. plt.axis('off')

特（hei）色（an）龙虾

文章最后我们放上几个之前分词发现的特色口味龙虾，或许下一个网红龙虾就在其中。

这些小龙虾的口味是你喜欢的吗？

作者：徐麟，知乎同名专栏作者，目前就职于上海唯品会产品技术中心，哥大统计数据狗，从事数据挖掘&分析工作，喜欢用R&Python玩一些不一样的数据。个人公众号：数据森麟（ID:shujusenlin）。

声明：本文为作者投稿，版权归对方所有。

_“征稿啦_”

CSDN 公众号秉持着「与千万技术人共成长」理念，不仅以「极客头条」、「畅言」栏目在第一时间以技术人的独特视角描述技术人关心的行业焦点事件，更有「技术头条」专栏，深度解读行业内的热门技术与场景应用，让所有的开发者紧跟技术潮流，保持警醒的技术嗅觉，对行业趋势、技术有更为全面的认知。

如果你有优质的文章，或是行业热点事件、技术趋势的真知灼见，或是深度的应用实践、场景方案等的新见解，欢迎联系 CSDN 投稿，联系方式：微信（guorui_1118，请备注投稿+姓名+公司职位），邮箱（[e-mail]）。

————— 推荐阅读 —————