近7年上海天气数据抓取和分析（含代码）--分析部分
前言
在近7年上海天气数据抓取和分析（含代码）—爬虫部分一文中我们介绍了如何使用R语言对天气网进行爬虫，抓取上海近7年的天气数据，相信大家按部就班的操作文章代码时，应该觉得用R语言爬虫很简单了吧。今天，我们接着抓取的天气数据，使用R语言中的ggplot2包对其进行探索性分析。
开始探索
一、数据处理
探索之前，我们再来看一下抓取下来的数据结构。
# 加载第三方包
library(lubridate)
library(dplyr)
library(ggplot)
library(gridExtra)
# 数据读取
tot_info <- read.csv('weather.csv')
# 数据结构查询
str(tot_info)由于爬虫后获得的数据都是字符串，所以将weather数据集读入到R内，所有变量都成了因子型变量，为了下面的进一步分析，我们需要将数据集中的变量进行类型的转换。
# 日期类型转换
tot_info$date <- as.Date(tot_info$date)
# 数值类型转换
tot_info$low <- as.numeric(as.character(tot_info$low))
tot_info$high <- as.numeric(as.character(tot_info$high))
# 按照日期，升序排序
tot_info <- tot_info[order(tot_info$date), ]
# 数据结构查看
str(tot_info)除此之外，我们还需要将日期数据进行拆分，拆分为年、月和日，同时将年月日转化为因子，除此还根据每天的最高温和最低温，计算温差。
# 拓展衍生变量
tot_info <- transform(tot_info, year = factor(year(date)),
month = factor(month(date)),
day = factor(day(date)),
diff = high - low)
head(tot_info)二、数据探索
上海近7年的最高或最低温度的趋势如何？
# 近7年最高气温
p1 <- ggplot(data = tot_info, aes(x = date, y = high)) +
geom_line(colour = 'steelblue') + # 绘制线图
scale_x_date(date_breaks = '6 months', date_labels = '%y-%m') # 设置x轴刻度标签
# 近7年最低气温
p2 <- ggplot(data = tot_info, aes(x = date, y = low)) +
geom_line(colour = 'steelblue') +
scale_x_date(date_breaks = '6 months', date_labels = '%y-%m')
# 两张图合并到一起
grid.arrange(p1, p2, ncol = 1, nrow = 2)图形非常像我们以前学的y=sin(x)函数，非常具有规律性，反映了最高气温和最低气温存在周期波动性。既然气温在一年四季内存在明显的波动，那么温差会不会比较平稳呢？
上海近7年温差是如何波动的？
# 近7年温差波动
p3 <- ggplot(data = tot_info, aes(x = date, y = diff)) +
geom_line(colour = 'steelblue') +
scale_x_date(date_breaks = '6 months', date_labels = '%y-%m') +
geom_hline(yintercept = 12.5, colour = 'red') # 水平参考线
p3你会发现，每天的温差基本上还是比较平稳的，落在3~8度之间，当然也会存在一些气温异常的时候，温差能够达到10度以上。了解了整体近7年的温度趋势和温差波动情况，是不是可以纵向对比一下近3年各个月的温度情况。
近3年各月最低气温对比
# 近三年各月最低气温趋势
p4 <- ggplot(data = tot_info[tot_info$year %in% 2015:2017,],
aes(x = day, y = low, group = year, colour = year)) +
geom_line(size = 1) +
scale_x_discrete(breaks = seq(1,31,5)) + # 设置x轴刻度标签
facet_wrap('month') + # 分面绘图
theme(legend.title = element_blank())
p4对比发现，在近三年的5/6/8/9月份，最低气温趋势还是非常一致的，三条线几乎重合。而在7月份，2015年相对比较凉爽。再看其他月份，2016年的1月23号左右，气温骤降的特别厉害，还记得去年1月份上海的好多小区水管爆裂吗？而在2016年10月21日，气温居然降到了0度附近。。。。
同理，我们再贴上近3年最高气温趋势图和温差波动图的代码。
# 近三年最高气温趋势
p5 <- ggplot(data = tot_info[tot_info$year %in% 2015:2017,],
aes(x = day, y = high, group = year, colour = year)) +
geom_line(size = 1) +
scale_x_discrete(breaks = seq(1,31,5)) +
facet_wrap('month') +
theme(legend.title = element_blank())
p5
# 近三年温差趋势
p6 <- ggplot(data = tot_info[tot_info$year %in% 2015:2017,],
aes(x = day, y = diff, group = year, colour = year)) +
geom_line(size = 1) +
scale_x_discrete(breaks = seq(1,31,5)) +
facet_wrap('month') +
theme(legend.title = element_blank())
p6通过上面的图形对比，我们可以发现关于气温的一些规律，以及少数的异常天气。如果我想在一张图上，完全展示每一天的最高或最低气温，可以借助于热力图来完成。
热力图展示每天的最高气温分布
# 分面的年月日热力图
p7 <- ggplot(data = tot_info, aes(x = day, y = month, fill = high)) +
geom_tile(colour = 'black') +
scale_x_discrete(breaks = seq(1,31,5)) + # 设置x轴刻度标签
scale_y_discrete(breaks = seq(1,12,2)) + # 设置y轴刻度标签
scale_fill_gradient(low = 'blue', high = 'yellow') + # 颜色配置
facet_wrap('year') # 按年绘制分面图形
p7一眼就可以发现中间段的亮黄色是气温比较高的月份，即6/7/8月份，再往两边扩展，逐渐进入冷紫色，气温开始下降，基本上就是年初和年末的两个季度了。
前面分析的内容全都是基于温度相关的时间序列图形，从抓取下来的数据集中，还包含了关于天气的字段，如晴、多云、小雨这样的信息。接下来我们就来看看近一年中，每个月上海的天气分布状况，从而有助于了解各个月的天气特征。
# 提取近一年的数据子集
weather1year <- subset(tot_info, date>='2016-09-01')
# 数据集的汇总
df <- group_by(weather1year, year, month, weather) %>% summarise(., freq = n())
# 拓展衍生变量
df <- transform(df, year_month = paste0(year,'-',month))
# 因子化处理，便于后面画图展现的顺序
df$year_month <- factor(df$year_month, levels =
c('2016-9','2016-10','2016-11','2016-12',
'2017-1','2017-2','2017-3','2017-4',
'2017-5','2017-6','2017-7','2017-8'),
ordered = TRUE)
# 绘图
p8 <- ggplot(data = df, aes(x = reorder(weather,-freq), y = freq)) +
geom_bar(stat = 'identity', fill = 'steelblue') +
coord_cartesian(ylim = c(0, 15)) + # 控制Y轴的范围
labs(x = NULL, y = '天数', title = '2016.9~2017.8上海天气状况') +
facet_wrap('year_month') + # 按年月作分面图形
geom_text(aes(label = freq),vjust = 0,
size = 3, colour = 'black') + # 为每个条柱添加数值标签
theme(axis.text.x = element_text(angle = 60),
plot.title = element_text(hjust = 0.5, face = 'bold')) # 主题设置
p8从图中可知，9月份和10月，分别近半个月都在滴滴答答的下雨，正是处于梅雨季节。11月，12月及次年的1月雨水相对会少一些，更多的是多云和阴天天气。在整个近一年中，4月份的晴天天气是最多的，其次是2月份。
好啦，今天就介绍这么多，感兴趣的朋友可以跟着文章中的代码，练一练ggplot2的绘图功能。关于绘图，后期也会陆陆续续的出一些相关文章，期待大家的讨论与学习。
每天进步一点点2015
学习与分享，取长补短，关注小号！
长按识别二维码 马上关注