数据处理基石：数据探索
公众号：尤而小屋
作者：Peter
编辑：Peter
大家好，我是Peter~
本文介绍的是Pandas数据初探索。当我们生成或者导入了数据之后，通过数据的探索工作能够快速了解和认识数据基本信息，比如数据中字段的类型、索引、最值、缺失值等，可以让我们对数据的全貌有一个初步了解。
一、思维导图
二、模拟数据
本文中的方法介绍使用的是一份模拟数据，有字符型、数值型，还有时间类型；同时数据中刻意存在了缺失值：
使用pandas的read_excel方法对数据进行读取：
同时生成一个Series类型数据：
三、数据样本
3.1 头尾数据查看
head(N)：默认是头部5条，可以指定查看N条 tail(N)：默认是尾部5条，可以指定查看N条
3.2 随机查看sample
默认是随机看一条数据，也可以指定查看的条数：
四、查看数据形状shape
在这里的形状指的是数据有多少行和多少列，通过查看数据的shape就能知道数据的大小
DataFrame类型：两个数值，表示行和列 Series类型：只有行数
五、数据大小size
数据大小表示的是数据中总共有多少个数据，即shape方法的结果中两个数值相乘
df.size # 56=7*8
六、数据维度ndim
表示数据是多少维，比如二维，三维等
七、数据基本信息info
显示数据类型、索引情况、行列数、列属性名称、占用的内存等信息；Series数据没有该方法
八、数据类型dtypes
df.dtypes # 每个列属性的数据类型
s.dtype # 没有s，结果一个类型
九、列属性和行索引
通过axes来查看；DataFrame数据既有行索引也有列名，Series数据只有行索引。
十、查看行索引
通过专门的index属性来查看行索引
十一、查看列属性
df.columns
十二、查看数据值
两个方法或属性查看：
values to_numpy()
十三、查看缺失值
在数据帧中如果存在缺失值，则用True表示，否则取值为False：
十四、查看内存情况memory_usage()
查看每列的内存使用情况，以字节为单位：
df.memory_usage()
s.memory_usage()
十五、统计信息
描述信息只针对数值型的数据，可以看到该字段中数据的统计值信息
15.1 整体信息describe
返回的是数值型数据中的个数、均值、方差、四分位数等统计值情况
df.describe()
15.2 查看均值
一般 DataFrame 计算后为一个 Series，Series 计算后是一个具体的数值
下面的代码是按照列来计算均值：
df.mean() # 按列计算
# 结果
age 21.714286
chinese 111.285714
math 117.000000
english 119.571429
dtype: float64
查看某个列的均值：
df["math"].mean() # 117.0
下面的代码是按照行来计算均值：
df.mean(1) # 按照行计算
0 89.50
1 96.25
2 87.50
3 93.50
4 89.25
5 95.50
6 95.25
dtype: float64
十六、Pandas内置数学计算方法
Pandas中内置的多种数学计算函数
# 默认按照列0计算，1表示按照行计算
df.abs() # 绝对值
df.mode() # 众数
df.mean() # 返回所有列的均值
df.mean(1) # 返回所有行的均值
df.max() # 返回每一列的最大值
df.min() # 返回每一列的最小值
df.median() # 返回每一列的中位数
df.std() # 返回每一列的标准差, 贝塞尔校正的样本标准偏差
df.var() # 无偏方差
df.corr() # 返回列与列之间的相关系数
df.count() # 返回每一列中的非空值的个数
df.prod() # 连乘
df.mad() # 平均绝对偏差
df.cumprod() # 累积连乘,累乘
df.cumsum(axis=0) # 累积连加,累加
df.nunique() # 去重数量，不同值的量
df.sem() # 平均值的标准误差
df.idxmax() # 每列最大的值的索引名
df.idxmin() # 最小
df.cummin() # 累积最小值
df.cummax() # 累积最大值
df.skew() # 样本偏度 (第三阶)
df.kurt() # 样本峰度 (第四阶)
df.quantile() # 样本分位数 (不同 % 的值)
十七、总结
本文主要是对Pandas中的数据探索做了一个详细介绍，帮助我们快速了解数据的基本信息，同时也方便后续的数据处理和分析。
推荐阅读
尤而小屋，一个温馨的小屋。小屋主人，一手代码谋求生存，一手掌勺享受生活，欢迎你的光临