图解Pandas重复值处理
公众号：尤而小屋
作者：Peter
编辑：Peter
大家好，我是Peter~
今天带来的文章是关于Pandas中重复值处理。Pandas中处理重复值主要使用的是两个函数：
duplicated()：判断是否有重复值 drop_duplicates() ：删除重复值
一、模拟数据
在本文中模拟了两份不同的数据：
1、一份订单数据，后面会使用
import pandas as pd
import numpy as np
# 导入一份模拟数据：待用
df1 = pd.read_excel("订单重复值.xlsx")
df1
2、模拟的另一份数据：
df2 = pd.DataFrame(np.ones([10,2]), # 生成6*2的全部为1的数据
columns=["col1","col2"]
)
df2
再增加了两个字段：都是从列表中随机有抽样放回的选取
# 增加两列
list1 = ["a","b"]
list2 = [2,3]
# 在列表中随机选择10个元素，有放回抽样
df2["col3"] = np.random.choice(list1,10)
df2["col4"] = np.random.choice(list2,10)
df2
二、判断重复值-duplicated()
函数的功能是检查数据中是否有重复值，用于标记 Series 中的值、DataFrame 中的记录行是否重复，重复为 True，不重复为 False。
每行数据都是和它前面的记录相比较。
2.1语法
针对DataFrame类型数据：
pandas.DataFrame.duplicated(subset=None,keep='first')
或者针对Series的数据：
pandas.Series.duplicated(keep='first')
keep参数的3种取值解释：
first：将重复项标记True为第一次出现的除外 last：将重复项标记True为最后一次除外 False：将所有重复项标记为True
2.2基本使用
通过这个函数能够判断哪些数据是重复的：重复标记为True，否则为False
2.3参数subset
df2.duplicated(subset=["col3"]) # 单独看col3列是否重复
# 结果
0 False
1 True
2 False
3 True
4 True
5 True
6 True
7 True
8 True
9 True
dtype: bool
df2.duplicated(subset=["col1"]) # 单独看col1：全部是1，后面全部是重复的
0 False
1 True
2 True
3 True
4 True
5 True
6 True
7 True
8 True
9 True
dtype: bool
上面的两个例子都是看单个字段是否重复，下面的例子是通过查看多个属性：
df2.duplicated(subset=["col3","col4"]) # 同时看col3和col4
0 False
1 True
2 False
3 True
4 True
5 True
6 True
7 False
8 False
9 True
dtype: bool
2.4参数keep
df2.duplicated(subset=["col3"],keep="last")
0 True
1 True
2 True
3 True
4 True
5 True
6 True
7 False # 第一次出现
8 True
9 False # 第一次出现
dtype: bool
上面的keep参数使用的是last，相当于是最后的一条数据是初始值，前面的值和它进行比较，是否有重复值 下面的案例中keep使用的first(默认)，相当于是将第一次出现的数据看做是初始值，后面的数据和它相比；如果重复标记为True
df2.duplicated(subset=["col3"],keep="first") # 默认是first
0 False # 第一次出现
1 True
2 False # 第一次出现
3 True
4 True
5 True
6 True
7 True
8 True
9 True
dtype: bool
df2.duplicated(subset=["col3"],keep=False) # 将所有的重复值标记为True
0 True
1 True
2 True
3 True
4 True
5 True
6 True
7 True
8 True
9 True
dtype: bool
三、drop_duplicates()
该函数的作用是删除数据中的重复值
3.1语法形式
subset：表示按照指定的一个或者多个列属性来删除重复值，可选性；默认是全部列属性 keep：表示删除重复值后保留的数据，默认是保留第一条数据 inplace：表示删除重复是生成副本，还是直接在原数据上进行修改。这个参数的功能在pandas的功能都是如此 ingoore_index：生成数据的索引是元数据的，还是从0,1,2...到n-1的自然数排列
下面是来自官网的参数解释：
3.2全部使用默认参数
上面的结果有两个特点：
索引还是原数据的索引 保留的数据是每条值的第一条（如果存在重复值） 判断是否重复，使用的是全部列属性 上面的数据就是下面判断是否重复的为False的数据（对比序号）
3.3参数subset
subset是可以指定我们想通过哪些属性来进行删除：
1、通过单个属性字段来删除
2、通过多个字段属性来删除
3.4参数keep
keep参数保留我们想要的数据：第一条还是最后一条
1、keep="first"
2、keep="last"
通过duplicated()查看数据是否重复，可以看多索引为7和9的数据为False，因为它们是最后一次出现
3.5参数ignore_index
该参数表示的是生成数据的索引是原数据的索引还是直接重新排名
3.6参数inplace
如果是使用默认值False：
如果inplace使用True，不会生成数据，因为是在原数据的基础上修改的，导致原数据直接变化了：我们直接看df2
四、实战案例
在文章的最开始，我们已经导入了数据，几点需求说明：
每个订单可能存在多个状态，也可能只存在一个 我们想要找出最终的订单状态为“通过”的订单的所有数据
比如订单S1，存在3条状态，有两条是通过的，但是我们只想取出最近的一条通过的数据：2021-01-06
解决步骤1：先找出通过的全部订单，发现只有S7没有通过
通过下面的代码也能够找出最终是通过的订单：
order_pass = df1.query("状态 == '通过'")["订单号"].unique()
order_pass
解决步骤2：筛选出最终状态为通过的订单信息，下面提供了两种方式
解决步骤3：对df3进行去重即可
df3.drop_duplicates(
subset="订单号", # 根据订单号去重
keep="last", # 保留最后一条
inplace=True, # 原地修改
ignore_index=True # 索引重排
)
df3 # 结果中没有S7
五、Pandas连载文章
Pandas的文章已经形成连载，欢迎关注阅读：
推荐阅读
尤而小屋，一个温馨的小屋。小屋主人，一手代码谋求生存，一手掌勺享受生活，欢迎你的光临