盘点 Pandas 中用于合并数据的 5 个最常用的函数!
如何在Pandas合并数据,大家肯定都不陌生。
作为一个初学者,我发现自己学了很多,却没有好好总结一下。正好看到一位大佬 Yong Cui 总结的文章,我就按照他的方法,给大家分享用于Pandas中合并数据的 5 个最常用的函数。这样大家以后就可以了解它们的差异,并正确使用它们了。
在文章开始之前,我们需要创建两个简单的 DataFrame 对象。
import pandas as pd
df0 = pd.DataFrame({"a": [1, 2, 3], "b": [4, 5, 6]})
df1 = pd.DataFrame({"c": [2, 3, 4], "d": [5, 6, 7]})
1、concat
concat 函数字面就是就是连接的意思,它可以帮我们横向或者纵向合并数据。
当你纵向合并数据时,需要将轴axis指定为0,这实际上也是默认值。
pd.concat([df0,
df1.rename(columns={"c": "a", "d": "b"})],
axis=0)
当你横向合并数据时,具体操作如下所示。
pd.concat([df0, df1], axis=1)
默认情况下,当我们横向合并数据(沿列)时,Pandas其实是按照索引来连接的。当两者的索引不相同时,就会用 NaN 填充不重叠的,举个例子如下所示。
df2 = df1.copy()
df2.index = [1, 2, 3]
pd.concat([df0, df2], axis=1)
这只是个小例子,如果希望它们不受索引的影响,可以先重置索引再执行concat连接。
pd.concat([df0.reset_index(drop=True),
df2.reset_index(drop=True)],
axis=1)
重置索引后,df0 和 df2 的索引就变得一致了。
2、join
与 concat 对比,join 专门用于使用索引连接 DataFrame 对象之间的列。
df0.join(df1)
当索引不同时,join连接默认保留来自左侧 DataFrame 的行。右侧 DF 中没有左侧 DF 中匹配索引的行,会被删除,如下所示:
df0.join(df2)
此外,还可以设置 how 参数,这点与SQL的语法一致。
# 右连接,使用 df2 的索引
df0.join(df2, how="right")
# "outer" 外连接
df0.join(df2, how="outer")
# "inner" 内连接(交集)
df0.join(df2, how="inner")
3、merge
与join相比,merge更通用,它可以对列和索引执行合并操作。
基于列的合并,可以这样操作。
df0.merge(df1.rename(columns={"c": "a"}),
on="a", how="inner")
on 参数定义两个 DataFrame 对象将合并到哪些列。当然,也可以分别指定左侧 DataFrame 和右侧 DataFrame 的合并列,如下所示。
df0.merge(df1, left_on="a", right_on="c")
除了 a 和 c 的单独列之外,它的结果与之前的合并几乎相同。这里,额外提两个特殊参数:笛卡尔积、使用后缀。
笛卡尔积
how 参数设置为cross
,构成笛卡尔积。是指两个数据框中的数据交叉匹配,出现n1*n2
的数据量,具体如下所示。
df0.merge(df1, how="cross")
使用后缀
当两个 DataFrame 对象有同名的列,且想保持同时存在,就需要添加后缀来重命名这两列。默认情况下,左右数据框的后缀是“_x”和“_y”,我们还可以通过suffixes参数自定义设置。
df0.merge(df1.rename(columns={"c": "a", "d": "b"}),
on="a", how="outer", suffixes=("_l", "_r"))
4、combine
combine 函数在两个 DataFrame 对象之间执行按列合并,它与之前的方法还是有很大不同的。combine 的特殊之处,在于它接受一个函数参数。此函数采用两个系列,每个系列对应于每个 DataFrame 中的合并列,并返回一个系列作为相同列的元素操作的最终值。听起来很混乱?
让我们举个例子,看一下:
def taking_larger_square(s1, s2):
return s1 * s1 if s1.sum() > s2.sum() else s2 * s2
df0.combine(df1.rename(columns={"c": "a", "d": "b"}), taking_larger_square)
自定义的 take_larger_square
函数对 df0 和 df1 中的 a 列以及 df0 和 df1 中的 b 列进行操作。在两列 a 和两列 b 之间,taking_larger_square
取较大列中值的平方。
在这种情况下,df1 的 a 列和 b 列将作为平方,产生最终值,如上面的代码片段所示
5、append
回顾前文,我们讨论的大多数操作都是针对按列来合并数据。
如果按行合并(纵向)该如何操作呢?append 函数专门用于将行附加到现有 DataFrame 对象,创建一个新对象。我们先来看一个例子。
df0.append(df1.rename(columns={"c": "a", "d": "b"}))
上面的操作是不是很眼熟?就跟第一个方法concat的实现效果一致。
不过除了逐行拼接DataFrame,append还可以附加 dict 字典对象,这种方法更加灵活,具体如下所示:
df0.append({"a": 1, "b": 2}, ignore_index=True)
上面显示了一个简单的例子。请注意,您必须将 ignore_index 设置为 True,因为字典对象没有 DataFrame 可以使用的索引信息。
小结
总结一下,我们今天重新学习了 Pandas 中用于合并数据的 5 个最常用的函数。他们分别是:
concat[1]:按行和按列 合并数据; join[2]:使用索引按行合 并数据; merge[3]:按列合并数据,如数据库连接操作; combine[4]:按列合并数据,具有列间(相同列)元素操作; append[5]:以DataFrame或dict对象的形式逐行追加数据。
参考资料
concat: https://pandas.pydata.org/docs/reference/api/pandas.concat.html
[2]join: https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.join.html#pandas.DataFrame.join
[3]merge: https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.merge.html#pandas.DataFrame.merge
[4]combine: https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.combine.html
[5]append: https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.append.html#pandas.DataFrame.append
一日一书
《Excel之美:迅速提高Excel数据能力的100个关键技能》:本书遵循“二八定律”,精心提炼Excel中最常用的20%的核心内容,整合成100个关键技能进行深入挖掘和详细讲解,帮助读者迅速提高数据处理能力并解决实际工作中80%的数据处理问题。列举的示例涉及行业领域广泛,既切合实际,又极具代表性和典型性。
点击这里,阅读更多数据文章!