查看原文
其他

对比MySQL学习Pandas的groupby分组聚合

脚本之家 2021-06-29

The following article is from 凹凸数据 Author 黄伟呢

  脚本之家

你与百万开发者在一起

本文经授权转自公众号 凹凸数据(ID:alltodata)

如若转载请联系原公众号


01

MySQL和Pandas做分组聚合的对比说明


1)都是用来处理表格数据


不管是mysql,还是pandas,都是处理像excel那样的二维表格数据的。对于一个二维表,每一行都可以看作是一条记录,每一列都可以看作是字段。


2)分组聚合的风格不同


学过mysql的人都知道,mysql在做数据处理和统计分析的时候,有一个很大的痛点:语法顺序和执行顺序不一致,这就导致很多初学者很容易写错sql语句。


业界处理像excel那样的二维表格数据,通常有如下两种风格:

* DSL风格:使用面向对象的方式来操作,pandas就是采用这种方式,通俗说就是“语法顺序和执行顺序一致”。
* SQL风格:写sql语句来处理。


3)从代码角度,说明两者的不同


① mysql

语法顺序:

SELECT Column1, Column2, mean(Column3), sum(Column4)
FROM SomeTable
WHERE Condition 1
GROUP BY Column1, Column2
HAVING Condition2

逻辑执行顺序:

from...where...group...select...having...limit

② pandas

语法顺序和逻辑执行顺序:

df[Condition1].groupby([Column1,Column2],as_index=False).agg({Column3: "mean",Column4:"sum"})

③ 图示说明


首先from相当于取出MySQL中的一张表,对比pandas就是得到了一个df表对象。


然后就是执行where筛选,对比pandas就相当于写一个condition1过滤条件,做一个分组前的筛选筛选。


接着就是执行group分组条件,对比pandas就是写一个groupby条件进行分组。


再接着就是执行select条件,聚合函数就是写在select后面的,对比pandas就是执行agg()函数,在其中针对不同的列执行count、max、min、sum、mean聚合函数。


最后执行的是having表示分组后的筛选,在pandas中,通过上图可以发现我们得到了一个df1对象,针对这个df1对象,我们再做一次筛选,也表示分组后的筛选。


综上所述:只要你的逻辑想好了,在pandas中,由于语法顺序和逻辑执行顺序是一致的,你就按照逻辑顺序写下去,就很容易了。


4)用一个例子讲述MySQL和Pandas分组聚合


① 求不同deptno(部门)下,sal(工资)大于8000的部门、工资;



② mysql中代码执行如下

select deptno,sum(sal) sums
from emp
group by deptno
having sums > 9000;

结果如下:


③ pandas中代码执行如下

df = pd.read_excel(r"C:\Users\黄伟\Desktop\emp.xlsx")
display(df)

df = df.groupby("deptno",as_index=False).agg({"sal":"sum"})
display(df)

df1 = df[df["sal"]>9000]
display(df1)

结果如下:




02

groupby分组聚合的原理说明


1)原理图


2)原理说明

split:按照指定规则分组,由groupby实现;

apply:针对每个小组,使用函数进行操作,得到结果,由agg()函数实现;

combine:将每一组得到的结果,汇总起来,得到最终结果;


注意:combine这一步是自动完成的,因此针对pandas中的分组聚合,我们只需要学习两个内容,① 学习怎么分组;② 学习如何针对每个分组中的数据,进行对应的逻辑操作;



03

groupby分组对象的相关操作


我们可以通过groupby方法来对Series或DataFrame对象实现分组操作,该方法会返回一个分组对象。但是,如果直接查看(输出)该对象,并不能看到任何的分组信息。


1)groupby()函数语法

① 语法如下

* groupby(by=["字段1","字段2",...],as_index=True)

② 参数说明

* by参数传入的分组字段,当只有一个字段的时候,可以直接写by="字段1"。当多字段联合分组的时候,就写成列表形式by=["字段1","字段2"]。
* as_index参数的使用如图所示



③ 参数as_index的使用说明

x = {"name":["a","a","b","b","c","c","c"],"num":[2,4,0,5,5,10,15]}
df = pd.DataFrame(x)
display(df)

df.groupby("name",as_index=True).agg({"num":"sum"})
df.groupby("name",as_index=False).agg({"num":"sum"})

结果如下:


2)groupby分组对象的常用方法或属性。


① groups属性:返回一个字典,key表示组名,value表示这一组中的所有记录;


② size()方法:返回每个分组的记录数;

x = {"name":["a","a","b","b","c","c","c"],"num":[2,4,0,5,5,10,15]}
df = pd.DataFrame(x)
display(df)

df.groupby("deptno").groups
df.groupby("deptno").size()

结果如下:


3)使用for循环打印groupby()分组对象中每一组的具体数据

x = {"name":["a","a","b","b","c","c","c"],"num":[2,4,0,5,5,10,15]}
df = pd.DataFrame(x)
display(df)

groupdf = df.groupby("name")
for (x,y) in groupdf:
display(x, y)

结果如下:


4)groupby()分组参数的4种形式

使用groupby进行分组时,分组的参数可以是如下的形式:
* 单字段分组:根据df中的某个字段进行分组。
* 多字段分组:根据df中的多个字段进行联合分组。
* 字典或Series:key指定索引,value指定分组依据,即value值相等的记录,会分为一组。
* 自定义函数:接受索引,索引相同的记录,会分为一组。

使用如下数据演示这4种分组参数:

df = pd.DataFrame({"部门":["A", "A", "B", "B"],
"小组":["g1", "g2", "g1", "g2"],
"利润":[10, 20, 15, 28],
"人员":["a", "b", "c", "d"],
"年龄":[20, 15, 18, 30]})
display(df)

结果如下:

① 单字段分组:根据df中的某个字段进行分组。

g = df.groupby("部门")
display(g)

for (x,y) in g:
display(x, y)

结果如下:

② 多字段分组:根据df中的多个字段进行联合分组。

g = df.groupby("部门")
display(g)

for (x,y) in g:
display(x, y)

结果如下:


③ 字典:key指定索引,value指定分组依据,即value值相等的记录,会分为一组。

g = df.groupby({0:1, 1:1, 2:1, 3:2})
display(g)

for (x,y) in g:
display(x, y)

结果如下:



④ Series:分组排序(很重要)

df = pd.DataFrame({"部门":["A", "A", "A", "B", "B", "B"],
"利润":[10, 32, 20, 15, 28, 10],
"销售量":[20, 15, 33, 18, 30, 22]})
display(df)

df["排名"] = df["销售量"].groupby(df["部门"]).rank()
df

结果如下:


⑤ 自定义函数:将部门A、B分为一组,C单独成为一组(很特别的需求)

df = pd.DataFrame({"部门":["A", "A", "B", "B", "C", "C"],
"小组":["g1", "g2", "g1", "g2", "g1", "g2"],
"利润":[10, 20, 15, 28, 12, 14],
"人员":["a", "b", "c", "d", "e", "f"],
"年龄":[20, 15, 18, 30, 23, 34]})
df = df.set_index("部门")
display(df)

def func(x):
if x=="A" or x=="B":
return 0
else:
return 1

g = df.groupby(func)
display(g)

for (x,y) in g:
display(x, y)

结果如下:



04

agg()聚合操作的相关说明


当使用了groupby()分组的时候,得到的就是一个分组对象。当没有使用groupby()分组的时候,整张表可以看成是一个组,也相当于是一个分组对象。


针对分组对象,我们既可以直接调用聚合函数sum()、mean()、count()、max()、min(),还可以调用分组对象的agg()方法,然后像agg()中传入指定的参数。


1)直接针对分组对象,调用聚合函数


① 针对df整张表,直接调用聚合函数

df = pd.DataFrame({"部门":["A", "A", "B", "B", "C", "C"],
"小组":["g1", "g2", "g1", "g2", "g1", "g2"],
"利润":[10, 20, 15, 28, 12, 14],
"人员":["a", "b", "c", "d", "e", "f"],
"年龄":[20, 15, 18, 30, 23, 34]})
display(df)

df["利润"].mean()
df[["年龄","利润"]].mean()

结果如下:

② 针对df分组后的对象,直接调用聚合函数

df = pd.DataFrame({"部门":["A", "A", "B", "B", "C", "C"],
"小组":["g1", "g2", "g1", "g2", "g1", "g2"],
"利润":[10, 20, 15, 28, 12, 14],
"人员":["a", "b", "c", "d", "e", "f"],
"年龄":[20, 15, 18, 30, 23, 34]})
display(df)

df.groupby("部门")["利润"].mean()
df.groupby("部门").mean()

结果如下:

2)直接针对分组对象,调用agg()函数(很重要)


下面知识的讲解,涉及到“聚合函数字符串”,这是我自己起的名字,类似于"sum"、"mean"、"count"、"max"、"min",都叫做“聚合函数字符串”。同时还需要注意一点,agg()函数中还有一个axis参数,用于指定行、列。

* df.agg("mean")
* df.agg(["mean", "sum", "max"])
* df.agg({"利润":["mean", "sum"] , "年龄":["max", "min"]})
* df.agg(lambda x: x.mean())

① 传入单个聚合函数字符串

df = pd.DataFrame({"部门":["A", "A", "B", "B"],
"利润":[10, 20, 15, 28],
"年龄":[20, 15, 18, 30]})
display(df)

df1 = df.groupby("部门").agg("mean")
display(df1)

结果如下:


② 传入多个聚合函数字符串

df = pd.DataFrame({"部门":["A", "A", "B", "B"],
"利润":[10, 20, 15, 28],
"年龄":[20, 15, 18, 30]})
display(df)

df1 = df.groupby("部门").agg(["sum","mean"])
display(df1)

结果如下:

③ 传入一个字典:可以针对不同的列,提供不同的聚合信息。

df = pd.DataFrame({"部门":["A", "A", "B", "B"],
"利润":[10, 20, 15, 28],
"年龄":[20, 15, 18, 30]})
display(df)

df1 = df.groupby("部门").agg({"利润":["sum","mean"],"年龄":["max","min"]})
display(df1)

结果如下:

④ 传入自定义函数

df = pd.DataFrame({"部门":["A", "A", "A", "B", "B", "B"],
"利润":[10, 32, 20, 15, 28, 10],
"销售量":[20, 15, 33, 18, 30, 22]})
display(df)

df.groupby("部门").agg(lambda x:x.max()-x.min())

结果如下:


- END -



更多精彩


在公众号后台对话框输入以下关键词

查看更多优质内容!


女朋友 | 大数据 | 运维 | 书单 | 算法

大数据 | JavaScript | Python | 黑客

AI | 人工智能 | 5G | 区块链

机器学习 | 数学 | 送书

●  人人都欠微软一个正版?

●  脚本之家粉丝福利,请查看!

●  程序员怒打产品经理,这个需求做不了

● 致敬经典:Linux/UNIX必读书单推荐给你

 一个故事讲完CPU的工作原理

● 终于有人把 Nginx 说清楚了,图文详解!

    您可能也对以下帖子感兴趣

    文章有问题?点此查看未经处理的缓存