查看原文
其他

七夕节:介绍3个超实用的Pandas宝藏函数

Peter 尤而小屋 2022-05-28

大家好,我是Peter~

在此祝大家七夕快乐呀❤️


在利用Pandas进行数据处理的时候,我们经常需要对某行或者某列的数据、甚至是全部的元素执行某个相同的操作。

Pandas中的mapapplyapplymap就可以解决绝大部分类似的数据处理需求,让你避免重复操作。本文结合具体的例子来讲解如何使用这3个宝藏函数。

Pandas连载文章

目前已经连载了17篇文章,其中1-16篇属于《深入浅出Pandas数据分析》的第一版,从第17篇的透视表和交叉表开始,属于进阶内容。

握草!居然有这样的读者!

生日快乐:尤而小屋两周岁啦

27000字,103天,16篇文章!

模拟数据

下面是一份主要模拟的数据,几位同学的个人信息(数据仅供学习)

import numpy as np
import pandas as pd

data = pd.DataFrame({"name":["小明","小红","小张","小周","小孙","小王"],
                     "sex":["男","女","女","男","男","男"],
                     "birthday":["2003-07-07","1993-08-09","1999-03-05","1995-08-19","2002-11-18","1996-07-01"],
                     "address":["深圳南山区","广州越秀区","浙江杭州","上海","北京海淀","湖北省武汉市武昌"],
                     "age":[18,28,22,26,19,25],
                     "height":[189,178,167,172,182,185],
                     "weight":[89,72,62,68,79,81]
                    })
data

我们看下数据类型:前面4个都是字符类型,后面的3个数值型

map

假设我们现在有个这样的需求:因为有时候处理数据的时候必须使用数值型数据,将上面数据的性别这栏中的男替换成1,女替换成0。

该如何实现呢?

方法1:循环

如果你不想搞得那么复杂:通过循环判断性别的男女,然后直接赋值来实现。

每次操作之前,我们先生成一个模拟数据的副本,不破坏原始数据

写个循环进行赋值:

方法2:map实现

循环的方法就是比较容易理解,写起来更方便;但是当我们的数据量过大的时候,循环就会太慢啦。使用map如何实现?

还是先生成一个副本:

1、通过字典的映射关系

2、写个函数传给map

map使用小结:使用字典或者函数传递给map方法,它都会对传入的数据逐个当做参数传入到字典或者函数中,然后得到映射的值

apply

apply方法在使用的时候和map是比较类似的,只不过apply更全、更强大,它能够传入更为复杂的函数,通过例子来讲解下。

参数

DataFrame.apply(
  func, # 待执行的函数
  axis=0,   # 沿着哪个轴操作,默认是0-index,1-column
  raw=False# 是否转成numpy的ndarray数组进行操作,默认是false
  result_type=None# expand’, ‘reduce’, ‘broadcast’, None  # 当axis=1执行,对列属性名进行操作
  args=(), # 两个可选参数
  **kwargs)

进行操作之前还是先生成一个副本data3:

传入不同函数

在apply方法中我们可以传入各种不同的函数:

  • 自定义函数
  • python匿名函数
  • python自带函数
  • pandas自带函数

1、自定义函数

我们传入自定义函数:上面的改变性别表示方法的函数

假设上面的年龄age都是实岁,我们想看每个人的虚岁,也就是给年龄加上1(age+1),该如何处理?

2、python的匿名函数:lambda

3、python自带函数

我们传入的是python自带的len函数,求解每个字符串的长度:

4、pandas自带函数

我们模拟数据的时候,字段birthday是字符类型,现在我们使用pandas中自带的函数转成时间相关的数据类型:

转化前

转化后

指定轴

可以指定axis参数,表示根据哪个轴进行操作,默认是axis=0,列方向上

为了说明这个参数,我们在模拟一个简单的数据:

从默认情况、axis=0、axis=1进行对比:

看看过Excel中的效果:

result_type

主要是对新生成的DataFrame的列名进行操作,且只能在axis=1上进行操作,3种取值情况:

  • expand
  • broadcast
  • reduce

1、使用result_type="expand"

2、使用result_type="broadcast"

列名保持不变化

3、使用result_type="reduce"

最终生成的是一个Series类型的数据

applymap

applymap的使用具有一定的限制性,它是针对DataFrame的每个数据执行相同的操作。

DataFrame.applymap(func, na_action=None, **kwargs)

为了说明,模拟一份简单的数据:

可以看到,上面的数据都是一个类型float64。

每个数据加1

每个数据保留3位小数

格式化输出数据:每个数据保留3位小数

改变数据类型

上面的模拟数据df的数据类型是float64,现在将它们统一转成str类型:

缺失值处理

如果数据中存在缺失值,使用na_action参数来处理:

总结

对数据的行、列进行同一个操作十分常见,本文结合各种例子进行了讲解:

  • map:能够满足绝大部分Series类型数据的同一个操作
  • apply:map的功能都能够实现,比较灵活,能够传入各种复杂或者自带的函数进行数据处理
  • applymap:对DataFrame中的数据执行同一个操作,使用较少


推荐阅读


开启Pandas进阶:图解Pandas透视表、交叉表
27000字,103天,16篇文章!
图解Pandas的轴旋转函数:stack和unstack
挑战SQL:图解Pandas的数据合并merge
数据分析师=7大主题,24份资料

尤而小屋,一个温馨的小屋。小屋主人,一手代码谋求生存,一手掌勺享受生活,欢迎你的光临

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存