查看原文
其他

Pandas用了一年,这3个函数是我最爱…

The following article is from 小数志 Author luanhz

关注上方“Python数据科学”,选择星标,

精彩文章不会错过!


作为一名数据分析师,也是Pandas重度依赖者,虽然其提供了大量便利的接口,但其中的这3个却使用频率更高!本文主要介绍pandas.DataFrame的三个接口,即assign、eval、query,分别用于赋值、查询和执行计算。
注:本文短平快,5分钟可完成阅读了解3个高效的接口。
01 assign在数据分析处理中,赋值产生新的列是非常高频的应用场景,简单的可能是赋值常数列、复杂的可能是由一列产生另外一个一列,对于这种需求pandas有多种方法实现,但个人唯独喜欢assign,用起来优雅高效。

例如,对于以上简单的DataFrame数据框,需要创建一个新的列C,一般来说可能有3种创建需求:常数列、指定序列数据以及由已知列通过一定计算产生。那么应用assign完成这3个需求分别是:


注意事项:
1、assign赋值新列时,一般用新列名=表达式的形式,其中新列名为变量的形式,所以不加引号(加引号时意味着是字符串);2、assign返回创建了新列的dataframe,所以需要用新的dataframe对象接收返回值;3、assign不仅可用于创建新的列,也可用于更新已有列,此时创建的新列会覆盖原有列。02 eval实际上,eval是一个Python基础函数,用于执行字符串形式的计算表达式,例如以下简单实例:那么,eval作为pandas.dataframe数据结构的一个接口,执行功能应该也与执行计算有关。另一方面,pandas中实际上是内置了大量的SQL类语法(包括下面要介绍的query也是),而eval的功能正是执行类似SQL语法中的计算,对已知列执行一定的计算时可用eval完成。例如,仍以前述由A和B列产生C列为例,应用eval的方法为:
了解SQL语法的都知道可用@前缀修饰自定义变量,这一用法在这里的eval中也得以保留,此时可非常方便的引用外部变量。当然,eval中的计算表达式本身属于字符串形式,所以自然也可以用Python的通用字符串引用方法。如下图所示。注意事项:1、eval支持接收一个inplace参数控制原地创建新变量或者返回新的dataframe;也支持仅用表达式而不设置新变量名,此时返回数据为series格式,如下图所示;2、eval表达式中也支持调用函数执行复杂计算。


03 query这应该是最近使用最为频繁的一个接口了,pandas中虽然也提供了多种数据筛选方式,例如loc中增加表达式、或者直接用df[df[]……]等等,但总觉得用起来不够优雅,尤其是要写两遍df以及[]等等,此时如果灵活运用query函数,那么会便捷不少。尤其是query也是类似于SQL中where关键字的语法逻辑,用起来会很顺滑。
例如对于以上dataframe,需要根据不同场景查询满足条件的记录,调用query的实现方式为:
当然,之所以说query中支持类似SQL的语法,是因为其也有两个SQL中标志性的设计,其一是@引用自定义外部变量,其二是对于特殊的列名(例如包含空格的字符)可以用反引号``加以修饰引用。例如,下述例子中C C列中有个空格,直接用于字符串表达式会存在报错,此时可使用反引号加以修饰,同时查询条件中应用了@修饰符引用外部变量。当然,与eval中类似,这里当然也可以用f字符串修饰引用。
注意事项:
1. query中也支持inplace参数,控制是否将查询过滤条件作用于dataframe本身;2. 与eval类似,query中也支持引用外部函数。我是东哥,最后给大家免费分享入门Python的最强三件套:《ThinkPython》、《简明Python教程》、《Python进阶》的PDF电子版。如果你是刚入门的小白,不用想了,这是最好的学习教材。现在免费分享出来,有需要的读者可以下载学习,在下面的公众号GitHuboy里回复关键字:Python,就行。

推荐阅读
逻辑回归 + GBDT模型融合实战!
微软开源最强Python自动化神器!不用写一行代码!
3 行Python代码获取海量数据
爱了!Python 动态图表太太太秀了!
年终述职报告就这么写(实操版)
Kaggle竞赛:Python银行信用卡客户流失预测
超赞!20个炫酷的数据可视化大屏(含源码)

🧐分享、点赞、在看,给个三连击呗!👇

    您可能也对以下帖子感兴趣

    文章有问题?点此查看未经处理的缓存