查看原文
其他

互为你我:Python 与 Stata 对比

Stata连享会 Stata连享会 2020-02-10

来源: Comparison with Stata  

译者:郭李鹏 (山西晋城市财政局)

Stata 连享会:知乎 | 简书 | 码云

编者按: 不同语言和软件有其独特功能。在研究工作中,我们往往会同时采用多种工具完成我们的研究任务。本文通过实例对比 Python 和 Stata 在语法上的差别,以便于各位能在二者之间自如切换。事实上,两边的用户都在努力促成彼此的融合,介绍 Python 与 Stata 结合的文章如下:

  • 双剑合璧之Stata与Python:初识IPyStata - 知乎

  • Data Workflows in Stata and Python Data Workflows in Stata and Python

  • Python - Comparison with Stata — pandas 0.24.2 documentation

  • GitHub - jrfiedler/python-in-stata: Use Python within Stata

python 爬虫与文本分析专题-现场班


连享会-Python爬虫与文本分析现场班-山西大学 2019.5.17-19

一起学空间计量……

空间计量专题-西安 2019.6.27-30

特别说明

文中包含的链接在微信中无法生效。请点击本文底部左下角的【阅读原文】,转入本文【简书版】

对于使用 Stata 的用户,本文通过对比演示如何用 pandas 实现 Stata 的基本操作。

如果你对 pandas 还不熟悉,你可以先通读一遍 10 分钟入门 pandas ,熟悉一下相关库。

通常我们按照如下方式导入 pandas 和 numpy 库,在本文后续部分,我们将使用 pd 和 np 分别代表相关库。

  1. In [1]: import pandas as pd


  2. In [2]: import numpy as np

请注意

本文通过调用 df.head() 命令来显示 pandas 数据集 DataFrame 的前 N ( 默认 5 ) 行数据。Stata 中对应命令为:

  1. list in 1/5

1. 数据结构

1.1 常用术语对照

pandasStata
DataFramedata set
columnvariable
rowobservation
groupbybysort
NaN.

1.2 DataFrame / Series

pandas 中的 DataFrame 类似于 Stata 数据集——一个二维数据,每列可以是不同的值类型。正如本文将要展示,几乎任何可以对 Stata 的数据集应用的操作都可以在 pandas 中完成。

Series 是表示 DataFrame 列的数据结构。Stata 没有针对列的单独数据结构,但通常,使用 Series 类似于引用 Stata 数据集中的列。

1.3 Index

每个DataFrameSeries都有一个Index索引——数据 的标签。Stata 没有一个完全类似的概念。在 Stata 中,除了可以用暗含索引_n 访问行外,数据基本没有行标签。

在 pandas 中,即使没有指定索引,也可以使用默认整数索引(第一行= 0,第二行= 1,依次类推)。虽然使用单个索引或多个索引可以进行复杂的分析,并且是 pandas 的重要功能,但是为了与 Stata 比较,本文中将基本忽略行索引,只将 DataFrame 作为列的集合。获取更多有关使用索引的信息,请参阅索引文档。

2. Data Input / Output

2.1 创建 DataFrame

Stata数据通过 input 语句赋值并指定列名。

  1. input x y

  2. 1 2

  3. 3 4

  4. 5 6

  5. end

创建 DataFrame 有很多,数据量较小时,最常用的方法是传入一个 Python 字典,其中字典每一个 key 对应一列,与 key 对应 value 是该列下所有数据。

  1. In [3]: df = pd.DataFrame({'x': [1, 3, 5], 'y': [2, 4, 6]})

  2. In [4]: df

  3. Out[4]:

  4. x y

  5. 0 1 2

  6. 1 3 4

  7. 2 5 6

2.2 读取外部数据

与 Stata 一样,pandas 可以从许多格式文件中读取数据。可以通过链接获取 pandas 测试数据集 tips ,我们将在下面的许多示例中使用到这份数据。

Stata 通过 import delimited 将 csv 数据文件读入内存中。如果 tips.csv 文件在当前工作目录中,我们可以按照以下方式导入。

  1. import delimited tips.csv

pandas 通过 read_csv() 方法读取 csv 文件,与 Stata 工作原理类似。此外,pandas 可以通过 url 自动下载数据集。

  1. In [5]: url = ('https://raw.github.com/pandas-dev'

  2. ...: '/pandas/master/pandas/tests/data/tips.csv')

  3. ...:


  4. In [6]: tips = pd.read_csv(url)


  5. In [7]: tips.head()

  6. Out[7]:

  7. total_bill tip sex smoker day time size

  8. 0 16.99 1.01 Female No Sun Dinner 2

  9. 1 10.34 1.66 Male No Sun Dinner 3

  10. 2 21.01 3.50 Male No Sun Dinner 3

  11. 3 23.68 3.31 Male No Sun Dinner 2

  12. 4 24.59 3.61 Female No Sun Dinner 4

import delimited 一样,read_csv() 可以使用更多参数来导入数据。例如,如果数据是用 tab 分隔的,没有列名,并且存在于当前工作目录中, panda 命令将是:

  1. tips = pd.read_csv('tips.csv', sep='\t', header=None)


  2. # alternatively, read_table is an alias to read_csv with tab delimiter

  3. tips = pd.read_table('tips.csv', header=None)

pandas 还可以使用 read_stata() 函数读取 .dta 格式的 Stata 数据。

  1. df = pd.read_stata('data.dta')

除了 text/csv 和 Stata 文件之外,pandas 还支持许多种其他数据格式,如 Excel / SAS / HDF 5 / Parquet 和 SQL 数据库。这些都是通过 pd.read_* 相关命令读取的。有关详细信息,请参阅 IO 文档。

2.3 导出数据

在 Stata 中,与 import delimited 功能相反的函数是 export delimited

  1. export delimited tips2.csv

类似地,在 pandas 中,read_csv 功能相反的函数是 DataFrame.to_csv()

  1. tips.to_csv('tips2.csv')

pandas 还可以使用 DataFrame.to_stata() 方法导出到 Stata 格式文件。

  1. tips.to_stata('tips2.dta')

3. 数据操作

3.1 列操作

在 Stata 中,可以使用 generatereplace 在数据某一列或新产生一列上运算任意数学公式。

  1. replace total_bill = total_bill - 2

  2. generate new_bill = total_bill / 2

  3. drop new_bill

pandas 通过在 DataFrame 中 x 选定各个 Series 来进行类似的向量化操作。可以用同样的方法产生新的列。可以用 DataFrame.drop() 方法从 DataFrame 中删除列。

  1. In [8]: tips['total_bill'] = tips['total_bill'] - 2


  2. In [9]: tips['new_bill'] = tips['total_bill'] / 2


  3. In [10]: tips.head()

  4. Out[10]:

  5. total_bill tip sex smoker day time size new_bill

  6. 0 14.99 1.01 Female No Sun Dinner 2 7.495

  7. 1 8.34 1.66 Male No Sun Dinner 3 4.170

  8. 2 19.01 3.50 Male No Sun Dinner 3 9.505

  9. 3 21.68 3.31 Male No Sun Dinner 2 10.840

  10. 4 22.59 3.61 Female No Sun Dinner 4 11.295


  11. In [11]: tips = tips.drop('new_bill', axis=1)

3.2 条件过滤

Stata 中使用 if 语句对一个或多个列的数据进行筛选。

  1. list if total_bill > 10

DataFrames 有多种过滤方式,最直观的是使用  boolean indexing 。

  1. In [12]: tips[tips['total_bill'] > 10].head()

  2. Out[12]:

  3. total_bill tip sex smoker day time size

  4. 0 14.99 1.01 Female No Sun Dinner 2

  5. 2 19.01 3.50 Male No Sun Dinner 3

  6. 3 21.68 3.31 Male No Sun Dinner 2

  7. 4 22.59 3.61 Female No Sun Dinner 4

  8. 5 23.29 4.71 Male No Sun Dinner 4

3.3 If 条件语句

在 Stata 中,可以使用 if 语句来创建新列。

  1. generate bucket = "low" if total_bill < 10

  2. replace bucket = "high" if total_bill >= 10

在 pandas 中也可以使用 numpywhere 方法来完成相同的操作。

  1. In [13]: tips['bucket'] = np.where(tips['total_bill'] < 10, 'low', 'high')


  2. In [14]: tips.head()

  3. Out[14]:

  4. total_bill tip sex smoker day time size bucket

  5. 0 14.99 1.01 Female No Sun Dinner 2 high

  6. 1 8.34 1.66 Male No Sun Dinner 3 low

  7. 2 19.01 3.50 Male No Sun Dinner 3 high

  8. 3 21.68 3.31 Male No Sun Dinner 2 high

  9. 4 22.59 3.61 Female No Sun Dinner 4 high

3.4 日期函数

Stata提供了一系列函数来处理数据类型为 date/datetime 的列。

  1. generate date1 = mdy(1, 15, 2013)

  2. generate date2 = date("Feb152015", "MDY")


  3. generate date1_year = year(date1)

  4. generate date2_month = month(date2)


  5. * shift date to beginning of next month

  6. generate date1_next = mdy(month(date1) + 1, 1, year(date1)) if month(date1) != 12

  7. replace date1_next = mdy(1, 1, year(date1) + 1) if month(date1) == 12

  8. generate months_between = mofd(date2) - mofd(date1)


  9. list date1 date2 date1_year date2_month date1_next months_between

pandas 中同样的操作如下所示。除了这些功能之外, pandas 还支持其他在无法在 Stata 使用的处理时间序列的功能 ( 例如时区处理和自定义偏移量 ) —— 有关更多内容,请参见 timeseries 文档。

  1. In [15]: tips['date1'] = pd.Timestamp('2013-01-15')


  2. In [16]: tips['date2'] = pd.Timestamp('2015-02-15')


  3. In [17]: tips['date1_year'] = tips['date1'].dt.year


  4. In [18]: tips['date2_month'] = tips['date2'].dt.month


  5. In [19]: tips['date1_next'] = tips['date1'] + pd.offsets.MonthBegin()


  6. In [20]: tips['months_between'] = (tips['date2'].dt.to_period('M')

  7. ....: - tips['date1'].dt.to_period('M'))

  8. ....:


  9. In [21]: tips[['date1', 'date2', 'date1_year', 'date2_month', 'date1_next',

  10. ....: 'months_between']].head()

  11. ....:

  12. Out[21]:

  13. date1 date2 date1_year date2_month date1_next months_between

  14. 0 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>

  15. 1 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>

  16. 2 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>

  17. 3 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>

  18. 4 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>

3.5 列操作

Stata 通过关键字对列进行选择、删除和重命名的操作。

  1. keep sex total_bill tip


  2. drop sex


  3. rename total_bill total_bill_2

pandas 中同样的操作如下表示。注意,与Stata相反,这些操作没有在数据原来的位置运算。要使这些更改生效,需要将操作赋给一个变量。

  1. # keep

  2. In [22]: tips[['sex', 'total_bill', 'tip']].head()

  3. Out[22]:

  4. sex total_bill tip

  5. 0 Female 14.99 1.01

  6. 1 Male 8.34 1.66

  7. 2 Male 19.01 3.50

  8. 3 Male 21.68 3.31

  9. 4 Female 22.59 3.61


  10. # drop

  11. In [23]: tips.drop('sex', axis=1).head()

  12. Out[23]:

  13. total_bill tip smoker day time size

  14. 0 14.99 1.01 No Sun Dinner 2

  15. 1 8.34 1.66 No Sun Dinner 3

  16. 2 19.01 3.50 No Sun Dinner 3

  17. 3 21.68 3.31 No Sun Dinner 2

  18. 4 22.59 3.61 No Sun Dinner 4


  19. # rename

  20. In [24]: tips.rename(columns={'total_bill': 'total_bill_2'}).head()

  21. Out[24]:

  22. total_bill_2 tip sex smoker day time size

  23. 0 14.99 1.01 Female No Sun Dinner 2

  24. 1 8.34 1.66 Male No Sun Dinner 3

  25. 2 19.01 3.50 Male No Sun Dinner 3

  26. 3 21.68 3.31 Male No Sun Dinner 2

  27. 4 22.59 3.61 Female No Sun Dinner 4

3.6 数值排序

Stata 中的排序是通过 sort 命令完成的。

  1. sort sex total_bill

pandas 对象可以通过  DataFrame.sort_values()  方法对多列进行排序。

  1. In [25]: tips = tips.sort_values(['sex', 'total_bill'])


  2. In [26]: tips.head()

  3. Out[26]:

  4. total_bill tip sex smoker day time size

  5. 67 1.07 1.00 Female Yes Sat Dinner 1

  6. 92 3.75 1.00 Female Yes Fri Dinner 2

  7. 111 5.25 1.00 Female No Sat Dinner 1

  8. 145 6.35 1.50 Female No Thur Lunch 2

  9. 135 6.51 1.25 Female No Thur Lunch 2

4. 字符串处理

4.1 字符串长度

Stata 分别使用 strlen()ustrlen() 函数来确定 ASCII 和 Unicode 码的字符串长度。

  1. generate strlen_time = strlen(time)

  2. generate ustrlen_time = ustrlen(time)

Python 使用 len 函数确定字符串的长度。在 python 3 中,所有的字符串都是 Unicode 码字符串。len 计算长度时包括字符串末尾的空格。可以使用 lenrstrip 来去除末尾空格影响。

  1. In [27]: tips['time'].str.len().head()

  2. Out[27]:

  3. 67 6

  4. 92 6

  5. 111 6

  6. 145 5

  7. 135 5

  8. Name: time, dtype: int64


  9. In [28]: tips['time'].str.rstrip().str.len().head()

  10. Out[28]:

  11. 67 6

  12. 92 6

  13. 111 6

  14. 145 5

  15. 135 5

  16. Name: time, dtype: int64  

4.2 查找字符串的位置

Stata 使用 strpos() 函数确定字符串中字符的位置。在第一个参数定义的字符串,并搜索第二个参数提供的子字符串第一个出现的位置。

  1. generate str_position = strpos(sex, "ale")

Python 使用  find()  函数确定字符串中字符的位置。find()  函数搜索子字符串出现的第一个位置,如果找到子字符串,函数返回它的位置;如果没有找到子字符串,函数将返回-1。注意, Python 索引是从零开始的。

  1. In [29]: tips['sex'].str.find("ale").head()

  2. Out[29]:

  3. 67 3

  4. 92 3

  5. 111 3

  6. 145 3

  7. 135 3

  8. Name: sex, dtype: int64

4.3 按位置提取子字符串

Stata 使用 substr() 函数根据字符串的位置从字符串中提取子字符串。

  1. generate short_sex = substr(sex, 1, 1)

对于 pandas ,您可以使用 [] 符号从字符串中按位置提取子字符串。注意, Python 索引是从零开始的。

  1. In [30]: tips['sex'].str[0:1].head()

  2. Out[30]:

  3. 67 F

  4. 92 F

  5. 111 F

  6. 145 F

  7. 135 F

  8. Name: sex, dtype: object

4.4 提取第 n 个单词

Stata 中 word() 函数的作用是:返回字符串中的第n个单词。第一个参数是要分析的字符串,第二个参数指定要提取哪个位置单词。

  1. clear

  2. input str20 string

  3. "John Smith"

  4. "Jane Cook"

  5. end


  6. generate first_name = word(name, 1)

  7. generate last_name = word(name, -1)

Python 使用正则表达式从字符串文本中提取子字符串。有很多功能强大的方法,但这里只展示一个简单的方法。

  1. In [31]: firstlast = pd.DataFrame({'string': ['John Smith', 'Jane Cook']});


  2. In [32]: firstlast['First_Name'] = firstlast['string'].str.split(" ", expand=True)[0]


  3. In [33]: firstlast['Last_Name'] = firstlast['string'].str.rsplit(" ", expand=True)[1]


  4. In [34]: firstlast

  5. Out[34]:

  6. string First_Name Last_Name

  7. 0 John Smith John Smith

  8. 1 Jane Cook Jane Cook

4.5 大小写转换

Stata 分别使用strupper()strlower()strproper()ustrupper()ustrlower()ustrtitle() 函数转换 ASCII 和 Unicode 码字符串的大小写。

  1. clear

  2. input str20 string

  3. "John Smith"

  4. "Jane Cook"

  5. end


  6. generate upper = strupper(string)

  7. generate lower = strlower(string)

  8. generate title = strproper(string)

  9. list

Python 中等效函数是  upper, lowertitle

  1. In [35]: firstlast = pd.DataFrame({'string': ['John Smith', 'Jane Cook']})


  2. In [36]: firstlast['upper'] = firstlast['string'].str.upper()


  3. In [37]: firstlast['lower'] = firstlast['string'].str.lower()


  4. In [38]: firstlast['title'] = firstlast['string'].str.title()


  5. In [39]: firstlast

  6. Out[39]:

  7. string upper lower title

  8. 0 John Smith JOHN SMITH john smith John Smith

  9. 1 Jane Cook JANE COOK jane cook Jane Cook

5. 数据合并

下面的表格将在合并示例中使用。

  1. In [40]: df1 = pd.DataFrame({'key': ['A', 'B', 'C', 'D'],

  2. ....: 'value': np.random.randn(4)})

  3. ....:


  4. In [41]: df1

  5. Out[41]:

  6. key value

  7. 0 A 0.469112

  8. 1 B -0.282863

  9. 2 C -1.509059

  10. 3 D -1.135632


  11. In [42]: df2 = pd.DataFrame({'key': ['B', 'D', 'D', 'E'],

  12. ....: 'value': np.random.randn(4)})

  13. ....:


  14. In [43]: df2

  15. Out[43]:

  16. key value

  17. 0 B 1.212112

  18. 1 D -0.173215

  19. 2 D 0.119209

  20. 3 E -1.044236

在 Stata 中,要执行合并命令,一个数据必须在内存中,另一个数据必须通过引用硬盘上的文件名称。相反,Python 必须将两个数据 DataFrames 同时放在内存中。

默认情况下, Stata 通过外部连接数据,在合并之后,来自两个数据的所有观察值都留在内存中。通过使用创建的 _merge 变量中的不同值,可以只保留来自初始数据集、合并数据集或两者交集的观察值。

  1. * First create df2 and save to disk

  2. clear

  3. input str1 key

  4. B

  5. D

  6. D

  7. E

  8. end

  9. generate value = rnormal()

  10. save df2.dta


  11. * Now create df1 in memory

  12. clear

  13. input str1 key

  14. A

  15. B

  16. C

  17. D

  18. end

  19. generate value = rnormal()


  20. preserve


  21. * Left join

  22. merge 1:n key using df2.dta

  23. keep if _merge == 1


  24. * Right join

  25. restore, preserve

  26. merge 1:n key using df2.dta

  27. keep if _merge == 2


  28. * Inner join

  29. restore, preserve

  30. merge 1:n key using df2.dta

  31. keep if _merge == 3


  32. * Outer join

  33. restore

  34. merge 1:n key using df2.dta

pandas DataFrames 有一个 DataFrame.merge() 方法,提供了类似的功能。不同的合并类型是通过设定 how 关键字实现的。

  1. In [44]: inner_join = df1.merge(df2, on=['key'], how='inner')


  2. In [45]: inner_join

  3. Out[45]:

  4. key value_x value_y

  5. 0 B -0.282863 1.212112

  6. 1 D -1.135632 -0.173215

  7. 2 D -1.135632 0.119209


  8. In [46]: left_join = df1.merge(df2, on=['key'], how='left')


  9. In [47]: left_join

  10. Out[47]:

  11. key value_x value_y

  12. 0 A 0.469112 NaN

  13. 1 B -0.282863 1.212112

  14. 2 C -1.509059 NaN

  15. 3 D -1.135632 -0.173215

  16. 4 D -1.135632 0.119209


  17. In [48]: right_join = df1.merge(df2, on=['key'], how='right')


  18. In [49]: right_join

  19. Out[49]:

  20. key value_x value_y

  21. 0 B -0.282863 1.212112

  22. 1 D -1.135632 -0.173215

  23. 2 D -1.135632 0.119209

  24. 3 E NaN -1.044236


  25. In [50]: outer_join = df1.merge(df2, on=['key'], how='outer')


  26. In [51]: outer_join

  27. Out[51]:

  28. key value_x value_y

  29. 0 A 0.469112 NaN

  30. 1 B -0.282863 1.212112

  31. 2 C -1.509059 NaN

  32. 3 D -1.135632 -0.173215

  33. 4 D -1.135632 0.119209

  34. 5 E NaN -1.044236

6. 缺失值

与 Stata 一样,在 Pandas 中使用浮点值 NaN (不是数字)表示数组中的缺失值。许多含义是相同的,例如,缺失值可以进行数值运算操作,默认情况下汇总运算将忽略这些缺失值。

  1. In [52]: outer_join

  2. Out[52]:

  3. key value_x value_y

  4. 0 A 0.469112 NaN

  5. 1 B -0.282863 1.212112

  6. 2 C -1.509059 NaN

  7. 3 D -1.135632 -0.173215

  8. 4 D -1.135632 0.119209

  9. 5 E NaN -1.044236


  10. In [53]: outer_join['value_x'] + outer_join['value_y']

  11. Out[53]:

  12. 0 NaN

  13. 1 0.929249

  14. 2 NaN

  15. 3 -1.308847

  16. 4 -1.016424

  17. 5 NaN

  18. dtype: float64


  19. In [54]: outer_join['value_x'].sum()

  20. Out[54]: -3.5940742896293765

与 Stata 不同之处在于,不能使用 pandas 缺失值的标记值进行比较。例如,在 Stata 中,可以使用标记值来过滤丢失数据。

  1. * Keep missing values

  2. list if value_x == .

  3. * Keep non-missing values

  4. list if value_x != .

pandas 中无法使用这中方式,需要使用 pd.isna()pd.notna() 函数进行比较。

  1. In [55]: outer_join[pd.isna(outer_join['value_x'])]

  2. Out[55]:

  3. key value_x value_y

  4. 5 E NaN -1.044236


  5. In [56]: outer_join[pd.notna(outer_join['value_x'])]

  6. Out[56]:

  7. key value_x value_y

  8. 0 A 0.469112 NaN

  9. 1 B -0.282863 1.212112

  10. 2 C -1.509059 NaN

  11. 3 D -1.135632 -0.173215

  12. 4 D -1.135632 0.119209

pandas 还提供了其他处理缺失值的方法——一些在 Stata 中很难操作。例如,有一些方法可以删除所有有缺失值的行,可以用指定的值(比如平均值,或者前行值)替换缺失值。获取更多信息,请查阅缺失值文档。

  1. # Drop rows with any missing value

  2. In [57]: outer_join.dropna()

  3. Out[57]:

  4. key value_x value_y

  5. 1 B -0.282863 1.212112

  6. 3 D -1.135632 -0.173215

  7. 4 D -1.135632 0.119209


  8. # Fill forwards

  9. In [58]: outer_join.fillna(method='ffill')

  10. Out[58]:

  11. key value_x value_y

  12. 0 A 0.469112 NaN

  13. 1 B -0.282863 1.212112

  14. 2 C -1.509059 1.212112

  15. 3 D -1.135632 -0.173215

  16. 4 D -1.135632 0.119209

  17. 5 E -1.135632 -1.044236


  18. # Impute missing values with the mean

  19. In [59]: outer_join['value_x'].fillna(outer_join['value_x'].mean())

  20. Out[59]:

  21. 0 0.469112

  22. 1 -0.282863

  23. 2 -1.509059

  24. 3 -1.135632

  25. 4 -1.135632

  26. 5 -0.718815

  27. Name: value_x, dtype: float64

7. 分组运算

7.1 分组求和

Stata的  collapse  函数可按一个或多个关键变量分组,并计算数值列上的和。

  1. collapse (sum) total_bill tip, by(sex smoker)

pandas 通过 groupby 方法,可以实现类似的求和。

  1. In [60]: tips_summed = tips.groupby(['sex', 'smoker'])['total_bill', 'tip'].sum()


  2. In [61]: tips_summed.head()

  3. Out[61]:

  4. total_bill tip

  5. sex smoker

  6. Female No 869.68 149.77

  7. Yes 527.27 96.74

  8. Male No 1725.75 302.00

  9. Yes 1217.07 183.07

7.2 分组变换

在 Stata 中,对原始数据分组运算,通常会使用 bysortegen() 命令。例如,按吸烟变量分组后,每个观察值减去的组内平均值。

  1. bysort sex smoker: egen group_bill = mean(total_bill)

  2. generate adj_total_bill = total_bill - group_bill

panda 使用 groubpy 方法提供了一个 分组变换 功能,可以这些类型的操作在一个操作中简洁地表达出来。

  1. In [62]: gb = tips.groupby('smoker')['total_bill']


  2. In [63]: tips['adj_total_bill'] = tips['total_bill'] - gb.transform('mean')


  3. In [64]: tips.head()

  4. Out[64]:

  5. total_bill tip sex smoker day time size adj_total_bill

  6. 67 1.07 1.00 Female Yes Sat Dinner 1 -17.686344

  7. 92 3.75 1.00 Female Yes Fri Dinner 2 -15.006344

  8. 111 5.25 1.00 Female No Sat Dinner 1 -11.938278

  9. 145 6.35 1.50 Female No Thur Lunch 2 -10.838278

  10. 135 6.51 1.25 Female No Thur Lunch 2 -10.678278

7.3 分组处理

除了汇总分析之外,pandas 的 groupby 函数可以完成 Stata 中  bysort 其他大多数的处理功能。例如,按性别、吸烟者变量分组排序列后列出第一个观察结果。

  1. bysort sex smoker: list if _n == 1

pandas 中,写法如下:

  1. In [65]: tips.groupby(['sex', 'smoker']).first()

  2. Out[65]:

  3. total_bill tip day time size adj_total_bill

  4. sex smoker

  5. Female No 5.25 1.00 Sat Dinner 1 -11.938278

  6. Yes 1.07 1.00 Sat Dinner 1 -17.686344

  7. Male No 5.51 2.00 Thur Lunch 2 -11.678278

  8. Yes 5.25 5.15 Sun Dinner 2 -13.506344

8. 其他

8.1 硬盘和内存

pandas 和 Stata 都只在内存中运行。这意味着可以在 pandas 中加载的数据大小受计算机内存限制。如果需要处理外部数据,可以使用 dask.dataframe库,可以对硬盘上的 DataFrame 数据实现部分 pandas 功能。

8.2 Python 与 Stata 结合的相关介绍

  • 双剑合璧之Stata与Python:初识IPyStata - 知乎

  • Data Workflows in Stata and Python Data Workflows in Stata and Python

  • Python - Comparison with Stata — pandas 0.24.2 documentation

  • GitHub - jrfiedler/python-in-stata: Use Python within Stata

关于我们

  • Stata 连享会(公众号:StataChina)】由中山大学连玉君老师团队创办,旨在定期与大家分享 Stata 应用的各种经验和技巧。

  • 公众号推文同步发布于 CSDN-Stata连享会 、简书-Stata连享会 和 知乎-连玉君Stata专栏。可以在上述网站中搜索关键词StataStata连享会后关注我们。

  • 点击推文底部【阅读原文】可以查看推文中的链接并下载相关资料。

  • Stata连享会 精彩推文1  || 精彩推文2

联系我们

  • 欢迎赐稿: 欢迎将您的文章或笔记投稿至Stata连享会(公众号: StataChina),我们会保留您的署名;录用稿件达五篇以上,即可免费获得 Stata 现场培训 (初级或高级选其一) 资格。

  • 意见和资料: 欢迎您的宝贵意见,您也可以来信索取推文中提及的程序和数据。

  • 招募英才: 欢迎加入我们的团队,一起学习 Stata。合作编辑或撰写稿件五篇以上,即可免费获得 Stata 现场培训 (初级或高级选其一) 资格。

  • 联系邮件: StataChina@163.com

往期精彩推文


欢迎加入Stata连享会(公众号: StataChina)

    您可能也对以下帖子感兴趣

    文章有问题?点此查看未经处理的缓存