【翻译】《利用Python进行数据分析·第2版》第13章（上） Python建模库介绍

作者：SeanCheney   Python爱好者社区专栏作者

简书专栏：https://www.jianshu.com/u/130f76596b02

前文传送门：

本书中，我已经介绍了Python数据分析的编程基础。因为数据分析师和科学家总是在数据规整和准备上花费大量时间，这本书的重点在于掌握这些功能。

开发模型选用什么库取决于应用本身。许多统计问题可以用简单方法解决，比如普通的最小二乘回归，其它问题可能需要复杂的机器学习方法。幸运的是，Python已经成为了运用这些分析方法的语言之一，因此读完此书，你可以探索许多工具。

本章中，我会回顾一些pandas的特点，在你胶着于pandas数据规整和模型拟合和评分时，它们可能派上用场。然后我会简短介绍两个流行的建模工具，statsmodels和scikit-learn。这二者每个都值得再写一本书，我就不做全面的介绍，而是建议你学习两个项目的线上文档和其它基于Python的数据科学、统计和机器学习的书籍。

13.1 pandas与模型代码的接口

模型开发的通常工作流是使用pandas进行数据加载和清洗，然后切换到建模库进行建模。开发模型的重要一环是机器学习中的“特征工程”。它可以描述从原始数据集中提取信息的任何数据转换或分析，这些数据集可能在建模中有用。本书中学习的数据聚合和GroupBy工具常用于特征工程中。

优秀的特征工程超出了本书的范围，我会尽量直白地介绍一些用于数据操作和建模切换的方法。

pandas与其它分析库通常是靠NumPy的数组联系起来的。将DataFrame转换为NumPy数组，可以使用.values属性：

In [10]: import pandas as pd In [11]: import numpy as np In [12]: data = pd.DataFrame({   ....:     'x0': [1, 2, 3, 4, 5],   ....:     'x1': [0.01, -0.01, 0.25, -4.1, 0.],   ....:     'y': [-1.5, 0., 3.6, 1.3, -2.]}) In [13]: data Out[13]:   x0    x1    y 0   1  0.01 -1.5 1   2 -0.01  0.0 2   3  0.25  3.6 3   4 -4.10  1.3 4   5  0.00 -2.0 In [14]: data.columns Out[14]: Index(['x0', 'x1', 'y'], dtype='object') In [15]: data.values Out[15]: array([[ 1.  ,  0.01, -1.5 ],       [ 2.  , -0.01,  0.  ],       [ 3.  ,  0.25,  3.6 ],       [ 4.  , -4.1 ,  1.3 ],       [ 5.  ,  0.  , -2.  ]])

要转换回DataFrame，可以传递一个二维ndarray，可带有列名：

In [16]: df2 = pd.DataFrame(data.values, columns=['one', 'two', 'three']) In [17]: df2 Out[17]:   one   two  three 0  1.0  0.01   -1.5 1  2.0 -0.01    0.0 2  3.0  0.25    3.6 3  4.0 -4.10    1.3 4  5.0  0.00   -2.0

笔记：最好当数据是均匀的时候使用.values属性。例如，全是数值类型。如果数据是不均匀的，结果会是Python对象的ndarray：

In [18]: df3 = data.copy() In [19]: df3['strings'] = ['a', 'b', 'c', 'd', 'e'] In [20]: df3 Out[20]:  x0    x1    y strings 0   1  0.01 -1.5       a 1   2 -0.01  0.0       b 2   3  0.25  3.6       c 3   4 -4.10  1.3       d 4   5  0.00 -2.0       e In [21]: df3.values Out[21]: array([[1, 0.01, -1.5, 'a'],      [2, -0.01, 0.0, 'b'],      [3, 0.25, 3.6, 'c'],      [4, -4.1, 1.3, 'd'],      [5, 0.0, -2.0, 'e']], dtype=object)

对于一些模型，你可能只想使用列的子集。我建议你使用loc，用values作索引：

In [22]: model_cols = ['x0', 'x1'] In [23]: data.loc[:, model_cols].values Out[23]: array([[ 1.  ,  0.01],       [ 2.  , -0.01],       [ 3.  ,  0.25],       [ 4.  , -4.1 ],       [ 5.  ,  0.  ]])

一些库原生支持pandas，会自动完成工作：从DataFrame转换到NumPy，将模型的参数名添加到输出表的列或Series。其它情况，你可以手工进行“元数据管理”。

在第12章，我们学习了pandas的Categorical类型和pandas.get_dummies函数。假设数据集中有一个非数值列：

In [24]: data['category'] = pd.Categorical(['a', 'b', 'a', 'a', 'b'],   ....:                                   categories=['a', 'b']) In [25]: data Out[25]:   x0    x1    y category 0   1  0.01 -1.5        a 1   2 -0.01  0.0        b 2   3  0.25  3.6        a 3   4 -4.10  1.3        a 4   5  0.00 -2.0        b

如果我们想替换category列为虚变量，我们可以创建虚变量，删除category列，然后添加到结果：

In [26]: dummies = pd.get_dummies(data.category, prefix='category') In [27]: data_with_dummies = data.drop('category', axis=1).join(dummies) In [28]: data_with_dummies Out[28]:   x0    x1    y  category_a  category_b 0   1  0.01 -1.5           1           0 1   2 -0.01  0.0           0           1 2   3  0.25  3.6           1           0 3   4 -4.10  1.3           1           0 4   5  0.00 -2.0           0           1

用虚变量拟合某些统计模型会有一些细微差别。当你不只有数字列时，使用Patsy（下一节的主题）可能更简单，更不容易出错。

赞赏作者

好课推荐，名额有限，下图扫码即可免费学

Python爱好者社区历史文章大合集：

福利：文末扫码立刻关注公众号，“Python爱好者社区”，开始学习Python课程：

关注后在公众号内回复“课程”即可获取：

小编的Python入门视频课程！！！

崔老师爬虫实战案例免费学习视频。

丘老师数据科学入门指导免费学习视频。

陈老师数据分析报告制作免费学习视频。

玩转大数据分析！Spark2.X+Python 精华实战课程免费学习视频。

丘老师Python网络爬虫实战免费学习视频。