来自kaggle最佳数据分析实践

翻译: 大邓

作者: Bex T

标题: Weekly Awesome Tricks And Best Practices From Kaggle

链接: https://towardsdev.com/tricks-and-best-practices-from-kaggle-794a5914480f

Kaggle是个很棒的地方,对于数据科学家和机器学习工程师来说，这是一个知识的金矿。可以在同一地点找到由本领域专家带来的高质量，高效，可重现，很棒的代码。自推出以来，它已经举办了164场比赛。这些比赛吸引了来自世界各地的专家和专家加入该平台。结果，每场比赛以及Kaggle提供的大量开源数据集都有许多高质量的笔记本和脚本。

在数据科学之旅的开始，我将去Kaggle查找数据集以练习我的技能。每当我查看其他内核时，我都会对代码的复杂性感到不知所措，然后马上回避。

但是现在，我发现自己花费了大量时间阅读其他笔记本并提交竞赛文件。有时候，有些东西值得您度过整个周末。有时，我会发现简单但致命的有效代码技巧和最佳实践，这些技巧和最佳实践只能通过观察其他专家来学习。

在整个系列中，您会发现我在典型的数据科学工作流程中可能有用的任何内容，包括与通用库相关的代码快捷方式，Kaggle的顶级行业专家遵循的最佳实践等，这些都是我在学习过程中学到的。

1. 只绘制相关系数矩阵的下三角部分

好的相关矩阵可以说明数据集中目标变量之间的相关性

import pandas as pd

df = pd.read_csv('data/melbourne_housing_raw.csv')
df.head()

import seaborn as sns
import matplotlib.pyplot as plt

plt.figure(figsize=(16, 12))

cmap = sns.diverging_palette(250, 15, s=75, l=40,
                             n=9, center="light", as_cmap=True)

sns.heatmap(df.corr(), center=0, annot=True,
             fmt='.2f', square=True, cmap=cmap)

plt.show()

但上图中，数据集中存在大量的特征，导致相似矩阵过于庞大，让人看起来不知所措。

相关矩阵大部分沿主对角线对称，因此它们包含重复数据。同样，对角线本身也没有用。让我们看看如何只绘制有用的一半：

import numpy as np

# 计算相关系数
matrix = df.corr()

# 创建遮罩（为了只显示下三角）
mask = np.triu(np.ones_like(matrix, dtype=bool))

# 定制调色板
cmap = sns.diverging_palette(250, 15, s=75, l=40,
                             n=9, center="light", as_cmap=True)

# 设定图片尺寸
plt.figure(figsize=(16, 12))

# 绘制相似矩阵热力图
sns.heatmap(matrix, mask=mask, center=0, annot=True,
             fmt='.2f', square=True, cmap=cmap)

plt.show()

由此产生的可视化图更容易解释并且没有视觉干扰干扰。

• 首先，我们使用DataFrame的.corr方法构建相关矩阵。
• 然后，我们使用dtype设置为bool的np.ones_like函数来创建一个True矩阵，其形状与DataFrame相同：

np.ones((5, 5))

array([[1., 1., 1., 1., 1.],
       [1., 1., 1., 1., 1.],
       [1., 1., 1., 1., 1.],
       [1., 1., 1., 1., 1.],
       [1., 1., 1., 1., 1.]])

np.ones_like(np.ones((4, 4)), dtype=bool)

array([[ True,  True,  True,  True],
       [ True,  True,  True,  True],
       [ True,  True,  True,  True],
       [ True,  True,  True,  True]])

将布尔方阵传递给Numpy的.triu函数，该函数将返回一个二维布尔蒙版，其中包含矩阵下三角的False值。

np.triu(np.ones_like(np.ones((4, 4)), dtype=bool))

array([[ True,  True,  True,  True],       [False,  True,  True,  True],       [False, False,  True,  True],       [False, False, False,  True]])

然后，我们可以将其传递给Seaborn的heatmap函数，以根据此蒙版对矩阵进行可视化

ns.heatmap(matrix, mask=mask, center=0, annot=True, fmt='.2f', square=True, cmap=cmap)

2. value_counts考虑缺失值

使用value_counts时，可将dropna设置为False来查看任何列中缺失值的比例。通过确定缺失值的比例，可以决定是否丢弃含有缺失值的记录。

#字段CouncilArea的数据分布情况

df.CouncilArea.value_counts(dropna=False, normalize=True).head()

Boroondara City Council 0.105431Darebin City Council 0.081791Moreland City Council 0.060877Glen Eira City Council 0.057549Melbourne City Council 0.056000

Name: CouncilArea, dtype: float64

但是，如果要查看所有列中缺失值的比例，则value_counts不是最佳选择。相反，您可以执行以下操作：

1. 首先，通过将缺失值的数量除以DataFrame的长度来找到比例。

2. 然后，您可以过滤掉0％的列，即i。e。只选择缺少值的列。

missing_props = df.isna().sum() / len(df)

missing_props[missing_props > 0].sort_values(ascending=False)

BuildingArea 0.605761YearBuilt 0.553863Landsize 0.338813Car 0.250394Bathroom 0.235993Bedroom2 0.235735Longtitude 0.228821Lattitude 0.228821Price 0.218321Propertycount 0.000086Regionname 0.000086CouncilArea 0.000086Postcode 0.000029Distance 0.000029

dtype: float64

3. 使用Pandas的Styler

我们中的许多人从未意识到pandas的巨大潜力。pandas的一个被低估且经常被忽视的功能是其对DataFrames进行样式设置的能力。使用pandas DataFrames的.style属性，可以将条件设计和样式应用于它们。

作为第一个示例，让我们看看如何根据每个单元格的值来更改背景颜色：

diamonds = pd.read_csv('data/diamonds.csv')

diamonds.head()

pd.crosstab(diamonds.cut, diamonds.clarity).style.background_gradient(cmap='rocket_r')

几乎没有使用Seaborn的热图功能的热图。在这里，我们使用pd.crosstab对钻石切割(cut)和净度(clarity)的每种组合进行计数。

将.style.background_gradient与调色板配合使用，您可以轻松地发现哪种组合出现得最多。仅从上面的DataFrame中，我们可以看到大多数钻石都是“ VS2”净度类型。

我们甚至可以通过在交叉表中找到每种钻石切割cut和净度clarity组合的平均价格来进一步做到这一点：

pd.crosstab(diamonds.cut, diamonds.clarity, aggfunc=np.mean, values=diamonds.price).style.background_gradient(cmap='rocket_r')

通过将.format方法与格式字符串{：.2f}链接起来，我们指定了2个浮点数的精度。

agg_prices = pd.crosstab(diamonds.cut, diamonds.clarity, aggfunc=np.mean, values=diamonds.price).style.background_gradient(cmap='rocket_r')

agg_prices.format('{:.2f}')

4. matplotlib默认全局设置

在进行探索性数据分析时，您可能想对所有绘图应用自定义调色板，对刻度标签使用更大的字体，更改图例的位置，使用固定的图形大小等。

对绘图自定义参数的更改是一项非常无聊，重复且耗时的任务。幸运的是，您可以使用Matplotlib的rcParams为绘图设置全局配置。

rcParams只是一个普通的Python字典，其中包含Matplotlib的默认设置：

from matplotlib import rcParams
import warnings
warnings.filterwarnings('ignore')

rcParams

RcParams({'_internal.classic_mode': False,
          'agg.path.chunksize': 0,
          'animation.avconv_args': [],
          'figure.dpi': 72.0,
           ....
          'legend.fontsize': 'medium',
          'legend.framealpha': 0.8,
          'legend.frameon': True,
           ...
          'ytick.minor.right': True,
          'ytick.minor.size': 2.0,
          'ytick.minor.visible': False,
          'ytick.minor.width': 0.6,
          'ytick.right': False})

您可以调整每个图的任意参数设置，一般的图像设置如固定图形大小，刻度标签字体大小以及其他一些参数。

通过这种设置，可以减少很多重复的代码量

# 去掉顶部和右侧的线条Remove top and right spines
rcParams['axes.spines.top'] = False
rcParams['axes.spines.right'] = False

# 设置图的尺寸Set fixed figure size
rcParams['figure.figsize'] = [12, 9]

# 设置图片像素清晰度 Set dots per inch to 300, very high quality images
rcParams['figure.dpi'] = 300

# 设置自动调整布局Enable autolayout
rcParams['figure.autolayout'] = True

# 设置全局字号Set global fontsize
rcParams['font.style'] = 16

# 刻度字号Fontsize of ticklabels
rcParams['xtick.labelsize'] = 10
rcParams['ytick.labelsize'] = 10

5. Pandas全局设置

就像Matplotlib一样，pandas具有可以使用的全局设置。当然，它们大多数与显示选项有关。

• get_option() -  获取pandas单个选项
• set_option() — 设置pandas单个选项
• reset_option() — 重置pandas选项值

#最大显示的列数
pd.get_option('display.max_columns')

df.head()

我更喜欢显示所有的列，lets go

pd.set_option('display.max_columns', None)
df.head()

本文代码可到 github 中下载，  https://github.com/thunderhit/DaDengAndHisPython

扫码免费领1万代理IP,高并发不限制，稳定速度快，快去薅羊毛吧！

精选文章

“分享”和“在看”是更好的支持