查看原文
其他

Python机器学习(sklearn)——分类模型评估与调参总结(上)

王大伟 Python爱好者社区 2019-04-07

作者: 王大伟     微软MVP
Python爱好者社区唯一小编
博客:https://ask.hellobi.com/blog/wangdawei


小编的Python机器学习线下暑期班开班啦~

现在报名有优惠!

8.11-8.12 坐标上海张江高科

了解详情点击以下链接:

Python机器学习(算法+实战)线下暑假班上海站第二期



1. 如果只划分测试集和训练集    经验是75%作为训练集

sklearn中的train_test_split()默认这样划分

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split()


2.  通常使用sklearn中的score方法计算结果的精度(正确预测比例)


3. KNN算法有两个重要参数:邻居个数和数据点之间距离的度量方法

在实践中,选择较小的邻居个数(例如3或5个)效果较好,sklearn中默认使用欧氏距离

构建KNN模型速度很快,若训练集很大(特征数多或样本数多),预测速度可能较慢

对于稀疏数据集(大多数特征值为0),KNN效果很不好


4.普通最小二乘法,即要求预测值和真实值均方误差最小

均方误差为预测值和真实值只差的平方和除以样本数


5.训练集和测试集之间的分数差异是过拟合的明显标志

例如,训练集0.95   测试集0.61


6.线性回归防止过拟合可以采用岭回归(L2正则化)

from sklearn,linear_model import Ridge

ridge = Ridge().fit(X_train,y_train)

线性回归中的score为R^2

岭回归的结果,训练集分数可能低于线性回归,但测试集分数一般高于线性回归

默认岭回归的alpha = 1.0

岭回归惩罚了系数的L2范数或w的欧式长度

增大alpha会使得各个系数wi更加趋向0,从而提高泛化性能

可以比较alpha为10 和 0.1的scores

当岭回归alpha = 0时,即线性回归


7. 学习曲线:回归问题中,横轴为训练集大小,纵轴为score(R^2),绘制训练集和测试集曲线


8. 如果有足够多的数据,正则化就不太重要了


9.线性回归防止过拟合可以采用Lasso回归(L1正则化)

因为Lasso会使得部分特征的系数(w)为0,所以相当于做特征筛选

只呈现重要的特征

from sklearn,linear_model import Lasso

ridge = Lasso().fit(X_train,y_train)

默认的alpha = 1

可能会欠拟合(训练集和测试集的score都不高)

我们此时应该减小alpha,增大max_iter(运行迭代的最大次数)

from sklearn,linear_model import Lasso

ridge = Lasso(alpha = 0.1,max_iter = 100000).fit(X_train,y_train)

如果alpha太小,则可能过拟合,即与线性回归效果相似


10. Lasso回归和岭回归一般会首选后者

如果特征很多,认为只有几个是重要的,则选择Lasso

如果为了模型的可解释性,选择Lasso(因为类似特征选择)


11.sklearn中逻辑回归和线性支持向量机都默认使用L2正则化

若换为L1正则化:

LogisticRegression(penalty = "l1").fit(X_train,y_train)

使用参数C表示正则化强度,C越小,正则化越强。

默认C=1

LogisticRegression(C=100).fit(X_train,y_train)

有时训练集测试集分数都很高,但是分数接近,可能是欠拟合

此时增大C,使正则化减弱看看结果分数


12.线性模型训练速度非常快,预测速度也很快,适合在大数据集上使用,也适合稀疏数据


13.朴素贝叶斯分类器速度更快(相比于线性分类器逻辑斯特回归和线性支持向量机)

但是其泛化能力比线性分类器差


14.sklearn中提供三种朴素贝叶斯分类器

GaussianNB课用于任意连续数据

BernoulliNB假定输入数据为二分类数据

MultinomialNB假定输入的数据为计数数据(即每个特征代表某个对象的整数计数,比如一个单词在句中出现的次数)

后两个主要用于文本分类


15.决策树也可用于回归任务,预测时基于每个节点的测试对树进行遍历,最终找到新数据点所属的叶节点

这一数据点的输出即为此叶节点中所有训练点的平均目标值。


16. 决策树可以采用预剪枝和后剪枝来防止过拟合

sklearn中只实现了预剪枝

预剪枝限制条件可以包括

限制树的最大深度

限制叶节点的最大数目

规定一个节点中数据点的最小数目防止继续划分


17.决策树graphviz可视化图中的samples给出该节点中的样本数

values给出每个类别的样本数


18.特征重要性指标可以看决策树的特征重要性,每个特征值介于0和1之间

tree.feature_importance_

且加和为1

0表示特征没用到

1表示完美预测目标值


19.决策树回归不能外推,也不能在训练数据范围之外进行预测


20. 决策树优点:

(1)较小的树模型可视化容易,容易解释理解

(2)算法不受数据缩放影响(因为每个特征单独处理),特征不需要预处理(归一化 标准化)

特别是特征尺度大小相差大或者二元特征和连续特征同时存在时

决策树缺点:

既使预剪枝,也经常过拟合,泛化能力差,所以大多数情况采用集成模型代替单棵决策树。


参考文献:Introduction to Machine Learning with Python


小编的Python机器学习线下班现在报名有优惠哦

下图扫码或点击阅读原文了解课程详情


对课程有任何的疑问和问题

欢迎扫码加入Python机器学习线下培训咨询群交流!


    您可能也对以下帖子感兴趣

    文章有问题?点此查看未经处理的缓存