sklearn调包侠之逻辑回归

作者：罗罗攀    《从零开始学Python网络爬虫》书籍作者
Python爱好者社区专栏作者   Python爬虫爱好者

个人公众号：罗罗攀
博客地址：http://www.jianshu.com/u/9104ebf5e177

本系列教程为《机器学习实战》的读书笔记。首先，讲讲写本系列教程的原因：第一，《机器学习实战》的代码由Python2编写，有些代码在Python3上运行已会报错，本教程基于Python3进行代码的修订；第二：之前看了一些机器学习的书籍，没有进行记录，很快就忘记掉了，通过编写教程也是一种复习的过程；第三，机器学习相对于爬虫和数据分析而言，学习难度更大，希望通过本系列文字教程，让读者在学习机器学习的路上少走弯路。

前文传送门：

算法原理

传送门：机器学习实战之Logistic回归（https://www.jianshu.com/p/96566542b07a）

正则化

这里补充下正则化的知识。当一个模型太复杂时，就容易过拟合，解决的办法是减少输入特征的个数，或者获取更多的训练样本。正则化也是用来解决模型过拟合的一种方法。常用的有L1和L2范数做为正则化项。

• L1范数 L1范数作为正则化项，会让模型参数θ稀疏话，就是让模型参数向量里为0的元素尽量多。L1就是在成本函数后加入:

• L2范数 而L2范数作为正则化项，则是让模型参数尽量小，但不会为0，即尽量让每个特征对预测值都有一些小的贡献。L2就是在成本函数后加入:

实战——乳腺癌检测

数据导入

本次实战依旧是使用sklearn中的数据集，如图所示。

from sklearn.datasets import load_breast_cancer cancer = load_breast_cancer() print(cancer.DESCR)

切分数据集

X = cancer.data y = cancer.target from sklearn.model_selection import train_test_split X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state

模型训练与评估

逻辑回归算法使用sklearn.linear_model 模块中的LogisticRegression方法。常用的参数如下：

• penalty：设置正则化项，其取值为'l1'或'l2'，默认为'l2'。

• C：正则化强度，C越大，权重越小。

from sklearn.linear_model import LogisticRegression model = LogisticRegression() model.fit(X_train, y_train) model.score(X_test, y_test) # result # 0.94736842105263153

我们换为L1范数：

   model2 = LogisticRegression(penalty='l1')    model2.fit(X_train, y_train)    model2.score(X_test, y_test)    # result    # 0.95614035087719296

这里查看模型的参数，发现确实有很多特征的参数为0。

零基础如何入门学习Python网络爬虫？

小编推荐作者的好书，点击阅读原文即可购买

Python爱好者社区历史文章大合集：

福利：文末扫码立刻关注公众号，“Python爱好者社区”，开始学习Python课程：

关注后在公众号内回复“课程”即可获取：

小编的Python入门免费视频课程！！！

【最新免费微课】小编的Python快速上手matplotlib可视化库！！！

崔老师爬虫实战案例免费学习视频。

陈老师数据分析报告制作免费学习视频。

玩转大数据分析！Spark2.X+Python 精华实战课程免费学习视频。